WO2017052081A1 - 영상 코딩 시스템에서 인터 예측 방법 및 장치 - Google Patents

영상 코딩 시스템에서 인터 예측 방법 및 장치 Download PDF

Info

Publication number
WO2017052081A1
WO2017052081A1 PCT/KR2016/009410 KR2016009410W WO2017052081A1 WO 2017052081 A1 WO2017052081 A1 WO 2017052081A1 KR 2016009410 W KR2016009410 W KR 2016009410W WO 2017052081 A1 WO2017052081 A1 WO 2017052081A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
reference picture
prediction
motion
derived
Prior art date
Application number
PCT/KR2016/009410
Other languages
English (en)
French (fr)
Inventor
박내리
임재현
서정동
남정학
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP16848807.0A priority Critical patent/EP3355578B1/en
Priority to CN201680055921.5A priority patent/CN108141588A/zh
Priority to US15/761,665 priority patent/US10575011B2/en
Priority to KR1020187007989A priority patent/KR20180048736A/ko
Publication of WO2017052081A1 publication Critical patent/WO2017052081A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Definitions

  • the present invention relates to image coding technology, and more particularly, to an inter prediction method and apparatus in an image coding system.
  • the demand for high resolution and high quality images such as high definition (HD) images and ultra high definition (UHD) images is increasing in various fields.
  • the higher the resolution and the higher quality of the image data the more information or bit rate is transmitted than the existing image data. Therefore, the image data can be transmitted by using a medium such as a conventional wired / wireless broadband line or by using a conventional storage medium. In the case of storage, the transmission cost and the storage cost are increased.
  • a high efficiency image compression technique is required to effectively transmit, store, and reproduce high resolution, high quality image information.
  • An object of the present invention is to provide a method and apparatus for improving image coding efficiency.
  • Another object of the present invention is to provide a method and apparatus for improving the efficiency of inter prediction.
  • Another technical problem of the present invention is to provide an efficient motion vector derivation method and apparatus based on the modified inter prediction mode.
  • Another technical problem of the present invention is to provide a method and apparatus for deriving a pair prediction candidate included in a motion information candidate list for deriving a motion vector.
  • Another technical problem of the present invention is to provide a method and apparatus for deriving a more accurate motion vector using a motion information candidate list derived based on neighboring blocks.
  • an image decoding method performed by a decoding apparatus.
  • the method includes receiving information on a motion vector difference (MVD) through a bitstream, deriving a motion information candidate list based on neighboring blocks of a current block, and based on the motion information candidate list. Deriving a motion vector predictor (MVP) of the current block, deriving a motion vector of the current block based on the MVP and the MVD, and deriving a motion vector predictor based on the motion vector. And generating a predictive sample for the step.
  • MVP motion vector predictor
  • a decoding apparatus for performing inter prediction.
  • the decoding apparatus derives a motion information candidate list based on an entropy decoding unit for receiving information about a motion vector difference (MVD) through a bitstream, and a neighboring block of the current block, and the motion information candidate list.
  • MVD motion vector difference
  • MVP motion vector predictor
  • a video encoding method performed by an encoding apparatus includes deriving a motion information candidate list based on neighboring blocks of the current block, determining a motion vector predictor (MVP) of the current block based on the motion information candidate list, and the MVP Deriving a motion vector of the current block, generating a prediction sample for the current block based on the motion vector of the current block, and encoding and outputting prediction mode information indicating the inter prediction mode. Characterized in that it comprises a step.
  • MVP motion vector predictor
  • a video encoding apparatus derives a motion information candidate list based on a neighboring block of the current block, determines a motion vector predictor (MVP) of the current block based on the motion information candidate list, and calculates the MVP.
  • an encoding unit is provided.
  • a motion vector can be derived based on a motion information candidate list derived based on a neighboring block, thereby reducing the data amount of prediction mode information indicating the inter prediction mode and improving the overall coding efficiency.
  • various derivation methods of the bi-prediction candidates for deriving the motion vector are provided, thereby making it possible to perform more accurate inter prediction and improve overall coding efficiency.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus according to an embodiment of the present invention.
  • FIG 3 illustrates an example of configuring an MVP candidate list in merge mode.
  • FIG. 5 illustrates an example of deriving a reference picture of an L1 motion vector of a decoding apparatus.
  • FIG. 6 illustrates an example of deriving an L1 motion vector of a decoding apparatus.
  • FIG. 7 schematically illustrates a video encoding method by an encoding device according to the present invention.
  • FIG. 8 schematically illustrates a video decoding method by a decoding apparatus according to the present invention.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions in the video encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the present invention without departing from the spirit of the present invention.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • the encoding apparatus 100 may include a picture divider 105, a predictor 110, a transformer 115, a quantizer 120, a reordering unit 125, an entropy encoding unit 130, An inverse quantization unit 135, an inverse transform unit 140, a filter unit 145, and a memory 150 are provided.
  • the picture dividing unit 105 may divide the input picture into at least one processing unit block.
  • the block as the processing unit may be a prediction unit (PU), a transform unit (TU), or a coding unit (CU).
  • a picture may be composed of a plurality of coding tree units (CTUs), and each CTU may be split into CUs in a quad-tree structure.
  • a CU may be divided into quad tree structures with CUs of a lower depth.
  • PU and TU may be obtained from a CU.
  • a PU may be partitioned from a CU into a symmetrical or asymmetrical square structure.
  • the TU may also be divided into quad tree structures from the CU.
  • the predictor 110 includes an inter predictor for performing inter prediction and an intra predictor for performing intra prediction, as described below.
  • the prediction unit 110 performs prediction on the processing unit of the picture in the picture division unit 105 to generate a prediction block including a prediction sample (or a prediction sample array).
  • the processing unit of the picture in the prediction unit 110 may be a CU, a TU, or a PU.
  • the prediction unit 110 may determine whether the prediction performed on the processing unit is inter prediction or intra prediction, and determine specific contents (eg, prediction mode, etc.) of each prediction method.
  • the processing unit in which the prediction is performed and the processing unit in which the details of the prediction method and the prediction method are determined may be different.
  • the method of prediction and the prediction mode may be determined in units of PUs, and the prediction may be performed in units of TUs.
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • a prediction block may be generated by performing prediction based on pixel information in a current picture.
  • a skip mode, a merge mode, an advanced motion vector prediction (AMVP), and the like can be used.
  • a reference picture may be selected for a PU and a reference block corresponding to the PU may be selected.
  • the reference block may be selected in units of integer pixels (or samples) or fractional pixels (or samples).
  • a predictive block is generated in which a residual signal with the PU is minimized and the size of the motion vector is also minimized.
  • the prediction block may be generated in integer pixel units, or may be generated in sub-pixel units such as 1/2 pixel unit or 1/4 pixel unit.
  • the motion vector may also be expressed in units of integer pixels or less.
  • Information such as an index of a reference picture selected through inter prediction, a motion vector difference (MDV), a motion vector predictor (MVP), a residual signal, and the like may be entropy encoded and transmitted to a decoding apparatus.
  • MDV motion vector difference
  • MVP motion vector predictor
  • the residual may be used as the reconstructed block, and thus the residual may not be generated, transformed, quantized, or transmitted.
  • a prediction mode When performing intra prediction, a prediction mode may be determined in units of PUs, and prediction may be performed in units of PUs. In addition, a prediction mode may be determined in units of PUs, and intra prediction may be performed in units of TUs.
  • the prediction mode may have, for example, 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • whether to apply the filter to the reference sample may be determined according to the intra prediction mode and / or the size of the current block.
  • the residual value (the residual block or the residual signal) between the generated prediction block and the original block is input to the converter 115.
  • the prediction mode information, the motion vector information, etc. used for the prediction are encoded by the entropy encoding unit 130 together with the residual value and transmitted to the decoding apparatus.
  • the transform unit 115 performs transform on the residual block in units of transform blocks and generates transform coefficients.
  • the transform block is a rectangular block of samples to which the same transform is applied.
  • the transform block can be a transform unit (TU) and can have a quad tree structure.
  • the transformer 115 may perform the transformation according to the prediction mode applied to the residual block and the size of the block.
  • the residual block is transformed using a discrete sine transform (DST), otherwise the residual block is transformed into a DCT (Discrete). Can be transformed using Cosine Transform.
  • DST discrete sine transform
  • DCT Discrete
  • the transform unit 115 may generate a transform block of transform coefficients by the transform.
  • the quantization unit 120 may generate quantized transform coefficients by quantizing the residual values transformed by the transform unit 115, that is, the transform coefficients.
  • the value calculated by the quantization unit 120 is provided to the inverse quantization unit 135 and the reordering unit 125.
  • the reordering unit 125 rearranges the quantized transform coefficients provided from the quantization unit 120. By rearranging the quantized transform coefficients, the encoding efficiency of the entropy encoding unit 130 may be increased.
  • the reordering unit 125 may rearrange the quantized transform coefficients in the form of a 2D block into a 1D vector form through a coefficient scanning method.
  • the entropy encoding unit 130 entropy-codes a symbol according to a probability distribution based on the quantized transform values rearranged by the reordering unit 125 or the encoding parameter value calculated in the coding process, thereby performing a bitstream. You can output The entropy encoding method receives a symbol having various values and expresses it as a decodable column while removing statistical redundancy.
  • the symbol means a syntax element, a coding parameter, a value of a residual signal, etc., to be encoded / decoded.
  • An encoding parameter is a parameter necessary for encoding and decoding, and may include information that may be inferred in the encoding or decoding process as well as information encoded by an encoding device and transmitted to the decoding device, such as a syntax element. It means the information you need when you do.
  • the encoding parameter may be, for example, a value such as an intra / inter prediction mode, a moving / motion vector, a reference image index, a coding block pattern, a residual signal presence, a transform coefficient, a quantized transform coefficient, a quantization parameter, a block size, block partitioning information, or the like. May include statistics.
  • the residual signal may mean a difference between the original signal and the prediction signal, and a signal in which the difference between the original signal and the prediction signal is transformed or a signal in which the difference between the original signal and the prediction signal is converted and quantized It may mean.
  • the residual signal may be referred to as a residual block in the block unit, and the residual sample in the sample unit.
  • Encoding methods such as exponential golomb, context-adaptive variable length coding (CAVLC), and context-adaptive binary arithmetic coding (CABAC) may be used for entropy encoding.
  • the entropy encoding unit 130 may store a table for performing entropy encoding, such as a variable length coding (VLC) table, and the entropy encoding unit 130 may store the variable length coding. Entropy encoding can be performed using the (VLC) table.
  • the entropy encoding unit 130 derives the binarization method of the target symbol and the probability model of the target symbol / bin, and then uses the derived binarization method or the probability model to entropy. You can also perform encoding.
  • the entropy encoding unit 130 may apply a constant change to a parameter set or syntax to be transmitted.
  • the inverse quantizer 135 inversely quantizes the quantized values (quantized transform coefficients) in the quantizer 120, and the inverse transformer 140 inversely transforms the inverse quantized values in the inverse quantizer 135.
  • the residual value (or the residual sample or the residual sample array) generated by the inverse quantizer 135 and the inverse transform unit 140 and the prediction block predicted by the predictor 110 are added together to reconstruct the sample (or the reconstructed sample array).
  • a reconstructed block including a may be generated.
  • a reconstructed block is generated by adding a residual block and a prediction block through an adder.
  • the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
  • the filter unit 145 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter. ALF may be performed only when high efficiency is applied.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis for the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filter unit 145 may not apply filtering to the reconstructed block used for inter prediction.
  • the memory 150 may store the reconstructed block or the picture calculated by the filter unit 145.
  • the reconstructed block or picture stored in the memory 150 may be provided to the predictor 110 that performs inter prediction.
  • the video decoding apparatus 200 includes an entropy decoding unit 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, a prediction unit 230, and a filter unit 235.
  • Memory 240 may be included.
  • the input bitstream may be decoded according to a procedure in which image information is processed in the video encoding apparatus.
  • the entropy decoding unit 210 may entropy decode the input bitstream according to a probability distribution to generate symbols including symbols in the form of quantized coefficients.
  • the entropy decoding method is a method of generating each symbol by receiving a binary string.
  • the entropy decoding method is similar to the entropy encoding method described above.
  • VLC variable length coding
  • 'VLC' variable length coding
  • CABAC CABAC
  • the CABAC entropy decoding method receives a bin corresponding to each syntax element in a bitstream, and decodes syntax element information and decoding information of neighboring and decoding target blocks or information of symbols / bins decoded in a previous step.
  • the context model may be determined using the context model, the probability of occurrence of a bin may be predicted according to the determined context model, and arithmetic decoding of the bin may be performed to generate a symbol corresponding to the value of each syntax element. have.
  • the CABAC entropy decoding method may update the context model by using the information of the decoded symbol / bin for the context model of the next symbol / bean after determining the context model.
  • Information for generating the prediction block among the information decoded by the entropy decoding unit 210 is provided to the predictor 230, and a residual value where entropy decoding is performed by the entropy decoding unit 210, that is, a quantized transform coefficient It may be input to the reordering unit 215.
  • the reordering unit 215 may reorder the information of the bitstream entropy decoded by the entropy decoding unit 210, that is, the quantized transform coefficients, based on the reordering method in the encoding apparatus.
  • the reordering unit 215 may reorder the coefficients expressed in the form of a one-dimensional vector by restoring the coefficients in the form of a two-dimensional block.
  • the reordering unit 215 scans the coefficients based on the prediction mode applied to the current block (transform block) and the size of the transform block to generate an array of coefficients (quantized transform coefficients) in the form of a two-dimensional block. Can be.
  • the inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse transform unit 225 may perform inverse DCT and / or inverse DST on the DCT and the DST performed by the transform unit of the encoding apparatus with respect to the quantization result performed by the video encoding apparatus.
  • the inverse transformation may be performed based on a transmission unit determined by the encoding apparatus or a division unit of an image.
  • the DCT and / or DST in the encoding unit of the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size and a prediction direction of the current block, and the inverse transform unit 225 of the decoding apparatus is configured in the transformation unit of the encoding apparatus.
  • Inverse transformation may be performed based on the performed transformation information.
  • the prediction unit 230 may include prediction samples (or prediction sample arrays) based on prediction block generation related information provided by the entropy decoding unit 210 and previously decoded block and / or picture information provided by the memory 240.
  • a prediction block can be generated.
  • intra prediction for generating a prediction block based on pixel information in the current picture may be performed.
  • inter prediction on the current PU may be performed based on information included in at least one of a previous picture or a subsequent picture of the current picture.
  • motion information required for inter prediction of the current PU provided by the video encoding apparatus for example, a motion vector, a reference picture index, and the like, may be derived by checking a skip flag, a merge flag, and the like received from the encoding apparatus.
  • a prediction block may be generated such that a residual signal with a current block is minimized and a motion vector size is also minimized.
  • the motion information derivation scheme may vary depending on the prediction mode of the current block.
  • Prediction modes applied for inter prediction may include an advanced motion vector prediction (AMVP) mode, a merge mode, and the like.
  • AMVP advanced motion vector prediction
  • the encoding apparatus and the decoding apparatus may generate a merge candidate list by using the motion vector of the reconstructed spatial neighboring block and / or the motion vector corresponding to the Col block, which is a temporal neighboring block.
  • the motion vector of the candidate block selected from the merge candidate list is used as the motion vector of the current block.
  • the encoding apparatus may transmit, to the decoding apparatus, a merge index indicating a candidate block having an optimal motion vector selected from candidate blocks included in the merge candidate list. In this case, the decoding apparatus may derive the motion vector of the current block by using the merge index.
  • the encoding device and the decoding device use a motion vector corresponding to a motion vector of a reconstructed spatial neighboring block and / or a Col block, which is a temporal neighboring block, and a motion vector.
  • a predictor candidate list may be generated. That is, the motion vector of the reconstructed spatial neighboring block and / or the Col vector, which is a temporal neighboring block, may be used as a motion vector candidate.
  • the encoding apparatus may transmit the predicted motion vector index indicating the optimal motion vector selected from the motion vector candidates included in the list to the decoding apparatus. In this case, the decoding apparatus may select the predicted motion vector of the current block among the motion vector candidates included in the motion information candidate list using the motion vector index.
  • the encoding apparatus may obtain a motion vector difference MVD between the motion vector MV of the current block and the motion vector predictor MVP, and may encode the same and transmit the encoded motion vector to the decoding device. That is, MVD may be obtained by subtracting MVP from MV of the current block.
  • the decoding apparatus may decode the received motion vector difference and derive the motion vector of the current block through the addition of the decoded motion vector difference and the motion vector predictor.
  • the encoding apparatus may also transmit a reference picture index or the like indicating the reference picture to the decoding apparatus.
  • the decoding apparatus may predict the motion vector of the current block using the motion information of the neighboring block, and may derive the motion vector for the current block using the residual received from the encoding apparatus.
  • the decoding apparatus may generate a prediction block for the current block based on the derived motion vector and the reference picture index information received from the encoding apparatus.
  • the encoding apparatus and the decoding apparatus may generate the merge candidate list using the motion information of the reconstructed neighboring block and / or the motion information of the call block. That is, the encoding apparatus and the decoding apparatus may use this as a merge candidate for the current block when there is motion information of the reconstructed neighboring block and / or the call block.
  • the encoding apparatus may select a merge candidate capable of providing an optimal encoding efficiency among the merge candidates included in the merge candidate list as motion information for the current block.
  • a merge index indicating the selected merge candidate may be included in the bitstream and transmitted to the decoding apparatus.
  • the decoding apparatus may select one of the merge candidates included in the merge candidate list by using the transmitted merge index, and determine the selected merge candidate as motion information of the current block. Therefore, when the merge mode is applied, motion information corresponding to the reconstructed neighboring block and / or the call block may be used as the motion information of the current block.
  • the decoding apparatus may reconstruct the current block by adding the prediction block and the residual transmitted from the encoding apparatus.
  • the motion information of the reconstructed neighboring block and / or the motion information of the call block may be used to derive the motion information of the current block.
  • the encoding apparatus does not transmit syntax information such as residual to the decoding apparatus other than information indicating which block motion information to use as the motion information of the current block.
  • the encoding apparatus and the decoding apparatus may generate the prediction block of the current block by performing motion compensation on the current block based on the derived motion information.
  • the prediction block may mean a motion compensated block generated as a result of performing motion compensation on the current block.
  • the plurality of motion compensated blocks may constitute one motion compensated image.
  • the reconstruction block may be generated using the prediction block generated by the predictor 230 and the residual block provided by the inverse transform unit 225.
  • the reconstructed block is generated by combining the prediction block and the residual block in the adder.
  • the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
  • the reconstruction block includes a reconstruction sample (or reconstruction sample array) as described above
  • the prediction block includes a prediction sample (or a prediction sample array)
  • the residual block is a residual sample (or a residual sample). Array).
  • a reconstructed sample (or reconstructed sample array) may be expressed as the sum of the corresponding predictive sample (or predictive sample array) and the residual sample (residual sample array).
  • the residual is not transmitted for the block to which the skip mode is applied, and the prediction block may be a reconstruction block.
  • the reconstructed block and / or picture may be provided to the filter unit 235.
  • the filter unit 235 may apply deblocking filtering, sample adaptive offset (SAO), and / or ALF to the reconstructed block and / or picture.
  • SAO sample adaptive offset
  • the memory 240 may store the reconstructed picture or block to use as a reference picture or reference block and provide the reconstructed picture to the output unit.
  • Components directly related to the decoding of an image for example, an entropy decoding unit 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, a prediction unit 230, and a filter unit ( 235) and the like may be distinguished from other components by a decoder or a decoder.
  • the decoding apparatus 200 may further include a parsing unit (not shown) for parsing information related to the encoded image included in the bitstream.
  • the parsing unit may include the entropy decoding unit 210 or may be included in the entropy decoding unit 210. Such a parser may also be implemented as one component of the decoder.
  • a method of deriving the motion vector of the current block coded in the inter prediction mode includes using the motion vector of the neighboring block of the current block as it is and additional information (ex. MVD) about the motion vector of the current block. ) Can be divided into modes for more accurately deriving the motion vector of the current block.
  • a method of deriving the motion vector of the current block may include a merge mode and an AMVP mode.
  • additional information related to the inter prediction mode may be reduced rather than the AMVP mode, but in this case, prediction performance may decrease, and thus the data amount for the residual sample may increase.
  • the AMVP mode the prediction performance can be improved because more accurate motion prediction can be performed than in the merge mode.
  • the present invention proposes a modified inter prediction mode that can reduce side information while improving inter prediction performance. Applying the modified inter prediction mode can reduce the amount of data for the additional information compared to the AMVP mode, reduce the amount of data of the residual sample by performing accurate prediction compared to the merge mode, and improve the overall coding efficiency. Can be.
  • a method of deriving motion information of neighboring blocks of the current block deriving a motion information candidate list for a modified inter prediction mode based on the motion information, and a method of determining a current block based on the motion information candidate list.
  • a method for deriving a motion vector Provides a method for deriving a motion vector.
  • a candidate list for deriving motion information of the current block may be derived based on neighboring blocks of the current block.
  • a motion information candidate list of the modified inter prediction mode according to the present invention may be derived based on at least one of the candidates derived based on the neighboring blocks.
  • the candidate list of the merge mode may include motion information of spatially adjacent neighboring blocks of the current block, and includes motion information of temporally adjacent neighboring blocks, for example, T0 or T1 shown in FIG. 3. It may be configured, or may be configured by combining the motion information of the neighboring blocks or including a zero vector.
  • the motion information of the neighboring blocks may be derived as a temporary candidate for constructing a motion information candidate list of the current block.
  • the temporary candidate may be a bi-predicted candidate or may be a L0 or L1 predicted motion vector candidate.
  • the L0 or L1 predicted motion vector candidate may be referred to as a uni-predicted candidate.
  • the bi-prediction candidate may include an L0 motion vector and an L1 motion vector, and the uni-prediction candidate may include only one of the L0 motion vector and the L1 motion vector.
  • the L0 motion vector represents a motion vector relating to L0 prediction
  • the L1 motion vector represents a motion vector relating to L1 prediction.
  • L0 represents a reference picture list L0 (list 0)
  • L1 represents a reference picture list L1 (list 1).
  • the motion block may include a motion vector associated with an L0 reference picture index and an L0 reference picture, an L1 reference picture index, and a motion vector associated with an L1 reference picture.
  • the pair prediction information of the neighboring block may be derived as a (pair prediction) candidate of the current block.
  • the motion information associated with the L0 reference picture index and the L0 reference picture may be included, or may include the L1 reference picture index and the motion vector associated with the L1 reference picture.
  • the L0 reference picture indicates a specific reference picture among the reference pictures included in the reference picture list L0.
  • the specific reference picture may be a reference picture indicated by a reference picture index (L0 reference picture index) associated with an L0 motion vector among reference pictures included in the reference picture list L0.
  • the L1 reference picture indicates a specific reference picture among the reference pictures included in the reference picture list L1.
  • the specific reference picture may be a reference picture indicated by a reference picture index (L1 reference picture index) associated with an L1 motion vector among reference pictures included in the reference picture list L1.
  • the candidate list of the merge mode reuses the motion information of the neighboring block as it is, so that the single-prediction / biprediction information and the reference picture index of the neighboring block are fixed and can be used for the current block. It may be difficult to derive the best motion vector (MV) or motion vector predictor (MVP) for a block.
  • the short prediction candidates among the temporary candidates may be derived as pair prediction candidates, and the pair prediction candidates corresponding to the short prediction candidates may be derived by adjusting the reference picture index of the short prediction candidates.
  • the motion information candidate list in the modified inter prediction mode including the corresponding pair prediction candidates may be used to have a MV or MVP more suitable for the current block.
  • the temporary candidates (temporary candidate list) derived based on the neighboring blocks may be as shown in Table 1 below.
  • Pred_idc represents a single prediction / pair prediction type
  • refIdx (L0) represents an L0 reference picture index
  • refIdx (L1) represents an L1 reference picture index.
  • the L1 reference picture index and / or the L1 motion vector may be derived based on the L0 reference picture index and / or the L0 motion vector of the B1 that is a single prediction candidate.
  • the L1 reference picture index may be set or fixed to zero.
  • the L1 reference picture index may be derived as an LCD reference picture index having the same POCDiff, that is, a picture of count (POC) difference value, as the L0 reference picture index of B1.
  • POC picture of count
  • a reference picture included in the reference picture list L1 having a POC difference equal to the difference between the POC of the reference picture associated with the L0 motion vector and the POC of the current picture is indicated.
  • the POC of the current picture is 10, and reference pictures of POCs 8, 7, and 6 are included in the descending order in the reference picture list L0, and in this case, the L0 reference picture index 0 may indicate the reference picture of the POC 8. have.
  • the reference picture of POC 12 having POCDiff 2 is determined as the L1 reference picture, and in this case, the L1 reference picture index. May be set to one.
  • the L1 reference picture index may be derived as a value equal to a minimum value among the values of the L1 reference picture indexes included in the temporary candidates.
  • the L1 reference picture index may be derived as the mode of the values of the L1 reference picture indexes included in the temporary candidates.
  • the L1 (or L0) motion vector may be derived by scaling the L0 (or L1) motion vector included in a single prediction candidate.
  • L1 motion vector may be derived by scaling the L0 (or L1) motion vector included in a single prediction candidate.
  • a method of obtaining an L1 motion vector when the L1 motion vector is included in the unicast prediction candidate will be described. It can be done likewise by modification.
  • L1 motion vector illustrates an example of deriving an L1 motion vector.
  • an object included in a current candidate block for example, B1 is moving at the same slope, and in this case, the L0 motion vector may be scaled in the L1 direction. That is, it can be derived by applying the equation to the L0 motion vector.
  • the L1 motion vector may be derived based on the following equation.
  • MV (L1) represents an L1 motion vector
  • MV (L0) represents an L0 motion vector
  • the L1 motion vector may be scaled in proportion to the distance ratio of the reference picture, that is, POCDiff.
  • POCDiff represents a difference between the POC of the current picture and the POC of the associated reference picture. For example, if the POCDiff between the current picture and the L0 reference picture is 1 and the POCDiff between the L1 reference picture and the current picture is 2, the L1 motion vector is scaled two times larger than the size of the L0 motion vector. Can be.
  • a representative value (that is, a representative L1 motion vector derived based on the L1 motion vectors) may be derived based on the L1 motion vectors included in the temporary candidates, and the representative value may be derived as the L1 motion vector of B1.
  • the most frequent motion vectors of the L1 motion vectors included in the temporary candidates may be derived as representative values
  • the average value of the L1 motion vectors included in the temporary candidates may be derived as representative values
  • L1 included in the temporary candidates may be derived as representative values
  • the median value of the motion vectors may be derived as a representative value.
  • a representative value of L0 motion vectors included in candidates other than the current candidate among the temporary candidates (that is, representative L0 motion vector derived based on the L0 motion vectors) is derived, and the representative value is scaled in the L1 direction. It can be derived from the L1 motion vector of B1.
  • the representative values of the L0 motion vectors may be derived as the most frequent motion vector, the average value of the L0 motion vectors, and the median value of the L0 motion vectors. Can be derived.
  • bi-prediction candidates can be derived based on the short-prediction candidates, for example, the short-prediction candidates including the motion information of B1, B0, and T0 in Table 1.
  • the motion prediction candidate list of the current block may be derived by replacing the derived short prediction candidates among the temporary candidates with the pair prediction candidates corresponding to the short prediction candidates.
  • the motion information candidate list may be as shown in Table 2 below.
  • the candidate index indicates a motion information candidate index indicating each candidate of each motion information candidate list.
  • the motion information may include a motion vector and a reference picture index.
  • candidates having the values of the motion information candidate indexes of 2, 3, and 5 correspond to candidates replaced with pair prediction candidates.
  • candidates including the derived pair prediction candidates in addition to the temporary candidates may be derived as a motion information candidate list of the current block.
  • the motion information candidate list may be as shown in Table 3 below.
  • the pair prediction candidates further including candidates having a value of a motion information candidate index of 6, 7, and 8 are included.
  • the index order of the motion information candidate is an example, and the index order may be changed.
  • the decoding apparatus may derive the bi-prediction candidate (or the bi-prediction motion information) through, for example, the following short-term candidates (or short-prediction motion information) through the following method.
  • the following description will be based on the case in which the L1 motion information (L0 motion vector and / or L0 reference picture index) is included in the short prediction candidate, and the L1 motion information (L1 motion vector and / or L1 reference picture index) vector is included in the short prediction candidate. Even in the case of inclusion, it may be similarly performed by changing only L0 and L1.
  • FIG. 5 illustrates an example of deriving an L1 reference picture in a decoding apparatus.
  • a short prediction candidate among the temporary candidates may be derived as a pair prediction candidate, and a motion information candidate list of the current block including the pair prediction candidate may be derived.
  • the above-described method may be applied as a method of deriving the L1 reference picture index.
  • the decoding apparatus may perform L0 motion vector and L0 associated with the L0 motion vector for all reference pictures included in the reference picture list L1. It includes a reference block having the smallest difference (ie, sum of absolute difference, SAD) between a reference block derived based on a reference picture index and a reference block indicated by the L1 motion vector derived by scaling the L0 motion vector in the L1 direction.
  • a reference picture index of the L1 motion vector indicating the reference picture may be derived.
  • a reference picture having a minimum difference value ie, a residual
  • a minimum difference value ie, a residual
  • the L1 motion vector may be derived through the above-described method.
  • the decoding apparatus derives L1 motion vector candidates through the above-described methods, and among the L1 motion vector candidates, the L1 motion vector candidate having the smallest residual of the reference region indicated by the L1 motion vector candidate and the reference region indicated by the L0 motion vector Can be derived as the L1 motion vector.
  • the decoding apparatus may derive L1 motion vector candidates through the above-described methods, and derives an L1 reference picture index associated with the L1 motion vector based on the short prediction candidate, thereby on the reference picture indicated by the reference picture index.
  • a motion vector search may be performed based on the L1 motion vector candidates within the search range to derive an L1 motion vector candidate having a minimum residual with the reference region indicated by the L0 motion vector as the L1 motion vector.
  • the L1 motion vector may be generated by a combination of the above-described methods for deriving the L1 motion vector.
  • An example of the derivation process is as follows.
  • the L1 motion vector candidate may be derived by scaling the L0 motion vector in the L1 direction.
  • an L1 motion vector candidate may be derived as representative values of L1 motion vectors of candidates other than the short prediction candidate among the temporary candidates.
  • the L1 motion vector candidate may be derived by deriving a representative value of the L0 motion vectors other than the single prediction candidate among the temporary candidates and scaling a motion vector having the representative value in the L1 direction.
  • the L1 motion vector may be derived based on the L1 motion vector candidates.
  • the L1 motion vector candidate indicating the reference region indicated by the L0 motion vector and the reference region having the smallest residual can be derived as the L1 motion vector.
  • an arbitrary search range may be set on a reference picture whose reference picture index is associated with the L1 motion vector derived based on the short prediction candidate.
  • a motion vector search may be performed based on the L1 motion vector candidates within the search range to derive an L1 motion vector candidate having a minimum residual with the reference region indicated by the L0 motion vector as the L1 motion vector.
  • the encoding apparatus may generate a flag indicating whether the modified inter prediction mode is applied, and transmit the flag to the decoding apparatus.
  • the flag may be called a use new mode flag, a comb mode flag, or the like.
  • the existing merge flag is replaced with the inter mode type index information, the merge mode when the value of the inter mode type index information is 0, the AMVP mode when 1, and the modified inter prediction mode according to the present invention. It may be.
  • the encoding apparatus may derive a specific candidate included in the motion information candidate list, and the motion vector of the current block based on the specific candidate. Can be derived.
  • an index indicating the specific candidate may be generated, and the index may be transmitted to a decoding apparatus.
  • the decoding apparatus may derive the motion information candidate list, derive a specific candidate by receiving an index indicating a specific candidate from an encoding apparatus, and derive a motion vector of the current block based on the specific candidate.
  • the index may be referred to as a new mode index, a motion vector index, or an MVP index.
  • the use new mode flag and the new mode index may be transmitted through, for example, a syntax as shown in Table 4 below.
  • the use_new_mode_flag syntax element may correspond to the new mode flag.
  • the new_mode_idx syntax element may correspond to the new mode index.
  • the new mode flag may be selectively applied according to a picture type, a CU size, and a depth. Specifically, the new mode flag can be encoded only in the case of a B picture type, and the new mode flag can be encoded only when the CU size is smaller than 32x32.
  • the decoding apparatus may derive a specific candidate without receiving the new mode index.
  • pair prediction candidates corresponding to the short prediction candidates may be derived based on short prediction candidates among the temporary candidates, and a motion information candidate list including the pair prediction candidates may be derived.
  • the decoding apparatus currently selects a pair prediction candidate among the candidates of the pair of motion information candidate lists whose minimum residual is minimal between the reference region indicated by the L0 motion vector on the L0 reference picture and the reference region indicated by the L1 motion vector on the L1 reference picture. It can be derived from the MVP of the block. In this case, since the MVP can be derived during the decoding process, the encoding apparatus may not transmit an index (new mode index) indicating a specific candidate. When the new mode index is not transmitted, it may be as Table 5 below.
  • the new_mode_idx syntax element may correspond to the new mode index and is not transmitted.
  • FIG. 7 schematically illustrates a video encoding method by an encoding device according to the present invention.
  • the method disclosed in FIG. 7 may be performed by the encoding apparatus disclosed in FIG. 1.
  • S700 to S730 of FIG. 7 may be performed by the prediction unit of the encoding apparatus
  • S740 may be performed by the entropy encoding unit of the encoding apparatus.
  • the encoding apparatus derives the motion information candidate list of the current block based on the neighboring blocks of the current block (S700).
  • the encoding apparatus may derive temporary candidates based on the neighboring block.
  • the temporary candidate may be a bi-predicted candidate or may be a L0 or L1 predicted motion vector candidate.
  • the L0 or L1 predicted motion vector candidate may be referred to as a uni-predicted candidate.
  • the single prediction candidate may be associated with a first motion vector, and the pair prediction candidate may be associated with the first motion vector and the second motion vector.
  • the first motion vector may include only one of an L0 motion vector and an L1 motion vector, and the pair prediction candidate may include the L0 motion vector and the L1 motion vector.
  • the L0 motion vector represents a motion vector relating to L0 prediction
  • the L1 motion vector represents a motion vector relating to L1 prediction
  • L0 represents a reference picture list L0 (list 0)
  • L1 represents a reference picture list L1 (list 1).
  • the L1 motion vector may be said to have a direction opposite to the L0 motion vector.
  • the encoding apparatus may derive a pair prediction candidate based on the short prediction candidate among the temporary candidates.
  • the encoding apparatus may derive an L1 reference picture index associated with the L1 motion vector and the second motion vector included in the second motion vector.
  • the encoding apparatus may set or fix the L1 reference picture index associated with the second motion vector to zero.
  • the L1 reference picture index associated with the second motion vector may be derived as a reference picture index indicating an L1 reference picture whose POC difference value from the current picture among the reference pictures included in the reference picture list L1 is a specific POC difference value.
  • the specific POC difference value may be the same value as the POC difference value of the L0 reference picture associated with the first motion vector among the reference pictures included in the current picture and the reference picture list L0.
  • the L1 reference picture index associated with the second motion vector may be derived as a reference picture index having a value equal to a minimum value among the values of the L1 reference picture indexes included in the temporary candidates.
  • the L1 reference picture index associated with the second motion vector may be derived as a reference picture index having the mode of the values of the L1 reference picture indexes included in the temporary candidates.
  • the L1 motion vector included in the second motion vector may be derived by scaling the L0 motion vector in the L1 direction.
  • the scaling may be performed by applying Equation 1 described above.
  • the encoding apparatus may derive the L1 motion vector by scaling the L0 motion vector based on a first difference and a second difference.
  • the first difference represents a difference between a picture order count (POC) of the current picture and a POC of an L0 reference picture associated with the L0 motion vector among reference pictures included in a reference picture list L0
  • the second difference is a reference picture. The difference between the POC of the L1 reference picture included in the list L1 and the POC of the current picture is shown.
  • POC picture order count
  • the L1 motion vector included in the second motion vector may be derived based on L1 motion vectors of other candidates among the temporary candidates.
  • the encoding apparatus may derive the representative value of the L1 motion vectors included in the temporary candidates to derive the L1 motion vector based on the representative value.
  • the representative value may be one of the most frequent motion vectors of the L1 motion vectors included in the temporary candidates, an average value of the L1 motion vectors included in the temporary candidates, and an intermediate value of the L1 motion vectors included in the temporary candidates.
  • the L1 motion vector included in the second motion vector may be derived based on L0 motion vectors except for the first motion vector among the temporary candidates.
  • the encoding apparatus may derive the L1 motion vector by deriving a representative value of the L0 motion vectors except for the first motion vector and scaling the representative value in the L1 direction.
  • the representative value may be one of the most frequent motion vectors of the L0 motion vectors excluding the first motion vector, an average value of the L0 motion vectors included in the temporary candidates, and an intermediate value of the L0 motion vectors included in the temporary candidates.
  • the encoding apparatus may derive the L1 motion vector included in the second motion vector by combining the above-described derivation methods.
  • the encoding apparatus may derive the motion information candidate list by replacing the short prediction candidate among the temporary candidates with the pair prediction candidate corresponding to the short prediction candidate.
  • the motion information candidate list may be as shown in Table 2 above.
  • the encoding apparatus may derive the motion information candidate list including the temporary candidates and additionally include the pair prediction candidates corresponding to the short prediction candidates.
  • the motion information candidate list may be as shown in Table 3 above.
  • the encoding apparatus may derive a reference picture index associated with the L0 motion vector and the second motion vector included in the second motion vector.
  • the encoding apparatus may set or fix the L0 reference picture index associated with the second motion vector to a value of zero.
  • the L0 reference picture index associated with the second motion vector may be derived as a reference picture index indicating an L0 reference picture whose POC difference value from the current picture among the reference pictures included in the reference picture list L0 is a specific POC difference value.
  • the specific POC difference value may be the same value as the POC difference value of the L1 reference picture associated with the first motion vector among the reference pictures included in the current picture and the reference picture list L1.
  • the L0 reference picture index associated with the second motion vector may be derived as a reference picture index having a value equal to a minimum value among the values of the L0 reference picture indexes included in the temporary candidates.
  • the L0 reference picture index associated with the second motion vector may be derived as a reference picture index having the mode of the values of the L0 reference picture indexes included in the temporary candidates.
  • the L0 motion vector included in the second motion vector may be derived by scaling the L1 motion vector in the L0 direction.
  • the scaling may be performed by applying Equation 1 described above.
  • the encoding apparatus may derive the L0 motion vector by scaling the L1 motion vector based on a first difference and a second difference.
  • the first difference indicates a difference between a picture order count (POC) of the current picture and a POC of an L1 reference picture associated with the L1 motion vector among reference pictures included in a reference picture list L1, and the second difference indicates the reference.
  • POC picture order count
  • the difference between the POC of the L0 reference picture included in the picture list L0 and the POC of the current picture is shown.
  • the L0 motion vector included in the second motion vector may be derived based on L0 motion vectors of other candidates among the temporary candidates.
  • the encoding apparatus may derive the L0 motion vector based on the representative value by deriving a representative value of the L0 motion vectors included in the temporary candidates.
  • the representative value may be one of the most frequent motion vectors of the L0 motion vectors included in the temporary candidates, an average value of the L0 motion vectors included in the temporary candidates, and an intermediate value of the L0 motion vectors included in the temporary candidates.
  • the L0 motion vector included in the second motion vector may be derived based on L1 motion vectors except for the first motion vector among the temporary candidates.
  • the encoding apparatus may derive the L0 motion vector by deriving a representative value of the L1 motion vectors except for the first motion vector and scaling the representative value in the L0 direction.
  • the representative value may be one of the most frequent motion vectors of L1 motion vectors excluding the first motion vector, an average value of L1 motion vectors included in the temporary candidates, and an intermediate value of L1 motion vectors included in the temporary candidates.
  • the encoding apparatus may derive the L0 motion vector included in the second motion vector by combining the above-described derivation methods.
  • the encoding apparatus may derive the motion information candidate list by replacing the short prediction candidate among the temporary candidates with the pair prediction candidate corresponding to the short prediction candidate.
  • the encoding apparatus may derive the motion information candidate list including the temporary candidates and additionally include the pair prediction candidates corresponding to the short prediction candidates.
  • the encoding apparatus determines a motion vector predictor (MVP) of the current block based on the motion information candidate list (S710).
  • the encoding apparatus may derive the MVP by selecting one of the motion information candidate lists of the current block.
  • the encoding device may generate index information indicating the selected candidate.
  • the index information may be referred to as a new mode index, a motion vector index, or an MVP index.
  • the encoding apparatus derives the motion vector of the current block based on the MVP (S720).
  • the encoding apparatus may derive a motion vector based on the MVP, and calculate a motion vector difference (MVD) of the current block based on the difference between the motion vector and the MVP.
  • MVP MVP
  • MVP motion vector difference
  • the encoding apparatus generates a predictive sample of the current block based on the motion vector (S730).
  • the encoding apparatus may obtain a predictive sample value on the reference picture indicated by the motion vector, and generate the predictive sample.
  • the encoding apparatus encodes and outputs prediction mode information indicating the inter prediction mode (S1340).
  • the encoding apparatus may entropy-encode the prediction mode information indicating the modified inter prediction mode for deriving the motion vector of the current block based on the motion information candidate list derived based on the neighboring block and output the result in a bitstream form. have.
  • the encoding apparatus may generate a flag indicating whether the modified inter prediction mode is applied, and encode the output signal in the form of the bitstream.
  • the flag may be called a use new mode flag, a comb mode flag, or the like.
  • the existing merge flag is replaced with the inter mode type index information, the merge mode when the value of the inter mode type index information is 0, the AMVP mode when 1, and the modified inter prediction mode according to the present invention. It may be.
  • the encoding apparatus may generate, encode, and output a new mode index indicating a candidate in the motion information candidate list in the form of the bitstream.
  • the encoding apparatus encodes the MVD of the current block and transmits information about the MVD.
  • the prediction mode information, the new mode index, and the MVD may be transmitted to the decoding apparatus in the form of the bitstream.
  • the bitstream may be transmitted to a decoding apparatus via a network or a storage medium.
  • the encoding apparatus may encode and output information about the residual sample for the current block.
  • the information about the residual sample may include transform coefficients regarding the residual sample.
  • FIG. 8 schematically illustrates a video decoding method by a decoding apparatus according to the present invention.
  • the method disclosed in FIG. 8 may be performed by the decoding apparatus disclosed in FIG. 2.
  • the S800 of FIG. 8 may be performed by the entropy decoding unit of the encoding apparatus, and S810 to S840 may be performed by the prediction unit of the decoding apparatus.
  • the decoding apparatus receives a motion vector difference (MVD) through the bitstream (S800).
  • Information about the MVD may be received through a bitstream.
  • the decoding apparatus may receive information about the MVD through entropy decoding. In this case, the decoding apparatus may receive the information about the x-axis component and the information about the y-axis component of the MVD through different syntax elements.
  • the decoding apparatus derives a motion information candidate list of the current block based on the neighboring blocks of the current block (S810).
  • the decoding apparatus may derive temporary candidates based on the neighboring block.
  • the temporary candidate may be a bi-predicted candidate or may be a L0 or L1 predicted motion vector candidate.
  • the L0 or L1 predicted motion vector candidate may be referred to as a uni-predicted candidate.
  • the single prediction candidate may be associated with a first motion vector, and the pair prediction candidate may be associated with the first motion vector and the second motion vector.
  • the first motion vector may include only one of an L0 motion vector and an L1 motion vector, and the pair prediction candidate may include the L0 motion vector and the L1 motion vector.
  • the L0 motion vector represents a motion vector relating to L0 prediction
  • the L1 motion vector represents a motion vector relating to L1 prediction
  • L0 represents a reference picture list L0 (list 0)
  • L1 represents a reference picture list L1 (list 1).
  • the L1 motion vector may be said to have a direction opposite to the L0 motion vector.
  • the decoding apparatus may derive the pair prediction candidate based on the short prediction candidate among the temporary candidates.
  • the decoding apparatus may derive an L1 reference picture index associated with the L1 motion vector and the second motion vector included in the second motion vector.
  • the decoding apparatus may set or fix the L1 reference picture index associated with the second motion vector to a value of zero.
  • the L1 reference picture index associated with the second motion vector may be derived as a reference picture index indicating an L1 reference picture whose POC difference value from the current picture among the reference pictures included in the reference picture list L1 is a specific POC difference value.
  • the specific POC difference value may be the same value as the POC difference value of the L0 reference picture associated with the first motion vector among the reference pictures included in the current picture and the reference picture list L0.
  • the L1 reference picture index associated with the second motion vector may be derived as a reference picture index having a value equal to a minimum value among the values of the L1 reference picture indexes included in the temporary candidates.
  • the L1 reference picture index associated with the second motion vector may be derived as a reference picture index having the mode of the values of the L1 reference picture indexes included in the temporary candidates.
  • the L1 reference picture index associated with the second motion vector may be a residual between a reference area indicated by a second motion vector and a reference area indicated by the first motion vector among all reference pictures included in the reference picture list L1. It can be derived with a reference picture index pointing to the L1 reference picture that makes this minimum.
  • the L1 motion vector included in the second motion vector may be derived by scaling the L0 motion vector in the L1 direction.
  • the scaling may be performed by applying Equation 1 described above.
  • the decoding apparatus may derive the L1 motion vector by scaling the L0 motion vector based on a first difference and a second difference.
  • the first difference represents a difference between a picture order count (POC) of the current picture and a POC of an L0 reference picture associated with the L0 motion vector among reference pictures included in a reference picture list L0
  • the second difference is a reference picture. The difference between the POC of the reference picture included in the list L1 and the POC of the current picture is shown.
  • POC picture order count
  • the L1 motion vector included in the second motion vector may be derived based on L1 motion vectors of other candidates among the temporary candidates.
  • the decoding apparatus may derive the representative value of the L1 motion vectors included in the temporary candidates to derive the L1 motion vector based on the representative value.
  • the representative value may be one of the most frequent motion vectors of the L1 motion vectors included in the temporary candidates, an average value of the L1 motion vectors included in the temporary candidates, and an intermediate value of the L1 motion vectors included in the temporary candidates.
  • the L1 motion vector included in the second motion vector may be derived based on L0 motion vectors except for the first motion vector among the temporary candidates.
  • the decoding apparatus may derive the representative value of the L0 motion vectors except for the first motion vector and scale the representative value in the L1 direction to derive the L1 motion vector.
  • the representative value may be one of the most frequent motion vectors of the L0 motion vectors excluding the first motion vector, an average value of the L0 motion vectors included in the temporary candidates, and an intermediate value of the L0 motion vectors included in the temporary candidates.
  • the decoding apparatus may derive the L1 motion vector included in the second motion vector by combining the above-described derivation methods.
  • the decoding apparatus may derive the L1 motion vectors using the above-described derivation methods, and indicates a reference region for minimizing the residual with the reference region indicated by the first motion vector among the L1 motion vectors.
  • An L1 motion vector may be derived as the second motion vector.
  • the decoding apparatus may derive the L1 motion vectors by using the above-described derivation methods, and may set an arbitrary search range to a reference picture indicated by the L1 reference picture index associated with the second motion vector.
  • a L1 motion vector indicating a reference region for minimizing a residual with the reference region indicated by the first motion vector while searching for motion within the search range among the L1 motion vectors is derived. can do.
  • the decoding apparatus may derive the motion information candidate list by replacing the short prediction candidate among the temporary candidates with the pair prediction candidate corresponding to the short prediction candidate.
  • the motion information candidate list may be as shown in Table 2 above.
  • the decoding apparatus may derive the motion information candidate list including the temporary candidates and additionally include the pair prediction candidates corresponding to the short prediction candidates.
  • the motion information candidate list may be as shown in Table 3 above.
  • the decoding apparatus may derive a reference picture index associated with the L0 motion vector and the second motion vector included in the second motion vector.
  • the decoding apparatus may set or fix the L0 reference picture index associated with the second motion vector to a value of zero.
  • the reference picture index associated with the second motion vector may be derived as a reference picture index indicating an L0 reference picture whose POC difference value from the current picture among the reference pictures included in the reference picture list L0 is a specific POC difference value.
  • the specific POC difference value may be the same value as the POC difference value of the L1 reference picture associated with the first motion vector among the reference pictures included in the reference picture list L1.
  • the L0 reference picture index associated with the second motion vector may be derived as a reference picture index having a value equal to a minimum value among the values of the L0 reference picture indexes included in the temporary candidates.
  • the L0 reference picture index associated with the second motion vector may be derived as a reference picture index having the mode of the values of the L0 reference picture indexes included in the temporary candidates.
  • the L0 reference picture index associated with the second motion vector may be a residual between a reference region indicated by a second motion vector and a reference region indicated by the first motion vector among all reference pictures included in the reference picture list L0. It can be derived with a reference picture index pointing to the L0 reference picture that makes this minimum.
  • the L0 motion vector included in the second motion vector may be derived by scaling the L1 motion vector in the L0 direction.
  • the scaling may be performed by applying Equation 1 described above.
  • the decoding apparatus may derive the L0 motion vector by scaling the L1 motion vector based on a first difference and a second difference.
  • the first difference indicates a difference between a picture order count (POC) of the current picture and a POC of an L1 reference picture associated with the L1 motion vector among reference pictures included in a reference picture list L1, and the second difference indicates the reference.
  • POC picture order count
  • the difference between the POC of the L0 reference picture included in the picture list L0 and the POC of the current picture is shown.
  • the L0 motion vector included in the second motion vector may be derived based on L0 motion vectors of other candidates among the temporary candidates.
  • the decoding apparatus may derive the representative value of the L0 motion vectors included in the temporary candidates to derive the L0 motion vector based on the representative value.
  • the representative value may be one of the most frequent motion vectors of the L0 motion vectors included in the temporary candidates, an average value of the L0 motion vectors included in the temporary candidates, and an intermediate value of the L0 motion vectors included in the temporary candidates.
  • the L0 motion vector included in the second motion vector may be derived based on L1 motion vectors except for the first motion vector among the temporary candidates.
  • the decoding apparatus may derive the L0 motion vector by deriving a representative value of the L1 motion vectors except for the first motion vector and scaling the representative value in the L0 direction.
  • the representative value may be one of the most frequent motion vectors of L1 motion vectors excluding the first motion vector, an average value of L1 motion vectors included in the temporary candidates, and an intermediate value of L1 motion vectors included in the temporary candidates.
  • the decoding apparatus may derive the L0 motion vector included in the second motion vector by combining the above-described derivation methods.
  • the decoding apparatus may derive the L0 motion vectors using the above-described derivation methods, and indicates a reference region for minimizing the residual with the reference region indicated by the first motion vector among the L0 motion vectors.
  • An L0 motion vector may be derived as the second motion vector.
  • the decoding apparatus may derive the L0 motion vectors using the above-described derivation methods, and may set an arbitrary search range to a reference picture indicated by the L0 reference picture index associated with the second motion vector.
  • a L0 motion vector indicating a reference area for minimizing a residual with the reference area indicated by the first motion vector while searching for motion within the search range among the L0 motion vectors is derived. can do.
  • the decoding apparatus may derive the motion information candidate list by replacing the short prediction candidate among the temporary candidates with the pair prediction candidate corresponding to the short prediction candidate.
  • the decoding apparatus may derive the motion information candidate list including the temporary candidates and additionally include the pair prediction candidates corresponding to the short prediction candidates.
  • the decoding apparatus derives a motion vector predictor (MVP) of the current block based on the motion information candidate list (S820).
  • the decoding apparatus may obtain index information indicating a specific candidate of the motion information candidate list through a bitstream.
  • the index information may be referred to as a new mode index, a motion vector index, or an MVP index.
  • the decoding apparatus may derive the MVP of the current block based on the specific candidate indicated by the new mode index.
  • the MVP may be one of a pair prediction candidate and a single prediction candidate.
  • the decoding apparatus may derive the MVP of the current block based on the motion information candidate list without receiving the new mode index.
  • the decoding apparatus is a pair of residuals between the first reference region indicated by the L0 motion vector on the L0 reference picture and the second reference region indicated by the L1 direction motion vector on the L1 reference picture among the pair prediction candidates of the motion information candidate list.
  • the MVP may be derived based on a prediction motion information candidate.
  • the decoding apparatus derives a motion vector of the current block based on the MVP and the MVD (S830).
  • the decoding apparatus may generate the motion vector of the current block by adding the MVP and the MVD.
  • the decoding apparatus generates a prediction sample of the current block based on the motion vector of the current block (S840).
  • the decoding apparatus may obtain a predictive sample value on the reference picture indicated by the motion vector, and generate the predictive sample.
  • the decoding apparatus may generate a reconstructed sample for the current sample based on the prediction value.
  • the decoding apparatus may obtain a residual signal from the bitstream received from the encoding apparatus, and generate a residual sample for the current sample.
  • the decoding apparatus may generate the reconstructed sample based on the prediction sample and the residual sample.
  • the decoding apparatus may generate a reconstructed picture based on the reconstructed sample.
  • a motion vector can be derived based on a motion information candidate list derived based on neighboring blocks, thereby reducing the amount of data of prediction mode information indicating an inter prediction mode, and improving the overall coding efficiency.
  • various derivation methods of the bi-prediction candidates for deriving the motion vector are provided, which enables more accurate inter prediction and improves the overall coding efficiency.
  • the above-described method according to the present invention may be implemented in software, and the encoding device and / or the decoding device according to the present invention may perform image processing of, for example, a TV, a computer, a smartphone, a set-top box, a display device, and the like. It can be included in the device.
  • the above-described method may be implemented as a module (process, function, etc.) for performing the above-described function.
  • the module may be stored in memory and executed by a processor.
  • the memory may be internal or external to the processor and may be coupled to the processor by various well known means.
  • the processor may include application-specific integrated circuits (ASICs), other chipsets, logic circuits, and / or data processing devices.
  • the memory may include read-only memory (ROM), random access memory (RAM), flash memory, memory card, storage medium and / or other storage device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 디코딩 장치에 의하여 수행되는 인터 예측 방법은 비트스트림을 통하여 MVD에 관한 정보를 수신하는 단계, 현재 블록의 주변 블록을 기반으로 움직임 정보 후보 리스트를 도출하는 단계, 상기 움직임 정보 후보 리스트를 기반으로 상기 현재 블록의 MVP를 도출하는 단계, 상기 MVP 및 상기 MVD를 기반으로 상기 현재 블록의 움직임 벡터를 도출하는 단계, 및 상기 움직임 벡터를 기반으로 상기 현재 블록에 대한 예측 샘플을 생성하는 단계를 포함함을 특징으로 한다. 본 발명에 따르면 주변 블록을 기반으로 도출된 움직임 정보 후보 리스트를 기반으로 움직임 벡터를 도출할 수 있어 예측 모드 정보의 데이터량을 줄일 수 있고, 인터 예측 정확도와 전반적인 코딩 효율을 향상시킬 수 있다.

Description

영상 코딩 시스템에서 인터 예측 방법 및 장치
본 발명은 영상 코딩 기술에 관한 것으로서 보다 상세하게는 영상 코딩 시스템에서 인터 예측 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 전송되는 정보량 또는 비트량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 영상 데이터를 저장하는 경우, 전송 비용과 저장 비용이 증가된다.
이에 따라, 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술이 요구된다.
본 발명의 기술적 과제는 영상 코딩 효율을 높이는 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 인터 예측(inter prediction)의 효율을 향상시키기 위한 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 수정된 인터 예측 모드에 기반한 효율적인 움직임 벡터 도출(derive) 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 움직임 벡터 도출을 위한 움직임 정보 후보 리스트에 포함되는 쌍예측 후보를 도출 하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 주변 블록을 기반으로 도출된 움직임 정보 후보 리스트를 사용하여 보다 정확한 움직임 벡터를 도출하는 방법 및 장치를 제공함에 있다.
본 발명의 일 실시예에 따르면, 디코딩 장치에 의하여 수행되는 영상 디코딩 방법이 제공된다. 상기 방법은 비트스트림을 통하여 움직임 벡터 차분(motion vector difference, MVD)에 관한 정보를 수신하는 단계, 현재 블록의 주변 블록을 기반으로 움직임 정보 후보 리스트를 도출하는 단계, 상기 움직임 정보 후보 리스트를 기반으로 상기 현재 블록의 움직임 벡터 예측자(motion vector predictor, MVP)를 도출하는 단계, 상기 MVP 및 상기 MVD를 기반으로 상기 현재 블록의 움직임 벡터를 도출하는 단계, 및 상기 움직임 벡터를 기반으로 상기 현재 블록에 대한 예측 샘플을 생성하는 단계를 포함함을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 인터 예측을 수행하는 디코딩 장치가 제공된다. 상기 디코딩 장치는 비트스트림을 통하여 움직임 벡터 차분(motion vector difference, MVD)에 관한 정보를 수신하는 엔트로피 디코딩부, 및 현재 블록의 주변 블록을 기반으로 움직임 정보 후보 리스트를 도출하고, 상기 움직임 정보 후보 리스트를 기반으로 상기 현재 블록의 움직임 벡터 예측자(motion vector predictor, MVP)를 도출하고, 상기 MVP 및 상기 MVD를 기반으로 상기 현재 블록의 움직임 벡터를 도출하고, 상기 움직임 벡터를 기반으로 상기 현재 블록에 대한 예측 샘플을 생성하는 예측부를 포함함을 특징으로 한다.
본 발명의 또 다른 일 실시예에 따르면, 인코딩 장치에 의하여 수행되는 비디오 인코딩 방법을 제공한다. 상기 방법은 현재 블록의 주변 블록을 기반으로 움직임 정보 후보 리스트를 도출하는 단계, 상기 움직임 정보 후보 리스트를 기반으로 상기 현재 블록의 움직임 벡터 예측자(motion vector predictor, MVP)를 결정하는 단계, 상기 MVP를 기반으로 상기 현재 블록의 움직임 벡터를 도출하는 단계, 상기 현재 블록의 움직임 벡터를 기반으로 상기 현재 블록에 대한 예측 샘플을 생성하는 단계, 및 상기 인터 예측 모드를 나타내는 예측 모드 정보를 인코딩하여 출력하는 단계를 포함함을 특징으로 한다.
본 발명의 또 다른 일 실시예에 따르면, 비디오 인코딩 장치를 제공한다. 상기 인코딩 장치는 현재 블록의 주변 블록을 기반으로 움직임 정보 후보 리스트를 도출하고, 상기 움직임 정보 후보 리스트를 기반으로 상기 현재 블록의 움직임 벡터 예측자(motion vector predictor, MVP)를 결정하고, 상기 MVP를 기반으로 상기 현재 블록의 움직임 벡터를 도출하고, 상기 현재 블록의 움직임 벡터를 기반으로 상기 현재 블록에 대한 예측 샘플을 생성하는 예측부, 및 상기 인터 예측 모드를 나타내는 예측 모드 정보를 인코딩하여 출력하는 엔트로피 인코딩부를 포함함을 특징으로 한다.
본 발명에 따르면 주변 블록을 기반으로 도출된 움직임 정보 후보 리스트를 기반으로 움직임 벡터를 도출할 수 있어 인터 예측 모드를 나타내는 예측 모드 정보의 데이터량을 줄일 수 있고, 전반적인 코딩 효율을 향상시킬 수 있다.
본 발명에 따르면 움직임 벡터의 도출을 위한 쌍예측 후보의 다양한 도출 방법을 제공하고 있어 보다 정확한 인터 예측 수행을 할 수 있고, 전반적인 코딩 효율을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 3은 머지 모드의 MVP 후보 리스트를 구성하는 일 예를 예시적으로 나타낸다.
도 4는 L1 움직임 벡터를 도출하는 일 예를 예시적으로 나타낸다.
도 5는 디코딩 장치의 L1 움직임 벡터의 참조 픽처를 도출하는 일 예를 예시적으로 나타낸다.
도 6은 디코딩 장치의 L1 움직임 벡터를 도출하는 일 예를 예시적으로 나타낸다.
도 7은 본 발명에 따른 인코딩 장치에 의한 비디오 인코딩 방법을 개략적으로 나타낸다.
도 8은 본 발명에 따른 디코딩 장치에 의한 비디오 디코딩 방법을 개략적으로 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 1을 참조하면, 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 인코딩부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위 블록으로 분할할 수 있다. 이때, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, PU)일 수도 있고, 변환 유닛(Transform Unit, TU)일 수도 있으며, 코딩 유닛(Coding Unit, CU)일 수도 있다. 픽처는 복수의 코딩 트리 유닛(Coding Tree Unit, CTU)들로 구성될 수 있으며, 각각의 CTU는 쿼드 트리(quad-tree) 구조로 CU들로 분할(split)될 수 있다. CU는 보다 하위(deeper) 뎁스의 CU들로 쿼드 트리 구조로 분할될 수도 있다. PU 및 TU는 CU로부터 획득될 수 있다. 예를 들어, PU는 CU로부터 대칭 또는 비대칭 사각형 구조로 파티셔닝(partitioning)될 수 있다. 또한 TU는 CU로부터 쿼드 트리 구조로 분할될 수도 있다.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 샘플(또는 예측 샘플 어레이)을 포함하는 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, AMVP(Advanced Motion Vector Prediction) 등을 이용할 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU에 대응하는 참조 블록을 선택할 수 있다. 참조 블록은 정수 픽셀(또는 샘플) 또는 분수 픽셀(또는 샘플) 단위로 선택될 수 있다. 이어서, PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성된다.
예측 블록은 정수 픽셀 단위로 생성될 수도 있고, 1/2 픽셀 단위 또는 1/4 픽셀 단위와 같이 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다.
인터 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터 차분(motion vector difference, MDV), 움직임 벡터 예측자(motion vector predictor, MVP), 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달될 수 있다. 스킵 모드가 적용되는 경우에는 레지듀얼을 예측 블록을 복원 블록으로 할 수 있으므로, 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다.
인트라 예측에서 예측 모드는 예를 들어 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비방향성 모드는 DC 예측 모드 및 플래너 모드(Planar 모드)을 포함할 수 있다.
인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 인코딩부(130)에서 인코딩되어 디코딩 장치에 전달된다.
변환부(115)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다.
변환 블록은 샘플들의 직사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환부(115)는 레지듀얼 블록에 적용된 예측 모드와 블록의 크기에 따라서 변환을 수행할 수 있다.
예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열(array)이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
변환부(115)는 변환에 의해 변환 계수들의 변환 블록을 생성할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들, 즉 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화된 변환 계수를 재정렬한다. 양자화된 변환 계수를 재정렬함으로써 엔트로피 인코딩부(130)에서의 인코딩 효율을 높일 수 있다.
재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화된 변환 계수들을 1차원의 벡터 형태로 재정렬할 수 있다.
엔트로피 인코딩부(130)는 재정렬부(125)에 의해 재정렬된 양자화된 변환 값들 또는 코딩 과정에서 산출된 인코딩 파라미터 값 등을 기초로 심볼(symbol)을 확률 분포에 따라 엔트로피 코딩하여 비트스트림(bitstream)을 출력할 수 있다. 엔트로피 인코딩 방법은 다양한 값을 갖는 심볼을 입력 받아, 통계적 중복성을 제거하면서, 디코딩 가능한 2진수의 열로 표현하는 방법이다.
여기서, 심볼이란 인코딩/디코딩 대상 구문 요소(syntax element) 및 코딩 파라미터(coding parameter), 레지듀얼 신호(residual signal)의 값 등을 의미한다. 인코딩 파라미터는 인코딩 및 디코딩에 필요한 매개변수로서, 구문 요소와 같이 인코딩 장치에서 인코딩되어 디코딩 장치로 전달되는 정보뿐만 아니라, 인코딩 혹은 디코딩 과정에서 유추될 수 있는 정보를 포함할 수 있으며 영상을 인코딩하거나 디코딩할 때 필요한 정보를 의미한다. 인코딩 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터, 참조 영상 색인, 코딩 블록 패턴, 잔여 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다. 또한 잔여 신호는 원신호와 예측 신호의 차이를 의미할 수 있고, 또한 원신호와 예측 신호의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 잔여 신호는 블록 단위에서는 잔여 블록이라 할 수 있고, 샘플 단위에서는 잔여 샘플이라고 할 수 있다.
엔트로피 인코딩이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 인코딩 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 인코딩을 통해서 영상 인코딩의 압축 성능이 높아질 수 있다.
엔트로피 인코딩을 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 인코딩 방법이 사용될 수 있다. 예를 들어, 엔트로피 인코딩부(130)에는 가변 길이 코딩(VLC: Variable Length Coding/Code) 테이블과 같은 엔트로피 인코딩을 수행하기 위한 테이블이 저장될 수 있고, 엔트로피 인코딩부(130)는 저장된 가변 길이 코딩(VLC) 테이블을 사용하여 엔트로피 인코딩을 수행할 수 있다. 또한 엔트로피 인코딩부(130)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출(derive)한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 인코딩을 수행할 수도 있다.
또한, 엔트로피 인코딩부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값(양자화된 변환 계수)들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다.
역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값(또는 레지듀얼 샘플 또는 레지듀얼 샘플 어레이)과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 샘플(또는 복원 샘플 어레이)를 포함하는 복원 블록(Reconstructed Block)이 생성될 수 있다.
도 1에서는 가산기를 통해서, 레지듀얼 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 엣지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 비디오 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
비디오 인코딩 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 비디오 인코딩 장치에서 영상 정보가 처리된 절차에 따라서 디코딩될 수 있다.
엔트로피 디코딩부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 디코딩하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 디코딩 방법은 2진수의 열을 입력 받아 각 심볼들을 생성하는 방법이다. 엔트로피 디코딩 방법은 상술한 엔트로피 인코딩 방법과 유사하다.
예컨대, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CAVLC 등의 가변 길이 코딩(Variable Length Coding: VLC, 이하 'VLC' 라 함)가 사용된 경우에, 엔트로피 디코딩부(210)도 인코딩 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 디코딩을 수행할 수 있다. 또한, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 디코딩부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 디코딩을 수행할 수 있다.
보다 상세하게, CABAC 엔트로피 디코딩 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈을 수신하고, 디코딩 대상 구문 요소 정보와 주변 및 디코딩 대상 블록의 디코딩 정보 혹은 이전 단계에서 디코딩된 심볼/빈의 정보를 이용하여 문맥(context) 모델을 결정하고, 결정된 문맥 모델에 따라 빈(bin)의 발생 확률을 예측하여 빈의 산술 디코딩(arithmetic decoding)를 수행하여 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 디코딩 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 디코딩된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다.
엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 디코딩부(210)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.
재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 현재 블록(변환 블록)에 적용된 예측 모드와 변환 블록의 크기를 기반으로 계수에 대한 스캐닝을 수행하여 2 차원 블록 형태의 계수(양자화된 변환 계수) 배열(array)을 생성할 수 있다.
역양자화부(220)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 비디오 인코딩 장치에서 수행된 양자화 결과에 대해, 인코딩 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다.
역변환은 인코딩 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(225)는 인코딩 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 디코딩부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 예측 샘플(또는 예측 샘플 어레이)를 포함하는 예측 블록을 생성할 수 있다.
현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 비디오 인코딩 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
현재 픽처에 대한 인터 예측 시, 현재 블록과의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되도록 예측 블록을 생성할 수 있다.
한편, 움직임 정보 도출 방식은 현재 블록의 예측 모드에 따라 달라질 수 있다. 인터 예측을 위해 적용되는 예측 모드에는 AMVP(Advanced Motion Vector Prediction) 모드, 머지(merge) 모드 등이 있을 수 있다.
일 예로, 머지 모드가 적용되는 경우, 인코딩 장치 및 디코딩 장치는 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록인 Col 블록에 대응하는 움직임 벡터를 이용하여, 머지 후보 리스트를 생성할 수 있다. 머지 모드에서는 머지 후보 리스트에서 선택된 후보 블록의 움직임 벡터가 현재 블록의 움직임 벡터로 사용된다. 인코딩 장치는 상기 머지 후보 리스트에 포함된 후보 블록들 중에서 선택된 최적의 움직임 벡터를 갖는 후보 블록을 지시하는 머지 인덱스를 디코딩 장치로 전송할 수 있다. 이 때, 디코딩 장치는 상기 머지 인덱스를 이용하여, 현재 블록의 움직임 벡터를 도출할 수 있다.
다른 예로, AMVP(Advanced Motion Vector Prediction) 모드가 적용되는 경우, 인코딩 장치 및 디코딩 장치는 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록인 Col 블록에 대응하는 움직임 벡터를 이용하여, 움직임 벡터 예측자 후보 리스트를 생성할 수 있다. 즉, 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록인 Col 블록에 대응하는 움직임 벡터는 움직임 벡터 후보로 사용될 수 있다. 인코딩 장치는 상기 리스트에 포함된 움직임 벡터 후보 중에서 선택된 최적의 움직임 벡터를 지시하는 예측 움직임 벡터 인덱스를 디코딩 장치로 전송할 수 있다. 이 때, 디코딩 장치는 상기 움직임 벡터 인덱스를 이용하여, 움직임 정보 후보 리스트에 포함된 움직임 벡터 후보 중에서, 현재 블록의 예측 움직임 벡터를 선택할 수 있다.
인코딩 장치는 현재 블록의 움직임 벡터(MV)와 움직임 벡터 예측자(MVP) 간의 움직임 벡터 차분(MVD)을 구할 수 있고, 이를 인코딩하여 디코딩 장치로 전송할 수 있다. 즉, MVD는 현재 블록의 MV에서 MVP를 뺀 값으로 구해질 수 있다. 이 때, 디코딩 장치는 수신된 움직임 벡터 차분을 디코딩할 수 있고, 디코딩된 움직임 벡터 차분과 움직임 벡터 예측자의 가산을 통해 현재 블록의 움직임 벡터를 도출할 수 있다.
인코딩 장치는 또한 참조 픽처를 지시하는 참조 픽처 인덱스 등을 디코딩 장치에 전송할 수 있다.
디코딩 장치는 주변 블록의 움직임 정보들을 이용하여 현재 블록의 움직임 벡터를 예측하고, 인코딩 장치로부터 수신한 레지듀얼을 이용하여 현재 블록에 대한 움직임 벡터를 유도할 수 있다. 디코딩 장치는 유도한 움직임 벡터와 인코딩 장치로부터 수신한 참조 픽처 인덱스 정보를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.
다른 예로, 머지(merge) 모드가 적용되는 경우, 인코딩 장치 및 디코딩 장치는 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보를 이용하여, 머지 후보 리스트를 생성할 수 있다. 즉, 인코딩 장치 및 디코딩 장치는 복원된 주변 블록 및/또는 콜 블록의 움직임 정보가 존재하는 경우, 이를 현재 블록에 대한 머지 후보로 사용할 수 있다.
인코딩 장치는 머지 후보 리스트에 포함된 머지 후보 중에서 최적의 인코딩 효율을 제공할 수 있는 머지 후보를 현재 블록에 대한 움직임 정보로 선택할 수 있다. 이 때, 상기 선택된 머지 후보를 지시하는 머지 인덱스가 비트스트림에 포함되어 디코딩 장치로 전송될 수 있다. 디코딩 장치는 상기 전송된 머지 인덱스를 이용하여, 머지 후보 리스트에 포함된 머지 후보 중에서 하나를 선택할 수 있으며, 상기 선택된 머지 후보를 현재 블록의 움직임 정보로 결정할 수 있다. 따라서, 머지 모드가 적용되는 경우, 복원된 주변 블록 및/또는 콜 블록에 대응하는 움직임 정보가 현재 블록의 움직임 정보로 그대로 사용될 수 있다. 디코딩 장치는 예측 블록과 인코딩 장치로부터 전송되는 레지듀얼을 더하여 현재 블록을 복원할 수 있다.
상술한 AMVP 및 머지 모드에서는, 현재 블록의 움직임 정보를 도출하기 위해, 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보가 사용될 수 있다.
화면 간 예측에 이용되는 다른 모드 중 하나인 스킵 모드의 경우에, 주변 블록의 정보를 그대로 현재 블록에 이용할 수 있다. 따라서 스킵 모드의 경우에, 인코딩 장치는 현재 블록의 움직임 정보로서 어떤 블록의 움직임 정보를 이용할 것인지를 지시하는 정보 외에 레지듀얼 등과 같은 신택스 정보를 디코딩 장치에 전송하지 않는다.
인코딩 장치 및 디코딩 장치는 상기 도출된 움직임 정보에 기반하여 현재 블록에 대한 움직임 보상을 수행함으로써, 현재 블록의 예측 블록을 생성할 수 있다. 여기서, 예측 블록은 현재 블록에 대한 움직임 보상 수행 결과 생성된, 움직임 보상된 블록을 의미할 수 있다. 또한, 복수의 움직임 보상된 블록은 하나의 움직임 보상된 영상을 구성할 수 있다.
복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 레지듀얼 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다. 여기서 상기 복원 블록은 상술한 바와 같이 복원 샘플(또는 복원 샘플 어레이)를 포함하고, 상기 예측 블록은 예측 샘플(또는 예측 샘플 어레이)를 포함하고, 상기 레지듀얼 블록은 레지듀얼 샘플(또는 레지듀얼 샘플 어레이)를 포함할 수 있다. 따라서, 복원 샘플(또는 복원 샘플 어레이)은 대응하는 예측 샘플(또는 예측 샘플 어레이)과 레지듀얼 샘플(레지듀얼 샘플 어레이)이 합쳐서 생성된다고 표현될 수도 있다.
스킵 모드가 적용되는 블록에 대하여는 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.
디코딩 장치(200)에 포함되어 있는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 및 메모리(240) 중 영상의 디코딩에 직접적으로 관련된 구성요소들, 예컨대, 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 등을 다른 구성요소와 구분하여 디코더 또는 디코딩부로 표현할 수 있다.
또한, 디코딩 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱(parsing)하는 도시되지 않은 파싱부를 더 포함할 수 있다. 파싱부는 엔트로피 디코딩부(210)를 포함할 수도 있고, 엔트로피 디코딩부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.
상술한 내용과 같이 인터 예측 모드로 코딩된 현재 블록의 움직임 벡터를 도출하는 방법은 상기 현재 블록의 주변 블록의 움직임 벡터를 그대로 사용하는 모드와 상기 현재 블록의 움직임 벡터에 대한 부가 정보(ex. MVD)를 수신하여 상기 현재 블록의 상기 움직임 벡터를 보다 정확하게 도출하는 모드로 나눌 수 있다. 구체적으로 상기 현재 블록의 움직임 벡터를 도출하는 방법으로 머지 모드와 AMVP 모드 등이 있을 수 있다. 상기 머지 모드의 경우, 상기 AMVP 모드보다는 상기 인터 예측 모드에 관련된 부가 정보를 줄일 수 있으나, 이 경우 예측 성능이 떨어질 수 있으며, 따라서 레지듀얼 샘플에 대한 데이터량이 증가할 수 있다. 한편, AMVP 모드의 경우 머지 모드보다 정확한 움직임 예측을 수행할 수 있기에 예측 성능을 향상시킬 수 있으나 머지 모드에 비하여 추가적인 부가 정보가 전송되어야 한다.
본 발명에서는 인터 예측의 성능을 향상시키면서도 부가 정보를 줄일 수 있는 수정된 인터 예측 모드를 제안한다. 상기 수정된 인터 예측 모드를 적용하면 상기 AMVP 모드 대비 상기 부가 정보에 대한 데이터량을 줄일 수 있고, 상기 머지 모드 대비 정확한 예측을 수행하여 레지듀얼 샘플의 데이터량을 줄일 수 있어 전반적인 코딩효율을 향상시킬 수 있다.
본 발명에서는 상기 현재 블록의 주변 블록들의 움직임 정보들을 유도하고, 상기 움직임 정보들을 기반으로 수정된 인터 예측 모드를 위한 움직임 정보 후보 리스트를 도출하는 방법과, 상기 움직임 정보 후보 리스트를 기반으로 현재 블록의 움직임 벡터를 도출하는 방법을 제공한다.
도 3은 머지 모드의 움직임 정보 도출을 위한 후보 리스트를 구성하는 일 예를 예시적으로 나타낸다. 도 3을 참조하면 현재 블록의 주변 블록들을 기반으로 현재 블록의 움직임 정보 도출을 위한 후보 리스트를 도출할 수 있다. 상기 주변 블록들을 기반으로 도출된 후보들 중 적어도 하나를 기반으로 본 발명에 따른 수정된 인터 예측 모드의 움직임 정보 후보 리스트를 도출할 수 있다. 상기 머지 모드의 후보 리스트는 상기 현재 블록의 공간적으로 인접한 주변 블록의 움직임 정보를 포함하여 구성될 수 있고, 시간적으로 인접한 주변 블록, 예를 들어 도 3에 도시된 T0 또는 T1의 움직임 정보를 포함하여 구성될 수 있고, 상기 주변 블록들의 움직임 정보를 조합하거나 영(zero) 벡터를 포함하여 구성될 수 있다. 상기 주변 블록들의 움직임 정보는 상기 현재 블록의 움직임 정보 후보 리스트를 구성하기 위한 임시 후보로 도출될 수 있다. 상기 임시 후보는 쌍예측(bi-predicted) 후보일 수 있고, 또는 L0 또는 L1 예측 움직임 벡터 후보일 수 있다. 상기 L0 또는 L1 예측 움직임 벡터 후보는 단예측(uni-predicted) 후보라고도 할 수 있다. 상기 쌍예측 후보는 L0 움직임 벡터 및 L1 움직임 벡터를 포함할 수 있고, 상기 단예측 후보는 상기 L0 움직임 벡터 및 상기 L1 움직임 벡터 중 하나만을 포함할 수 있다. 상기 L0 움직임 벡터는 L0 예측에 관한 움직임 벡터를 나타내고, 상기 L1 움직임 벡터는 L1 예측에 관한 움직임 벡터를 나타낸다. 상기 L0은 참조 픽처 리스트 L0(list 0)를 나타내고, 상기 L1은 참조 픽처 리스트 L1(list 1)을 나타낸다. 구체적으로, 상기 주변 블록의 움직임 정보가 쌍예측 정보인 경우, L0 참조 픽처 인덱스 및 L0 참조 픽처와 연관된 움직임 벡터, L1 참조 픽처 인덱스 및 L1 참조 픽처와 연관된 움직임 벡터를 포함할 수 있다. 상기 주변 블록의 쌍예측 정보는 상기 현재 블록의 (쌍예측) 후보로 도출될 수 있다.
상기 주변 블록의 움직임 정보가 단예측 정보인 경우, L0 참조 픽처 인덱스 및 L0 참조 픽처와 연관된 움직임 벡터를 포함할 수 있고, 또는 L1 참조 픽처 인덱스 및 L1 참조 픽처와 연관된 움직임 벡터를 포함할 수 있다. 여기서, L0 참조 픽처라 함은 참조 픽처 리스트 L0에 포함된 참조 픽처들 중 특정 참조 픽처를 나타낸다. 여기서 상기 특정 참조 픽처는 상기 참조 픽처 리스트 L0에 포함된 참조 픽처들 중 L0 움직임 벡터와 연관된 참조 픽처 인덱스(L0 참조 픽처 인덱스)가 가리키는 참조 픽처일 수 있다. 한편 L1 참조 픽처라 함은 참조 픽처 리스트 L1에 포함된 참조 픽처들 중 특정 참조 픽처를 나타낸다. 여기서 상기 특정 참조 픽처는 상기 참조 픽처 리스트 L1에 포함된 참조 픽처들 중 L1 움직임 벡터와 연관된 참조 픽처 인덱스(L1 참조 픽처 인덱스)가 가리키는 참조 픽처일 수 있다.
상기 머지 모드의 후보 리스트는 AMVP 모드와 달리 주변 블록의 움직임 정보를 그대로 재사용하기에, 해당 주변 블록의 단예측/쌍예측 정보 및 참조 픽처 인덱스가 그대로 고정되어 상기 현재 블록에 사용될 수 있어, 상기 현재 블록에 대한 최적의 MV(motion vector) 또는 MVP(motion vector predictor)를 도출하기 어려울 수 있다. 본 발명에서는 상기 임시 후보들 중 단예측 후보들을 쌍예측 후보들로 유도하고 상기 단예측 후보들의 참조 픽처 인덱스를 조절하여 상기 단예측 후보들에 대응되는 쌍예측 후보들을 도출할 수 있다. 상기 대응되는 쌍예측 후보들을 포함한 수정된 인터 예측 모드의 움직임 정보 후보 리스트를 사용하여 현재 블록에 더 적합한 MV 또는 MVP를 갖도록 할 수 있다.
상기 주변 블록들을 기반으로 도출되는 임시 후보들(임시 후보 리스트)은 다음 표 1과 같을 수 있다.
Figure PCTKR2016009410-appb-T000001
여기서, A1, B2, B0, A0 및 T0는 현재 블록의 공간적(spatial) 또는 시간적(temporal) 주변 블록들을 나타낸다. Pred_idc는 단예측/쌍예측 종류를 나타내고, refIdx(L0)는 L0 참조 픽처 인덱스, refIdx(L1)는 L1 참조 픽처 인덱스를 나타낸다. 임시 후보들이 표 1과 같을 때, 단예측 후보인 B1, B0, T0에 대응되는 쌍예측 후보를 도출할 수 있다.
예를 들어, 단예측 후보인 상기 B1의 L0 참조 픽처 인덱스 및/또는 L0 움직임 벡터를 기반으로 L1 참조 픽처 인덱스 및/또는 L1 움직임 벡터를 유도할 수 있다.
구체적으로, 일 예로, 상기 L1 참조 픽처 인덱스는 0으로 설정 또는 고정될 수 있다.
다른 예로, 상기 L1 참조 픽처 인덱스는 상기 B1의 L0 참조 픽처 인덱스와 동일한 POCDiff, 즉 POC(picture of count) 차분값을 갖는 L1 참조 픽처 인덱스로 도출될 수 있다. 다시 말해 상기 참조 픽처 리스트 L0에 포함된 참조 픽처들 중 상기 L0 움직임 벡터와 연관된 참조 픽처의 POC와 상기 현재 픽처의 POC 간 차이와 동일한 POC 차분값을 갖는 참조 픽처 리스트 L1에 포함된 참조 픽처를 가리키는 L1 참조 픽처 인덱스로 도출될 수 있다. 예를 들어, 현재 픽처의 POC가 10이고, 참조 픽처 리스트 L0에 POC 8, 7, 6의 참조 픽처들이 내림차순으로 포함되고, 이 경우 L0 참조 픽처 인덱스 0이 상기 POC 8의 참조 픽처를 지시할 수 있다. 만약 참조 픽처 리스트 L1에 POC 11, 12, 13의 참조 픽처들이 오름차순으로 포함되는 경우, 상술한 예에 따르면 POCDiff 2를 갖는 POC 12의 참조 픽처가 L1 참조 픽처로 결정되고, 이 경우 L1 참조 픽처 인덱스는 1로 설정될 수 있다.
또 다른 예로, 상기 L1 참조 픽처 인덱스는 상기 임시 후보들에 포함된 L1 참조 픽처 인덱스들의 값들 중 최소값과 동일한 값으로 도출될 수 있다. 또는, 상기 L1 참조 픽처 인덱스는 상기 임시 후보들에 포함된 L1 참조 픽처 인덱스들의 값들 중 최빈값으로 도출될 수 있다.
한편, 상기 L1 (또는 L0) 움직임 벡터는 단예측 후보에 포함된 상기 L0 (또는 L1) 움직임 벡터를 스케일링(scaling)하여 도출할 수 있다. 이하 단예측 후보에 L0 움직임 벡터가 포함된 경우에 L1 움직임 벡터를 구하는 방법을 예를 들어 설명하며, 단예측 후보에 L1 움직임 벡터가 포함된 경우에 대해서 L0 움직임 벡터를 구하는 방법도 L0와 L1만 변경하여 마찬가지로 수행될 수 있다.
도 4는 L1 움직임 벡터를 도출하는 일 예를 예시적으로 나타낸다. 도 4를 참조하면 현재 후보 블록, 예를 들어 B1에 포함된 객체가 동일 기울기로 움직이고 있다고 가정할 수 있으며, 이 경우 L0 움직임 벡터를 L1 방향으로 스케일링할 수 있다. 즉, 상기 L0 움직임 벡터에 수학식을 적용하여 도출할 수 있다. 상기 L1 움직임 벡터는 다음과 같은 수학식을 기반으로 도출될 수 있다.
Figure PCTKR2016009410-appb-M000001
여기서, MV(L1)은 L1 움직임 벡터, MV(L0)는 L0 움직임 벡터를 나타낸다.
한편, L0 참조 픽처에 대한 POCDiff와 L1 참조 픽처에 대한 POCDiff가 다른 경우, L1 움직임 벡터는 참조 픽처의 거리비, 즉 POCDiff에 비례하여 스케일링될 수 있다. 여기서, POCDiff는 현재 픽처의 POC와 관련 참조 픽처의 POC 간 차이를 나타낸다. 예를 들어 상기 현재 픽처와 상기 L0 참조 픽처 간 POCDiff가 1이고, 상기 L1 참조 픽처와 상기 현재 픽처 간 POCDiff가 2인 경우, L1 움직임 벡터는 그 크기가 L0 움직임 벡터의 크기보다 2배 더 크게 스케일링될 수 있다.
또한, 상기 임시 후보들에 포함된 L1 움직임 벡터들을 기반으로 대표값(즉, L1 움직임 벡터들을 기반으로 도출된 대표 L1 움직임 벡터)을 도출하고, 상기 대표값을 상기 B1의 L1 움직임 벡터로 도출할 수 있다. 구체적으로 상기 임시 후보들에 포함된 L1 움직임 벡터들의 최빈 움직임 벡터을 대표값으로 도출할 수 있고, 상기 임시 후보들에 포함된 L1 움직임 벡터들의 평균값을 대표값으로 도출할 수 있고, 상기 임시 후보들에 포함된 L1 움직임 벡터들의 중간값(median value)을 대표값으로 도출할 수 있다.
또한, 상기 임시 후보들 중 현재 후보 이외의 후보들에 포함된 L0 움직임 벡터들의 대표값(즉, L0 움직임 벡터들을 기반으로 도출된 대표 L0 움직임 벡터)을 도출하고, 상기 대표값을 L1 방향으로 스케일링하여 상기 B1의 L1 움직임 벡터로 도출할 수 있다. 구체적으로 상기 L0 움직임 벡터들의 대표값은 최빈 움직임 벡터, 상기 L0 움직임 벡터들의 평균값, 상기 L0 움직임 벡터들의 중간값으로 도출될 수 있고, 상기 대표값을 L1 방향으로 스케일링하여 상기 B1의 L1 움직임 벡터를 도출할 수 있다.
상술한 방법에 의하여 상기 단예측 후보들, 예를 들어 표 1의 B1, B0, T0의 움직임 정보를 포함한 단예측 후보들을 기반으로 쌍예측 후보들을 도출할 수 있다. 상기 임시 후보들 중 상기 도출된 단예측 후보들을 상기 단예측 후보들에 대응되는 상기 쌍예측 후보들로 대체하여 상기 현재 블록의 움직임 정보 후보 리스트를 도출할 수 있다. 상기 움직임 정보 후보 리스트는 다음의 표 2와 같을 수 있다.
Figure PCTKR2016009410-appb-T000002
여기서, 후보 인덱스(Candidate index)는 각 움직임 정보 후보 리스트의 각 후보들을 가리키는 움직임 정보 후보 인덱스를 나타낸다. 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 상기 예에서는 움직임 정보 후보 인덱스의 값이 2, 3, 5를 갖는 후보들이 쌍예측 후보로 대체된 후보들에 해당한다.
또한, 상기 임시 후보들에 상기 도출된 쌍예측 후보들을 추가적으로 포함한 후보들을 상기 현재 블록의 움직임 정보 후보 리스트로 도출할 수 있다. 상기 움직임 정보 후보 리스트는 다음의 표 3과 같을 수 있다.
Figure PCTKR2016009410-appb-T000003
여기서, 움직임 정보 후보 인덱스의 값이 6, 7, 8을 갖는 후보들이 추가적으로 포함된 상기 쌍예측 후보들을 나타낸다. 상기 움직임 정보 후보의 인덱스 순서는 일 예이고, 상기 인덱스 순서는 변경될 수 있다.
한편, 디코딩 장치는 예를 들어 다음과 같은 방법을 통하여 단예측 후보(또는 단예측 움직임 정보)를 통하여 쌍예측 후보(또는 쌍예측 움직임 정보)를 도출할 수 있다. 이하 단예측 후보에 L0 움직임 정보(L0 움직임 벡터 및/또는 L0 참조 픽처 인덱스)가 포함된 경우를 기반으로 설명하며 단예측 후보에 L1 움직임 정보(L1 움직임 벡터 및/또는 L1 참조 픽처 인덱스)벡터가 포함된 경우에 대해서도, L0와 L1만 변경하여 마찬가지로 수행될 수 있다.
도 5는 디코딩 장치에서 L1 참조 픽처를 도출하는 일 예를 예시적으로 나타낸다. 도 5를 참조하면 상기 임시 후보들 중 단예측 후보를 쌍예측 후보로 도출할 수 있고, 상기 쌍예측 후보를 포함한 현재 블록의 움직임 정보 후보 리스트를 도출할 수 있다. 상기 L1 참조 픽처 인덱스를 도출하는 방법으로 상술한 방법을 적용할 수도 있다.
또한, 디코딩 장치는 단예측 후보의 움직임 벡터, 예를 들어 상기 움직임 벡터가 L0 움직임 벡터인 경우, 참조 픽처 리스트 L1에 포함된 모든 참조 픽처들에 대하여 상기 L0 움직임 벡터와 상기 L0 움직임 벡터와 연관된 L0 참조 픽처 인덱스를 기반으로 도출되는 참조 블록과 상기 L0 움직임 벡터를 L1 방향으로 스케일링하여 도출된 L1 움직임 벡터가 가리키는 참조 블록과의 차이(즉, sum of absolute difference, SAD)가 가장 작은 참조 블록을 포함한 참조 픽처를 가리키는 L1 움직임 벡터의 참조 픽처 인덱스를 도출할 수 있다. 다시 말해 상기 L0 움직임 벡터가 가리키는 참조 영역과 L0 움직임 벡터를 스케일링하여 도출된 L1 움직임 벡터가 가리키는 참조 영역의 위상(phase)에 따른 샘플들 간의 차분 값(즉, 레지듀얼)이 최소가 되는 참조 픽처 리스트 L1 상의 참조 픽처를 도출할 수 있다.
도 6은 디코딩 장치의 L1 움직임 벡터를 도출하는 일 예를 예시적으로 나타낸다. 단예측 후보에 대응되는 쌍예측 후보를 도출할 때, 상기 단예측 후보의 움직임 벡터가 L0 움직임 벡터인 경우, L1 움직임 벡터는 상술한 방법을 통해 도출할 수 있다.
또한, 디코딩 장치는 상술한 방법들을 통하여 L1 움직임 벡터 후보들을 도출하고, 상기 L1 움직임 벡터 후보들 중 L1 움직임 벡터 후보가 가리키는 참조 영역과 L0 움직임 벡터가 가리키는 참조 영역의 레지듀얼이 가장 작은 L1 움직임 벡터 후보를 상기 L1 움직임 벡터로 도출할 수 있다.
또한, 디코딩 장치는 상술한 방법들을 통하여 L1 움직임 벡터 후보들을 도출할 수 있고, 상기 단예측 후보를 기반으로 L1 움직임 벡터에 연관된 L1 참조 픽처 인덱스를 도출하여 상기 참조 픽처 인덱스가 기리키는 참조 픽처 상에서 임의의 검색 범위를 설정할 수 있다. 상기 검색 범위 내에서 상기 L1 움직임 벡터 후보들을 기반으로 움직임 벡터 검색을 수행하여 상기 L0 움직임 벡터가 가리키는 참조 영역과의 레지듀얼이 최소인 L1 움직임 벡터 후보를 상기 L1 움직임 벡터로 도출할 수 있다.
또한, 상술한 L1 움직임 벡터를 도출하는 방법들의 조합으로 L1 움직임 벡터를 생성할 수 있고, 도출 과정의 예는 다음과 같다.
임시 후보들 중 단예측 후보의 움직임 벡터, 예를 들어 상기 움직임 벡터가 L0 움직임 벡터인 경우, 상기 L0 움직임 벡터를 L1 방향으로 스케일링하여 L1 움직임 벡터 후보를 도출할 수 있다. 또한 상기 임시 후보들 중 상기 단예측 후보 이외의 후보들의 L1 움직임 벡터들의 대표값으로 L1 움직임 벡터 후보를 도출할 수 있다. 또한 상기 임시 후보들 중 상기 단예측 후보 이외의 L0 움직임 벡터들의 대표값을 도출하고 상기 대표값을 갖는 움직임 벡터를 L1 방향으로 스케일링하여 L1 움직임 벡터 후보를 도출할 수 있다. 상기 L1 움직임 벡터 후보들을 기반으로 상기 L1 움직임 벡터를 도출할 수 있다. 예를 들어 상기 L1 움직임 벡터 후보들이 가리키는 참조 영역들 중 상기 L0 움직임 벡터가 가리키는 참조 영역과 레지듀얼이 가장 작은 참조 영역을 가리키는 L1 움직임 벡터 후보를 L1 움직임 벡터로 도출할 수 있다. 또한, 상기 단예측 후보를 기반으로 도출된 L1 움직임 벡터에 연관된 참조 픽처 인덱스가 기리키는 참조 픽처 상에서 임의의 검색 범위를 설정할 수 있다. 상기 검색 범위 내에서 상기 L1 움직임 벡터 후보들을 기반으로 움직임 벡터 검색을 수행하여 상기 L0 움직임 벡터가 가리키는 참조 영역과의 레지듀얼이 최소인 L1 움직임 벡터 후보를 상기 L1 움직임 벡터로 도출할 수 있다.
상술한 방법을 통하여 현재 블록의 수정된 인터 예측 모드를 적용하는 경우, 인코딩 장치는 상기 수정된 인터 예측 모드의 적용 여부를 나타내는 플래그를 생성할 수 있고, 상기 플래그를 디코딩 장치로 전송할 수 있다. 예를 들어 상기 플래그는 use new mode 플래그, comb mode 플래그 등이라고 불릴 수 있다. 또는, 기존의 merge flag가 inter mode type 인덱스 정보로 대체되고, inter mode type 인덱스 정보의 값이 0인 경우 머지 모드, 1인 경우 AMVP 모드, 2인 경우 본 발명에 따른 수정된 인터 예측 모드를 나타낼 수도 있다.
또한, 상술한 방법을 통하여 현재 블록의 움직임 정보 후보 리스트를 도출한 경우, 인코딩 장치는 상기 움직임 정보 후보 리스트에 포함된 특정 후보를 도출할 수 있고, 상기 특정 후보를 기반으로 상기 현재 블록의 움직임 벡터를 도출할 수 있다. 또한, 상기 특정 후보를 가리키는 인덱스를 생성할 수 있고, 상기 인덱스를 디코딩 장치로 전송할 수 있다. 디코딩 장치는 상기 움직임 정보 후보 리스트를 도출할 수 있고, 인코딩 장치로부터 특정 후보를 가리키는 인덱스를 수신하여 특정 후보를 도출할 수 있고, 상기 특정 후보를 기반으로 상기 현재 블록의 움직임 벡터를 도출할 수 있다. 여기서 상기 인덱스는 뉴(new) 모드 인덱스라고 할 수 있고, 움직임 벡터 인덱스라고 할 수 있고, MVP 인덱스라고 할 수도 있다. 상기 use new mode 플래그 및 뉴 모드 인덱스는 예를 들어 다음 표 4와 같은 신텍스(syntax)를 통하여 전송될 수 있다.
Figure PCTKR2016009410-appb-T000004
표 4를 참조하면, use_new_mode_flag 신텍스 요소는 상기 new mode 플래그에 대응할 수 있다. 또한, new_mode_idx 신텍스 요소는 상기 뉴 모드 인덱스에 대응할 수 있다. 상기 new mode 플래그의 오버헤드(overhead)를 줄이기 위하여 상기 new mode 플래그는 픽처 타입, CU 사이즈 및 뎁스(depth)에 따라 선택적으로 적용될 수 있다. 구체적으로, B 픽처 타입인 경우에만 상기 상기 new mode 플래그를 인코딩할 수 있고, CU 사이즈가 32x32보다 작은 경우에만 상기 상기 new mode 플래그를 인코딩할 수 있다.
한편, 디코딩 장치는 상기 뉴 모드 인덱스를 수신하지 않고 특정 후보를 도출할 수 있다. 주변 블록들을 기반으로 임시 후보들을 도출하여 상기 임시 후보들 중 단예측 후보들을 기반으로 상기 단예측 후보들에 대응되는 쌍예측 후보들을 도출할 수 있고, 상기 쌍예측 후보들을 포함한 움직임 정보 후보 리스트를 도출할 수 있다. 디코딩 장치는 상기 움직임 정보 후보 리스트의 쌍에측 후보들 중 L0 움직임 벡터가 L0 참조 픽처 상에서 가리키는 참조 영역과 L1 움직임 벡터가 L1 참조 픽처 상에서 가리키는 참조 영역과의 레지듀얼이 최소가 되는 쌍예측 후보를 현재 블록의 MVP로 도출할 수 있다. 이 경우, 디코딩 과정에서 상기 MVP를 도출할 수 있으므로, 인코딩 장치는 특정 후보를 가리키는 인덱스(뉴 모드 인덱스)를 전송하지 않을 수 있다. 상기 뉴 모드 인덱스가 전송되지 않는 경우에는 다음 표 5와 같을 수 있다.
Figure PCTKR2016009410-appb-T000005
표 5를 참조하면, new_mode_idx 신텍스 요소는 상기 뉴 모드 인덱스에 대응할 수 있고, 전송되지 않는 것을 볼 수 있다.
한편, 상술한 단예측 후보를 기반으로 쌍예측 후보를 도출하는 방법에서는 단예측 후보에 L0 움직임 정보가 포함된 경우에 대하여 서술하고 있으나, 이는 예시이고, 단예측 후보에 L1 움직임 정보가 포함된 경우에도 적용될 수 있다.
도 7은 본 발명에 따른 인코딩 장치에 의한 비디오 인코딩 방법을 개략적으로 나타낸다. 도 7에서 개시된 방법은 도 1에서 개시된 인코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 7의 S700 내지 S730은 상기 인코딩 장치의 예측부에 의하여 수행될 수 있고, 상기 S740은 상기 인코딩 장치의 엔트로피 인코딩부에 의하여 수행될 수 있다.
인코딩 장치는 현재 블록의 주변 블록을 기반으로 상기 현재 블록의 움직임 정보 후보 리스트를 도출한다(S700). 인코딩 장치는 상기 주변 블록을 기반으로 임시 후보들을 도출할 수 있다. 상기 임시 후보는 쌍예측(bi-predicted) 후보일 수 있고, 또는 L0 또는 L1 예측 움직임 벡터 후보일 수 있다. 상기 L0 또는 L1 예측 움직임 벡터 후보는 단예측(uni-predicted) 후보라고도 할 수 있다. 상기 단예측 후보는 제1 움직임 벡터와 연관되고(associated), 상기 쌍예측 후보는 상기 제1 움직임 벡터 및 제2 움직임 벡터와 연관될 수 있다. 상기 제1 움직임 벡터는 L0 움직임 벡터 및 L1 움직임 벡터 중 하나만을 포함할 수 있고, 상기 쌍예측 후보는 상기 L0 움직임 벡터 및 상기 L1 움직임 벡터를 포함할 수 있다. 상기 L0 움직임 벡터는 L0 예측에 관한 움직임 벡터를 나타내고, 상기 L1 움직임 벡터는 L1 예측에 관한 움직임 벡터를 나타낸다. 상기 L0은 참조 픽처 리스트 L0(list 0)를 나타내고, 상기 L1은 참조 픽처 리스트 L1(list 1)을 나타낸다. 상기 L1 움직임 벡터는 상기 L0 움직임 벡터와 반대 방향을 갖는다고 할 수도 있다.
인코딩 장치는 상기 임시 후보들 중 단예측 후보를 기반으로 쌍예측 후보를 도출할 수 있다. 상기 L0 움직임 벡터가 상기 제1 움직임 벡터에 해당되는 경우, 인코딩 장치는 상기 제2 움직임 벡터에 포함되는 상기 L1 움직임 벡터 및 상기 제2 움직임 벡터와 연관된 L1 참조 픽처 인덱스를 도출할 수 있다.
일 예로, 인코딩 장치는 상기 제2 움직임 벡터와 연관된 L1 참조 픽처 인덱스는 0으로 설정 또는 고정할 수 있다.
다른 예로, 상기 제2 움직임 벡터와 연관된 L1 참조 픽처 인덱스는 참조 픽처 리스트 L1에 포함된 참조 픽처들 중 현재 픽처와의 POC 차분값이 특정 POC 차분값인 L1 참조 픽처를 가리키는 참조 픽처 인덱스로 도출될 수 있다. 상기 특정 POC 차분값은 상기 현재 픽처와 상기 참조 픽처 리스트 L0에 포함된 참조 픽처들 중 상기 제1 움직임 벡터와 연관된 L0 참조 픽처의 POC 차분값과 동일한 값일 수 있다.
다른 예로, 상기 제2 움직임 벡터와 연관된 L1 참조 픽처 인덱스는 상기 임시 후보들에 포함된 L1 참조 픽처 인덱스들의 값들 중 최소값과 동일한 값을 갖는 참조 픽처 인덱스로 도출될 수 있다.
다른 예로, 상기 제2 움직임 벡터와 연관된 L1 참조 픽처 인덱스는 상기 임시 후보들에 포함된 L1 참조 픽처 인덱스들의 값들 중 최빈값을 갖는 참조 픽처 인덱스로 도출될 수 있다.
한편, 상기 제2 움직임 벡터에 포함되는 상기 L1 움직임 벡터는 상기 L0 움직임 벡터를 L1 방향으로 스케일링하여 도출될 수 있다. 이 경우 상기 스케일링은 상술한 수학식 1을 적용하여 수행할 수 있다.
일 예로, 인코딩 장치는 상기 L0 움직임 벡터를 제1 차이 및 제2 차이를 기반으로 스케일링하여 상기 L1 움직임 벡터를 도출할 수 있다. 상기 제1 차이는 상기 현재 픽처의 POC(picture order count)와 참조 픽처 리스트 L0에 포함된 참조 픽처들 중 상기 L0 움직임 벡터와 연관된 L0 참조 픽처의 POC 간 차이를 나타내고, 상기 제2 차이는 참조 픽처 리스트 L1에 포함된 L1 참조 픽처의 POC와 상기 현재 픽처의 POC간 차이를 나타낸다.
다른 예로, 상기 제2 움직임 벡터에 포함되는 상기 L1 움직임 벡터는 상기 임시 후보들 중 다른 후보들의 L1 움직임 벡터들을 기반으로 도출될 수 있다. 인코딩 장치는 상기 임시 후보들에 포함된 L1 움직임 벡터들의 대표값을 도출하여 상기 대표값을 기반으로 상기 L1 움직임 벡터를 도출할 수 있다. 상기 대표값은 상기 임시 후보들에 포함된 L1 움직임 벡터들의 최빈 움직임 벡터, 상기 임시 후보들에 포함된 L1 움직임 벡터들의 평균값, 및 상기 임시 후보들에 포함된 L1 움직임 벡터들의 중간값 중 하나일 수 있다.
다른 예로, 상기 제2 움직임 벡터에 포함되는 상기 L1 움직임 벡터는 상기 임시 후보들 중 상기 제1 움직임 벡터를 제외한 L0 움직임 벡터들을 기반으로 도출될 수 있다. 인코딩 장치는 상기 제1 움직임 벡터를 제외한 L0 움직임 벡터들의 대표값을 도출하여 상기 대표값을 L1 방향으로 스케일링하여 상기 L1 움직임 벡터를 도출할 수 있다. 상기 대표값은 상기 제1 움직임 벡터를 제외한 L0 움직임 벡터들의 최빈 움직임 벡터, 상기 임시 후보들에 포함된 L0 움직임 벡터들의 평균값, 및 상기 임시 후보들에 포함된 L0 움직임 벡터들의 중간값 중 하나일 수 있다.
다른 예로, 인코딩 장치는 상기 제2 움직임 벡터에 포함되는 상기 L1 움직임 벡터는 상술한 도출 방법들을 조합하여 도출할 수 있다.
한편, 일 예로, 인코딩 장치는 상기 임시 후보들 중 상기 단예측 후보를 상기 단예측 후보에 대응되는 상기 쌍예측 후보로 대체하여 상기 움직임 정보 후보 리스트를 도출할 수 있다. 이 경우 상기 움직임 정보 후보 리스트는 상술한 표 2와 같을 수 있다.
다른 예로, 인코딩 장치는 상기 움직임 정보 후보 리스트를 상기 임시 후보들을 포함하고, 상기 단예측 후보에 대응되는 상기 쌍예측 후보를 추가적으로 포함하여 도출할 수 있다. 이 경우 상기 움직임 정보 후보 리스트는 상술한 표 3과 같을 수 있다.
한편, 상기 L1 움직임 벡터가 상기 제1 움직임 벡터에 해당되는 경우, 인코딩 장치는 상기 제2 움직임 벡터에 포함되는 상기 L0 움직임 벡터 및 상기 제2 움직임 벡터와 연관된 참조 픽처 인덱스를 도출할 수 있다.
일 예로, 인코딩 장치는 상기 제2 움직임 벡터와 연관된 L0 참조 픽처 인덱스는 0의 값으로 설정 또는 고정할 수 있다.
다른 예로, 상기 제2 움직임 벡터와 연관된 L0 참조 픽처 인덱스는 참조 픽처 리스트 L0에 포함된 참조 픽처들 중 현재 픽처와의 POC 차분값이 특정 POC 차분값인 L0 참조 픽처를 가리키는 참조 픽처 인덱스로 도출될 수 있다. 상기 특정 POC 차분값은 상기 현재 픽처와 상기 참조 픽처 리스트 L1에 포함된 참조 픽처들 중 상기 제1 움직임 벡터와 연관된 L1 참조 픽처의 POC 차분값과 동일한 값일 수 있다.
다른 예로, 상기 제2 움직임 벡터와 연관된 L0 참조 픽처 인덱스는 상기 임시 후보들에 포함된 L0 참조 픽처 인덱스들의 값들 중 최소값과 동일한 값을 갖는 참조 픽처 인덱스로 도출될 수 있다.
다른 예로, 상기 제2 움직임 벡터와 연관된 L0 참조 픽처 인덱스는 상기 임시 후보들에 포함된 L0 참조 픽처 인덱스들의 값들 중 최빈값을 갖는 참조 픽처 인덱스로 도출될 수 있다.
한편, 상기 제2 움직임 벡터에 포함되는 상기 L0 움직임 벡터는 상기 L1 움직임 벡터를 L0 방향으로 스케일링하여 도출될 수 있다. 이 경우 상기 스케일링은 상술한 수학식 1을 적용하여 수행할 수 있다.
일 예로, 인코딩 장치는 상기 L1 움직임 벡터를 제1 차이 및 제2 차이를 기반으로 스케일링하여 상기 L0 움직임 벡터를 도출할 수 있다. 상기 제1 차이는 상기 현재 픽처의 POC(picture order count)와 참조 픽처 리스트 L1에 포함된 참조 픽처들 중 상기 L1 움직임 벡터와 연관된 L1 참조 픽처의 POC 간 차이를 나타내고, 상기 제2 차이는 상기 참조 픽처 리스트 L0에 포함된 L0 참조 픽처의 POC와 상기 현재 픽처의 POC간 차이를 나타낸다.
다른 예로, 상기 제2 움직임 벡터에 포함되는 상기 L0 움직임 벡터는 상기 임시 후보들 중 다른 후보들의 L0 움직임 벡터들을 기반으로 도출될 수 있다. 인코딩 장치는 상기 임시 후보들에 포함된 L0 움직임 벡터들의 대표값을 도출하여 상기 대표값을 기반으로 상기 L0 움직임 벡터를 도출할 수 있다. 상기 대표값은 상기 임시 후보들에 포함된 L0 움직임 벡터들의 최빈 움직임 벡터, 상기 임시 후보들에 포함된 L0 움직임 벡터들의 평균값, 및 상기 임시 후보들에 포함된 L0 움직임 벡터들의 중간값 중 하나일 수 있다.
또한, 상기 제2 움직임 벡터에 포함되는 상기 L0 움직임 벡터는 상기 임시 후보들 중 상기 제1 움직임 벡터를 제외한 L1 움직임 벡터들을 기반으로 도출될 수 있다. 인코딩 장치는 상기 제1 움직임 벡터를 제외한 L1 움직임 벡터들의 대표값을 도출하여 상기 대표값을 L0 방향으로 스케일링하여 상기 L0 움직임 벡터를 도출할 수 있다. 상기 대표값은 상기 제1 움직임 벡터를 제외한 L1 움직임 벡터들의 최빈 움직임 벡터, 상기 임시 후보들에 포함된 L1 움직임 벡터들의 평균값, 및 상기 임시 후보들에 포함된 L1 움직임 벡터들의 중간값 중 하나일 수 있다.
다른 예로, 인코딩 장치는 상기 제2 움직임 벡터에 포함되는 상기 L0 움직임 벡터는 상술한 도출 방법들을 조합하여 도출할 수 있다.
한편, 일 예로, 인코딩 장치는 상기 임시 후보들 중 상기 단예측 후보를 상기 단예측 후보에 대응되는 상기 쌍예측 후보로 대체하여 상기 움직임 정보 후보 리스트를 도출할 수 있다.
다른 예로, 인코딩 장치는 상기 움직임 정보 후보 리스트를 상기 임시 후보들을 포함하고, 상기 단예측 후보에 대응되는 상기 쌍예측 후보를 추가적으로 포함하여 도출할 수 있다.
인코딩 장치는 상기 움직임 정보 후보 리스트를 기반으로 상기 현재 블록의 움직임 벡터 예측자(motion vector predictor, MVP)를 결정한다(S710). 인코딩 장치는 상기 현재 블록의 상기 움직임 정보 후보 리스트 중 하나를 선택하여 상기 MVP를 도출할 수 있다. 인코딩 장치는 선택된 후보를 가리키는 인덱스 정보를 생성할 수 있다. 상기 인덱스 정보는 뉴(new) 모드 인덱스라고 할 수 있고, 움직임 벡터 인덱스라고 할 수 있고, MVP 인덱스라고 할 수도 있다.
인코딩 장치는 상기 MVP를 기반으로 상기 현재 블록의 움직임 벡터를 도출한다(S720). 인코딩 장치는 상기 MVP를 기반으로 움직임 벡터를 도출할 수 있고, 상기 움직임 벡터와 상기 MVP 간의 차분을 기반으로 상기 현재 블록의 움직임 벡터 차분(motion vector difference, MVD)를 계산할 수 있다.
인코딩 장치는 상기 움직임 벡터를 기반으로 상기 현재 블록의 예측 샘플을 생성한다(S730). 인코딩 장치는 상기 움직임 벡터가 가리키는 참조 픽처 상에서 예측 샘플 값을 획득하고, 상기 예측 샘플을 생성할 수 있다.
인코딩 장치는 상기 인터 예측 모드를 나타내는 예측 모드 정보를 인코딩하여 출력한다(S1340). 인코딩 장치는 상기 주변 블록을 기반으로 도출된 상기 움직임 정보 후보 리스트를 기반으로 상기 현재 블록의 움직임 벡터를 도출하는 수정된 인터 예측 모드를 나타내는 상기 예측 모드 정보를 엔트로피 인코딩하고 비트스트림 형태로 출력할 수 있다. 또한, 인코딩 장치는 상기 수정된 인터 예측 모드의 적용 여부를 나타내는 플래그를 생성하고, 인코딩하여 상기 비트스트림 형태로 출력할 수 있다. 예를 들어 상기 플래그는 use new mode 플래그, comb mode 플래그 등이라고 불릴 수 있다. 또는, 기존의 merge flag가 inter mode type 인덱스 정보로 대체되고, inter mode type 인덱스 정보의 값이 0인 경우 머지 모드, 1인 경우 AMVP 모드, 2인 경우 본 발명에 따른 수정된 인터 예측 모드를 나타낼 수도 있다.
또한, 인코딩 장치는 상기 움직임 정보 후보 리스트 내 후보를 가리키는 뉴 모드 인덱스를 생성하고, 인코딩하여 상기 비트스트림 형태로 출력할 수 있다. 또한, 인코딩 장치는 상기 현재 블록의 MVD를 인코딩하여 상기 MVD에 관한 정보를 전송한다. 상기 예측 모드 정보 및 상기 뉴 모드 인덱스 및 상기 MVD는 상기 비트스트림 형태로 디코딩 장치로 전송될 수 있다. 상기 비트스트림은 네트워크 또는 저장 매체를 통하여 디코딩 장치로 전송될 수 있다.
비록 도시되지는 않았으나 인코딩 장치는 상기 현재 블록에 대한 레지듀얼 샘플에 관한 정보를 인코딩하여 출력할 수도 있다. 상기 레지듀얼 샘플에 관한 정보는 상기 레지듀얼 샘플에 관한 변환 계수들을 포함할 수 있다.
도 8은 본 발명에 따른 디코딩 장치에 의한 비디오 디코딩 방법을 개략적으로 나타낸다. 도 8에서 개시된 방법은 도 2에서 개시된 디코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 8의 상기 S800은 상기 인코딩 장치의 엔트로피 디코딩부에 의하여 수행될 수 있고, S810 내지 S840은 상기 디코딩 장치의 예측부에 의하여 수행될 수 있다.
디코딩 장치는 비트스트림을 통하여 움직임 벡터 차분(motion vector difference, MVD)를 수신한다(S800). 상기 MVD에 관한 정보는 비트스트림을 통하여 수신될 수 있다. 디코딩 장치는 엔트로피 디코딩을 통하여 상기 MVD에 관한 정보를 수신할 수 있다. 이 경우 디코딩 장치는 상기 MVD의 x축 성분에 관한 정보 및 y축 성분에 관한 정보가 다른(different) 신텍스 요소를 통하여 수신할 수 있다.
디코딩 장치는 상기 현재 블록의 주변 블록을 기반으로 상기 현재 블록의 움직임 정보 후보 리스트를 도출한다(S810). 디코딩 장치는 상기 주변 블록을 기반으로 임시 후보들을 도출할 수 있다. 상기 임시 후보는 쌍예측(bi-predicted) 후보일 수 있고, 또는 L0 또는 L1 예측 움직임 벡터 후보일 수 있다. 상기 L0 또는 L1 예측 움직임 벡터 후보는 단예측(uni-predicted) 후보라고도 할 수 있다. 상기 단예측 후보는 제1 움직임 벡터와 연관되고(associated), 상기 쌍예측 후보는 상기 제1 움직임 벡터 및 제2 움직임 벡터와 연관될 수 있다. 상기 제1 움직임 벡터는 L0 움직임 벡터 및 L1 움직임 벡터 중 하나만을 포함할 수 있고, 상기 쌍예측 후보는 상기 L0 움직임 벡터 및 상기 L1 움직임 벡터를 포함할 수 있다. 상기 L0 움직임 벡터는 L0 예측에 관한 움직임 벡터를 나타내고, 상기 L1 움직임 벡터는 L1 예측에 관한 움직임 벡터를 나타낸다. 상기 L0은 참조 픽처 리스트 L0(list 0)를 나타내고, 상기 L1은 참조 픽처 리스트 L1(list 1)을 나타낸다. 상기 L1 움직임 벡터는 상기 L0 움직임 벡터와 반대 방향을 갖는다고 할 수도 있다.
디코딩 장치는 상기 임시 후보들 중 단예측 후보를 기반으로 쌍예측 후보를 도출할 수 있다. 상기 L0 움직임 벡터가 상기 제1 움직임 벡터에 해당되는 경우, 디코딩 장치는 상기 제2 움직임 벡터에 포함되는 상기 L1 움직임 벡터 및 상기 제2 움직임 벡터와 연관된 L1 참조 픽처 인덱스를 도출할 수 있다.
일 예로, 디코딩 장치는 상기 제2 움직임 벡터와 연관된 L1 참조 픽처 인덱스는 0의 값으로 설정 또는 고정할 수 있다.
다른 예로, 상기 제2 움직임 벡터와 연관된 L1 참조 픽처 인덱스는 참조 픽처 리스트 L1에 포함된 참조 픽처들 중 현재 픽처와의 POC 차분값이 특정 POC 차분값인 L1 참조 픽처를 가리키는 참조 픽처 인덱스로 도출될 수 있다. 상기 특정 POC 차분값은 상기 현재 픽처와 참조 픽처 리스트 L0에 포함된 참조 픽처들 중 상기 제1 움직임 벡터와 연관된 L0 참조 픽처의 POC 차분값과 동일한 값일 수 있다.
다른 예로, 상기 제2 움직임 벡터와 연관된 L1 참조 픽처 인덱스는 상기 임시 후보들에 포함된 L1 참조 픽처 인덱스들의 값들 중 최소값과 동일한 값을 갖는 참조 픽처 인덱스로 도출될 수 있다.
다른 예로, 상기 제2 움직임 벡터와 연관된 L1 참조 픽처 인덱스는 상기 임시 후보들에 포함된 L1 참조 픽처 인덱스들의 값들 중 최빈값을 갖는 참조 픽처 인덱스로 도출될 수 있다.
다른 예로, 상기 제2 움직임 벡터와 연관된 L1 참조 픽처 인덱스는 상기 참조 픽처 리스트 L1에 포함된 모든 참조 픽처들 중 제2 움직임 벡터가 가리키는 참조 영역과 상기 제1 움직임 벡터가 가리키는 참조 영역과의 레지듀얼이 최소가 되게 하는 L1 참조 픽처를 가리키는 참조 픽처 인덱스로 도출될 수 있다.
한편, 상기 제2 움직임 벡터에 포함되는 상기 L1 움직임 벡터는 상기 L0 움직임 벡터를 L1 방향으로 스케일링하여 도출될 수 있다. 이 경우 상기 스케일링은 상술한 수학식 1을 적용하여 수행할 수 있다.
일 예로, 디코딩 장치는 상기 L0 움직임 벡터를 제1 차이 및 제2 차이를 기반으로 스케일링하여 상기 L1 움직임 벡터를 도출할 수 있다. 상기 제1 차이는 상기 현재 픽처의 POC(picture order count)와 참조 픽처 리스트 L0에 포함된 참조 픽처들 중 상기 L0 움직임 벡터와 연관된 L0 참조 픽처의 POC 간 차이를 나타내고, 상기 제2 차이는 참조 픽처 리스트 L1에 포함된 참조 픽처의 POC와 상기 현재 픽처의 POC 간 차이를 나타낸다.
다른 예로, 상기 제2 움직임 벡터에 포함되는 상기 L1 움직임 벡터는 상기 임시 후보들 중 다른 후보들의 L1 움직임 벡터들을 기반으로 도출될 수 있다. 디코딩 장치는 상기 임시 후보들에 포함된 L1 움직임 벡터들의 대표값을 도출하여 상기 대표값을 기반으로 상기 L1 움직임 벡터를 도출할 수 있다. 상기 대표값은 상기 임시 후보들에 포함된 L1 움직임 벡터들의 최빈 움직임 벡터, 상기 임시 후보들에 포함된 L1 움직임 벡터들의 평균값, 및 상기 임시 후보들에 포함된 L1 움직임 벡터들의 중간값 중 하나일 수 있다.
다른 예로, 상기 제2 움직임 벡터에 포함되는 상기 L1 움직임 벡터는 상기 임시 후보들 중 상기 제1 움직임 벡터를 제외한 L0 움직임 벡터들을 기반으로 도출될 수 있다. 디코딩 장치는 상기 제1 움직임 벡터를 제외한 L0 움직임 벡터들의 대표값을 도출하여 상기 대표값을 L1 방향으로 스케일링하여 상기 L1 움직임 벡터를 도출할 수 있다. 상기 대표값은 상기 제1 움직임 벡터를 제외한 L0 움직임 벡터들의 최빈 움직임 벡터, 상기 임시 후보들에 포함된 L0 움직임 벡터들의 평균값, 및 상기 임시 후보들에 포함된 L0 움직임 벡터들의 중간값 중 하나일 수 있다.
다른 예로, 디코딩 장치는 상기 제2 움직임 벡터에 포함되는 상기 L1 움직임 벡터는 상술한 도출 방법들을 조합하여 도출할 수 있다. 이 경우, 디코딩 장치는 상술한 도출 방법들을 이용하여 L1 움직임 벡터들을 도출할 수 있고, 상기 L1 움직임 벡터들 중 상기 제1 움직임 벡터가 가리키는 참조 영역과의 레지듀얼이 최소가 되게 하는 참조 영역을 가리키는 L1 움직임 벡터를 상기 제2 움직임 벡터로 도출할 수 있다. 또한, 디코딩 장치는 상술한 도출 방법들을 이용하여 L1 움직임 벡터들을 도출할 수 있고, 상기 제2 움직임 벡터에 연관된 L1 참조 픽처 인덱스가 가리키는 참조 픽처에 임의의 검색 범위(search range)를 설정할 수 있다. 다음으로 상기 L1 움직임 벡터들 중 상기 검색 범위 내에서 움직임 검색을 하면서 상기 제1 움직임 벡터가 가리키는 참조 영역과의 레지듀얼이 최소가 되게 하는 참조 영역을 가리키는 L1 움직임 벡터를 상기 제2 움직임 벡터로 도출할 수 있다.
한편, 일 예로, 디코딩 장치는 상기 임시 후보들 중 상기 단예측 후보를 상기 단예측 후보에 대응되는 상기 쌍예측 후보로 대체하여 상기 움직임 정보 후보 리스트를 도출할 수 있다. 이 경우 상기 움직임 정보 후보 리스트는 상술한 표 2와 같을 수 있다.
다른 예로, 디코딩 장치는 상기 움직임 정보 후보 리스트를 상기 임시 후보들을 포함하고, 상기 단예측 후보에 대응되는 상기 쌍예측 후보를 추가적으로 포함하여 도출할 수 있다. 이 경우 상기 움직임 정보 후보 리스트는 상술한 표 3과 같을 수 있다.
한편, 상기 L1 움직임 벡터가 상기 제1 움직임 벡터에 해당되는 경우, 디코딩 장치는 상기 제2 움직임 벡터에 포함되는 상기 L0 움직임 벡터 및 상기 제2 움직임 벡터와 연관된 참조 픽처 인덱스를 도출할 수 있다.
일 예로, 디코딩 장치는 상기 제2 움직임 벡터와 연관된 L0 참조 픽처 인덱스는 0의 값으로 설정 또는 고정할 수 있다.
다른 예로, 상기 제2 움직임 벡터와 연관된 참조 픽처 인덱스는 참조 픽처 리스트 L0에 포함된 참조 픽처들 중 현재 픽처와의 POC 차분값이 특정 POC 차분값인 L0 참조 픽처를 가리키는 참조 픽처 인덱스로 도출될 수 있다. 상기 특정 POC 차분값은 참조 픽처 리스트 L1에 포함된 참조 픽처들 중 상기 제1 움직임 벡터와 연관된 L1 참조 픽처의 POC 차분값과 동일한 값일 수 있다.
다른 예로, 상기 제2 움직임 벡터와 연관된 L0 참조 픽처 인덱스는 상기 임시 후보들에 포함된 L0 참조 픽처 인덱스들의 값들 중 최소값과 동일한 값을 갖는 참조 픽처 인덱스로 도출될 수 있다.
다른 예로, 상기 제2 움직임 벡터와 연관된 L0 참조 픽처 인덱스는 상기 임시 후보들에 포함된 L0 참조 픽처 인덱스들의 값들 중 최빈값을 갖는 참조 픽처 인덱스로 도출될 수 있다.
다른 예로, 상기 제2 움직임 벡터와 연관된 L0 참조 픽처 인덱스는 상기 참조 픽처 리스트 L0에 포함된 모든 참조 픽처들 중 제2 움직임 벡터가 가리키는 참조 영역과 상기 제1 움직임 벡터가 가리키는 참조 영역과의 레지듀얼이 최소가 되게 하는 L0 참조 픽처를 가리키는 참조 픽처 인덱스로 도출될 수 있다.
한편, 상기 제2 움직임 벡터에 포함되는 상기 L0 움직임 벡터는 상기 L1 움직임 벡터를 L0 방향으로 스케일링하여 도출될 수 있다. 이 경우 상기 스케일링은 상술한 수학식 1을 적용하여 수행할 수 있다.
일 예로, 디코딩 장치는 상기 L1 움직임 벡터를 제1 차이 및 제2 차이를 기반으로 스케일링하여 상기 L0 움직임 벡터를 도출할 수 있다. 상기 제1 차이는 상기 현재 픽처의 POC(picture order count)와 참조 픽처 리스트 L1에 포함된 참조 픽처들 중 상기 L1 움직임 벡터와 연관된 L1 참조 픽처의 POC 간 차이를 나타내고, 상기 제2 차이는 상기 참조 픽처 리스트 L0에 포함된 L0 참조 픽처의 POC와 상기 현재 픽처의 POC간 차이를 나타낸다.
다른 예로, 상기 제2 움직임 벡터에 포함되는 상기 L0 움직임 벡터는 상기 임시 후보들 중 다른 후보들의 L0 움직임 벡터들을 기반으로 도출될 수 있다. 디코딩 장치는 상기 임시 후보들에 포함된 L0 움직임 벡터들의 대표값을 도출하여 상기 대표값을 기반으로 상기 L0 움직임 벡터를 도출할 수 있다. 상기 대표값은 상기 임시 후보들에 포함된 L0 움직임 벡터들의 최빈 움직임 벡터, 상기 임시 후보들에 포함된 L0 움직임 벡터들의 평균값, 및 상기 임시 후보들에 포함된 L0 움직임 벡터들의 중간값 중 하나일 수 있다.
또한, 상기 제2 움직임 벡터에 포함되는 상기 L0 움직임 벡터는 상기 임시 후보들 중 상기 제1 움직임 벡터를 제외한 L1 움직임 벡터들을 기반으로 도출될 수 있다. 디코딩 장치는 상기 제1 움직임 벡터를 제외한 L1 움직임 벡터들의 대표값을 도출하여 상기 대표값을 L0 방향으로 스케일링하여 상기 L0 움직임 벡터를 도출할 수 있다. 상기 대표값은 상기 제1 움직임 벡터를 제외한 L1 움직임 벡터들의 최빈 움직임 벡터, 상기 임시 후보들에 포함된 L1 움직임 벡터들의 평균값, 및 상기 임시 후보들에 포함된 L1 움직임 벡터들의 중간값 중 하나일 수 있다.
다른 예로, 디코딩 장치는 상기 제2 움직임 벡터에 포함되는 상기 L0 움직임 벡터는 상술한 도출 방법들을 조합하여 도출할 수 있다. 이 경우, 디코딩 장치는 상술한 도출 방법들을 이용하여 L0 움직임 벡터들을 도출할 수 있고, 상기 L0 움직임 벡터들 중 상기 제1 움직임 벡터가 가리키는 참조 영역과의 레지듀얼이 최소가 되게 하는 참조 영역을 가리키는 L0 움직임 벡터를 상기 제2 움직임 벡터로 도출할 수 있다. 또한, 디코딩 장치는 상술한 도출 방법들을 이용하여 L0 움직임 벡터들을 도출할 수 있고, 상기 제2 움직임 벡터에 연관된 L0 참조 픽처 인덱스가 가리키는 참조 픽처에 임의의 검색 범위(search range)를 설정할 수 있다. 다음으로 상기 L0 움직임 벡터들 중 상기 검색 범위 내에서 움직임 검색을 하면서 상기 제1 움직임 벡터가 가리키는 참조 영역과의 레지듀얼이 최소가 되게 하는 참조 영역을 가리키는 L0 움직임 벡터를 상기 제2 움직임 벡터로 도출할 수 있다.
한편, 일 예로, 디코딩 장치는 상기 임시 후보들 중 상기 단예측 후보를 상기 단예측 후보에 대응되는 상기 쌍예측 후보로 대체하여 상기 움직임 정보 후보 리스트를 도출할 수 있다.
다른 예로, 디코딩 장치는 상기 움직임 정보 후보 리스트를 상기 임시 후보들을 포함하고, 상기 단예측 후보에 대응되는 상기 쌍예측 후보를 추가적으로 포함하여 도출할 수 있다.
디코딩 장치는 상기 움직임 정보 후보 리스트를 기반으로 상기 현재 블록의 움직임 벡터 예측자(motion vector predictor, MVP)를 도출한다(S820). 디코딩 장치는 비트스트림을 통하여 상기 움직임 정보 후보 리스트 중 특정 후보를 가리키는 인덱스 정보를 획득할 수 있다. 상기 인덱스 정보는 뉴(new) 모드 인덱스라고 할 수 있고, 움직임 벡터 인덱스라고 할 수 있고, MVP 인덱스라고 할 수도 있다. 디코딩 장치는 상기 뉴 모드 인덱스가 가리키는 특정 후보를 기반으로 상기 현재 블록의 MVP를 도출할 수 있다. 상기 MVP는 쌍예측 후보 및 단예측 후보 중 하나일 수 있다.
한편, 디코딩 장치는 상기 뉴 모드 인덱스를 수신하지 않고 상기 움직임 정보 후보 리스트를 기반으로 상기 현재 블록의 MVP를 도출할 수 있다. 디코딩 장치는 상기 움직임 정보 후보 리스트의 쌍예측 후보들 중 L0 움직임 벡터가 L0 참조 픽처 상에서 가리키는 제1 참조 영역과 L1 방향 움직임 벡터가 L1 참조 픽처 상에서 가리키는 제2 참조 영역과의 레지듀얼이 최소가 되는 쌍예측 움직임 정보 후보를 기반으로 상기 MVP를 도출할 수 있다.
디코딩 장치는 상기 MVP 및 MVD를 기반으로 상기 현재 블록의 움직임 벡터를 도출한다(S830). 디코딩 장치는 상기 MVP와 상기 MVD를 더하여 상기 현재 블록의 움직임 벡터를 생성할 수 있다.
디코딩 장치는 상기 현재 블록의 상기 움직임 벡터를 기반으로 상기 현재 블록의 예측 샘플을 생성한다(S840). 디코딩 장치는 상기 움직임 벡터가 가리키는 참조 픽처 상에서 예측 샘플 값을 획득하고, 상기 예측 샘플을 생성할 수 있다.
디코딩 장치는 상기 예측 값을 기반으로 상기 현재 샘플에 대한 복원 샘플을 생성할 수 있다. 디코딩 장치는 인코딩 장치로부터 수신한 비트스트림으로부터 레지듀얼 신호를 획득하고, 상기 현재 샘플에 대한 레지듀얼 샘플을 생성할 수 있다. 이 경우 디코딩 장치는 상기 예측 샘플 및 상기 레지듀얼 샘플을 기반으로 상기 복원 샘플을 생성할 수 있다. 디코딩 장치는 상기 복원 샘플을 기반으로 복원 픽처를 생성할 수 있다.
상술한 본 발명에 따르면 주변 블록을 기반으로 도출된 움직임 정보 후보 리스트를 기반으로 움직임 벡터를 도출할 수 있어 인터 예측 모드를 나타내는 예측 모드 정보의 데이터량을 줄일 수 있고, 전반적인 코딩 효율을 향상시킬 수 있다.
또한, 본 발명에 따르면 움직임 벡터의 도출을 위한 쌍예측 후보의 다양한 도출 방법을 제공하고 있어 보다 정확한 인터 예측 수행을 할 수 있고, 전반적인 코딩 효율을 향상시킬 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타내어진 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 본 발명에 따른 방법은 소프트웨어 형태로 구현될 수 있으며, 본 발명에 따른 인코딩 장치 및/또는 디코딩 장치는 예를 들어 TV, 컴퓨터, 스마트폰, 셋톱박스, 디스플레이 장치 등의 영상 처리를 수행하는 장치에 포함될 수 있다.
본 발명에서 실시예들이 소프트웨어로 구현될 때, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 프로세서는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리는 ROM(read-only memory), RAM(random access memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다.

Claims (15)

  1. 디코딩 장치에 의하여 수행되는 인터 예측 방법에 있어서,
    비트스트림을 통하여 움직임 벡터 차분(motion vector difference, MVD)에 관한 정보를 수신하는 단계;
    현재 블록의 주변 블록을 기반으로 움직임 정보 후보 리스트를 도출하는 단계;
    상기 움직임 정보 후보 리스트를 기반으로 상기 현재 블록의 움직임 벡터 예측자(motion vector predictor, MVP)를 도출하는 단계;
    상기 MVP 및 상기 MVD를 기반으로 상기 현재 블록의 움직임 벡터를 도출하는 단계; 및
    상기 움직임 벡터를 기반으로 상기 현재 블록에 대한 예측 샘플을 생성하는 단계를 포함하는 것을 특징으로 하는 인터 예측 방법.
  2. 제1항에 있어서,
    현재 블록의 주변 블록을 기반으로 움직임 정보 후보 리스트를 도출하는 단계는,
    상기 주변 블록을 기반으로 임시 후보들을 도출하는 단계;
    상기 임시 후보들 중 단예측 후보를 기반으로 쌍예측(bi-predicted) 후보를 도출하는 단계; 및
    상기 쌍예측 후보를 기반으로 상기 현재 블록의 움직임 정보 후보 리스트를 도출하는 단계를 포함하되,
    상기 단예측 후보는 제1 움직임 벡터와 연관되고(associated), 상기 쌍예측 후보는 상기 제1 움직임 벡터 및 제2 움직임 벡터와 연관되고,
    상기 제1 움직임 벡터는 L0 움직임 벡터 및 L1 움직임 벡터 중 하나만을 포함하고, 상기 상기 제1 움직임 벡터 및 제2 움직임 벡터는 상기 L0 움직임 벡터 및 상기 L1 움직임 벡터를 포함하는 것을 특징으로 하는 인터 예측 방법.
  3. 제2항에 있어서,
    상기 L1 움직임 벡터는 상기 L0 움직임 벡터와 반대 방향을 갖는 것을 특징으로 하는 인터 예측 방법.
  4. 제2항에 있어서,
    만약 상기 L0 움직임 벡터가 상기 제1 움직임 벡터에 해당하는 경우, 상기 제2 움직임 벡터에 포함되는 L1 움직임 벡터는 상기 L0 움직임 벡터를 L1 방향으로 스케일링하여 도출되는 것을 특징으로 하는 인터 예측 방법.
  5. 제4항에 있어서,
    상기 L1 움직임 벡터는 상기 L0 움직임 벡터를 제1 차이 및 제2 차이를 기반으로 스케일링하여 도출되되,
    상기 제1 차이는 상기 현재 픽처의 POC(picture order count)와 참조 픽처 리스트 L0에 포함된 참조 픽처들 중 상기 L0 움직임 벡터와 연관된 L0 참조 픽처의 POC 간 차이를 나타내고,
    상기 제2 차이는 참조 픽처 리스트 L1에 포함된 L1 참조 픽처의 POC와 상기 현재 픽처의 POC간 차이를 나타내는 것을 특징으로 하는 인터 예측 방법.
  6. 제2항에 있어서,
    만약 상기 L0 움직임 벡터가 상기 제1 움직임 벡터에 해당하는 경우, 상기 제2 움직임 벡터와 연관된 L1 참조 픽처 인덱스는 참조 픽처 리스트 L1에 포함된 참조 픽처들 중 현재 픽처와의 POC 차분값이 특정 POC 차분값인 L1 참조 픽처를 가리키고,
    상기 특정 POC 차분값은 상기 현재 픽처와 상기 참조 픽처 리스트 L0에 포함된 참조 픽처들 중 상기 제1 움직임 벡터와 연관된 L0 참조 픽처의 POC 차분값과 동일한 것을 특징으로 하는 인터 예측 방법.
  7. 제2항에 있어서,
    만약 상기 L0 움직임 벡터가 상기 제1 움직임 벡터에 해당하는 경우, 상기 제2 움직임 벡터와 연관된 L1 참조 픽처 인덱스의 값은 상기 임시 후보들에 포함된 L1 참조 픽처 인덱스들의 값들 중 최소값과 동일한 값으로 도출되는 것을 특징으로 하는 인터 예측 방법.
  8. 제2항에 있어서,
    만약 상기 L0 움직임 벡터가 상기 제1 움직임 벡터에 해당하는 경우, 상기 제2 움직임 벡터와 연관된 L1 참조 픽처 인덱스의 값은 상기 임시 후보들에 포함된 L1 참조 픽처 인덱스들의 값들 중 최빈값으로 도출되는 것을 특징으로 하는 인터 예측 방법.
  9. 제2항에 있어서,
    상기 제2 움직임 벡터와 연관된 참조 픽처 인덱스의 값은 상기 제1 움직임 벡터가 제1 참조 픽처 상에서 가리키는 제1 참조 영역과 상기 제2 움직임 벡터가 제2 참조 픽처 상에서 가리키는 제2 참조 영역과의 레지듀얼이 최소가 되게 하는 상기 제2 참조 픽처를 가리키는 것을 특징으로 하는 인터 예측 방법.
  10. 제2항에 있어서,
    상기 움직임 벡터 예측자는 상기 움직임 정보 후보 리스트의 쌍예측 후보들 중 L0 움직임 벡터가 L0 참조 픽처 상에서 가리키는 제1 참조 영역과 L1 방향 움직임 벡터가 L1 참조 픽처 상에서 가리키는 제2 참조 영역과의 레지듀얼이 최소가 되는 쌍예측 움직임 정보 후보를 기반으로 도출되는 것을 특징으로 하는 인터 예측 방법.
  11. 제2항에 있어서,
    만약 상기 L0 움직임 벡터가 상기 제1 움직임 벡터에 해당하는 경우, 상기 제2 움직임 벡터에 포함되는 L1 움직임 벡터는 상기 임시 후보들에 포함된 L1 움직임 벡터들을 기반으로 도출되는 것을 특징으로 하는 인터 예측 방법.
  12. 제2항에 있어서,
    만약 상기 L0 움직임 벡터가 상기 제1 움직임 벡터에 해당하는 경우, 상기 제2 움직임 벡터에 포함되는 L1 움직임 벡터는 상기 임시 후보들에 포함된 상기 제1 움직임 벡터를 제외한 L0 움직임 벡터들을 기반으로 도출된 L0 움직임 벡터를 L1 방향으로 스케일링하여 도출되는 것을 특징으로 하는 인터 예측 방법.
  13. 제2항에 있어서,
    상기 움직임 정보 후보 리스트는 상기 임시 후보들 중 상기 단예측 후보를 상기 단예측 후보에 대응되는 상기 쌍예측 후보로 대체하여 도출됨을 특징으로 하는 인터 예측 방법.
  14. 제2항에 있어서,
    상기 움직임 정보 후보 리스트는 상기 임시 후보들을 포함하고, 상기 단예측 후보에 대응되는 상기 쌍예측 후보를 추가적으로 포함함을 특징으로 하는 인터 예측 방법.
  15. 인코딩 장치에 의하여 수행되는 인터 예측 방법에 있어서,
    현재 블록의 주변 블록을 기반으로 움직임 정보 후보 리스트를 도출하는 단계;
    상기 움직임 정보 후보 리스트를 기반으로 상기 현재 블록의 움직임 벡터 예측자(motion vector predictor, MVP)를 결정하는 단계;
    상기 MVP를 기반으로 상기 현재 블록의 움직임 벡터를 도출하는 단계;
    상기 움직임 벡터를 기반으로 상기 현재 블록에 대한 예측 샘플을 생성하는 단계; 및
    상기 인터 예측 모드를 나타내는 예측 모드 정보를 인코딩하여 출력하는 단계를 포함하는 것을 특징으로 하는 인터 예측 방법.
PCT/KR2016/009410 2015-09-24 2016-08-25 영상 코딩 시스템에서 인터 예측 방법 및 장치 WO2017052081A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16848807.0A EP3355578B1 (en) 2015-09-24 2016-08-25 Motion vector predictor derivation and candidate list construction
CN201680055921.5A CN108141588A (zh) 2015-09-24 2016-08-25 图像编码系统中的帧间预测方法和装置
US15/761,665 US10575011B2 (en) 2015-09-24 2016-08-25 Inter prediction method and apparatus in image coding system
KR1020187007989A KR20180048736A (ko) 2015-09-24 2016-08-25 영상 코딩 시스템에서 인터 예측 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562222790P 2015-09-24 2015-09-24
US62/222,790 2015-09-24

Publications (1)

Publication Number Publication Date
WO2017052081A1 true WO2017052081A1 (ko) 2017-03-30

Family

ID=58386166

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/009410 WO2017052081A1 (ko) 2015-09-24 2016-08-25 영상 코딩 시스템에서 인터 예측 방법 및 장치

Country Status (5)

Country Link
US (1) US10575011B2 (ko)
EP (1) EP3355578B1 (ko)
KR (1) KR20180048736A (ko)
CN (1) CN108141588A (ko)
WO (1) WO2017052081A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009498A1 (ko) * 2017-07-03 2019-01-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019135558A1 (ko) * 2018-01-02 2019-07-11 삼성전자 주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
WO2019182329A1 (ko) * 2018-03-19 2019-09-26 인텔렉추얼디스커버리 주식회사 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체
WO2019235893A1 (ko) * 2018-06-08 2019-12-12 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN112866720A (zh) * 2018-07-02 2021-05-28 华为技术有限公司 一种运动矢量预测方法、装置与编解码器
CN113455002A (zh) * 2018-12-28 2021-09-28 瑞典爱立信有限公司 生成运动向量预测器列表
RU2795522C2 (ru) * 2018-06-08 2023-05-04 Кт Корпорейшен Способ и устройство обработки видеосигнала
CN116233417A (zh) * 2017-09-12 2023-06-06 三星电子株式会社 用于对运动信息进行编码和解码的方法以及装置

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
CN118660159A (zh) * 2016-10-04 2024-09-17 Lx 半导体科技有限公司 图像编码/解码方法和图像数据的发送方法
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
WO2018071666A1 (en) * 2016-10-12 2018-04-19 Arris Enterprises Llc Coding schemes for virtual reality (vr) sequences
WO2018124855A1 (ko) * 2017-01-02 2018-07-05 한양대학교 산학협력단 화면 간 예측을 이용한 영상 복호화 방법 및 장치
US11877001B2 (en) 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
US11575925B2 (en) * 2018-03-30 2023-02-07 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium in which bitstream is stored
CN111937392B (zh) * 2018-04-17 2024-05-10 联发科技股份有限公司 视频编解码的神经网络方法和装置
EP3787296A4 (en) * 2018-05-21 2021-07-28 LG Electronics Inc. METHOD AND DEVICE FOR DECODING AN IMAGE USING AN MVD DERIVATIVE BASED ON A LUT TABLE IN AN IMAGE CODING SYSTEM
JP7060802B2 (ja) * 2018-06-11 2022-04-27 日本電信電話株式会社 バッファ装置
WO2020004879A1 (ko) * 2018-06-25 2020-01-02 엘지전자 주식회사 영상 코딩 시스템에서 복수의 주변 블록들을 사용하는 인터 예측에 따른 영상 디코딩 방법 및 장치
KR102496711B1 (ko) * 2018-07-02 2023-02-07 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR102592642B1 (ko) * 2018-07-13 2023-10-23 엘지전자 주식회사 영상 코딩 시스템에서 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
US11257254B2 (en) * 2018-07-20 2022-02-22 Google Llc Data compression using conditional entropy models
SI3681161T1 (sl) * 2018-09-12 2024-03-29 Lg Electronics Inc., Postopek za dekodiranje in kodiranje slik z napravo na podlagi napovedovanja gibanja v enoti podbloka v sistemu za kodiranje slik
MX2021002950A (es) * 2018-09-12 2021-07-21 Huawei Tech Co Ltd Un codificador de video, un decodificador de video y metodos correspondientes.
US20220038682A1 (en) * 2018-09-18 2022-02-03 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium in which bitstream is stored
CN110933439B (zh) * 2018-09-20 2022-05-31 杭州海康威视数字技术股份有限公司 运动信息候选者列表构建方法、装置及可读存储介质
US11582480B2 (en) 2018-09-25 2023-02-14 Digitalinsights Inc. Method and device for encoding or decoding image on basis of inter mode
EP3691264B1 (en) * 2018-10-05 2023-03-08 LG Electronics Inc. Intra prediction-based video coding method using mpm list, and device therefor
CN111093073B (zh) 2018-10-24 2024-04-19 北京字节跳动网络技术有限公司 用于子块运动矢量预测的基于搜索的运动候选推导
RU2768377C1 (ru) * 2018-11-16 2022-03-24 МедиаТек Инк. Способ и устройство для видеокодирования c использованием улучшенного режима слияния с разностью векторов движения
US11470329B2 (en) * 2018-12-26 2022-10-11 Tencent America LLC Method and apparatus for video coding
WO2020138997A1 (ko) * 2018-12-28 2020-07-02 엘지전자 주식회사 화면간 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2020141884A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 Cpr 기반 mmvd를 사용하는 영상 코딩 방법 및 장치
CN113302936B (zh) * 2019-01-07 2024-03-19 北京字节跳动网络技术有限公司 用于具有MVD的Merge的控制方法
WO2020143774A1 (en) 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Merge with mvd based on geometry partition
WO2020147772A1 (en) * 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
US11611742B2 (en) * 2019-01-28 2023-03-21 Apple Inc. Image signal encoding/decoding method and device therefor
KR102612802B1 (ko) * 2019-03-05 2023-12-13 엘지전자 주식회사 인터 예측을 위한 비디오 신호의 처리 방법 및 장치
CN113545041A (zh) * 2019-03-07 2021-10-22 数字洞察力有限公司 图像编码/解码方法和设备
US12047582B2 (en) 2019-03-24 2024-07-23 Lg Electronics Inc. Image encoding/decoding method and device using symmetric motion vector difference (SMVD), and method for transmitting bitstream
US11616966B2 (en) 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
US12034961B2 (en) 2019-06-13 2024-07-09 Lg Electronics Inc. Motion vector prediction-based image/video coding method and device
WO2020251323A1 (ko) * 2019-06-14 2020-12-17 엘지전자 주식회사 인터 예측 기반 영상 코딩 방법 및 장치
MX2021015524A (es) * 2019-06-14 2022-02-03 Lg Electronics Inc Metodo y dispositivo de codificacion de imagenes usando diferencias de vectores de movimiento.
EP3972254A4 (en) 2019-06-14 2023-03-08 LG Electronics Inc. METHOD AND APPARATUS FOR IMAGE CODING USING A MOTION VECTOR
CN114270835A (zh) * 2019-06-19 2022-04-01 Lg电子株式会社 基于默认合并模式推导预测样本的图像解码方法及其装置
JP7335365B2 (ja) * 2019-06-24 2023-08-29 エルジー エレクトロニクス インコーポレイティド 動きベクトル差分を利用した映像コーディング方法及び装置
US11190789B2 (en) * 2019-06-30 2021-11-30 Tencent America LLC Method and apparatus for video coding using inter-prediction mode signaling to dertermine motion vectors
EP3996371A4 (en) * 2019-07-01 2023-08-02 Samsung Electronics Co., Ltd. DEVICE AND METHOD FOR CODING AND DECODING MOTION INFORMATION USING NEIGHBORING MOTION INFORMATION
CN112135126B (zh) * 2019-11-05 2021-09-21 杭州海康威视数字技术股份有限公司 一种编解码方法、装置、设备及机器可读存储介质
CN114071159B (zh) * 2020-07-29 2023-06-30 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器及计算机可读存储介质
KR20240140018A (ko) * 2023-03-15 2024-09-24 한국전자통신연구원 영상 부호화/복호화를 위한 방법 및 비트스트림을 저장하는 기록 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060133943A (ko) * 2003-09-07 2006-12-27 마이크로소프트 코포레이션 인터레이스 비디오 및 순차적 비디오의 효율적 압축 및압축 해제를 위한 방법 및 컴퓨터 판독가능 매체
KR20080064007A (ko) * 2007-01-03 2008-07-08 삼성전자주식회사 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치
KR20120079862A (ko) * 2011-01-06 2012-07-16 에스케이 텔레콤주식회사 움직임벡터 부호화 및 복호화 장치와 방법
KR20120140623A (ko) * 2011-06-21 2012-12-31 경희대학교 산학협력단 인터 예측 방법 및 그 장치
JP2015156704A (ja) * 2015-04-17 2015-08-27 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT104083A (pt) * 2008-06-02 2009-12-02 Inst Politecnico De Leiria Método para transcodificar imagens de vídeo h.264/avc em mpeg-2
KR20110008653A (ko) * 2009-07-20 2011-01-27 삼성전자주식회사 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
US9008176B2 (en) * 2011-01-22 2015-04-14 Qualcomm Incorporated Combined reference picture list construction for video coding
CN102227132B (zh) * 2011-05-25 2017-04-12 深圳市云宙多媒体技术有限公司 一种运动矢量预测编解码方法、装置及编解码系统
PL3879831T3 (pl) * 2011-05-31 2024-07-29 Jvckenwood Corporation Urządzenie do kodowania ruchomego obrazu wizyjnego, sposób kodowania ruchomego obrazu wizyjnego i program do kodowania ruchomego obrazu wizyjnego, a także urządzenie do dekodowania ruchomego obrazu wizyjnego, sposób dekodowania ruchomego obrazu wizyjnego i program do dekodowania ruchomego obrazu wizyjnego
US8396867B2 (en) * 2011-07-13 2013-03-12 Nimblecat, Inc. Identifying and ranking networked biographies and referral paths corresponding to selected qualifications
IN2014CN02602A (ko) * 2011-10-19 2015-08-07 Panasonic Corp
EP2716047A4 (en) * 2011-10-19 2015-03-18 Mediatek Inc METHOD AND DEVICE FOR DERIVING MOTION VECTOR PREVIEW CANDIDATE SETS
US20130114717A1 (en) * 2011-11-07 2013-05-09 Qualcomm Incorporated Generating additional merge candidates
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
WO2014049196A1 (en) * 2012-09-27 2014-04-03 Nokia Corporation Method and techniqal equipment for scalable video coding
CN107113424B (zh) * 2014-11-18 2019-11-22 联发科技股份有限公司 以帧间预测模式编码的块的视频编码和解码方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060133943A (ko) * 2003-09-07 2006-12-27 마이크로소프트 코포레이션 인터레이스 비디오 및 순차적 비디오의 효율적 압축 및압축 해제를 위한 방법 및 컴퓨터 판독가능 매체
KR20080064007A (ko) * 2007-01-03 2008-07-08 삼성전자주식회사 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치
KR20120079862A (ko) * 2011-01-06 2012-07-16 에스케이 텔레콤주식회사 움직임벡터 부호화 및 복호화 장치와 방법
KR20120140623A (ko) * 2011-06-21 2012-12-31 경희대학교 산학협력단 인터 예측 방법 및 그 장치
JP2015156704A (ja) * 2015-04-17 2015-08-27 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009498A1 (ko) * 2017-07-03 2019-01-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US11082702B2 (en) 2017-07-03 2021-08-03 Lg Electronics Inc. Inter prediction mode-based image processing method and device therefor
US11870999B2 (en) 2017-09-12 2024-01-09 Samsung Electronics Co., Ltd. Method for encoding and decoding motion information and device for encoding and decoding motion information
CN116233418A (zh) * 2017-09-12 2023-06-06 三星电子株式会社 用于对运动信息进行编码和解码的方法以及装置
CN116233417A (zh) * 2017-09-12 2023-06-06 三星电子株式会社 用于对运动信息进行编码和解码的方法以及装置
WO2019135558A1 (ko) * 2018-01-02 2019-07-11 삼성전자 주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
US11070842B2 (en) 2018-01-02 2021-07-20 Samsung Electronics Co., Ltd. Video decoding method and apparatus and video encoding method and apparatus
US11356692B2 (en) 2018-03-19 2022-06-07 Intellectual Discovery Co., Ltd. Image decoding method/apparatus, image encoding method/apparatus, and recording medium storing bitstream
WO2019182329A1 (ko) * 2018-03-19 2019-09-26 인텔렉추얼디스커버리 주식회사 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체
US11729410B2 (en) 2018-03-19 2023-08-15 Intellectual Discovery Co., Ltd. Image decoding method/apparatus, image encoding method/apparatus, and recording medium storing bitstream
RU2795522C2 (ru) * 2018-06-08 2023-05-04 Кт Корпорейшен Способ и устройство обработки видеосигнала
US11412246B2 (en) 2018-06-08 2022-08-09 Kt Corporation Method and apparatus for processing video signal
GB2587983B (en) * 2018-06-08 2023-03-22 Kt Corp Method and apparatus for processing a video signal
GB2587983A (en) * 2018-06-08 2021-04-14 Kt Corp Method and apparatus for processing video signal
CN112166610A (zh) * 2018-06-08 2021-01-01 株式会社Kt 用于处理视频信号的方法和设备
WO2019235893A1 (ko) * 2018-06-08 2019-12-12 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11876998B2 (en) 2018-06-08 2024-01-16 Kt Corporation Method and apparatus for processing video signal
CN112866720B (zh) * 2018-07-02 2022-02-18 华为技术有限公司 一种运动矢量预测方法、装置与编解码器
US20210168355A1 (en) * 2018-07-02 2021-06-03 Huawei Technologies Co., Ltd. Motion vector prediction for video coding
CN112866720A (zh) * 2018-07-02 2021-05-28 华为技术有限公司 一种运动矢量预测方法、装置与编解码器
US12113959B2 (en) * 2018-07-02 2024-10-08 Huawei Technologies Co., Ltd. Motion vector prediction for video coding
CN113455002A (zh) * 2018-12-28 2021-09-28 瑞典爱立信有限公司 生成运动向量预测器列表

Also Published As

Publication number Publication date
EP3355578A4 (en) 2019-03-13
US10575011B2 (en) 2020-02-25
US20180352247A1 (en) 2018-12-06
CN108141588A (zh) 2018-06-08
KR20180048736A (ko) 2018-05-10
EP3355578B1 (en) 2020-12-09
EP3355578A1 (en) 2018-08-01

Similar Documents

Publication Publication Date Title
WO2017052081A1 (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2017022973A1 (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2017052009A1 (ko) 영상 코딩 시스템에서 amvr 기반한 영상 코딩 방법 및 장치
WO2017188566A1 (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2017069590A1 (ko) 영상 코딩 시스템에서 모델링 기반 영상 디코딩 방법 및 장치
WO2017082443A1 (ko) 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치
WO2017014412A1 (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
WO2017164441A1 (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2013032073A1 (ko) Ａｍｖｐ 모드에서의 예측 블록 생성 방법
WO2018070632A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2016052977A1 (ko) 비디오 신호 처리 방법 및 장치
WO2017034331A1 (ko) 영상 코딩 시스템에서 크로마 샘플 인트라 예측 방법 및 장치
WO2018021585A1 (ko) 영상 코딩 시스템에서 인트라 예측 방법 및 장치
WO2012081879A1 (ko) 인터 예측 부호화된 동영상 복호화 방법
WO2016200043A1 (ko) 비디오 코딩 시스템에서 가상 참조 픽처 기반 인터 예측 방법 및 장치
WO2017057877A1 (ko) 영상 코딩 시스템에서 영상 필터링 방법 및 장치
WO2017048008A1 (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2016204374A1 (ko) 영상 코딩 시스템에서 영상 필터링 방법 및 장치
WO2017159901A1 (ko) 비디오 코딩 시스템에서 블록 구조 도출 방법 및 장치
WO2016085231A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018056709A1 (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2017061671A1 (ko) 영상 코딩 시스템에서 적응적 변환에 기반한 영상 코딩 방법 및 장치
WO2019194507A1 (ko) 어파인 움직임 예측에 기반한 영상 코딩 방법 및 그 장치
WO2016114583A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018128222A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16848807

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20187007989

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016848807

Country of ref document: EP