WO2013070001A1 - 후보 리스트 공유 방법 및 이러한 방법을 사용하는 장치 - Google Patents

후보 리스트 공유 방법 및 이러한 방법을 사용하는 장치 Download PDF

Info

Publication number
WO2013070001A1
WO2013070001A1 PCT/KR2012/009427 KR2012009427W WO2013070001A1 WO 2013070001 A1 WO2013070001 A1 WO 2013070001A1 KR 2012009427 W KR2012009427 W KR 2012009427W WO 2013070001 A1 WO2013070001 A1 WO 2013070001A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
prediction
merging candidate
blocks
spatial
Prior art date
Application number
PCT/KR2012/009427
Other languages
English (en)
French (fr)
Inventor
김휘용
박광훈
김경용
김상민
임성창
이진호
최진수
김진웅
Original Assignee
한국전자통신연구원
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 경희대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to EP12848248.6A priority Critical patent/EP2779649A4/en
Priority to US14/353,615 priority patent/US9516334B2/en
Priority to CN201280066431.7A priority patent/CN104185988B/zh
Priority to JP2014540949A priority patent/JP5969041B2/ja
Priority to RU2014123309/08A priority patent/RU2575419C2/ru
Priority to EP21193171.2A priority patent/EP4009640A1/en
Publication of WO2013070001A1 publication Critical patent/WO2013070001A1/ko
Priority to US15/342,721 priority patent/US9621910B2/en
Priority to US15/342,690 priority patent/US9716890B2/en
Priority to US15/342,662 priority patent/US9621903B2/en
Priority to US15/342,751 priority patent/US9854249B2/en
Priority to US15/814,030 priority patent/US10038907B2/en
Priority to US16/018,405 priority patent/US10326999B2/en
Priority to US16/018,324 priority patent/US10326998B2/en
Priority to US16/018,522 priority patent/US10341666B2/en
Priority to US16/400,445 priority patent/US10536706B2/en
Priority to US16/695,685 priority patent/US10694191B2/en
Priority to US16/695,666 priority patent/US10805612B2/en
Priority to US15/930,778 priority patent/US10863181B2/en
Priority to US17/072,925 priority patent/US11206411B2/en
Priority to US17/526,365 priority patent/US11711523B2/en
Priority to US17/859,565 priority patent/US20220337845A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Definitions

  • the present invention relates to an image processing method and apparatus, and more particularly, to an inter prediction method and an apparatus using the method.
  • High efficiency image compression techniques can be used to solve these problems caused by high resolution and high quality image data.
  • An inter-screen prediction technique for predicting pixel values included in the current picture from a picture before or after the current picture using an image compression technique an intra prediction technique for predicting pixel values included in a current picture using pixel information in the current picture
  • An object of the present invention is to provide a method of generating a single candidate list and performing inter prediction on a prediction block in parallel.
  • a method of generating a merging candidate list for a prediction block which includes merging at least one of a spatial merging candidate and a temporal merging candidate of the prediction block to which a parallel merging process is performed.
  • the method may include calculating a candidate based on the coding block including the prediction block, and generating a single merging candidate list for the coding block based on the calculated merging candidate.
  • the method of generating a merging candidate list for the prediction block may further include determining whether the prediction block is a block capable of performing a parallel merging process and determining whether the prediction block is a block capable of executing a parallel merging process.
  • the method may include decoding size information of a block that may be executed by the parallel merge process and performing parallel merge process on the prediction block based on the size information of the block that may be executed by the parallel merge process and the size information of the coding block.
  • the method may include determining whether the block is a possible block.
  • Computing the motion prediction related information of the available merging candidate block among the derived spatial merging candidate block and the temporal merging candidate block as the merging candidate includes: a spatial merging candidate block derived based on the coding block and the coding block; Determining whether the parallel merging process is located inside a block that can be implemented; and a spatial merging candidate block derived based on the coding block and the coding block is located inside a block that can be executed by the parallel merging process.
  • the method may include determining the spatial merging candidate block as an unavailable spatial merging candidate block.
  • the spatial merging candidate block and the temporal based on the pixel position of the prediction block and the size of the prediction block when the prediction block is not a block capable of performing a parallel merging process.
  • the method may further include deriving a merging candidate block and calculating motion prediction related information of available merging candidate blocks among the derived spatial merging candidate blocks and the temporal merging candidate blocks as merging candidates.
  • Computing motion prediction related information of the available merging candidate block among the derived spatial merging candidate block and the temporal merging candidate block as a merging candidate is a block in which the prediction block is divided into one of Nx2N, nLx2N, and nRx2N forms.
  • the method may include determining that the spatial merging candidate block included in is not available.
  • Computing motion prediction related information of the available merging candidate block among the derived spatial merging candidate block and the temporal merging candidate block as a merging candidate is a block in which the prediction block is divided into one of 2NxN, 2NxnU, and 2NxnD forms.
  • the prediction block Determining whether the prediction block is a second prediction block; and if the prediction block is a block divided into one of 2NxN, 2NxnU, and 2NxnD forms, and the prediction block is a second prediction block, the first prediction And determining that the spatial merging candidate block included in the block is not available.
  • an image decoding apparatus includes a prediction unit, and the prediction unit is a spatial merging candidate and a temporal merging candidate of the prediction block to which a parallel merging process is performed. At least one merging candidate among merging candidates may be calculated based on a coding block including the prediction block, and a single merging candidate list may be generated for the coding block based on the calculated merging candidate.
  • the prediction unit may calculate at least one merging candidate of a spatial merging candidate and a temporal merging candidate of the prediction block on which the parallel merging process is performed, based on a coding block including the prediction block, Deriving a spatial merging candidate block and a temporal merging candidate block based on the size of the coding block, and calculating motion prediction related information of available merging candidate blocks among the derived spatial merging candidate block and the temporal merging candidate block as the merging candidate It can be implemented to.
  • the prediction unit may be implemented to determine whether the prediction block is a block capable of performing a parallel merge process, and the decoded parallel merging process may be performed to determine whether the prediction block is a block capable of performing a parallel merge process.
  • the prediction block may be implemented to determine whether the prediction block is a block capable of performing a parallel merge process based on the size information of the block and the size information of the coding block.
  • the prediction unit is a spatial merging candidate derived based on the coding block and the coding block to calculate motion prediction related information of available merging candidate blocks among the derived spatial merging candidate blocks and the temporal merging candidate blocks as the merging candidates. It is determined whether a block is located inside a block in which the parallel merging process can be performed, and a spatial merging candidate block derived based on the coding block and the coding block is located inside a block in which the parallel merging process can be performed. In this case, the spatial merging candidate block may be determined to be a spatial merging candidate block that is not available.
  • the prediction unit performs a merge process in parallel to determine whether the prediction block is a block in which the parallel merge process can be performed based on the size information of the block in which the parallel merge process can be performed and the size information of the coding block. It is determined whether the size of a possible block is greater than or equal to a predetermined specific size, whether or not the coding block is of a specific size, and the size of a block capable of performing a merge process in parallel is greater than or equal to the predetermined specific size, and the coding block is In case of a specific size, the prediction block may be implemented to determine that merging is performed using the single merging candidate list.
  • the prediction unit derives the spatial merging candidate block and the temporal merging candidate block based on the pixel position of the prediction block and the size of the prediction block when the prediction block is not a block to which a parallel merging process can be performed. It may be implemented to calculate the motion prediction related information of the available merging candidate blocks among the spatial merging candidate blocks and the temporal merging candidate blocks as merging candidates.
  • the prediction unit divides the prediction block into one of Nx2N, nLx2N, and nRx2N forms to calculate, as a merging candidate, motion prediction related information of the available merging candidate block among the derived spatial merging candidate block and the temporal merging candidate block.
  • a prediction block is a block divided into one of Nx2N, nLx2N, and nRx2N forms, and the prediction block is a second prediction block. It may be implemented to determine that the spatial merging candidate block included in is not available.
  • the prediction unit divides the prediction block into one of 2NxN, 2NxnU, and 2NxnD forms to calculate, as a merging candidate, motion prediction related information of the available merging candidate block among the derived spatial merging candidate block and the temporal merging candidate block. Determining whether the prediction block is the second prediction block, the prediction block is a block divided into one of 2NxN, 2NxnU, and 2NxnD forms, and the first prediction block is the second prediction block. It may be implemented to determine that the spatial merging candidate block included in the block is not available.
  • a plurality of prediction blocks divided in one coding block share a single candidate list to perform prediction between screens. Reduce the complexity of inter prediction. Further, by performing inter prediction on a plurality of prediction blocks in parallel, the processing speed of encoding and decoding can be increased.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding apparatus according to another embodiment of the present invention.
  • FIG. 3 is a conceptual diagram illustrating an inter prediction method using merge according to an exemplary embodiment of the present invention.
  • FIG. 4 is a conceptual diagram illustrating a case where one coding block is divided into two prediction blocks.
  • FIG. 5 is a conceptual diagram illustrating inter-screen prediction using a temporal merging candidate and a reference picture index of a temporal merging candidate according to an embodiment of the present invention.
  • FIG. 6 is a conceptual diagram illustrating a method of generating a single merging candidate list by sharing both a spatial merging candidate and a temporal merging candidate in a plurality of prediction blocks according to an embodiment of the present invention.
  • FIG. 7 is a conceptual diagram illustrating a method of generating a single merging candidate list by sharing only spatial merging candidates in a plurality of prediction blocks according to an embodiment of the present invention.
  • FIG. 8 is a conceptual diagram illustrating a method of generating a single merging candidate list by sharing only temporal merging candidates in a plurality of prediction blocks according to an embodiment of the present invention.
  • FIG. 9 is a conceptual diagram illustrating an inter prediction mode using AMVP.
  • FIG. 10 is a conceptual diagram illustrating a method of generating a single motion vector prediction candidate list by sharing both a spatial candidate prediction block and a temporal candidate prediction block in a plurality of prediction blocks according to an embodiment of the present invention.
  • FIG. 11 is a conceptual diagram illustrating a method for generating a single motion vector prediction candidate list by sharing only spatial candidate prediction blocks in a plurality of prediction blocks according to an embodiment of the present invention.
  • FIG. 12 is a conceptual diagram illustrating a method of generating a single motion vector prediction candidate list by sharing only temporal candidate prediction blocks in a plurality of prediction blocks according to an embodiment of the present invention.
  • FIG. 13 is a conceptual diagram illustrating a method of generating a single merging candidate list according to an embodiment of the present invention.
  • FIG. 14 is a conceptual diagram illustrating a method of generating a single merging candidate list according to an embodiment of the present invention.
  • 15 is a conceptual diagram illustrating a method of generating a single merging candidate list according to an embodiment of the present invention.
  • 16 is a conceptual diagram illustrating a method of generating a merging candidate list according to an embodiment of the present invention.
  • 17 is a conceptual diagram illustrating positions of spatial merging candidates according to a partitioning form of an encoding block according to an embodiment of the present invention.
  • FIG. 18 is a conceptual diagram illustrating a method of generating a merging candidate list according to an embodiment of the present invention.
  • FIG. 19 is a conceptual diagram illustrating positions of spatial merging candidates according to a partitioning form of a coding block according to an embodiment of the present invention.
  • 20 is a conceptual diagram illustrating positions of spatial merging candidates according to a partitioning form of a coding block according to an embodiment of the present invention.
  • 21 is a conceptual diagram illustrating positions of spatial merging candidates according to a partitioning form of a coding block according to an embodiment of the present invention.
  • 22 is a conceptual diagram illustrating the positions of spatial merging candidates according to a partitioning form of an encoding block according to an embodiment of the present invention.
  • FIG. 23 is a conceptual diagram illustrating a process of decoding and encoding a plurality of prediction blocks in parallel when using a method of generating a single candidate list according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • each component shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is included in each component for convenience of description, and at least two of the components may be combined into one component, or one component may be divided into a plurality of components to perform a function.
  • Integrated and separate embodiments of the components are also included within the scope of the present invention without departing from the spirit of the invention.
  • the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance.
  • the present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • the image encoding apparatus 100 may include a motion predictor 111, a motion compensator 112, an intra predictor 120, a switch 115, a subtractor 125, and a converter 130. And a quantization unit 140, an entropy encoding unit 150, an inverse quantization unit 160, an inverse transform unit 170, an adder 175, a filter unit 180, and a reference picture buffer 190.
  • the image encoding apparatus 100 may encode an input image in an intra mode or an inter mode and output a bitstream. In the intra mode, the switch 115 may be switched to intra, and in the inter mode, the switch 115 may be switched to inter. The image encoding apparatus 100 may calculate a prediction block for the input block of the input image and then encode a residual between the input block and the prediction block.
  • Intra mode is defined as intra prediction mode
  • inter mode is inter prediction mode
  • intra prediction unit 120 is intra prediction unit
  • motion predictor 111 and motion compensation unit 112 are defined as inter prediction unit. Can be used.
  • the intra predictor 120 may calculate a prediction block by performing spatial prediction using pixel values of blocks that are already encoded around the current block.
  • the motion predictor 111 may obtain a motion vector by searching for a region that best matches an input block in the reference image stored in the reference picture buffer 190 during the motion prediction process.
  • the motion compensator 112 may calculate a prediction block by performing motion compensation using the motion vector.
  • the subtractor 125 may calculate a residual block by the difference between the input block and the calculated prediction block.
  • the transform unit 130 may output a transform coefficient by performing a transform on the residual block.
  • the transform coefficient may mean a coefficient value calculated by performing transform on the residual block and / or the residual signal.
  • a quantized transform coefficient level calculated by applying quantization to a transform coefficient may also be referred to as a transform coefficient.
  • the quantization unit 140 may output the quantized transform coefficient level by quantizing the input transform coefficient according to the quantization parameter.
  • the entropy encoder 150 may output a bit stream by performing entropy encoding based on values calculated by the quantizer 140 or encoding parameter values calculated in the encoding process.
  • the entropy encoder 150 may use an encoding method such as exponential golomb, context-adaptive variable length coding (CAVLC), or context-adaptive binary arithmetic coding (CABAC) for entropy encoding.
  • CAVLC context-adaptive variable length coding
  • CABAC context-adaptive binary arithmetic coding
  • the image encoding apparatus performs inter prediction encoding, that is, inter prediction encoding
  • the currently encoded image needs to be decoded and stored to be used as a reference image.
  • the quantized coefficients are inversely quantized by the inverse quantizer 160 and inversely transformed by the inverse transformer 170.
  • the inverse quantized and inverse transformed coefficients are added to the prediction block through the adder 175, and a reconstructed block is calculated.
  • the reconstruction block passes through the filter unit 180, and the filter unit 180 applies at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstruction block or the reconstruction picture. can do.
  • the reconstructed block that has passed through the filter unit 180 may be stored in the reference picture buffer 190.
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding apparatus according to another embodiment of the present invention.
  • the image decoding apparatus 200 may include an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, a motion compensator 250, and an adder ( 255, a filter unit 260, and a reference picture buffer 270.
  • the image decoding apparatus 200 may receive a bitstream output from the encoder and perform decoding in an intra mode or an inter mode, and output a reconstructed image, that is, a reconstructed image.
  • the switch In the intra mode, the switch may be switched to intra, and in the inter mode, the switch may be switched to inter.
  • the image decoding apparatus 200 may obtain a reconstructed residual block from the input bitstream, calculate a prediction block, and then add the reconstructed residual block and the prediction block to calculate a reconstructed block, that is, a reconstruction block. .
  • the entropy decoder 210 may entropy decode the input bitstream according to a probability distribution to calculate symbols including a symbol having a quantized coefficient form.
  • the entropy decoding method is similar to the entropy coding method described above.
  • the entropy decoding method When the entropy decoding method is applied, a small number of bits are allocated to a symbol having a high probability of occurrence and a large number of bits are allocated to a symbol having a low probability of occurrence, whereby the size of the bit string for each symbol is increased. Can be reduced. Therefore, the compression performance of image decoding can be improved through an entropy decoding method.
  • the quantized coefficient is inversely quantized by the inverse quantizer 220 and inversely transformed by the inverse transformer 230, and as a result of the inverse quantization / inverse transformation of the quantized coefficient, a reconstructed residual block may be calculated.
  • the intra predictor 240 may calculate a prediction block by performing spatial prediction using pixel values of blocks already decoded around the current block.
  • the motion compensator 250 may calculate a prediction block by performing motion compensation using a motion vector and a reference image stored in the reference picture buffer 270.
  • the reconstructed residual block and the prediction block may be added through the adder 255, and the added block may pass through the filter unit 260.
  • the filter unit 260 may apply at least one or more of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture.
  • the filter unit 260 may output a reconstructed image, that is, a reconstructed image.
  • the reconstructed picture may be stored in the reference picture buffer 270 and used for inter prediction.
  • Methods for improving the prediction performance of the encoding / decoding apparatus include a method of increasing the accuracy of an interpolation image and a method of predicting a difference signal.
  • the difference signal is a signal representing the difference between the original image and the predicted image.
  • the "difference signal” may be used by being replaced with “difference signal”, “residual block” or “difference block” according to the context, and those skilled in the art may affect the spirit and the essence of the invention. This can be distinguished to the extent that it does not give.
  • coding unit CU
  • prediction unit PU
  • transform unit TU
  • the coding unit is an image processing unit that performs encoding / decoding, and may include information used to encode or decode the coding block and the samples of the coding block, which is a block unit set of luminance samples or chrominance samples, in which encoding / decoding is performed.
  • the prediction unit is an image processing unit that performs prediction, and may include information used to predict the prediction block and the samples of the prediction block, which is a block unit set of the luminance sample or the chrominance sample on which the prediction is performed.
  • the coding block may be divided into a plurality of prediction blocks.
  • the transformation unit may be an image processing unit that performs transformation, and may include information used to transform the transform block and the samples of the transform block, which is a block unit set of luminance samples or color difference samples.
  • the coding block may be divided into a plurality of transform blocks.
  • the current block may refer to a block in which specific image processing is performed, such as a prediction block in which current prediction is performed or a coding block in which current encoding is performed.
  • a prediction block in which current prediction is performed or a coding block in which current encoding is performed.
  • a coding block in which current encoding is performed when one coding block is divided into two prediction blocks, a block in which prediction is performed among the divided prediction blocks may be referred to as a current block.
  • the image encoding method and the image decoding method to be described later may be performed by each component included in the image encoder and the image decoder described above with reference to FIGS. 1 and 2.
  • the meaning of the component may include not only the hardware meaning but also a software processing unit that may be performed through an algorithm.
  • the merging candidate list generation method disclosed in the embodiment of the present invention may be used in both of the SKIP mode and the inter prediction method of the image processing method.
  • the SKIP mode is an image processing method of outputting a predicted block as a reconstructed block based on motion prediction information derived from a neighboring block without generating a residual block.
  • Merge one of the screen prediction methods, is identical in that it generates a predicted block based on the SKIP mode and the motion prediction information derived from the neighboring blocks, but additionally encodes and decodes the residual block information to restore the sum of the residual block and the predictive block.
  • An image processing method for outputting a block In-loop filtering methods such as deblocking filtering and sample adaptive offset may be further applied to the output reconstructed block.
  • FIG. 3 is a conceptual diagram illustrating an inter prediction method using merge according to an exemplary embodiment of the present invention.
  • inter prediction using merge may be performed as follows.
  • Inter-screen prediction using merge refers to a method of deriving a merging candidate from neighboring blocks of the current block and performing inter-screen prediction using the derived merging candidate.
  • the neighboring block used to derive the merging candidate may be divided into a block existing in the same picture as the current block and a block adjacent to the current block and a block existing in a different picture from the current block and collocated with the current block.
  • a block adjacent to the current block while present in the same picture as the current block among neighboring blocks used for deriving a merging candidate is defined as a spatial merging candidate block, and motion prediction derived from the spatial merging candidate block
  • a spatial merging candidate block is defined as a block existing in a picture different from the current block and collocated with the current block among neighboring blocks used for deriving a merging candidate.
  • Information is defined and used in terms of temporal merging candidates.
  • the inter prediction method using merge may include motion prediction-related information (spatial merging candidate) of spatial merging candidate blocks or motion prediction-related information (temporal merging candidate) of temporal merging candidate blocks to be described later. It is an inter prediction method that predicts the current block using)).
  • a motion vector (mvL0 / L1), a reference picture index (refIdxL0 / L1), and reference picture list utilization information (predFlagL0 / L1) may be used.
  • the motion vector 304 may be used to derive pixel information in which a prediction block exists at a specific position in a reference picture in performing inter prediction as directional information.
  • motion vectors for respective directions may be represented using mvL0 and mvL1.
  • the reference picture index 306 is index information of a picture that the prediction block refers to in performing inter prediction.
  • reference picture indices may also index each used reference picture using refIdxL0 and refIdxL1.
  • the reference picture list utilization information may indicate to which reference picture list 308 a reference picture is derived.
  • the i, j, and k pictures may be stored and used in the reference picture list 0 308.
  • predFlagL0 and predFlagL1 may be used to indicate information on which reference picture list a reference picture is derived from.
  • a spatial merging candidate may be obtained through the following step (1).
  • a spatial merging candidate and a temporal merging candidate are disclosed.
  • a spatial merging candidate is derived from a neighboring block for the current block (prediction target block).
  • the spatial merging candidate is motion prediction related information derived from the spatial merging candidate block.
  • the spatial merging candidate block may be calculated based on the location of the current block.
  • a spatial merging candidate block of a prediction block may include a block including a pixel present in (xP-1, yP + nPbH) and a left first block (or A0 block, 300), (xP-1, yP + nPbH).
  • a block including a pixel present in -1) is a block including a pixel located at a left second block (or A1 block 310), (xP + nPbW, yP-1), and an upper first block (or B0 block). , 320), and a block including a pixel located at (xP + nPbW-1, yP-1) includes a pixel located at a top second block (B1 block, 330), (xP-1, yP-1).
  • the block may be the upper third block (B2 block, 340).
  • another value for example, “MinPbSize” can be used, and even in this case it can indicate a block at the same location.
  • the coordinates used to indicate the block of the specific position above are arbitrary and it is also possible to indicate the block of the same position by various other expression methods.
  • the position and number of the spatial merging candidate blocks 300, 310, 320, 330, and 340 disclosed in FIG. 3 and the position and the number of the temporal merging candidate blocks 360 and 370 are arbitrary and do not depart from the spirit of the present invention.
  • the position and number of spatial merging candidate blocks and the position and number of temporal merging candidate blocks may vary.
  • the order of merging candidate blocks that are first scanned may also be changed. That is, the position, number, scan order, candidate prediction group, etc. of candidate prediction blocks used when constructing the candidate prediction motion vector list described in the embodiments of the present invention will be described as one embodiment without departing from the essence of the present invention. One can change.
  • the spatial merging candidate block may be derived from the available spatial merging candidate block by determining whether the spatial merging candidate blocks 300, 310, 320, 330, and 340 are available.
  • the availability information is information indicating whether a spatial merging candidate can be derived from the spatial merging candidate. For example, when the spatial merging candidate block is located outside the slice, tile, or picture to which the current block belongs, or when the intra prediction is performed, the spatial merging candidate that is motion prediction related information is derived. In this case, it may be determined that the spatial merging candidate block is not available.
  • Various determination methods may be used to determine availability information of spatial merging candidates. This embodiment will be further described in detail.
  • the motion prediction related information may be derived for an available spatial merging candidate block and used to predict the current block.
  • One coding block may be divided into at least one prediction block. That is, the coding block may include one or more prediction blocks.
  • the prediction block may be indicated by using specific index information. For example, when one coding block is divided into two prediction blocks, two prediction blocks may be indicated by setting the partition index of one prediction block to 0 and the partition index of the other prediction block to 1. When the partition index is 0, the first prediction block may be defined, and when the partition index is 1, the second prediction block may be defined using other terms.
  • an index value indicating a prediction block may increase. Terms defined to refer to prediction blocks may be used differently and interpreted differently as arbitrary.
  • the partition index of the prediction block may also be used as information for indicating the order in which the prediction block is processed when performing image processing such as encoding and decoding.
  • a single candidate list sharing method according to an embodiment of the present invention will be described in parallel merge processing by newly defining a block capable of parallel merge processing.
  • a block capable of performing parallel merge processing may be defined as a unit including at least one coding block or a plurality of prediction blocks. This will be described later.
  • a spatial merging candidate is calculated for each prediction block, if one coding block is divided into two prediction blocks, the spatial merging candidate for each block should be calculated. In this case, it is necessary to wait until the encoding or decoding of one prediction block included in one coding block is completed to calculate a spatial merging candidate of another prediction block. Because some of the spatial merging candidate block 310 is included in another prediction block, the corresponding prediction block must be encoded or decoded to derive the spatial merging candidate block, and the spatial merging candidate block 300 of the partial position is This is because there is a case where encoding or decoding has not yet been performed. That is, in the case of a coding block including a plurality of prediction units, there is a problem that parallel encoding or decoding cannot be performed on each prediction block. 4 discloses this problem.
  • FIG. 4 is a conceptual diagram illustrating a case where one coding block is divided into two prediction blocks.
  • one coding block is divided into an N ⁇ 2N type first prediction block 400 and a second prediction block 420.
  • the spatial merging candidate block for the first prediction block 400 is calculated based on the position of the first prediction block 400 as shown in FIG. 4A, and the spatial merging candidate block for the second prediction block 420 is calculated. As shown in FIG. 4B, the position is calculated based on the position of the second prediction block 420.
  • the temporal merging candidate block is not shown, the temporal merging candidate is also calculated based on the position of each prediction block.
  • the block existing outside the first prediction block 400 exists at a position where encoding or decoding is already completed.
  • the A1 block 430 is a block existing inside the first prediction block 400. Therefore, after the prediction of the first prediction block 400 is performed, the motion prediction related information of the A1 block 430 may be known. That is, the merging candidate list generation process of the second prediction block 420 is performed after the merging candidate list generation of the first prediction block 400.
  • a process of generating a merge candidate list for the plurality of prediction blocks may not be performed in parallel. It can be seen that a process of generating a merge candidate list for a plurality of prediction blocks proceeds sequentially for each prediction block.
  • a merging candidate list shared by a plurality of prediction units may be defined and used in terms of a single merging candidate list.
  • the present invention discloses a method of performing inter prediction using a merge of a plurality of prediction blocks by using a single merging candidate list for a plurality of prediction blocks that are divided into coding blocks and included in the coding block.
  • a single merging candidate list By using a single merging candidate list, the complexity caused by generating the merging candidate list multiple times for each prediction block can be reduced.
  • a plurality of prediction blocks divided in one coding block that performs inter prediction using merge may be encoded or decoded in parallel.
  • a method of generating a single merging candidate list is further described below in the embodiments of the present invention.
  • a reference picture index of a temporal merging candidate is set.
  • the temporal merging candidate is motion prediction related information derived from a temporal merging candidate block existing in a picture different from the picture including the current block.
  • the temporal merging candidate block is a block calculated based on a block existing at a collocated position based on the position of the current block.
  • the term call block may also be used in the same sense as the temporal merging candidate block.
  • the temporal merging candidate blocks 360 and 370 are based on the pixel position (xP, yP) in the picture including the prediction block, and then (xP + nPSW, (xP + (nPSW >> 1), yP + (nPSH >> 1) if the block containing the pixel at position yP + nPSH) or the block containing the pixel at position (xP + nPSW, yP + nPSH) is not available ) May be a block including the pixel at the position.
  • a predictive block including a pixel at (xP + nPSW, yP + nPSH) in the call picture is called a first temporal merging candidate block (or first Colocated Block, 360), and in the call picture (xP + (nPSW >> 1),
  • the prediction block including the pixel at the yP + (nPSH >> 1)) position may be referred to as a second temporal merging candidate block 370.
  • the position of the final temporal merging candidate block used to finally calculate the temporal merging candidate (motion prediction related information) is partially moved based on the positions of the first temporal merging candidate block 360 and the second temporal merging candidate block 370. It may be a block existing at one location.
  • some movement is performed based on the positions of the first temporal merging candidate block 360 and the second temporal merging candidate block 370.
  • a block existing at one location may be used as a final temporal merging candidate block for deriving final motion prediction related information.
  • the position of the temporal merging candidate block may be changed or added differently from FIG. 3, and this embodiment will be described below.
  • the reference picture index of the temporal merging candidate is information indicating a picture to which the current block is referred to to perform inter prediction based on a motion vector mvLXCol calculated from the temporal merging candidate.
  • FIG. 5 is a conceptual diagram illustrating inter-screen prediction using a temporal merging candidate and a reference picture index of a temporal merging candidate according to an embodiment of the present invention.
  • a current block 500, a picture 510 including a current block, a temporal merging candidate block 520, and a call picture 530 including a call block may be defined.
  • the temporal merging candidate block 520 From the perspective of the temporal merging candidate block 520, there is a picture 540 used by the temporal merging candidate block for inter prediction to perform inter prediction on the temporal merging candidate block 520.
  • This picture is defined as the reference picture 540 of the call picture 530.
  • the motion vector used by the temporal merging candidate block 520 to perform inter prediction from the reference picture 540 of the call picture may be defined as mvCol 570.
  • a reference picture 560 used for inter prediction of the current block 500 should be defined based on the calculated mvCol 570.
  • a reference picture defined to be used for inter prediction of the current block 500 may be referred to as a reference picture 560 of a temporal merging candidate. That is, the reference index of the temporal merging candidate of the temporal merging candidate 560 is a value for indicating a reference picture used for temporal motion prediction of the current block 500.
  • the reference picture index of this temporal merging candidate can be derived.
  • MvCol 570 which is a motion vector derived from temporal merging candidate block 520, is the distance between the call picture 530 and the reference picture 540 of the call picture and the picture 510 containing the current block and step (2). According to the relationship between the distances between the reference pictures 560 of the temporal merging candidates calculated through, it may be scaled and transformed into other values.
  • the inter prediction between the temporal merging candidates of the current block 500 is based on the reference picture index 560 of the temporal merging candidate and the reference picture index 560 of the temporal merging candidate calculated through (2). It may be performed through mvLXCol 580 derived through step (3) to be described later. mvLXCol may be defined as a temporal motion vector.
  • step (3) information on whether a temporal merging candidate block is available for performing motion prediction based on a temporal merging candidate (availableFlagCol), reference picture list utilization information (PredFlagLXCol), and motion vector information of a temporal merging candidate ( temporal merging candidates, such as mvLXCol).
  • the availability information of the temporal merging candidate block is information on whether a temporal merging candidate can be derived from the temporal merging candidate block.
  • a temporal merging candidate may be included in the merging candidate list based on availability information of the temporal merging candidate block.
  • the merging candidate list may include information on merging candidates that can be used for inter prediction using merging based on availability information of merging candidate blocks (spatial merging candidate blocks and temporal merging candidate blocks).
  • One merging candidate included in the merging candidate list may be used to predict the current block.
  • Information (merge index) on which merging candidate is used to predict the current block may be encoded in the encoding step and transmitted to the decoder.
  • the merging candidate list may be generated with the following priorities.
  • the merging candidate list may include, for example, 0 to 5 merging candidates according to the number of available blocks. It is also possible that more merging candidates are included in the merging candidate list if there are more blocks used to derive the merging candidates.
  • the additional merging candidate may be a combined merging candidate or a zero merging candidate generated by combining the motion prediction related information of the existing merging candidates.
  • the zero vector merging candidate refers to a merging candidate whose motion vector is (0,0).
  • the merging candidate applied to the inter prediction of the current block among the merging candidates included in the merging candidate list is determined, and the motion prediction related information of the merging candidate is set as the motion prediction related information of the current block.
  • inter-screen using merge for the current block based on a merge index (merge_idx [xP] [yP]), which is information on which candidates included in the merging candidate list are used for inter-screen prediction of the current block. You can make predictions.
  • motion prediction related information on the current block may be derived, and inter prediction may be performed on the current block by using the same.
  • At least one prediction block included in one coding block is used.
  • parallel merging processing is performed on at least one prediction block by deriving a single merging candidate list.
  • an embodiment of the present invention will be described on the assumption that one coding block is divided into a plurality of prediction blocks. However, one coding block is not divided and the size of the coding block is equal to the size of one prediction block. The same may also apply.
  • a method of constructing a single merging candidate list based on a spatial merging candidate and a temporal merging candidate will be described.
  • a candidate generated by combining motion prediction related information of the spatial merging candidate and / or the temporal merging candidate is combined.
  • a plurality of predictions are divided in one coding block. The block may be applied to use a single merging candidate list determined based on the coding block.
  • a plurality of prediction blocks may 1) share both a spatial merging candidate and a temporal merging candidate, 2) share only a spatial merging candidate, or 3) share only a temporal merging candidate.
  • the merging candidate list for the prediction block may be different from each other.
  • the term "merging merging candidate list" is broadly defined and used.
  • a plurality of prediction blocks divided in one coding block share only spatial merging candidates determined based on the coding block, and the temporal merging candidate generates a single merging candidate list using blocks calculated based on each prediction block. How to.
  • a plurality of prediction blocks divided in one coding block share only a temporal merging candidate determined based on the coding block, and the spatial merging candidate generates a single merging candidate list using blocks calculated based on each prediction block.
  • the merging candidate list can be shared among different prediction blocks.
  • FIG. 6 is a conceptual diagram illustrating a method of generating a single merging candidate list by sharing both a spatial merging candidate and a temporal merging candidate in a plurality of prediction blocks according to an embodiment of the present invention.
  • FIG. 6 a method of generating a single merging candidate list by sharing a spatial merging candidate and a temporal merging candidate determined based on a coding block by a plurality of prediction blocks divided in one coding block will be described.
  • the first prediction block 600 and the second prediction block 650 may share a spatial merging candidate by calculating a spatial merging candidate from the same spatial merging candidate block.
  • the spatial merging candidate blocks for the first prediction block 600 and the second prediction block 650 are blocks determined based on the coding block, and are A0 blocks 605, A1 blocks 610, B0 blocks 615, and B1 blocks. 620, the B2 block 625 may be used as a spatial merging candidate block.
  • the position of each spatial merging candidate block may be a position including a pixel shown in the drawing based on the upper left position (xC, yC) and nCS (size of a coding block) of the coding block.
  • A0 block 605 is a block containing a pixel present at (xC-1, yC + nCS)
  • A1 block 610 is a block containing a pixel present at (xC-1, yC + nCS-1)
  • B0 block 615 is a block containing a pixel located at (xC + nCS, yC-1)
  • B1 block 620 is a block containing a pixel located at (xC + nCS-1, yC-1)
  • the B2 block 625 may be a block including pixels located at (xC-1, yC-1).
  • first prediction block 600 and the second prediction block 650 may share a temporal merging candidate.
  • the temporal merging candidate blocks 660 and 670 which derive the temporal merging candidates shared by the first prediction block 600 and the second prediction block 650, also have the upper left position (xC, yC) of the coding block and the size of the coding block. It can be derived to a block existing at a position calculated based on (nCS).
  • temporal merging candidate blocks 660 and 670 are based on (xC + nCS, yC + nCS) in the collocated picture of the current prediction block based on the pixel position (xC, yC) in the picture containing the prediction block.
  • first Nx2N prediction block 600 and the second Nx2N prediction block 650 partitioned in the form of Nx2N are disclosed.
  • this method may include blocks having different partition shapes (for example, 2NxN, 2NxnU, 2NxnD, It can also be applied to prediction blocks divided into various forms such as nLx2N, nRx2N or NxN.
  • the method may determine whether to apply a single merging candidate list differently according to the size or split depth of the block.
  • information on whether a specific block is a block in which a single merging candidate list is used may be derived based on the size of a block capable of performing the merging process in parallel and the size information of the coding block.
  • information on whether a specific block is a block in which a single merging candidate list is used may be represented by flag information.
  • a flag as to whether a specific block is a block in which a single merging candidate list is used may be defined as a single merge candidate list flag (MCLflag).
  • a singleMCLflag of 0 indicates that the block does not use a single merge candidate list and a singleMCLflag of 1 indicates that the block uses a single merge candidate list.
  • the spatial merging candidate for the prediction block based on the value of singleMCLflag may be derived based on the coding block.
  • a prediction block divided in an 8x8 coding block may generate a single merging candidate list based on the information that the size of the block capable of performing the merging process in parallel is greater than 4x4 and the current block size is 8x8.
  • Flag information indicating use can be derived. The derived flag may be used later to derive the spatial merging candidate and the temporal merging candidate of the prediction block based on the coding block.
  • FIG. 7 is a conceptual diagram illustrating a method of generating a single merging candidate list by sharing only spatial merging candidates in a plurality of prediction blocks according to an embodiment of the present invention.
  • a plurality of prediction blocks divided in one coding block share only a spatial merging candidate determined based on a coding block, and a temporal merging candidate generates a single merging candidate list using candidates calculated based on each prediction block. It discloses how to.
  • the first prediction block 700 and the second prediction block 750 may share the same spatial merging candidate.
  • the spatial merging candidate blocks for the first prediction block 700 and the second prediction block 750 are blocks determined based on the coding block, and are A0 705, A1 710, B0 715, B1 720, The B2 725 block may be used as a spatial merging candidate block. Each block may exist at a position calculated based on the coding block as shown in FIG. 6.
  • the temporal merging candidate blocks (or call blocks) of the first prediction block 700 and the second prediction block 750 may be calculated based on the location of each prediction block.
  • the first prediction block 700 may use at least one of Hpu0 block 755 and Mpu0 block 760, which are temporal merging candidate blocks determined based on its block position, as temporal merging candidates.
  • the second prediction block 750 may use at least one of Hpu1 block 765 and Mpu1 block 770, which are call blocks determined based on its block position, as a temporal merging candidate.
  • the position of the temporal merging candidate block for finally calculating the motion prediction related information is partially based on the positions of the Hpu0 block 755, the Mpu0 block 760, the Hpu1 block 765, and the Mpu1 block 770. It may be a block corresponding to the moved position.
  • temporal merging candidate blocks 755, 760, 765, and 770 are blocks that exist in a pre-coded or decoded picture
  • the first prediction block 700 and the second prediction block 750 may not be shared.
  • Inter-prediction may be performed by generating merge candidate lists in parallel.
  • FIG. 8 is a conceptual diagram illustrating a method of generating a single merging candidate list by sharing only temporal merging candidates in a plurality of prediction blocks according to an embodiment of the present invention.
  • a plurality of prediction blocks divided in one coding block share only a temporal merging candidate determined based on the coding block, and the spatial merging candidate generates a single merging candidate list using candidates calculated based on each prediction block. It discloses how to.
  • the first prediction block 800 and the second prediction block 850 may derive different spatial merging candidates from spatial merging candidate blocks according to respective block positions and sizes.
  • the spatial merging candidate blocks for the first prediction block 800 are A0 block 805, A1 block 810, B0 block 813, B1 block 815, B2 block 820, and the location of each block is It may be derived based on the upper left pixel position of the first prediction block 800 and the size (width and height) of the first prediction block 800.
  • the spatial merging candidate block of the prediction block may include a block including a pixel present in (xP-1, yP + nPbH) and the left first block. (Or A0 block, 805), a block including a pixel present in (xP-1, yP + nPbH-1) is added to the left second block (or A1 block, 810), (xP + nPbW, yP-1).
  • a block containing a pixel located in the upper first block (or B0 block 813), a block containing a pixel located in (xP + nPbW-1, yP-1), the upper second block (B1 block, 815) , the block including the pixels located at (xP-1, yP-1) may be the upper third block (B2 block, 820).
  • the spatial merging candidate blocks for the second prediction block 850 are A0 'block 825, A1' block 830, B0 'block 835, B1' block 840, B2 'block 815, respectively.
  • the position of the block of may be derived based on the top left pixel position of the second prediction block 850 and the size (width and height) of the second prediction block 850.
  • the spatial merging candidate block of the prediction block may include a block including a pixel present at (xP'-1, yP '+ nPbH).
  • a block including a pixel present in the left first block (or A0 'block 825), (xP'-1, yP' + nPbH-1) is defined as a left second block (or A1 'block, 830), (xP a block including a pixel located at '+ nPbW, yP'-1) includes a pixel located at a top first block (or B0' block) 835 and (xP '+ nPbW-1, yP'-1)
  • the block including the pixel located in the upper second block (B1 'block) 840 and (xP'-1, yP'-1) may be the upper third block (B2' block) 815. .
  • a spatial merging candidate may be calculated based on the position and size of each prediction block 800 and 850.
  • the temporal merging candidate blocks (or call blocks 860 and 870) of the first prediction block 800 and the second prediction block 850 may be calculated based on the coding block so that two prediction blocks may share the same temporal merging candidate. .
  • the single merge candidate list calculation method described above may also be used to generate an AMVP list (or a motion vector predictor candidate list) in an inter prediction mode using advanced motion vector prediction (AMVP).
  • AMVP advanced motion vector prediction
  • FIG. 9 is a conceptual diagram illustrating an inter prediction mode using AMVP.
  • the spatial candidate prediction blocks used in the inter-screen prediction mode using AMVP include the left first block A0 and 900 and the left second block A1, 910, upper first blocks B0 and 920, upper second blocks B1 and 930, and upper third blocks B2 and 940.
  • Such a spatial candidate prediction block may be divided into two spatial candidate prediction groups.
  • a group including a left first block 900 and a left second block 910 may be divided into a first spatial candidate prediction group and an upper first block 920.
  • a group including an upper second block 930 and an upper third block 940 may be defined as a term of a second spatial candidate prediction group.
  • the temporal candidate prediction block includes a pixel at the position (xP + nPbW, yP + nPbH) in the collocated picture of the current prediction block based on the pixel position (xP, yP) in the picture including the current prediction block.
  • It may include a prediction block 960 including a. Similar to the merge, the final temporal merging candidate used to finally calculate the motion prediction related information exists in a partially moved position based on the positions of the first temporal merging candidate 950 and the second temporal merging candidate 960. It may be a block.
  • the inter-screen prediction method using AMVP may generate a motion vector prediction candidate list based on the motion vector calculated from each spatial candidate prediction group and the motion vector calculated from the temporal candidate prediction block.
  • the motion vector of the calculated motion vector prediction candidate list may be used to perform inter-screen prediction for the current block.
  • the method of calculating the motion vector in the candidate prediction block may be performed in parallel.
  • one candidate prediction motion vector is derived from each of two spatial candidate prediction groups (a first spatial candidate prediction group and a second spatial candidate prediction group), and in a temporal candidate prediction block.
  • an operation of calculating candidate prediction motion vectors in the first spatial candidate prediction group, the second spatial candidate prediction group, and the temporal candidate prediction block may be performed in parallel.
  • the fact that the candidate prediction motion vector derivation process is performed in parallel means that the complexity of the candidate prediction motion vector derivation process can be reduced. That is, calculating the first spatial candidate prediction motion vector in the first spatial candidate prediction group, calculating the spatial candidate prediction motion vector in the second spatial candidate prediction group, and calculating the temporal candidate prediction motion vector in the temporal candidate prediction block.
  • the steps may be performed in parallel.
  • inter-screen prediction using AMVP for each prediction block divided in the coding block may also be performed in parallel.
  • AMVP when one coding block is divided into a plurality of prediction units, a motion vector prediction candidate list is generated for each prediction block.
  • the spatial candidate prediction block of one prediction block must be included in another prediction block to wait until the prediction ends. Therefore, when a motion vector prediction candidate list is generated or when a spatial candidate prediction block of a specific prediction block exists at a position that has not been encoded or decoded, there is a case where a motion vector cannot be derived from the block.
  • a plurality of prediction blocks 1) share both spatial candidate prediction blocks and temporal candidate prediction blocks, 2) share only spatial candidate prediction blocks, or 3) temporal candidates. Only a prediction block may be shared to calculate a spatial candidate prediction motion vector or a temporal candidate prediction motion vector. In the case of 2) and 3), the motion vector prediction candidate list for the prediction block may be different from each other. However, since some candidates are shared, the term “single motion vector prediction candidate list” is broadly defined.
  • a plurality of prediction blocks divided in one coding block share only a spatial candidate prediction block derived based on the coding block, and the temporal candidate prediction block is a single motion vector using blocks calculated based on each prediction block. How to generate a prediction candidate list.
  • a plurality of prediction blocks divided in one coding block share only a temporal candidate prediction block derived based on the coding block, and the spatial candidate prediction block is a single motion vector using blocks calculated based on each prediction block.
  • a method of generating a prediction candidate list may share a motion vector prediction candidate list among different prediction blocks.
  • FIG. 10 is a conceptual diagram illustrating a method of generating a single motion vector prediction candidate list by sharing both a spatial candidate prediction block and a temporal candidate prediction block in a plurality of prediction blocks according to an embodiment of the present invention.
  • FIG. 10 a method of generating a single motion vector prediction candidate list by sharing a spatial candidate prediction block and a temporal candidate prediction block determined based on a coding block by a plurality of prediction blocks divided in one coding block will be described. In the following embodiment, it is assumed that all motion vector prediction candidates derived from the candidate prediction block are available.
  • the first prediction block 1000 and the second prediction block 1050 may share the same spatial candidate prediction block.
  • the spatial candidate prediction blocks for the first prediction block 1000 and the second prediction block 1050 are blocks determined based on the coding block, such as A0 block 1005, A1 block 1010, B0 block 1015, and B1 block. 1020 and B2 block 1025.
  • the first prediction block 1000 and the second prediction block 1050 calculate one motion vector prediction candidate based on the shared A0 block 1005 and the A1 block 1010, and the B0 block 1015 and the B1 block ( 1020, one motion vector prediction candidate may be calculated based on the B2 block 1025.
  • first prediction block 1000 and the second prediction block 1050 may share a temporal candidate prediction block (or call blocks 1050 and 1060).
  • the first prediction block 1000 and the second prediction block 1050 may calculate a motion vector prediction candidate from the shared temporal candidate prediction block (or call block 1050, 1060).
  • the first prediction block 1000 and the second prediction block 1050 are motion vectors calculated based on the spatial candidate prediction blocks 1005, 1010, 1015, 1020, and 1025 and the temporal candidate prediction blocks 1050 and 1060.
  • the prediction candidate may be used to generate a single motion vector prediction candidate list.
  • FIG. 11 is a conceptual diagram illustrating a method for generating a single motion vector prediction candidate list by sharing only spatial candidate prediction blocks in a plurality of prediction blocks according to an embodiment of the present invention.
  • the temporal candidate prediction block discloses a method of generating a single motion vector prediction candidate list by calculating a motion vector prediction candidate from a block calculated based on each prediction block.
  • the first prediction block 1100 and the second prediction block 1150 may share the same spatial candidate prediction block.
  • the spatial candidate prediction blocks for the first prediction block 1100 and the second prediction block 1050 are blocks determined based on the coding block, such as A0 block 1105, A1 block 1110, B0 block 1115, and B1 block.
  • each block may be used as a spatial candidate prediction block.
  • the temporal candidate prediction blocks (or call blocks 1155, 1160, 1165, and 1170) of the first prediction block 1100 and the second prediction block 1150 may be calculated based on the location of each prediction block.
  • the first prediction block 1100 may use at least one of Hpu0 block 1155 and Mpu0 block 1160, which are call blocks determined based on its location, as a temporal candidate prediction block.
  • the second prediction block 1150 may use at least one of the Hpu1 block 1165 and the Mpu1 block 1170, which are call blocks determined based on its location, as the temporal candidate prediction block.
  • the first prediction block 1100 and the second prediction block ( 1150 may perform inter prediction by generating a motion vector prediction candidate list in parallel.
  • FIG. 12 is a conceptual diagram illustrating a method of generating a single motion vector prediction candidate list by sharing only temporal candidate prediction blocks in a plurality of prediction blocks according to an embodiment of the present invention.
  • a plurality of prediction blocks divided in one coding block share only a temporal candidate prediction block determined based on the coding block, and the spatial candidate prediction block uses a block calculated based on each prediction block to predict a single motion vector.
  • a method of generating a candidate list is described.
  • the first prediction block 1200 and the second prediction block 1250 may use different spatial candidate prediction blocks based on the positions of the respective prediction blocks. That is, the spatial candidate prediction blocks for the first prediction block 1200 are A0 block 1205, A1 block 1210, B0 block 1213, B1 block 1215, B2 block 1220, and the second prediction block.
  • the spatial candidate prediction block for 1250 may be an A0 'block 1225, an A1' block 1230, a B0 'block 1235, a B1' block 1240, or a B2 'block 1215.
  • the temporal candidate prediction blocks (or call blocks 1260 and 1270) of the first prediction block 1200 and the second prediction block 1250 are calculated on the basis of the coding block so that two prediction blocks can share the same temporal candidate prediction block. have.
  • the single motion vector prediction candidate list may be generated differently for each reference picture index referenced by the block. For example, if the number of reference pictures of the current picture (or slice) is '4', up to '4' reference picture indexes may exist. In this case, since each reference picture index may have a single motion vector prediction candidate list, a total of '4' single motion vector prediction candidate lists may be generated and used for the prediction target block.
  • encoding or decoding may be performed by using the same reference picture index for all prediction blocks in the current coding block. In this case, since all prediction blocks in the current coding block have the same reference picture index, only one single motion vector prediction candidate list needs to exist. Whether these methods are applied may be determined differently according to the size of the coding block or the depth of the coding block.
  • various methods may be used to generate a single merging candidate list and a single motion vector prediction candidate list.
  • the following describes a method for generating various candidate lists (single merging candidate list, single motion vector prediction candidate list).
  • FIG. 13 is a conceptual diagram illustrating a method of generating a single merging candidate list according to an embodiment of the present invention.
  • FIG. 13 illustrates a method of generating a single merging candidate list for convenience of description, but may also be applied to a method of generating a single motion vector prediction candidate list.
  • the positions of the temporal merging candidate and the spatial merging candidate may change as arbitrary positions, and the number of the temporal merging candidate and the spatial merging candidate may also change.
  • positions of spatial merging candidate blocks and positions of temporal merging candidate blocks for generating a single merging candidate list may be newly defined.
  • FIG. 13 (A) shows the positions of the A1 block 1300 and the B1 block 1305 among the spatial merging candidate blocks, respectively.
  • the A1 block 1300 is a pixel of (xC-1, yC + nCS / 2) and the B1 block (1305). ) May be newly defined as a position including a pixel of (xC + nCS / 2, yC-1).
  • the H1 block 1310, the H2 block 1320, the H3 block 1330, and the H4 block 1340 may be added in addition to the position where the temporal merging candidate block may be derived.
  • the H1 block 1310 is an (xC + nCS / 2, yC + nCS) pixel
  • the H2 block 1320 is an (xC + nCS, yC + nCS / 2) pixel
  • the H3 block 1330 is an (xC, yC + nCS) pixel
  • H4 block 1340 may be a block including (xC + nCS, yC) pixels.
  • FIG. 13B shows the positions of the A1 block 1350 and the B1 block 1355 among the spatial merging candidate blocks, respectively.
  • the A1 block 1350 is a pixel of (xC-1, yC + nCS / 2-1) and a B1 block. 1355 may be newly defined as a position including a pixel of (xC + nCS / 2-1, yC-1).
  • H1 block 1360, H2 block 1370, H3 block 1380, and H4 block 1390 may be defined as the location of the temporal merging candidate block.
  • the H1 block 1360 is (xC + nCS / 2, yC + nCS) pixels
  • the H2 block 1370 is (xC + nCS, yC + nCS / 2) pixels
  • the H3 block 1380 is (xC, yC + nCS) pixel
  • H4 block 1390 may be a block including (xC + nCS, yC) pixels.
  • a method of generating a single merging candidate list and a single motion vector prediction candidate list based on a coding block is disclosed. It has been described that the size of the coding block in which the prediction candidate list is generated may be limited.
  • the concept of a single candidate list may be used as a concept of integrating a single merging candidate list and a single motion vector prediction candidate list.
  • a single candidate list is also based on a general block that is not based on a coding block (for example, a block including at least one coding block or at least one prediction block as a block of a specific size). Can be generated.
  • a single candidate list generation method may be applied only to one inter prediction mode of merge and AMVP.
  • Table 1 shows which blocks are based on a single candidate list and which blocks are based on the size, and whether the inter prediction method in which the single merging candidate list is generated is applied to merge or AMVP. Tables classified according to
  • FIG. 14 is a conceptual diagram illustrating a method of generating a single candidate list according to an embodiment of the present invention.
  • FIG. 14 a method of sharing a single merging candidate list on a block basis in inter prediction using merge is described.
  • a portion indicated by a solid line represents a coding block and a portion indicated by a dotted line represents a prediction block divided from the coding block.
  • one larger block unit including a plurality of coding blocks is a unit capable of calculating spatial merging candidate blocks 1400, 1405, 1410, 1415, and 1420 and temporal merging candidate blocks 1450 to 1480. . That is, a single merging candidate list may be generated in a unit larger than the coding unit. Such information may be encoded and decoded as information about a block in which the parallel merge process may be implemented.
  • a prediction block included in a specific coding block is merged using a single merging candidate list based on information on a block to which a parallel merge process can be performed and information on a coding block including a prediction block. It may be determined whether to perform the.
  • the spatial merging candidate blocks existing in the block capable of performing parallel merging processing are not available blocks and thus derive the spatial merging candidates. May not be used to do so.
  • the spatial merging candidate block existing outside the block in which the parallel merge processing can be performed may be used to derive the spatial merging candidate in inter prediction using the merge. That is, the spatial merging candidate block located inside the block where parallel merging processing can be performed may be determined as an unusable spatial merging candidate block and may not be used to derive the spatial merging candidate.
  • the block is set as not available and will not be used to construct a merging candidate list. Can be.
  • a temporal merging candidate block for a block that satisfies the above condition may also be calculated based on a block capable of performing parallel merge processing. That is, when a prediction block included in a specific coding block performs merging using a single merging candidate list, the same temporal merging candidate may be shared for the prediction block.
  • 15 is a conceptual diagram illustrating a method of generating a single candidate list according to an embodiment of the present invention.
  • FIG. 15 illustrates a method in which prediction blocks in a same coding block share a spatial merging candidate and a temporal merging candidate only when a size of a coding block is less than or equal to a specific size or when a specific size is used in inter prediction using merge.
  • Various information may be used to use a method of sharing a single merging candidate list only in a block satisfying a specific condition. For example, information on whether a current block uses a single merge candidate list may be derived based on information on a size of a block to which parallel merge processing can be performed and size information of a current coding block. Based on the derived information, the spatial merging candidate and the temporal merging candidate for the prediction block may be calculated based on a coding block satisfying a specific condition.
  • a prediction block divided in a coding block is a single merging candidate list only when the size of a block capable of performing parallel merge processing is 8x8 or more and the size of the coding block satisfies a condition of 8x8. Can share.
  • the first coding blocks CU0 and 1500 are 32x32
  • the second coding blocks CU1 and 1510 are 16x16
  • the third coding blocks CU2 and 1520 are 32x32
  • the fourth coding blocks CU3 and 1530 are 16x16 and 5th. It is assumed that the coding blocks CU4 and 1540 are blocks having a size of 8 ⁇ 8.
  • FIG. 15B is a conceptual diagram illustrating only spatial merging candidate blocks for some coding blocks.
  • the second coding block 1510 is divided into two prediction blocks 1515 and 1518 in the form of nLx2N, and the fifth coding block 1540 is the two prediction blocks 1545 in the form of Nx2N. , 1550).
  • FIG. 15B assumes that a single merging candidate list is generated only for an 8x8 coding block 1540.
  • the first prediction block 1515 and the second prediction block 1518 of the second coding block 1510 may generate a merging candidate list for each prediction block by individually inducing a spatial merging candidate for each prediction block.
  • the size of the fifth coding block 1540 is 8x8 and may satisfy a condition for a size of a block in which parallel merge processing can be performed and a condition for a size of a current coding block.
  • the third prediction block 1545 and the fourth prediction block 1550 included in the fifth coding block 1540 are based on the spatial merging candidate and the temporal merging candidate calculated based on the position and size of the coding block.
  • a single merging candidate list can be generated.
  • the prediction unit performs merging using the single merging candidate list.
  • the spatial merging candidate block inside the block in which the parallel merging processing can be performed may not be used for inter prediction.
  • the spatial merging candidate block existing outside the block in which parallel merge processing can be performed may be used in inter prediction using merge. That is, the spatial merging candidate block located inside the block where parallel merging processing can be performed may be determined as an unusable spatial merging candidate block and may not be used to derive the spatial merging candidate.
  • the spatial merging candidate block of the current block (prediction target block) and the current block are included in a block in which the same parallel merge processing can be performed.
  • the spatial merging candidate block is set as not available and the spatial merging candidate block is spatially separated from the spatial merging candidate block.
  • the merging code may not be derived.
  • a single merging candidate list flag (singleMCLflag) indicating that the block generates a single merging candidate list may be derived.
  • the spatial merging candidate block calculated based on the coding block is the same parallel.
  • the spatial merging candidate block may be determined as an unused spatial merging candidate block. That is, when the coding block and the spatial merging candidate block calculated based on the coding block are located in a block capable of performing different parallel merging processes, the corresponding spatial merging candidate block may be used to derive the spatial merging candidate.
  • the derived single merging candidate list flag (singleMCLflag) is then used in deriving a spatial merging candidate and a temporal merging candidate to generate a single merging candidate list in which prediction blocks divided in a coding block of a particular size share the same merging candidates. can do.
  • embodiments of the present invention are used to encode or decode from a bitstream and information related to a block capable of performing parallel merge processing in inter-screen prediction using merge using Tables 2 to 5 below.
  • the syntax structure used is disclosed.
  • parallel_merge_enabled_flag included in the syntax disclosed in Tables 2 to 5 may be used as information indicating whether to use a single merging candidate list based on a coding block.
  • parallel_merge_enabled_flag may also include information on whether parallel merge processing is performed.
  • parallel_merge_enabled_flag when “parallel_merge_enabled_flag” is "1”, this may indicate that a method of generating a single merging candidate list based on a coding block is applied and may indicate that parallel merge processing is performed.
  • parallel_merge_enabled_flag When “parallel_merge_enabled_flag” is “0”, this may indicate that a single merging candidate list has not been applied and may indicate that parallel merge processing is not feasible. The reverse is also possible.
  • “parallel_merge_enabled_flag” may be used as information indicating whether to parallelly encode or decode all prediction blocks in a coding block, and whether or not to construct a merging candidate list of all prediction blocks in the coding block in parallel. It may be used as indicating information.
  • parallel_merge_disabled_depth_info is semantics that is activated when a method of generating a single merging candidate list based on a coding block is applied (for example, when "parallel_merge_enabled_flag" has a true value), which is the depth of the coding block (depth). Or whether a single merging candidate list is applied according to the size of the coding block.
  • the method may not be applied when the depth of the coding block is greater than or equal to “0” (the largest coding block).
  • the depth of the coding block is greater than or equal to '1' (the sizes of the coding blocks excluding the largest coding block, for example, the size of the largest coding block). Is 64x64, the coding block size of 32x32, 16x16, 8x8 size corresponds to this.) The method may not be applied.
  • the method may be applied when the depth of the coding block is greater than or equal to “1” (coded block sizes excluding the largest coding block).
  • This “parallel_merge_disabled_depth_info” is an example of information related to a block in which parallel merge processing can be performed in inter prediction using merge, and other syntax elements may be used to represent parallel merge processing in inter prediction using merge, Such embodiments are also within the scope of the present invention.
  • log2_parallel_merge_level_minus2 may be defined.
  • log2_parallel_merge_level_minus2 means the level at which parallel merge processing can be performed. For example, if the value of log2_parallel_merge_level_minus2 is '0', it indicates that the size of a block (or coding block) capable of performing parallel merge processing is 4x4. Assuming that the 4x4 block is a coding block of the smallest size, if the value of log2_parallel_merge_level_minus2 is '0', it indicates that parallel merge processing is not performed.
  • log2_parallel_merge_level_minus2 if the value of log2_parallel_merge_level_minus2 is '1', this may indicate that parallel merge processing may be performed on all prediction blocks inside the 8x8 block. If the value of log2_parallel_merge_level_minus2 is '2', parallel merge processing may be performed on all prediction blocks inside a 16x16 block. If the value of log2_parallel_merge_level_minus2 is '3', parallel merge processing may be performed on all prediction blocks in a 32x32 size block. When the value of log2_parallel_merge_level_minus2 is '4', parallel merge processing may be performed on all prediction blocks inside a 64x64 block.
  • the syntax element may be used to indicate the size of a block to which specific parallel merge processing can be performed.
  • the information on the block capable of performing parallel merge processing calculated through log2_parallel_merge_level_minus2 and the information of the current block are used together to provide a single information about at least one prediction block included in the current block. It may be known whether inter-prediction using the merge candidate list is performed. In order to calculate a spatial merging candidate included in a single merge candidate list, it may be determined whether a spatial merging candidate block calculated based on a coding block is located inside a block in which the parallel merging process can be performed.
  • the spatial merging candidate block calculated based on the coding block is the same parallel.
  • the spatial merging candidate block may be determined as an unusable spatial merging candidate. That is, when the coding block and the spatial merging candidate block calculated based on the coding block are located in a block capable of performing different parallel merging processes, the corresponding spatial merging candidate block may be used to derive the spatial merging candidate.
  • a method of performing encoding or decoding in parallel on prediction blocks divided from one coding block using a single candidate list according to another embodiment of the present invention will be described.
  • a single merging candidate list may be generated by sharing some spatial candidates for several prediction blocks in a coding block.
  • inter-picture prediction may be performed in parallel in a prediction block within a coding block by always making a search position of a spatial merging candidate block of all prediction blocks in the coding block to be an external position of the coding block.
  • a merging candidate list may be generated by using a spatial merging candidate block existing at a fixed position according to the partition type of the block.
  • some of the spatial merging candidates are shared by each prediction block, thereby reducing the complexity of the process of calculating the merging candidate.
  • a left position among the external positions of the coding block among prediction blocks divided in a vertical direction for example, Nx2N form. It is possible to share the spatial merging candidate blocks.
  • the prediction blocks divided in the horizontal direction may be configured to share a spatial merging candidate block of an upper position among outer positions of the coding block. That is, the number of spatial merging candidate inductions can be considerably reduced compared to a method of not sharing merging candidates.
  • the spatial merging candidate blocks and the temporal merging candidate blocks used in the following merge method may be interpreted as spatial candidate prediction blocks and temporal candidate prediction blocks as a plurality of prediction blocks for constructing a motion vector prediction candidate list for the prediction block in AMVP. have.
  • the partition index may be divided using the partition index of the partitioned block.
  • the partition index is 0, the first prediction block may be used, and when the partition index is 1, the second prediction block may be used.
  • 16 is a conceptual diagram illustrating a method of generating a merging candidate list according to an embodiment of the present invention.
  • FIG. 16A illustrates a case in which a coding block is divided into Nx2N type prediction blocks.
  • the A0 block is a spatial merging candidate block based on the position of the first prediction block 1600.
  • the merging candidate list may be generated using the block 1605, the A1 block 1610, the B0 block 1615, the B1 block 1620, and the B2 block 1625.
  • the A0 block 1630 and the A1 block 1635 which are some blocks of the spatial merging candidate block are derived. It may be included in the position of the coding block which exists in the position included in this 1st prediction block, or is not coded yet.
  • the spatial merging candidate block exists at such a position, inter prediction using merging of the first prediction block 1600 and the second prediction block 1650 may not be performed in parallel.
  • the second prediction is performed by changing the positions of the A0 block 1630 and the A1 block 1635 used as the spatial merging candidate block to the A0 'block 1605 and the A1' block 1610 which are block positions located outside the coding block.
  • a merging candidate list for the block 1650 may be calculated to perform inter prediction using merging.
  • A0 'block 1605 and A1' block 1610 may be the same position as the spatial merging candidate block position of the first prediction block 1600.
  • FIG. 16B illustrates a case where a coding block is divided into 2N ⁇ N prediction blocks.
  • the block A0 is a spatial merging candidate block based on the position of the first prediction block 1660.
  • the merging candidate list may be generated using the block 1665, the A1 block 1667, the B0 block 1673, the B1 block 1675, and the B2 block 1679.
  • the B0 block 1685 and the B1 block which are blocks of some of the spatial merging candidate blocks, are calculated.
  • 1687 may be included in the position of the coding block that is present at the position included in the first prediction block 1660 or is not yet encoded.
  • inter prediction using merging of the first prediction block 1660 and the second prediction block 1690 may not be performed in parallel.
  • merging the second prediction block 1690 by changing the positions of the B0 block 1685 and the B1 block 1687 to the B0 'block 1673 and the B1' block 1675, which are block positions located outside the coding block.
  • the candidate list may be calculated to perform inter prediction using merging.
  • the B0 'block 1673 and the B1' block 1675 may be positions of spatial merging candidate blocks used by the first prediction block 1660.
  • the block may be set as not available and may not be used to construct a merging candidate list. have. Blocks that are not available may be replaced with other blocks to yield spatial merging candidates.
  • 17 is a conceptual diagram illustrating positions of spatial merging candidates according to a partitioning form of an encoding block according to an embodiment of the present invention.
  • a spatial merging candidate may be calculated by deriving spatial merging candidate blocks at different positions according to a partitioning form of a block. In other words, by placing the positions of the spatial merging candidate blocks of all prediction blocks outside the coding blocks that have already been encoded, inter prediction using merge is performed on the plurality of prediction blocks divided in one coding block in parallel. can do. In addition, the complexity of the process for deriving a merging candidate list may be reduced by sharing some spatial merging candidate blocks for deriving a spatial merging candidate.
  • FIG. 18 is a conceptual diagram illustrating a method of generating a merging candidate list according to an embodiment of the present invention.
  • FIG. 18A illustrates a case in which a coding block is divided into Nx2N type prediction blocks.
  • an A0 block is a spatial merging candidate block based on the position of the first prediction block 1800.
  • the merging candidate list may be generated using the block 1805, the A1 block 1810, the B0 block 1815, the B1 block 1820, and the B2 block 1825.
  • the spatial merging candidate block may be calculated based on the position of the coding block including the second prediction block 1850.
  • a spatial merging candidate block is calculated based on the second prediction block 1850, inter prediction using merging of the first prediction block 1800 and the second prediction block 1850 may not be performed in parallel. Accordingly, blocks 1805, 1810, 1830, 1835, and 1825 that exist at block positions where encoding or decoding is performed outside the coding block including the second prediction block 1850 are used as spatial merging candidate blocks.
  • the merging candidate list can be calculated.
  • FIG. 18B illustrates a case in which a coding block is divided into 2N ⁇ N prediction blocks.
  • the block A0 is a spatial merging candidate block based on the position of the first prediction block 1860.
  • a merging candidate list may be generated by using the block 1865, the A1 block 1870, the B0 block 1875, the B1 block 1880, and the B2 block 1885.
  • a block existing at a block position that is already encoded or decoded outside the coding block is changed to the spatial merging candidate blocks 1887, 1889, 1875, 1880, and 1885.
  • An inter prediction using merging may be performed by calculating a merging candidate list for two prediction blocks.
  • FIG. 19 is a conceptual diagram illustrating a position of a spatial merging candidate block according to a split form of an encoding block according to an embodiment of the present invention.
  • spatial merging candidate blocks at different positions may be calculated and used according to a partition type of a block. That is, the spatial merging candidate blocks of all the prediction blocks may be located outside the coding blocks that have already been encoded, so that inter prediction using merge may be performed on the plurality of prediction blocks divided in one coding block in parallel. have.
  • 20 is a conceptual diagram illustrating a position of a spatial merging candidate block according to a split form of an encoding block according to an embodiment of the present invention.
  • A0 blocks, A1 blocks, B0 blocks, B1 blocks which are spatial merging candidate blocks at the same position with respect to the second prediction block, for the horizontally divided forms (2NxnU, 2NxnD, and 2NxN)
  • the spatial merging candidate block at the same position can be used regardless of the partition type.
  • the fixed position in FIG. 20 is an example illustrating using a spatial merging candidate block of a fixed position in one coding block. That is, the position of the fixed spatial merging candidate block may vary and such embodiments are also included in the scope of the present invention.
  • 21 is a conceptual diagram illustrating a position of a spatial merging candidate block according to a split form of an encoding block according to an embodiment of the present invention.
  • FIG. 21 a conceptual diagram illustrating a case in which a coding block having a specific size is divided into a plurality of coding blocks.
  • the spatial merging candidate block can be derived based on the position of the block of a specific size and a single merging using the spatial merging candidate calculated from the calculated spatial merging candidate
  • the candidate list can be constructed.
  • the coding block located in the upper left of the coding blocks included in the block of a specific size even if the spatial merging candidate block is calculated based on the coding block, the coding blocks located in the upper left only exist. May generate and use another merging candidate list.
  • the remaining prediction blocks except for the prediction block included in the coding block 2100 located at the upper left are the same spatial merging calculated based on a block position of a specific size.
  • Candidate blocks A0, A1, B0, B1, and B2 may be shared.
  • inter prediction using merge may be performed using a spatial merging candidate block calculated based on the corresponding coding block. Because, in the case of the coding block 2100 located at the upper left, all the spatial merging candidate blocks calculated based on the block exist at the available positions, so the coding block located at the upper left has the spatial merging derived based on its position.
  • the inter prediction may be performed using the spatial merging candidate calculated from the candidate block.
  • the temporal merging candidate may be calculated based on a block position of a specific size, like the spatial merging candidate.
  • the temporal merging candidate can determine the available blocks in the order of H0 block, H1 block, H2 block, H3 block, and H4 block, and include the available blocks in the merging candidate list.
  • the temporal merging candidate can be scaled and used according to the picture number of the reference picture.
  • the temporal merging candidate may use not only blocks located at the boundary of the block X ′ corresponding to FIG. 21 but also blocks M, N, O, P, and Q located therein.
  • FIG. 22 is a conceptual diagram illustrating the position of a spatial merging candidate block according to a partitioning form of a coding block according to an embodiment of the present invention.
  • FIG. 22 when a spatial merging candidate is calculated based on the size of a specific block, in case of a coding block that is far from the spatial merging candidate block, the spatial merging candidate calculated from the spatial merging candidate block derived based on the size of the specific block is shown.
  • a merging candidate list may be generated using only temporal merging candidates for blocks included in the size indicated by 1 2200. That is, a specific indicator may indicate a block unit for generating a merging candidate list using only temporal candidates.
  • the temporal merging candidate may determine the available blocks in the order of H0 block, H1 block, H2 block, H3 block, and H4 block to include the available blocks in the merging candidate list.
  • the motion vector calculated from the temporal merging candidate may be scaled and used according to the picture number of the reference picture.
  • the temporal merging candidate may use not only blocks located at the boundary of the block X ′ corresponding to FIG. 22 but also blocks M, N, O, P, and Q located therein.
  • variable determining the coverage may be set so that the encoder and the decoder use a predetermined value, or may use the value determined according to the profile or level of the image encoding method. There is also. Also, if the encoder writes the variable value in the bitstream, the decoder may obtain and use this value from the bitstream.
  • Method A Applies only to a depth above a given depth
  • Method B Applies only to a depth below a given depth
  • Method C Given a depth There may be a way to apply only to.
  • Table 6 shows an example of a range determination method to apply the method A), the method B), or the method C) of the present invention when the depth of a given coding block is two. (O: Applies to that depth, X: Does not apply to that depth.)
  • the indicators such as parallel_merge_enabled_flag illustrated in Tables 2 to 5 may be represented using the above-mentioned indicators, and the corresponding information is transmitted in a syntax element indicating the applied depth information. It may be.
  • a value larger than the maximum value of the coding block may be expressed by signaling the depth value of the coding block indicating the application range.
  • FIG. 23 is a conceptual diagram illustrating a process of encoding and decoding a plurality of prediction blocks in parallel when using a single candidate list generation method according to an embodiment of the present invention.
  • one coding block is divided into two prediction blocks.
  • merge processing may be performed on two prediction blocks included in the coding block in parallel using a single merge candidate list.
  • a size of a coding block is a specific value and is included in a block size in which parallel merging can be performed
  • a spatial merging candidate and a temporal merging candidate are calculated based on the coding block to perform inter prediction using merge. Can be. This method can be applied to various types of blocks.
  • FIG. 23B shows that encoding is performed using a single merge candidate list on coding blocks divided into various forms.
  • One coding block may be divided into various types of blocks as shown.
  • the split prediction blocks may share a merge candidate list and may perform inter prediction using merge in parallel using the shared merge candidate list. That is, parallel encoding is possible for a plurality of prediction blocks included in one coding block. This method can also be applied in the decoding step.
  • the image encoding and image decoding method described above may be implemented in each component of each of the image encoder and the image decoder apparatus described above with reference to FIGS. 1 and 2.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

후보 리스트 공유 방법 및 이러한 방법을 사용하는 장치가 개시되어 있다. 예측 블록에 대한 머징 후보 리스트 생성 방법은 병렬적 머지 프로세스가 실시되는 예측 블록의 공간적 머징 후보 및 시간적 머징 후보 중 적어도 하나의 머징 후보를 예측 블록이 포함된 부호화 블록을 기준으로 산출하는 단계와 산출된 머징 후보를 기초로 상기 부호화 블록에 대해 단일 머징 후보 리스트를 생성하는 단계를 포함할 수 있다. 따라서, 복수의 예측 블록에 대해 병렬적으로 화면 간 예측을 수행함으로서 부호화 및 복호화의 처리 속도를 높일 수 있다.

Description

후보 리스트 공유 방법 및 이러한 방법을 사용하는 장치
본 발명은 영상 처리 방법 및 장치에 관한 것으로 더욱 상세하게는 화면 간 예측 방법 및 이러한 방법을 사용하는 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.
영상 압축 기술로 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 화면 간 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 화면 내 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.
본 발명의 목적은 단일 후보 리스트를 생성하여 예측 블록에 대한 화면 간 예측을 병렬적으로 수행하는 방법을 제공하는 것이다.
또한, 본 발명의 또 다른 목적은 단일 후보 리스트를 생성하여 예측 블록에 대한 화면 간 예측을 병렬적으로 수행하는 장치를 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 예측 블록에 대한 머징 후보 리스트 생성 방법은 병렬적 머지 프로세스가 실시되는 상기 예측 블록의 공간적 머징 후보 및 시간적 머징 후보 중 적어도 하나의 머징 후보를 상기 예측 블록이 포함된 부호화 블록을 기준으로 산출하는 단계와 상기 산출된 머징 후보를 기초로 상기 부호화 블록에 대해 단일 머징 후보 리스트를 생성하는 단계를 포함할 수 있다. 상기 병렬적 머지 프로세스가 수행되는 상기 예측 블록의 공간적 머징 후보 및 시간적 머징 후보 중 적어도 하나의 머징 후보를 상기 예측 블록이 포함된 부호화 블록을 기준으로 산출하는 단계는 상기 부호화 블록의 픽셀 위치 및 상기 부호화 블록의 크기를 기초로 공간적 머징 후보 블록 및 시간적 머징 후보 블록을 유도하는 단계와 상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 상기 머징 후보로 산출하는 단계를 포함할 수 있다. 상기 예측 블록에 대한 머징 후보 리스트 생성 방법은 상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하는 단계를 더 포함하고 상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하는 단계는 병렬적 머지 프로세스가 실시 가능한 블록의 크기 정보를 복호화하는 단계와 상기 병렬적 머지 프로세스가 실시 가능한 블록의 크기 정보와 상기 부호화 블록의 크기 정보를 기초로 상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하는 단계를 포함할 수 있다. 상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 상기 머징 후보로 산출하는 단계는 상기 부호화 블록과 상기 부호화 블록을 기초로 유도된 공간적 머징 후보 블록이 상기 병렬적 머지 프로세스가 실시 가능한 블록의 내부에 위치하는지 여부를 판단하는 단계와 상기 부호화 블록과 상기 부호화 블록을 기초로 유도된 공간적 머징 후보 블록이 상기 병렬적 머지 프로세스가 실시 가능한 블록의 내부에 위치하는 경우, 상기 공간적 머징 후보 블록을 가용하지 않은 공간적 머징 후보 블록으로 판단하는 단계를 포함할 수 있다. 상기 병렬적 머지 프로세스가 실시 가능한 블록의 크기 정보와 상기 부호화 블록의 크기 정보를 기초로 상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하는 단계는 병렬적으로 머지 프로세스가 실시 가능한 블록의 크기가 미리 정해진 특정한 크기 이상인지 여부를 판단하는 단계, 상기 부호화 블록이 특정한 크기인지 여부를 판단하는 단계와 병렬적으로 머지 프로세스가 실시 가능한 블록의 크기가 상기 미리 정해진 특정한 크기 이상이고 상기 부호화 블록이 상기 특정한 크기인 경우 상기 예측 블록을 상기 단일 머징 후보 리스트를 사용하여 머지를 수행하는 것으로 판단하는 단계를 포함할 수 있다. 상기 예측 블록에 대한 머징 후보 리스트 생성 방법은 상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록이 아닌 경우, 상기 예측 블록의 픽셀 위치 및 상기 예측 블록의 크기를 기초로 상기 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록을 유도하는 단계와 상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 머징 후보로서 산출하는 단계를 더 포함할 수 있다. 상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 머징 후보로서 산출하는 단계는 상기 예측 블록이 Nx2N, nLx2N 및 nRx2N 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인지 여부를 판단하는 단계와 상기 예측 블록이 Nx2N, nLx2N 및 nRx2N 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인 경우, 제1 예측 블록에 포함된 공간적 머징 후보 블록을 가용하지 않은 것으로 판단하는 단계를 포함할 수 있다. 상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 머징 후보로서 산출하는 단계는 상기 예측 블록이 2NxN, 2NxnU 및 2NxnD 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인지 여부를 판단하는 단계와 상기 예측 블록이 2NxN, 2NxnU 및 2NxnD 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인 경우, 상기 제1 예측 블록에 포함된 공간적 머징 후보 블록을 가용하지 않은 것으로 판단하는 단계를 포함할 수 있다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 복호화 장치는 상기 영상 복호화 장치는 예측부를 포함하고, 상기 예측부는 병렬적 머지 프로세스가 실시되는 상기 예측 블록의 공간적 머징 후보 및 시간적 머징 후보 중 적어도 하나의 머징 후보를 상기 예측 블록이 포함된 부호화 블록을 기준으로 산출하고 상기 산출된 머징 후보를 기초로 상기 부호화 블록에 대해 단일 머징 후보 리스트를 생성하도록 구현될 수 있다. 상기 예측부는 상기 병렬적 머지 프로세스가 수행되는 상기 예측 블록의 공간적 머징 후보 및 시간적 머징 후보 중 적어도 하나의 머징 후보를 상기 예측 블록이 포함된 부호화 블록을 기준으로 산출하기 위해서 상기 부호화 블록의 픽셀 위치 및 상기 부호화 블록의 크기를 기초로 공간적 머징 후보 블록 및 시간적 머징 후보 블록을 유도하고 상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 상기 머징 후보로 산출하도록 구현될 수 있다. 상기 예측부는 상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하도록 구현되고, 상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하기 위해 복호화된 병렬적 머지 프로세스가 실시 가능한 블록의 크기 정보와 상기 부호화 블록의 크기 정보를 기초로 상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하도록 구현될 수 있다. 상기 예측부는 상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 상기 머징 후보로 산출하기 위해 상기 부호화 블록과 상기 부호화 블록을 기초로 유도된 공간적 머징 후보 블록이 상기 병렬적 머지 프로세스가 실시 가능한 블록의 내부에 위치하는지 여부를 판단하고 상기 부호화 블록과 상기 부호화 블록을 기초로 유도된 공간적 머징 후보 블록이 상기 병렬적 머지 프로세스가 실시 가능한 블록의 내부에 위치하는 경우, 상기 공간적 머징 후보 블록을 가용하지 않은 공간적 머징 후보 블록으로 판단하도록 구현될 수 있다. 상기 예측부는 상기 병렬적 머지 프로세스가 실시 가능한 블록의 크기 정보와 상기 부호화 블록의 크기 정보를 기초로 상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하기 위해 병렬적으로 머지 프로세스가 실시 가능한 블록의 크기가 미리 정해진 특정한 크기 이상인지 여부를 판단하고 상기 부호화 블록이 특정한 크기인지 여부를 판단하고 병렬적으로 머지 프로세스가 실시 가능한 블록의 크기가 상기 미리 정해진 특정한 크기 이상이고 상기 부호화 블록이 상기 특정한 크기인 경우 상기 예측 블록을 상기 단일 머징 후보 리스트를 사용하여 머지를 수행하는 것으로 판단하도록 구현될 수 있다. 상기 예측부는 상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록이 아닌 경우, 상기 예측 블록의 픽셀 위치 및 상기 예측 블록의 크기를 기초로 상기 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록을 유도하고 상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 머징 후보로서 산출하도록 구현될 수 있다. 상기 예측부는 상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 머징 후보로서 산출하기 위해 상기 예측 블록이 Nx2N, nLx2N 및 nRx2N 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인지 여부를 판단하고 상기 예측 블록이 Nx2N, nLx2N 및 nRx2N 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인 경우, 제1 예측 블록에 포함된 공간적 머징 후보 블록을 가용하지 않은 것으로 판단하도록 구현될 수 있다. 상기 예측부는 상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 머징 후보로서 산출하기 위해 상기 예측 블록이 2NxN, 2NxnU 및 2NxnD 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인지 여부를 판단하고 상기 예측 블록이 2NxN, 2NxnU 및 2NxnD 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인 경우, 상기 제1 예측 블록에 포함된 공간적 머징 후보 블록을 가용하지 않은 것으로 판단하도록 구현될 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 후보 리스트 공유 방법 및 이러한 방법을 사용하는 장치에 따르면, 하나의 부호화 블록에서 분할된 복수의 예측 블록이 단일 후보 리스트를 공유하여 화면 간 예측을 수행함으로서 화면 간 예측에서 발생되는 복잡도를 낮춘다 또한 복수의 예측 블록에 대해 병렬적으로 화면 간 예측을 수행함으로서 부호화 및 복호화의 처리 속도를 높일 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 또 다른 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 머지를 이용한 화면 간 예측 방법을 설명하기 위한 개념도이다.
도 4는 하나의 부호화 블록이 두 개의 예측 블록으로 분할된 경우를 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 시간적 머징 후보를 이용한 화면 간 예측과 시간적 머징 후보의 참조 픽쳐 인덱스를 설명하기 위한 개념도이다.
도 6은 본 발명의 실시예에 따른 복수의 예측 블록에서 공간적 머징 후보와 시간적 머징 후보를 모두 공유하여 단일 머징 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 복수의 예측 블록에서 공간적 머징 후보만을 공유하여 단일 머징 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 복수의 예측 블록에서 시간적 머징 후보만을 공유하여 단일 머징 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 9는 AMVP를 이용한 화면 간 예측 모드를 설명하기 위한 개념도이다.
도 10은 본 발명의 실시예에 따른 복수의 예측 블록에서 공간적 후보 예측 블록과 시간적 후보 예측 블록을 모두 공유하여 단일 움직임 벡터 예측 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 복수의 예측 블록에서 공간적 후보 예측 블록만을 공유하여 단일 움직임 벡터 예측 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 12는 본 발명의 실시예에 따른 복수의 예측 블록에서 시간적 후보 예측 블록만을 공유하여 단일 움직임 벡터 예측 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 13는 본 발명의 실시예에 따른 단일 머징 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 14는 본 발명의 실시예에 따른 단일 머징 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 15는 본 발명의 실시예에 따른 단일 머징 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 16은 본 발명의 실시예에 따른 머징 후보 리스트 생성 방법을 나타낸 개념도이다.
도 17은 본 발명의 실시예에 따른 부호화 블록의 분할 형태에 따른 공간적 머징 후보의 위치를 나타낸 개념도이다.
도 18은 본 발명의 실시예에 따른 머징 후보 리스트 생성 방법을 나타낸 개념도이다.
도 19은 본 발명의 실시예에 따른 부호화 블록의 분할 형태에 따른 공간적 머징 후보의 위치를 나타낸 개념도이다.
도 20은 본 발명의 실시예에 따른 부호화 블록의 분할 형태에 따른 공간적 머징 후보의 위치를 나타낸 개념도이다.
도 21은 본 발명의 실시예에 따른 부호화 블록의 분할 형태에 따른 공간적 머징 후보의 위치를 나타낸 개념도이다.
도 22는 본 발명의 실시예에 따른 본 발명의 실시예에 따른 부호화 블록의 분할 형태에 따른 공간적 머징 후보의 위치를 나타낸 개념도이다.
도 23은 본 발명의 실시예에 따른 단일 후보 리스트 생성 방법을 사용할 경우 복수의 예측 블록이 병렬적으로 복호화 및 부호화되는 과정을 나타낸 개념도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽쳐 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 산출한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.
인트라 모드는 화면 내 예측 모드, 인터 모드는 화면 간 예측 모드, 인트라 예측부(120)는 화면 내 예측부, 움직임 예측부(111) 및 움직임 보상부(112)는 화면 간 예측부라는 용어로 정의되어 사용될 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 산출할 수 있다.
인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 픽쳐 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 산출할 수 있다.
감산기(125)는 입력 블록과 산출된 예측 블록의 차분에 의해 잔차 블록(residual block)을 산출할 수 있다. 변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록 및/또는 잔차 신호에 대한 변환을 수행함으로써 산출된 계수 값을 의미할 수 있다. 이하, 본 명세서에서는 변환 계수에 양자화가 적용되어 산출된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다.
양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 변환 계수 레벨(quantized transform coefficient level)을 출력할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bit stream)을 출력할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.
도 1의 실시예에 따른 영상 부호화 장치는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 산출된다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽쳐 버퍼(190)에 저장될 수 있다.

도 2는 본 발명의 또 다른 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽쳐 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 산출한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 산출할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 산출할 수 있다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.
엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 복호화 방법을 통해서 영상 복호화의 압축 성능이 높아질 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 산출될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 산출할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽쳐 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 산출할 수 있다.
복원된 잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽쳐 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.
부호화/복호화 장치의 예측 성능을 향상시키기 위한 방법에는 보간(interpolation) 영상의 정확도를 높이는 방법과 차신호를 예측하는 방법이 있다. 여기서 차신호란 원본 영상과 예측 영상과의 차이를 나타내는 신호이다. 본 발명에서 “차신호”는 문맥에 따라 “차분 신호”, “잔여 블록” 또는 “차분 블록”으로 대체되어 사용될 수 있으며, 해당 기술분야에서 통상의 지식을 가진 자는 발명의 사상, 본질에 영향을 주지 않는 범위 내에서 이를 구분할 수 있을 것이다.
본 발명의 실시예에서는 영상을 처리하는 단위로 부호화 단위(coding unit, CU), 예측 단위(prediction unit, PU), 변환 단위(transform unit, TU)라는 용어를 사용할 수 있다.
부호화 단위는 부호화/복호화를 수행하는 영상 처리 단위로서 부호화/복호화가 수행되는 휘도 샘플 또는 색차 샘플의 블록 단위 집합인 부호화 블록과 부호화 블록의 샘플들을 부호화 또는 복호화하는데 사용되는 정보를 포함할 수 있다.
예측 단위는 예측을 수행하는 영상 처리 단위로서 예측이 수행되는 휘도 샘플 또는 색차 샘플의 블록 단위 집합인 예측 블록과 예측 블록의 샘플들을 예측하는데 사용되는 정보를 포함할 수 있다. 부호화 블록은 복수의 예측 블록으로 나뉘어 질 수 있다.
변환 단위는 변환을 수행하는 영상 처리 단위로서 변환이 수행되는 휘도 샘플 또는 색차 샘플의 블록 단위 집합인 변환 블록과 변환 블록의 샘플들을 변환하는데 사용되는 정보를 포함할 수 있다. 부호화 블록은 복수의 변환 블록으로 나뉘어 질 수 있다.
이하, 본 발명의 실시예에서는 특별히 구분하여 표시하지 않는 한, 블록과 유닛은 동일한 의미로 해석될 수 있다.
또한 현재 블록(current block)은 현재 예측이 수행되는 예측 블록, 현재 부호화가 수행되는 부호화 블록과 같이 특정한 영상 처리가 수행되는 블록을 지칭할 수 있다. 예를 들어, 하나의 부호화 블록이 두 개의 예측 블록으로 분할된 경우, 분할된 예측 블록 중 예측이 수행되는 블록을 현재 블록이라는 용어로 지칭하여 사용할 수 있다.
본 발명의 실시예에서 후술할 영상 부호화 방법 및 영상 복호화 방법은 도 1 및 도 2에서 전술한 영상 부호화기 및 영상 복호화기에 포함된 각 구성부에서 수행될 수 있다. 구성부의 의미는 하드웨어적인 의미뿐만 아니라 알고리즘을 통해 수행될 수 있는 소프트웨어적인 처리 단위도 포함할 수 있다.

이하, 본 발명의 실시예에서 개시되는 머징 후보 리스트 생성 방법은 영상 처리 방법 중 SKIP 모드 및 화면 간 예측 방법 중 하나인 머지에서 모두 사용할 수 있다. SKIP 모드는 잔차 블록을 생성하지 않고 주변 블록부터 유도된 움직임 예측 정보를 기초로 예측된 블록을 복원 블록으로 출력하는 영상 처리 방법이다. 화면 간 예측 방법 중 하나인 머지는 SKIP 모드와 주변 블록부터 유도된 움직임 예측 정보를 기초로 예측된 블록을 생성한다는 점에서 동일하나 잔차 블록 정보를 추가적으로 부호화 및 복호화하여 잔차 블록과 예측 블록을 합친 복원 블록을 출력하는 영상 처리 방법이다. 출력된 복원 블록에는 디블록킹 필터링 및 샘플 적응적 오프셋 등과 같은 루프내 필터링 방법이 추가로 적용될 수 있다.
도 3은 본 발명의 실시예에 따른 머지를 이용한 화면 간 예측 방법을 설명하기 위한 개념도이다.
도 3을 참조하면, 머지를 이용한 화면 간 예측은 아래와 같은 방법으로 수행될 수 있다.
머지를 이용한 화면 간 예측은 현재 블록의 주변 블록으로부터 머징 후보를 유도하고 유도된 머징 후보를 사용하여 화면 간 예측을 수행하는 방법을 말한다. 머징 후보를 유도하기 위해 사용되는 주변 블록은 현재 블록과 동일한 픽쳐에 존재하면서 현재 블록에 인접한 블록과 현재 블록과 다른 픽쳐에 존재하면서 현재 블록에 collocate된 위치에 존재하는 블록으로 구분될 수 있다.
이하, 본 발명의 실시예에서는 머징 후보를 유도하기 위해 사용되는 주변 블록 중 현재 블록과 동일한 픽쳐에 존재하면서 현재 블록에 인접한 블록을 공간적 머징 후보 블록이라고 정의하고, 공간적 머징 후보 블록으로부터 유도된 움직임 예측 관련 정보를 공간적 머징 후보라는 용어로 정의하여 사용한다. 또한, 머징 후보를 유도하기 위해 사용되는 주변 블록 중 현재 블록과 다른 픽쳐에 존재하면서 현재 블록에 collocate된 위치에 존재하는 블록을 시간적 머징 후보 블록이라고 정의하고, 시간적 머징 후보 블록으로부터 유도된 움직임 예측 관련 정보를 시간적 머징 후보라는 용어로 정의하여 사용한다.
즉, 머지를 이용한 화면 간 예측 방법은 공간적 머징 후보 블록의 움직임 예측 관련 정보(공간적 머징 후보(spatial merging candidate)) 또는 추후 설명할 시간적 머징 후보 블록의 움직임 예측 관련 정보(시간적 머징 후보(temporal merging candidate))를 사용하여 현재 블록을 예측하는 화면 간 예측 방법이다.
움직임 예측 관련 정보로는, 예를 들어, 움직임 벡터(motion vector, mvL0/L1), 참조 픽쳐 인덱스(refIdxL0/L1), 참조 픽쳐 리스트 활용 정보(predFlagL0/L1)이 사용될 수 있다. 도 3(A)는 움직임 벡터(motion vector, mvL0/L1), 참조 픽쳐 인덱스(refIdxL0/L1), 참조 픽쳐 리스트 활용 정보(predFlagL0/L1)에 대해 나타낸다.
움직임 벡터(304)는 방향성 정보로서 화면 간 예측을 수행하는데 있어 예측 블록이 참조 픽쳐에서 특정 위치에 존재하는 픽셀 정보를 유도하기 위해 사용될 수 있다. 예측 블록에서 복수개의 방향성 정보를 이용하여 화면 간 예측이 수행될 경우, mvL0와 mvL1을 사용하여 각각의 방향에 대한 움직임 벡터를 나타낼 수 있다.
참조 픽쳐 인덱스(306)는 예측 블록이 화면 간 예측을 수행하는데 있어 참조하는 픽쳐에 대한 인덱스 정보이다. 복수개의 참조 픽쳐를 사용하여 화면 간 예측을 수행할 경우, 참조 픽쳐 인덱스 또한 refIdxL0 및 refIdxL1를 사용하여 각각의 사용되는 참조 픽쳐를 인덱싱 할 수 있다.
참조 픽쳐 리스트 활용 정보는 참조 픽쳐가 어떠한 참조 픽쳐 리스트(308)에서 유도된 픽쳐인지를 나타낼 수 있다. 예를 들어, i, j, k 픽쳐는 참조 픽쳐 리스트 0(308)에 저장되어 사용될 수 있다. 참조 픽쳐가 저장된 리스트가 2개가 존재하는 경우, predFlagL0과 predFlagL1을 사용하여 참조 픽쳐가 어떠한 참조 픽쳐 리스트에서 유도되었는지에 대한 정보를 나타낼 수 있다.
머지를 이용한 화면 간 예측 방법을 수행하기 위해 우선, 아래의 (1) 단계를 통해 공간적 머징 후보를 획득할 수 있다. 도 3(B)에서는 공간적 머징 후보 및 시간적 머징 후보에 대해 개시한다.

(1) 현재 블록(예측 대상 블록)에 대한 주변 블록으로부터 공간적 머징 후보를 유도한다.
전술한 바와 같이 공간적 머징 후보는 공간적 머징 후보 블록으로부터 유도되는 움직임 예측 관련 정보이다. 공간적 머징 후보 블록은 현재 블록의 위치를 기준으로 산출될 수 있다.
도 3(B)를 참조하면, 기존의 공간적 머징 후보 블록(300, 310, 320, 330, 340)는 예측 블록을 기준으로 산출되었다. 예측 블록의 좌측 상단에 존재하는 픽셀의 위치를 (xP, yP), 예측 블록의 너비를 nPbW, 예측 대상 블록의 높이를 nPbH, MinPbSize는 가장 작은 예측 블록의 크기를 나타낸다고 할 경우, 이하, 본 발명의 실시예에서는 예측 블록의 공간적 머징 후보 블록은 (xP-1, yP+nPbH)에 존재하는 픽셀을 포함하는 블록을 좌측 제1 블록(또는 A0 블록, 300), (xP-1, yP+nPbH-1)에 존재하는 픽셀을 포함하는 블록을 좌측 제2 블록(또는 A1 블록, 310), (xP+nPbW, yP-1)에 위치하는 픽셀을 포함하는 블록을 상단 제1 블록(또는 B0 블록, 320), (xP+nPbW-1, yP-1)에 위치하는 픽셀을 포함하는 블록을 상단 제2 블록(B1 블록, 330), (xP-1, yP-1)에 위치하는 픽셀을 포함하는 블록을 상단 제3 블록(B2 블록, 340)이 될 수 있다. 1 대신에 다른 값, 예를 들어, “MinPbSize”을 사용할 수도 있고 이러한 경우에도 동일한 위치의 블록을 지시할 수 있다. 위의 특정 위치의 블록을 지시하기 위해 사용된 좌표는 임의적인 것으로서 다양한 다른 표현 방법에 의해 동일한 위치의 블록을 지시하는 것도 가능하다.
도 3에서 개시한 공간적 머징 후보 블록(300, 310, 320, 330, 340)의 위치 및 개수와 시간적 머징 후보 블록(360, 370)의 위치 및 개수는 임의적인 것으로서 본 발명의 본질에서 벗어나지 않는 한 공간적 머징 후보 블록의 위치 및 개수와 시간적 머징 후보 블록의 위치 및 개수는 변할 수 있다. 또한, 머징 후보 리스트를 구성 시 우선적으로 스캔되는 머징 후보 블록의 순서도 변할 수 있다. 즉, 이하, 본 발명의 실시예에서 설명하는 후보 예측 움직임 벡터 리스트를 구성 시 사용되는 후보 예측 블록의 위치, 개수, 스캔 순서, 후보 예측 그룹 등은 하나의 실시예로서 본 발명의 본질에서 벗어나지 않는 한 변할 수 있다.
공간적 머징 후보 블록(300, 310, 320, 330, 340)이 가용한지 여부를 판단하여 가용한 공간적 머징 후보 블록에서 공간적 머징 후보를 유도할 수 있다. 공간적 머징 후보에서 공간적 머징 후보가 유도될 수 있는지를 나타내는 정보가 가용성 정보이다. 예를 들어, 공간적 머징 후보 블록이 현재 블록이 속한 슬라이스, 타일(tile), 또는 픽쳐의 외부에 위치하는 경우이거나, 화면 내 예측이 수행된 블록인 경우, 움직임 예측 관련 정보인 공간적 머징 후보가 유도될 수 없고 이러한 경우, 공간적 머징 후보 블록이 가용하지 않은 것으로 판단될 수 있다. 공간적 머징 후보의 가용성 정보를 판단하기 위해서는 여러 가지 판단 방법을 사용할 수 있다. 이러한 실시예에 대해서는 추가적으로 상술한다.
가용한 공간적 머징 후보 블록에 대하여 움직임 예측 관련 정보를 유도하여 현재 블록을 예측하기 위해 사용할 수 있다.
하나의 부호화 블록은 적어도 하나의 예측 블록으로 분할될 수 있다. 즉, 부호화 블록은 하나 이상의 예측 블록을 포함할 수 있다. 부호화 블록에 포함되는 예측 블록이 복수일 경우, 특정한 인덱스 정보를 이용하여 예측 블록을 지시할 수 있다. 예를 들어, 하나의 부호화 블록이 두 개의 예측 블록으로 분할된 경우 하나의 예측 블록의 partition index를 0, 나머지 하나의 예측 블록의 partition index를 1로 설정하여 두 개의 예측 블록을 지시할 수 있다. partition index가 0인 경우 제1 예측 블록, partition index가 1인 경우 제2 예측 블록과 같이 다른 용어를 사용하여 정의할 수도 있다. 하나의 부호화 블록이 추가의 예측 블록으로 더 분할되는 경우 예측 블록을 지시하는 인덱스 값은 증가할 수 있다. 예측 블록을 지칭하기 위해 정의된 용어는 임의적인 것으로서 다르게 사용될 수도 있고 다르게 해석될 수도 있다.
예측 블록의 partition index는 예측 블록이 부호화 및 복호화 같은 영상 처리를 수행시 처리되는 순서를 나타내기 위한 정보로도 사용될 수 있다. 또한, 이하, 본 발명의 실시예에 따른 단일 후보 리스트 공유 방법에서는 병렬적인 머지 프로세싱이 실시 가능한 블록을 새롭게 정의하여 병렬적인 머지 프로세싱에 대해 설명한다. 병렬적인 머지 프로세싱이 실시 가능한 블록은 적어도 하나의 부호화 블록 또는 복수개의 예측 블록을 포함하는 단위로서 정의될 수 있다. 이에 대해서는 추가적으로 후술한다.
만약, 예측 블록 별로 공간적 머징 후보를 산출하는 경우, 하나의 부호화 블록이 두 개의 예측 블록으로 분할되었다면 각각의 블록에 대한 공간적 머징 후보를 각각 산출해야 한다. 이러한 경우, 하나의 부호화 블록 내에 포함되는 하나의 예측 블록에 대한 부호화 또는 복호화가 끝날 때까지 기다려야 다른 예측 블록의 공간적 머징 후보를 산출할 수 있다. 왜냐하면, 일부의 공간적 머징 후보 블록(310)의 경우 다른 예측 블록에 포함되어 해당 예측 블록이 부호화 또는 복호화를 마쳐야 공간적 머징 후보 블록을 유도할 수 있고 또한 일부의 위치의 공간적 머징 후보 블록(300)은 아직 부호화 또는 복호화가 수행되지 않은 경우도 존재하기 때문이다. 즉, 복수개의 예측 단위를 포함하는 부호화 블록의 경우, 각각의 예측 블록에 대한 병렬적인 부호화 또는 복호화가 수행될 수 없다는 문제점이 있다. 도 4에서는 이러한 문제점에 대해 개시한다.

도 4는 하나의 부호화 블록이 두 개의 예측 블록으로 분할된 경우를 나타낸 개념도이다.
도 4를 참조하면, 하나의 부호화 블록이 Nx2N 형태의 제1 예측 블록(400)과 제2 예측 블록(420)으로 분할된다. 제1 예측 블록(400)에 대한 공간적 머징 후보 블록은 도 4(A)와 같이 제1 예측 블록(400)의 위치를 기준으로 산출되고, 제2 예측 블록(420)에 대한 공간적 머징 후보 블록은 도 4(B)와 같이 제2 예측 블록(420)의 위치를 기준으로 산출된다. 시간적 머징 후보 블록은 도시되지는 않았으나 시간적 머징 후보도 각각의 예측 블록의 위치를 기준으로 산출된다.
제1 예측 블록(400)의 공간적 머징 후보 블록의 경우, 제1 예측 블록(400)의 외부에 존재하는 블록으로서 이미 부호화 또는 복호화가 종료된 위치에 존재한다.
하지만, 제2 예측 블록(420)의 공간적 머징 후보 블록 중 A1 블록(430)은 제1 예측 블록(400)의 내부에 존재하는 블록이다. 따라서, 제1 예측 블록(400)의 예측이 수행된 후에 A1 블록(430)의 움직임 예측 관련 정보를 알 수 있다. 즉, 제2 예측 블록(420)의 머징 후보 리스트 생성 과정이 제1 예측 블록(400)의 머징 후보 리스트 생성 후에 수행되게 된다.
도 4(C)는 하나의 부호화 블록이 두 개의 예측 블록으로 분할되었을 경우, 머지 후보 리스트가 생성되는 순서를 나타낸다.
도 4(C)를 참조하면, 부호화 과정 및 복호화 과정에서 하나의 부호화 블록이 복수의 예측 블록으로 분할될 경우, 복수의 예측 블록에 대한 머지 후보 리스트를 생성하는 과정이 병렬적으로 수행될 수 없고 복수의 예측 블록에 대한 머지 후보 리스트를 생성하는 과정이 각각의 예측 블록에 대하여 순차적으로 진행됨을 알 수 있다.
본 발명의 실시예에 따른 후보 리스트 공유 방법 및 이러한 방법을 사용하는 장치에서는 공간적 머징 후보 및 시간적 머징 후보를 유도함에 있어서, 하나의 부호화 블록에서 분할된 복수의 예측 단위가 머징 후보 리스트를 공유하는 방법에 대해 개시한다. 복수의 예측 단위가 공유하는 머징 후보 리스트를 단일 머징 후보 리스트(single merging candidate list)라는 용어로 정의하여 사용할 수 있다.
즉, 본 발명에서는 부호화 블록이 분할되어 부호화 블록 내에 포함되는 여러 개의 예측 블록에 대하여 단일 머징 후보 리스트를 사용하여 복수개의 예측 블록이 머지를 이용한 화면 간 예측을 수행하는 방법에 대해 개시한다. 단일 머징 후보 리스트를 사용함으로서 예측 블록 별로 머징 후보 리스트를 여러 번 생성함으로 인해 발생되는 복잡도를 감소시킬 수 있다. 또한, 머지를 사용하여 화면 간 예측을 수행하는 하나의 부호화 블록 내에서 분할된 복수의 예측 블록들이 병렬적으로 부호화 또는 복호화할 수 있다.
단일 머징 후보 리스트를 생성하는 방법에 대해서는 이하, 본 발명의 실시예에서 추가적으로 개시한다.
(2) 시간적 머징 후보의 참조 픽쳐 인덱스를 설정한다.
시간적 머징 후보는 현재 블록이 포함된 픽쳐와 다른 픽쳐에 존재하는 시간적 머징 후보 블록에서 유도되는 움직임 예측 관련 정보이다. 시간적 머징 후보 블록은 현재 블록의 위치를 기준으로 collocated된 위치에 존재하는 블록을 기준으로 산출된 블록이다. 콜 블록이라는 용어도 시간적 머징 후보 블록과 동일한 의미로 사용될 수 있다.
다시 도 3을 참조하면, 시간적 머징 후보 블록(360, 370)은 예측 블록을 포함하는 픽쳐 내의 픽셀 위치 (xP, yP)를 기준으로 현재 예측 블록의 콜 픽쳐(Colocated Picture)에서 (xP+nPSW, yP+nPSH) 위치의 픽셀을 포함하는 블록이거나 (xP+nPSW, yP+nPSH) 위치의 픽셀을 포함하는 블록이 가용하지 않은 경우, (xP+(nPSW>>1), yP+(nPSH>>1)) 위치의 픽셀을 포함하는 블록이 될 수 있다. 콜 픽쳐에서 (xP+nPSW, yP+nPSH) 위치의 픽셀을 포함하는 예측 블록을 제1 시간적 머징 후보 블록(또는 제1 Colocated Block, 360)이라고 하고 콜 픽쳐에서 (xP+(nPSW>>1), yP+(nPSH>>1)) 위치의 픽셀을 포함하는 예측 블록을 제2 시간적 머징 후보 블록(370)이라고 할 수 있다. 최종적으로 시간적 머징 후보(움직임 예측 관련 정보)를 산출하는데 사용되는 최종 시간적 머징 후보 블록의 위치는 제1 시간적 머징 후보 블록(360) 및 제2 시간적 머징 후보 블록(370)의 위치를 기준으로 일부 이동한 위치에 존재하는 블록일 수 있다. 예를 들어, 메모리에 콜 픽쳐에 존재하는 일부의 예측 블록의 움직임 예측 관련 정보만 저장하는 경우 제1 시간적 머징 후보 블록(360) 및 제2 시간적 머징 후보 블록(370)의 위치를 기준으로 일부 이동한 위치에 존재하는 블록을 최종적인 움직임 예측 관련 정보를 유도하는 최종 시간적 머징 후보 블록으로 사용할 수 있다. 공간적 머징 후보 블록과 마찬가지로 시간적 머징 후보 블록의 위치는 도 3과 달리 변하거나 추가될 수 있고 이러한 실시예에 대해서는 아래에서 후술한다.
시간적 머징 후보의 참조 픽쳐 인덱스는 현재 블록이 시간적 머징 후보로부터 산출된 움직임 벡터(mvLXCol)를 기초로 화면 간 예측을 수행하기 위해 참조되는 픽쳐를 지시하는 정보이다.

도 5는 본 발명의 실시예에 따른 시간적 머징 후보를 이용한 화면 간 예측과 시간적 머징 후보의 참조 픽쳐 인덱스를 설명하기 위한 개념도이다.
도 5를 참조하면, 현재 블록(500), 현재 블록이 포함된 픽쳐(510), 시간적 머징 후보 블록(520), 콜 블록이 포함된 콜 픽쳐(530)가 정의될 수 있다.
시간적 머징 후보 블록(520)의 관점에서 보면, 시간적 머징 후보 블록(520)에 대한 화면 간 예측을 수행하기 위해 시간적 머징 후보 블록이 화면 간 예측에 사용한 픽쳐(540)가 존재한다. 이러한 픽쳐는 콜 픽쳐(530)의 참조 픽쳐(540)로 정의된다. 또한, 시간적 머징 후보 블록(520)이 콜 픽쳐의 참조 픽쳐(540)로부터 화면 간 예측을 수행하기 위해 사용되는 움직임 벡터는 mvCol(570)로 정의할 수 있다.
현재 블록(500)의 관점에서 보면, 산출된 mvCol(570)을 기초로 현재 블록(500)의 화면 간 예측에 사용되는 참조 픽쳐(560)가 정의되어야 한다. 현재 블록(500)의 화면 간 예측에 사용되기 위해 정의된 참조 픽쳐를 시간적 머징 후보의 참조 픽쳐(560)라고 할 수 있다. 즉, 시간적 머징 후보의 참조 픽쳐(560)의 인덱스(reference index of the temporal merging candidate)는 현재 블록(500)의 시간적 움직임 예측에 사용되는 참조 픽쳐를 지시하기 위한 값이다. 단계 (2)에서는 이러한 시간적 머징 후보의 참조 픽쳐 인덱스를 유도할 수 있다.
시간적 머징 후보 블록(520)으로부터 유도되는 움직임 벡터인 mvCol(570)은 콜 픽쳐(530)와 콜 픽쳐의 참조 픽쳐(540) 사이의 거리와 현재 블록이 포함된 픽쳐(510)와 단계 (2)를 통해 산출된 시간적 머징 후보의 참조 픽쳐(560) 사이의 거리 사이의 관계에 따라 스케일링 되어 다른 값으로 변형될 수 있다.
즉, 현재 블록(500)의 시간적 머징 후보를 통한 화면 간 예측은 (2)를 통해 산출된 시간적 머징 후보의 참조 픽쳐 인덱스(560)와 시간적 머징 후보의 참조 픽쳐 인덱스(560)를 기준으로 아래에서 후술할 단계 (3)을 통해 유도된 mvLXCol(580)을 통해 수행될 수 있다. mvLXCol을 시간적 움직임 벡터라고 정의할 수 있다.
(3) 시간적 머징 후보의 움직임 예측 관련 정보를 유도한다.
단계 (3)에서는 시간적 머징 후보를 기초로 한 움직임 예측을 수행하기 위해 시간적 머징 후보 블록이 가용한지 여부에 대한 정보(availableFlagCol), 참조 픽쳐 리스트 활용 정보(PredFlagLXCol), 시간적 머징 후보의 움직임 벡터 정보(mvLXCol)와 같은 시간적 머징 후보를 유도할 수 있다. 시간적 머징 후보 블록의 가용성 정보는 시간적 머징 후보 블록에서 시간적 머징 후보를 유도할 수 있는지 여부에 대한 정보이다. 시간적 머징 후보 블록의 가용성 정보를 기초로 시간적 머징 후보를 머징 후보 리스트에 포함시킬 수 있다.
(4) 머징 후보 리스트(merging candidate list)를 산출한다.
머징 후보 리스트는 머징 후보 블록(공간적 머징 후보 블록, 시간적 머징 후보 블록)의 가용성 정보를 기초로 머지를 이용한 화면 간 예측에 사용될 수 있는 머징 후보에 대한 정보를 포함할 수 있다. 머징 후보 리스트에 포함된 하나의 머징 후보를 현재 블록을 예측하는데 사용할 수 있다. 어떠한 머징 후보를 현재 블록을 예측하는데 사용할지에 대한 정보(머지 인덱스)가 부호화 단계에서 부호화되어 복호화기로 전송될 수 있다.
머징 후보 리스트는 아래와 같은 우선 순위를 가지고 생성될 수 있다.
1) 만약 A1 블록이 가용한 경우, A1 블록에서 유도된 머징 후보
2) 만약 B1 블록이 가용한 경우, B1 블록에서 유도된 머징 후보
3) 만약 B0 블록이 가용한 경우, B0 블록에서 유도된 머징 후보
4) 만약 A0 블록이 가용한 경우, A0 블록에서 유도된 머징 후보
5) 만약 B2 블록이 가용한 경우, B2 블록에서 유도된 머징 후보
6) 만약 Col 블록이 가용한 경우, Col 블록에서 유도된 머징 후보
머징 후보 리스트에는 가용 블록의 개수에 따라 예를 들어, 0~5개의 머징 후보가 포함될 수 있다. 머징 후보를 유도하는데 사용되는 블록이 더 많은 경우 더 많은 머징 후보가 머징 후보 리스트에 포함되는 것도 가능하다.
(5) 머징 후보 리스트에 포함된 머징 후보의 개수가 머징 후보 리스트에 포함될 수 있는 최대 머징 후보의 개수보다 작은 경우, 추가적인 머징 후보를 유도한다.
추가적인 머징 후보는 기존의 머징 후보들의 움직임 예측 관련 정보를 조합하여 생성된 후보(combined merging candidate)이거나, 0 벡터 머징 후보(zero merging candidate)가 될 수 있다. 여기서 0벡터 머징 후보란 움직임 벡터가 (0,0)인 머징 후보를 지칭한다.
(6) 머징 후보 리스트에 포함된 머징 후보 중 현재 블록의 화면 간 예측에 적용되는 머징 후보를 결정하고 머징 후보의 움직임 예측 관련 정보를 현재 블록의 움직임 예측 관련 정보로 설정한다.
복호화 과정에서는 현재 블록의 화면 간 예측에 머징 후보 리스트에 포함된 후보 중 어떠한 후보가 사용되는지에 대한 정보인 머지 인덱스(merge_idx[xP][yP])를 기초로 현재 블록에 대해 머지를 이용한 화면 간 예측을 수행할 수 있다.
위와 같은 단계 (1) 내지 단계 (6)의 절차를 통해 현재 블록에 대한 움직임 예측 관련 정보를 유도하고, 이를 이용하여 현재 블록에 대한 화면 간 예측을 수행할 수 있다.
이하, 본 발명의 실시예에서는 단계 (1)의 현재 블록(예측 대상 블록)의 공간적 머징 후보 블록으로부터 공간적 머징 후보를 유도하는 방법을 사용함에 있어서 하나의 부호화 블록에 포함되는 적어도 하나의 예측 블록에 대해 단일 머징 후보 리스트를 유도하여 적어도 하나의 예측 블록에 대하여 병렬적 머징 프로세싱이 실시되는 방법에 대해 추가적으로 개시한다. 이하, 본 발명의 실시예에서는 설명의 편의상 하나의 부호화 블록이 복수의 예측 블록으로 분할된 경우를 가정하여 설명하나, 하나의 부호화 블록이 분할되지 않고 부호화 블록의 크기가 하나의 예측 블록의 크기와 동일할 경우에도 적용될 수 있다.
이하 실시예에서는 공간적 머징 후보와 시간적 머징 후보를 중심으로 단일 머징 후보 리스트를 구성하는 방법에 대하여 설명하지만, 공간적 머징 후보 및/또는 시간적 머징 후보들의 움직임 예측 관련 정보를 조합하여 생성된 후보(combined merging candidate)를 머징 후보 리스트에 추가하거나, 0 벡터 머징 후보(zero merging candidate)를 머징 후보 리스트에 추가하는 경우에도, 공간적 머징 후보와 시간적 머징 후보의 경우와 마찬가지로 하나의 부호화 블록에서 분할되는 복수의 예측 블록이 부호화 블록을 기초로 결정된 단일 머징 후보 리스트를 사용하도록 적용할 수 있다.
단일 머징 후보 리스트를 구성하기 위해 복수의 예측 블록이 1) 공간적 머징 후보와 시간적 머징 후보를 모두 공유하거나, 2) 공간적 머징 후보만을 공유하거나 3) 시간적 머징 후보만을 공유할 수 있다. 2), 3)의 경우, 예측 블록에 대한 머징 후보 리스트가 서로 다를 수 있으나, 일부의 후보를 공유하므로 편의상 단일 머징 후보 리스트라는 용어로 포괄적으로 정의하여 사용한다.
더욱 상세히는,
(1) 하나의 부호화 블록에서 분할되는 복수의 예측 블록이 부호화 블록을 기초로 결정된 공간적 머징 후보, 시간적 머징 후보를 모두 공유하여 단일 머징 후보 리스트를 생성하는 방법.
(2) 하나의 부호화 블록에서 분할되는 복수의 예측 블록이 부호화 블록을 기초로 결정된 공간적 머징 후보만을 공유하고 시간적 머징 후보는 각각의 예측 블록을 기초로 산출된 블록을 사용하여 단일 머징 후보 리스트를 생성하는 방법.
(3) 하나의 부호화 블록에서 분할되는 복수의 예측 블록이 부호화 블록을 기초로 결정된 시간적 머징 후보만을 공유하고 공간적 머징 후보는 각각의 예측 블록을 기초로 산출된 블록을 사용하여 단일 머징 후보 리스트를 생성하는 방법을 통해 서로 다른 예측 블록 사이에서 머징 후보 리스트를 공유할 수 있다.

도 6은 본 발명의 실시예에 따른 복수의 예측 블록에서 공간적 머징 후보와 시간적 머징 후보를 모두 공유하여 단일 머징 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 6에서는 하나의 부호화 블록에서 분할되는 복수의 예측 블록이 부호화 블록을 기초로 결정된 공간적 머징 후보, 시간적 머징 후보를 모두 공유하여 단일 머징 후보 리스트를 생성하는 방법에 대해 개시한다.
도 6을 참조하면, 제1 예측 블록(600)과 제2 예측 블록(650)은 동일한 공간적 머징 후보 블록으로부터 공간적 머징 후보를 산출하여 공간적 머징 후보를 공유할 수 있다. 제1 예측 블록(600)과 제2 예측 블록(650)에 대한 공간적 머징 후보 블록은 부호화 블록을 기준으로 결정된 블록으로서 A0 블록(605), A1 블록(610), B0 블록(615), B1 블록(620), B2 블록(625)이 공간적 머징 후보 블록으로 사용될 수 있다.
각각의 공간적 머징 후보 블록의 위치는 부호화 블록의 좌측 상단 위치(xC, yC)와 nCS(부호화 블록의 크기)를 기준으로 도면에 표시된 픽셀을 포함한 위치가 될 수 있다.
A0 블록(605)은 (xC-1, yC+nCS)에 존재하는 픽셀을 포함하는 블록, A1 블록(610)은 (xC-1, yC+nCS-1)에 존재하는 픽셀을 포함하는 블록, B0 블록(615)은 (xC+nCS, yC-1)에 위치하는 픽셀을 포함하는 블록, B1 블록(620)은 (xC+nCS-1, yC-1)에 위치하는 픽셀을 포함하는 블록, B2 블록(625)은 (xC-1, yC-1)에 위치하는 픽셀을 포함하는 블록이 될 수 있다.
또한 제1 예측 블록(600)과 제2 예측 블록(650)은 시간적 머징 후보를 공유할 수 있다. 제1 예측 블록(600) 및 제2 예측 블록(650)에서 공유되는 시간적 머징 후보를 유도하는 시간적 머징 후보 블록(660, 670) 역시 부호화 블록의 좌측 상단 위치(xC, yC)와 부호화 블록의 크기(nCS)를 기준으로 산출된 위치에 존재하는 블록으로 유도될 수 있다.
예를 들어, 시간적 머징 후보 블록(660, 670)은 예측 블록을 포함하는 픽쳐 내의 픽셀 위치 (xC, yC)를 기준으로 현재 예측 블록의 콜 픽쳐(Colocated Picture)에서 (xC+nCS, yC+nCS) 위치의 픽셀을 포함하는 예측 블록(660)이거나 (xC+nCS, yC+nCS) 위치의 픽셀을 포함하는 예측 블록이 가용하지 않은 경우, (xC+(nCS>>1), yC+(nCS>>1)) 위치의 픽셀을 포함하는 예측 블록(670)이 될 수 있다.
단일 머징 후보 리스트를 유도하는 방법을 사용함으로 각각의 예측 블록에 대해서 병렬적 머지 프로세싱을 실시하여 화면 간 예측을 수행할 수 있고 또한 예측 블록 각각에 대해 머징 후보 리스트를 별도로 유도하지 않아도 된다. 따라서, 본 발명의 실시예에 따른 단일 머징 후보 리스트를 사용함으로써 높은 데이터 처리량을 요구하는 UHDTV(ultra-high definition television)와 같은 장치에서 영상의 처리 속도를 향상시킬 수 있다.
도 6에서는 Nx2N 형태로 분할된 제1 Nx2N 예측 블록(600)과 제2 Nx2N 예측 블록(650)에 대해서만 개시하였으나, 이러한 방법은 다른 분할 형태를 가지는 블록(예를 들어, 2NxN, 2NxnU, 2NxnD, nLx2N, nRx2N 또는 NxN과 같은 다양한 형태로 분할된 예측 블록에 대해서도 적용될 수 있다.
또한 이러한 방법은 블록의 크기(size) 또는 분할 깊이(depth)에 따라 단일 머징 후보 리스트의 적용 여부를 다르게 결정할 수 있다. 예를 들어, 머지 프로세스를 병렬적으로 실시할 수 있는 블록의 크기와 및 부호화 블록의 크기 정보 등을 기초로 특정 블록이 단일 머징 후보 리스트가 사용되는 블록인지에 대한 정보를 유도할 수 있다. 예를 들어, 특정 블록이 단일 머징 후보 리스트가 사용되는 블록인지에 대한 정보는 플래그 정보로 표현할 수 있다. 특정 블록이 단일 머징 후보 리스트가 사용되는 블록인지에 대한 플래그는 singleMCLflag(single merge candidate list flag)로 정의될 수 있다. 예를 들어, singleMCLflag가 0인 경우 블록이 단일 머지 후보 리스트를 사용하지 않는다는 것을 나타내고 singleMCLflag가 1인 경우 블록이 단일 머지 후보 리스트를 사용한다는 것을 나타낸다. singleMCLflag의 값을 기초로 예측 블록에 대한 공간적 머징 후보는 부호화 블록을 기준으로 유도될 수 있다.
예를 들어, 머지 프로세스를 병렬적으로 실시할 수 있는 블록의 크기는 4x4 크기보다 큰 값이라는 정보와 현재 블록 크기가 8x8라는 정보를 기초로 8x8 부호화 블록에서 분할되는 예측 블록이 단일 머징 후보 리스트를 사용함을 나타내는 플래그 정보를 유도할 수 있다. 유도된 플래그는 추후 예측 블록의 공간적 머징 후보 및 시간적 머징 후보를 부호화 블록을 기준으로 유도하기 위해 사용될 수 있다.
이러한 본 발명의 실시예에 대해서는 아래의 실시예에서 추가적으로 후술한다.

도 7은 본 발명의 실시예에 따른 복수의 예측 블록에서 공간적 머징 후보만을 공유하여 단일 머징 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 7에서는 하나의 부호화 블록에서 분할되는 복수의 예측 블록이 부호화 블록을 기초로 결정된 공간적 머징 후보만을 공유하고 시간적 머징 후보는 각각의 예측 블록을 기초로 산출된 후보를 사용하여 단일 머징 후보 리스트를 생성하는 방법에 대해 개시한다.
도 7을 참조하면, 제1 예측 블록(700)과 제2 예측 블록(750)은 동일한 공간적 머징 후보를 공유할 수 있다. 제1 예측 블록(700)과 제2 예측 블록(750)에 대한 공간적 머징 후보 블록은 부호화 블록을 기준으로 결정된 블록으로서 A0(705), A1(710), B0(715), B1(720), B2(725) 블록이 공간적 머징 후보 블록으로 사용할 수 있다. 각각의 블록은 도 6과 같이 부호화 블록을 기준으로 산출된 위치에 존재할 수 있다.
제1 예측 블록(700)과 제2 예측 블록(750)의 시간적 머징 후보 블록(또는 콜 블록)은 각각의 예측 블록 위치를 기준으로 산출될 수 있다.
제1 예측 블록(700)은 자신의 블록 위치를 기준으로 결정된 시간적 머징 후보 블록인 Hpu0 블록(755), Mpu0 블록(760) 중 적어도 하나의 블록을 시간적 머징 후보로 사용할 수 있다. 제2 예측 블록(750)은 자신의 블록 위치를 기준으로 결정된 콜 블록인 Hpu1 블록(765), Mpu1 블록(770) 중 적어도 하나의 블록을 시간적 머징 후보로 사용할 수 있다. 전술한 바와 같이 최종적으로 움직임 예측 관련 정보를 산출하기 위한 시간적 머징 후보 블록의 위치는 Hpu0 블록(755), Mpu0 블록(760), Hpu1 블록(765), Mpu1 블록(770)의 위치를 기준으로 일부 이동된 위치에 해당하는 블록일 수 있다.
시간적 머징 후보 블록(755, 760, 765, 770)은 미리 부호화 또는 복호화된 픽쳐에 존재하는 블록으로 시간적 콜 블록을 공유하지 않는 경우에도 제1 예측 블록(700)과 제2 예측 블록(750)은 병렬적으로 머지 후보 리스트를 생성하여 화면 간 예측을 수행할 수 있다.

도 8은 본 발명의 실시예에 따른 복수의 예측 블록에서 시간적 머징 후보만을 공유하여 단일 머징 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 8에서는 하나의 부호화 블록에서 분할되는 복수의 예측 블록이 부호화 블록을 기초로 결정된 시간적 머징 후보만을 공유하고 공간적 머징 후보는 각각의 예측 블록을 기초로 산출된 후보를 사용하여 단일 머징 후보 리스트를 생성하는 방법에 대해 개시한다.
도 8을 참조하면, 제1 예측 블록(800)과 제2 예측 블록(850)은 각각의 블록 위치 및 크기에 따른 공간적 머징 후보 블록으로부터 서로 다른 공간적 머징 후보를 유도할 수 있다.
제1 예측 블록(800)에 대한 공간적 머징 후보 블록은 A0 블록(805), A1 블록(810), B0 블록(813), B1 블록(815), B2 블록(820)이고 각각의 블록의 위치는 제1 예측 블록(800)의 상단 좌측 픽셀 위치와 제1 예측 블록(800)의 크기(너비 및 높이)를 기초로 유도될 수 있다.
예를 들어, 제1 예측 블록의 좌측 상단 픽셀이 (xP, yP)라면, 예측 블록의 공간적 머징 후보 블록은 (xP-1, yP+nPbH)에 존재하는 픽셀을 포함하는 블록을 좌측 제1 블록(또는 A0 블록, 805), (xP-1, yP+nPbH-1)에 존재하는 픽셀을 포함하는 블록을 좌측 제2 블록(또는 A1 블록, 810), (xP+nPbW, yP-1)에 위치하는 픽셀을 포함하는 블록을 상단 제1 블록(또는 B0 블록, 813), (xP+nPbW-1, yP-1)에 위치하는 픽셀을 포함하는 블록을 상단 제2 블록(B1 블록, 815), (xP-1, yP-1)에 위치하는 픽셀을 포함하는 블록을 상단 제3 블록(B2 블록, 820)이 될 수 있다.
제2 예측 블록(850)에 대한 공간적 머징 후보 블록은 A0’ 블록(825), A1’ 블록(830), B0’ 블록(835), B1’ 블록(840), B2’ 블록(815)이고 각각의 블록의 위치는 제2 예측 블록(850)의 상단 좌측 픽셀 위치와 제2 예측 블록(850)의 크기(너비 및 높이)를 기초로 유도될 수 있다.
예를 들어, 제2 예측 블록의 좌측 상단 픽셀이 (xP’, yP’)라면, 예측 블록의 공간적 머징 후보 블록은 (xP’-1, yP’+nPbH)에 존재하는 픽셀을 포함하는 블록을 좌측 제1 블록(또는 A0’ 블록, 825), (xP’-1, yP’+nPbH-1)에 존재하는 픽셀을 포함하는 블록을 좌측 제2 블록(또는 A1’ 블록, 830), (xP’+nPbW, yP’-1)에 위치하는 픽셀을 포함하는 블록을 상단 제1 블록(또는 B0’ 블록, 835), (xP’+nPbW-1, yP’-1)에 위치하는 픽셀을 포함하는 블록을 상단 제2 블록(B1’ 블록, 840), (xP’-1, yP’-1)에 위치하는 픽셀을 포함하는 블록을 상단 제3 블록(B2’ 블록, 815)이 될 수 있다.

즉, 각각의 예측 블록(800, 850)의 위치와 크기를 기준으로 공간적 머징 후보가 산출될 수 있다.
제1 예측 블록(800)과 제2 예측 블록(850)의 시간적 머징 후보 블록(또는 콜 블록, 860, 870)은 부호화 블록 기준으로 산출되어 두 개의 예측 블록이 동일한 시간적 머징 후보를 공유할 수 있다.

전술한 단일 머지 후보 리스트 산출 방법은 AMVP(advanced motion vector prediction)를 이용한 화면 간 예측 모드에서 AMVP 리스트(또는 움직임 벡터 예측 후보 리스트, motion vector predictor candidate list)를 생성하기 위해서도 사용될 수 있다.

도 9는 AMVP를 이용한 화면 간 예측 모드를 설명하기 위한 개념도이다.
도 9를 참조하여 AMVP를 이용한 화면 간 예측 모드에 대해 간략히 설명하면, AMVP를 이용한 화면 간 예측 모드에서 사용되는 공간적 후보 예측 블록은 좌측 제1 블록(A0, 900), 좌측 제2 블록(A1, 910), 상단 제1 블록(B0, 920), 상단 제2 블록(B1, 930), 상단 제3 블록(B2, 940)을 포함할 수 있다. 이러한 공간적 후보 예측 블록은 두 개의 공간적 후보 예측 그룹으로 나눌 수 있는데, 좌측 제1 블록(900) 및 좌측 제2 블록(910)을 포함하는 그룹을 제1 공간적 후보 예측 그룹, 상단 제1 블록(920), 상단 제2 블록(930), 상단 제3 블록(940)을 포함하는 그룹을 제2 공간적 후보 예측 그룹이라는 용어로 정의할 수 있다.
또한, 시간적 후보 예측 블록으로 현재 예측 블록을 포함하는 픽쳐 내의 픽셀 위치 (xP, yP)를 기초로 현재 예측 블록의 콜 픽쳐(Colocated Picture)에서 (xP+nPbW, yP+nPbH) 위치의 픽셀을 포함하는 예측 블록(950)이거나 (xP+nPbW, yP+nPbH) 위치의 픽셀을 포함하는 예측 블록이 가용하지 않은 경우, (xP+(nPbW>>1), yP+(nPbH>>1)) 위치의 픽셀을 포함하는 예측 블록(960)을 포함할 수 있다. 머지와 동일하게 AMVP에서도 최종적으로 움직임 예측 관련 정보를 산출하는데 사용되는 최종 시간적 머징 후보는 제1 시간적 머징 후보(950) 및 제2 시간적 머징 후보(960)의 위치를 기준으로 일부 이동한 위치에 존재하는 블록일 수 있다.
AMVP를 이용한 화면 간 예측 방법은 각각의 공간적 후보 예측 그룹에서 산출된 움직임 벡터 및 시간적 후보 예측 블록에서 산출된 움직임 벡터(motion vector)를 기초로 움직임 벡터 예측 후보 리스트를 생성할 수 있다. 산출된 움직임 벡터 예측 후보 리스트의 움직임 벡터는 현재 블록에 대한 화면 간 예측을 수행하기 위해 사용될 수 있다.
후보 예측 블록(공간적 후보 예측 블록 또는 시간적 후보 예측 블록)에서 움직임 벡터를 산출하는 방법은 병렬적으로 수행될 수 있다. 예를 들어, 후보 예측 움직임 벡터를 유도하는데 있어 2개의 공간적 후보 예측 그룹(제1 공간적 후보 예측 그룹, 제2 공간적 후보 예측 그룹)에서 각각 하나의 후보 예측 움직임 벡터가 유도되고, 시간적 후보 예측 블록에서 하나의 후보 예측 움직임 벡터가 유도되는 경우, 제1 공간적 후보 예측 그룹, 제2 공간적 후보 예측 그룹, 시간적 후보 예측 블록에서 후보 예측 움직임 벡터를 산출하는 동작이 병렬적으로 수행될 수 있다. 후보 예측 움직임 벡터 유도 과정이 병렬적으로 수행된다는 것은 후보 예측 움직임 벡터 유도 과정의 복잡도를 감소시킬 수 있다는 것을 의미한다. 즉, 제1 공간적 후보 예측 그룹에서 제1 공간적 후보 예측 움직임 벡터를 산출하는 단계, 제2 공간적 후보 예측 그룹에서 공간적 후보 예측 움직임 벡터를 산출하는 단계, 시간적 후보 예측 블록에서 시간적 후보 예측 움직임 벡터를 산출하는 단계가 병렬적으로 수행될 수 있다.
본 발명의 실시예에 따르면, 부호화 블록에서 분할된 각각의 예측 블록에 대한 AMVP를 이용한 화면 간 예측도 병렬적으로 수행될 수 있다.
AMVP에서도 머지와 동일하게 하나의 부호화 블록이 복수의 예측 단위로 분할된 경우, 예측 블록 별로 움직임 벡터 예측 후보 리스트를 생성한다. 이러한 경우, 특정 예측 블록의 공간적 후보 예측 블록이 다른 예측 블록에 포함되어 예측이 끝날 때까지 기다려야 한다. 따라서, 움직임 벡터 예측 후보 리스트를 생성하거나 특정 예측 블록의 공간적 후보 예측 블록이 아직 부호화 또는 복호화되지 않은 위치에 존재하는 경우 해당 블록으로부터 움직임 벡터를 유도할 수 없는 경우가 존재한다.
이러한 문제점을 해결하기 위해 움직임 벡터 예측 후보 리스트를 구성하기 위해, 복수의 예측 블록이 1) 공간적 후보 예측 블록과 시간적 후보 예측 블록을 모두 공유하거나, 2) 공간적 후보 예측 블록만을 공유하거나 3) 시간적 후보 예측 블록만을 공유하여 공간적 후보 예측 움직임 벡터 또는 시간적 후보 예측 움직임 벡터를 산출할 수 있다. 2), 3)의 경우, 예측 블록에 대한 움직임 벡터 예측 후보 리스트가 서로 다를 수 있으나, 일부의 후보를 공유하므로 편의상 단일 움직임 벡터 예측 후보 리스트라는 용어로 포괄적으로 정의하여 사용한다.
더욱 상세히는,
(1) 하나의 부호화 블록에서 분할된 복수의 예측 블록이 부호화 블록을 기초로 유도된 공간적 후보 예측 블록 및 시간적 후보 예측 블록을 모두 공유하여 단일 움직임 벡터 예측 후보 리스트를 생성하는 방법.
(2) 하나의 부호화 블록에서 분할되는 복수의 예측 블록이 부호화 블록을 기초로 유도된 공간적 후보 예측 블록만을 공유하고 시간적 후보 예측 블록은 각각의 예측 블록을 기초로 산출된 블록을 사용하여 단일 움직임 벡터 예측 후보 리스트를 생성하는 방법.
(3) 하나의 부호화 블록에서 분할되는 복수의 예측 블록이 부호화 블록을 기초로 유도된 시간적 후보 예측 블록만을 공유하고 공간적 후보 예측 블록은 각각의 예측 블록을 기초로 산출된 블록을 사용하여 단일 움직임 벡터 예측 후보 리스트를 생성하는 방법을 통해 서로 다른 예측 블록 사이에서 움직임 벡터 예측 후보 리스트를 공유할 수 있다.

도 10은 본 발명의 실시예에 따른 복수의 예측 블록에서 공간적 후보 예측 블록과 시간적 후보 예측 블록을 모두 공유하여 단일 움직임 벡터 예측 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 10에서는 하나의 부호화 블록에서 분할되는 복수의 예측 블록이 부호화 블록을 기초로 결정된 공간적 후보 예측 블록 및 시간적 후보 예측 블록을 모두 공유하여 단일 움직임 벡터 예측 후보 리스트를 생성하는 방법에 대해서 개시한다. 이하의 실시예에서는 후보 예측 블록에서 유도되는 움직임 벡터 예측 후보가 모두 가용한 경우를 가정하여 설명한다.
도 10을 참조하면, 제1 예측 블록(1000)과 제2 예측 블록(1050)은 동일한 공간적 후보 예측 블록을 공유할 수 있다. 제1 예측 블록(1000)과 제2 예측 블록(1050)에 대한 공간적 후보 예측 블록은 부호화 블록을 기준으로 결정된 블록으로서 A0 블록(1005), A1 블록(1010), B0 블록(1015), B1 블록(1020), B2 블록(1025)이 될 수 있다.
제1 예측 블록(1000)과 제2 예측 블록(1050)은 공유되는 A0 블록(1005), A1 블록(1010)을 기초로 하나의 움직임 벡터 예측 후보를 산출하고 B0 블록(1015), B1 블록(1020), B2 블록(1025)을 기초로 하나의 움직임 벡터 예측 후보를 산출할 수 있다.
또한 제1 예측 블록(1000)과 제2 예측 블록(1050)은 시간적 후보 예측 블록(또는 콜 블록 1050, 1060)을 공유할 수 있다. 제1 예측 블록(1000)과 제2 예측 블록(1050)은 공유된 시간적 후보 예측 블록(또는 콜 블록, 1050, 1060)에서 움직임 벡터 예측 후보를 산출할 수 있다.
즉, 제1 예측 블록(1000) 및 제2 예측 블록(1050)은 공간적 후보 예측 블록(1005, 1010, 1015, 1020, 1025)과 시간적 후보 예측 블록(1050, 1060)을 기초로 산출된 움직임 벡터 예측 후보를 사용하여 단일 움직임 벡터 예측 후보 리스트를 생성할 수 있다.

도 11은 본 발명의 실시예에 따른 복수의 예측 블록에서 공간적 후보 예측 블록만을 공유하여 단일 움직임 벡터 예측 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 11에서는 하나의 부호화 블록에서 분할되는 복수의 예측 블록이 부호화 블록을 기초로 결정된 공간적 후보 예측 블록만을 공유하여 움직임 벡터 예측 후보를 산출하는 방법에 대해 개시한다. 즉, 시간적 후보 예측 블록은 각각의 예측 블록을 기초로 산출된 블록에서 움직임 벡터 예측 후보를 산출하여 단일 움직임 벡터 예측 후보 리스트를 생성하는 방법에 대해서 개시한다.
도 11을 참조하면, 제1 예측 블록(1100)과 제2 예측 블록(1150)은 동일한 공간적 후보 예측 블록을 공유할 수 있다. 제1 예측 블록(1100)과 제2 예측 블록(1050)에 대한 공간적 후보 예측 블록은 부호화 블록을 기준으로 결정된 블록으로서 A0 블록(1105), A1 블록(1110), B0 블록(1115), B1 블록(1120), B2 블록(1125)을 공유하여 각 블록들을 공간적 후보 예측 블록으로 사용할 수 있다.
제1 예측 블록(1100)과 제2 예측 블록(1150)의 시간적 후보 예측 블록(또는 콜 블록, 1155, 1160, 1165, 1170)은 각각의 예측 블록 위치를 기준으로 산출될 수 있다.
제1 예측 블록(1100)은 자신의 위치를 기준으로 결정된 콜 블록인 Hpu0 블록(1155), Mpu0 블록(1160) 중 적어도 하나의 블록을 시간적 후보 예측 블록으로 사용할 수 있다.
제2 예측 블록(1150)은 자신의 위치를 기준으로 결정된 콜 블록인 Hpu1 블록(1165), Mpu1 블록(1170) 중 적어도 하나의 블록을 시간적 후보 예측 블록으로 사용할 수 있다.
시간적 후보 예측 블록(1155, 1160, 1165, 1170)의 경우는 미리 부호화 또는 복호화된 픽쳐에 존재하는 블록으로 시간적 후보 예측 블록을 공유하지 않는 경우에도 제1 예측 블록(1100)과 제2 예측 블록(1150)은 병렬적으로 움직임 벡터 예측 후보 리스트를 생성하여 화면 간 예측을 수행할 수 있다.

도 12는 본 발명의 실시예에 따른 복수의 예측 블록에서 시간적 후보 예측 블록만을 공유하여 단일 움직임 벡터 예측 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 12에서는 하나의 부호화 블록에서 분할되는 복수의 예측 블록이 부호화 블록을 기초로 결정된 시간적 후보 예측 블록만을 공유하고 공간적 후보 예측 블록은 각각의 예측 블록을 기초로 산출된 블록을 사용하여 단일 움직임 벡터 예측 후보 리스트를 생성하는 방법에 대해서 개시한다.
도 12를 참조하면, 제1 예측 블록(1200)과 제2 예측 블록(1250)은 각각의 예측 블록의 위치를 기준으로 서로 다른 공간적 후보 예측 블록을 사용할 수 있다. 즉, 제1 예측 블록(1200)에 대한 공간적 후보 예측 블록은 A0 블록(1205), A1 블록(1210), B0 블록(1213), B1 블록(1215), B2 블록(1220)이고 제2 예측 블록(1250)에 대한 공간적 후보 예측 블록은 A0’ 블록(1225), A1’ 블록(1230), B0’ 블록(1235), B1’ 블록(1240), B2’ 블록(1215)이 될 수 있다.
제1 예측 블록(1200)과 제2 예측 블록(1250)의 시간적 후보 예측 블록(또는 콜 블록,1260, 1270)은 부호화 블록 기준으로 산출되어 두 개의 예측 블록이 동일한 시간적 후보 예측 블록을 공유할 수 있다.
AMVP를 사용한 화면 간 예측 모드에서 단일 움직임 벡터 예측 후보 리스트는 블록이 참조하는 참조 픽쳐 인덱스마다 다르게 생성될 수 있다. 예를 들어, 현재 픽쳐(혹은 슬라이스)의 참조 픽쳐가 ‘4’개라고 한다면, 참조 픽쳐 인덱스는 ‘4’개까지 존재할 수 있다. 이러한 경우 각각의 참조 픽쳐 인덱스마다 단일 움직임 벡터 예측 후보 리스트를 가질 수 있으므로, 예측 대상 블록에 대해 총 ‘4’개의 단일 움직임 벡터 예측 후보 리스트를 생성하여 사용할 수 있다.
또한, 현재 부호화 블록 안의 모든 예측 블록들에 대해 모두 동일한 참조 픽쳐 인덱스를 사용하도록 하여 부호화 또는 복호화를 수행하도록 할 수 있다. 이 경우, 현재 부호화 블록 안의 모든 예측 블록들이 동일한 참조 픽쳐 인덱스를 가지므로 하나의 단일 움직임 벡터 예측 후보 리스트만 존재하면 된다. 이러한 방법들의 적용 여부는 부호화 블록의 크기(size) 또는 부호화 블록의 깊이(depth)에 따라 다르게 결정될 수 있다.
전술한 방법뿐만 아니라 다양한 방법이 단일 머징 후보 리스트, 단일 움직임 벡터 예측 후보 리스트를 생성하기 위해 사용될 수 있다. 아래에서는 다양한 후보 리스트(단일 머징 후보 리스트, 단일 움직임 벡터 예측 후보 리스트) 생성 방법에 대해 개시한다.
도 13는 본 발명의 실시예에 따른 단일 머징 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 13에서는 설명의 편의상 단일 머징 후보 리스트를 생성하는 방법에 대해 개시하나, 단일 움직임 벡터 예측 후보 리스트(AMVP List)를 생성하는 방법에도 적용될 수 있다.
전술한 바와 같이 시간적 머징 후보, 공간적 머징 후보의 위치는 임의적인 위치로서 변할 수 있고 시간적 머징 후보, 공간적 머징 후보의 개수 또한 변할 수 있다.
도 13(A)와 도 13(B)를 참조하면, 단일 머징 후보 리스트를 생성하기 위한 공간적 머징 후보 블록의 위치와 시간적 머징 후보 블록의 위치를 새롭게 정의할 수 있다.
도 13(A)는 공간적 머징 후보 블록 중 A1 블록(1300)과 B1 블록(1305)의 위치가 각각 A1 블록(1300)은 (xC-1, yC+nCS/2)의 픽셀, B1 블록(1305)은 (xC+nCS/2, yC-1)의 픽셀을 포함한 위치로 새롭게 정의될 수 있다.
또한 시간적 머징 후보 블록이 유도될 수 있는 위치가 기존의 위치에 추가하여 H1 블록(1310), H2 블록(1320), H3 블록(1330), H4 블록(1340)이 추가될 수 있다. 콜 픽쳐에서 H1 블록(1310)은 (xC+nCS/2, yC+nCS) 픽셀, H2 블록(1320)은 (xC+nCS, yC+nCS/2) 픽셀, H3 블록(1330)은 (xC, yC+nCS) 픽셀, H4 블록(1340)은 (xC+nCS, yC) 픽셀을 포함한 블록일 수 있다.
도 13(B)는 공간적 머징 후보 블록 중 A1 블록(1350)과 B1 블록(1355)의 위치가 각각 A1 블록(1350)은 (xC-1, yC+nCS/2-1)의 픽셀, B1 블록(1355)은 (xC+nCS/2-1, yC-1)의 픽셀을 포함한 위치로 새롭게 정의될 수 있다.
또한 시간적 머징 후보 블록의 위치는 기존의 위치에 추가적으로 H1 블록(1360), H2 블록(1370), H3 블록(1380), H4 블록(1390)이 정의될 수 있다. 콜 픽쳐에서 H1 블록(1360)은 (xC+nCS/2, yC+nCS) 픽셀, H2 블록(1370)은 (xC+nCS, yC+nCS/2) 픽셀, H3 블록(1380)은 (xC, yC+nCS) 픽셀, H4 블록(1390)은 (xC+nCS, yC) 픽셀을 포함한 블록일 수 있다.
전술한 단일 머징 후보 리스트, 단일 움직임 벡터 예측 후보 리스트를 생성하는 방법에서는 부호화 블록 기반으로 단일 머징 후보 리스트, 단일 움직임 벡터 예측 후보 리스트를 생성하는 방법에 대해 개시하였고, 단일 머징 후보 리스트, 단일 움직임 벡터 예측 후보 리스트가 생성되는 부호화 블록의 크기가 제한적일 수 있음에 대해 개시하였다. 단일 머징 후보 리스트, 단일 움직임 벡터 예측 후보 리스트를 통합하는 개념으로 단일 후보 리스트라는 개념을 사용할 수 있다.
또한, 본 발명의 실시예에 따르면, 부호화 블록 기반이 아닌 일반적인 블록을 기반(예를 들어, 특정한 크기의 블록으로서 적어도 하나의 부호화 블록 또는 적어도 하나의 예측 블록을 포함하는 블록)으로도 단일 후보 리스트를 생성할 수 있다. 또한, 머지와 AMVP 중 하나의 화면 간 예측 모드에만 이러한 단일 후보 리스트 생성 방법도 적용될 수 있다.
이러한 사항들은 아래의 표 1과 같이 정리될 수 있다.
<표 1>
Figure PCTKR2012009427-appb-I000001

표 1은 전술한 바와 같이 단일 후보 리스트를 어떠한 블록을 기반으로 하는지 여부 및 어떠한 블록의 크기를 기준으로 하는지 여부와 단일 머징 후보 리스트가 생성되는 화면 간 예측 방법이 머지와 AMVP 중 어떠한 방법에 적용되는지에 따라 분류한 표이다.

도 14는 본 발명의 실시예에 따른 단일 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 14에서는 머지를 이용한 화면 간 예측에서 블록 기반으로 단일 머징 후보 리스트를 공유하는 방법에 대해 개시한다.
도 14를 참조하면, 실선으로 표시된 부분은 부호화 블록을 나타내고 점선으로 나타낸 부분은 해당 부호화 블록에서 분할된 예측 블록을 나타낸다. 도 14에서는 복수의 부호화 블록들이 포함되는 하나의 더 큰 블록 단위가 공간적 머징 후보 블록(1400, 1405, 1410, 1415, 1420) 및 시간적 머징 후보 블록(1450 내지 1480)을 산출할 수 있는 단위임을 나타낸다. 즉, 부호화 단위보다 더 큰 단위로 단일 머징 후보 리스트가 생성될 수 있다. 이러한 정보는 병렬적 머지 프로세스가 실시 가능한 블록에 대한 정보로서 부호화 및 복호화될 수 있다. 본 발명의 실시예에 따르면, 병렬적 머지 프로세스가 실시 가능한 블록에 대한 정보와 예측 블록을 포함하는 부호화 블록에 대한 정보를 기초로 특정 부호화 블록에 포함된 예측 블록이 단일 머징 후보 리스트를 사용하여 머지를 수행하는지 여부를 판단할 수 있다.
병렬적 머지 프로세싱이 실시 가능한 블록 내부에 존재하는 부호화 블록에서 유도된 공간적 머징 후보 블록 중 병렬적 머지 프로세싱이 실행 가능한 블록의 내부에 존재하는 공간적 머징 후보 블록은 가용하지 않은 블록으로서 공간적 머징 후보를 유도하기 위해 사용되지 않을 수 있다. 반대로 병렬적 머지 프로세싱이 실시 가능한 블록의 외부에 존재하는 공간적 머징 후보 블록은 머지를 이용한 화면 간 예측에서 공간적 머징 후보를 유도하기 위해 사용될 수 있다. 즉, 병렬적 머지 프로세싱이 실시 가능한 블록의 내부에 위치하는 공간적 머징 후보 블록을 가용하지 않은 공간적 머징 후보 블록으로 판단하여 공간적 머징 후보를 유도하는데 사용하지 않을 수 있다.
이러한 판단을 수행하기 위해 현재 블록(예측 대상 블록)과 현재 블록의 공간적 머징 후보 블록이 동일한 병렬적 머지 프로세싱이 실시 가능한 블록에 포함되는지 여부를 판단할 수 있다. 판단 결과, 현재 블록(예측 대상 블록)과 현재 블록의 공간적 머징 후보 블록이 동일한 병렬적 머지 프로세싱이 실시 가능한 블록에 포함되는 경우 해당 블록을 가용하지 않은 것으로 설정하여 머징 후보 리스트를 구성하는데 사용하지 않을 수 있다.
위의 조건을 만족하는 블록에 대한 시간적 머징 후보 블록 또한, 병렬적 머지 프로세싱이 실시 가능한 블록을 기준으로 산출될 수 있다. 즉, 특정 부호화 블록에 포함된 예측 블록이 단일 머징 후보 리스트를 사용하여 머지를 수행하는 경우 예측 블록에 대해 동일한 시간적 머징 후보를 공유하여 사용할 수 있다.

도 15는 본 발명의 실시예에 따른 단일 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 15는 머지를 이용한 화면 간 예측에서 부호화 블록의 크기가 특정 크기 이하인 경우 또는 특정 크기인 경우에만 동일 부호화 블록 내의 예측 블록들이 공간적 머징 후보 및 시간적 머징 후보를 공유하는 방법을 나타낸 것이다.
특정 조건을 만족하는 블록에서만 단일 머징 후보 리스트를 공유하는 방법을 사용하기 위해서는 여러 가지 정보가 사용될 수 있다. 예를 들어, 병렬적 머지 프로세싱이 실시 가능한 블록의 크기에 대한 정보와 현재 부호화 블록의 크기 정보를 기초로 현재 블록이 단일 머지 후보 리스트를 사용하는지에 대한 정보를 유도할 수 있다. 유도된 정보를 기초로 예측 블록에 대한 공간적 머징 후보 및 시간적 머징 후보가 특정 조건을 만족하는 부호화 블록을 기준으로 산출될 수 있다.
도 15를 참조하면, 예를 들어, 병렬적 머지 프로세싱이 실시 가능한 블록의 크기가 8x8 이상이고, 부호화 블록의 크기가 8x8이라는 조건을 만족하는 경우에만 부호화 블록에서 분할된 예측 블록이 단일 머징 후보 리스트를 공유할 수 있다.
제1 부호화 블록(CU0, 1500)은 32x32, 제2 부호화 블록(CU1, 1510)은 16x16, 제3 부호화 블록(CU2, 1520)은 32x32, 제4 부호화 블록(CU3, 1530)은 16x16, 제5 부호화 블록(CU4, 1540)는 8x8의 크기를 가진 블록이라고 가정한다.
도 15(B)는 일부의 부호화 블록에 대한 공간적 머징 후보 블록만을 표시한 개념도이다.
도 15(B)를 참조하면, 제2 부호화 블록(1510)은 nLx2N 형태의 두 개의 예측 블록(1515, 1518)으로 분할되고, 제5 부호화 블록(1540)은 Nx2N 형태의 두 개의 예측 블록(1545, 1550)으로 분할될 수 있다. 도 15(B)는 8x8 크기의 부호화 블록(1540)에 대해서만 단일 머징 후보 리스트가 생성되는 경우를 가정한 것이다.
제2 부호화 블록(1510)의 제1 예측 블록(1515) 및 제2 예측 블록(1518)은 각각의 예측 블록에 대해 공간적 머징 후보를 개별적으로 유도하여 예측 블록 별로 머징 후보 리스트를 생성할 수 있다.
제 5 부호화 블록(1540)의 크기는 8x8로서 병렬적 머지 프로세싱이 실시 가능한 블록의 크기에 대한 조건과 현재 부호화 블록의 크기에 대한 조건을 만족할 수 있다. 이러한 경우, 제5 부호화 블록(1540)에 포함된 제3 예측 블록(1545) 및 제4 예측 블록(1550)이 부호화 블록의 위치 및 크기를 기준으로 산출된 공간적 머징 후보 및 시간적 머징 후보를 기초로 단일 머징 후보 리스트를 생성할 수 있다.
즉, 병렬적으로 머지 프로세스가 실시 가능하도록 정의된 블록의 크기가 미리 정해진 특정한 크기 이상인지 여부를 판단하고 부호화 블록이 특정한 크기인지 여부를 판단하여 병렬적으로 머지 프로세스가 실시 가능하도록 정의된 블록의 크기가 미리 정해진 특정한 크기 이상 상기 부호화 블록이 특정한 크기인 경우 상기 예측 단위가 상기 단일 머징 후보 리스트를 사용하여 머지를 수행하는 것으로 판단할 수 있다.
병렬적 머지 프로세싱이 실시 가능한 블록의 내부의 부호화 블록에서 유도된 공간적 머징 후보 블록 중 병렬적 머지 프로세싱이 실시 가능한 블록의 내부에 존재하는 공간적 머징 후보 블록은 화면 간 예측에 사용되지 않을 수 있다. 반대로 병렬적 머지 프로세싱이 실시 가능한 블록의 외부에 존재하는 공간적 머징 후보 블록은 머지를 이용한 화면 간 예측에서 사용될 수 있다. 즉, 병렬적 머지 프로세싱이 실시 가능한 블록의 내부에 위치하는 공간적 머징 후보 블록을 가용하지 않은 공간적 머징 후보 블록으로 판단하여 공간적 머징 후보를 유도하는데 사용하지 않을 수 있다.
예를 들어, 이러한 판단을 수행하기 위해 현재 블록(예측 대상 블록)과 현재 블록의 공간적 머징 후보 블록이 동일한 병렬적 머지 프로세싱이 실시 가능한 블록에 포함되는지 여부를 판단할 수 있다. 판단 결과, 현재 블록(예측 대상 블록)과 현재 블록의 공간적 머징 후보 블록이 동일한 병렬적 머지 프로세싱이 실시 가능한 블록에 포함되는 경우 해당 공간적 머징 후보 블록을 가용하지 않은 것으로 설정하여 공간적 머징 후보 블록으로부터 공간적 머징 부호를 유도하지 않을 수 있다.
전술한 바와 같이 특정 크기의 부호화 블록에 대하여 단일 머징 후보 리스트를 생성하기 위해서는 1) 머지를 이용한 화면 간 예측에서 병렬적 머지 프로세싱이 실시 가능한 블록의 크기에 관련된 정보와 2) 현재 블록의 크기 정보를 기초로 해당 블록이 단일 머징 후보 리스트를 생성함을 나타내는 단일 머징 후보 리스트 플래그(singleMCLflag)를 유도할 수 있다. 또한 1) 머지를 이용한 화면 간 예측에서 병렬적 머지 프로세싱이 실시 가능한 블록의 크기에 관련된 정보를 기초로 어떠한 공간적 머징 후보 블록이 공간적 머징 후보를 유도하기 위해 가용하지 않은 블록인지에 대해 알 수 있어 해당 블록으로부터 공간적 머징 후보를 유도하지 않을 수 있다.
예를 들어, 상기 병렬적 머지 프로세스가 실시 가능한 블록이 8x8 크기의 블록이고 현재 부호화 블록의 크기가 8x8인 경우를 가정하면, 부호화 블록과 상기 부호화 블록을 기준으로 산출된 공간적 머징 후보 블록이 동일한 병렬적 머지 프로세스가 실시 가능한 블록의 내부에 위치하는 경우, 공간적 머징 후보 블록을 가용하지 않은 공간적 머징 후보 블록으로 판단할 수 있다. 즉, 부호화 블록과 상기 부호화 블록을 기준으로 산출된 공간적 머징 후보 블록이 서로 다른 병렬적 머지 프로세스가 실시 가능한 블록에 위치하는 경우 해당 공간적 머징 후보 블록을 공간적 머징 후보를 유도하는 데에 사용할 수 있다.
유도된 단일 머징 후보 리스트 플래그(singleMCLflag)는 이후 공간적 머징 후보 및 시간적 머징 후보를 유도하는 단계에서 사용되어 특정 크기의 부호화 블록에서 분할된 예측 블록들이 동일한 머징 후보들을 공유하는 단일 머징 후보 리스트를 생성하도록 할 수 있다.
이하 본 발명의 실시예에서는 아래의 표 2 내지 표 5를 사용하여 머지를 이용한 화면 간 예측에서 병렬적 머지 프로세싱이 실시 가능한 블록에 관련된 정보와 이러한 정보를 비트스트림으로 부호화 또는 비트스트림으로부터 복호화 하는 데 사용되는 신택스 구조에 대해 개시한다.
<표 2>
Figure PCTKR2012009427-appb-I000002
<표 3>
Figure PCTKR2012009427-appb-I000003
<표 4>
Figure PCTKR2012009427-appb-I000004
<표 5>
Figure PCTKR2012009427-appb-I000005
표 2 내지 표 5에서 개시된 신택스에 포함된 semantics인“parallel_merge_enabled_flag”는 부호화 블록을 기반으로 단일 머징 후보 리스트를 사용할지 여부를 알려주는 정보로 사용될 수 있다. 또한, “parallel_merge_enabled_flag”는 병렬적인 머지 프로세싱이 실시되는지 여부에 대한 정보도 포함할 수 있다.
예를 들어, “parallel_merge_enabled_flag”가 ‘1’일 경우, 부호화 블록 기반으로 단일 머징 후보 리스트를 생성하는 방법이 적용되었음을 나타내고 병렬적인 머지 프로세싱이 실시됨을 지시할 수 있다. “parallel_merge_enabled_flag”가 ‘0’인 경우 단일 머징 후보 리스트가 적용되지 않았음을 나타낼 수 있고 병렬적 머지 프로세싱이 실시 가능하지 않음을 나타낼 수 있다. 그 반대도 가능하다. 또한 “parallel_merge_enabled_flag”는 병렬적으로 부호화 블록 내의 모든 예측 블록을 병렬적으로 부호화 또는 복호화하는지 여부를 지시하는 정보로서 사용될 수 있으며, 부호화 블록 내의 모든 예측 블록들의 머징 후보 리스트를 병렬적으로 구성하는지 여부를 지시하는 정보로서 사용될 수도 있다.
또한, “parallel_merge_disabled_depth_info”는 부호화 블록 기반으로 단일 머징 후보 리스트를 생성하는 방법이 적용되었을 경우(예를 들어, “parallel_merge_enabled_flag”가 참의 값을 가질 경우) 활성화되는 semantics로서, 이는 부호화 블록의 깊이(depth) 또는 부호화 블록의 크기(size)에 따른 단일 머징 후보 리스트의 적용 여부를 알려준다.
예를 들어, “parallel_merge_disabled_depth_info”가 ‘0’일 경우에는 부호화 블록의 깊이(depth)가 ‘0’인 경우(가장 큰 크기의 부호화 블록으로서, 예를 들어 64x64 크기일 수 있다.) 해당 방법이 적용되지 않을 수 있다. 또한 “parallel_merge_disabled_depth_info”가 ‘1’일 경우에는 부호화 블록의 깊이(depth)가 ‘1’인 경우(가장 큰 크기의 부호화 블록보다 한 단계 작은 크기로서, 예를 들어 32x32 크기) 해당 방법이 적용되지 않을 수 있다.
또 다른 예로, “parallel_merge_disabled_depth_info”가 ‘0’일 경우에는 부호화 블록의 깊이(depth)가 ‘0’ 이상인 경우(가장 큰 크기의 부호화 블록) 해당 방법이 적용되지 않을 수 있다. 또한 “parallel_merge_disabled_depth_info”가 ‘1’일 경우에는 부호화 블록의 깊이(depth)가 ‘1’ 이상인 경우(가장 큰 크기의 부호화 블록을 제외한 부호화 블록의 크기들로서, 예를 들어 가장 큰 크기의 부호화 블록의 크기가 64x64일 경우, 32x32, 16x16, 8x8 크기의 부호화 블록 크기가 이에 해당한다.) 해당 방법이 적용되지 않을 수 있다.
또 다른 일예로, “parallel_merge_disabled_depth_info”가 ‘1’일 경우에는 부호화 블록의 깊이(depth)가 ‘1’ 이상인 경우(가장 큰 크기의 부호화 블록을 제외한 부호화 블록 크기들)에는 해당 방법이 적용될 수 있다.
이러한 “parallel_merge_disabled_depth_info”는 머지를 이용한 화면 간 예측에서 병렬적 머지 프로세싱이 실시 가능한 블록에 관련된 정보의 하나의 예로서 머지를 이용한 화면 간 예측에서 병렬적 머지 프로세싱을 나타내기 위해 다른 구문 요소를 사용할 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
또한, “parallel_merge_enabled_flag”와 같은 정보를 사용하지 않고도 “parallel_merge_disabled_depth_info”만을 사용하여 병렬적 머지 프로세싱이 가능한지 여부에 대한 정보를 나타낼 수도 있다. 예를 들어, “parallel_merge_disabled_depth_info”가 특정한 값에 해당하는 경우, 병렬적 머지 프로세싱이 가능하지 않음을 나타낼 수도 있다. 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
또 다른 예로, log2_parallel_merge_level_minus2를 정의할 수 있다. log2_parallel_merge_level_minus2는 병렬적 머지 프로세싱이 실시 가능한 레벨을 의미한다. 예를 들어, log2_parallel_merge_level_minus2의 값이 ‘0’이면, 병렬적 머지 프로세싱이 실시 가능한 블록(또는 부호화 블록)의 크기가 4x4라는 것을 나타낸다. 4x4 블록이 최소 크기의 부호화 블록이라고 가정할 경우 결국 log2_parallel_merge_level_minus2의 값이 ‘0’이면 병렬적 머지 프로세싱이이 실시되지 않는다는 것을 나타낸다. 또 다른 예로서, log2_parallel_merge_level_minus2의 값이 ‘1’이면, 8x8 크기의 블록 내부에 있는 모든 예측블록에 대하여 병렬적인 머지 프로세싱이 실시 가능함을 나타낼 수 있다. 그리고 log2_parallel_merge_level_minus2의 값이 ‘2’이면, 16x16 크기의 블록 내부에 있는 모든 예측 블록에 대하여 병렬적 머지 프로세싱이 실시 가능할 수 있다. 그리고 log2_parallel_merge_level_minus2의 값이 ‘3’이면, 32x32 크기의 블록 내부의 있는 모든 예측 블록에 대하여 병렬적 머지 프로세싱이 실시 가능할 수 있다. 그리고 log2_parallel_merge_level_minus2의 값이 ‘4’이면, 64x64 크기의 블록 내부에 있는 모든 예측 블록에 대하여 병렬적인 머지 프로세싱이 실시 가능할 수 있다. 즉, 이러한 구문 요소를 사용하여 특정한 병렬적 머지 프로세싱이 실시 가능한 블록의 크기를 나타낼 수 있다. 전술한 바와 같이 log2_parallel_merge_level_minus2를 통해 산출된 병렬적 머지 프로세싱이 실시 가능한 블록에 대한 정보와 현재 블록의 정보(예를 들어, 크기 정보)를 함께 사용하여 현재 블록에 포함된 적어도 하나의 예측 블록에 대하여 단일 머지 후보 리스트를 이용한 화면 간 예측이 수행되는지에 대해 알 수 있다. 단일 머지 후보 리스트에 포함되는 공간적 머징 후보를 산출하기 위해 부호화 블록을 기준으로 산출된 공간적 머징 후보 블록이 상기 병렬적 머지 프로세스가 실시 가능한 블록의 내부에 위치하는지 여부를 판단할 수 있다. 예를 들어, 상기 병렬적 머지 프로세스가 실시 가능한 블록이 8x8 크기의 블록이고 현재 부호화 블록의 크기가 8x8인 경우를 가정하면, 부호화 블록과 상기 부호화 블록을 기준으로 산출된 공간적 머징 후보 블록이 동일한 병렬적 머지 프로세스가 실시 가능한 블록의 내부에 위치하는 경우, 공간적 머징 후보 블록을 가용하지 않은 공간적 머징 후보로 판단할 수 있다. 즉, 부호화 블록과 상기 부호화 블록을 기준으로 산출된 공간적 머징 후보 블록이 서로 다른 병렬적 머지 프로세스가 실시 가능한 블록에 위치하는 경우 해당 공간적 머징 후보 블록을 공간적 머징 후보를 유도하는 데에 사용할 수 있다.

이하의 본 발명의 실시예에서는 본 발명의 또 다른 실시예에 따른 단일 후보 리스트를 이용하여 하나의 부호화 블록에서 분할된 예측 블록들에 대하여 병렬적으로 부호화 또는 복호화를 수행하는 방식에 대해 설명한다. 이 방식에서는 부호화 블록 내의 여러 개의 예측 블록들에 대하여 일부의 공간적 후보를 공유하여 단일 머징 후보 리스트를 생성할 수 있다.
일부의 공간적 후보를 공유함에 있어서도 부호화 블록 내의 모든 예측 블록들의 공간적 머징 후보 블록의 탐색 위치를 항상 부호화 블록의 외부 위치가 되도록 함으로서 부호화 블록 내의 예측 블록에서 병렬적으로 화면 간 예측을 수행하도록 할 수 있다. 또는, 블록의 분할 형태에 따라 고정된 위치에 존재하는 공간적 머징 후보 블록을 사용하여 머징 후보 리스트를 생성할 수도 있다.
예를 들어 머지를 사용한 화면 간 예측에 있어서 일부의 공간적 머징 후보를 각각의 예측 블록들이 공유함으로서 머징 후보를 산출하는 과정의 복잡도를 감소시킬 수 있다.
예를 들어, 예측 블록의 공간적 머징 후보 블록의 탐색 위치를 부호화 블록의 외부 위치로 선택함에 있어, 세로 방향(예를 들어, Nx2N 형태)으로 분할된 예측 블록들간에는 부호화 블록의 외부 위치 중 좌측 위치의 공간적 머징 후보 블록을 공유하도록 할 수 있다. 가로 방향(예를 들어, 2NxN 형태)으로 분할된 예측 블록들 간에는 부호화 블록의 외부 위치 중 상측 위치의 공간적 머징 후보 블록을 공유하도록 할 수 있다. 즉, 머징 후보를 공유하지 않는 방식보다 공간적 머징 후보 유도 회수를 상당히 줄일 수 있다.
다음은 도면을 이용하여 이러한 방식의 실시예를 보다 구체적으로 설명한다.
이하의 실시예에서는 머지를 사용한 화면 간 예측을 사용할 경우를 가정하여 설명하지만, 후술할 방법들은 AMVP를 이용한 화면 간 예측에도 사용될 수 있다. 이하의 머지 방법에서 사용하는 공간적 머징 후보 블록 및 시간적 머징 후보 블록들은 AMVP에서는 예측 블록에 대한 움직임 벡터 예측 후보 리스트를 구성하기 위한 복수의 예측 블록으로 공간적 후보 예측 블록과 시간적 후보 예측 블록으로 해석할 수 있다.
이하 본 발명의 실시예에서 분할된 블록의 분할 인덱스를 사용하여 구분할 수 있다. 분할 인덱스가 0인 경우 제1 예측 블록, 분할 인덱스가 1인 경우 제2 예측 블록이 될 수 있다.

도 16은 본 발명의 실시예에 따른 머징 후보 리스트 생성 방법을 나타낸 개념도이다.
도 16(A)는 Nx2N 형태의 예측 블록으로 부호화 블록을 분할한 경우를 나타낸 것으로서 제1 예측 블록(1600)의 경우, 제1 예측 블록(1600)의 위치를 기준으로 공간적 머징 후보 블록으로 A0 블록(1605), A1 블록(1610), B0 블록(1615), B1 블록(1620), B2 블록(1625)을 사용하여 머징 후보 리스트를 생성할 수 있다.
하지만, 제2 예측 블록(1650)의 경우, 제2 예측 블록의 위치를 기준으로 공간적 머징 후보 블록을 유도할 경우, 공간적 머징 후보 블록 중 일부의 블록인 A0 블록(1630)과 A1 블록(1635)이 제1 예측 블록에 포함되는 위치에 존재하거나 아직 부호화되지 않은 부호화 블록의 위치에 포함될 수 있다. 공간적 머징 후보 블록이 이러한 위치에 존재하는 경우, 제1 예측 블록(1600)과 제2 예측 블록(1650)에 대한 머징을 이용한 화면 간 예측이 병렬적으로 수행될 수 없다. 따라서 공간적 머징 후보 블록으로 사용되는 A0 블록(1630)과 A1 블록(1635)의 위치를 부호화 블록의 외부에 위치한 블록 위치인 A0’ 블록(1605) 및 A1’ 블록(1610)으로 변경하여 제2 예측 블록(1650)에 대한 머징 후보 리스트를 산출하여 머징을 이용한 화면 간 예측을 수행할 수 있다. A0’ 블록(1605) 및 A1’ 블록(1610)은 제1 예측 블록(1600)의 공간적 머징 후보 블록 위치와 동일한 위치가 될 수 있다.
도 16(B)는 2NxN 형태의 예측 블록으로 부호화 블록을 분할한 경우를 나타낸 것으로서 제1 예측 블록(1660)의 경우, 제1 예측 블록(1660)의 위치를 기준으로 공간적 머징 후보 블록으로 A0 블록(1665), A1 블록(1667), B0 블록(1673), B1 블록(1675), B2 블록(1679)을 사용하여 머징 후보 리스트를 생성할 수 있다.
하지만, 제2 예측 블록(1690)의 경우, 제2 예측 블록(1690)의 위치를 기준으로 공간적 머징 후보 블록을 산출할 경우, 공간적 머징 후보 블록 중 일부의 블록인 B0 블록(1685)과 B1 블록(1687)이 제1 예측 블록(1660)에 포함되는 위치에 존재하거나 아직 부호화되지 않은 부호화 블록의 위치에 포함될 수 있다. 블록이 이러한 위치에 존재하는 경우, 제1 예측 블록(1660)과 제2 예측 블록(1690)에 대한 머징을 이용한 화면 간 예측이 병렬적으로 수행될 수 없다. 따라서 B0 블록(1685)과 B1 블록(1687)의 위치를 부호화 블록의 외부에 위치한 블록 위치인 B0’ 블록(1673) 및 B1’ 블록(1675)으로 변경하여 제2 예측 블록(1690)에 대한 머징 후보 리스트를 산출하여 머징을 이용한 화면 간 예측을 수행할 수 있다. B0’ 블록(1673) 및 B1’ 블록(1675)은 제1 예측 블록(1660)이 사용하는 공간적 머징 후보 블록의 위치일 수 있다.
공간적 머징 후보 블록의 위치를 변경하기 위해서 현재 블록(예측 대상 블록)과 현재 블록의 공간적 머징 후보 블록이 동일한 병렬적 머지 프로세싱이 실시 가능한 블록에 포함되는지 여부를 판단할 수 있다. 판단 결과, 현재 블록(예측 대상 블록)과 현재 블록의 공간적 머징 후보가 동일한 병렬적 머지 프로세싱이 실시 가능한 블록에 포함되는 경우 해당 블록을 가용하지 않은 것으로 설정하여 머징 후보 리스트를 구성하는데 사용하지 않을 수 있다. 가용하지 않은 블록은 다른 블록으로 대체되어 공간적 머징 후보를 산출할 수 있다.


도 17은 본 발명의 실시예에 따른 부호화 블록의 분할 형태에 따른 공간적 머징 후보의 위치를 나타낸 개념도이다.
도 17을 참조하면, 블록의 분할 형태에 따라서 서로 다른 위치의 공간적 머징 후보 블록을 유도하여 공간적 머지 후보를 산출할 수 있다. 즉, 모든 예측 블록의 공간적 머징 후보 블록의 위치를 이미 부호화가 완료된 부호화 블록의 외부에 위치하도록 함으로서 하나의 부호화 블록에서 분할된 복수의 예측 블록에 대하여 병렬적으로 머지를 이용한 화면 간 예측이 수행되도록 할 수 있다. 또한, 공간적 머징 후보를 유도하기 위한 일부의 공간적 머징 후보 블록을 공유함으로서 머징 후보 리스트를 유도하기 위한 과정의 복잡도를 줄일 수 있다.

도 18은 본 발명의 실시예에 따른 머징 후보 리스트 생성 방법을 나타낸 개념도이다.
도 18(A)는 Nx2N 형태의 예측 블록으로 부호화 블록을 분할한 경우를 나타낸 것으로서 제1 예측 블록(1800)의 경우, 제1 예측 블록(1800)의 위치를 기준으로 공간적 머징 후보 블록으로 A0 블록(1805), A1 블록(1810), B0 블록(1815), B1 블록(1820), B2 블록(1825)을 사용하여 머징 후보 리스트를 생성할 수 있다.
하지만, 제2 예측 블록(1850)의 경우, 제2 예측 블록(1850)이 포함된 부호화 블록의 위치를 기준으로 공간적 머징 후보 블록을 산출할 수 있다. 제2 예측 블록(1850)을 기준으로 공간적 머징 후보 블록을 산출할 경우 제1 예측 블록(1800)과 제2 예측 블록(1850)에 대한 머징을 이용한 화면 간 예측이 병렬적으로 수행될 수 없다. 따라서, 제2 예측 블록(1850)이 포함된 부호화 블록의 외부에 위치한 이미 부호화 또는 복호화가 수행된 블록 위치에 존재하는 블록(1805, 1810, 1830, 1835, 1825)을 공간적 머징 후보 블록으로 사용하여 머징 후보 리스트를 산출할 수 있다.
도 18(B)는 2NxN 형태의 예측 블록으로 부호화 블록을 분할한 경우를 나타낸 것으로서 제1 예측 블록(1860)의 경우, 제1 예측 블록(1860)의 위치를 기준으로 공간적 머징 후보 블록으로 A0 블록(1865), A1 블록(1870), B0 블록(1875), B1 블록(1880), B2 블록(1885)을 사용하여 머징 후보 리스트를 생성할 수 있다.
하지만, 제2 예측 블록(1895)의 경우 부호화 블록의 외부에 위치한 이미 부호화 또는 복호화가 수행된 블록 위치에 존재하는 블록을 공간적 머징 후보 블록(1887, 1889, 1875, 1880, 1885)으로 변경하여 제2 예측 블록에 대한 머징 후보 리스트를 산출하여 머징을 이용한 화면 간 예측을 수행할 수 있다.

도 19은 본 발명의 실시예에 따른 부호화 블록의 분할 형태에 따른 공간적 머징 후보 블록의 위치를 나타낸 개념도이다.
도 19를 참조하면, 블록의 분할 형태에 따라서 서로 다른 위치의 공간적 머징 후보 블록을 산출하여 사용할 수 있다. 즉, 모든 예측 블록의 공간적 머징 후보 블록을 이미 부호화가 완료된 부호화 블록의 외부에 위치하도록 함으로서 하나의 부호화 블록에서 분할된 복수의 예측 블록에 대하여 병렬적으로 머지를 이용한 화면 간 예측이 수행되도록 할 수 있다.

도 20은 본 발명의 실시예에 따른 부호화 블록의 분할 형태에 따른 공간적 머징 후보 블록의 위치를 나타낸 개념도이다.
도 20(A)를 참조하면, 가로 방향으로 분할된 형태(2NxnU, 2NxnD, 2NxN)에 대하여 제2 예측 블록에 대하여 동일한 위치의 공간적 머징 후보 블록인 A0 블록, A1 블록, B0 블록, B1 블록 및 B2 블록을 사용함으로써 분할 형태에 상관없이 동일한 위치의 공간적 머징 후보 블록을 사용할 수 있다.
도 20(B)를 참조하면, 세로 방향으로 분할된 형태(nLx2N, nRx2N, Nx2N)의 경우, 제2 예측 블록에 대하여 동일한 위치의 공간적 머징 후보 블록인 A0 블록, A1 블록, B0 블록, B1 블록, B2 블록을 사용함으로서 분할 형태에 상관없이 동일한 위치의 공간적 머징 후보 블록을 사용할 수 있다.
도 20에서의 고정된 위치는 하나의 부호화 블록에서 고정된 위치의 공간적 머징 후보 블록을 사용하는 것을 나타내는 하나의 예시이다. 즉, 고정된 공간적 머징 후보 블록의 위치는 변할 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.

도 21은 본 발명의 실시예에 따른 부호화 블록의 분할 형태에 따른 공간적 머징 후보 블록의 위치를 나타낸 개념도이다.
도 21을 참조하면, 특정 크기의 부호화 블록이 복수개의 부호화 블록으로 분할될 경우를 나타낸 개념도이다. 특정 크기의 블록을 기준으로 동일한 머징 후보 리스트를 공유할 경우, 공간적 머징 후보 블록은 특정 크기의 블록의 위치를 기준으로 유도될 수 있고 산출된 공간적 머징 후보로부터 산출된 공간적 머징 후보를 사용하여 단일 머징 후보 리스트를 구성할 수 있다. 특정 크기의 블록에 포함된 부호화 블록 중 좌측 상단에 위치한 부호화 블록의 경우 해당 부호화 블록을 기준으로 공간적 머징 후보 블록을 산출하여도 모두 이미 부호화가 수행된 위치에 존재하기 때문에 좌측 상단에 위치한 부호화 블록만은 다른 머징 후보 리스트를 생성하여 사용할 수 있다.
도 21을 참조하면, 특정 크기의 블록에 포함된 예측 블록들 중 좌측 상단에 위치한 부호화 블록(2100)에 포함되는 예측 블록을 제외한 나머지 예측 블록들은 특정한 크기의 블록 위치를 기준으로 산출된 동일한 공간적 머징 후보 블록(A0, A1, B0, B1, B2)를 공유할 수 있다.
하지만, 특정 크기의 블록들 중 좌측 상단에 위치한 부호화 블록(2100)의 경우, 해당 부호화 블록을 기준으로 산출된 공간적 머징 후보 블록을 사용하여 머지를 이용한 화면 간 예측을 수행할 수 있다. 왜냐하면, 좌측 상단에 위치한 부호화 블록(2100)의 경우 해당 블록을 기준으로 산출한 공간적 머징 후보 블록이 모두 가용한 위치에 존재하기 때문에 좌측 상단에 위치한 부호화 블록은 자신의 위치를 기준으로 유도된 공간적 머징 후보 블록으로부터 산출된 공간적 머징 후보를 사용하여 화면 간 예측을 수행할 수 있다.
시간적 머징 후보는 공간적 머징 후보와 마찬가지로 특정한 크기의 블록 위치를 기준으로 산출될 수 있다. 시간적 머징 후보는 H0 블록, H1블록, H2 블록, H3 블록, H4 블록의 순서로 가용한 블록을 판단하여 가용한 블록을 머징 후보 리스트에 포함시켜 사용할 수 있다. 시간적인 머징 후보는 참조 픽쳐의 픽쳐 번호에 따라 스케일되어 사용될 수 있다. 시간적인 머징 후보는 도 21에 대응되는 블록(X’)의 경계에 위치한 블록들뿐만 아니라 내부에 위치한 블록(M, N, O, P, Q)들도 이용할 수 있다.

도 22는 본 발명의 실시예에 따른 본 발명의 실시예에 따른 부호화 블록의 분할 형태에 따른 공간적 머징 후보 블록의 위치를 나타낸 개념도이다.
도 22에서는 특정 블록의 크기를 기준으로 공간적 머징 후보를 산출할 때 공간적 머징 후보 블록과 거리가 먼 부호화 블록의 경우, 특정 블록의 크기를 기준으로 유도된 공간적 머징 후보 블록으로부터 산출된 공간적 머징 후보를 사용하지 않고 시간적 머징 후보만을 사용하여 머징 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 22을 참조하면, 예를 들어, 1(2200)로 지시된 크기에 포함되는 블록들에 대하여 시간적 머징 후보만을 사용하여 머징 후보 리스트를 생성할 수 있다. 즉, 특정한 지시자에 의해 시간적 후보만을 사용하여 머징 후보 리스트를 생성하는 블록 단위를 지시할 수 있다.
시간적 머징 후보는 H0 블록, H1블록, H2 블록, H3 블록, H4 블록의 순서로 가용한 블록을 판단하여 가용한 블록을으로부터 산출된 시간적 머징 후보를 머징 후보 리스트에 포함시켜 사용할 수 있다. 시간적인 머징 후보에서 산출된 움직임 벡터는 참조 픽쳐의 픽쳐 번호에 따라 스케일되어 사용될 수 있다. 시간적인 머징 후보는 도 22에 대응되는 블록(X’)의 경계에 위치한 블록들뿐만 아니라 내부에 위치한 블록(M, N, O, P, Q)들도 이용할 수 있다.
전술한 방법들은 모두 부호화 블록 크기 혹은 부호화 블록의 깊이 등에 따라 적용 범위를 달리할 수 있다. 이렇게 적용 범위를 결정하는 변수(즉, 블록의 크기 또는 블록의 깊이 정보)는 부호화기 및 복호화기가 미리 정해진 값을 사용하도록 설정할 수도 있고, 영상 부호화 방법의 프로파일 또는 레벨에 따라 정해진 값을 사용하도록 할 수 도 있다. 또한, 부호화기가 변수 값을 비트스트림에 기재하면 복호화기는 비트스트림으로부터 이 값을 구하여 사용할 수도 있다.
부호화 블록의 깊이에 따라 적용 범위를 달리하는 할 때는 아래 표 6에 예시한 바와 같이, 방식A) 주어진 깊이 이상의 깊이에만 적용하는 방식, 방식B) 주어진 깊이 이하에만 적용하는 방식, 방식C) 주어진 깊이에만 적용하는 방식이 있을 수 있다.
표 6은 주어진 부호화 블록의 깊이가 2인 경우, 본 발명의 방식A), 방식B), 또는 방식C)를 적용하는 범위 결정 방법의 예를 나타낸 것이다. (O: 해당 깊이에 적용, X: 해당 깊이에 적용하지 않음.)
<표 6>
Figure PCTKR2012009427-appb-I000006
모든 깊이에 대하여 본 발명의 방법들을 적용하지 않는 경우는 전술한 표 2~표 5에 예시한 parallel_merge_enabled_flag와 같은 지시자를 사용하여 나타낼 수도 있고, 적용되는 깊이 정보를 나타내는 구문 요소에 해당 정보를 포함하여 전송할 수도 있다. 부호화 블록의 깊이의 최대값보다 하나 더 큰 값을 적용 범위를 나타내는 부호화 블록의 깊이값으로 시그널링함으로서 표현할 수도 있다.


도 23은 본 발명의 실시예에 따른 단일 후보 리스트 생성 방법을 사용할 경우 복수의 예측 블록이 병렬적으로 부호화 및 복호화되는 과정을 나타낸 개념도이다.
도 23(A)에서는 하나의 부호화 블록이 두 개의 예측 블록으로 분할된 경우를 가정한다. 예를 들어, 부호화 블록이 특정한 조건을 만족할 경우, 부호화 블록에 포함된 두 개의 예측 블록은 단일 머지 후보 리스트를 사용하여 병렬적으로 머지 프로세싱이 실시 가능할 수 있다. 예를 들어, 부호화 블록의 크기가 특정한 값이고 병렬적 머지 프로세싱이 실시 가능한 블록 크기에 포함되는 경우, 부호화 블록을 기준으로 공간적 머징 후보 및 시간적 머징 후보를 산출하여 머지를 이용한 화면 간 예측을 수행할 수 있다. 이러한 방법은 다양한 형태의 블록에서 적용될 수 있다.
도 23(B)는 다양한 형태로 분할된 부호화 블록에 대해 단일 머지 후보 리스트를 사용하여 부호화를 수행하는 것을 나타낸다. 하나의 부호화 블록은 도시된 바와 같이 여러 가지 형태의 블록으로 분할될 수 있다. 분할된 예측 블록들은 머지 후보 리스트를 공유할 수 있고, 공유되는 머지 후보 리스트를 사용하여 병렬적으로 머지를 이용한 화면 간 예측을 수행할 수 있다. 즉, 하나의 부호화 블록에 포함된 복수의 예측 블록에 대해 병렬적인 부호화가 가능하다. 이러한 방법은 복호화 단계에서도 적용될 수 있다.
이러한 방법을 사용함으로서 각각의 예측 블록에 대해 머지 후보 리스트를 생성함으로서 발생하는 복잡도를 감소시킬 수 있고, 영상 처리 속도 또한 증가시킬 수 있다. 향후 UHDTV와 같은 해상도(resolution)가 높은 영상의 경우, 영상 처리를 수행함에 있어 병렬적 처리가 중요한데, 본 발명에서 개시된 방법을 사용함으로 병렬적인 영상 처리가 가능하다.
이상에서 설명한 영상 부호화 및 영상 복호화 방법은 도 1 및 도 2에서 전술한 각 영상 부호화기 및 영상 복호화기 장치의 각 구성부에서 구현될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (16)

  1. 예측 블록에 대한 머징 후보 리스트 생성 방법에 있어서,
    병렬적 머지 프로세스가 실시되는 상기 예측 블록의 공간적 머징 후보 및 시간적 머징 후보 중 적어도 하나의 머징 후보를 상기 예측 블록이 포함된 부호화 블록을 기준으로 산출하는 단계; 및
    상기 산출된 머징 후보를 기초로 상기 부호화 블록에 대해 단일 머징 후보 리스트를 생성하는 단계를 포함하는 머징 후보 리스트 생성 방법.
  2. 제1항에 있어서, 상기 병렬적 머지 프로세스가 수행되는 상기 예측 블록의 공간적 머징 후보 및 시간적 머징 후보 중 적어도 하나의 머징 후보를 상기 예측 블록이 포함된 부호화 블록을 기준으로 산출하는 단계는,
    상기 부호화 블록의 픽셀 위치 및 상기 부호화 블록의 크기를 기초로 공간적 머징 후보 블록 및 시간적 머징 후보 블록을 유도하는 단계; 및
    상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 상기 머징 후보로 산출하는 단계를 포함하는 머징 후보 리스트 생성 방법.
  3. 제2항에 있어서, 상기 예측 블록에 대한 머징 후보 리스트 생성 방법은,
    상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하는 단계를 더 포함하고,
    상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하는 단계는,
    병렬적 머지 프로세스가 실시 가능한 블록의 크기 정보를 복호화하는 단계; 및
    상기 병렬적 머지 프로세스가 실시 가능한 블록의 크기 정보와 상기 부호화 블록의 크기 정보를 기초로 상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하는 단계를 포함하는 머징 후보 리스트 생성 방법.
  4. 제3항에 있어서, 상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 상기 머징 후보로 산출하는 단계는,
    상기 부호화 블록과 상기 부호화 블록을 기초로 유도된 공간적 머징 후보 블록이 상기 병렬적 머지 프로세스가 실시 가능한 블록의 내부에 위치하는지 여부를 판단하는 단계; 및
    상기 부호화 블록과 상기 부호화 블록을 기초로 유도된 공간적 머징 후보 블록이 상기 병렬적 머지 프로세스가 실시 가능한 블록의 내부에 위치하는 경우, 상기 공간적 머징 후보 블록을 가용하지 않은 공간적 머징 후보 블록으로 판단하는 단계를 포함하는 머징 후보 리스트 생성 방법.
  5. 제3항에 있어서, 상기 병렬적 머지 프로세스가 실시 가능한 블록의 크기 정보와 상기 부호화 블록의 크기 정보를 기초로 상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하는 단계는,
    병렬적으로 머지 프로세스가 실시 가능한 블록의 크기가 미리 정해진 특정한 크기 이상인지 여부를 판단하는 단계;
    상기 부호화 블록이 특정한 크기인지 여부를 판단하는 단계; 및
    병렬적으로 머지 프로세스가 실시 가능한 블록의 크기가 상기 미리 정해진 특정한 크기 이상이고 상기 부호화 블록이 상기 특정한 크기인 경우 상기 예측 블록을 상기 단일 머징 후보 리스트를 사용하여 머지를 수행하는 것으로 판단하는 단계를 포함하는 머징 후보 리스트 생성 방법.
  6. 제3항에 있어서, 상기 예측 블록에 대한 머징 후보 리스트 생성 방법은,
    상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록이 아닌 경우, 상기 예측 블록의 픽셀 위치 및 상기 예측 블록의 크기를 기초로 상기 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록을 유도하는 단계; 및
    상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 머징 후보로서 산출하는 단계를 더 포함하는 머징 후보 리스트 생성 방법.
  7. 제6항에 있어서, 상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 머징 후보로서 산출하는 단계는,
    상기 예측 블록이 Nx2N, nLx2N 및 nRx2N 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인지 여부를 판단하는 단계; 및
    상기 예측 블록이 Nx2N, nLx2N 및 nRx2N 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인 경우, 제1 예측 블록에 포함된 공간적 머징 후보 블록을 가용하지 않은 것으로 판단하는 단계를 포함하는 머징 후보 리스트 생성 방법.
  8. 제6항에 있어서, 상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 머징 후보로서 산출하는 단계는,
    상기 예측 블록이 2NxN, 2NxnU 및 2NxnD 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인지 여부를 판단하는 단계; 및
    상기 예측 블록이 2NxN, 2NxnU 및 2NxnD 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인 경우, 상기 제1 예측 블록에 포함된 공간적 머징 후보 블록을 가용하지 않은 것으로 판단하는 단계를 포함하는 머징 후보 리스트 생성 방법.

  9. 예측 블록에 대한 머징 후보 리스트를 생성하는 영상 복호화 장치에 있어서, 상기 영상 복호화 장치는 예측부를 포함하고, 상기 예측부는 병렬적 머지 프로세스가 실시되는 상기 예측 블록의 공간적 머징 후보 및 시간적 머징 후보 중 적어도 하나의 머징 후보를 상기 예측 블록이 포함된 부호화 블록을 기준으로 산출하고 상기 산출된 머징 후보를 기초로 상기 부호화 블록에 대해 단일 머징 후보 리스트를 생성하도록 구현되는 영상 복호화 장치.

  10. 제9항에 있어서, 상기 예측부는,
    상기 병렬적 머지 프로세스가 수행되는 상기 예측 블록의 공간적 머징 후보 및 시간적 머징 후보 중 적어도 하나의 머징 후보를 상기 예측 블록이 포함된 부호화 블록을 기준으로 산출하기 위해서 상기 부호화 블록의 픽셀 위치 및 상기 부호화 블록의 크기를 기초로 공간적 머징 후보 블록 및 시간적 머징 후보 블록을 유도하고 상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 상기 머징 후보로 산출하도록 구현되는 영상 복호화 장치.

  11. 제10항에 있어서, 상기 예측부는,
    상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하도록 구현되고, 상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하기 위해 복호화된 병렬적 머지 프로세스가 실시 가능한 블록의 크기 정보와 상기 부호화 블록의 크기 정보를 기초로 상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하도록 구현되는 예측부인 영상 복호화 장치.

  12. 제11항에 있어서, 상기 예측부는,
    상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 상기 머징 후보로 산출하기 위해 상기 부호화 블록과 상기 부호화 블록을 기초로 유도된 공간적 머징 후보 블록이 상기 병렬적 머지 프로세스가 실시 가능한 블록의 내부에 위치하는지 여부를 판단하고 상기 부호화 블록과 상기 부호화 블록을 기초로 유도된 공간적 머징 후보 블록이 상기 병렬적 머지 프로세스가 실시 가능한 블록의 내부에 위치하는 경우, 상기 공간적 머징 후보 블록을 가용하지 않은 공간적 머징 후보 블록으로 판단하도록 구현되는 영상 복호화 장치.

  13. 제11항에 있어서, 상기 예측부는,
    상기 병렬적 머지 프로세스가 실시 가능한 블록의 크기 정보와 상기 부호화 블록의 크기 정보를 기초로 상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록인지 여부를 판단하기 위해 병렬적으로 머지 프로세스가 실시 가능한 블록의 크기가 미리 정해진 특정한 크기 이상인지 여부를 판단하고 상기 부호화 블록이 특정한 크기인지 여부를 판단하고 병렬적으로 머지 프로세스가 실시 가능한 블록의 크기가 상기 미리 정해진 특정한 크기 이상이고 상기 부호화 블록이 상기 특정한 크기인 경우 상기 예측 블록을 상기 단일 머징 후보 리스트를 사용하여 머지를 수행하는 것으로 판단하도록 구현되는 영상 복호화 장치.

  14. 제11항에 있어서, 상기 예측부는,
    상기 예측 블록이 병렬적 머지 프로세스가 실시 가능한 블록이 아닌 경우, 상기 예측 블록의 픽셀 위치 및 상기 예측 블록의 크기를 기초로 상기 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록을 유도하고 상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 머징 후보로서 산출하도록 구현되는 영상 복호화 장치.

  15. 제14항에 있어서, 상기 예측부는,
    상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 머징 후보로서 산출하기 위해 상기 예측 블록이 Nx2N, nLx2N 및 nRx2N 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인지 여부를 판단하고 상기 예측 블록이 Nx2N, nLx2N 및 nRx2N 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인 경우, 제1 예측 블록에 포함된 공간적 머징 후보 블록을 가용하지 않은 것으로 판단하도록 구현되는 영상 복호화 장치.

  16. 제14항에 있어서, 상기 예측부는,
    상기 유도된 공간적 머징 후보 블록 및 상기 시간적 머징 후보 블록 중 가용한 머징 후보 블록의 움직임 예측 관련 정보를 머징 후보로서 산출하기 위해 상기 예측 블록이 2NxN, 2NxnU 및 2NxnD 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인지 여부를 판단하고 상기 예측 블록이 2NxN, 2NxnU 및 2NxnD 형태 중 하나의 형태로 분할된 블록이고 상기 예측 블록이 제2 예측 블록인 경우, 상기 제1 예측 블록에 포함된 공간적 머징 후보 블록을 가용하지 않은 것으로 판단하도록 구현되는 영상 복호화 장치.

PCT/KR2012/009427 2011-11-08 2012-11-08 후보 리스트 공유 방법 및 이러한 방법을 사용하는 장치 WO2013070001A1 (ko)

Priority Applications (21)

Application Number Priority Date Filing Date Title
EP12848248.6A EP2779649A4 (en) 2011-11-08 2012-11-08 METHOD AND DEVICE FOR SHARING A LIST OF CANDIDATES
US14/353,615 US9516334B2 (en) 2011-11-08 2012-11-08 Method and device for sharing a candidate list
CN201280066431.7A CN104185988B (zh) 2011-11-08 2012-11-08 用于共享候选者列表的方法和装置
JP2014540949A JP5969041B2 (ja) 2011-11-08 2012-11-08 候補リスト共有方法及びこのような方法を使用する装置
RU2014123309/08A RU2575419C2 (ru) 2011-11-08 2012-11-08 Способ и устройство для совместного использования списка кандидатов
EP21193171.2A EP4009640A1 (en) 2011-11-08 2012-11-08 Method and device for sharing a candidate list
US15/342,690 US9716890B2 (en) 2011-11-08 2016-11-03 Method and device for sharing a candidate list
US15/342,662 US9621903B2 (en) 2011-11-08 2016-11-03 Method and device for sharing a candidate list
US15/342,751 US9854249B2 (en) 2011-11-08 2016-11-03 Method and device for sharing a candidate list
US15/342,721 US9621910B2 (en) 2011-11-08 2016-11-03 Method and device for sharing a candidate list
US15/814,030 US10038907B2 (en) 2011-11-08 2017-11-15 Method and device for sharing a candidate list
US16/018,405 US10326999B2 (en) 2011-11-08 2018-06-26 Method and device for sharing a candidate list
US16/018,324 US10326998B2 (en) 2011-11-08 2018-06-26 Method and device for sharing a candidate list
US16/018,522 US10341666B2 (en) 2011-11-08 2018-06-26 Method and device for sharing a candidate list
US16/400,445 US10536706B2 (en) 2011-11-08 2019-05-01 Method and device for sharing a candidate list
US16/695,666 US10805612B2 (en) 2011-11-08 2019-11-26 Method and device for sharing a candidate list
US16/695,685 US10694191B2 (en) 2011-11-08 2019-11-26 Method and device for sharing a candidate list
US15/930,778 US10863181B2 (en) 2011-11-08 2020-05-13 Method and device for sharing a candidate list
US17/072,925 US11206411B2 (en) 2011-11-08 2020-10-16 Method and device for sharing a candidate list
US17/526,365 US11711523B2 (en) 2011-11-08 2021-11-15 Method and device for sharing a candidate list
US17/859,565 US20220337845A1 (en) 2011-11-08 2022-07-07 Method and device for sharing a candidate list

Applications Claiming Priority (14)

Application Number Priority Date Filing Date Title
KR20110115607 2011-11-08
KR10-2011-0115607 2011-11-08
KR20110116527 2011-11-09
KR10-2011-0116527 2011-11-09
KR20110121428 2011-11-21
KR10-2011-0121428 2011-11-21
KR10-2011-0124813 2011-11-28
KR20110124813 2011-11-28
KR20110140861 2011-12-23
KR10-2011-0140861 2011-12-23
KR10-2012-0011412 2012-02-03
KR20120011412 2012-02-03
KR10-2012-0126369 2012-11-08
KR1020120126369A KR101615662B1 (ko) 2011-11-08 2012-11-08 영상 복호화 방법 및 장치

Related Child Applications (5)

Application Number Title Priority Date Filing Date
US14/353,615 A-371-Of-International US9516334B2 (en) 2011-11-08 2012-11-08 Method and device for sharing a candidate list
US15/342,751 Continuation US9854249B2 (en) 2011-11-08 2016-11-03 Method and device for sharing a candidate list
US15/342,721 Continuation US9621910B2 (en) 2011-11-08 2016-11-03 Method and device for sharing a candidate list
US15/342,690 Continuation US9716890B2 (en) 2011-11-08 2016-11-03 Method and device for sharing a candidate list
US15/342,662 Continuation US9621903B2 (en) 2011-11-08 2016-11-03 Method and device for sharing a candidate list

Publications (1)

Publication Number Publication Date
WO2013070001A1 true WO2013070001A1 (ko) 2013-05-16

Family

ID=48661129

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/009427 WO2013070001A1 (ko) 2011-11-08 2012-11-08 후보 리스트 공유 방법 및 이러한 방법을 사용하는 장치

Country Status (7)

Country Link
US (16) US9516334B2 (ko)
EP (2) EP2779649A4 (ko)
JP (14) JP5969041B2 (ko)
KR (17) KR101615662B1 (ko)
CN (11) CN104185988B (ko)
RU (4) RU2632155C1 (ko)
WO (1) WO2013070001A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014529254A (ja) * 2011-09-09 2014-10-30 エルジー エレクトロニクス インコーポレイティド インタ予測方法及びその装置
JP2016027768A (ja) * 2011-12-28 2016-02-18 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2016042727A (ja) * 2011-12-28 2016-03-31 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
CN106105191A (zh) * 2014-03-19 2016-11-09 株式会社Kt 用于处理多视图视频信号的方法和装置
JP2017085611A (ja) * 2011-09-23 2017-05-18 ケィティ、コーポレーションＫｔ Ｃｏｒｐｏｒａｔｉｏｎ マージ候補ブロック誘導方法及びこのような方法を用いる装置
WO2019182295A1 (ko) * 2018-03-19 2019-09-26 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2020004979A1 (ko) * 2018-06-27 2020-01-02 디지털인사이트주식회사 영상 부호화/복호화 방법 및 장치
CN111741310A (zh) * 2014-10-31 2020-10-02 三星电子株式会社 用于对运动矢量进行编码/解码的方法和装置
US11025943B2 (en) * 2017-10-20 2021-06-01 Kt Corporation Video signal processing method and device

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011311904B2 (en) 2010-10-06 2016-02-25 President And Fellows Of Harvard College Injectable, pore-forming hydrogels for materials-based cell therapies
CN104185988B (zh) 2011-11-08 2019-05-10 韩国电子通信研究院 用于共享候选者列表的方法和装置
CN110545421B (zh) * 2012-10-12 2022-11-22 韩国电子通信研究院 图像编码/解码方法和使用其的装置
KR102179383B1 (ko) * 2013-08-09 2020-11-16 삼성전자주식회사 병합 모드 결정 방법 및 장치
JP6574976B2 (ja) * 2014-03-18 2019-09-18 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法
CN106134192B (zh) * 2014-03-25 2020-08-11 株式会社索思未来 图像解码装置、图像解码方法及集成电路
US10355386B2 (en) 2015-02-03 2019-07-16 Fci Usa Llc Electrical connector with contact configured for surface mount
WO2017010073A1 (ja) 2015-07-10 2017-01-19 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
WO2017043734A1 (ko) * 2015-09-07 2017-03-16 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20170085886A1 (en) * 2015-09-18 2017-03-23 Qualcomm Incorporated Variable partition size for block prediction mode for display stream compression (dsc)
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
EP3469793A1 (en) * 2016-06-24 2019-04-17 Huawei Technologies Co., Ltd. Devices and methods for video coding using segmentation based partitioning of video coding blocks
CN116708782A (zh) 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
KR102424417B1 (ko) * 2016-08-03 2022-07-22 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR102531386B1 (ko) * 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
CN116866570A (zh) 2016-10-04 2023-10-10 株式会社Kt 用于处理视频信号的方法和装置
US10785477B2 (en) 2016-10-06 2020-09-22 Lg Electronics Inc. Method for processing video on basis of inter prediction mode and apparatus therefor
US10484703B2 (en) * 2017-02-07 2019-11-19 Mediatek Inc. Adapting merge candidate positions and numbers according to size and/or shape of prediction block
JP6992815B2 (ja) 2017-09-27 2022-01-13 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
CN118075454A (zh) 2017-09-29 2024-05-24 Lx 半导体科技有限公司 图像编码/解码方法、存储介质及图像数据的发送方法
US10812810B2 (en) * 2018-02-06 2020-10-20 Tencent America LLC Method and apparatus for video coding in merge mode
KR20200097811A (ko) 2018-02-22 2020-08-19 엘지전자 주식회사 영상 코딩 시스템에서 블록 분할 구조에 따른 영상 디코딩 방법 및 장치
US10397603B1 (en) * 2018-05-08 2019-08-27 Tencent America LLC Method and apparatus for video coding
KR20190133629A (ko) * 2018-05-23 2019-12-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
CA3100970A1 (en) 2018-05-24 2019-11-28 Kt Corporation Method and apparatus for processing video signal
KR20210024502A (ko) 2018-06-29 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝
CN115134599A (zh) 2018-06-29 2022-09-30 抖音视界有限公司 更新查找表（lut）的条件
CN112204982B (zh) 2018-06-29 2024-09-17 株式会社Kt 用于处理视频信号的方法和设备
WO2020003284A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
CN110662059B (zh) 2018-06-29 2021-04-20 北京字节跳动网络技术有限公司 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
CN114845108A (zh) 2018-06-29 2022-08-02 抖音视界(北京)有限公司 查找表的更新：fifo、约束的fifo
KR102646649B1 (ko) 2018-06-29 2024-03-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
WO2020003270A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Number of motion candidates in a look up table to be checked according to mode
WO2020003261A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Selection from multiple luts
JP7181395B2 (ja) 2018-07-02 2022-11-30 北京字節跳動網絡技術有限公司 イントラ予測モードを有するルックアップテーブルおよび非隣接ブロックからのイントラモード予測
BR112021000750A2 (pt) 2018-07-16 2021-05-11 Electronics And Telecommunications Research Institute método e aparelho para codificar/decodificar imagens e mídia de gravação na qual um fluxo de bits é armazenado
US11019357B2 (en) * 2018-08-07 2021-05-25 Qualcomm Incorporated Motion vector predictor list generation
CN112585972B (zh) 2018-08-17 2024-02-09 寰发股份有限公司 视频编解码的帧间预测方法及装置
US11245922B2 (en) 2018-08-17 2022-02-08 Mediatek Inc. Shared candidate list
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
US10958932B2 (en) 2018-09-12 2021-03-23 Qualcomm Incorporated Inter-prediction coding of video data using generated motion vector predictor list including non-adjacent blocks
WO2020057504A1 (en) * 2018-09-17 2020-03-26 Mediatek Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
EP3857888A4 (en) * 2018-10-06 2022-08-03 HFI Innovation Inc. METHOD AND APPARATUS FOR AN AREA OF A SHARED MERGER CANDIDATE LIST FOR ENABLING VIDEO CODING
CN118694934A (zh) * 2018-12-28 2024-09-24 三星电子株式会社 用于对运动矢量差进行编码的方法和设备以及用于对运动矢量差进行解码的方法和设备
WO2020143741A1 (en) 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Invoke of lut updating
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
CN113383547A (zh) 2019-02-01 2021-09-10 北京字节跳动网络技术有限公司 环路整形和帧间编解码工具之间的相互作用
EP3878181B1 (en) 2019-03-04 2024-07-31 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods using ibc merge list
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
WO2020192614A1 (en) 2019-03-23 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Restrictions on adaptive-loop filtering parameter sets
US11218727B2 (en) 2019-07-11 2022-01-04 Tencent America LLC Method and apparatus for predictor candidate list size signaling for intra picture block compensation
CN113824960B (zh) * 2019-11-13 2024-02-23 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机可读介质及电子设备
US11778169B2 (en) * 2019-12-27 2023-10-03 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding using reference picture

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030079872A (ko) * 2003-09-04 2003-10-10 박광훈 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치
KR20070117432A (ko) * 2006-06-08 2007-12-12 경희대학교 산학협력단 다시점 비디오 코딩에서의 움직임 벡터 예측 방법 및 이를이용한 다시점 영상의 부호화/복호화 방법 및 장치
KR20110107827A (ko) * 2008-12-31 2011-10-04 어드밴스드 마이크로 디바이시즈, 인코포레이티드 차동 움직임 벡터들의 개선된 공간적인 필터링을 갖는 다중-후보 움직임 추정

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
CN101026761B (zh) * 2006-02-17 2010-05-12 中国科学院自动化研究所 一种具有最小误差的快速变尺寸块匹配的运动估计方法
EP2034740B1 (en) * 2006-05-17 2013-07-17 Fujitsu Limited Image data compression device, compression method, program, and image data decompression device, decompression method, and program
RU2426267C2 (ru) * 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
PL2260231T3 (pl) 2008-04-01 2022-01-03 Honeywell International Inc. Sposoby stosowania dwufazowych mieszanin chłodziwa-smaru w urządzeniach chłodniczych ze sprężaniem pary
KR101306834B1 (ko) 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
CN101686393B (zh) * 2008-09-28 2012-10-17 华为技术有限公司 应用于模板匹配的快速运动搜索方法及装置
CN102177715A (zh) * 2008-11-10 2011-09-07 松下电器产业株式会社 图像解码装置、图像解码方法、集成电路以及程序
PE20120570A1 (es) 2009-07-14 2012-05-19 Irm Llc Diferenciacion de celulas madre mesenquimales
CN101610413B (zh) * 2009-07-29 2011-04-27 清华大学 一种视频的编码/解码方法及装置
JP2013509578A (ja) 2009-10-30 2013-03-14 スピンクス インコーポレイテッド 異種アッセイの洗浄方法及び装置としてのサイフォン吸引
US8488007B2 (en) * 2010-01-19 2013-07-16 Sony Corporation Method to estimate segmented motion
JP5954828B2 (ja) 2010-05-21 2016-07-20 株式会社明治 皮膚状態の改善用組成物
US9066110B2 (en) * 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
JP5890827B2 (ja) * 2011-03-31 2016-03-22 テルモ株式会社 人工肺
US9313494B2 (en) 2011-06-20 2016-04-12 Qualcomm Incorporated Parallelization friendly merge candidates for video coding
US20130036071A1 (en) 2011-07-29 2013-02-07 Summerhaven Index Management Llc Dynamic commodity index methodology
MX365013B (es) 2011-08-29 2019-05-20 Ibex Pt Holdings Co Ltd Metodo para generar un bloque de prediccion en modo de prediccion de vector de movimiento avanzada (amvp).
US9621888B2 (en) 2011-09-09 2017-04-11 Lg Electronics Inc. Inter prediction method and apparatus therefor
US9736489B2 (en) * 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
WO2013042888A2 (ko) * 2011-09-23 2013-03-28 주식회사 케이티 머지 후보 블록 유도 방법 및 이러한 방법을 사용하는 장치
US9280835B2 (en) * 2011-10-18 2016-03-08 Nokia Technologies Oy Method for coding and an apparatus based on a DC prediction value
KR20130050406A (ko) 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
CN104185988B (zh) * 2011-11-08 2019-05-10 韩国电子通信研究院 用于共享候选者列表的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030079872A (ko) * 2003-09-04 2003-10-10 박광훈 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치
KR20070117432A (ko) * 2006-06-08 2007-12-12 경희대학교 산학협력단 다시점 비디오 코딩에서의 움직임 벡터 예측 방법 및 이를이용한 다시점 영상의 부호화/복호화 방법 및 장치
KR20110107827A (ko) * 2008-12-31 2011-10-04 어드밴스드 마이크로 디바이시즈, 인코포레이티드 차동 움직임 벡터들의 개선된 공간적인 필터링을 갖는 다중-후보 움직임 추정

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEO, CHAN WON ET AL., THE MAGAZINE OF THE IEEK, vol. 38, no. 8, 31 August 2011 (2011-08-31), pages 22 - 26 1975-2377, XP008173429 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014529254A (ja) * 2011-09-09 2014-10-30 エルジー エレクトロニクス インコーポレイティド インタ予測方法及びその装置
US11949883B2 (en) 2011-09-09 2024-04-02 Lg Electronics Inc. Inter prediction method and apparatus therefor
US11570446B2 (en) 2011-09-09 2023-01-31 Lg Electronics Inc. Inter prediction method and apparatus therefor
US11082704B2 (en) 2011-09-09 2021-08-03 Lg Electronics Inc. Inter prediction method and apparatus therefor
US9621888B2 (en) 2011-09-09 2017-04-11 Lg Electronics Inc. Inter prediction method and apparatus therefor
US10652551B2 (en) 2011-09-09 2020-05-12 Lg Electronics Inc. Inter prediction method and apparatus therefor
US10116941B2 (en) 2011-09-09 2018-10-30 Lg Electronics Inc. Inter prediction method and apparatus therefor
JP2018088697A (ja) * 2011-09-23 2018-06-07 ケィティ、コーポレーションＫｔ Ｃｏｒｐｏｒａｔｉｏｎ マージ候補ブロック誘導方法及びこのような方法を用いる装置
US10165294B2 (en) 2011-09-23 2018-12-25 Kt Corporation Method for inducing a merge candidate block and device using same
US9924185B2 (en) 2011-09-23 2018-03-20 Kt Corporation Method for inducing a merge candidate block and device using same
JP2018088696A (ja) * 2011-09-23 2018-06-07 ケィティ、コーポレーションＫｔ Ｃｏｒｐｏｒａｔｉｏｎ マージ候補ブロック誘導方法及びこのような方法を用いる装置
JP2018088695A (ja) * 2011-09-23 2018-06-07 ケィティ、コーポレーションＫｔ Ｃｏｒｐｏｒａｔｉｏｎ マージ候補ブロック誘導方法及びこのような方法を用いる装置
JP2017085611A (ja) * 2011-09-23 2017-05-18 ケィティ、コーポレーションＫｔ Ｃｏｒｐｏｒａｔｉｏｎ マージ候補ブロック誘導方法及びこのような方法を用いる装置
JP2017085609A (ja) * 2011-09-23 2017-05-18 ケィティ、コーポレーションＫｔ Ｃｏｒｐｏｒａｔｉｏｎ マージ候補ブロック誘導方法及びこのような方法を用いる装置
US9930359B2 (en) 2011-09-23 2018-03-27 Kt Corporation Method for inducing a merge candidate block and device using same
US10165295B2 (en) 2011-09-23 2018-12-25 Kt Corporation Method for inducing a merge candidate block and device using same
US10182237B2 (en) 2011-09-23 2019-01-15 Kt Corporation Method for inducing a merge candidate block and device using same
JP2016027768A (ja) * 2011-12-28 2016-02-18 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2016042727A (ja) * 2011-12-28 2016-03-31 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
US10257531B2 (en) 2014-03-19 2019-04-09 Kt Corporation Method and apparatus for processing multiview video signals based on illumination compensation and inter-view motion candidate
CN106105191A (zh) * 2014-03-19 2016-11-09 株式会社Kt 用于处理多视图视频信号的方法和装置
CN106105191B (zh) * 2014-03-19 2018-08-10 株式会社Kt 用于处理多视图视频信号的方法和装置
US11818388B2 (en) 2014-10-31 2023-11-14 Samsung Electronics Co., Ltd. Method and device for encoding/decoding motion vector
CN111741310A (zh) * 2014-10-31 2020-10-02 三星电子株式会社 用于对运动矢量进行编码/解码的方法和装置
US11818387B2 (en) 2014-10-31 2023-11-14 Samsung Electronics Co., Ltd. Method and device for encoding/decoding motion vector
US11818389B2 (en) 2014-10-31 2023-11-14 Samsung Electronics Co., Ltd. Method and device for encoding/decoding motion vector
US11831904B2 (en) 2014-10-31 2023-11-28 Samsung Electronics Co., Ltd. Method and device for encoding/decoding motion vector
CN111741310B (zh) * 2014-10-31 2024-03-19 三星电子株式会社 用于对运动矢量进行编码/解码的方法和装置
US11025943B2 (en) * 2017-10-20 2021-06-01 Kt Corporation Video signal processing method and device
US11627330B2 (en) 2017-10-20 2023-04-11 Kt Corporation Video signal processing method and device
WO2019182295A1 (ko) * 2018-03-19 2019-09-26 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN112106359A (zh) * 2018-03-19 2020-12-18 株式会社Kt 用于处理视频信号的方法和设备
US11128887B2 (en) 2018-03-19 2021-09-21 Kt Corporation Method and apparatus for processing video signal
CN112106359B (zh) * 2018-03-19 2024-04-05 株式会社Kt 用于处理视频信号的方法和设备
US11490077B2 (en) 2018-06-27 2022-11-01 Digitalinsights Inc. Image encoding/decoding method and apparatus involving merge candidate list and triangular shape partitions
WO2020004979A1 (ko) * 2018-06-27 2020-01-02 디지털인사이트주식회사 영상 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
US20180077418A1 (en) 2018-03-15
KR20210145704A (ko) 2021-12-02
CN110198441A (zh) 2019-09-03
RU2632155C1 (ru) 2017-10-02
KR101718886B1 (ko) 2017-03-22
US20170054995A1 (en) 2017-02-23
JP2024038231A (ja) 2024-03-19
KR20180109055A (ko) 2018-10-05
KR102331195B1 (ko) 2021-11-29
US20200099936A1 (en) 2020-03-26
KR102017164B1 (ko) 2019-09-03
CN110198449A (zh) 2019-09-03
CN104185988A (zh) 2014-12-03
KR20220090489A (ko) 2022-06-29
EP4009640A1 (en) 2022-06-08
KR102017163B1 (ko) 2019-09-03
KR102412641B1 (ko) 2022-06-24
CN109996082B (zh) 2022-01-25
KR20190102167A (ko) 2019-09-03
CN110446039A (zh) 2019-11-12
JP2016165144A (ja) 2016-09-08
KR102114036B1 (ko) 2020-05-25
KR20140110806A (ko) 2014-09-17
US10326999B2 (en) 2019-06-18
CN110446037A (zh) 2019-11-12
KR20180109054A (ko) 2018-10-05
JP2019149816A (ja) 2019-09-05
CN110267048A (zh) 2019-09-20
CN110198450B (zh) 2021-12-31
KR101903602B1 (ko) 2018-10-04
JP2022153666A (ja) 2022-10-12
JP7358582B2 (ja) 2023-10-10
CN110446037B (zh) 2022-01-04
CN110446038B (zh) 2022-01-04
US20200275106A1 (en) 2020-08-27
US11206411B2 (en) 2021-12-21
KR102017166B1 (ko) 2019-09-03
CN110198449B (zh) 2022-01-04
US11711523B2 (en) 2023-07-25
CN104185988B (zh) 2019-05-10
US20210037249A1 (en) 2021-02-04
CN109996082A (zh) 2019-07-09
KR101651594B1 (ko) 2016-08-26
US10038907B2 (en) 2018-07-31
US20180316924A1 (en) 2018-11-01
US20200145666A1 (en) 2020-05-07
US20170142420A1 (en) 2017-05-18
JP6553691B2 (ja) 2019-07-31
JP7414909B2 (ja) 2024-01-16
RU2632158C2 (ru) 2017-10-02
CN110198447B (zh) 2022-01-04
JP2022110094A (ja) 2022-07-28
US20220337845A1 (en) 2022-10-20
KR20150099487A (ko) 2015-08-31
JP2016165145A (ja) 2016-09-08
KR102559004B1 (ko) 2023-07-25
US10863181B2 (en) 2020-12-08
JP2016165143A (ja) 2016-09-08
RU2632157C2 (ru) 2017-10-02
US20170142419A1 (en) 2017-05-18
RU2632154C1 (ru) 2017-10-02
KR101720622B1 (ko) 2017-03-28
KR20180109786A (ko) 2018-10-08
KR20200057680A (ko) 2020-05-26
JP5969041B2 (ja) 2016-08-10
JP7271768B2 (ja) 2023-05-11
JP6203898B2 (ja) 2017-09-27
JP2017225180A (ja) 2017-12-21
RU2016101099A (ru) 2017-07-20
JP6208285B2 (ja) 2017-10-04
JP7025491B2 (ja) 2022-02-24
KR101651595B1 (ko) 2016-08-26
US20170078673A1 (en) 2017-03-16
CN110446038A (zh) 2019-11-12
US20220094946A1 (en) 2022-03-24
CN110267048B (zh) 2022-01-11
JP6746749B2 (ja) 2020-08-26
JP2022153667A (ja) 2022-10-12
JP2014533059A (ja) 2014-12-08
KR102017165B1 (ko) 2019-09-03
EP2779649A1 (en) 2014-09-17
JP2016167866A (ja) 2016-09-15
KR101615662B1 (ko) 2016-04-26
US20180310002A1 (en) 2018-10-25
JP6208284B2 (ja) 2017-10-04
KR20180109787A (ko) 2018-10-08
KR20210144640A (ko) 2021-11-30
CN110198450A (zh) 2019-09-03
US10536706B2 (en) 2020-01-14
CN110198448B (zh) 2021-12-31
CN110198441B (zh) 2022-01-11
JP2020184802A (ja) 2020-11-12
US10341666B2 (en) 2019-07-02
US9516334B2 (en) 2016-12-06
RU2014123309A (ru) 2015-12-20
US9621910B2 (en) 2017-04-11
KR20210144639A (ko) 2021-11-30
JP6203899B2 (ja) 2017-09-27
KR102559003B1 (ko) 2023-07-25
KR20130050905A (ko) 2013-05-16
RU2016101098A (ru) 2017-07-18
KR102412640B1 (ko) 2022-06-24
CN110198447A (zh) 2019-09-03
US9621903B2 (en) 2017-04-11
KR102412642B1 (ko) 2022-06-24
KR20140099430A (ko) 2014-08-12
JP7358573B2 (ja) 2023-10-10
CN110198448A (zh) 2019-09-03
CN110446039B (zh) 2022-01-11
US10805612B2 (en) 2020-10-13
US9716890B2 (en) 2017-07-25
EP2779649A4 (en) 2016-01-06
KR20170034367A (ko) 2017-03-28
US20180316925A1 (en) 2018-11-01
JP2022133464A (ja) 2022-09-13
US20140341284A1 (en) 2014-11-20
US9854249B2 (en) 2017-12-26
JP2020184803A (ja) 2020-11-12
KR20220090488A (ko) 2022-06-29
US20190261006A1 (en) 2019-08-22
KR20150099486A (ko) 2015-08-31
JP7117352B2 (ja) 2022-08-12
US10694191B2 (en) 2020-06-23
US10326998B2 (en) 2019-06-18

Similar Documents

Publication Publication Date Title
KR102017164B1 (ko) 영상 복호화 방법 및 장치
WO2013094960A1 (ko) 시간적 머징 후보의 참조 픽쳐 인덱스 설정 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12848248

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14353615

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2014540949

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012848248

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014123309

Country of ref document: RU

Kind code of ref document: A