WO2020050695A1 - 영상 코딩 시스템에서 머지 후보 리스트를 사용하는 움직임 예측에 기반한 영상 디코딩 방법 및 장치 - Google Patents

영상 코딩 시스템에서 머지 후보 리스트를 사용하는 움직임 예측에 기반한 영상 디코딩 방법 및 장치 Download PDF

Info

Publication number
WO2020050695A1
WO2020050695A1 PCT/KR2019/011580 KR2019011580W WO2020050695A1 WO 2020050695 A1 WO2020050695 A1 WO 2020050695A1 KR 2019011580 W KR2019011580 W KR 2019011580W WO 2020050695 A1 WO2020050695 A1 WO 2020050695A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
motion vector
candidate
neighboring
current block
Prior art date
Application number
PCT/KR2019/011580
Other languages
English (en)
French (fr)
Inventor
이재호
김승환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to CN202310841668.8A priority Critical patent/CN116647693A/zh
Priority to CN202310841208.5A priority patent/CN116668719A/zh
Priority to CN202310842979.6A priority patent/CN116647696A/zh
Priority to CN201980057255.2A priority patent/CN112640459B/zh
Priority to CN202310839109.3A priority patent/CN116647695A/zh
Priority to US16/798,087 priority patent/US11849143B2/en
Publication of WO2020050695A1 publication Critical patent/WO2020050695A1/ko
Priority to US18/104,692 priority patent/US11877005B2/en
Priority to US18/235,276 priority patent/US20230396798A1/en
Priority to US18/389,345 priority patent/US20240121430A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • This document relates to an image coding technique, and more particularly, to an image decoding method and apparatus based on motion prediction using a merge candidate list for deriving motion information on a subblock basis in an image coding system.
  • HD images high definition (HD) images and ultra high definition (UHD) images
  • UHD images ultra high definition
  • the image data becomes higher resolution and higher quality, the amount of transmitted information or bit amount increases compared to the existing image data, so the image data is transmitted using a medium such as a conventional wired / wireless broadband line or the image data is stored using an existing storage medium.
  • the transmission cost and storage cost are increased.
  • a high-efficiency image compression technology is required to effectively transmit, store, and reproduce high-resolution, high-quality image information.
  • the technical problem of this document is to provide a method and apparatus for improving image coding efficiency.
  • Another technical problem of this document is to provide a video decoding method and apparatus for constructing a merge candidate list of a current block based on neighboring blocks having the same reference picture, and performing prediction for the current block based on the configured merge candidate list Is in
  • an image decoding method performed by a decoding apparatus comprises constructing a candidate list for deriving motion information in units of subblocks for a current block, wherein the merge candidate list includes constructed candidates; Deriving Control Point Motion Vectors (CPMVs) for Control Points (CPs) of the current block based on the merge candidate list; Deriving prediction samples for the current block based on the CPMVs; And generating a reconstructed picture for the current block based on the derived prediction samples, wherein the constructed candidates include a first neighboring block in a first group, a second neighboring block in a second group, and a third Derived based on a combination of at least two of the third and fourth peripheral blocks in the group,
  • the first neighboring block, the second neighboring block, the third neighboring block, and the fourth neighboring block constituting the combination are characterized in that video decoding is derived, which has the same reference picture index.
  • a decoding apparatus for performing image decoding.
  • the decoding apparatus configures a candidate list for deriving motion information in units of subblocks for a current block, wherein the merge candidate list includes constructed candidates and based on the merge candidate list Deriving control point motion vectors (CPMVs) for control points (CPs) of the current block, deriving prediction samples for the current block based on the CPMVs, and based on the derived prediction samples And a prediction unit generating a reconstructed picture for the current block, wherein the constructed candidates include a first neighboring block in a first group, a second neighboring block in a second group, a third neighboring block in a third group, and a fourth neighboring Derived based on a combination of at least two of the blocks,
  • the first peripheral block, the second peripheral block, the third peripheral block, and the fourth peripheral block forming the combination have the same reference picture index.
  • a video encoding method performed by an encoding device comprises constructing a merge candidate list for a current block, wherein the merge candidate list includes and constructed candidates; Deriving Control Point Motion Vectors (CPMVs) for Control Points (CPs) of the current block based on the merge candidate list; And encoding image information including prediction information for the current block, wherein the constructed candidates include first neighboring blocks in a first group, second neighboring blocks in a second group, and third groups in a third group. It is derived based on a combination of at least two of the 3 neighboring blocks and the 4 neighboring blocks,
  • the first peripheral block, the second peripheral block, the third peripheral block, and the fourth peripheral block forming the combination have the same reference picture index.
  • a video encoding apparatus configures a merge candidate list for the current block, wherein the merge candidate list includes and constructed candidates, and CP of the current block based on the merge candidate list It includes a prediction unit for deriving Control Point Motion Vectors (CPMVs) for (Control Points), and an encoding unit for encoding image information including prediction information for the current block, and the constructed candidates are first It is derived based on a combination of at least two of a first peripheral block in a group, a second peripheral block in a second group, a third peripheral block in a third group, and a fourth peripheral block,
  • CPMVs Control Point Motion Vectors
  • the first peripheral block, the second peripheral block, the third peripheral block, and the fourth peripheral block forming the combination have the same reference picture index.
  • a process of constructing a merge candidate list of a current block based on neighboring blocks having the same reference picture, performing prediction on the current block based on the configured merge candidate list, and constructing a merge candidate list through the merged candidate list It can reduce the computational complexity of and improve the coding efficiency.
  • FIG. 1 is a diagram schematically illustrating a configuration of a video encoding apparatus to which the present document can be applied.
  • FIG. 2 is a diagram schematically illustrating a configuration of a video decoding apparatus to which the present document can be applied.
  • 3 exemplarily shows a movement expressed through an affine movement model.
  • 5 exemplarily shows the affine motion model in which motion vectors for two control points are used.
  • 6 exemplarily shows a method of deriving a motion vector in units of sub-blocks.
  • FIG. 7 exemplarily shows a flowchart of a method for predicting motion in units of subblocks according to an embodiment of the present document.
  • FIG. 8 illustrates a method of constructing a merge candidate list of a current block according to an embodiment of the present document.
  • FIG. 10 shows neighboring blocks of the current block for deriving a constructed candidate according to an embodiment of the present document.
  • FIG. 11 shows a method of deriving a constructed candidate according to an embodiment of the present document.
  • FIG. 12 is a diagram illustrating candidate motion vectors for a neighboring block of a current block and a CP of a current block for deriving a constructed candidate according to an embodiment of the present document.
  • FIG. 13 is a diagram illustrating a candidate motion vector for a neighboring block of a current block and a CP of a current block for deriving a constructed candidate according to another embodiment of the present document.
  • FIG. 14 is a diagram illustrating a planner motion vector prediction according to an embodiment of the present document.
  • FIG. 16 schematically shows an encoding apparatus that performs a video encoding method according to the present document.
  • FIG. 17 schematically shows an image decoding method by a decoding apparatus according to the present document.
  • FIG. 19 schematically shows an example of a video / image coding system to which the present document can be applied.
  • each component in the drawings described in this document is independently shown for convenience of description of different characteristic functions, and does not mean that each component is implemented with separate hardware or separate software.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each component is integrated and / or separated are also included in the scope of this document as long as they do not depart from the essence of this document.
  • video may refer to a set of images over time.
  • a picture generally refers to a unit representing one image in a specific time period, and a slice is a unit constituting a part of a picture in coding.
  • One picture may be composed of a plurality of slices or tile groups, and if necessary, pictures, slices, and tile groups may be used interchangeably.
  • the image may be a still image, or may represent an image of a specific time constituting the video.
  • video coding may be mixed with video coding.
  • image coding may be mixed with picture coding or frame coding.
  • a pixel or pel may mean a minimum unit constituting one picture (or image).
  • 'sample' may be used as a term corresponding to a pixel.
  • the sample may generally represent a pixel or a pixel value, may represent only a pixel / pixel value of a luma component, or may represent only a pixel / pixel value of a chroma component.
  • the unit represents a basic unit of image processing.
  • the unit may include at least one of a specific region of a picture and information related to the region.
  • the unit may be used interchangeably with terms such as a block or area depending on the case.
  • the unit may include a luma component block and chroma component (cb, cr) blocks.
  • the MxN block may represent samples of M columns and N rows or a set of transform coefficients.
  • the video encoding device may include a video encoding device.
  • the video encoding apparatus 100 includes a picture partitioning module (105), a prediction module (110), a residual processing module (120), and an entropy encoding unit module, 130), an adder 140, a filtering module 150, and a memory 160.
  • the residual processing unit 120 includes a subtractor (121), a transform module (122), a quantization module (123), a rearrangement module (124), an inverse quantization module (125) ) And an inverse transform module 126.
  • the picture division unit 105 may divide the input picture into at least one processing unit.
  • the processing unit may be called a coding unit (CU).
  • the coding unit may be recursively divided according to a quad-tree binary-tree (QTBT) structure from a largest coding unit (LCU).
  • QTBT quad-tree binary-tree
  • LCU largest coding unit
  • one coding unit may be divided into a plurality of coding units of a deeper depth based on a quad tree structure, a binary tree structure, and / or a ternary tree structure.
  • a quad tree structure may be applied first, and a binary tree structure and a ternary tree structure may be applied later.
  • a binary tree structure / ternary tree structure may be applied first.
  • the coding procedure according to this document may be performed based on the final coding unit that is no longer split.
  • the maximum coding unit may be directly used as a final coding unit based on coding efficiency according to image characteristics, or the coding unit may be recursively divided into coding units having a lower depth than optimal if necessary.
  • the coding unit of the size of can be used as the final coding unit.
  • the coding procedure may include procedures such as prediction, transformation, and reconstruction, which will be described later.
  • the processing unit may include a coding unit (CU) prediction unit (PU) or a transformation unit (TU).
  • the coding unit may be split from a largest coding unit (LCU) into coding units of a deeper depth along a quad tree structure.
  • LCU largest coding unit
  • the maximum coding unit may be directly used as a final coding unit based on coding efficiency according to image characteristics, or the coding unit may be recursively divided into coding units having a lower depth than optimal if necessary.
  • the coding unit of the size of can be used as the final coding unit. If a smallest coding unit (SCU) is set, the coding unit cannot be divided into smaller coding units than the smallest coding unit.
  • the final coding unit means a coding unit that is the basis of partitioning or partitioning into a prediction unit or a transformation unit.
  • the prediction unit is a unit partitioned from a coding unit, and may be a unit of sample prediction. At this time, the prediction unit may be divided into sub blocks.
  • the transform unit may be split along the quad tree structure from the coding unit, and may be a unit that derives transform coefficients and / or a unit that derives a residual signal from transform coefficients.
  • the coding unit may be referred to as a coding block (CB), the prediction unit as a prediction block (PB), and the transform unit as a transform block (TB).
  • CB coding block
  • PB prediction block
  • TB transform block
  • the prediction block or prediction unit may mean a specific area in the form of a block in a picture, and may include an array of prediction samples.
  • the transform block or transform unit may mean a specific area in the form of a block in a picture, and may include transform coefficients or an array of residual samples.
  • the prediction unit 110 may perform prediction on a block to be processed (hereinafter, referred to as a current block), and generate a predicted block including prediction samples for the current block.
  • the unit of prediction performed by the prediction unit 110 may be a coding block, a transform block, or a prediction block.
  • the prediction unit 110 may determine whether intra prediction or inter prediction is applied to the current block. For example, the prediction unit 110 may determine whether intra prediction or inter prediction is applied in units of CUs.
  • the prediction unit 110 may derive a prediction sample for the current block based on a reference sample outside the current block in a picture (hereinafter, a current picture) to which the current block belongs. At this time, the prediction unit 110 may (i) derive a prediction sample based on an average or interpolation of neighboring reference samples of the current block, and (ii) reference of the surroundings of the current block
  • the prediction sample may be derived based on a reference sample existing in a specific (prediction) direction with respect to a prediction sample among the samples. In the case of (i), it may be called a non-directional mode or a non-angle mode, and in the case of (ii), a directional mode or an angular mode.
  • the prediction mode may have, for example, 33 directional prediction modes and at least two or more non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planar mode (Planar mode).
  • the prediction unit 110 may determine a prediction mode applied to the current block by using a prediction mode applied to neighboring blocks.
  • the prediction unit 110 may derive a prediction sample for the current block based on the sample specified by the motion vector on the reference picture.
  • the prediction unit 110 may derive a prediction sample for the current block by applying any one of a skip mode, a merge mode, and a motion vector prediction (MVP) mode.
  • the prediction unit 110 may use motion information of neighboring blocks as motion information of the current block.
  • the skip mode a difference (residual) between the predicted sample and the original sample is not transmitted unlike the merge mode.
  • a motion vector of a current block may be derived using a motion vector of a neighboring block as a motion vector predictor by using a motion vector of a neighboring block as a motion vector predictor.
  • the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block present in the reference picture.
  • the reference picture including the temporal neighboring block may be referred to as a collocated picture (colPic).
  • the motion information may include a motion vector and a reference picture index.
  • Information such as prediction mode information and motion information (entropy) may be encoded and output in the form of a bitstream.
  • the highest picture on the reference picture list may be used as a reference picture.
  • the reference pictures included in the reference picture list may be sorted based on a difference of a picture order count (POC) between the current picture and the corresponding reference picture.
  • POC corresponds to a display order of pictures, and can be distinguished from a coding order.
  • the subtraction unit 121 generates a residual sample, which is a difference between the original sample and the predicted sample.
  • the residual sample may not be generated as described above.
  • the transform unit 122 converts a residual sample in units of transform blocks to generate transform coefficients.
  • the transform unit 122 may perform transform according to a size of the transform block and a prediction mode applied to a coding block or a prediction block spatially overlapping the transform block. For example, if intra prediction is applied to the coding block or the prediction block overlapping the transform block, and the transform block is a 4 ⁇ 4 residual array, the residual sample uses a DST (Discrete Sine Transform) transform kernel. It is transformed by using, and in other cases, the residual sample can be transformed by using a DCT (Discrete Cosine Transform) transform kernel.
  • DST Discrete Sine Transform
  • the quantization unit 123 quantizes the transform coefficients to generate a quantized transform coefficient.
  • the rearrangement unit 124 rearranges the quantized transform coefficients.
  • the reordering unit 124 may rearrange the quantized transform coefficients in a block form into a one-dimensional vector form through a coefficient scanning method.
  • the rearrangement unit 124 is described as a separate configuration, but the rearrangement unit 124 may be part of the quantization unit 123.
  • the entropy encoding unit 130 may perform entropy encoding on quantized transform coefficients.
  • Entropy encoding may include, for example, encoding methods such as exponential Golomb, context-adaptive variable length coding (CAVLC), and context-adaptive binary arithmetic coding (CABAC).
  • the entropy encoding unit 130 may encode information necessary for video reconstruction other than the quantized transform coefficient (eg, a value of a syntax element) together or separately according to entropy encoding or a preset method.
  • the encoded information may be transmitted or stored in units of network abstraction layer (NAL) units in the form of a bitstream.
  • the bitstream can be transmitted over a network or stored on a digital storage medium.
  • the network may include a broadcasting network and / or a communication network
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD.
  • the inverse quantization unit 125 inversely quantizes the quantized values (quantized transform coefficients) in the quantization unit 123, and the inverse transform unit 126 inversely transforms the inverse quantized values in the inverse quantization unit 125 to measure the residual sample.
  • the adder 140 restores a picture by combining the residual sample and the predicted sample.
  • the residual sample and the prediction sample may be added in units of blocks to generate a reconstructed block.
  • the adding unit 140 has been described as a separate configuration, but the adding unit 140 may be a part of the prediction unit 110. Meanwhile, the adder 140 may be called a reconstruction module or a reconstruction block generator.
  • the filter unit 150 may apply a deblocking filter and / or a sample adaptive offset. Through deblocking filtering and / or sample adaptive offset, artifacts of a block boundary in a reconstructed picture or distortion in a quantization process can be corrected.
  • the sample adaptive offset may be applied on a sample basis, and may be applied after the deblocking filtering process is completed.
  • the filter unit 150 may also apply an adaptive loop filter (ALF) to the reconstructed picture. ALF may be applied to the reconstructed picture after the deblocking filter and / or sample adaptive offset is applied.
  • ALF adaptive loop filter
  • the memory 160 may store reconstructed pictures (decoded pictures) or information necessary for encoding / decoding.
  • the reconstructed picture may be a reconstructed picture in which a filtering procedure is completed by the filter unit 150.
  • the stored reconstructed picture may be used as a reference picture for (inter) prediction of another picture.
  • the memory 160 may store (reference) pictures used for inter prediction. At this time, pictures used for inter prediction may be designated by a reference picture set or a reference picture list.
  • the video decoding device may include an image decoding device.
  • the video decoding apparatus 200 includes an entropy decoding module (210), a residual processing module (220), a prediction module (230), and an adder (240). ), A filter module (250) and a memory (memory, 260).
  • the residual processing unit 220 may include a rearrangement module (221), an inverse quantization module (222), and an inverse transform module (223).
  • the video decoding apparatus 200 may include a receiver that receives a bitstream including video information. The receiving unit may be configured as a separate module or may be included in the entropy decoding unit 210.
  • the video decoding apparatus 200 may restore the video / image / picture corresponding to the process in which the video / image information is processed by the video encoding apparatus.
  • the video decoding apparatus 200 may perform video decoding using a processing unit applied in the video encoding apparatus.
  • the processing unit block of video decoding may be, for example, a coding unit, and another example may be a coding unit, a prediction unit, or a transformation unit.
  • the coding unit may be split along the quad tree structure, binary tree structure and / or ternary tree structure from the largest coding unit.
  • a prediction unit and a transformation unit may be further used in some cases, and in this case, the prediction block is a block derived or partitioned from a coding unit, and may be a unit of sample prediction. At this time, the prediction unit may be divided into sub-blocks.
  • the transform unit may be split along a quad tree structure from the coding unit, and may be a unit that derives transform coefficients or a unit that derives a residual signal from transform coefficients.
  • the entropy decoding unit 210 may parse the bitstream and output information necessary for video reconstruction or picture reconstruction. For example, the entropy decoding unit 210 decodes information in a bitstream based on a coding method such as exponential Golomb coding, CAVLC, or CABAC, and quantizes a value of a syntax element necessary for video reconstruction and a transform coefficient for residual. Can output
  • a coding method such as exponential Golomb coding, CAVLC, or CABAC
  • the CABAC entropy decoding method receives bins corresponding to each syntax element in the bitstream, and decodes the syntax element information to be decoded and decoding information of neighboring and decoding target blocks or information of symbols / bins decoded in the previous step.
  • the context model is determined by using, and the probability of occurrence of the bin is predicted according to the determined context model, and arithmetic decoding of the bin is performed to generate a symbol corresponding to the value of each syntax element. can do.
  • the CABAC entropy decoding method may update the context model using the decoded symbol / bin information for the next symbol / bin context model after determining the context model.
  • the entropy decoding unit 210 Among the information decoded by the entropy decoding unit 210, information about prediction is provided to the prediction unit 230, and the residual value, that is, the quantized transform coefficient, in which entropy decoding is performed by the entropy decoding unit 210 is rearranged ( 221).
  • the reordering unit 221 may rearrange the quantized transform coefficients in a two-dimensional block form.
  • the reordering unit 221 may perform reordering in response to coefficient scanning performed by the encoding device.
  • the rearrangement unit 221 is described as a separate configuration, but the rearrangement unit 221 may be part of the inverse quantization unit 222.
  • the inverse quantization unit 222 may inverse quantize the quantized transform coefficients based on the (inverse) quantization parameter to output the transform coefficients. At this time, information for deriving a quantization parameter may be signaled from an encoding device.
  • the inverse transform unit 223 may inversely transform transform coefficients to derive residual samples.
  • the prediction unit 230 may perform prediction on the current block and generate a predicted block including prediction samples for the current block.
  • the unit of prediction performed by the prediction unit 230 may be a coding block, a transform block, or a prediction block.
  • the prediction unit 230 may determine whether to apply intra prediction or inter prediction based on the information about the prediction. At this time, a unit for determining whether to apply intra prediction or inter prediction and a unit for generating a prediction sample may be different. In addition, in inter prediction and intra prediction, a unit for generating a prediction sample may also be different. For example, whether to apply inter prediction or intra prediction may be determined in units of CUs. For example, in inter prediction, a prediction mode may be determined in PU units and a prediction sample may be generated, and a prediction mode may be determined in PU units in intra prediction and a prediction sample may be generated in TU units.
  • the prediction unit 230 may derive a prediction sample for the current block based on neighbor reference samples in the current picture.
  • the prediction unit 230 may derive a prediction sample for the current block by applying a directional mode or a non-directional mode based on the neighboring reference samples of the current block.
  • a prediction mode to be applied to the current block may be determined using the intra prediction mode of the neighboring block.
  • the prediction unit 230 may derive a prediction sample for the current block based on a sample specified on the reference picture by a motion vector on the reference picture.
  • the prediction unit 230 may derive a prediction sample for the current block by applying any one of a skip mode, a merge mode, and an MVP mode.
  • motion information required for inter prediction of a current block provided by the video encoding apparatus for example, motion vector, reference picture index, and the like, may be obtained or derived based on the prediction information.
  • the peripheral block may include a spatial peripheral block and a temporal peripheral block.
  • the prediction unit 230 may construct a merge candidate list with motion information of available neighboring blocks, and use information indicated by the merge index on the merge candidate list as a motion vector of the current block.
  • the merge index can be signaled from the encoding device.
  • the motion information may include a motion vector and a reference picture. When motion information of temporal neighboring blocks is used in the skip mode and the merge mode, the highest picture on the reference picture list can be used as a reference picture.
  • a motion vector of a current block may be derived using a motion vector of a neighboring block as a motion vector predictor.
  • the peripheral block may include a spatial peripheral block and a temporal peripheral block.
  • a merge candidate list may be generated using a motion vector of a reconstructed spatial neighboring block and / or a motion vector corresponding to a Col block that is a temporal neighboring block.
  • the motion vector of the candidate block selected from the merge candidate list is used as the motion vector of the current block.
  • the prediction information may include a merge index indicating a candidate block having an optimal motion vector selected from candidate blocks included in the merge candidate list.
  • the prediction unit 230 may derive a motion vector of the current block using the merge index.
  • a motion vector predictor candidate list is generated using a motion vector of a reconstructed spatial neighboring block and / or a Col block that is a temporal neighboring block.
  • the prediction information may include a prediction motion vector index indicating an optimal motion vector selected from among motion vector candidates included in the list.
  • the prediction unit 230 may select a prediction motion vector of the current block from among motion vector candidates included in the motion vector candidate list, using the motion vector index.
  • the prediction unit of the encoding device may obtain a motion vector difference (MVD) between a motion vector and a motion vector predictor of the current block, and may encode and output the motion vector difference. That is, the MVD may be obtained by subtracting the motion vector predictor from the motion vector of the current block.
  • the prediction unit 230 may obtain a motion vector difference included in the information about the prediction, and derive the motion vector of the current block by adding the motion vector difference and the motion vector predictor.
  • the prediction unit may also obtain or derive a reference picture index indicating the reference picture from the information on the prediction.
  • the adder 240 may reconstruct the current block or the current picture by adding the residual sample and the prediction sample.
  • the adder 240 may reconstruct the current picture by adding the residual sample and the prediction sample in block units. Since the residual is not transmitted when the skip mode is applied, the predicted sample may be a reconstructed sample.
  • the addition unit 240 is described as a separate configuration, but the addition unit 240 may be a part of the prediction unit 230. Meanwhile, the adder 240 may be referred to as a reconstruction module or a reconstruction block generator.
  • the filter unit 250 may apply a deblocking filtering sample adaptive offset, and / or ALF to the reconstructed picture.
  • the sample adaptive offset may be applied on a sample basis, or may be applied after deblocking filtering.
  • ALF may be applied after deblocking filtering and / or sample adaptive offset.
  • the memory 260 may store reconstruction pictures (decoded pictures) or information necessary for decoding.
  • the reconstructed picture may be a reconstructed picture in which a filtering procedure is completed by the filter unit 250.
  • the memory 260 may store pictures used for inter prediction. At this time, pictures used for inter prediction may be specified by a reference picture set or a reference picture list. The reconstructed picture can be used as a reference picture for other pictures. Also, the memory 260 may output the restored pictures according to an output order.
  • an inter prediction method considering distortion of an image has been proposed.
  • an affine motion model that efficiently derives a motion vector for sub-blocks or sample points of a current block and increases inter prediction accuracy despite variations such as rotation, zoom-in or zoom-out of an image has been proposed.
  • the affine motion model derives a motion vector for sub-blocks or sample points of the current block
  • prediction using the affine motion model includes affine motion prediction and affine motion prediction.
  • the sub-block motion prediction using the affine motion model can efficiently express four motions as described below, that is, four deformations as described below.
  • movements that can be expressed through the affine movement model may include translation movements, scale movements, rotate movements, and shear movements. That is, as well as a translational movement in which the image (part) is flat according to the passage of time shown in FIG. 3, a scale movement in which the image (part) is scaled according to the passage of time, according to the passage of time.
  • the rotational motion in which the image (part of) is rotated, and the shear motion in which the image (part of) is transformed in a balanced quadrilateral over time can be efficiently expressed through motion prediction in the sub-block unit.
  • the encoding device / decoding device may predict the distortion form of the image based on motion vectors at control points (CPs) of the current block through the affine inter prediction, thereby increasing prediction accuracy It is possible to improve the compression performance of the image.
  • a motion vector for at least one control point of the current block may be derived using a motion vector of a neighboring block of the current block, thereby reducing the burden of data amount for additional information added and inter prediction efficiency. It can be improved significantly.
  • motion information at three control points that is, three reference points may be required.
  • Equations for the affine motion model may be derived using the above-described respective control points and motion vectors for the corresponding control points.
  • the equation for the affine motion model can be expressed as follows.
  • w denotes the width of the current block 400
  • h denotes the height of the current block 400
  • v0x and v0y denote the x component and y component of the motion vector of CP0, respectively.
  • V1x and v1y denote the x component and y component of the CP0 motion vector, respectively
  • v2x and v2y denote the x component and y component of the CP1 motion vector, respectively.
  • x represents the x component of the position of the target sample in the current block 400
  • y represents the y component of the position of the target sample in the current block 400
  • vx is the current block 400
  • the x component and vy of the motion vector of the target sample in the current block 400 represent the y component of the motion vector of the target sample in the current block 400.
  • a motion vector according to the sample position in the current block may be derived based on Equation (1). That is, according to the affine motion model, motion vectors v0 (v0x, v0y), v1 () at the control points based on a distance ratio between the coordinates (x, y) of the target sample and three control points v1x, v1y), and v2 (v2x, v2y) may be scaled to derive a motion vector of the target sample according to the target sample position.
  • motion vectors of each sample in the current block may be derived based on motion vectors of the control points.
  • a set of motion vectors of samples in the current block derived according to the affine motion model may be represented as an affine motion vector field (MVF).
  • Equation 1 may be represented by a, b, c, d, e, f as in the following equation, and the equation for the affine motion model represented by the six parameters is Can be equal to
  • w denotes the width of the current block 400
  • h denotes the height of the current block 400
  • v0x and v0y denote the x component and y component of the motion vector of CP0, respectively.
  • V1x and v1y denote the x component and y component of the CP0 motion vector, respectively
  • v2x and v2y denote the x component and y component of the CP1 motion vector, respectively.
  • x represents the x component of the position of the target sample in the current block 400
  • y represents the y component of the position of the target sample in the current block 400
  • vx is the current block 400
  • the x component and vy of the motion vector of the target sample in the current block 400 represent the y component of the motion vector of the target sample in the current block 400.
  • the affine motion model or the affine inter prediction using the six parameters may be represented as a six-parameter affine motion model or AF6.
  • motion information at two control points that is, two reference points may be required.
  • the affine movement model using two control points can express three movements including translational movement, scale movement, and rotational movement.
  • the affine motion model representing three motions may also be referred to as a simplicity affine motion model or a simplified affine motion model.
  • Control points can be set.
  • the control point of the (0,0) sample position can be expressed as CP0
  • the control point of the (w, 0) sample position is CP0.
  • Equations for the affine motion model may be derived using the above-described respective control points and motion vectors for the corresponding control points.
  • the equation for the affine motion model can be expressed as follows.
  • w denotes the width of the current block 500
  • v0x and v0y denote the x component and y component of the CP0 motion vector, respectively
  • v1x, v1y denote the x component and y component of the CP0 motion vector, respectively. It shows the ingredients.
  • x represents the x component of the position of the target sample in the current block 500
  • y represents the y component of the position of the target sample in the current block 500
  • vx is the current block 500
  • the x component and vy of the motion vector of the target sample in the current block 500 represent the y component of the motion vector of the target sample in the current block 500.
  • Equation 3 the four parameters for Equation 3 may be represented by a, b, c, d as in the following equation, and the equation for the affine motion model represented by the four parameters may be as follows. .
  • w denotes the width of the current block 500
  • v0x and v0y denote the x component and y component of the CP0 motion vector, respectively
  • v1x, v1y denote the x component and y component of the CP0 motion vector, respectively. It shows the ingredients.
  • x represents the x component of the position of the target sample in the current block 500
  • y represents the y component of the position of the target sample in the current block 500
  • vx is the current block 500
  • the x component and vy of the motion vector of the target sample in the current block 500 represent the y component of the motion vector of the target sample in the current block 500.
  • the affine motion model using the two control points can be represented by four parameters a, b, c, and d as in Equation 4, and the affine motion model using the four parameters
  • the affine motion prediction may be represented by a 4-parameter affine motion model or AF4. That is, according to the affine motion model, motion vectors of each sample in the current block may be derived based on motion vectors of the control points. Meanwhile, a set of motion vectors of samples in the current block derived according to the affine motion model may be represented as an affine motion vector field (MVF).
  • MVF affine motion vector field
  • a motion vector in a sample unit may be derived, and through this, accuracy of inter prediction may be significantly improved.
  • the complexity in the process of motion compensation may be greatly increased.
  • 6 exemplarily shows a method of deriving a motion vector in units of sub-blocks based on an affine motion model.
  • 6 exemplarily shows a case in which the size of the current block is 16 ⁇ 16 and motion vectors are derived in units of 4 ⁇ 4 sub-blocks.
  • the sub-block may be set in various sizes, for example, when the sub-block is set to an n ⁇ n size (n is a positive integer, ex, n is 4), the current block based on the affine motion model
  • Motion vectors may be derived in units of n ⁇ n sub-blocks, and various methods for deriving motion vectors representing each sub-block may be applied.
  • a motion vector of each sub-block may be derived using a center or lower right-side sample position of each sub-block as representative coordinates.
  • the center lower right position may indicate a sample position located at the lower right of the four samples located at the center of the sub-block.
  • n odd
  • one sample may be located at the center of the sub-block, and in this case, a center sample position may be used to derive a motion vector of the sub-block.
  • four samples may be located adjacent to the center of the sub-block, and in this case, the right and left sample positions may be used to derive the motion vector.
  • FIG. 6 the center or lower right-side sample position of each sub-block
  • representative coordinates for each sub-block may be derived as (2, 2), (6, 2), (10, 2), ... (14, 14), and an encoding device /
  • the decoding apparatus may derive the motion vectors of each sub-block by substituting each of the representative coordinates of the sub-blocks into Equation 1 or 3 described above.
  • Prediction of motion of a sub-block in a current block through the affine motion model may be referred to as sub-block motion prediction or sub-block motion prediction, and thus motion vectors of the sub-blocks may be represented as MVF.
  • the size of a sub-block in the current block may be derived based on the following equation.
  • M represents the width of the sub-block
  • N represents the height of the sub-block
  • v 0x, v 0y are each the current represents the CPMV0 x component, y component of the block
  • v 1x, v 1y respectively the current represents the CPMV1 x component, y component of the block
  • w is in the current block
  • the width represents h
  • MvPre represents motion vector fraction accuracy.
  • the motion vector fractional accuracy may be set to 1/16.
  • the affine motion prediction may include a merge mode (AF_MERGE) and an affine inter mode (AF_INTER).
  • AF_MERGE merge mode
  • AF_INTER affine inter mode
  • the affine inter mode may be referred to as affine MVP vector (affine motion vector prediction mode, AF_MVP).
  • the merge mode using the affine motion model is similar to the existing merge mode in that MVD for the motion vectors of the control points is not transmitted. That is, in the merge mode using the affine motion model, two or three controls from neighboring blocks of the current block without coding for a motion vector difference (MVD) similar to the conventional skip / merge mode An encoding / decoding method for performing prediction by deriving a CPMV for each point may be represented.
  • MVs for CP0 and CP0 (ie, CPMV0) from a neighboring block to which an affine mode, that is, a prediction mode using affine motion prediction, is applied among neighboring blocks of the current block And CPMV1). That is, CPMV0 and CPMV1 of the neighboring block to which the affine mode is applied may be derived as merge candidates, and the merge candidate may be derived as CPMV0 and CPMV1 for the current block.
  • the affine inter mode derives a motion vector predictor (MVP) for the motion vectors of the control points, derives a motion vector of the control points based on the received motion vector difference (MVD) and the MVP, and the control An inter-prediction that performs prediction based on the affine MVF may be represented by deriving the affine MVF of the current block based on a motion vector of points.
  • the motion vector of the control point is CPMV (Control Point Motion Vector)
  • the MVP of the control point is CPMVP (Control Point Motion Vector Predictor)
  • the MVD of the control point is CPMVD (Control Point Motion Vector Difference).
  • the encoding device may derive a control point point motion vector predictor (CPMVP) and a control point point motion vector (CPMVP) for CP0 and CP1 (or CP0, CP0 and CP1), respectively, and the CPMVP Information and / or CPMVD, which is a difference between the CPMVP and CPMV, may be transmitted or stored.
  • CPMVP control point point motion vector predictor
  • CPMVP control point point motion vector predictor
  • CPMVP control point point motion vector
  • the encoding device / decoding device may construct an affine MVP candidate list based on the neighboring blocks of the current block, and the affine MVP candidate is a CPMVP pair ) May be referred to as a candidate, and the list of affine MVP candidates may be referred to as a CPMVP candidate list.
  • each affine MVP candidate may mean a combination of CP0 and CPMVP of CP1 in a 4-parameter affine motion model, and CP0 in a 6-parameter affine motion model.
  • CP1 and CP2 may mean a combination of CPMVP.
  • FIG. 7 exemplarily shows a flowchart of a method for predicting motion in units of subblocks according to an embodiment of the present document.
  • the affine motion prediction method can be largely represented as follows.
  • a CPMV pair may be first obtained (S700).
  • the CPMV pair may include CPMV0 and CPMV1 when using a 4-parameter affine model.
  • affine motion compensation may be performed based on the CPMV pair (S710), and affine motion prediction may be terminated.
  • two affine prediction modes may exist to determine the CPMV0 and the CPMV1.
  • the two affine prediction modes may include affine inter mode and affine merge mode.
  • the affine inter mode can clearly determine CPMV0 and CPMV1 by signaling two motion vector difference (MVD) information for CPMV0 and CPMV1.
  • the affine merge mode can derive a CPMV pair without MVD information signaling.
  • the affine merge mode can derive the CPMV of the current block by using the CPMV of the neighboring block coded in the affine mode.
  • the affine merge mode is a subblock merge It may also be referred to as a mode.
  • the encoding device may signal the index of the neighboring block coded in the affine mode to derive the CPMV of the current block to the decoding device.
  • the affine merge mode may construct a merge candidate list based on the neighboring blocks, and the index for the neighboring blocks may indicate neighboring blocks to be referenced to derive the CPMV of the current block among the merge candidate lists.
  • the merge candidate list may be referred to as a subblock merge candidate list.
  • the affine inter mode may also be referred to as affine MVP mode.
  • the CPMV of the current block may be derived based on a Control Point Motion Vector Predictor (CPMVP) and a Control Point Motion Vector Difference (CPMVD).
  • CPMVP Control Point Motion Vector Predictor
  • CPMVD Control Point Motion Vector Difference
  • the encoding device may determine CPMVP for the CPMV of the current block, and derive CPMVD, which is a difference between CPMV and CPMVP of the current block, to signal information about CPMVP and information about CPMVD to the decoding device.
  • the affine MVP mode may construct an affine MVP candidate list based on a neighboring block, and information on CPMVP is a neighboring block to be referenced to derive a CPMVP for the CPMV of the current block among the affine MVP candidate lists.
  • the affine MVP candidate list may be referred to as a control point motion vector predictor candidate list.
  • the current block may be coded as described below.
  • the encoding device / decoding device may construct a merge candidate list including merge candidates for the current block, and a CP (Control Point) of the current block of the current block based on one of the merge candidates of the merge candidate list Control Point Motion Vectors (CPMVs) can be derived.
  • the encoding device / decoding device may derive prediction samples for the current block based on the CPMVs, and generate a reconstructed picture for the current block based on the derived prediction samples.
  • the merge candidate list may be configured as follows.
  • the encoding device / decoding device may add an inherited merge candidate to the merge candidate list (S800).
  • the encoding device / decoding device may derive a succeeded candidate based on neighboring blocks of the current block.
  • the inherited candidate may refer to a motion information of neighboring blocks of the current block without any other change or combination, that is, the CPMV of the neighboring block itself is added to the merge candidate list of the current block.
  • the peripheral blocks may include a block around the lower left corner of the current block A0, a block around the left side A1, a block around the upper side B0, a block around the upper right corner block B1, and a block around the upper left corner block B2.
  • neighboring blocks of the current block include the lower left corner surrounding block A0 of the current block, the left surrounding block A1 of the current block, the upper right corner surrounding block B0 of the current block, and the upper surrounding block of the current block. B1, and a block B2 around the upper left corner of the current block.
  • the left peripheral block is (-1, H-1).
  • a block containing a sample of coordinates the upper peripheral block is a block containing samples of (W-1, -1) coordinates, and the block around the upper right corner comprises a sample of (W, -1) coordinates.
  • a block, and the block around the lower left corner may be a block including samples of (-1, H) coordinates, and the block around the upper left corner may be a block including samples of (-1, -1) coordinates.
  • the inherited candidate may be derived based on an effective neighbor reconstruction block coded in an affine mode.
  • the encoding device / decoding device may sequentially check the neighboring blocks A0, A1, B0, B1, and B2 or sequentially A1, B1 B0, A0, and B2, and the neighboring blocks are coded in affine mode If (ie, the neighboring block is a neighboring block that is effectively reconstructed using an affine motion model), 2 CPMVs or 3 CPMVs for the current block based on the affine motion model of the neighboring block Can be derived, and the CPMVs can be derived as an inherited candidate of the current block. For example, up to five successive candidates may be added to the merge candidate list. That is, up to five successive candidates may be derived based on the neighboring blocks.
  • the encoding device / decoding device may add a constructed candidate to the merge candidate list (S810).
  • the constructed candidate may be added to the merge candidate list.
  • the constructed candidate may represent a merge candidate generated by combining surrounding motion information (ie, motion vector and reference picture index of the neighboring blocks) for each of the CPs of the current block.
  • Motion information for each CP may be derived based on a spatial neighboring block or temporal neighboring block for the corresponding CP.
  • the motion information for each of the CPs may be represented as a candidate motion vector for the CP.
  • FIG. 10 shows neighboring blocks of the current block for deriving a constructed candidate according to an embodiment of the present document.
  • the neighboring blocks may include spatial neighboring blocks and temporal neighboring blocks.
  • the spatial peripheral blocks may include peripheral blocks A0, peripheral blocks A1, peripheral blocks A2, peripheral blocks B0, peripheral blocks B1, peripheral blocks B2, and peripheral blocks B3.
  • the peripheral block T illustrated in FIG. 10 may represent the temporal peripheral block.
  • the neighboring block B2 may indicate a neighboring block located in the upper left corner of the upper left sample position of the current block, and the neighboring block B3 may indicate a neighboring block located above the upper left sample position of the current block,
  • the neighboring block A2 may indicate a neighboring block located at the left end of the upper left sample position of the current block.
  • the neighboring block B1 may indicate a neighboring block located at the top of the upper right sample position of the current block, and the neighboring block B0 may indicate a neighboring block located at the upper right of the upper right sample position of the current block.
  • the neighboring block A1 may indicate a neighboring block located at the left end of the lower left sample position of the current block, and the neighboring block A0 indicates a neighboring block located at the lower left of the current block's lower sample position. You can.
  • the CPs of the current block may include CP0, CP1, CP2 and / or CP3.
  • the CP0 can indicate the upper left position of the current block
  • the CP1 can indicate the upper right position of the current block
  • the CP2 can indicate the lower left position of the current block
  • the CP3 is the right of the current block It can indicate the bottom position.
  • the CP0 represents the position of the (0, 0) coordinates.
  • the CP1 may indicate the location of the (W, 0) coordinate
  • the CP2 may indicate the location of the (0, H) coordinate
  • the CP3 may indicate the location of the (W, H) coordinate.
  • the CP0 shown in FIG. 10 may indicate the CP0 described above
  • the CP1 shown in FIG. 10 may indicate the CP0 described above
  • the CP2 shown in FIG. 10 may indicate the CP1 described above.
  • the candidate motion vector for each of the above-described CPs can be derived as follows.
  • the encoding device / decoding device may check whether the neighboring blocks in the first group are available according to the first order, and the motion vector of the available neighboring blocks first identified in the checking process is a candidate for the CP0.
  • the availability may indicate that there is a motion vector of the surrounding block.
  • the available neighboring blocks may be blocks coded by inter prediction (ie, blocks to which inter prediction is applied).
  • the first group may include the peripheral block B2, the peripheral block B3, and the peripheral block A2.
  • the first order may be an order from the neighboring block B2 in the first group to the neighboring block B3 and the neighboring block A2.
  • the motion vector of the neighboring block B2 may be derived as a candidate motion vector for the CP0, when the neighboring block B2 is not available, and when the neighboring block B3 is available . If the motion vector of the neighboring block B3 can be derived as a candidate motion vector for the CP0, when the neighboring block B2 and the neighboring block B3 are not available and the neighboring block A2 is available, the neighboring block A2 A motion vector can be derived as a candidate motion vector for the CP0.
  • the encoding device / decoding device may check whether the neighboring blocks in the second group are available according to the second order, and the motion vector of the available neighboring blocks first identified in the checking process to the CP1. It can be derived as a candidate motion vector for. That is, the candidate motion vector for the CP1 may be a motion vector of available neighboring blocks first identified by checking neighboring blocks in the second group according to a second order. The availability may indicate that there is a motion vector of the surrounding block. That is, the available neighboring blocks may be blocks coded by inter prediction (ie, blocks to which inter prediction is applied).
  • the second group may include the peripheral block B1 and the peripheral block B0.
  • the second order may be an order from the neighboring block B1 in the second group to the neighboring block B0.
  • the motion vector of the neighboring block B1 may be derived as a candidate motion vector for the CP1
  • the motion vector of the neighboring block B0 may be derived as a candidate motion vector for CP1.
  • the encoding device / decoding device may check whether the neighboring blocks in the third group are available according to a third order, and the motion vector of the available neighboring blocks first identified in the checking process to the CP2. It can be derived as a candidate motion vector for. That is, the candidate motion vector for the CP2 may be a motion vector of available neighboring blocks first identified by checking neighboring blocks in the third group according to a third order. The availability may indicate that there is a motion vector of the surrounding block. That is, the available neighboring blocks may be blocks coded by inter prediction (ie, blocks to which inter prediction is applied).
  • the third group may include the peripheral block A1 and the peripheral block A0.
  • the third order may be an order from the peripheral block A1 in the third group to the peripheral block A0.
  • the motion vector of the neighboring block A1 may be derived as a candidate motion vector for the CP2
  • the motion vector of the neighboring block A0 may be derived as a candidate motion vector for the CP2.
  • the encoding device / decoding device may check whether the temporal neighboring block (ie, the neighboring block T) is available, and when the temporal neighboring block (ie, the neighboring block T) is available, the A motion vector of a temporal neighboring block (ie, the neighboring block T) may be derived as a candidate motion vector for the CP3.
  • the combination of the candidate motion vector for CP0, the candidate motion vector for CP1, the candidate motion vector for CP2 and / or the candidate motion vector for CP3 may be derived as a constructed candidate.
  • the 6 affine model requires motion vectors of 3 CPs.
  • Three CPs among the CP0, the CP1, the CP2, and the CP3 for the 6 affine model may be selected.
  • the CPs may be selected from among ⁇ CP0, CP1, CP3 ⁇ , ⁇ CP0, CP1, CP2 ⁇ , ⁇ CP1, CP2, CP3 ⁇ , ⁇ CP0, CP2, CP3 ⁇ .
  • the six-affine model may be configured using CP0, CP1, and CP2.
  • the CPs may be represented as ⁇ CP0, CP1, CP2 ⁇ .
  • a 4-affine model requires motion vectors of two CPs.
  • Two CPs among the CP0, the CP1, the CP2, and the CP3 for the 4 affine model may be selected.
  • the CPs may be selected from among ⁇ CP0, CP3 ⁇ , ⁇ CP1, CP2 ⁇ , ⁇ CP0, CP1 ⁇ , ⁇ CP1, CP3 ⁇ , ⁇ CP0, CP2 ⁇ , ⁇ CP2, CP3 ⁇ .
  • the four affine model may be configured using CP0 and CP1.
  • the CPs may be represented as ⁇ CP0, CP1 ⁇ .
  • Constructed candidates which are combinations of candidate motion vectors, may be added to the merge candidate list in the following order. That is, after candidate motion vectors for the CPs are derived, the constructed candidate can be derived in the following order.
  • constructed candidate including candidate motion vector for CP2 Constructed candidate including beam motion vector
  • the encoding device / decoding device may add 0 motion vectors as a merge candidate to the merge candidate list (S820).
  • the number of merge candidates in the merge candidate list is less than 5
  • a merge candidate including 0 motion vectors is added to the merge candidate list until the merge candidate list is configured with the maximum number of merge candidates. You can.
  • the maximum number of merge candidates may be five.
  • the zero motion vector may represent a motion vector having a vector value of zero.
  • parameter setting according to an exemplary embodiment for constructing the merge candidate list may appear as shown in the following table.
  • the number of parameters of the affine motion model is 4 or 6 (ie, the 4 affine motion model or the 6 affine motion model).
  • a 4-parameter model is used when the neighboring reference block is a 4-parameter model, and an inherited candidate is generated using a 6-parameter model when the neighboring reference block is a 6-parameter model.
  • a constructed candidate is generated using either a 4-parameter model or a 6-parameter model.
  • the number of merge candidates in the affine merge mode may be 5, the maximum number of inherited candidates may be 5, and the maximum number of constructed candidates may be 10.
  • the number of processes for constructing the merge candidate list may be represented as the following table.
  • Table 2 shows the number of processes involved in the succession candidate generation process, and when up to 5 succession candidates are generated, the pruning check process of the motion vector can be performed up to 10 times, and the scaling process is It may not be performed.
  • Table 3 shows the number of processes involved in the construction of the constructed candidate, and when up to 10 successive candidates are generated, the pruning check process of the motion vector can be performed up to 40 times, and the process of scaling Can be performed 22 times.
  • the pruning check process may indicate a process of determining whether the merge candidate is the same as the derived merge candidate and adding it to the merge candidate list only when it is not the same.
  • the process of scaling the motion vector in the process of deriving the merge candidate may be shown as the following table.
  • the number of processes for scaling a motion vector in the process of deriving a merge candidate may be derived.
  • Table 5 The number of operations required for each of the processes shown in Tables 2 and 3 is shown in Table 5 below, and Tables 6 and 7 describe this in detail.
  • “Add” shown in Table 5 and Table 6 is an addition operation, “Shift” is a shift operation, “Comp.” Is a comparison operation, “Abs” is an operation to obtain an absolute value, “Div. ”Means division operation, and“ Mult. ”Means multiplication operation.
  • a method of deriving the successive candidates based on an affine block by checking the neighboring blocks in a scanning order, but deriving the derived merge candidates from neighboring blocks for different reference pictures may be proposed.
  • This embodiment is proposed in that the successive candidates derived based on neighboring blocks having the same reference picture are likely to be the same or similar.
  • the scanning order may be around the lower left corner block A0 ⁇ the upper right corner block B0 ⁇ the left peripheral block A1 ⁇ the upper peripheral block B1 ⁇ the upper left corner peripheral block B2. This is an example, and the scanning order may be the scanning order shown in the description of FIG. 9.
  • the successive candidates according to this embodiment can be derived as shown in the following table.
  • the peripheral blocks may be checked in the order of the lower left corner peripheral block A0, the upper right corner peripheral block B0, the left peripheral block A1, the upper peripheral block B1, and the upper left corner peripheral block B2.
  • the block A0 around the lower left corner may be a block to which affine prediction is applied (ie, an affine block), and thus, a successive candidate may be derived based on the block A0 around the lower left corner. .
  • the block B0 around the upper right corner may be a block to which affine prediction is applied (ie, a block of affine), and a reference picture index ⁇ 0, of the block A0 around the lower left corner for the derived candidate that has already been derived. It may have a reference picture index ⁇ 1, 0 ⁇ different from 0 ⁇ . Therefore, a successor candidate can be derived based on the block B0 around the upper right corner.
  • the left peripheral block A1 is a block to which affine prediction is not applied, that is, it is not an affine block, a successor candidate based on the left peripheral block A1 may not be derived.
  • the upper peripheral block B1 is a block to which affine prediction is applied (that is, an affine block), but the same as the reference picture index ⁇ 0, 0 ⁇ of the block A0 around the lower left corner for the derived candidate already derived. It may have a reference picture index ⁇ 0, 0 ⁇ . Therefore, a candidate inherited based on the upper peripheral block B1 may not be derived.
  • the block B2 around the upper left corner may be a block to which affine prediction is applied (ie, affine block), and may have a reference picture index ⁇ 0, 1 ⁇ different from reference picture indices of successive candidates already derived. You can. Therefore, a successor candidate can be derived based on the block B2 around the upper left corner.
  • the successive candidates are derived based on an affine block by checking the neighboring blocks in a scanning order, and whether the neighboring block is a neighboring block for a reference picture different from the current block.
  • a method of deriving merge candidates by checking the affine type for a block may be proposed.
  • the number of comparison processes of the pruning check process for the succeeded candidate can be reduced from 150 to 30.
  • the affine type is additionally considered for the pruning check process of the inherited candidate in the present embodiment. This takes into account that candidates having different characteristics can be constructed even if the reference pictures are the same and different affine types are used.
  • the number of operations is increased, that is, the number of comparison operations of the pruning check process is increased by 1 compared to the embodiments of Tables 9 to 11.
  • additional candidates with different characteristics can be considered, and there is a performance improvement effect. That is, additional consideration of the affine type may have a trade-off relationship between complexity and performance.
  • a scanning process is performed to generate an inherited candidate, and a pruning check process is performed whenever a succeeded candidate is generated at a scanning position.
  • the spatial location for the scanning process is shown in FIG. 9, and when the scanning order is A1 ⁇ B1 ⁇ B0 ⁇ A0 ⁇ B2, the scanning process in the worst case may be performed as shown in Table 14.
  • the pruning check process requires up to 10 times.
  • the proposed method 1 of Table 14 (column 3 of Table 14) is to perform the pruning check process when the distance of the successive candidate's scanning position is close and the pruning check process is not performed when the distance is far.
  • the blocks A1 and B1 in Table 14 have a low spatial correlation (or because the distances between the two blocks are large), and thus there is a high probability that other successive candidates are generated. Therefore, in this case, the merge candidate is added to the succeeded candidate without performing the pruning check process.
  • B0 and B1 blocks have high spatial correlation, it is highly likely to generate similar candidates. In this case, a pruning check process may be performed to determine whether to add the candidate to the succeeded candidate.
  • the pruning check process is performed only for the closest A1 block among the A0 and A1 blocks, and the pruning check process is performed only for the closest B1 block among the B0 and B1 blocks.
  • the number of pruning check processes may be reduced from 10 to four.
  • the proposed method 2 of Table 14 corresponds to the case where the pruning check process for the A1 and B1 blocks is added in the proposed method 1. Since the corresponding blocks A1 and B1 are considered as candidates with a higher probability than other blocks in video encoding, they may be additionally considered to minimize encoding efficiency degradation that may occur by reducing the number of pruning check processes.
  • the proposed method 1 or the proposed method 2 described in Table 14 may be applied simultaneously with the existing method and a method for reducing the pruning check process of the above-described embodiment, that is, redundantly applied.
  • the methods described in Tables 9 to 13 reduce the number of comparison operations required in the pruning check process, and in the case of the proposed method 1 and the proposed method 2 according to Table 14, the number of pruning check processes is reduced.
  • this document proposes embodiments that reduce computational complexity in the process of deriving a constructed candidate.
  • FIG. 11 shows a method of deriving a constructed candidate according to an embodiment of the present document.
  • the encoding device / decoding device may derive candidate motion vectors for CPs of the current block (S1100).
  • the constructed candidate may be derived based on candidate motion vectors for CPs.
  • the candidate motion vectors can be derived based on neighboring blocks.
  • FIG. 12 is a diagram illustrating candidate motion vectors for a neighboring block of a current block and a CP of a current block for deriving a constructed candidate according to an embodiment of the present document.
  • the candidate motion vector CPMV0 for the CP0 of the current block, the candidate motion vector CPMV1 for the CP0 of the current block, and the candidate motion vector CPMV2 for the CP1 of the current block are selected by the following equation Can be.
  • CP0 may indicate the upper left position of the current block
  • CP1 may indicate the upper right position of the current block
  • CP2 may indicate the lower left position of the current block.
  • the encoding device / decoding device may check whether the neighboring blocks in the first group are available according to the first order, and the motion vector of the available neighboring blocks first identified in the checking process is a candidate for the CP0.
  • the available neighboring blocks may be blocks coded by inter prediction (ie, blocks to which inter prediction is applied).
  • the first group may include the peripheral block B2, the peripheral block B3, and the peripheral block A2 shown in FIG. 10.
  • the peripheral block B2 may be referred to as the peripheral block A of FIG. 12, the peripheral block B3 of the peripheral block B of FIG. 12, and the peripheral block A2 of the peripheral block C of FIG. 12.
  • the first order may be an order from the neighboring block B2 in the first group to the neighboring block B3 and the neighboring block A2.
  • the motion vector of the neighboring block B2 may be derived as a candidate motion vector for the CP0, when the neighboring block B2 is not available, and when the neighboring block B3 is available . If the motion vector of the neighboring block B3 can be derived as a candidate motion vector for the CP0, when the neighboring block B2 and the neighboring block B3 are not available and the neighboring block A2 is available, the neighboring block A2 A motion vector can be derived as a candidate motion vector for the CP0.
  • the encoding device / decoding device may check whether the neighboring blocks in the second group are available according to the second order, and the motion vector of the available neighboring blocks first identified in the checking process to the CP0. It can be derived as a candidate motion vector for. That is, the candidate motion vector for the CP0 may be a motion vector of available neighboring blocks first identified by checking neighboring blocks in the second group according to a second order. The availability may indicate that the neighboring block is present and the neighboring block is coded with inter prediction.
  • the available neighboring blocks may be blocks coded by inter prediction (ie, blocks to which inter prediction is applied).
  • the second group may include the peripheral block B1 and the peripheral block B0.
  • the peripheral block B1 may be referred to as a peripheral block D of FIG. 12 and the peripheral block B0 may be referred to as a peripheral block E of FIG. 12.
  • the second order may be an order from the neighboring block B1 in the second group to the neighboring block B0.
  • the motion vector of the neighboring block B1 may be derived as a candidate motion vector for the CP0
  • the motion vector of the neighboring block B0 may be derived as a candidate motion vector for the CP0.
  • the encoding device / decoding device may check whether the neighboring blocks in the third group are available according to a third order, and the motion vector of the available neighboring blocks first identified in the checking process to the CP1. It can be derived as a candidate motion vector for. That is, the candidate motion vector for CP1 may be a motion vector of available neighboring blocks first identified by checking neighboring blocks in the third group according to a third order. The availability may indicate that the neighboring block is present and the neighboring block is coded with inter prediction.
  • the available neighboring blocks may be blocks coded by inter prediction (ie, blocks to which inter prediction is applied).
  • the third group may include the peripheral block A1 and the peripheral block A0.
  • the peripheral block A1 may be referred to as a peripheral block F of FIG. 12 and the peripheral block A0 may be referred to as a peripheral block G of FIG. 12.
  • the third order may be an order from the peripheral block A1 in the third group to the peripheral block A0.
  • the motion vector of the neighboring block A1 may be derived as a candidate motion vector for the CP1
  • the neighboring block A1 is not available and the neighboring block A0 is available
  • the motion vector of the neighboring block A0 may be derived as a candidate motion vector for CP1.
  • a candidate motion vector for CP3 of the current block may not be considered. That is, the candidate motion vector for the CP3 may not be derived.
  • CP3 may indicate the lower right position of the current block.
  • the CP3 can be derived based on a motion vector (or a temporal motion vector predictor (TMVP)) of a temporal neighboring block as described above, to derive a candidate motion vector for the CP3 It is necessary to perform a scaling process, which can be a major cause of increasing computational complexity. Therefore, the candidate motion vector for CP3 may not be derived.
  • TMVP temporal motion vector predictor
  • the encoding device / decoding device may determine a CPMV pattern based on an available CPMV combination (S1110).
  • the available CPMV combination may represent a combination of candidate motion vectors having the same reference picture.
  • integer values such as “0”, “1”, “2”, “3”, and “4” may be assigned to the CPMV pattern.
  • the available CPMV combination is ⁇ CPMV0, CPMV1, CPMV2 ⁇ .
  • the CPMV pattern for the available CPMV combination ⁇ CPMV0, CPMV1, CPMV2 ⁇ may be derived as CPMV pattern 1.
  • the available CPMV combination is ⁇ CPMV0, CPMV1 ⁇ .
  • the CPMV pattern for the available CPMV combination ⁇ CPMV0, CPMV1 ⁇ may be derived as CPMV pattern 2.
  • the available CPMV combination is ⁇ CPMV0, CPMV2 ⁇ .
  • the CPMV pattern for the available CPMV combination ⁇ CPMV0, CPMV2 ⁇ may be derived as CPMV pattern 3.
  • the available CPMV combination is ⁇ CPMV1, CPMV2 ⁇ .
  • the CPMV pattern for the available CPMV combination ⁇ CPMV1, CPMV2 ⁇ may be derived as CPMV pattern 4.
  • the CPMV pattern may be derived as CPMV pattern 0. have.
  • the encoding device / decoding device may derive a constructed candidate based on the derived CPMV pattern (S1120).
  • the constructed candidate may not be derived.
  • a constructed candidate including ⁇ CPMV0, CPMV1, CPMV2 ⁇ in the merge candidate list of the current block, and a constructed candidate including ⁇ CPMV0, CPMV1 ⁇ , Constructed candidates including ⁇ CPMV0, CPMV2 ⁇ , and constructed candidates including ⁇ CPMV1, CPMV2 ⁇ may be added until the maximum number of candidates in the merge candidate list becomes the maximum number.
  • a constructed candidate including ⁇ CPMV0, CPMV1 ⁇ may be added to the merge candidate list.
  • a constructed candidate including ⁇ CPMV0, CPMV2 ⁇ may be added to the merge candidate list.
  • a constructed candidate including ⁇ CPMV1, CPMV2 ⁇ may be added to the merge candidate list.
  • the CPMV pattern and available constructed candidates according to the available CPMV combinations can be derived as shown in Table 15 below.
  • Tables 17 to 22 show computational complexity in the case of the present embodiment.
  • the worst case having the highest computational complexity is a case in which the CPMV pattern is derived as CPMV pattern 1, and the maximum number of constructed candidates that can be generated in this case is shown in Table 17. Four together. In addition, when the maximum number of constructed candidates is reduced from 10 to 4, as shown in Table 18, the maximum number of pruning check processes between constructed candidates is 16 times, and a scaling process may not be performed.
  • a method that does not consider a combination including CPMV0 and CPMV2 or a combination including CPMV1 and CPMV2 may be proposed.
  • the encoding device / decoding device determines the CPMV pattern based on the available CPMV combination, but the CPMV pattern may not include the CPMV pattern 3 or the CPMV pattern 4.
  • available constructed candidates may not include constructed candidates including ⁇ CPMV0, CPMV2 ⁇ .
  • the available constructed candidates may not include constructed candidates including ⁇ CPMV1, CPMV2 ⁇ .
  • the CPMV pattern and available constructed candidates according to the available CPMV combination can be derived as shown in the following table.
  • CPMV0 and CPMV1 are used in the case of 4 affine motion models
  • CPMV0, CPMV1 and CPMV2 are used in the case of 6 affine motion models, and thus constructed candidates are derived from the unification point of view as described above. How to do this can be considered.
  • a method may be proposed in which the combination including CPMV1 and CPMV2 is not considered.
  • the encoding device / decoding device determines the CPMV pattern based on the available CPMV combination, but the CPMV pattern may be one of the CPMV pattern 0, the CPMV pattern 1, the CPMV pattern 2, and the CPMV pattern 3. Also, available constructed candidates may not include constructed candidates including ⁇ CPMV1, CPMV2 ⁇ .
  • the CPMV pattern and available constructed candidates according to the available CPMV combination can be derived as shown in the following table.
  • the encoding device / decoding device may derive a constructed candidate including ⁇ CPMV0, CPMV1, CPMV2 ⁇ , and the merge candidate list may include Constructed candidates can be added.
  • the CPMV pattern and available constructed candidates according to the available CPMV combination can be derived as shown in the following table.
  • a method of limiting the available constructed candidates according to the CPMV pattern to one may be proposed without considering combinations including CPMV0 and CPMV2 and combinations including CPMV1 and CPMV2. That is, this proposed method limits the available constructed candidates according to the CPMV pattern to one in the method of Table 23.
  • the encoding device / decoding device determines the CPMV pattern based on the available CPMV combination, but the CPMV pattern may be one of the CPMV pattern 0, the CPMV pattern 1, and the CPMV pattern 2.
  • the available constructed candidates may not include constructed candidates including ⁇ CPMV0, CPMV2 ⁇ and constructed candidates including ⁇ CPMV1, CPMV2 ⁇ .
  • the encoding device / decoding device may derive a constructed candidate including ⁇ CPMV0, CPMV1, CPMV2 ⁇ , and the merge candidate list may include Constructed candidates can be added.
  • the CPMV pattern and available constructed candidates according to the available CPMV combination can be derived as shown in the following table.
  • a method of limiting the available constructed candidates according to the CPMV pattern to one may be proposed without considering a combination including CPMV1 and CPMV2. That is, the proposed method limits the available constructed candidates according to the CPMV pattern to one in the method of Table 24.
  • the encoding device / decoding device determines the CPMV pattern based on the available CPMV combination, but the CPMV pattern may be one of the CPMV pattern 0, the CPMV pattern 1, the CPMV pattern 2, and the CPMV pattern 3. Also, available constructed candidates may not include constructed candidates including ⁇ CPMV1, CPMV2 ⁇ . In addition, when CPMV pattern 1 is derived as the CPMV pattern for the current block, the encoding device / decoding device may derive a constructed candidate including ⁇ CPMV0, CPMV1, CPMV2 ⁇ , and the merge candidate list may include Constructed candidates can be added.
  • the CPMV pattern and available constructed candidates according to the available CPMV combination can be derived as shown in the following table.
  • FIG. 13 is a diagram illustrating a candidate motion vector for a neighboring block of a current block and a CP of a current block for deriving a constructed candidate according to another embodiment of the present document.
  • candidate motion vector CPMV0 for CP0 of the current block candidate motion vector CPMV1 for CP0 of the current block, candidate motion vector CPMV2 for CP1 of the current block, and CP3 of the current block
  • the candidate motion vector CPMV3 can be selected by the following equation.
  • CP0 may indicate the upper left position of the current block
  • CP0 may indicate the upper right position of the current block
  • CP1 may indicate the lower left position of the current block
  • CP3 may indicate the current It can indicate the bottom right position of the block.
  • the encoding device / decoding device may check whether the neighboring blocks in the first group are available according to the first order, and the motion vector of the available neighboring blocks first identified in the checking process is a candidate for the CP0.
  • the available neighboring blocks may be blocks coded by inter prediction (ie, blocks to which inter prediction is applied).
  • the first group may include the peripheral block B2, the peripheral block B3, and the peripheral block A2 shown in FIG. 10.
  • the peripheral block B2 may be referred to as the peripheral block A of FIG. 13, the peripheral block B3 of the peripheral block B of FIG. 13, and the peripheral block A2 of the peripheral block C of FIG. 13.
  • the first order may be an order from the neighboring block B2 in the first group to the neighboring block B3 and the neighboring block A2.
  • the motion vector of the neighboring block B2 may be derived as a candidate motion vector for the CP0, when the neighboring block B2 is not available, and when the neighboring block B3 is available . If the motion vector of the neighboring block B3 can be derived as a candidate motion vector for the CP0, when the neighboring block B2 and the neighboring block B3 are not available and the neighboring block A2 is available, the neighboring block A2 A motion vector can be derived as a candidate motion vector for the CP0.
  • the encoding device / decoding device may check whether the neighboring blocks in the second group are available according to the second order, and the motion vector of the available neighboring blocks first identified in the checking process to the CP0. It can be derived as a candidate motion vector for. That is, the candidate motion vector for the CP0 may be a motion vector of available neighboring blocks first identified by checking neighboring blocks in the second group according to a second order. The availability may indicate that the neighboring block is present and the neighboring block is coded with inter prediction.
  • the available neighboring blocks may be blocks coded by inter prediction (ie, blocks to which inter prediction is applied).
  • the second group may include the peripheral block B1 and the peripheral block B0.
  • the peripheral block B1 may be referred to as a peripheral block D of FIG. 13 and the peripheral block B0 may be referred to as a peripheral block E of FIG. 13.
  • the second order may be an order from the neighboring block B1 in the second group to the neighboring block B0.
  • the motion vector of the neighboring block B1 may be derived as a candidate motion vector for the CP0
  • the motion vector of the neighboring block B0 may be derived as a candidate motion vector for the CP0.
  • the encoding device / decoding device may check whether the neighboring blocks in the third group are available according to a third order, and the motion vector of the available neighboring blocks first identified in the checking process to the CP1. It can be derived as a candidate motion vector for. That is, the candidate motion vector for CP1 may be a motion vector of available neighboring blocks first identified by checking neighboring blocks in the third group according to a third order. The availability may indicate that the neighboring block is present and the neighboring block is coded with inter prediction.
  • the available neighboring blocks may be blocks coded by inter prediction (ie, blocks to which inter prediction is applied).
  • the third group may include the peripheral block A1 and the peripheral block A0.
  • the peripheral block A1 may be referred to as a peripheral block F of FIG. 13 and the peripheral block A0 may be referred to as a peripheral block G of FIG. 13.
  • the third order may be an order from the peripheral block A1 in the third group to the peripheral block A0.
  • the motion vector of the neighboring block A1 may be derived as a candidate motion vector for the CP1
  • the neighboring block A1 is not available and the neighboring block A0 is available
  • the motion vector of the neighboring block A0 may be derived as a candidate motion vector for CP1.
  • the encoding device / decoding device checks whether the motion vector of the CP3, which can indicate the lower right position of the current block, is available, and if the motion vector is available, it can be derived as a candidate motion vector for the CP3.
  • CP3 may be derived based on a motion vector (or a temporal motion vector predictor (TMVP)) of a temporal neighboring block as described above.
  • TMVP temporal motion vector predictor
  • the encoding device / decoding device may determine the CPMV pattern based on the available CPMV combination.
  • the available CPMV combination may represent a combination of candidate motion vectors having the same reference picture.
  • the available CPMV combination may be represented as ⁇ CPMV0, CPMV1, CPMV2 ⁇ , and if the reference pictures of CPMV0 and CPMV1 are the same and only the reference picture of CPMV2 is different, available CPMV
  • the combination may be indicated as ⁇ CPMV0, CPMV1 ⁇ .
  • CPMV pattern according to the available CPMV combination can be expressed as shown in Table 29. As shown in Table 29, integer values such as “0”, “1”, “2”, “3”, “4”, and “11” can be assigned according to the CPMV pattern of available CPMV combinations.
  • the available CPMV combination may be represented as ⁇ CPMV0, CPMV1, CPMV2 ⁇ , ⁇ CPMV0, CPMV1, CPMV3 ⁇ , ⁇ CPMV0, CPMV2, CPMV3 ⁇ , ⁇ CPMV1, CPMV2, CPMV3 ⁇ . That is, the CPMV pattern for the available CPMV combination ⁇ CPMV0, CPMV1, CPMV2, CPMV3 ⁇ may be derived as CPMV pattern 1.
  • the same reference picture means that the reference picture index indicating the reference picture is the same.
  • the reference picture for the candidate motion vector of the CP0, the candidate motion vector of the CP1 and the reference picture for the candidate motion vector of the CP2 are the same, and the candidate motion vector of the CP3 is not available or the CP3
  • the available CPMV combinations may be represented as ⁇ CPMV0, CPMV1, CPMV2 ⁇ , ⁇ CPMV0, CPMV1 ⁇ , ⁇ CPMV0, CPMV2 ⁇ and ⁇ CPMV1, CPMV2 ⁇ . That is, the CPMV pattern for the available CPMV combination ⁇ CPMV0, CPMV1, CPMV2 ⁇ may be derived as CPMV pattern 2.
  • the reference picture for the candidate motion vector of the CP0, the reference picture for the candidate motion vector of the CP1, and the reference picture for the candidate motion vector of the CP3 are the same, and the candidate motion vector of the CP2 is available.
  • the available CPMV combinations may be represented as ⁇ CPMV0, CPMV1, CPMV3 ⁇ , ⁇ CPMV0, CPMV1 ⁇ , ⁇ CPMV0, CPMV3 ⁇ and ⁇ CPMV1, CPMV3 ⁇ . That is, the CPMV pattern for the available CPMV combination ⁇ CPMV0, CPMV1, CPMV3 ⁇ may be derived as CPMV pattern 3.
  • the reference picture for the candidate motion vector of CP0, the reference picture for the candidate motion vector of CP2, and the reference picture for the candidate motion vector of CP3 are the same, and the candidate motion vector of CP1 is available.
  • the available CPMV combinations may be represented as ⁇ CPMV0, CPMV2, CPMV3 ⁇ , ⁇ CPMV0, CPMV2 ⁇ , ⁇ CPMV0, CPMV3 ⁇ and ⁇ CPMV2, CPMV3 ⁇ . That is, the CPMV pattern for the available CPMV combination ⁇ CPMV0, CPMV2, CPMV3 ⁇ can be derived as CPMV pattern 4.
  • the reference picture for the candidate motion vector of CP1, the reference picture for the candidate motion vector of CP2, and the reference picture for the candidate motion vector of CP3 are the same, and the candidate motion vector of CP0 is available.
  • the available CPMV combinations can be represented as ⁇ CPMV1, CPMV2, CPMV3 ⁇ , ⁇ CPMV1, CPMV2 ⁇ , ⁇ CPMV1, CPMV3 ⁇ and ⁇ CPMV2, CPMV3 ⁇ . That is, the CPMV pattern for the available CPMV combinations ⁇ CPMV1, CPMV2, CPMV3 ⁇ can be derived as CPMV pattern 5.
  • the available CPMV combination may be represented as ⁇ CPMV0, CPMV1 ⁇ .
  • the CPMV pattern for the available CPMV combination ⁇ CPMV0, CPMV1 ⁇ may be derived as CPMV pattern 6.
  • the available CPMV combination may be represented as ⁇ CPMV0, CPMV2 ⁇ .
  • the CPMV pattern for the available CPMV combination ⁇ CPMV0, CPMV2 ⁇ may be derived as CPMV pattern 7.
  • the available CPMV combination may be represented as ⁇ CPMV1, CPMV2 ⁇ .
  • the CPMV pattern for the available CPMV combination ⁇ CPMV1, CPMV2 ⁇ may be derived as a CPMV pattern 8.
  • the available CPMV combination may be represented as ⁇ CPMV0, CPMV3 ⁇ .
  • the CPMV pattern for the available CPMV combination ⁇ CPMV0, CPMV3 ⁇ may be derived as CPMV pattern 9.
  • the available CPMV combination may be represented as ⁇ CPMV1, CPMV3 ⁇ .
  • the CPMV pattern for the available CPMV combinations ⁇ CPMV1, CPMV3 ⁇ may be derived as CPMV pattern 10.
  • the available CPMV combination may be represented as ⁇ CPMV1, CPMV3 ⁇ .
  • the CPMV pattern for the available CPMV combination ⁇ CPMV2, CPMV3 ⁇ may be derived as CPMV pattern 11.
  • the CPMV pattern may be derived as CPMV pattern 0.
  • the encoding device / decoding device may derive a constructed candidate based on the derived CPMV pattern.
  • the constructed candidate may not be derived.
  • CPMV pattern 1 is derived as shown in Table 29, ⁇ CPMV0, CPMV1, CPMV2 ⁇ , ⁇ CPMV0, CPMV1, CPMV3 ⁇ , ⁇ CPMV0, CPMV2, CPMV3 ⁇ in the merge candidate list of the current block.
  • ⁇ CPMV1, CPMV2, CPMV3 ⁇ may be added until the maximum number of candidates in the merge candidate list is reached in the constructed candidate order.
  • the reference picture for the available CPMV combination is the same Whether it can be judged. For example, when ⁇ CPMV0, CPMV1, CPMV2 ⁇ is added as a constructed candidate, it may be determined whether all reference pictures for CPMV0, CPMV1, and CPMV2 are the same. As a result of determination, if all of the reference pictures for CPMV0, CPMV1, and CPMV2 are the same, ⁇ CPMV0, CPMV1, CPMV2 ⁇ may be added as a constructed candidate.
  • ⁇ CPMV0, CPMV1, CPMV3 ⁇ when ⁇ CPMV0, CPMV1, CPMV3 ⁇ is added as a constructed candidate, it may be determined whether reference pictures for CPMV0, CPMV1, and CPMV3 are all the same. As a result of the determination, if all of the reference pictures for CPMV0, CPMV1, and CPMV3 are the same, ⁇ CPMV0, CPMV1, CPMV3 ⁇ may be added as a constructed candidate.
  • a constructed candidate including ⁇ CPMV0, CPMV1, CPMV2 ⁇ in the merge candidate list of the current block, and a constructed candidate including ⁇ CPMV0, CPMV1 ⁇ , Constructed candidates including ⁇ CPMV0, CPMV2 ⁇ , and constructed candidates including ⁇ CPMV1, CPMV2 ⁇ may be added until the maximum number of candidates in the merge candidate list becomes the maximum number.
  • a constructed candidate including ⁇ CPMV0, CPMV1, CPMV3 ⁇ in the merge candidate list of the current block, and a constructed candidate including ⁇ CPMV0, CPMV1 ⁇ , Constructed candidates including ⁇ CPMV0, CPMV3 ⁇ , and constructed candidates including ⁇ CPMV1, CPMV3 ⁇ may be added until the maximum number of candidates in the merge candidate list becomes the maximum number.
  • a constructed candidate including ⁇ CPMV0, CPMV2, CPMV3 ⁇ in the merge candidate list of the current block, and a constructed candidate including ⁇ CPMV0, CPMV2 ⁇ , Constructed candidates including ⁇ CPMV0, CPMV3 ⁇ , and constructed candidates including ⁇ CPMV2, CPMV3 ⁇ may be added until the maximum number of candidates in the merge candidate list is the maximum.
  • a constructed candidate including ⁇ CPMV1, CPMV2, CPMV3 ⁇ in the merge candidate list of the current block, and a constructed candidate including ⁇ CPMV1, CPMV2 ⁇ , Constructed candidates including ⁇ CPMV1, CPMV3 ⁇ , and constructed candidates including ⁇ CPMV2, CPMV3 ⁇ may be added until the maximum number of candidates in the merge candidate list becomes the maximum number.
  • a constructed candidate including ⁇ CPMV0, CPMV1 ⁇ may be added to the merge candidate list.
  • ⁇ CPMV0, CPMV1 ⁇ When ⁇ CPMV0, CPMV1 ⁇ is added as a constructed candidate, it may be determined whether the reference pictures for the available CPMV combinations are the same. That is, when ⁇ CPMV0, CPMV1 ⁇ is added as a constructed candidate, it may be determined whether the reference pictures for CPMV0 and CPMV1 are the same. As a result of determination, if the reference pictures for CPMV0 and CPMV1 are the same, ⁇ CPMV0, CPMV1 ⁇ may be added as a constructed candidate.
  • a constructed candidate including ⁇ CPMV0, CPMV2 ⁇ may be added to the merge candidate list.
  • ⁇ CPMV0, CPMV2 ⁇ When ⁇ CPMV0, CPMV2 ⁇ is added as a constructed candidate, it may be determined whether the reference pictures for the available CPMV combinations are the same. That is, when ⁇ CPMV0, CPMV2 ⁇ is added as a constructed candidate, it may be determined whether the reference pictures for CPMV0 and CPMV2 are the same. As a result of determination, if the reference pictures for CPMV0 and CPMV2 are the same, ⁇ CPMV0, CPMV2 ⁇ may be added as a constructed candidate.
  • a constructed candidate including ⁇ CPMV1, CPMV2 ⁇ may be added to the merge candidate list.
  • a constructed candidate including ⁇ CPMV0, CPMV3 ⁇ may be added to the merge candidate list.
  • a constructed candidate including ⁇ CPMV0, CPMV3 ⁇ may be added to the merge candidate list.
  • a constructed candidate including ⁇ CPMV2, CPMV3 ⁇ may be added to the merge candidate list.
  • the maximum number of constructed candidates is four.
  • Table 31 shows the number of processes for the constructed candidate, and Table 32 shows the detailed scaling process for the constructed candidate.
  • a scaling process for TMVP and a scaling process for List 0 and List 1 may be accompanied by two scaling processes.
  • Table 33 shows the pruning check process and the scaling process involved in the generation of the succeeded candidate, and Table 34 shows the number of times for various arithmetic processes involved in generating the constructed candidate.
  • Table 35 shows the number of comparison operations involved when comparing two merge candidates. That is, when comparing two merge candidates, 12 duplicate checks for CPMV, 2 comparison operations for L0 reference picture and L1 reference picture identity, and 1 comparison operation for affine type can be performed in the pruning check process. have.
  • Table 36 shows the number of processes for generating the merge candidate list according to the present embodiment, and the complexity of the constructed candidate is reduced from 73 times to 46 times when compared with Table 6, and the number of shift operations is It decreased from 55 to 36 times, and the comparison operation of the pruning check process decreased from 600 to 240 times. As the complexity of these constructed candidates decreased, it can be seen that the overall computational complexity decreased significantly as shown in Table 36.
  • a method that does not consider a combination including CPMV0 and CPMV2 or a combination including CPMV1 and CPMV2 may be proposed.
  • the encoding device / decoding device determines the CPMV pattern based on the available CPMV combination, but the CPMV pattern may not include the CPMV pattern 3 of Table 15 or the CPMV pattern 4 of Table 15.
  • available constructed candidates may not include constructed candidates including ⁇ CPMV0, CPMV2 ⁇ .
  • the available constructed candidates may not include constructed candidates including ⁇ CPMV1, CPMV2 ⁇ .
  • available constructed candidates may not include constructed candidates including ⁇ CPMV0, CPMV2 ⁇ .
  • the available constructed candidates may not include constructed candidates including ⁇ CPMV1, CPMV2 ⁇ .
  • FIG. 14 is a diagram illustrating a planner motion vector prediction according to an embodiment of the present document.
  • FIG. 14 is a schematic diagram of planner motion vector prediction, and as shown, the planar motion vector prediction can be obtained as an average value of vertical and horizontal linear interpolation for a 4X4 block.
  • the motion vector prediction for the current block (Current 4X4 sub-block) is expressed by Equation 8.
  • H denotes the height and width of the coding block 16X16 including the current block.
  • Ph (x, y) is derived by linear interpolation according to the relative distance of L (-1, y) and R (W, y) to the horizontal direction of the current block
  • Pw (x, y) ) Can be derived by linear interpolation according to the relative distances of A (x, -1) and B (x, H) with respect to the vertical direction of the current block.
  • planar motion vector prediction according to the present embodiment may be applied to constructing the constructed candidate described with reference to FIG. 13, and when the CPMV pattern is 1, that is, when the reference pictures for CP0 to CP3 are all the same, it is applied. You can.
  • Table 29 may be changed to Table 37.
  • CPMV pattern is 1, Planar ⁇ CPMV0, CPMV1, CPMV2, CPMV3 ⁇ , ⁇ CPMV0, CPMV1, CPMV2 ⁇ , ⁇ CPMV0, CPMV1, CPMV3 ⁇ , ⁇ CPMV0, CPMV2 in the merge candidate list of the current block.
  • CPMV3 ⁇ , ⁇ CPMV1, CPMV2, CPMV3 ⁇ may be added until the maximum number of candidates in the merge candidate list is reached in the order of constructed candidates.
  • the constructed candidate according to Table 37 may be modified as shown in Table 38.
  • Planar ⁇ CPMV0, CPMV1, CPMV2, CPMV3 ⁇ may be added as a constructed candidate to the merge candidate list of the current block.
  • the inherited candidate is a case where the neighboring block is an affine block
  • the constructed candidate assumes a case where the neighboring block is not an affine block. Therefore, the characteristics of the two candidates are different, and accordingly, it is possible to assume another candidate without performing the pruning check process.
  • This method can be used simultaneously or independently of the method of determining the successive candidate or the constructed candidate already proposed above.
  • FIG. 15 schematically shows a video encoding method by an encoding device according to the present document.
  • the method disclosed in FIG. 15 may be performed by the encoding device disclosed in FIG. 1.
  • S1500 to S1510 in FIG. 15 may be performed by the prediction unit of the encoding device
  • S1520 may be performed by the entropy encoding unit of the encoding device.
  • the process of deriving the prediction samples for the current block based on the CPMVs may be performed by the prediction unit of the encoding device, and based on the original samples and the prediction samples for the current block.
  • the process of deriving the residual sample for the current block may be performed by the subtraction unit of the encoding device, and the process of generating information about the residual for the current block based on the residual sample may be performed by the encoding. It may be performed by the conversion unit of the device, and the process of encoding the information related to the residual may be performed by the entropy encoding unit of the encoding device.
  • the encoding device configures a merge candidate list for the current block (S1500).
  • the encoding apparatus may construct a merge candidate list including candidates for the current block.
  • the candidates may include inherited affine candidates and constructed candidates.
  • the inherited candidates may be derived based on neighboring blocks of the current block, and the maximum number of the inherited candidates may be 2.
  • the inherited candidates may include a first inherited candidate and a second inherited candidate.
  • the first successive candidate is based on a left block group including a bottom-left corner neighboring block and a left neighboring block of the current block.
  • neighboring blocks in the left block group may be checked in a first order
  • the first inherited candidate may be derived based on neighboring blocks coded with the first checked affine motion model.
  • the first order may be an order from the block around the lower left corner to the block around the left.
  • the second successive candidate is a top-right corner neighboring block, a top neighboring block, and a top-left corner neighboring block of the current block. It can be derived based on the top block group (top block group) to include. For example, neighboring blocks in the upper block group may be checked in a second order, and the second inherited candidate may be derived based on neighboring blocks coded with the first checked affine motion model.
  • the second order may be an order from the upper right corner peripheral block to the upper peripheral block, and the upper left corner peripheral block.
  • the block around the lower left corner includes a sample of (-1, H) coordinates.
  • the block around the left corner may be a block including samples of (-1, H-1) coordinates
  • the block around the upper right corner may include blocks of (W, -1) coordinate samples.
  • the upper peripheral block may be a block including samples of (W-1, -1) coordinates
  • the upper left corner block may be a block including samples of (-1, -1) coordinates
  • the inherited candidate may be derived based on neighboring blocks of the current block, and the maximum number of inherited candidates may be 1.
  • the neighboring blocks may be checked in a specific order, and the inherited candidate may be derived based on a neighboring block coded with the first checked affine motion model.
  • the peripheral blocks may include a block around the left side of the current block, a block around the top side, a block around the bottom left corner, a block around the top right corner, and a block around the top left corner.
  • the specific order may be an order from the left peripheral block to the upper peripheral block, the lower left corner peripheral block, the upper right corner peripheral block, and the upper left corner peripheral block.
  • the block around the lower left corner includes a sample of (-1, H) coordinates.
  • the block around the left corner may be a block including samples of (-1, H-1) coordinates
  • the block around the upper right corner may include blocks of (W, -1) coordinate samples.
  • the upper peripheral block may be a block including samples of (W-1, -1) coordinates
  • the upper left corner block may be a block including samples of (-1, -1) coordinates
  • the inherited candidates may be derived based on neighboring blocks of the current block, and reference picture indices of the inherited candidates may indicate different reference pictures.
  • the neighboring blocks may be checked in a specific order, and a first inherited candidate may be derived based on a first neighboring block coded with an affine motion model.
  • the reference picture index of the second neighboring block coded by the affine motion model following the first neighboring block in the specific order indicates a reference picture different from the reference picture index of the first neighboring block
  • the second A second inherited candidate may be derived based on the neighboring blocks.
  • the reference picture index of the second neighboring block indicates the same reference picture as the reference picture index of the first neighboring block, a candidate succeeded based on the second neighboring block may not be derived.
  • the constructed candidates may be derived based on neighboring blocks of the current block.
  • candidate motion vectors for CPs (Control Points) of the current block may be derived based on the neighboring blocks.
  • the CPs may include CP0, CP1, CP2 and CP3.
  • the CP0 may indicate the upper left position of the current block
  • the CP1 may indicate the upper right position of the current block
  • the CP2 may indicate the lower left position of the current block
  • CP3 the right of the current block It can indicate the bottom position.
  • the neighboring blocks may include a neighboring block A, a neighboring block B, a neighboring block C, a neighboring block D, a neighboring block E, a neighboring block F, a neighboring block G, and a neighboring block T of the current block.
  • the neighboring block A is a sample of (-1, -1) coordinates.
  • the neighboring block B may be a block containing a sample of (0, -1) coordinates
  • the neighboring block C may be a block including a sample of (-1, 0) coordinates
  • the peripheral block D may be a block including samples of (W-1, -1) coordinates
  • the peripheral block E may be a block including samples of (W, -1) coordinates
  • the peripheral blocks F may be a block including samples of (-1, H-1) coordinates
  • the peripheral block G may be a block including samples of (-1, H) coordinates.
  • the peripheral block A may be a block around the upper left corner of the current block
  • the peripheral block B may be an upper peripheral block located at the leftmost of the upper peripheral blocks of the current block
  • the peripheral block C May be a left peripheral block located at the uppermost of the left peripheral blocks of the current block
  • the peripheral block D may be an upper peripheral block located at the rightmost of the upper peripheral blocks of the current block
  • the peripheral Block E may be a block around the upper-right corner of the current block
  • the peripheral block F may be a left peripheral block located at the bottom of the left peripheral blocks of the current block
  • the peripheral block G is the current block It may be a block around the lower left corner of the.
  • the peripheral block T may be a block around the lower right corner of the current block.
  • the motion vector of the first neighboring block determined to be available for the first time may be derived as a candidate motion vector for the CP0. have. That is, the candidate motion vector for the CP0 may be derived as a motion vector of the first neighboring block that is determined to be available for the first time by checking whether neighboring blocks in the first group are available in the first order.
  • the availability may indicate that the neighboring blocks are coded with inter prediction. That is, the available neighboring blocks may be blocks to which inter prediction is applied.
  • the first group may include the peripheral block A, the peripheral block B, and the peripheral block C.
  • the first order may be an order from the neighboring block A to the neighboring block B and the neighboring block C in the first group.
  • the motion vector of the neighboring block A may be derived as a candidate motion vector for the CP0
  • the neighboring block A is not available and the neighboring block B is available
  • the neighboring block C A motion vector can be derived as a candidate motion vector for the CP0.
  • the motion vector of the second neighboring block determined to be available for the first time may be derived as a candidate motion vector for the CP0.
  • the candidate motion vector for CP0 may be derived as a motion vector of a second neighboring block that is determined to be available for the first time by checking whether neighboring blocks in the second group are available in a second order.
  • the availability may indicate that the neighboring blocks are coded with inter prediction. That is, the available neighboring blocks may be blocks to which inter prediction is applied.
  • the second group may include the peripheral block D and the peripheral block E.
  • the second order may be an order from the neighboring block D to the neighboring block E in the second group.
  • the motion vector of the neighboring block D may be derived as a candidate motion vector for the CP0
  • the motion vector of the neighboring block E can be derived as a candidate motion vector for the CP0
  • the motion vector of the third neighboring block that is first confirmed to be available may be derived as a candidate motion vector for the CP1.
  • the candidate motion vector for CP1 may be derived as a motion vector of a third neighboring block that is determined to be available for the first time by checking whether neighboring blocks in the third group are available in a third order.
  • the availability may indicate that the neighboring blocks are coded with inter prediction. That is, the available neighboring blocks may be blocks to which inter prediction is applied.
  • the third group may include the peripheral block F and the peripheral block G.
  • the third order may be an order from the neighboring block F to the neighboring block G in the third group.
  • the motion vector of the neighboring block F may be derived as a candidate motion vector for the CP1
  • the motion vector of the neighboring block G may be derived as a candidate motion vector for CP1.
  • the encoding device / decoding device may check whether the temporal neighboring block (ie, the neighboring block T) is available, and when the temporal neighboring block (ie, the neighboring block T) is available, the A motion vector of a temporal neighboring block (ie, the neighboring block T) may be derived as a candidate motion vector for the CP3.
  • the constructed candidates can be derived based on candidate motion vectors of the CPs.
  • Constructed candidates are derived based on a combination of at least two of a first periphery block in a first group, a second perimeter block in a second group, a third perimeter block in a third group, and a fourth perimeter block, forming a combination
  • the first peripheral block, the second peripheral block, the third peripheral block, and the fourth peripheral block have the same reference picture index. Having a reference picture index means that the reference pictures for the corresponding neighboring blocks are the same.
  • the constructed candidates are candidate motion vectors for the CP0.
  • a first constructed candidate including a candidate motion vector for CP1 and a candidate motion vector for CP2.
  • the constructed candidates are assigned to the first construct. It may include a candidate candidate, a second constructed candidate including a candidate motion vector for the CP0 and a candidate motion vector for the CP1.
  • the constructed candidates are assigned to the first construct.
  • a third constructed candidate including a candidate candidate and the second constructed candidate, a candidate motion vector for the CP0, and a candidate motion vector for the CP2.
  • the constructed candidates are assigned to the first construct.
  • a fourth constructed candidate including a candidate candidate, the second constructed candidate, and the third constructed candidate, a candidate motion vector for the CP1, and a candidate motion vector for the CP2.
  • the constructed candidates are candidate motion vectors for the CP0 and candidate motion vectors for the CP1. It may include the second constructed candidate including.
  • the constructed candidates are candidate motion vectors for the CP0 and candidate motion vectors for the CP2. It may include the third constructed candidate including.
  • the constructed candidates are candidate motion vectors for the CP1 and candidate motion vectors for the CP2. It may include the fourth constructed candidate including.
  • the encoding device / decoding device determines the CPMV pattern based on the available CPMV combination, but the CPMV pattern may not include the CPMV pattern 3 of Table 15 or the CPMV pattern 4 of Table 15.
  • available constructed candidates may not include constructed candidates including ⁇ CPMV0, CPMV2 ⁇ .
  • the available constructed candidates may not include constructed candidates including ⁇ CPMV1, CPMV2 ⁇ .
  • available constructed candidates may not include constructed candidates including ⁇ CPMV0, CPMV2 ⁇ .
  • the available constructed candidates may not include constructed candidates including ⁇ CPMV1, CPMV2 ⁇ .
  • the merge candidate list may include zero candidates.
  • the zero candidate may include candidate motion vectors having a value of 0 and a reference picture index.
  • the merge candidate list is zero. Candidates may be included.
  • the zero candidate may include candidate motion vectors with a value of 0 for the CPs and a reference picture index with a value of 0.
  • the first zero candidate or the first candidate is added to the merge candidate list until the number of merge candidates in the merge candidate list becomes the maximum candidate number. It can be added in the order of 2 zero candidates, 3 zero candidates ... n-zero candidates.
  • the first zero candidate may include candidate motion vectors with a value of 0 and a list reference index of L0 (list 0) and a reference picture index of L1 (list 1) with a value of 0, and the second zero.
  • the candidate may include candidate motion vectors having a value of 0, an L0 reference picture index having a value of 0, and an L1 reference picture index having a value of 1, and the third zero candidate is candidate motion vectors having a value of 0, a value.
  • a L0 reference picture index of 1 and a L1 reference picture index of 0 may be included, and the fourth zero candidate is candidate motion vectors with a value of 0, a L0 reference picture index with a value of 1, and a value of 1 It may include an L1 reference picture index.
  • the reference picture indices of the neighboring block A, the neighboring block B, the neighboring block C, the neighboring block D, the neighboring block E, the neighboring block F, and the neighboring block G are in order of high frequency.
  • the first zero candidate may include candidate motion vectors having a value of 0 and a reference picture index having the same value as a reference picture index of the left neighboring block of the current block, and the second zero.
  • the candidate may include zero-valued candidate motion vectors and a reference picture index having the same value as a reference picture index of the upper neighboring block of the current block, and the third zero candidate is zero-valued candidate motion vectors.
  • a reference picture index having the same value as the reference picture index of the block around the corner may be included, and the fifth zero candidate may include candidate motion vectors having a value of 0 and the above.
  • a reference picture index having the same value as the reference picture index of the block around the upper left corner of the current block may be included.
  • the encoding apparatus derives Control Point Motion Vectors (CPMVs) for Control Points (CPs) of the current block based on the merge candidate list (S1510).
  • CPMVs Control Point Motion Vectors
  • the encoding apparatus may derive CPMVs for the CPs of the current block having an optimal RD cost, and select a merge candidate most similar to the CPMVs among candidates in the merge candidate list as a merge candidate for the current block You can.
  • the encoding apparatus may derive control point motion vectors (CPMVs) for control points (CPs) of the current block based on the selected merge candidate among the merge candidates included in the merge candidate list.
  • CPMVs control point motion vectors
  • the candidate motion vector for CP0 of the merge candidate may be derived as the CPMV of the CP0, and the merge candidate
  • the candidate motion vector for CP1 may be derived as the CPMV of CP1.
  • the candidate motion vector for CP0 of the merge candidate is derived as the CPMV of CP0.
  • the candidate motion vector for CP1 of the merge candidate may be derived as the CPMV of the CP1
  • the candidate motion vector for CP2 of the merge candidate may be derived as the CPMV of the CP2.
  • the candidate motion vector for CP0 of the merge candidate is derived as the CPMV of CP0.
  • the candidate motion vector for CP1 of the merge candidate may be derived as CPMV of CP1
  • the candidate motion vector for CP3 of the merge candidate may be derived as CPMV of CP3.
  • the candidate motion vector for CP1 of the merge candidate may be derived as the CPMV of CP1
  • the candidate motion vector for CP2 can be derived from the CPMV of CP1.
  • the encoding apparatus may encode a merge candidate index indicating the selected merge candidate among the merge candidates.
  • the merge candidate index may indicate one of the merge candidates included in the merge candidate list for the current block.
  • the encoding apparatus encodes image information including prediction information for the current block (S1520).
  • the encoding device may output image information including information about the current block in the form of a bitstream.
  • the encoding device may encode the video information, the video information may include prediction information for the current block, and the prediction information may include the merge candidate index.
  • the merge candidate index may indicate the selected merge candidate among merge candidates included in the merge candidate list for the current block.
  • the encoding device may derive prediction samples for the current block based on the CPMVs, and derive residual samples for the current block based on the original sample and the prediction sample for the current block. It is possible to generate information about the residual for the current block based on the residual sample, and to encode the information about the residual.
  • the image information may include information about the residual.
  • the bitstream may be transmitted to a decoding device through a network or (digital) storage medium.
  • the network may include a broadcasting network and / or a communication network
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD.
  • FIG. 16 schematically shows an encoding apparatus that performs a video encoding method according to the present document.
  • the method disclosed in FIG. 15 may be performed by the encoding device disclosed in FIG. 16.
  • the prediction unit of the encoding device of FIG. 16 may perform S1500 to S1510 of FIG. 15, and the entropy encoding unit of the encoding device of FIG. 16 may perform S1520 of FIG. 15.
  • the process of deriving the prediction samples for the current block based on the CPMVs may be performed by the prediction unit of the encoding apparatus of FIG. 1, and the original sample and the prediction samples for the current block may be obtained.
  • the process of deriving the residual sample for the current block based on it may be performed by the subtraction unit of the encoding apparatus of FIG. 16, and generate information about the residual for the current block based on the residual sample
  • the process to be performed may be performed by the conversion unit of the encoding device of FIG. 16, and the process of encoding information about the residual may be performed by the entropy encoding unit of the encoding device of FIG. 16.
  • FIG. 17 schematically shows a video decoding method by a decoding apparatus according to the present document.
  • the method disclosed in FIG. 17 may be performed by the decoding apparatus disclosed in FIG. 2.
  • S1700 to S1720 of FIG. 17 may be performed by the prediction unit of the decoding device
  • S1730 may be performed by the addition unit of the decoding device.
  • the process of acquiring image information including residual block information and / or prediction information through a bitstream may be performed by the entropy decoding unit of the decoding apparatus, and the register
  • the process of deriving the residual sample for the current block based on the information on the dual may be performed by the inverse transform unit of the decoding apparatus.
  • the decoding apparatus configures an merge merge candidate list for the current block (S1700).
  • the decoding apparatus may construct a merge candidate list including candidates for the current block.
  • the candidates may include inherited candidates and constructed candidates.
  • the inherited candidates may be derived based on neighboring blocks of the current block, and the maximum number of the inherited candidates may be 2.
  • the inherited candidates may include a first inherited candidate and a second inherited candidate.
  • the first successive candidate is based on a left block group including a bottom-left corner neighboring block and a left neighboring block of the current block.
  • neighboring blocks in the left block group may be checked in a first order
  • the first inherited candidate may be derived based on neighboring blocks coded with the first checked affine motion model.
  • the first order may be an order from the block around the lower left corner to the block around the left.
  • the second successive candidate is a top-right corner neighboring block, a top neighboring block, and a top-left corner neighboring block of the current block. It can be derived based on the top block group (top block group) to include. For example, neighboring blocks in the upper block group may be checked in a second order, and the second inherited candidate may be derived based on neighboring blocks coded with the first checked affine motion model.
  • the second order may be an order from the upper right corner peripheral block to the upper peripheral block, and the upper left corner peripheral block.
  • the block around the lower left corner includes a sample of (-1, H) coordinates.
  • the block around the left corner may be a block including samples of (-1, H-1) coordinates
  • the block around the upper right corner may include blocks of (W, -1) coordinate samples.
  • the upper peripheral block may be a block including samples of (W-1, -1) coordinates
  • the upper left corner block may be a block including samples of (-1, -1) coordinates
  • the inherited candidate may be derived based on neighboring blocks of the current block, and the maximum number of inherited candidates may be 1.
  • the neighboring blocks may be checked in a specific order, and the inherited candidate may be derived based on a neighboring block coded with the first checked affine motion model.
  • the peripheral blocks may include a block around the left side of the current block, a block around the top side, a block around the bottom left corner, a block around the top right corner, and a block around the top left corner.
  • the specific order may be an order from the left peripheral block to the upper peripheral block, the lower left corner peripheral block, the upper right corner peripheral block, and the upper left corner peripheral block.
  • the block around the lower left corner includes a sample of (-1, H) coordinates.
  • the block around the left corner may be a block including samples of (-1, H-1) coordinates
  • the block around the upper right corner may include blocks of (W, -1) coordinate samples.
  • the upper peripheral block may be a block including samples of (W-1, -1) coordinates
  • the upper left corner block may be a block including samples of (-1, -1) coordinates
  • the inherited candidates may be derived based on neighboring blocks of the current block, and reference picture indices of the inherited candidates may indicate different reference pictures.
  • the neighboring blocks may be checked in a specific order, and a first inherited candidate may be derived based on a first neighboring block coded with an affine motion model.
  • the reference picture index of the second neighboring block coded by the affine motion model following the first neighboring block in the specific order indicates a reference picture different from the reference picture index of the first neighboring block
  • the second A second inherited candidate may be derived based on the neighboring blocks.
  • the reference picture index of the second neighboring block indicates the same reference picture as the reference picture index of the first neighboring block, a candidate succeeded based on the second neighboring block may not be derived.
  • the constructed candidates may be derived based on neighboring blocks of the current block.
  • candidate motion vectors for CPs (Control Points) of the current block may be derived based on the neighboring blocks.
  • the CPs may include CP0, CP1, CP2 and CP3.
  • the CP0 may indicate the upper left position of the current block
  • the CP1 may indicate the upper right position of the current block
  • the CP2 may indicate the lower left position of the current block
  • CP3 the right of the current block It can indicate the bottom position.
  • the neighboring blocks may include a neighboring block A, a neighboring block B, a neighboring block C, a neighboring block D, a neighboring block E, a neighboring block F, and a neighboring block G of the current block.
  • the neighboring block A is a sample of (-1, -1) coordinates.
  • the neighboring block B may be a block containing a sample of (0, -1) coordinates
  • the neighboring block C may be a block including a sample of (-1, 0) coordinates
  • the peripheral block D may be a block including samples of (W-1, -1) coordinates
  • the peripheral block E may be a block including samples of (W, -1) coordinates
  • the peripheral blocks F may be a block including samples of (-1, H-1) coordinates
  • the peripheral block G may be a block including samples of (-1, H) coordinates.
  • the peripheral block A may be a block around the upper left corner of the current block
  • the peripheral block B may be an upper peripheral block located at the leftmost of the upper peripheral blocks of the current block
  • the peripheral block C May be a left peripheral block located at the uppermost of the left peripheral blocks of the current block
  • the peripheral block D may be an upper peripheral block located at the rightmost of the upper peripheral blocks of the current block
  • the peripheral Block E may be a block around the upper-right corner of the current block
  • the peripheral block F may be a left peripheral block located at the bottom of the left peripheral blocks of the current block
  • the peripheral block G is the current block It may be a block around the lower left corner of the.
  • the peripheral block T may be a block around the lower right corner of the current block.
  • the motion vector of the first neighboring block determined to be available for the first time may be derived as a candidate motion vector for the CP0. have. That is, the candidate motion vector for the CP0 may be derived as a motion vector of the first neighboring block that is determined to be available for the first time by checking whether neighboring blocks in the first group are available in the first order.
  • the availability may indicate that the neighboring blocks are coded with inter prediction. That is, the available neighboring blocks may be blocks to which inter prediction is applied.
  • the first group may include the peripheral block A, the peripheral block B, and the peripheral block C.
  • the first order may be an order from the neighboring block A to the neighboring block B and the neighboring block C in the first group.
  • the motion vector of the neighboring block A may be derived as a candidate motion vector for the CP0
  • the neighboring block A is not available and the neighboring block B is available
  • the neighboring block C A motion vector can be derived as a candidate motion vector for the CP0.
  • the motion vector of the second neighboring block determined to be available for the first time may be derived as a candidate motion vector for the CP0.
  • the candidate motion vector for CP0 may be derived as a motion vector of a second neighboring block that is determined to be available for the first time by checking whether neighboring blocks in the second group are available in a second order.
  • the availability may indicate that the neighboring blocks are coded with inter prediction. That is, the available neighboring blocks may be blocks to which inter prediction is applied.
  • the second group may include the peripheral block D and the peripheral block E.
  • the second order may be an order from the neighboring block D to the neighboring block E in the second group.
  • the motion vector of the neighboring block D may be derived as a candidate motion vector for the CP0
  • the motion vector of the neighboring block E can be derived as a candidate motion vector for the CP0
  • the motion vector of the third neighboring block that is first confirmed to be available may be derived as a candidate motion vector for the CP1.
  • the candidate motion vector for CP1 may be derived as a motion vector of a third neighboring block that is determined to be available for the first time by checking whether neighboring blocks in the third group are available in a third order.
  • the availability may indicate that the neighboring blocks are coded with inter prediction. That is, the available neighboring blocks may be blocks to which inter prediction is applied.
  • the third group may include the peripheral block F and the peripheral block G.
  • the third order may be an order from the neighboring block F to the neighboring block G in the third group.
  • the motion vector of the neighboring block F may be derived as a candidate motion vector for the CP1
  • the motion vector of the neighboring block G may be derived as a candidate motion vector for CP1.
  • the encoding device / decoding device may check whether the temporal neighboring block (ie, the neighboring block T) is available, and when the temporal neighboring block (ie, the neighboring block T) is available, the A motion vector of a temporal neighboring block (ie, the neighboring block T) may be derived as a candidate motion vector for the CP3.
  • the constructed candidates can be derived based on candidate motion vectors of the CPs.
  • Constructed candidates are derived based on a combination of at least two of a first periphery block in a first group, a second perimeter block in a second group, a third perimeter block in a third group, and a fourth perimeter block, forming a combination
  • the first peripheral block, the second peripheral block, the third peripheral block, and the fourth peripheral block have the same reference picture index. Having a reference picture index means that the reference pictures for the corresponding neighboring blocks are the same.
  • the constructed candidates are candidate motion vectors for the CP0.
  • a first constructed candidate including a candidate motion vector for CP1 and a candidate motion vector for CP2.
  • the constructed candidates are assigned to the first construct.
  • a second constructed candidate including a candidate candidate, a candidate motion vector for the CP0, and a candidate motion vector for the CP0.
  • the constructed candidates are assigned to the first construct.
  • a third constructed candidate including a candidate candidate and the second constructed candidate, a candidate motion vector for the CP0, and a candidate motion vector for the CP1.
  • the constructed candidates are assigned to the first construct.
  • a fourth constructed candidate including a candidate candidate, the second constructed candidate, and the third constructed candidate, a candidate motion vector for the CP0, and a candidate motion vector for the CP1.
  • the constructed candidates are candidate motion vectors for the CP0 and candidate motion vectors for the CP0. It may include the second constructed candidate including.
  • the constructed candidates are candidate motion vectors for the CP0 and candidate motion vectors for the CP1. It may include the third constructed candidate including.
  • the constructed candidates are candidate motion vectors for the CP0 and candidate motion vectors for the CP1. It may include the fourth constructed candidate including.
  • the encoding device / decoding device determines the CPMV pattern based on the available CPMV combination, but the CPMV pattern may not include the CPMV pattern 3 of Table 15 or the CPMV pattern 4 of Table 15.
  • available constructed candidates may not include constructed candidates including ⁇ CPMV0, CPMV2 ⁇ .
  • the available constructed candidates may not include constructed candidates including ⁇ CPMV1, CPMV2 ⁇ .
  • available constructed candidates may not include constructed candidates including ⁇ CPMV0, CPMV2 ⁇ .
  • the available constructed candidates may not include constructed candidates including ⁇ CPMV1, CPMV2 ⁇ .
  • the merge candidate list is zero. Candidates may be included.
  • the zero candidate may include candidate motion vectors with a value of 0 for the CPs and a reference picture index with a value of 0.
  • the first zero candidate or the first candidate is added to the merge candidate list until the number of merge candidates in the merge candidate list becomes the maximum candidate number. It can be added in the order of 2 zero candidates, 3 zero candidates ... n-zero candidates.
  • the first zero candidate may include candidate motion vectors with a value of 0 and a list reference index of L0 (list 0) and a reference picture index of L1 (list 1) with a value of 0, and the second zero.
  • the candidate may include candidate motion vectors having a value of 0, an L0 reference picture index having a value of 0, and an L1 reference picture index having a value of 1, and the third zero candidate is candidate motion vectors having a value of 0, a value.
  • a L0 reference picture index of 1 and a L1 reference picture index of 0 may be included, and the fourth zero candidate is candidate motion vectors with a value of 0, a L0 reference picture index with a value of 1, and a value of 1 It may include an L1 reference picture index.
  • the reference picture indices of the neighboring block A, the neighboring block B, the neighboring block C, the neighboring block D, the neighboring block E, the neighboring block F, and the neighboring block G are in order of high frequency.
  • the first zero candidate may include candidate motion vectors having a value of 0 and a reference picture index having the same value as a reference picture index of the left neighboring block of the current block, and the second zero.
  • the candidate may include zero-valued candidate motion vectors and a reference picture index having the same value as a reference picture index of the upper neighboring block of the current block, and the third zero candidate is zero-valued candidate motion vectors.
  • a reference picture index having the same value as the reference picture index of the block around the corner may be included, and the fifth zero candidate may include candidate motion vectors having a value of 0 and the above.
  • a reference picture index having the same value as the reference picture index of the block around the upper left corner of the current block may be included.
  • the decoding apparatus derives Control Point Motion Vectors (CPMVs) for Control Points (CPs) of the current block based on the merge candidate list (S1710).
  • CPMVs Control Point Motion Vectors
  • the decoding apparatus may select one of the merge candidates included in the merge candidate list, and derive the CPMVs for the CPs of the current block based on the selected merge candidate.
  • the decoding apparatus may obtain a merge candidate index for the current block from a bitstream, and based on the merge candidate indicated by the merge candidate index among the merge candidates included in the merge candidate list, CPMVs for the CPs can be derived.
  • the decoding apparatus may obtain image information from the bitstream, and the image information may include prediction information for the current block.
  • the prediction information may include the merge candidate index.
  • the candidate motion vector for the CP0 of the merge candidate may be derived as the CPMV of the CP0
  • the merge The candidate motion vector for the candidate CP1 may be derived as the CPMV of the CP1.
  • the candidate motion vector for CP0 of the merge candidate may be derived as the CPMV of CP0, , The candidate motion vector for CP1 of the merge candidate may be derived as CPMV of CP1, and the candidate motion vector for CP2 of the merge candidate may be derived as CPMV of CP2.
  • the candidate motion vector for CP0 of the merge candidate is derived as the CPMV of CP0.
  • the candidate motion vector for CP1 of the merge candidate may be derived as CPMV of CP1
  • the candidate motion vector for CP3 of the merge candidate may be derived as CPMV of CP3.
  • the candidate motion vector for CP0 of the merge candidate can be derived as the CPMV of the CP0, and the CP1 of the merge candidate is The candidate motion vector for can be derived from the CPMV of CP1.
  • the decoding apparatus derives prediction samples for the current block based on the CPMVs (S1720).
  • the decoding apparatus may derive motion vectors of a sub-block unit or a sample unit of the current block based on the CPMVs. That is, the decoding apparatus may derive a motion vector of each sub-block or each sample of the current block based on the CPMVs.
  • the motion vectors of the sub-block unit or the sample unit may be derived based on Equation 1 or Equation 3 described above.
  • the motion vectors may be represented as an affine motion vector field (MVF) or a motion vector array.
  • MVF affine motion vector field
  • the decoding apparatus may derive prediction samples for the current block based on motion vectors of the sub-block unit or the sample unit.
  • the decoding apparatus may derive a reference region in a reference picture based on the motion vector of the sub-block unit or the sample unit, and generate a prediction sample of the current block based on the reconstructed sample in the reference region.
  • the decoding apparatus generates a reconstructed picture for the current block based on the derived prediction samples (S1730).
  • the decoding apparatus may generate a reconstructed picture for the current block based on the derived prediction samples.
  • the decoding apparatus may directly use a prediction sample as a reconstruction sample according to a prediction mode, or may generate a reconstruction sample by adding a residual sample to the prediction sample.
  • the decoding apparatus may obtain image information including information about the residual for the current block from the bitstream.
  • the residual information may include a transform coefficient for the residual sample.
  • the decoding apparatus may derive the residual sample (or residual sample array) for the current block based on the information about the residual.
  • the decoding apparatus may generate a reconstructed sample based on the predicted sample and the residual sample, and derive a reconstructed block or reconstructed picture based on the reconstructed sample.
  • the decoding apparatus can apply the in-block filtering procedure such as deblocking filtering and / or SAO procedure to the reconstructed picture in order to improve subjective / objective image quality, if necessary.
  • FIG. 18 schematically shows a decoding apparatus performing an image decoding method according to the present document.
  • the method disclosed in FIG. 17 may be performed by the decoding apparatus disclosed in FIG. 18.
  • the prediction unit of the decoding apparatus of FIG. 18 may perform S1700 to S1720 of FIG. 17, and the adder of the decoding apparatus of FIG. 18 may perform S1730 of FIG. 17.
  • the process of acquiring image information including residual block information and / or prediction information through a bitstream may be performed by the entropy decoding unit of the decoding apparatus of FIG. 18.
  • the process of deriving the residual sample for the current block based on the residual information may be performed by the inverse transform unit of the decoding apparatus of FIG. 18.
  • the computational complexity of the merge mode can be reduced, thereby improving the overall image coding efficiency.
  • a calculation of a process of deriving a constructive candidate and a process of constructing a merge candidate list by adding a motion vector for neighboring blocks having the same reference picture index as a candidate It can reduce the complexity and improve the coding efficiency.
  • FIG. 19 schematically shows an example of a video / image coding system to which the present document can be applied.
  • a video / image coding system may include a first device (source device) and a second device (receiving device).
  • the source device may transmit the encoded video / image information or data to a receiving device through a digital storage medium or network in the form of a file or streaming.
  • the source device may include a video source, an encoding device, and a transmission unit.
  • the receiving device may include a receiving unit, a decoding apparatus, and a renderer.
  • the encoding device may be called a video / video encoding device, and the decoding device may be called a video / video decoding device.
  • the transmitter can be included in the encoding device.
  • the receiver may be included in the decoding device.
  • the renderer may include a display unit, and the display unit may be configured as a separate device or an external component.
  • the video source may acquire a video / image through a capture, synthesis, or generation process of the video / image.
  • the video source may include a video / image capture device and / or a video / image generation device.
  • the video / image capture device may include, for example, one or more cameras, a video / image archive including previously captured video / images, and the like.
  • the video / image generating device may include, for example, a computer, a tablet and a smart phone, and the like (electronically) to generate the video / image.
  • a virtual video / image may be generated through a computer or the like, and in this case, the video / image capture process may be replaced by a process in which related data is generated.
  • the encoding device can encode the input video / video.
  • the encoding apparatus may perform a series of procedures such as prediction, transformation, and quantization for compression and coding efficiency.
  • the encoded data (encoded video / video information) may be output in the form of a bitstream.
  • the transmitting unit may transmit the encoded video / video information or data output in the form of a bitstream to a receiving unit of a receiving device through a digital storage medium or a network in a file or streaming format.
  • the digital storage media may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD.
  • the transmission unit may include an element for generating a media file through a predetermined file format, and may include an element for transmission through a broadcast / communication network.
  • the receiver may receive / extract the bitstream and deliver it to a decoding device.
  • the decoding apparatus may decode a video / image by performing a series of procedures such as inverse quantization, inverse transformation, and prediction corresponding to the operation of the encoding apparatus.
  • the renderer can render the decoded video / image.
  • the rendered video / image may be displayed through the display unit.
  • VVC versatile video coding
  • EVC essential video coding
  • AV1 AOMedia Video 1
  • AVS2 2nd generation of audio video coding standard
  • next-generation video It can be applied to the method disclosed in the video coding standard (ex. H.267 or H.268, etc.).
  • the embodiments described in this document may be implemented and implemented on a processor, microprocessor, controller, or chip.
  • the functional units illustrated in each drawing may be implemented and implemented on a computer, processor, microprocessor, controller, or chip.
  • information for implementation (ex. Information on instructions) or an algorithm may be stored in a digital storage medium.
  • the decoding device and encoding device to which the present document is applied include multimedia broadcast transmission / reception devices, mobile communication terminals, home cinema video devices, digital cinema video devices, surveillance cameras, video communication devices, real-time communication devices such as video communication, mobile streaming Devices, storage media, camcorders, video-on-demand (VoD) service providers, OTT video (Over the top video) devices, Internet streaming service providers, 3D (3D) video devices, video telephony video devices, transportation terminals (ex It can be included in vehicle terminals, airplane terminals, ship terminals, etc.) and medical video devices, and can be used to process video signals or data signals.
  • the OTT video (Over the top video) device may include a game console, a Blu-ray player, an Internet-connected TV, a home theater system, a smartphone, a tablet PC, and a digital video recorder (DVR).
  • DVR digital video recorder
  • the processing method to which the present document is applied may be produced in the form of a program executed by a computer, and may be stored in a computer-readable recording medium.
  • Multimedia data having a data structure according to this document can also be stored on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of storage devices and distributed storage devices in which computer-readable data is stored.
  • the computer-readable recording medium includes, for example, Blu-ray Disc (BD), Universal Serial Bus (USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, magnetic tape, floppy disk and optical. It may include a data storage device.
  • the computer-readable recording medium includes media implemented in the form of a carrier wave (for example, transmission via the Internet).
  • the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted through a wired or wireless communication network.
  • embodiments of the present document may be implemented as a computer program product using program codes, and the program codes may be executed on a computer by embodiments of the present document.
  • the program code can be stored on a computer readable carrier.
  • the content streaming system to which this document is applied may largely include an encoding server, a streaming server, a web server, a media storage, a user device, and a multimedia input device.
  • the encoding server serves to compress a content input from multimedia input devices such as a smartphone, a camera, and a camcorder into digital data to generate a bitstream and transmit it to the streaming server.
  • multimedia input devices such as a smartphone, a camera, and a camcorder directly generate a bitstream
  • the encoding server may be omitted.
  • the bitstream may be generated by an encoding method or a bitstream generation method to which the present document is applied, and the streaming server may temporarily store the bitstream in the process of transmitting or receiving the bitstream.
  • the streaming server transmits multimedia data to a user device based on a user request through a web server, and the web server serves as an intermediary to inform the user of the service.
  • the web server delivers it to the streaming server, and the streaming server transmits multimedia data to the user.
  • the content streaming system may include a separate control server, in which case the control server serves to control commands / responses between devices in the content streaming system.
  • the streaming server may receive content from a media storage and / or encoding server. For example, when content is received from the encoding server, the content may be received in real time. In this case, in order to provide a smooth streaming service, the streaming server may store the bitstream for a predetermined time.
  • Examples of the user device include a mobile phone, a smart phone, a laptop computer, a terminal for digital broadcasting, a personal digital assistants (PDA), a portable multimedia player (PMP), navigation, a slate PC, Tablet PC, ultrabook, wearable device (e.g., smartwatch, smart glass, head mounted display (HMD)), digital TV, desktop Computers, digital signage, and the like.
  • PDA personal digital assistants
  • PMP portable multimedia player
  • slate PC slate PC
  • Tablet PC tablet
  • ultrabook ultrabook
  • wearable device e.g., smartwatch, smart glass, head mounted display (HMD)
  • digital TV desktop Computers, digital signage, and the like.
  • Each server in the content streaming system can be operated as a distributed server, and in this case, data received from each server can be distributed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 문서에 따른 디코딩 장치에 의하여 수행되는 영상 디코딩 방법은 현재 블록에 대한 서브블록 단위의 움직임 정보 도출을 위한 후보 리스트(candidate list)를 구성하되, 상기 머지 후보 리스트는 컨스트럭티드 후보들(constructed candidates)을 포함하는 단계; 상기 머지 후보 리스트를 기반으로 상기 현재 블록의 CP(Control Point)들에 대한 CPMV들(Control Point Motion Vectors)을 도출하는 단계; 상기 CPMV들을 기반으로 상기 현재 블록에 대한 예측 샘플들을 도출하는 단계; 및 상기 도출된 예측 샘플들을 기반으로 상기 현재 블록에 대한 복원 픽처를 생성하는 단계를 포함하되, 상기 컨스트럭티드 후보들은 제1 그룹 내 제1 주변 블록, 제2 그룹 내 제2 주변 블록, 제3 그룹 내 제3 주변 블록 및 제4 주변 블록 중 적어도 두 이상의 조합을 기반으로 도출되고, 상기 조합을 이루는 상기 제1 주변 블록, 상기 제2 주변 블록, 상기 제3 주변 블록 및 상기 제4 주변 블록은 동일한 참조 픽처 인덱스를 갖는 것을 특징으로 한다.

Description

영상 코딩 시스템에서 머지 후보 리스트를 사용하는 움직임 예측에 기반한 영상 디코딩 방법 및 장치
본 문서은 영상 코딩 기술에 관한 것으로서 보다 상세하게는 영상 코딩 시스템에서 서브블록 단위의 움직임 정보 도출을 위한 머지 후보 리스트를 사용하는 움직임 예측(motion prediction)에 기반한 영상 디코딩 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 전송되는 정보량 또는 비트량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 영상 데이터를 저장하는 경우, 전송 비용과 저장 비용이 증가된다.
이에 따라, 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술이 요구된다.
본 문서의 기술적 과제는 영상 코딩 효율을 높이는 방법 및 장치를 제공함에 있다.
본 문서의 다른 기술적 과제는 동일한 참조 픽처를 갖는 주변 블록에 기반하여 현재 블록의 머지 후보 리스트를 구성하고, 구성된 머지 후보 리스트를 기반으로 상기 현재 블록에 대한 예측을 수행하는 영상 디코딩 방법 및 장치를 제공함에 있다.
본 문서의 일 실시예에 따르면, 디코딩 장치에 의하여 수행되는 영상 디코딩 방법이 제공된다. 상기 방법은 현재 블록에 대한 서브블록 단위의 움직임 정보 도출을 위한 후보 리스트(candidate list)를 구성하되, 상기 머지 후보 리스트는 컨스트럭티드 후보들(constructed candidates)을 포함하는 단계; 상기 머지 후보 리스트를 기반으로 상기 현재 블록의 CP(Control Point)들에 대한 CPMV들(Control Point Motion Vectors)을 도출하는 단계; 상기 CPMV들을 기반으로 상기 현재 블록에 대한 예측 샘플들을 도출하는 단계; 및 상기 도출된 예측 샘플들을 기반으로 상기 현재 블록에 대한 복원 픽처를 생성하는 단계를 포함하되, 상기 컨스트럭티드 후보들은 제1 그룹 내 제1 주변 블록, 제2 그룹 내 제2 주변 블록, 제3 그룹 내 제3 주변 블록 및 제4 주변 블록 중 적어도 두 이상의 조합을 기반으로 도출되고,
상기 조합을 이루는 상기 제1 주변 블록, 상기 제2 주변 블록, 상기 제3 주변 블록 및 제4 주변 블록은 동일한 참조 픽처 인덱스를 갖는 것을 특징으로 하는 영상 디코딩 도출되는 것을 특징으로 한다.
본 문서의 다른 일 실시예에 따르면, 영상 디코딩을 수행하는 디코딩 장치가 제공된다. 상기 디코딩 장치는 현재 블록에 대한 서브블록 단위의 움직임 정보 도출을 위한 후보 리스트(candidate list)를 구성하되, 상기 머지 후보 리스트는 컨스트럭티드 후보들(constructed candidates)을 포함하고, 상기 머지 후보 리스트를 기반으로 상기 현재 블록의 CP(Control Point)들에 대한 CPMV들(Control Point Motion Vectors)을 도출하고, 상기 CPMV들을 기반으로 상기 현재 블록에 대한 예측 샘플들을 도출하고, 상기 도출된 예측 샘플들을 기반으로 상기 현재 블록에 대한 복원 픽처를 생성하는 예측부를 포함하고, 상기 컨스트럭티드 후보들은 제1 그룹 내 제1 주변 블록, 제2 그룹 내 제2 주변 블록, 제3 그룹 내 제3 주변 블록 및 제4 주변 블록 중 적어도 두 이상의 조합을 기반으로 도출되고,
상기 조합을 이루는 상기 제1 주변 블록, 상기 제2 주변 블록, 상기 제3 주변 블록 및 제4 주변 블록은 동일한 참조 픽처 인덱스를 갖는 것을 특징으로 한다.
본 문서의 또 다른 일 실시예에 따르면, 인코딩 장치에 의하여 수행되는 비디오 인코딩 방법을 제공한다. 상기 방법은 현재 블록에 대한 머지 후보 리스트(merge candidate list)를 구성하되, 상기 머지 후보 리스트는 및 컨스트럭티드 후보들(constructed candidates)을 포함하는 단계; 상기 머지 후보 리스트를 기반으로 상기 현재 블록의 CP(Control Point)들에 대한 CPMV들(Control Point Motion Vectors)을 도출하는 단계; 및 상기 현재 블록에 대한 예측 정보를 포함하는 영상 정보를 인코딩하는 단계를 포함하되, 상기 컨스트럭티드 후보들은 제1 그룹 내 제1 주변 블록, 제2 그룹 내 제2 주변 블록, 제3 그룹 내 제3 주변 블록 및 제4 주변 블록 중 적어도 두 이상의 조합을 기반으로 도출되고,
상기 조합을 이루는 상기 제1 주변 블록, 상기 제2 주변 블록, 상기 제3 주변 블록 및 제4 주변 블록은 동일한 참조 픽처 인덱스를 갖는 것을 특징으로 한다.
본 문서의 또 다른 일 실시예에 따르면, 비디오 인코딩 장치를 제공한다. 상기 인코딩 장치는 현재 블록에 대한 머지 후보 리스트(merge candidate list)를 구성하되, 상기 머지 후보 리스트는 및 컨스트럭티드 후보들(constructed candidates)을 포함하고, 상기 머지 후보 리스트를 기반으로 상기 현재 블록의 CP(Control Point)들에 대한 CPMV들(Control Point Motion Vectors)을 도출하는 예측부와, 상기 현재 블록에 대한 예측 정보를 포함하는 영상 정보를 인코딩하는 인코딩부를 포함하고, 상기 컨스트럭티드 후보들은 제1 그룹 내 제1 주변 블록, 제2 그룹 내 제2 주변 블록, 제3 그룹 내 제3 주변 블록 및 제4 주변 블록 중 적어도 두 이상의 조합을 기반으로 도출되고,
상기 조합을 이루는 상기 제1 주변 블록, 상기 제2 주변 블록, 상기 제3 주변 블록 및 제4 주변 블록은 동일한 참조 픽처 인덱스를 갖는 것을 특징으로 한다.
본 문서에 따르면 전반적인 영상/비디오 압축 효율을 높일 수 있다.
본 문서에 따르면 머지 모드의 연산 복잡도를 줄일 수 있고, 이를 통하여 전반적인 영상 코딩의 효율을 높일 수 있다.
본 문서에 따르면 동일한 참조 픽처를 갖는 주변 블록에 기반하여 현재 블록의 머지 후보 리스트를 구성하고, 구성된 머지 후보 리스트를 기반으로 상기 현재 블록에 대한 예측을 수행하고, 이를 통하여 머지 후보 리스트를 구성하는 과정의 연산 복잡도를 줄이고 코딩 효율을 향상시킬 수 있다.
도 1은 본 문서이 적용될 수 있는 비디오 인코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 2는 본 문서이 적용될 수 있는 비디오 디코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 3은 어파인 움직임 모델을 통하여 표현되는 움직임을 예시적으로 나타낸다.
도 4는 3개의 컨트롤 포인트들에 대한 움직임 벡터들이 사용되는 상기 어파인 움직임 모델을 예시적으로 나타낸다.
도 5는 2개의 컨트롤 포인트들에 대한 움직임 벡터들이 사용되는 상기 어파인 움직임 모델을 예시적으로 나타낸다.
도 6은 서브블록 단위의 움직임 벡터를 유도하는 방법을 예시적으로 나타낸다.
도 7은 본 문서의 일 실시예에 따른 서브블록 단위의 움직임 예측 방법의 순서도를 예시적으로 나타낸다.
도 8은 본 문서의 일 실시예에 따른 현재 블록의 머지 후보 리스트를 구성하는 방법을 나타낸다.
도 9는 본 문서의 일 실시예에 따른 계승된 후보를 도출하기 위한 상기 현재 블록의 주변 블록들을 예시적으로 나타낸다.
도 10은 본 문서의 일 실시예에 따른 컨스트럭티드 후보를 도출하기 위한 상기 현재 블록의 주변 블록들을 나타낸다.
도 11은 본 문서의 일 실시예에 따른 컨스트럭티드 후보를 도출하는 방법을 나타낸다.
도 12는 본 문서의 일 실시예에 따른 컨스트럭티드 후보를 도출하기 위한 현재 블록의 주변 블록 및 현재 블록의 CP에 대한 후보 움직임 벡터를 도시한 도면이다.
도 13은 본 문서의 다른 실시예에 따른 컨스트럭티드 후보를 도출하기 위한 현재 블록의 주변 블록 및 현재 블록의 CP에 대한 후보 움직임 벡터를 도시한 도면이다.
도 14는 본 문서의 일 실시예에 따른 플래너 움직임 벡터 예측을 도시한 도면이다.
도 15는 본 문서에 따른 인코딩 장치에 의한 영상 인코딩 방법을 개략적으로 나타낸다.
도 16은 본 문서에 따른 영상 인코딩 방법을 수행하는 인코딩 장치를 개략적으로 나타낸다.
도 17은 본 문서에 따른 디코딩 장치에 의한 영상 디코딩 방법을 개략적으로 나타낸다.
도 18은 본 문서에 따른 영상 디코딩 방법을 수행하는 디코딩 장치를 개략적으로 나타낸다.
도 19는 본 문서이 적용될 수 있는 비디오/영상 코딩 시스템의 예를 개략적으로 나타낸다.
도 20은 본 문서에서 개시된 발명이 적용될 수 있는 컨텐츠 스트리밍 시스템 구조도를 예시적으로 나타낸다.
본 문서는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 문서를 특정 실시예에 한정하려고 하는 것이 아니다. 본 명세서에서 상용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 문서의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 도는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 문서에서 설명되는 도면상의 각 구성들은 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 문서의 본질에서 벗어나지 않는 한 본 문서의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 문서의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
본 명세서에서 비디오(video)는 시간의 흐름에 따른 일련의 영상(image)들의 집합을 의미할 수 있다. 픽처(picture)는 일반적으로 특정 시간대의 하나의 영상을 나타내는 단위를 의미하며, 슬라이스(slice)는 코딩에 있어서 픽처의 일부를 구성하는 단위이다. 하나의 픽처는 복수의 슬라이스 또는 타일 그룹으로 구성될 수 있으며, 필요에 따라서 픽처, 슬라이스, 타일 그룹은 서로 혼용되어 사용될 수 있다. 본 문서에서 영상은 정지 영상일 수 있고, 비디오를 구성하는 특정 시간(time)의 영상을 나타낼 수도 있다. 이하, 영상 코딩은 비디오 코딩과 혼용될 수 있다. 또한, 영상 코딩은 픽처 코딩 또는 프레임(frame) 코딩과 혼용될 수 있다.
픽셀(pixel) 또는 펠(pel)은 하나의 픽처(또는 영상)을 구성하는 최소의 단위를 의미할 수 있다. 또한, 픽셀에 대응하는 용어로서 '샘플(sample)'이 사용될 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 루마(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 크로마(chroma) 성분의 픽셀/픽셀 값만을 나타낼 수도 있다.
유닛(unit)은 영상 처리의 기본 단위를 나타낸다. 유닛은 픽처의 특정 영역 및 해당 영역에 관련된 정보 중 적어도 하나를 포함할 수 있다. 유닛은 경우에 따라서 블록(block) 또는 영역(area) 등의 용어와 혼용하여 사용될 수 있다. 혹은 유닛은 루마 성분 블록과 크로마 성분(cb, cr) 블록들을 포함할 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타낼 수 있다.
도 1은 본 문서가 적용될 수 있는 비디오/영상 인코딩 장치의 구성을 개략적으로 설명하는 도면이다. 이하 비디오 인코딩 장치라 함은 영상 인코딩 장치를 포함할 수 있다.
도 1을 참조하면, 비디오 인코딩 장치(100)는 픽처 분할부(picture partitioning module, 105), 예측부(prediction module, 110), 레지듀얼 처리부(residual processing module, 120), 엔트로피 인코딩부(entropy encoding module, 130), 가산부(adder, 140), 필터부(filtering module, 150) 및 메모리(memory, 160)을 포함할 수 있다. 레지듀얼 처리부(120)는 감산부(substractor, 121), 변환부(transform module, 122), 양자화부(quantization module, 123), 재정렬부(rearrangement module, 124), 역양자화부(dequantization module, 125) 및 역변환부(inverse transform module, 126)를 포함할 수 있다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 유닛(processing unit)으로 분할할 수 있다.
일 예로, 처리 유닛은 코딩 유닛(coding unit, CU)이라고 불릴 수 있다. 이 경우 코딩 유닛은 최대 코딩 유닛(largest coding unit, LCU)으로부터 QTBT (Quad-tree binary-tree) 구조에 따라 재귀적으로(recursively) 분할될 수 있다. 예를 들어, 하나의 코딩 유닛은 쿼드 트리 구조, 바이너리 트리 구조 및/또는 터너리(ternary) 트리 구조를 기반으로 하위(deeper) 뎁스의 복수의 코딩 유닛들로 분할될 수 있다. 이 경우 예를 들어 쿼드 트리 구조가 먼저 적용되고 바이너리 트리 구조 및 터너리 트리 구조가 나중에 적용될 수 있다. 또는 바이너리 트리 구조/터너리 트리 구조가 먼저 적용될 수도 있다. 더 이상 분할되지 않는 최종 코딩 유닛을 기반으로 본 문서에 따른 코딩 절차가 수행될 수 있다. 이 경우 영상 특성에 따른 코딩 효율 등을 기반으로, 최대 코딩 유닛이 바로 최종 코딩 유닛으로 사용될 수 있고, 또는 필요에 따라 코딩 유닛은 재귀적으로(recursively) 보다 하위 뎁스의 코딩 유닛들로 분할되어 최적의 사이즈의 코딩 유닛이 최종 코딩 유닛으로 사용될 수 있다. 여기서 코딩 절차라 함은 후술하는 예측, 변환, 및 복원 등의 절차를 포함할 수 있다.
다른 예로, 처리 유닛은 코딩 유닛(coding unit, CU) 예측 유닛(prediction unit, PU) 또는 변환 유닛(transform unit, TU)을 포함할 수도 있다. 코딩 유닛은 최대 코딩 유닛(largest coding unit, LCU)으로부터 쿼드 트리 구조를 따라서 하위(deeper) 뎁스의 코딩 유닛들로 분할(split)될 수 있다. 이 경우 영상 특성에 따른 코딩 효율 등을 기반으로, 최대 코딩 유닛이 바로 최종 코딩 유닛으로 사용될 수 있고, 또는 필요에 따라 코딩 유닛은 재귀적으로(recursively) 보다 하위 뎁스의 코딩 유닛들로 분할되어 최적의 사이즈의 코딩 유닛이 최종 코딩 유닛으로 사용될 수 있다. 최소 코딩 유닛(smallest coding unit, SCU)이 설정된 경우 코딩 유닛은 최소 코딩 유닛보다 더 작은 코딩 유닛으로 분할될 수 없다. 여기서 최종 코딩 유닛이라 함은 예측 유닛 또는 변환 유닛으로 파티셔닝 또는 분할되는 기반이 되는 코딩 유닛을 의미한다. 예측 유닛은 코딩 유닛으로부터 파티셔닝(partitioning)되는 유닛으로서, 샘플 예측의 유닛일 수 있다. 이 때, 예측 유닛은 서브 블록(sub block)으로 나뉠 수도 있다. 변환 유닛은 코딩 유닛으로부터 쿼드 트리 구조를 따라서 분할 될 수 있으며, 변환 계수를 유도하는 유닛 및/또는 변환 계수로부터 레지듀얼 신호(residual signal)를 유도하는 유닛일 수 있다. 이하, 코딩 유닛은 코딩 블록(coding block, CB), 예측 유닛은 예측 블록(prediction block, PB), 변환 유닛은 변환 블록(transform block, TB) 으로 불릴 수 있다. 예측 블록 또는 예측 유닛은 픽처 내에서 블록 형태의 특정 영역을 의미할 수 있고, 예측 샘플의 어레이(array)를 포함할 수 있다. 또한, 변환 블록 또는 변환 유닛은 픽처 내에서 블록 형태의 특정 영역을 의미할 수 있고, 변환 계수 또는 레지듀얼 샘플의 어레이를 포함할 수 있다.
예측부(110)는 처리 대상 블록(이하, 현재 블록이라 할 수 있다)에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부(110)에서 수행되는 예측의 단위는 코딩 블록일 수 있고, 변환 블록일 수도 있고, 예측 블록일 수도 있다.
예측부(110)는 현재 블록에 인트라 예측이 적용되는지 인터 예측이 적용되는지를 결정할 수 있다. 일 예로, 예측부(110)는 CU 단위로 인트라 예측 또는 인터 예측이 적용되는지를 결정할 수 있다.
인트라 예측의 경우에, 예측부(110)는 현재 블록이 속하는 픽처(이하, 현재 픽처) 내의 현재 블록 외부의 참조 샘플을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 이 때, 예측부(110)는 (i) 현재 블록의 주변(neighboring) 참조 샘플들의 평균(average) 혹은 인터폴레이션(interpolation)을 기반으로 예측 샘플을 유도할 수 있고, (ii) 현재 블록의 주변 참조 샘플들 중 예측 샘플에 대하여 특정 (예측) 방향에 존재하는 참조 샘플을 기반으로 상기 예측 샘플을 유도할 수도 있다. (i)의 경우는 비방향성 모드 또는 비각도 모드, (ii)의 경우는 방향성(directional) 모드 또는 각도(angular) 모드라고 불릴 수 있다. 인트라 예측에서 예측 모드는 예를 들어 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비방향성 모드는 DC 예측 모드 및 플래너 모드(Planar 모드)를 포함할 수 있다. 예측부(110)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측의 경우에, 예측부(110)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 샘플을 기반으로, 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(110)는 스킵(skip) 모드, 머지(merge) 모드, 및 MVP(motion vector prediction) 모드 중 어느 하나를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다. 스킵 모드와 머지 모드의 경우에, 예측부(110)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 예측 샘플과 원본 샘플 사이의 차(레지듀얼)가 전송되지 않는다. MVP 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(Motion Vector Predictor)로 이용하여 현재 블록의 움직임 벡터 예측자로 이용하여 현재 블록의 움직임 벡터를 유도할 수 있다.
인터 예측의 경우에, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처(reference picture)에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 상기 시간적 주변 블록을 포함하는 참조 픽처는 동일 위치 픽처(collocated picture, colPic)라고 불릴 수도 있다. 움직임 정보(motion information)는 움직임 벡터와 참조 픽처 인덱스를 포함할 수 있다. 예측 모드 정보와 움직임 정보 등의 정보는 (엔트로피) 인코딩되어 비트스트림 형태로 출력될 수 있다.
스킵 모드와 머지 모드에서 시간적 주변 블록의 움직임 정보가 이용되는 경우에, 참조 픽처 리스트(reference picture list) 상의 최상위 픽처가 참조 픽처로서 이용될 수도 있다. 참조 픽처 리스트(Picture Order Count)에 포함되는 참조 픽처들은 현재 픽처와 해당 참조 픽처 간의 POC(Picture order count) 차이 기반으로 정렬될 수 있다. POC는 픽처의 디스플레이 순서에 대응하며, 코딩 순서와 구분될 수 있다.
감산부(121)는 원본 샘플과 예측 샘플 간의 차이인 레지듀얼 샘플을 생성한다. 스킵 모드가 적용되는 경우에는, 상술한 바와 같이 레지듀얼 샘플을 생성하지 않을 수 있다.
변환부(122)는 변환 블록 단위로 레지듀얼 샘플을 변환하여 변환 계수(transform coefficient)를 생성한다. 변환부(122)는 해당 변환 블록의 사이즈와, 해당 변환 블록과 공간적으로 겹치는 코딩 블록 또는 예측 블록에 적용된 예측 모드에 따라서 변환을 수행할 수 있다. 예컨대, 상기 변환 블록과 겹치는 상기 코딩 블록 또는 상기 예측 블록에 인트라 예측이 적용되었고, 상기 변환 블록이 4×4의 레지듀얼 어레이(array)라면, 레지듀얼 샘플은 DST(Discrete Sine Transform) 변환 커널을 이용하여 변환되고, 그 외의 경우라면 레지듀얼 샘플은 DCT(Discrete Cosine Transform) 변환 커널을 이용하여 변환할 수 있다.
양자화부(123)는 변환 계수들을 양자화하여, 양자화된 변환 계수를 생성할 수 있다.
재정렬부(124)는 양자화된 변환 계수를 재정렬한다. 재정렬부(124)는 계수들 스캐닝(scanning) 방법을 통해 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있다. 여기서 재정렬부(124)는 별도의 구성으로 설명하였으나, 재정렬부(124)는 양자화부(123)의 일부일 수 있다.
엔트로피 인코딩부(130)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩은 예를 들어 지수 골롬(exponential Golomb), CAVLC(context-adaptive variable length coding), CABAC(context-adaptive binary arithmetic coding) 등과 같은 인코딩 방법을 포함할 수 있다. 엔트로피 인코딩부(130)는 양자화된 변환 계수 외 비디오 복원에 필요한 정보들(예컨대 신택스 요소(syntax element)의 값 등)을 함께 또는 별도로 엔트로피 인코딩 또는 기 설정된 방법에 따라 인코딩할 수도 있다. 인코딩된 정보들은 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다. 상기 비트스트림은 네트워크를 통하여 전송될 수 있고, 또는 디지털 저장매체에 저장될 수 있다. 여기서 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다.
역양자화부(125)는 양자화부(123)에서 양자화된 값(양자화된 변환 계수)들을 역양자화하고, 역변환부(126)는 역양자화부(125)에서 역양자화된 값들을 역변환하여 레지듀얼 샘플을 생성한다.
가산부(140)는 레지듀얼 샘플과 예측 샘플을 합쳐서 픽처를 복원한다. 레지듀얼 샘플과 예측 샘플은 블록 단위로 더해져서 복원 블록이 생성될 수 있다. 여기서 가산부(140)는 별도의 구성으로 설명하였으나, 가산부(140)는 예측부(110)의 일부일 수 있다. 한편, 가산부(140)는 복원부(reconstruction module) 또는 복원 블록 생성부로 불릴 수도 있다.
복원된 픽처(reconstructed picture)에 대하여 필터부(150)는 디블록킹 필터 및/또는 샘플 적응적 오프셋(sample adaptive offset)을 적용할 수 있다. 디블록킹 필터링 및/또는 샘플 적응적 오프셋을 통해, 복원 픽처 내 블록 경계의 아티팩트나 양자화 과정에서의 왜곡이 보정될 수 있다. 샘플 적응적 오프셋은 샘플 단위로 적용될 수 있으며, 디블록킹 필터링의 과정이 완료된 후 적용될 수 있다. 필터부(150)는 ALF(Adaptive Loop Filter)를 복원된 픽처에 적용할 수도 있다. ALF는 디블록킹 필터 및/또는 샘플 적응적 오프셋이 적용된 후의 복원된 픽처에 대하여 적용될 수 있다.
메모리(160)는 복원 픽처(디코딩된 픽처) 또는 인코딩/디코딩에 필요한 정보를 저장할 수 있다. 여기서 복원 픽처는 상기 필터부(150)에 의하여 필터링 절차가 완료된 복원 픽처일 수 있다. 상기 저장된 복원 픽처는 다른 픽처의 (인터) 예측을 위한 참조 픽처로 활용될 수 있다. 예컨대, 메모리(160)는 인터 예측에 사용되는 (참조) 픽처들을 저장할 수 있다. 이 때, 인터 예측에 사용되는 픽처들은 참조 픽처 세트(reference picture set) 혹은 참조 픽처 리스트(reference picture list)에 의해 지정될 수 있다.
도 2는 본 문서가 적용될 수 있는 비디오/영상 디코딩 장치의 구성을 개략적으로 설명하는 도면이다. 이하 비디오 디코딩 장치라 함은 영상 디코딩 장치를 포함할 수 있다.
도 2를 참조하면, 비디오 디코딩 장치(200)는 엔트로피 디코딩부(entropy decoding module, 210), 레지듀얼 처리부(residual processing module, 220), 예측부(prediction module, 230), 가산부(adder, 240), 필터부(filtering module, 250) 및 메모리(memory, 260)을 포함할 수 있다. 여기서 레지듀얼 처리부(220)는 재정렬부(rearrangement module, 221), 역양자화부(dequantization module, 222), 역변환부(inverse transform module, 223)을 포함할 수 있다. 또한, 비록 도시되지는 않았으나, 비디오 디코딩 장치(200)는 비디오 정보를 포함하는 비트스트림을 수신하는 수신부를 포함할 수 있다. 상기 수신부는 별도의 모듈로 구성될 수도 있고 또는 엔트로피 디코딩부(210)에 포함될 수 있다.
비디오/영상 정보를 포함하는 비트스트림이 입력되면, 비디오 디코딩 장치는(200)는 비디오 인코딩 장치에서 비디오/영상 정보가 처리된 프로세스에 대응하여 비디오/영상/픽처를 복원할 수 있다.
예컨대, 비디오 디코딩 장치(200)는 비디오 인코딩 장치에서 적용된 처리 유닛을 이용하여 비디오 디코딩을 수행할 수 있다. 따라서 비디오 디코딩의 처리 유닛 블록은 일 예로 코딩 유닛일 수 있고, 다른 예로 코딩 유닛, 예측 유닛 또는 변환 유닛일 수 있다. 코딩 유닛은 최대 코딩 유닛으로부터 쿼드 트리 구조, 바이너리 트리 구조 및/또는 터너리 트리 구조를 따라서 분할될 수 있다.
예측 유닛 및 변환 유닛이 경우에 따라 더 사용될 수 있으며, 이 경우 예측 블록은 코딩 유닛으로부터 도출 또는 파티셔닝되는 블록으로서, 샘플 예측의 유닛일 수 있다. 이 때, 예측 유닛은 서브 블록으로 나뉠 수도 있다. 변환 유닛은 코딩 유닛으로부터 쿼드 트리 구조를 따라서 분할될 수 있으며, 변환 계수를 유도하는 유닛 또는 변환 계수로부터 레지듀얼 신호를 유도하는 유닛일 수 있다.
엔트로피 디코딩부(210)는 비트스트림을 파싱하여 비디오 복원 또는 픽처 복원에 필요한 정보를 출력할 수 있다. 예컨대, 엔트로피 디코딩부(210)는 지수 골롬 부호화, CAVLC 또는 CABAC 등의 코딩 방법을 기초로 비트스트림 내 정보를 디코딩하고, 비디오 복원에 필요한 신택스 엘리먼트의 값, 레지듀얼에 관한 변환 계수의 양자화된 값 들을 출력할 수 있다.
보다 상세하게, CABAC 엔트로피 디코딩 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈을 수신하고, 디코딩 대상 구문 요소 정보와 주변 및 디코딩 대상 블록의 디코딩 정보 혹은 이전 단계에서 디코딩된 심볼/빈의 정보를 이용하여 컨택스트(context) 모델을 결정하고, 결정된 컨택스트 모델에 따라 빈(bin)의 발생 확률을 예측하여 빈의 산술 디코딩(arithmetic decoding)를 수행하여 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 디코딩 방법은 컨택스트 모델 결정 후 다음 심볼/빈의 컨택스트 모델을 위해 디코딩된 심볼/빈의 정보를 이용하여 컨택스트 모델을 업데이트할 수 있다.
엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측에 관한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(221)로 입력될 수 있다.
재정렬부(221)는 양자화되어 있는 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 재정렬부(221)는 인코딩 장치에서 수행된 계수 스캐닝에 대응하여 재정렬을 수행할 수 있다. 여기서 재정렬부(221)는 별도의 구성으로 설명하였으나, 재정렬부(221)는 역양자화부(222)의 일부일 수 있다.
역양자화부(222)는 양자화되어 있는 변환 계수들을 (역)양자화 파라미터를 기반으로 역양자화하여 변환 계수를 출력할 수 있다. 이 때, 양자화 파라미터를 유도하기 위한 정보는 인코딩 장치로부터 시그널링될 수 있다.
역변환부(223)는 변환 계수들을 역변환하여 레지듀얼 샘플들을 유도할 수 있다.
예측부(230)는 현재 블록에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부(230)에서 수행되는 예측의 단위는 코딩 블록일 수도 있고, 변환 블록일 수도 있고, 예측 블록일 수도 있다.
예측부(230)는 상기 예측에 관한 정보를 기반으로 인트라 예측을 적용할 것인지 인터 예측을 적용할 것인지를 결정할 수 있다. 이 때, 인트라 예측과 인터 예측 중 어느 것을 적용할 것인지를 결정하는 단위와 예측 샘플을 생성하는 단위는 상이할 수 있다. 아울러, 인터 예측과 인트라 예측에 있어서 예측 샘플을 생성하는 단위 또한 상이할 수 있다. 예를 들어, 인터 예측과 인트라 예측 중 어느 것을 적용할 것인지는 CU 단위로 결정할 수 있다. 또한 예를 들어, 인터 예측에 있어서 PU 단위로 예측 모드를 결정하고 예측 샘플을 생성할 수 있고, 인트라 예측에 있어서 PU 단위로 예측 모드를 결정하고 TU 단위로 예측 샘플을 생성할 수도 있다.
인트라 예측의 경우에, 예측부(230)는 현재 픽처 내의 주변 참조 샘플을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(230)는 현재 블록의 주변 참조 샘플을 기반으로 방향성 모드 또는 비방향성 모드를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다. 이 때, 주변 블록의 인트라 예측 모드를 이용하여 현재 블록에 적용할 예측 모드가 결정될 수도 있다.
인터 예측의 경우에, 예측부(230)는 참조 픽처 상에서 움직임 벡터에 의해 참조 픽처 상에서 특정되는 샘플을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(230)는 스킵(skip) 모드, 머지(merge) 모드 및 MVP 모드 중 어느 하나를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다. 이때, 비디오 인코딩 장치에서 제공된 현재 블록의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 상기 예측에 관한 정보를 기반으로 획득 또는 유도될 수 있다
스킵 모드와 머지 모드의 경우에, 주변 블록의 움직임 정보가 현재 블록의 움직임 정보로 이용될 수 있다. 이 때, 주변 블록은 공간적 주변 블록과 시간적 주변 블록을 포함할 수 있다.
예측부(230)는 가용한 주변 블록의 움직임 정보로 머지 후보 리스트를 구성하고, 머지 인덱스가 머지 후보 리스트 상에서 지시하는 정보를 현재 블록의 움직임 벡터로 사용할 수 있다. 머지 인덱스는 인코딩 장치로부터 시그널링될 수 있다. 움직임 정보는 움직임 벡터와 참조 픽처를 포함할 수 있다. 스킵 모드와 머지 모드에서 시간적 주변 블록의 움직임 정보가 이용되는 경우에, 참조 픽처 리스트 상의 최상위 픽처가 참조 픽처로서 이용될 수 있다.
스킵 모드의 경우, 머지 모드와 달리 예측 샘플과 원본 샘플 사이의 차이(레지듀얼)이 전송되지 않는다.
MVP 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하여 현재 블록의 움직임 벡터가 유도될 수 있다. 이 때, 주변 블록은 공간적 주변 블록과 시간적 주변 블록을 포함할 수 있다.
일 예로, 머지 모드가 적용되는 경우, 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록인 Col 블록에 대응하는 움직임 벡터를 이용하여, 머지 후보 리스트가 생성될 수 있다. 머지 모드에서는 머지 후보 리스트에서 선택된 후보 블록의 움직임 벡터가 현재 블록의 움직임 벡터로 사용된다. 상기 예측에 관한 정보는 상기 머지 후보 리스트에 포함된 후보 블록들 중에서 선택된 최적의 움직임 벡터를 갖는 후보 블록을 지시하는 머지 인덱스를 포함할 수 있다. 이 때, 예측부(230)는 상기 머지 인덱스를 이용하여, 현재 블록의 움직임 벡터를 도출할 수 있다.
다른 예로, MVP(Motion Vector Prediction) 모드가 적용되는 경우, 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록인 Col 블록에 대응하는 움직임 벡터를 이용하여, 움직임 벡터 예측자 후보 리스트가 생성될 수 있다. 즉, 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록인 Col 블록에 대응하는 움직임 벡터는 움직임 벡터 후보로 사용될 수 있다. 상기 예측에 관한 정보는 상기 리스트에 포함된 움직임 벡터 후보 중에서 선택된 최적의 움직임 벡터를 지시하는 예측 움직임 벡터 인덱스를 포함할 수 있다. 이 때, 예측부(230)는 상기 움직임 벡터 인덱스를 이용하여, 움직임 벡터 후보 리스트에 포함된 움직임 벡터 후보 중에서, 현재 블록의 예측 움직임 벡터를 선택할 수 있다. 인코딩 장치의 예측부는 현재 블록의 움직임 벡터와 움직임 벡터 예측자 간의 움직임 벡터 차분(MVD)을 구할 수 있고, 이를 인코딩하여 비트스트림 형태로 출력할 수 있다. 즉, MVD는 현재 블록의 움직임 벡터에서 상기 움직임 벡터 예측자를 뺀 값으로 구해질 수 있다. 이 때, 예측부(230)는 상기 예측에 관한 정보에 포함된 움직임 벡터 차분을 획득하고, 상기 움직임 벡터 차분과 상기 움직임 벡터 예측자의 가산을 통해 현재 블록의 상기 움직임 벡터를 도출할 수 있다. 예측부는 또한 참조 픽처를 지시하는 참조 픽처 인덱스 등을 상기 예측에 관한 정보로부터 획득 또는 유도할 수 있다.
가산부(240)는 레지듀얼 샘플과 예측 샘플을 더하여 현재 블록 혹은 현재 픽처를 복원할 수 있다. 가산부(240)는 레지듀얼 샘플과 예측 샘플을 블록 단위로 더하여 현재 픽처를 복원할 수도 있다. 스킵 모드가 적용된 경우에는 레지듀얼이 전송되지 않으므로, 예측 샘플이 복원 샘플이 될 수 있다. 여기서는 가산부(240)를 별도의 구성으로 설명하였으나, 가산부(240)는 예측부(230)의 일부일 수도 있다. 한편, 가산부(240)는 복원부(reconstruction module) 또는 복원 블록 생성부로 불릴 수도 있다.
필터부(250)는 복원된 픽처에 디블록킹 필터링 샘플 적응적 오프셋, 및/또는 ALF 등을 적용할 수 있다. 이 때, 샘플 적응적 오프셋은 샘플 단위로 적용될 수 있으며, 디블록킹 필터링 이후 적용될 수도 있다. ALF는 디블록킹 필터링 및/또는 샘플 적응적 오프셋 이후 적용될 수도 있다.
메모리(260)는 복원 픽처(디코딩된 픽처) 또는 디코딩에 필요한 정보를 저장할 수 있다. 여기서 복원 픽처는 상기 필터부(250)에 의하여 필터링 절차가 완료된 복원 픽처일 수 있다. 예컨대, 메모리(260)는 인터 예측에 사용되는 픽처들을 저장할 수 있다. 이 때, 인터 예측에 사용되는 픽처들은 참조 픽처 세트 혹은 참조 픽처 리스트에 의해 지정될 수도 있다. 복원된 픽처는 다른 픽처에 대한 참조 픽처로서 이용될 수 있다. 또한, 메모리(260)는 복원된 픽처를 출력 순서에 따라서 출력할 수도 있다.
한편, 인터 예측의 경우, 영상의 왜곡을 고려한 인터 예측 방법이 제안되고 있다. 구체적으로, 현재 블록의 서브 블록들 또는 샘플 포인트들에 대한 움직임 벡터를 효율적으로 도출하고, 영상의 회전, 줌인 또는 줌아웃 등의 변형에도 불구하고 인터 예측의 정확도를 높이는 어파인 움직임 모델이 제안되고 있다. 즉, 어파인 움직임 모델은 현재 블록의 서브 블록들 또는 샘플 포인트들에 대한 움직임 벡터를 도출하는 것으로, 상기 어파인 움직임 모델을 사용하는 예측은 어파인 모션 예측(affine motion prediction), 어파인 움직임 예측, 서브 블록 단위의 움직임 예측 또는 서브 블록 움직임 예측이라고 불릴 수 있다.
예를 들어, 상기 어파인 움직임 모델을 사용하는 상기 서브 블록 움직임 예측은 후술하는 내용과 같이 4가지 움직임, 즉, 후술하는 내용과 같은 4가지 변형을 효율적으로 표현할 수 있다.
도 3은 어파인 움직임 모델을 통하여 표현되는 움직임을 예시적으로 나타낸다. 도 3을 참조하면 상기 어파인 움직임 모델을 통하여 표현될 수 있는 움직임은 병진(translate) 움직임, 스케일(scale) 움직임, 회전(rotate) 움직임 및 전단(shear) 움직임을 포함할 수 있다. 즉, 도 3에 도시된 시간의 흐름에 따라 영상(의 일부)이 평면 이동하는 병진 움직임뿐만 아니라, 시간의 흐름에 따라 영상(의 일부)이 스케일(scale)되는 스케일 움직임, 시간의 흐름에 따라 영상(의 일부)이 회전하는 회전 움직임, 시간의 흐름에 따라 영상(의 일부)이 평형 사변형 변형되는 전단 움직임을 상기 서브블록 단위의 움직임 예측을 통하여 효율적으로 표현할 수 있다.
인코딩 장치/디코딩 장치는 상기 어파인 인터 예측을 통하여 현재 블록의 컨트롤 포인트(control point, CP)들에서의 움직임 벡터들을 기반으로 상기 영상의 왜곡 형태를 예측할 수 있고, 이를 통하여 예측의 정확도를 높임으로서 영상의 압축 성능을 향상시킬 수 있다. 또한, 상기 현재 블록의 주변 블록의 움직임 벡터를 이용하여 상기 현재 블록의 적어도 하나의 컨트롤 포인트에 대한 움직임 벡터가 유도될 수 있는바, 추가되는 부가 정보에 대한 데이터량 부담을 줄이고, 인터 예측 효율을 상당히 향상시킬 수 있다.
상기 어파인 움직임 예측의 일 예로, 3개의 컨트롤 포인트, 즉 3개의 기준점에서의 움직임 정보를 필요로 할 수 있다.
도 4는 3개의 컨트롤 포인트들에 대한 움직임 벡터들이 사용되는 상기 어파인 움직임 모델을 예시적으로 나타낸다.
현재 블록(400) 내의 좌상단(top-left) 샘플 위치(position)를 (0,0)이라고 할 경우, 상기 도 4에 도시된 것과 같이 (0,0), (w, 0), (0, h) 샘플 포지션들을 상기 컨트롤 포인트들로 정할 수 있다. 이하 (0,0) 샘플 포지션의 컨트롤 포인트는 CP0, (w, 0) 샘플 포지션의 컨트롤 포인트는 CP0, (0, h) 샘플 포지션의 컨트롤 포인트는 CP1라고 나타낼 수 있다.
상술한 각 컨트롤 포인트와 해당 컨트롤 포인트에 대한 움직임 벡터를 이용하여 상기 어파인 움직임 모델에 대한 수학식이 도출될 수 있다. 상기 어파인 움직임 모델에 대한 수학식은 다음과 같이 나타낼 수 있다.
Figure PCTKR2019011580-appb-M000001
여기서, w는 상기 현재 블록(400)의 폭(width)을 나타내고, h는 상기 현재 블록(400)의 높이(height)를 나타내고, v0x, v0y는 각각 CP0의 움직임 벡터의 x성분, y성분을 나타내고, v1x, v1y은 각각 CP0의 움직임 벡터의 x성분, y성분을 나타내고, v2x, v2y는 각각 CP1의 움직임 벡터의 x성분, y성분을 나타낸다. 또한, x는 상기 현재 블록(400) 내 대상 샘플의 위치의 x 성분을 나타내고, y는 상기 현재 블록(400) 내 상기 대상 샘플의 상기 위치의 y 성분을 나타내고, vx는 상기 현재 블록(400) 내 상기 대상 샘플의 움직임 벡터의 x성분, vy는 현재 블록(400) 내 상기 대상 샘플의 상기 움직임 벡터의 y성분을 나타낸다.
상기 CP0의 움직임 벡터, 상기 CP0의 움직임 벡터 및 상기 CP1의 움직임 벡터는 알고 있으므로, 상기 수학식 1을 기반으로 현재 블록 내 샘플 위치에 따른 움직임 벡터가 유도될 수 있다. 즉, 상기 어파인 움직임 모델에 따르면 대상 샘플의 좌표 (x, y)와 3개의 컨트롤 포인트들과의 거리비를 기반으로, 상기 컨트롤 포인트들에서의 움직임 벡터들 v0(v0x, v0y), v1(v1x, v1y), v2(v2x, v2y)가 스케일링 되어 상기 대상 샘플 위치에 따른 상기 대상 샘플의 움직임 벡터가 도출될 수 있다. 즉, 상기 어파인 움직임 모델에 따르면 상기 컨트롤 포인트들의 움직임 벡터들을 기반으로 상기 현재 블록 내 각 샘플의 움직임 벡터가 도출될 수 있다. 한편, 상기 어파인 움직임 모델에 따라서 도출된 상기 현재 블록 내 샘플들의 움직임 벡터들의 집합은 어파인 움직임 벡터 필드(affine Motion Vector Field, MVF)라고 나타낼 수 있다.
한편, 상기 수학식 1에 대한 6개의 파라미터들은 다음의 수학식과 같이 a, b, c, d, e, f 로 나타낼 수 있고, 상기 6개의 파라미터들로 나타낸 상기 어파인 움직임 모델에 대한 수학식은 다음과 같을 수 있다.
Figure PCTKR2019011580-appb-M000002
여기서, w는 상기 현재 블록(400)의 폭(width)을 나타내고, h는 상기 현재 블록(400)의 높이(height)를 나타내고, v0x, v0y는 각각 CP0의 움직임 벡터의 x성분, y성분을 나타내고, v1x, v1y은 각각 CP0의 움직임 벡터의 x성분, y성분을 나타내고, v2x, v2y는 각각 CP1의 움직임 벡터의 x성분, y성분을 나타낸다. 또한, x는 상기 현재 블록(400) 내 대상 샘플의 위치의 x 성분을 나타내고, y는 상기 현재 블록(400) 내 상기 대상 샘플의 상기 위치의 y 성분을 나타내고, vx는 상기 현재 블록(400) 내 상기 대상 샘플의 움직임 벡터의 x성분, vy는 현재 블록(400) 내 상기 대상 샘플의 상기 움직임 벡터의 y성분을 나타낸다.
상기 6개의 파라미터들을 사용하는 상기 어파인 움직임 모델 또는 상기 어파인 인터 예측은 6 파라미터 어파인 움직임 모델 또는 AF6 라고 나타낼 수 있다.
또한, 상기 어파인 움직임 예측의 일 예로, 2개의 컨트롤 포인트, 즉 2개의 기준점에서의 움직임 정보를 필요로 할 수 있다.
도 5는 2개의 컨트롤 포인트들에 대한 움직임 벡터들이 사용되는 상기 어파인 단위의 움직임 모델을 예시적으로 나타낸다. 2개의 컨트롤 포인트를 사용하는 상기 어파인 움직임 모델은 병진 움직임, 스케일 움직임, 회전 움직임을 포함하는 3가지 움직임을 표현할 수 있다. 3가지 움직임을 표현하는 상기 어파인 움직임 모델은 시밀러리티 어파인 움직임 모델(similarity affine motion model) 또는 심플리파이드 어파인 움직임 모델(simplified affine motion model)이라고 나타낼 수도 있다.
현재 블록(500) 내의 좌상단(top-left) 샘플 위치(position)를 (0,0)이라고 할 경우, 상기 도 5에 도시된 것과 같이 (0,0), (w, 0) 샘플 포지션들을 상기 컨트롤 포인트들로 정할 수 있다. 이하 (0,0) 샘플 포지션의 컨트롤 포인트는 CP0, (w, 0) 샘플 포지션의 컨트롤 포인트는 CP0 라고 나타낼 수 있다.
상술한 각 컨트롤 포인트와 해당 컨트롤 포인트에 대한 움직임 벡터를 이용하여 상기 어파인 움직임 모델에 대한 수학식이 도출될 수 있다. 상기 어파인 움직임 모델에 대한 수학식은 다음과 같이 나타낼 수 있다.
Figure PCTKR2019011580-appb-M000003
여기서, w는 상기 현재 블록(500)의 폭(width)을 나타내고, v0x, v0y는 각각 CP0의 움직임 벡터의 x성분, y성분을 나타내고, v1x, v1y은 각각 CP0의 움직임 벡터의 x성분, y성분을 나타낸다. 또한, x는 상기 현재 블록(500) 내 대상 샘플의 위치의 x 성분을 나타내고, y는 상기 현재 블록(500) 내 상기 대상 샘플의 상기 위치의 y 성분을 나타내고, vx는 상기 현재 블록(500) 내 상기 대상 샘플의 움직임 벡터의 x성분, vy는 현재 블록(500) 내 상기 대상 샘플의 상기 움직임 벡터의 y성분을 나타낸다.
한편, 상기 수학식 3에 대한 4개의 파라미터들은 다음의 수학식과 같이 a, b, c, d 로 나타낼 수 있고, 상기 4개의 파라미터들로 나타낸 상기 어파인 움직임 모델에 대한 수학식은 다음과 같을 수 있다.
Figure PCTKR2019011580-appb-M000004
여기서, w는 상기 현재 블록(500)의 폭(width)을 나타내고, v0x, v0y는 각각 CP0의 움직임 벡터의 x성분, y성분을 나타내고, v1x, v1y은 각각 CP0의 움직임 벡터의 x성분, y성분을 나타낸다. 또한, x는 상기 현재 블록(500) 내 대상 샘플의 위치의 x 성분을 나타내고, y는 상기 현재 블록(500) 내 상기 대상 샘플의 상기 위치의 y 성분을 나타내고, vx는 상기 현재 블록(500) 내 상기 대상 샘플의 움직임 벡터의 x성분, vy는 현재 블록(500) 내 상기 대상 샘플의 상기 움직임 벡터의 y성분을 나타낸다. 상기 2개의 컨트롤 포인트를 사용하는 상기 어파인 움직임 모델은 상기 수학식 4와 같이 4개의 파라미터들 a, b, c, d 로 표현될 수 있는바, 상기 4개의 파라미터들을 사용하는 상기 어파인 움직임 모델 또는 상기 어파인 움직임 예측은 4 파라미터 어파인 움직임 모델 또는 AF4 라고 나타낼 수 있다. 즉, 상기 어파인 움직임 모델에 따르면 상기 컨트롤 포인트들의 움직임 벡터들을 기반으로 상기 현재 블록 내 각 샘플의 움직임 벡터가 도출될 수 있다. 한편, 상기 어파인 움직임 모델에 따라서 도출된 상기 현재 블록 내 샘플들의 움직임 벡터들의 집합은 어파인 움직임 벡터 필드(Motion Vector Field, MVF)라고 나타낼 수 있다.
한편, 상술한 내용과 같이 상기 어파인 움직임 모델을 통하여 샘플 단위의 움직임 벡터가 도출될 수 있으며, 이를 통하여 인터 예측의 정확도가 상당히 향상될 수 있다. 다만, 이 경우, 움직임 보상(motion compensation) 과정에서의 복잡도가 크게 증가될 수도 있다.
이에, 샘플 단위의 움직임 벡터가 도출되는 대신 상기 현재 블록 내 서브 블록 단위의 움직임 벡터가 도출되도록 제한할 수 있다.
도 6은 어파인 움직임 모델을 기반으로 서브 블록 단위로 움직임 벡터를 유도하는 방법을 예시적으로 나타낸다. 도 6은 상기 현재 블록의 사이즈가 16×16이고, 4×4 서브 블록 단위로 움직임 벡터가 유도되는 경우를 예시적으로 나타낸다. 상기 서브 블록은 다양한 사이즈로 설정될 수 있으며, 예를 들어, 서브 블록이 n×n 사이즈(n은 양의 정수, ex, n은 4)로 설정된 경우, 상기 어파인 움직임 모델을 기반으로 현재 블록 내 n×n 서브 블록 단위로 움직임 벡터가 도출될 수 있으며, 각 서브 블록을 대표하는 움직임 벡터를 유도하기 위한 다양한 방법이 적용될 수 있다.
예를 들어, 도 6을 참조하면 각 서브 블록의 센터 또는 센터 우하측(lower right side) 샘플 포지션을 대표 좌표로 하여 각 서브 블록의 움직임 벡터가 도출될 수 있다. 여기서 센터 우하측 포지션이라 함은 서브 블록의 센터에 위치하는 4개의 샘플들 중 우하측에 위치하는 샘플 포지션을 나타낼 수 있다. 예를 들어, n이 홀수인 경우, 서브 블록의 정중앙에는 하나의 샘플이 위치할 수 있고, 이 경우 센터 샘플 포지션이 상기 서브 블록의 움직임 벡터의 도출을 위하여 사용될 수 있다. 그러나, n이 짝수인 경우 서브 블록의 중앙에는 4개의 샘플들이 인접하게 위치할 수 있고, 이 경우 우하측 샘플 포지션이 상기 움직임 벡터의 도출을 위하여 사용될 수 있다. 예를 들어, 도 6을 참조하면 각 서브 블록별 대표 좌표는 (2, 2), (6, 2), (10, 2),... (14, 14)로 도출될 수 있고, 인코딩 장치/디코딩 장치는 상기 서브 블록들의 대표 좌표들 각각을 상술한 수학식 1 또는 3에 대입하여, 각 서브 블록의 움직임 벡터를 도출할 수 있다. 상기 어파인 움직임 모델을 통하여 현재 블록 내 서브 블록의 움직임을 예측하는 것을 서브 블록 단위의 움직임 예측 또는 서브 블록 움직임 예측이라고 명명할 수 있고, 이렇게 서브 블록들의 움직임 벡터들은 MVF 라고 나타낼 수 있다.
한편, 일 예로, 상기 현재 블록 내 서브 블록의 사이즈는 다음과 같은 수학식을 기반으로 도출될 수도 있다.
Figure PCTKR2019011580-appb-M000005
여기서, M 은 서브 블록의 폭(width)을 나타내고, N 은 서브 블록의 높이(height)를 나타낸다. 또한, v0x, v0y 는 각각 상기 현재 블록의 CPMV0 의 x 성분, y 성분을 나타내고, v1x, v1y 는 각각 상기 현재 블록의 CPMV1 의 x 성분, y 성분을 나타내고, w 는 상기 현재 블록의 폭을 나타내고, h 는 상기 현재 블록의 높이를 나타내고, MvPre 는 움직임 벡터 분수 정확도(motion vector fraction accuracy)를 나타낸다. 예를 들어, 상기 움직임 벡터 분수 정확도는 1/16으로 설정될 수 있다.
한편, 상술한 어파인 움직임 모델을 사용한 인터 예측, 즉, 어파인 움직임 예측은 머지 모드(merge mode, AF_MERGE)와 어파인 인터 모드(affine inter mode, AF_INTER)가 존재할 수 있다. 여기서, 상기 어파인 인터 모드는 어파인 MVP 모드(affine motion vector prediction mode, AF_MVP)라고 나타낼 수도 있다.
상기 어파인 움직임 모델을 이용한 머지 모드에서는 상기 컨트롤 포인트들의 움직임 벡터에 대한 MVD를 전송하지 않는다는 측면에서 기존의 머지 모드와 유사하다. 즉, 상기 어파인 움직임 모델을 이용한 머지 모드는 기존의 스킵(skip)/머지(merge) 모드와 유사하게 MVD(motion vector difference)에 대한 코딩없이 상기 현재 블록의 주변 블록으로부터 2개 또는 3개의 컨트롤 포인트 각각에 대한 CPMV를 유도하여 예측을 수행하는 인코딩/디코딩 방법을 나타낼 수 있다.
예를 들어, 상기 현재 블록에 상기 AF_MRG 모드가 적용되는 경우, 현재 블록의 주변 블록 중 어파인 모드, 즉 어파인 움직임 예측을 이용한 예측 모드가 적용된 주변 블록으로부터 CP0 및 CP0에 대한 MV(즉, CPMV0 및 CPMV1)이 도출될 수 있다. 즉, 상기 어파인 모드가 적용된 상기 주변 블록의 CPMV0 및 CPMV1가 머지 후보로 도출될 수 있고, 상기 머지 후보가 상기 현재 블록에 대한 CPMV0 및 CPMV1로 도출될 수 있다.
상기 어파인 인터 모드는 상기 컨트롤 포인트들의 움직임 벡터에 대한 MVP(motion vector predictor)를 도출하고, 수신된 MVD(motion vector difference) 및 상기 MVP 를 기반으로 상기 컨트롤 포인트들의 움직임 벡터를 도출하고, 상기 컨트롤 포인트들의 움직임 벡터를 기반으로 상기 현재 블록의 어파인 MVF를 도출하여 어파인 MVF 를 기반으로 예측을 수행하는 인터 예측을 나타낼 수 있다. 여기서, 상기 컨트롤 포인트의 움직임 벡터는 CPMV(Control Point Motion Vector), 상기 컨트롤 포인트의 MVP는 CPMVP(Control Point Motion Vector Predictor), 상기 컨트롤 포인트의 MVD는 CPMVD(Control Point Motion Vector Difference) 라고 나타낼 수 있다. 구체적으로, 예를 들어, 인코딩 장치는 CP0 및 CP1 (또는 CP0, CP0 및 CP1) 각각에 대한 CPMVP(control point point motion vector predictor)와 CPMV(control point point motion vector)를 도출할 수 있고, 상기 CPMVP에 대한 정보 및/또는 상기 CPMVP 와 CPMV 의 차이값인 CPMVD 를 전송 또는 저장할 수 있다.
여기서, 현재 블록에 상기 어파인 인터 모드가 적용되는 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록의 주변 블록을 기반으로 어파인 MVP 후보 리스트를 구성할 수 있으며, 어파인 MVP 후보는 CPMVP 페어(pair) 후보로 지칭될 수 있고, 어파인 MVP 후보 리스트는 CPMVP 후보 리스트로 지칭할 수도 있다.
또한, 각 어파인 MVP 후보는 4 파라미터 어파인 움직임 모델(foul parameter affine motion model)에서는 CP0와 CP1의 CPMVP의 조합을 의미할 수 있고, 6 파라미터 어파인 움직임 모델(six parameter affine motion model)에서는 CP0, CP1 및 CP2의 CPMVP의 조합을 의미할 수 있다.
도 7은 본 문서의 일 실시예에 따른 서브블록 단위의 움직임 예측 방법의 순서도를 예시적으로 나타낸다.
도 7을 참조하면, 어파인 움직임 예측 방법은 크게 다음과 같이 나타낼 수 있다. 어파인 움직임 예측 방법이 시작되면, 우선 CPMV 페어(pair)가 획득될 수 있다(S700). 여기서 CPMV 페어는 4 파라미터 어파인 모델을 이용하는 경우 CPMV0 및 CPMV1을 포함할 수 있다.
이후, CPMV 페어를 기반으로 어파인 움직임 보상이 수행될 수 있고(S710), 어파인 움직임 예측이 종료될 수 있다.
또한, 상기 CPMV0 및 상기 CPMV1을 결정하기 위해 2개의 어파인 예측 모드들이 존재할 수 있다. 여기서, 2개의 어파인 예측 모드는 어파인 인터 모드 및 어파인 머지 모드를 포함할 수 있다. 어파인 인터 모드는 CPMV0 및 CPMV1에 대한 2개의 움직임 벡터 차분(MVD, Motion Vector Difference) 정보를 시그널링하여 명확하게 CPMV0 및 CPMV1를 결정할 수 있다. 반면, 어파인 머지 모드는 MVD 정보 시그널링 없이 CPMV 페어를 도출할 수 있다.
다시 말해, 어파인 머지 모드는 어파인 모드로 코딩된 주변 블록의 CPMV를 이용하여 현재 블록의 CPMV를 도출할 수 있으며, 움직임 벡터를 서브 블록 단위로 결정하는 경우, 어파인 머지 모드는 서브블록 머지 모드라고 지칭할 수도 있다.
어파인 머지 모드에서 인코딩 장치는 현재 블록의 CPMV를 도출하기 위한 어파인 모드로 코딩된 주변 블록에 대한 인덱스를 디코딩 장치로 시그널링할 수 있다. 여기서 어파인 머지 모드는 주변 블록을 기반으로 머지 후보 리스트를 구성할 수 있으며, 주변 블록에 대한 인덱스는 머지 후보 리스트 중 현재 블록의 CPMV를 도출하기 위해 참조할 주변 블록을 나타낼 수 있다. 머지 후보 리스트는 서브블록 머지 후보 리스트라고 지칭될 수도 있다.
어파인 인터 모드는 어파인 MVP 모드라고 지칭할 수도 있다. 어파인 MVP 모드에서 현재 블록의 CPMV는 CPMVP(Control Point Motion Vector Predictor) 및 CPMVD(Control Point Motion Vector Difference)를 기반으로 도출될 수 있다. 다시 말해, 인코딩 장치는 현재 블록의 CPMV에 대하여 CPMVP를 결정하고, 현재 블록의 CPMV와 CPMVP의 차분값인 CPMVD를 도출하여 CPMVP에 대한 정보 및 CPMVD에 대한 정보를 디코딩 장치로 시그널링할 수 있다. 여기서, 상기 어파인 MVP 모드는 주변 블록을 기반으로 어파인 MVP 후보 리스트를 구성할 수 있으며, CPMVP에 대한 정보는 어파인 MVP 후보 리스트 중 현재 블록의 CPMV에 대한 CPMVP를 도출하기 위해 참조할 주변 블록을 나타낼 수 있다. 어파인 MVP 후보 리스트는 컨트롤 포인트 움직임 벡터 예측자 후보 리스트라고 지칭할 수도 있다.
한편, 예를 들어, 현재 블록에 어파인 머지 모드가 적용되는 경우, 후술하는 바와 같이 상기 현재 블록이 코딩될 수 있다.
인코딩 장치/디코딩 장치는 상기 현재 블록에 대한 머지 후보들을 포함하는 머지 후보 리스트를 구성할 수 있고, 상기 머지 후보 리스트의 머지 후보들 중 하나를 기반으로 상기 현재 블록의 상기 현재 블록의 CP(Control Point)들에 대한 CPMV들(Control Point Motion Vectors)을 도출할 수 있다. 인코딩 장치/디코딩 장치는 상기 CPMV들을 기반으로 상기 현재 블록에 대한 예측 샘플들을 도출할 수 있고, 상기 도출된 예측 샘플들을 기반으로 상기 현재 블록에 대한 복원 픽처를 생성할 수 있다.
구체적으로, 상기 머지 후보 리스트는 다음과 같이 구성될 수 있다.
도 8은 현재 블록의 머지 후보 리스트를 구성하는 일 예를 나타낸다.
도 8을 참조하면 인코딩 장치/디코딩 장치는 계승된(inherited) 머지 후보를 머지 후보 리스트에 추가할 수 있다(S800).
구체적으로, 인코딩 장치/디코딩 장치는 상기 현재 블록의 주변 블록들을 기반으로 계승된 후보를 도출할 수 있다.
계승된 후보란, 다른 변경이나 조합 없이 현재 블록의 주변 블록들의 움직임 정보, 즉 주변 블록의 CPMV 그 자체가 현재 블록의 머지 후보 리스트에 추가되는 후보를 지칭할 수 있다. 여기서, 상기 주변 블록들은 상기 현재 블록의 좌하측 코너 주변 블록 A0, 좌측 주변 블록 A1, 상측 주변 블록 B0, 우상측 코너 주변 블록 B1 및 좌상측 코너 주변 블록 B2을 포함할 수 있다.
도 9는 상기 계승된 후보를 도출하기 위한 상기 현재 블록의 주변 블록들을 예시적으로 나타낸다. 도 9를 참조하면 상기 현재 블록의 주변 블록들은 상기 현재 블록의 좌하측 코너 주변 블록 A0, 상기 현재 블록의 좌측 주변 블록 A1, 상기 현재 블록의 우상측 코너 주변 블록 B0, 상기 현재 블록의 상측 주변 블록 B1, 상기 현재 블록의 좌상측 코너 주변 블록 B2를 포함할 수 있다.
예를 들어, 상기 현재 블록의 사이즈가 WxH 이고, 현재 블록의 좌상단(top-left) 샘플 포지션의 x성분이 0 및 y성분이 0인 경우, 상기 좌측 주변 블록은 (-1, H-1) 좌표의 샘플을 포함하는 블록이고, 상기 상측 주변 블록은 (W-1, -1) 좌표의 샘플을 포함하는 블록이고, 상기 우상측 코너 주변 블록은 (W, -1) 좌표의 샘플을 포함하는 블록이고, 상기 좌하측 코너 주변 블록은 (-1, H) 좌표의 샘플을 포함하는 블록이고, 상기 좌상측 코너 주변 블록은 (-1, -1) 좌표의 샘플을 포함하는 블록일 수 있다.
상기 계승된 후보는 어파인 모드로 코딩된 유효 주변 복원 블록을 기반으로 도출될 수 있다. 예를 들어, 인코딩 장치/디코딩 장치는 주변 블록들 A0, A1, B0, B1 및 B2 를 순차적으로 또는 A1, B1 B0, A0 및 B2 를 순차적으로 체크할 수 있고, 주변 블록이 어파인 모드로 코딩된 경우(즉, 상기 주변 블록이 어파인 움직임 모델을 사용하여 유효하게 복원된 주변 블록인 경우), 상기 주변 블록의 어파인 움직임 모델을 기반으로 상기 현재 블록에 대한 2개의 CPMV들 또는 3개의 CPMV 들을 도출할 수 있고, 상기 CPMV들은 상기 현재 블록의 계승된 후보로 도출될 수 있다. 일 예로, 최대 5개의 계승된 후보가 상기 머지 후보 리스트에 추가될 수 있다. 즉, 상기 주변 블록들을 기반으로 최대 5개의 계승된 후보가 도출될 수 있다.
이후, 인코딩 장치/디코딩 장치는 컨스트럭티드(constructed) 후보를 머지 후보 리스트에 추가할 수 있다(S810).
예를 들어, 상기 머지 후보 리스트의 머지 후보들의 개수가 5개보다 작은 경우, 상기 머지 후보 리스트에 상기 컨스트럭티드 후보가 추가될 수 있다. 상기 컨스트럭티드 후보는 상기 현재 블록의 CP들 각각에 대한 주변 움직임 정보(즉, 주변 블록의 움직임 벡터 및 참조 픽처 인덱스)를 조합하여 생성된 머지 후보를 나타낼 수 있다. 각 CP 들에 대한 움직임 정보는 해당 CP에 대한 공간적 주변 블록 또는 시간적 주변 블록을 기반으로 도출될 수 있다. 상기 CP들 각각에 대한 움직임 정보는 해당 CP에 대한 후보 움직임 벡터라고 나타낼 수 있다.
도 10은 본 문서의 일 실시예에 따른 컨스트럭티드 후보를 도출하기 위한 상기 현재 블록의 주변 블록들을 나타낸다.
도 10을 참조하면 상기 주변 블록들은 공간적 주변 블록들 및 시간적 주변 블록을 포함할 수 있다. 상기 공간적 주변 블록들은 주변 블록 A0, 주변 블록 A1, 주변 블록 A2, 주변 블록 B0, 주변 블록 B1, 주변 블록 B2, 주변 블록 B3을 포함할 수 있다. 도 10에 도시된 주변 블록 T는 상기 시간적 주변 블록을 나타낼 수 있다.
여기서, 상기 주변 블록 B2는 상기 현재 블록의 좌상단 샘플 포지션의 좌상단에 위치하는 주변 블록을 나타낼 수 있고, 상기 주변 블록 B3는 상기 현재 블록의 좌상단 샘플 포지션의 상단에 위치하는 주변 블록을 나타낼 수 있고, 상기 주변 블록 A2는 상기 현재 블록의 좌상단 샘플 포지션의 좌단에 위치하는 주변 블록을 나타낼 수 있다. 또한, 상기 주변 블록 B1는 상기 현재 블록의 우상단 샘플 포지션의 상단에 위치하는 주변 블록을 나타낼 수 있고, 상기 주변 블록 B0는 상기 현재 블록의 우상단 샘플 포지션의 우상단에 위치하는 주변 블록을 나타낼 수 있다. 또한, 상기 주변 블록 A1는 상기 현재 블록의 좌하단 샘플 포지션의 좌단에 위치하는 주변 블록을 나타낼 수 있고, 상기 주변 블록 A0는 상기 현재 블록의 좌하단 샘플 포지션의 좌하단에 위치하는 주변 블록을 나타낼 수 있다.
또한, 도 10을 참조하면 상기 현재 블록의 상기 CP들은 CP0, CP1, CP2 및/또는 CP3를 포함할 수 있다. 상기 CP0은 상기 현재 블록의 좌상단 위치를 나타낼 수 있고, 상기 CP1은 상기 현재 블록의 우상단 위치를 나타낼 수 있고, CP2은 상기 현재 블록의 좌하단 위치를 나타낼 수 있고, 상기 CP3는 상기 현재 블록의 우하단 위치를 나타낼 수 있다. 예를 들어, 상기 현재 블록의 사이즈가 WxH 이고, 현재 블록의 좌상단(top-left) 샘플 포지션의 x성분이 0 및 y성분이 0인 경우, 상기 CP0은 (0, 0) 좌표의 위치를 나타낼 수 있고, 상기 CP1는 (W, 0) 좌표의 위치를 나타낼 수 있고, 상기 CP2은 (0, H) 좌표의 위치를 나타낼 수 있고, 상기 CP3는 (W, H) 좌표의 위치를 나타낼 수 있다. 한편, 도 10에 도시된 상기 CP0은 상술한 CP0을 나타낼 수 있고, 도 10에 도시된 상기 CP1는 상술한 CP0을 나타낼 수 있고, 도 10에 도시된 상기 CP2은 상술한 CP1를 나타낼 수 있다.
상술한 CP들 각각에 대한 후보 움직임 벡터는 다음과 같이 도출될 수 있다.
예를 들어, 인코딩 장치/디코딩 장치는 제1 그룹 내 주변 블록들을 제1 순서에 따라 가용한지 체크할 수 있고, 상기 체크 과정에서 처음으로 확인된 가용한 주변 블록의 움직임 벡터를 상기 CP0에 대한 후보 움직임 벡터로 도출할 수 있다. 즉, 상기 CP0에 대한 후보 움직임 벡터는 제1 순서에 따라 상기 제1 그룹 내 주변 블록들을 체크하여 처음으로 확인된 가용한 주변 블록의 움직임 벡터일 수 있다. 상기 가용함은 상기 주변 블록의 움직임 벡터가 존재함을 나타낼 수 있다. 즉, 가용한 주변 블록은 인터 예측으로 코딩된 블록(즉, 인터 예측이 적용된 블록)일 수 있다. 여기서, 예를 들어, 상기 제1 그룹은 상기 주변 블록 B2, 상기 주변 블록 B3 및 상기 주변 블록 A2을 포함할 수 있다. 상기 제1 순서는 상기 제1 그룹 내 주변 블록 B2에서 상기 주변 블록 B3, 상기 주변 블록 A2로의 순서일 수 있다. 일 예로, 상기 주변 블록 B2 가 가용한 경우, 상기 주변 블록 B2의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 B2 가 가용하지 않고, 상기 주변 블록 B3 가 가용한 경우, 상기 주변 블록 B3의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 B2 및 상기 주변 블록 B3 가 가용하지 않고, 상기 주변 블록 A2 가 가용한 경우, 상기 주변 블록 A2의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있다.
또한, 예를 들어, 인코딩 장치/디코딩 장치는 제2 그룹 내 주변 블록들을 제2 순서에 따라 가용한지 체크할 수 있고, 상기 체크 과정에서 처음으로 확인된 가용한 주변 블록의 움직임 벡터를 상기 CP1에 대한 후보 움직임 벡터로 도출할 수 있다. 즉, 상기 CP1에 대한 후보 움직임 벡터는 제2 순서에 따라 상기 제2 그룹 내 주변 블록들을 체크하여 처음으로 확인된 가용한 주변 블록의 움직임 벡터일 수 있다. 상기 가용함은 상기 주변 블록의 움직임 벡터가 존재함을 나타낼 수 있다. 즉, 가용한 주변 블록은 인터 예측으로 코딩된 블록(즉, 인터 예측이 적용된 블록)일 수 있다. 여기서, 상기 제2 그룹은 상기 주변 블록 B1 및 상기 주변 블록 B0을 포함할 수 있다. 상기 제2 순서는 상기 제2 그룹 내 주변 블록 B1에서 상기 주변 블록 B0로의 순서일 수 있다. 일 예로, 상기 주변 블록 B1 이 가용한 경우, 상기 주변 블록 B1의 움직임 벡터가 상기 CP1에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 B1 이 가용하지 않고, 상기 주변 블록 B0 가 가용한 경우, 상기 주변 블록 B0의 움직임 벡터가 상기 CP1에 대한 후보 움직임 벡터로 도출될 수 있다.
또한, 예를 들어, 인코딩 장치/디코딩 장치는 제3 그룹 내 주변 블록들을 제3 순서에 따라 가용한지 체크할 수 있고, 상기 체크 과정에서 처음으로 확인된 가용한 주변 블록의 움직임 벡터를 상기 CP2에 대한 후보 움직임 벡터로 도출할 수 있다. 즉, 상기 CP2에 대한 후보 움직임 벡터는 제3 순서에 따라 상기 제3 그룹 내 주변 블록들을 체크하여 처음으로 확인된 가용한 주변 블록의 움직임 벡터일 수 있다. 상기 가용함은 상기 주변 블록의 움직임 벡터가 존재함을 나타낼 수 있다. 즉, 가용한 주변 블록은 인터 예측으로 코딩된 블록(즉, 인터 예측이 적용된 블록)일 수 있다. 여기서, 상기 제3 그룹은 상기 주변 블록 A1 및 상기 주변 블록 A0을 포함할 수 있다. 상기 제3 순서는 상기 제3 그룹 내 주변 블록 A1에서 상기 주변 블록 A0로의 순서일 수 있다. 일 예로, 상기 주변 블록 A1 가 가용한 경우, 상기 주변 블록 A1의 움직임 벡터가 상기 CP2에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 A1 가 가용하지 않고, 상기 주변 블록 A0 가 가용한 경우, 상기 주변 블록 A0의 움직임 벡터가 상기 CP2에 대한 후보 움직임 벡터로 도출될 수 있다.
또한, 예를 들어, 인코딩 장치/디코딩 장치는 상기 시간적 주변 블록(즉, 상기 주변 블록 T) 이 가용한지 체크할 수 있고, 상기 시간적 주변 블록(즉, 상기 주변 블록 T)이 가용한 경우, 상기 시간적 주변 블록(즉, 상기 주변 블록 T)의 움직임 벡터를 상기 CP3에 대한 후보 움직임 벡터로 도출할 수 있다.
상기 CP0에 대한 후보 움직임 벡터, 상기 CP1에 대한 후보 움직임 벡터, 상기 CP2에 대한 후보 움직임 벡터 및/또는 상기 CP3에 대한 후보 움직임 벡터의 조합은 컨스트럭티드 후보로 도출될 수 있다.
예를 들어, 상술한 내용과 같이 6 어파인 모델은 3개의 CP들의 움직임 벡터들이 필요하다. 상기 6 어파인 모델에 대한 상기 CP0, 상기 CP1, 상기 CP2, 상기 CP3 중 3개의 CP들이 선택될 수 있다. 예를 들어, 상기 CP들은 {CP0, CP1, CP3}, {CP0, CP1, CP2}, {CP1, CP2, CP3}, {CP0, CP2, CP3} 중 하나로 선택될 수 있다. 일 예로, 상기 6 어파인 모델은 CP0, CP1, CP2을 사용하여 구성될 수 있다. 이 경우, 상기 CP들은 상기 {CP0, CP1, CP2} 라고 나타낼 수 있다.
또한, 예를 들어, 상술한 내용과 같이 4 어파인 모델은 2개의 CP들의 움직임 벡터들이 필요하다. 상기 4 어파인 모델에 대한 상기 CP0, 상기 CP1, 상기 CP2, 상기 CP3 중 2개의 CP들이 선택될 수 있다. 예를 들어, 상기 CP들은 {CP0, CP3}, {CP1, CP2}, {CP0, CP1}, {CP1, CP3}, {CP0, CP2}, {CP2, CP3} 중 하나로 선택될 수 있다. 일 예로, 상기 4 어파인 모델은 CP0, CP1을 사용하여 구성될 수 있다. 이 경우, 상기 CP들은 상기 {CP0, CP1} 라고 나타낼 수 있다.
후보 움직임 벡터의 조합들인 컨스트럭티드 후보는 다음과 같은 순서로 상기 머지 후보 리스트에 추가될 수 있다. 즉, 상기 CP들에 대한 후보 움직임 벡터들이 도출된 이후, 컨스트럭티드 후보는 다음과 같은 순서로 도출될 수 있다.
{CP0, CP1, CP2}, {CP0, CP1, CP3}, {CP0, CP2, CP3}, {CP1, CP2, CP3}, {CP0, CP1}, {CP0, CP2}, {CP1, CP2}, {CP0, CP3}, {CP1, CP3}, {CP2, CP3}
즉, 예를 들어, 상기 CP0에 대한 후보 움직임 벡터, CP1에 대한 후보 움직임 벡터, CP2에 대한 후보 움직임 벡터를 포함하는 컨스트럭티드 후보, 상기 CP0에 대한 후보 움직임 벡터, CP1에 대한 후보 움직임 벡터, CP3에 대한 후보 움직임 벡터를 포함하는 컨스트럭티드 후보, 상기 CP0에 대한 후보 움직임 벡터, CP2에 대한 후보 움직임 벡터, CP3에 대한 후보 움직임 벡터를 포함하는 컨스트럭티드 후보, 상기 CP1에 대한 후보 움직임 벡터, CP2에 대한 후보 움직임 벡터, CP3에 대한 후보 움직임 벡터를 포함하는 컨스트럭티드 후보, 상기 CP0에 대한 후보 움직임 벡터, CP1에 대한 후보 움직임 벡터를 포함하는 컨스트럭티드 후보, 상기 CP0에 대한 후보 움직임 벡터, CP2에 대한 후보 움직임 벡터를 포함하는 컨스트럭티드 후보, 상기 CP1에 대한 후보 움직임 벡터, CP2에 대한 후보 움직임 벡터를 포함하는 컨스트럭티드 후보, 상기 CP0에 대한 후보 움직임 벡터, CP3에 대한 후보 움직임 벡터를 포함하는 컨스트럭티드 후보, 상기 CP1에 대한 후보 움직임 벡터, CP3에 대한 후보 움직임 벡터를 포함하는 컨스트럭티드 후보, 상기 CP2에 대한 후보 움직임 벡터, CP3에 대한 후보 움직임 벡터를 포함하는 컨스트럭티드 후보 순으로 상기 머지 후보 리스트에 추가될 수 있다.
이후, 인코딩 장치/디코딩 장치는 0 움직임 벡터들을 머지 후보로 머지 후보 리스트에 추가할 수 있다(S820).
예를 들어, 상기 머지 후보 리스트의 머지 후보들의 개수가 5개보다 작은 경우, 상기 머지 후보 리스트가 최대 머지 후보 개수로 구성될 때까지 상기 머지 후보 리스트에 0 움직임 벡터들을 포함하는 머지 후보가 추가될 수 있다. 상기 최대 머지 후보 개수는 5개일 수 있다. 또한, 상기 0 움직임 벡터는 벡터값이 0 인 움직임 벡터를 나타낼 수 있다.
한편, 상술한 내용과 같이 머지 후보 리스트가 구성될 수 있는바, 상기 머지 후보 리스트를 구성하기 위한 기존의 실시예에 따른 파라미터 설정은 다음의 표와 같이 나타날 수 있다.
Figure PCTKR2019011580-appb-T000001
표 1을 참조하면 어파인 움직임 모델의 파라미터 수는 4 또는 6개이다(즉, 4 어파인 움직임 모델 또는 6 어파인 움직임 모델). 계승된 후보 생성을 위해 주변 참조 블록이 4 파라미터 모델인 경우 4 파라미터 모델을 사용하고 주변 참조 블록이 6 파라미터 모델인 경우 6 파라미터 모델을 사용하여 계승된 후보를 생성한다. 컨스트럭티드 후보의 경우 4 파라미터 모델 또는 6 파라미터 모델을 모두를 사용하여 컨스트럭티드 후보를 생성한다. 어파인 머지 모드의 머지 후보의 개수는 5개, 계승된 후보의 최대 개수는 5개, 컨스트럭티드 후보의 최대 개수는 10개일 수 있다.
상기 머지 후보 리스트를 구성하기 위한 프로세스의 수는 다음의 표와 같이 나타날 수 있다.
Figure PCTKR2019011580-appb-T000002
Figure PCTKR2019011580-appb-T000003
표 2는 계승된 후보 생성 과정에 수반되는 프로세스의 수를 나타내고 있으며, 최대 5개의 계승된 후보가 생성될 때, 움직임 벡터를 프루닝 체크 프로세스는 최대 10번이 수행될 수 있고, 스케일링하는 프로세스는 수행되지 않을 수 있다.
표 3은 컨스트럭티드 후보 생성 과정에 수반되는 프로세스의 수를 나타내고 있으며, 최대 10개의 계승된 후보가 생성될 때, 움직임 벡터를 프루닝 체크 프로세스는 최대 40번이 수행될 수 있고, 스케일링하는 프로세스는 22번 수행될 수 있다.
이 경우, 한편, 상기 프루닝 체크 프로세스는 머지 후보가 이미 도출된 머지 후보와 동일한지 여부를 판단하여 동일하지 않은 경우에만 머지 후보 리스트에 추가하는 과정을 나타낼 수 있다.
머지 후보를 도출하는 과정에서 움직임 벡터를 스케일링하는 프로세스는 다음의 표와 같이 나타날 수 있다.
Figure PCTKR2019011580-appb-T000004
표 4를 참조하면 머지 후보를 도출하는 과정에서 움직임 벡터를 스케일링하는 프로세스의 횟수가 도출될 수 있다.
표 2와 표 3에 나타나 있는 프로세스 각각을 위해 필요한 동작의 수는 아래 표 5와 같고, 표 6 및 표 7은 이를 상세히 설명하고 있다. 표 5 및 표 6에 나타나 있는 “Add”는 더하기 연산, “Shift”는 시프트 연산, “Comp.”는 비교 연산을 의미하고, “Abs”는 절대값(Absolute value)을 구하는 연산, “Div.”는 나눗셈 연산, “Mult.”는 곱셈 연산을 의미한다.
Figure PCTKR2019011580-appb-T000005
Figure PCTKR2019011580-appb-T000006
Figure PCTKR2019011580-appb-T000007
이러한 머지 후보 리스트를 구성하기 위해 사용되는 동작의 수를 최종적으로 표 8과 같이 정리할 수 있다.
Figure PCTKR2019011580-appb-T000008
본 문서가 해결하고자 하는 것은 머지 후보 리스트 생성에 수반되는 프루닝 체크 프로세스에 의한 복잡도를 감소시키는 것이다. 이하 실시예들에 나타난 복잡도 분석은 표 8의 계승된 후보 및 컨스트럭티드 후보의 프루닝 체크 프로세스를 위한 비교 동작 수의 관점에서 분석된다.
일 예로, 상기 주변 블록들을 스캐닝 순서로 체크하여 어파인 블록을 기반으로 상기 계승된 후보들을 도출하되, 상기 도출된 머지 후보들은 서로 다른 참조 픽처에 대한 주변 블록들로부터 도출하는 방안이 제안될 수 있다. 본 실시예는 참조 픽처가 동일한 주변 블록들을 기반으로 도출된 계승된 후보들은 동일하거나 유사할 가능성이 높다는 점에서 제안된다. 여기서, 상기 스캐닝 순서는 좌하측 코너 주변 블록 A0 → 우상측 코너 주변 블록 B0 → 좌측 주변 블록 A1 → 상측 주변 블록 B1 → 좌상측 코너 주변 블록 B2 일 수 있다. 이는 하나의 예시적인 것으로, 스캐닝 순서는 도 9에 대한 설명에 도시되어 있는 스캐닝 순서도 가능하다.
예를 들어, 본 실시예에 따른 계승된 후보들은 다음의 표와 같이 도출될 수 있다.
Figure PCTKR2019011580-appb-T000009
표 9를 참조하면 상기 주변 블록들은 좌하측 코너 주변 블록 A0, 우상측 코너 주변 블록 B0, 좌측 주변 블록 A1, 상측 주변 블록 B1, 좌상측 코너 주변 블록 B2 순으로 체크될 수 있다.
표 9를 참조하면 상기 좌하측 코너 주변 블록 A0은 어파인 예측이 적용된 블록(즉, 어파인 블록)일 수 있고, 따라서, 상기 좌하측 코너 주변 블록 A0를 기반으로 계승된 후보가 도출될 수 있다.
다음으로, 상기 우상측 코너 주변 블록 B0은 어파인 예측이 적용된 블록(즉, 어파인 블록)일 수 있고, 이미 도출된 계승된 후보에 대한 상기 좌하측 코너 주변 블록 A0의 참조 픽처 인덱스 {0, 0}와 다른 참조 픽처 인덱스 {1, 0}를 가질 수 있다. 따라서, 상기 우상측 코너 주변 블록 B0를 기반으로 계승된 후보가 도출될 수 있다.
다음으로, 상기 좌측 주변 블록 A1은 어파인 예측이 적용되지 않은 블록, 즉, 어파인 블록이 아니므로 상기 좌측 주변 블록 A1을 기반으로 계승된 후보가 도출되지 않을 수 있다.
다음으로, 상기 상측 주변 블록 B1은 어파인 예측이 적용된 블록(즉, 어파인 블록)이지만, 이미 도출된 계승된 후보에 대한 상기 좌하측 코너 주변 블록 A0의 참조 픽처 인덱스 {0, 0}와 동일한 참조 픽처 인덱스 {0, 0}를 가질 수 있다. 따라서, 상기 상측 주변 블록 B1를 기반으로 계승된 후보가 도출되지 않을 수 있다.
다음으로, 상기 좌상측 코너 주변 블록 B2는 어파인 예측이 적용된 블록(즉, 어파인 블록)일 수 있고, 이미 도출된 계승된 후보들의 참조 픽처 인덱스들과는 다른 참조 픽처 인덱스 {0, 1}를 가질 수 있다. 따라서, 상기 좌상측 코너 주변 블록 B2를 기반으로 계승된 후보가 도출될 수 있다.
표 9와 같은 실시예는 프루닝 체크 프로세스에서 오직 참조 인덱스만 비교하기 때문에 프루닝 체크 프로세스를 위한 필요 연산은 표 10와 같고 최종적으로 프루닝 체크 프로세스에 의한 복잡도는 표 11과 같이 정리할 수 있다. 따라서, 표 11에 도시된 것과 같이 계승된 후보 도출을 위한 비교 연산 횟수가 150 번에서 20번으로 줄어들 수 있고, 이에 프루닝 체크 프로세스로 인한 연산 복잡도를 줄일 수 있다.
Figure PCTKR2019011580-appb-T000010
Figure PCTKR2019011580-appb-T000011
한편, 또 다른 실시예에 따라, 상기 주변 블록들을 스캐닝 순서로 체크하여 어파인 블록을 기반으로 상기 계승된 후보들을 도출하되, 주변 블록이 현재 블록과 서로 다른 참조 픽처를 대한 주변 블록인지 여부와 주변 블록에 대한 어파인 타입(affine_type)를 체크하여 를 통하여 머지 후보를 도출하는 방안이 제안될 수 있다. 여기서 어파인 타입은 4 파라미터 모델을 사용하는지 또는 6 파라미터 모델을 사용하는지 여부를 지시하는 인덱스일 수 있다. 예를 들어, affine type = 0 인 경우 4 파라미터 모델을 사용하고 affine type = 1 인 경우 6 파라미터 모델을 사용하는 것으로 지시될 수 있다. 따라서 계승된 후보를 위한 프루닝 체크 프로세스에서는 오직 참조 인덱스와 어파인 타입 만을 비교한다.
본 실시예에 따를 경우, 프루닝 체크 프로세스를 위한 필요 연산은 표 12와 같고, 최종적으로 복잡도는 표 13과 같이 정리할 수 있다.
Figure PCTKR2019011580-appb-T000012
Figure PCTKR2019011580-appb-T000013
표 13에서와 같이, 계승된 후보를 위한 프루닝 체크 프로세스의 비교 프로세스의 수는 150 에서 30 으로 감소될 수 있다.
표 9 내지 표 11을 참조하여 설명된 머지 후보 생성의 방법과 본 실시예를 비교하면, 본 실시예의 경우 계승된 후보의 프루닝 체크 프로세스를 위해 어파인 타입을 추가적으로 고려한다. 이는 비록 참조 픽처가 동일하더라고 어파인 타입이 다르면 다른 특징을 가지는 후보가 구성될 수 있다는 점을 고려한 것이다. 이러한 방법은 표 9 내지 표 11의 실시예와 비교하여 연산 수는 증가, 즉 프루닝 체크 프로세스의 비교 동작의 수가 1 증가한다. 하지만, 증가되는 정도가 적은 대신 특징이 다른 추가적인 후보를 고려할 수 있고 이를 따른 성능 향상 효과가 존재한다. 즉, 어파인 타입에 대한 추가적인 고려는 복잡도와 성능에 대한 트레이드 오프(trade-off) 관계를 가질 수 있다.
한편, 상술한 바와 같이, 기존의 경우, 계승된 후보 생성을 위해 스캐닝 프로세스를 수행하고 스캐닝 위치에서 계승된 후보가 생성될 때 마다 프루닝 체크 프로세스를 수행한다. 예를 들면 스캐닝 프로세스를 위한 공간적 위치는 도 9와 같고, 스캐닝 순서가 A1 → B1 → B0 → A0 → B2 이면 최악의 경우(worst case)에서 스캐닝 프로세스는 표 14와 같이 수행될 수 있다.
Figure PCTKR2019011580-appb-T000014
기존 방법에 따라 계승된 후보를 생성하는 경우, 표 14에 나타난 바와 같이, 프루닝 체크 프로세스는 최대 10 회가 필요하다.
표 14의 제안 방법 1(표 14의 3열)은 계승된 후보의 스캐닝 위치의 거리가 가까운 경우 프루닝 체크 프로세스를 수행하고 거리가 먼 경우는 프루닝 체크 프로세스를 수행하지 않는 것이다. 예를 들어 표 14의 A1 및 B1 블록은 공간적 상관성이 낮기 때문에 (혹은 두 블록의 거리가 멀기 때문에) 다른 계승된 후보가 생성될 확률이 높다. 따라서 이러한 경우 프루닝 체크 프로세스 수행 없이 머지 후보를 계승된 후보에 추가한다. 유사하게 B0와 B1 블록의 경우 공간적 상관성이 이 높기 때문에 유사한 후보를 생성할 가능성이 높다. 이러한 경우 프루닝 체크 프로세스를 수행하여 계승된 후보에 해당 후보를 추가할지 여부를 결정할 수 있다. B2 블록의 경우 A0, A1 블록 중 가까운 A1 블록에 대해서만 프루닝 체크 프로세스를 수행하며 B0, B1 블록 중 가까운 B1 블록에 대해서만 프루닝 체크 프로세스를 수행한다. 제안 방법 1에 따ㄹ르면 프루닝 체크 프로세스는 수는 기존의 10 개에서 4 개로 줄어들 수 있다.
표 14의 제안 방법 2는 제안 방법 1에서 A1 및 B1 블록에 대한 프루닝 체크 프로세스를 추가한 경우에 해당한다. 해당 블록 A1, B1 의 경우 비디오 부호화에서 다른 블록에 비해 높은 확률로 후보로 고려되기 때문에 프루닝 체크 프로세스의 수를 줄임으로 발생할 수 있는 부호화 효율 열화를 최소화하기 위해 추가적으로 고려될 수 있다.
표 14에 설명되어진 제안 방법 1 또는 제안 방법 2은 기존의 방법 및 앞서 설명된 실시예의 프루닝 체크 프로세스를 감소시키기 위한 방법과 동시에, 즉 중복적으로 적용될 수 있다. 표 9 내지 표 13에 설명된 방법은 프루닝 체크 프로세스에서 요구되는 비교 동작의 수를 감소시킨 것이고, 표 14에 따른 제안 방법 1 및 제안 방법 2 의 경우 프루닝 체크 프로세스의 수를 줄인 것이다.
또한, 본 문서는 컨스트럭티드 후보를 도출하는 과정에서 연산 복잡도를 줄이는 실시예들을 제안한다.
도 11은 본 문서의 일 실시예에 따른 컨스트럭티드 후보를 도출하는 방법을 나타낸다.
도 11을 참조하면 인코딩 장치/디코딩 장치는 현재 블록의 CP들에 대한 후보 움직임 벡터들을 도출할 수 있다(S1100).
한편, 컨스트럭티드 후보는 CP들에 대한 후보 움직임 벡터들을 기반으로 도출될 수 있다. 상기 후보 움직임 벡터들은 주변 블록들을 기반으로 도출될 수 있다.
도 12는 본 문서의 일 실시예에 따른 컨스트럭티드 후보를 도출하기 위한 현재 블록의 주변 블록 및 현재 블록의 CP에 대한 후보 움직임 벡터를 도시한 도면이다.
도 12에 도시된 바와 같이, 상기 현재 블록의 CP0에 대한 후보 움직임 벡터 CPMV0, 상기 현재 블록의 CP0에 대한 후보 움직임 벡터 CPMV1, 상기 현재 블록의 CP1에 대한 후보 움직임 벡터 CPMV2 는 다음의 수학식과 같이 선택될 수 있다.
Figure PCTKR2019011580-appb-M000006
여기서, 상기 CP0은 상기 현재 블록의 좌상단 위치를 나타낼 수 있고, 상기 CP1은 상기 현재 블록의 우상단 위치를 나타낼 수 있고, 상기 CP2는 상기 현재 블록의 좌하단 위치를 나타낼 수 있다.
예를 들어, 인코딩 장치/디코딩 장치는 제1 그룹 내 주변 블록들을 제1 순서에 따라 가용한지 체크할 수 있고, 상기 체크 과정에서 처음으로 확인된 가용한 주변 블록의 움직임 벡터를 상기 CP0에 대한 후보 움직임 벡터로 도출할 수 있다. 즉, 상기 CP0에 대한 후보 움직임 벡터는 제1 순서에 따라 상기 제1 그룹 내 주변 블록들을 체크하여 처음으로 확인된 가용한 주변 블록의 움직임 벡터일 수 있다. 상기 가용함은 상기 주변 블록이 존재하고, 상기 주변 블록이 인터 예측으로 코딩됨을 나타낼 수 있다.
즉, 가용한 주변 블록은 인터 예측으로 코딩된 블록(즉, 인터 예측이 적용된 블록)일 수 있다. 여기서, 예를 들어, 상기 제1 그룹은 도 10에 도시되어 있는 상기 주변 블록 B2, 상기 주변 블록 B3 및 상기 주변 블록 A2을 포함할 수 있다. 상기 주변 블록 B2는 도 12의 주변 블록 A, 상기 주변 블록 B3 는 도 12의 주변 블록 B, 상기 주변 블록 A2 는 도 12의 주변 블록 C 라고 나타낼 수도 있다.
상기 제1 순서는 상기 제1 그룹 내 주변 블록 B2에서 상기 주변 블록 B3, 상기 주변 블록 A2로의 순서일 수 있다. 일 예로, 상기 주변 블록 B2 가 가용한 경우, 상기 주변 블록 B2의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 B2 가 가용하지 않고, 상기 주변 블록 B3 가 가용한 경우, 상기 주변 블록 B3의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 B2 및 상기 주변 블록 B3 가 가용하지 않고, 상기 주변 블록 A2 가 가용한 경우, 상기 주변 블록 A2의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있다.
또한, 예를 들어, 인코딩 장치/디코딩 장치는 제2 그룹 내 주변 블록들을 제2 순서에 따라 가용한지 체크할 수 있고, 상기 체크 과정에서 처음으로 확인된 가용한 주변 블록의 움직임 벡터를 상기 CP0에 대한 후보 움직임 벡터로 도출할 수 있다. 즉, 상기 CP0에 대한 후보 움직임 벡터는 제2 순서에 따라 상기 제2 그룹 내 주변 블록들을 체크하여 처음으로 확인된 가용한 주변 블록의 움직임 벡터일 수 있다. 상기 가용함은 상기 주변 블록이 존재하고, 상기 주변 블록이 인터 예측으로 코딩됨을 나타낼 수 있다.
즉, 가용한 주변 블록은 인터 예측으로 코딩된 블록(즉, 인터 예측이 적용된 블록)일 수 있다. 여기서, 상기 제2 그룹은 상기 주변 블록 B1 및 상기 주변 블록 B0을 포함할 수 있다. 상기 주변 블록 B1는 도 12의 주변 블록 D, 상기 주변 블록 B0는 도 12의 주변 블록 E 라고 나타낼 수도 있다.
상기 제2 순서는 상기 제2 그룹 내 주변 블록 B1에서 상기 주변 블록 B0로의 순서일 수 있다. 일 예로, 상기 주변 블록 B1 이 가용한 경우, 상기 주변 블록 B1의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 B1 이 가용하지 않고, 상기 주변 블록 B0 가 가용한 경우, 상기 주변 블록 B0의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있다.
또한, 예를 들어, 인코딩 장치/디코딩 장치는 제3 그룹 내 주변 블록들을 제3 순서에 따라 가용한지 체크할 수 있고, 상기 체크 과정에서 처음으로 확인된 가용한 주변 블록의 움직임 벡터를 상기 CP1에 대한 후보 움직임 벡터로 도출할 수 있다. 즉, 상기 CP1에 대한 후보 움직임 벡터는 제3 순서에 따라 상기 제3 그룹 내 주변 블록들을 체크하여 처음으로 확인된 가용한 주변 블록의 움직임 벡터일 수 있다. 상기 가용함은 상기 주변 블록이 존재하고, 상기 주변 블록이 인터 예측으로 코딩됨을 나타낼 수 있다.
즉, 가용한 주변 블록은 인터 예측으로 코딩된 블록(즉, 인터 예측이 적용된 블록)일 수 있다. 여기서, 상기 제3 그룹은 상기 주변 블록 A1 및 상기 주변 블록 A0을 포함할 수 있다. 상기 주변 블록 A1는 도 12의 주변 블록 F, 상기 주변 블록 A0는 도 12의 주변 블록 G 라고 나타낼 수도 있다.
상기 제3 순서는 상기 제3 그룹 내 주변 블록 A1에서 상기 주변 블록 A0로의 순서일 수 있다. 일 예로, 상기 주변 블록 A1 가 가용한 경우, 상기 주변 블록 A1의 움직임 벡터가 상기 CP1에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 A1 가 가용하지 않고, 상기 주변 블록 A0 가 가용한 경우, 상기 주변 블록 A0의 움직임 벡터가 상기 CP1에 대한 후보 움직임 벡터로 도출될 수 있다.
한편, 상기 현재 블록의 CP3에 대한 후보 움직임 벡터는 고려되지 않을 수도 있다. 즉, 상기 CP3 에 대한 후보 움직임 벡터는 도출되지 않을 수 있다. 여기서, 상기 CP3 은 상기 현재 블록의 우하단 위치를 나타낼 수 있다. 상기 CP3 은 상술한 내용과 같이 시간적 주변 블록의 움직임 벡터(또는 시간적 움직임 벡터 예측자(Temporal Motion Vector Predictor, TMVP))를 기반으로 도출될 수 있는바, 상기 CP3에 대한 후보 움직임 벡터를 도출하기 위한 스케일링(scaling) 프로세스의 수행이 필요하고 이는 연산 복잡도를 증가시키는 주된 원인이 될 수 있다. 따라서, 상기 CP3 에 대한 후보 움직임 벡터는 도출되지 않을 수도 있다.
인코딩 장치/디코딩 장치는 가용 CPMV 조합(available CPMV combination)을 기반으로 CPMV 패턴(pattern)을 결정할 수 있다(S1110). 상기 가용 CPMV 조합은 참조 픽처가 동일한 후보 움직임 벡터들의 조합을 나타낼 수 있다.
아래, 표 15를 참조하면 상기 CPMV 패턴에 대하여 “0”, “1”, “2”, “3”, “4” 와 같은 정수 값이 할당될 수 있다.
예를 들어, 상기 CP0의 후보 움직임 벡터에 대한 참조 픽처, 상기 CP1의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP2의 후보 움직임 벡터에 대한 참조 픽처가 동일한 경우, 상기 가용 CPMV 조합은 {CPMV0, CPMV1, CPMV2} 라고 나타낼 수 있다. 상기 가용 CPMV 조합 {CPMV0, CPMV1, CPMV2} 에 대한 CPMV 패턴은 CPMV 패턴 1로 도출될 수 있다.
또한, 예를 들어, 상기 CP0의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP1의 후보 움직임 벡터에 대한 참조 픽처는 동일하고, 상기 CP2의 후보 움직임 벡터에 대한 참조 픽처는 다른 경우, 상기 가용 CPMV 조합은 {CPMV0, CPMV1} 라고 나타낼 수 있다. 상기 가용 CPMV 조합 {CPMV0, CPMV1} 에 대한 CPMV 패턴은 CPMV 패턴 2로 도출될 수 있다.
또한, 예를 들어, 상기 CP0의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP2의 후보 움직임 벡터에 대한 참조 픽처는 동일하고, 상기 CP1의 후보 움직임 벡터에 대한 참조 픽처는 다른 경우, 상기 가용 CPMV 조합은 {CPMV0, CPMV2} 라고 나타낼 수 있다. 상기 가용 CPMV 조합 {CPMV0, CPMV2} 에 대한 CPMV 패턴은 CPMV 패턴 3로 도출될 수 있다.
또한, 예를 들어, 상기 CP1의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP2의 후보 움직임 벡터에 대한 참조 픽처는 동일하고, 상기 CP0의 후보 움직임 벡터에 대한 참조 픽처는 다른 경우, 상기 가용 CPMV 조합은 {CPMV1, CPMV2} 라고 나타낼 수 있다. 상기 가용 CPMV 조합 {CPMV1, CPMV2} 에 대한 CPMV 패턴은 CPMV 패턴 4로 도출될 수 있다.
한편, 상기 CP0의 후보 움직임 벡터에 대한 참조 픽처, 상기 CP1의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP2의 후보 움직임 벡터에 대한 참조 픽처가 모두 다른 경우, 상기 CPMV 패턴은 CPMV 패턴 0으로 도출될 수 있다.
인코딩 장치/디코딩 장치는 상기 도출된 CPMV 패턴을 기반으로 컨스트럭티드 후보를 도출할 수 있다(S1120).
예를 들어, 상기 CPMV 패턴 0이 도출된 경우, 상기 컨스트럭티드 후보는 도출되지 않을 수 있다.
또한, 예를 들어, 상기 CPMV 패턴 1이 도출된 경우, 상기 현재 블록의 머지 후보 리스트에 {CPMV0, CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보, {CPMV0, CPMV1}을 포함하는 컨스트럭티드 후보, {CPMV0, CPMV2}을 포함하는 컨스트럭티드 후보, {CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보 순서로 상기 머지 후보 리스트의 후보 개수가 최대 개수가 될 때까지 추가될 수 있다.
또한, 예를 들어, 상기 CPMV 패턴 2가 도출된 경우, 상기 머지 후보 리스트에 {CPMV0, CPMV1}을 포함하는 컨스트럭티드 후보가 추가될 수 있다.
또한, 예를 들어, 상기 CPMV 패턴 3이 도출된 경우, 상기 머지 후보 리스트에 {CPMV0, CPMV2}을 포함하는 컨스트럭티드 후보가 추가될 수 있다.
또한, 예를 들어, 상기 CPMV 패턴 4가 도출된 경우, 상기 머지 후보 리스트에 {CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보가 추가될 수 있다.
상기 가용 CPMV 조합에 따른 CPMV 패턴 및 가용한 컨스트럭티드 후보는 다음의 표 15와 같이 도출될 수 있다.
Figure PCTKR2019011580-appb-T000015
상술한 도출하는 과정을 슈도 코드(pseudo code)로 나타내는 경우, 다음의 표와 같이 도출될 수 있다.
Figure PCTKR2019011580-appb-T000016
아래, 표 17 내지 표 22는 본 실시예에 따를 경우의 연산 복잡도를 나타낸다.
Figure PCTKR2019011580-appb-T000017
Figure PCTKR2019011580-appb-T000018
Figure PCTKR2019011580-appb-T000019
Figure PCTKR2019011580-appb-T000020
Figure PCTKR2019011580-appb-T000021
Figure PCTKR2019011580-appb-T000022
상술한 실시예에서 연산 복잡도가 가장 높은 워스트 케이스(worst case)는 상기 CPMV 패턴이 CPMV 패턴 1로 도출되는 경우이고, 이 경우에 발생될 수 있는 컨스트럭티드 후보의 최대 개수는 표 17에 나타난 바와 같이 4개다. 또한, 컨스트럭티드 후보의 최대 개수가 10개에서 4개로 줄어들면, 표 18와 같이 컨스트럭티드 후보들 사이의 프루닝 체크 프로세스의 최대 횟수는 16번이고, 스케일링 프로세스는 수행되지 않을 수 있다.
표 26의 컨스트럭티드 후보에 대한 복잡도는 표 6과 비교하였을 때, 덧셈 연산은 73회에서 19회로 감소했고, 프루닝 체크 프로세스의 비교 연산은 600회에서 240회로 감소했다. 이러한 컨스트럭티드 후보에 대한 복잡도가 감소함에 따라, 전체적인 연산 복잡도가 표 26과 같이 대폭 감소한 것을 알 수 있다.
한편, 상술한 컨스트럭티드 후보를 도출하는 실시예에서 상기 CPMV 패턴 또는 상기 CPMV 패턴에 따른 가용한 컨스트럭티드 후보의 개수를 줄인 실시예가 제안될 수도 있다.
일 예로, CPMV0 및 CPMV2를 포함하는 조합 또는 CPMV1 및 CPMV2를 포함하는 조합은 고려하지 않는 방법이 제안될 수 있다.
즉, 인코딩 장치/디코딩 장치는 가용 CPMV 조합을 기반으로 CPMV 패턴을 결정하되, 상기 CPMV 패턴은 상기 CPMV 패턴 3을 포함하지 않거나, 상기 CPMV 패턴 4를 포함하지 않을 수 있다. 예를 들어, 가용한 컨스트럭티드 후보는 {CPMV0, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다. 또한 가용한 컨스트럭티드 후보는 {CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다.
본 실시예에서 상기 가용 CPMV 조합에 따른 CPMV 패턴 및 가용한 컨스트럭티드 후보는 다음의 표와 같이 도출될 수 있다.
Figure PCTKR2019011580-appb-T000023
4 어파인 움직임 모델의 경우, CPMV0 및 CPMV1 이 사용되고, 6 어파인 움직임 모델의 경우, CPMV0, CPMV1 및 CPMV2이 사용되므로 유니피케이션(unification) 관점에서 상술한 실시예와 같이 컨스트럭티드 후보를 도출하는 방안이 고려될 수 있다.
또는, 일 예로, CPMV1 및 CPMV2를 포함하는 조합은 고려하지 않는 방법이 제안될 수 있다.
즉, 인코딩 장치/디코딩 장치는 가용 CPMV 조합을 기반으로 CPMV 패턴을 결정하되, 상기 CPMV 패턴은 상기 CPMV 패턴 0, 상기 CPMV 패턴 1, CPMV 패턴 2 및 CPMV 패턴 3 중 하나일 수 있다. 또한, 가용한 컨스트럭티드 후보는 {CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다.
본 실시예에서 상기 가용 CPMV 조합에 따른 CPMV 패턴 및 가용한 컨스트럭티드 후보는 다음의 표와 같이 도출될 수 있다.
Figure PCTKR2019011580-appb-T000024
CPMV0 및 CPMV2을 사용하는 어파인 움직임 모델의 어파인 예측이 고려될 수 있는바, 상술한 실시예가 제안될 수도 있다.
또는, 일 예로, 상술한 모든 후보 움직임 벡터 조합을 고려하되, 상기 CPMV 패턴에 따른 가용 컨스트럭티드 후보를 1개로 제한하는 방법이 제안될 수 있다.
즉, 상기 현재 블록에 대한 CPMV 패턴으로 CPMV 패턴 1이 도출된 경우, 인코딩 장치/디코딩 장치는 {CPMV0, CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보를 도출할 수 있고, 상기 머지 후보 리스트에 상기 컨스트럭티드 후보를 추가할 수 있다.
본 실시예에서 상기 가용 CPMV 조합에 따른 CPMV 패턴 및 가용한 컨스트럭티드 후보는 다음의 표와 같이 도출될 수 있다.
Figure PCTKR2019011580-appb-T000025
또는, 일 예로, CPMV0 및 CPMV2를 포함하는 조합 및 CPMV1 및 CPMV2를 포함하는 조합은 고려하지 않고, 상기 CPMV 패턴에 따른 가용 컨스트럭티드 후보를 1개로 제한하는 방법이 제안될 수 있다. 즉, 본 제안 방법은 표 23의 방법에서 CPMV 패턴에 따른 가용 컨스트럭티드 후보를 1개로 제한하는 것이다.
즉, 인코딩 장치/디코딩 장치는 가용 CPMV 조합을 기반으로 CPMV 패턴을 결정하되, 상기 CPMV 패턴은 상기 CPMV 패턴 0, 상기 CPMV 패턴 1 및 CPMV 패턴 2 중 하나일 수 있다. 또한, 가용한 컨스트럭티드 후보는 {CPMV0, CPMV2}을 포함하는 컨스트럭티드 후보 및 {CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다. 또한, 상기 현재 블록에 대한 CPMV 패턴으로 CPMV 패턴 1이 도출된 경우, 인코딩 장치/디코딩 장치는 {CPMV0, CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보를 도출할 수 있고, 상기 머지 후보 리스트에 상기 컨스트럭티드 후보를 추가할 수 있다.
본 실시예에서 상기 가용 CPMV 조합에 따른 CPMV 패턴 및 가용한 컨스트럭티드 후보는 다음의 표와 같이 도출될 수 있다.
Figure PCTKR2019011580-appb-T000026
또는, 일 예로, CPMV1 및 CPMV2를 포함하는 조합은 고려하지 않고, 상기 CPMV 패턴에 따른 가용 컨스트럭티드 후보를 1개로 제한하는 방법이 제안될 수 있다. 즉, 본 제안 방법은 표 24의 방법에서 CPMV 패턴에 따른 가용 컨스트럭티드 후보를 1개로 제한하는 것이다.
즉, 인코딩 장치/디코딩 장치는 가용 CPMV 조합을 기반으로 CPMV 패턴을 결정하되, 상기 CPMV 패턴은 상기 CPMV 패턴 0, 상기 CPMV 패턴 1, CPMV 패턴 2 및 CPMV 패턴 3 중 하나일 수 있다. 또한, 가용한 컨스트럭티드 후보는 {CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다. 또한, 상기 현재 블록에 대한 CPMV 패턴으로 CPMV 패턴 1이 도출된 경우, 인코딩 장치/디코딩 장치는 {CPMV0, CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보를 도출할 수 있고, 상기 머지 후보 리스트에 상기 컨스트럭티드 후보를 추가할 수 있다.
본 실시예에서 상기 가용 CPMV 조합에 따른 CPMV 패턴 및 가용한 컨스트럭티드 후보는 다음의 표와 같이 도출될 수 있다.
Figure PCTKR2019011580-appb-T000027
한편, 표 24의 방법에 따른 복잡도를 분석하며, 표 28과 같이 나타날 수 있으며, 이는 종래 대비 연산 횟수를 줄이는 효과가 있다.
Figure PCTKR2019011580-appb-T000028
표 28의 컨스트럭티드 후보에 대한 복잡도는 표 6과 비교하였을 때, 덧셈 연산은 73회에서 9회로 감소했고, 시프트 연산 쇳수는 55회에서 7회로 감소했으며, 프루닝 체크 프로세스의 비교 연산은 600회에서 180회로 감소했다. 이러한 컨스트럭티드 후보에 대한 복잡도가 감소함에 따라, 전체적인 연산 복잡도가 표 28과 같이 대폭 감소한 것을 알 수 있다.
도 13은 본 문서의 다른 실시예에 따른 컨스트럭티드 후보를 도출하기 위한 현재 블록의 주변 블록 및 현재 블록의 CP에 대한 후보 움직임 벡터를 도시한 도면이다.
도 13에 도시된 바와 같이, 상기 현재 블록의 CP0에 대한 후보 움직임 벡터 CPMV0, 상기 현재 블록의 CP0에 대한 후보 움직임 벡터 CPMV1, 상기 현재 블록의 CP1에 대한 후보 움직임 벡터 CPMV2 및 상기 현재 블록의 CP3에 대한 후보 움직임 벡터 CPMV3는 다음의 수학식과 같이 선택될 수 있다.
Figure PCTKR2019011580-appb-M000007
여기서, 상기 CP0은 상기 현재 블록의 좌상단 위치를 나타낼 수 있고, 상기 CP0은 상기 현재 블록의 우상단 위치를 나타낼 수 있고, 상기 CP1는 상기 현재 블록의 좌하단 위치를 나타낼 수 있으며, 상기 CP3는 상기 현재 블록의 우하단 위치를 나타낼 수 있다.
예를 들어, 인코딩 장치/디코딩 장치는 제1 그룹 내 주변 블록들을 제1 순서에 따라 가용한지 체크할 수 있고, 상기 체크 과정에서 처음으로 확인된 가용한 주변 블록의 움직임 벡터를 상기 CP0에 대한 후보 움직임 벡터로 도출할 수 있다. 즉, 상기 CP0에 대한 후보 움직임 벡터는 제1 순서에 따라 상기 제1 그룹 내 주변 블록들을 체크하여 처음으로 확인된 가용한 주변 블록의 움직임 벡터일 수 있다. 상기 가용함은 상기 주변 블록이 존재하고, 상기 주변 블록이 인터 예측으로 코딩됨을 나타낼 수 있다.
즉, 가용한 주변 블록은 인터 예측으로 코딩된 블록(즉, 인터 예측이 적용된 블록)일 수 있다. 여기서, 예를 들어, 상기 제1 그룹은 도 10에 도시되어 있는 상기 주변 블록 B2, 상기 주변 블록 B3 및 상기 주변 블록 A2을 포함할 수 있다. 상기 주변 블록 B2는 도 13의 주변 블록 A, 상기 주변 블록 B3 는 도 13의 주변 블록 B, 상기 주변 블록 A2 는 도 13의 주변 블록 C 라고 나타낼 수도 있다.
상기 제1 순서는 상기 제1 그룹 내 주변 블록 B2에서 상기 주변 블록 B3, 상기 주변 블록 A2로의 순서일 수 있다. 일 예로, 상기 주변 블록 B2 가 가용한 경우, 상기 주변 블록 B2의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 B2 가 가용하지 않고, 상기 주변 블록 B3 가 가용한 경우, 상기 주변 블록 B3의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 B2 및 상기 주변 블록 B3 가 가용하지 않고, 상기 주변 블록 A2 가 가용한 경우, 상기 주변 블록 A2의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있다.
또한, 예를 들어, 인코딩 장치/디코딩 장치는 제2 그룹 내 주변 블록들을 제2 순서에 따라 가용한지 체크할 수 있고, 상기 체크 과정에서 처음으로 확인된 가용한 주변 블록의 움직임 벡터를 상기 CP0에 대한 후보 움직임 벡터로 도출할 수 있다. 즉, 상기 CP0에 대한 후보 움직임 벡터는 제2 순서에 따라 상기 제2 그룹 내 주변 블록들을 체크하여 처음으로 확인된 가용한 주변 블록의 움직임 벡터일 수 있다. 상기 가용함은 상기 주변 블록이 존재하고, 상기 주변 블록이 인터 예측으로 코딩됨을 나타낼 수 있다.
즉, 가용한 주변 블록은 인터 예측으로 코딩된 블록(즉, 인터 예측이 적용된 블록)일 수 있다. 여기서, 상기 제2 그룹은 상기 주변 블록 B1 및 상기 주변 블록 B0을 포함할 수 있다. 상기 주변 블록 B1는 도 13의 주변 블록 D, 상기 주변 블록 B0는 도 13의 주변 블록 E 라고 나타낼 수도 있다.
상기 제2 순서는 상기 제2 그룹 내 주변 블록 B1에서 상기 주변 블록 B0로의 순서일 수 있다. 일 예로, 상기 주변 블록 B1 이 가용한 경우, 상기 주변 블록 B1의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 B1 이 가용하지 않고, 상기 주변 블록 B0 가 가용한 경우, 상기 주변 블록 B0의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있다.
또한, 예를 들어, 인코딩 장치/디코딩 장치는 제3 그룹 내 주변 블록들을 제3 순서에 따라 가용한지 체크할 수 있고, 상기 체크 과정에서 처음으로 확인된 가용한 주변 블록의 움직임 벡터를 상기 CP1에 대한 후보 움직임 벡터로 도출할 수 있다. 즉, 상기 CP1에 대한 후보 움직임 벡터는 제3 순서에 따라 상기 제3 그룹 내 주변 블록들을 체크하여 처음으로 확인된 가용한 주변 블록의 움직임 벡터일 수 있다. 상기 가용함은 상기 주변 블록이 존재하고, 상기 주변 블록이 인터 예측으로 코딩됨을 나타낼 수 있다.
즉, 가용한 주변 블록은 인터 예측으로 코딩된 블록(즉, 인터 예측이 적용된 블록)일 수 있다. 여기서, 상기 제3 그룹은 상기 주변 블록 A1 및 상기 주변 블록 A0을 포함할 수 있다. 상기 주변 블록 A1는 도 13의 주변 블록 F, 상기 주변 블록 A0는 도 13의 주변 블록 G 라고 나타낼 수도 있다.
상기 제3 순서는 상기 제3 그룹 내 주변 블록 A1에서 상기 주변 블록 A0로의 순서일 수 있다. 일 예로, 상기 주변 블록 A1 가 가용한 경우, 상기 주변 블록 A1의 움직임 벡터가 상기 CP1에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 A1 가 가용하지 않고, 상기 주변 블록 A0 가 가용한 경우, 상기 주변 블록 A0의 움직임 벡터가 상기 CP1에 대한 후보 움직임 벡터로 도출될 수 있다.
또한, 인코딩 장치/디코딩 장치는 상기 현재 블록의 우하단 위치를 나타낼 수 있는 상기 CP3의 움직임 벡터의 가용성 여부를 체크하고, 해당 움직임 벡터가 가용한 경우, 상기 CP3에 대한 후보 움직임 벡터로 도출할 수 있다. 상기 CP3 은 상술한 내용과 같이 시간적 주변 블록의 움직임 벡터(또는 시간적 움직임 벡터 예측자(Temporal Motion Vector Predictor, TMVP))를 기반으로 도출될 수 있다.
후속적으로, 인코딩 장치/디코딩 장치는 가용 CPMV 조합(available CPMV combination)을 기반으로 CPMV 패턴(pattern)을 결정할 수 있다. 상기 가용 CPMV 조합은 참조 픽처가 동일한 후보 움직임 벡터들의 조합을 나타낼 수 있다.
예를 들어 CPMV0, CPMV1, CPMV2의 참조 픽처가 모두 동일한 경우 가용 CPMV 조합은 {CPMV0, CPMV1, CPMV2}라 표시될 수 있으며 CPMV0, CPMV1의 참조 픽처가 동일하고, CPMV2의 참조 픽처만 다른 경우 가용 CPMV 조합은 {CPMV0, CPMV1} 라 표시될 수 있다. 가용 CPMV 조합에 따른 CPMV 패턴은 표 29와 같이 표현될 수 있다. 표 29에 나타난 바와 같이 가용 CPMV 조합의 CPMV 패턴에 따라 “0”, “1”, “2”, “3”, “4”, ~ “11” 와 같은 정수 값을 할당될 수 있다.
Figure PCTKR2019011580-appb-T000029
표 29를 구체적으로 살펴보면, 상기 CP0의 후보 움직임 벡터에 대한 참조 픽처, 상기 CP1의 후보 움직임 벡터에 대한 참조 픽처, 상기 CP2의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP3의 후보 움직임 벡터에 대한 참조 픽처가 동일할 경우, 상기 가용 CPMV 조합은 {CPMV0, CPMV1, CPMV2}, {CPMV0, CPMV1, CPMV3}, {CPMV0, CPMV2, CPMV3}, {CPMV1, CPMV2, CPMV3}라고 나타낼 수 있다. 즉, 상기 가용 CPMV 조합 {CPMV0, CPMV1, CPMV2, CPMV3}에 대한 CPMV 패턴은 CPMV 패턴 1로 도출될 수 있다.
참조 픽처가 같다는 것은 참조 픽처를 지시하는 참조 픽처 인덱스가 같다는 것을 의미한다.
또한, 예를 들어, 상기 CP0의 후보 움직임 벡터에 대한 참조 픽처, 상기 CP1의 후보 움직임 벡터 및 상기 CP2의 후보 움직임 벡터에 대한 참조 픽처가 동일하고, 상기 CP3의 후보 움직임 벡터가 가용하지 않거나 상기 CP3의 후보 움직임 벡터에 대한 참조 픽처가 다른 경우, 상기 가용 CPMV 조합은 {CPMV0, CPMV1, CPMV2}, {CPMV0, CPMV1}, {CPMV0, CPMV2} 및 {CPMV1, CPMV2}로 나타낼 수 있다. 즉, 상기 가용 CPMV 조합 {CPMV0, CPMV1, CPMV2}에 대한 CPMV 패턴은 CPMV 패턴 2로 도출될 수 있다.
또한, 예를 들어, 상기 CP0의 후보 움직임 벡터에 대한 참조 픽처, 상기 CP1의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP3의 후보 움직임 벡터에 대한 참조 픽처는 동일하고, 상기 CP2의 후보 움직임 벡터가 가용하지 않거나 상기 CP2의 후보 움직임 벡터에 대한 참조 픽처가 다른 경우, 상기 가용 CPMV 조합은 {CPMV0, CPMV1, CPMV3}, {CPMV0, CPMV1}, {CPMV0, CPMV3} 및 {CPMV1, CPMV3}로 나타낼 수 있다. 즉, 상기 가용 CPMV 조합 {CPMV0, CPMV1, CPMV3}에 대한 CPMV 패턴은 CPMV 패턴 3으로 도출될 수 있다.
또한, 예를 들어, 상기 CP0의 후보 움직임 벡터에 대한 참조 픽처, 상기 CP2의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP3의 후보 움직임 벡터에 대한 참조 픽처는 동일하고, 상기 CP1의 후보 움직임 벡터가 가용하지 않거나 상기 CP1의 후보 움직임 벡터에 대한 참조 픽처가 다른 경우, 상기 가용 CPMV 조합은 {CPMV0, CPMV2, CPMV3}, {CPMV0, CPMV2}, {CPMV0, CPMV3} 및 {CPMV2, CPMV3}로 나타낼 수 있다. 즉, 가용 CPMV 조합 {CPMV0, CPMV2, CPMV3}에 대한 CPMV 패턴은 CPMV 패턴 4로 도출될 수 있다.
또한, 예를 들어, 상기 CP1의 후보 움직임 벡터에 대한 참조 픽처, 상기 CP2의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP3의 후보 움직임 벡터에 대한 참조 픽처는 동일하고, 상기 CP0의 후보 움직임 벡터가 가용하지 않거나 상기 CP0의 후보 움직임 벡터에 대한 참조 픽처가 다른 경우, 상기 가용 CPMV 조합은 {CPMV1, CPMV2, CPMV3}, {CPMV1, CPMV2}, {CPMV1, CPMV3} 및 {CPMV2, CPMV3}로 나타낼 수 있다. 즉, 가용 CPMV 조합 {CPMV1, CPMV2, CPMV3}에 대한 CPMV 패턴은 CPMV 패턴 5로 도출될 수 있다.
또한, 예를 들어, 상기 CP0의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP1의 후보 움직임 벡터에 대한 참조 픽처가 동일한 경우, 상기 가용 CPMV 조합은 {CPMV0, CPMV1} 라고 나타낼 수 있다. 상기 가용 CPMV 조합 {CPMV0, CPMV1} 에 대한 CPMV 패턴은 CPMV 패턴 6으로 도출될 수 있다.
또한, 예를 들어, 상기 CP0의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP2의 후보 움직임 벡터에 대한 참조 픽처가 동일한 경우, 상기 가용 CPMV 조합은 {CPMV0, CPMV2} 라고 나타낼 수 있다. 상기 가용 CPMV 조합 {CPMV0, CPMV2} 에 대한 CPMV 패턴은 CPMV 패턴 7로 도출될 수 있다.
또한, 예를 들어, 상기 CP1의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP2의 후보 움직임 벡터에 대한 참조 픽처가 동일한 경우, 상기 가용 CPMV 조합은 {CPMV1, CPMV2}라고 나타낼 수 있다. 상기 가용 CPMV 조합 {CPMV1, CPMV2} 에 대한 CPMV 패턴은 CPMV 패턴 8로 도출될 수 있다.
또한, 예를 들어, 상기 상기 CP0의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP3의 후보 움직임 벡터에 대한 참조 픽처가 동일한 경우, 상기 가용 CPMV 조합은 {CPMV0, CPMV3} 라고 나타낼 수 있다. 상기 가용 CPMV 조합 {CPMV0, CPMV3}에 대한 CPMV 패턴은 CPMV 패턴 9로 도출될 수 있다.
또한, 예를 들어, 상기 CP1의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP3의 후보 움직임 벡터에 대한 참조 픽처가 동일한 경우, 상기 가용 CPMV 조합은 {CPMV1, CPMV3} 라고 나타낼 수 있다. 상기 가용 CPMV 조합 {CPMV1, CPMV3}에 대한 CPMV 패턴은 CPMV 패턴 10으로 도출될 수 있다.
또한, 예를 들어, 상기 CP2의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP3의 후보 움직임 벡터에 대한 참조 픽처가 동일한 경우, 상기 가용 CPMV 조합은 {CPMV1, CPMV3}라고 나타낼 수 있다. 상기 가용 CPMV 조합 {CPMV2, CPMV3}에 대한 CPMV 패턴은 CPMV 패턴 11로 도출될 수 있다.
한편, 상기 CP0의 후보 움직임 벡터에 대한 참조 픽처, 상기 CP1의 후보 움직임 벡터에 대한 참조 픽처, 상기 CP2의 후보 움직임 벡터에 대한 참조 픽처 및 상기 CP3의 후보 움직임 벡터에 대한 참조 픽처가 모두 다른 경우, 상기 CPMV 패턴은 CPMV 패턴 0으로 도출될 수 있다.
이후, 인코딩 장치/디코딩 장치는 상기 도출된 CPMV 패턴을 기반으로 컨스트럭티드 후보를 도출할 수 있다.
예를 들어, 상기 CPMV 패턴 0이 도출된 경우, 상기 컨스트럭티드 후보는 도출되지 않을 수 있다.
또한, 예를 들어, 표 29와 같이 상기 CPMV 패턴 1이 도출된 경우, 상기 현재 블록의 머지 후보 리스트에 {CPMV0, CPMV1, CPMV2}, {CPMV0, CPMV1, CPMV3}, {CPMV0, CPMV2, CPMV3}, {CPMV1, CPMV2, CPMV3}을 포함하는 컨스트럭티드 후보 순서로 상기 머지 후보 리스트의 후보 개수가 최대 개수가 될 때까지 추가될 수 있다.
{CPMV0, CPMV1, CPMV2}, {CPMV0, CPMV1, CPMV3}, {CPMV0, CPMV2, CPMV3}, {CPMV1, CPMV2, CPMV3}가 컨스트럭티드 후보로 추가될 때 가용 CPMV 조합에 대한 참조 픽처가 동일한지 여부가 판단될 수 있다. 예를 들어, {CPMV0, CPMV1, CPMV2}가 컨스트럭티드 후보로 추가될 때, CPMV0, CPMV1, CPMV2에 대한 참조 픽처가 모두 동일한지 여부가 판단될 수 있다. 판단 결과, CPMV0, CPMV1, CPMV2에 대한 참조 픽처가 모두 동일한 경우, {CPMV0, CPMV1, CPMV2}가 컨스트럭티드 후보로 추가될 수 있다.
또한, {CPMV0, CPMV1, CPMV3}가 컨스트럭티드 후보로 추가될 때, CPMV0, CPMV1, CPMV3에 대한 참조 픽처가 모두 동일한지 여부가 판단될 수 있다. 판단 결과, CPMV0, CPMV1, CPMV3에 대한 참조 픽처가 모두 동일한 경우, {CPMV0, CPMV1, CPMV3}가 컨스트럭티드 후보로 추가될 수 있다.
또한, 예를 들어, 상기 CPMV 패턴 2가 도출된 경우, 상기 현재 블록의 머지 후보 리스트에 {CPMV0, CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보, {CPMV0, CPMV1}을 포함하는 컨스트럭티드 후보, {CPMV0, CPMV2}을 포함하는 컨스트럭티드 후보, {CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보 순서로 상기 머지 후보 리스트의 후보 개수가 최대 개수가 될 때까지 추가될 수 있다.
또한, 예를 들어, 상기 CPMV 패턴 3이 도출된 경우, 상기 현재 블록의 머지 후보 리스트에 {CPMV0, CPMV1, CPMV3}을 포함하는 컨스트럭티드 후보, {CPMV0, CPMV1}을 포함하는 컨스트럭티드 후보, {CPMV0, CPMV3}을 포함하는 컨스트럭티드 후보, {CPMV1, CPMV3}을 포함하는 컨스트럭티드 후보 순서로 상기 머지 후보 리스트의 후보 개수가 최대 개수가 될 때까지 추가될 수 있다.
또한, 예를 들어, 상기 CPMV 패턴 4가 도출된 경우, 상기 현재 블록의 머지 후보 리스트에 {CPMV0, CPMV2, CPMV3}을 포함하는 컨스트럭티드 후보, {CPMV0, CPMV2}을 포함하는 컨스트럭티드 후보, {CPMV0, CPMV3}을 포함하는 컨스트럭티드 후보, {CPMV2, CPMV3}을 포함하는 컨스트럭티드 후보 순서로 상기 머지 후보 리스트의 후보 개수가 최대 개수가 될 때까지 추가될 수 있다.
또한, 예를 들어, 상기 CPMV 패턴 5가 도출된 경우, 상기 현재 블록의 머지 후보 리스트에 {CPMV1, CPMV2, CPMV3}을 포함하는 컨스트럭티드 후보, {CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보, {CPMV1, CPMV3}을 포함하는 컨스트럭티드 후보, {CPMV2, CPMV3}을 포함하는 컨스트럭티드 후보 순서로 상기 머지 후보 리스트의 후보 개수가 최대 개수가 될 때까지 추가될 수 있다.
또한, 예를 들어, 상기 CPMV 패턴 6이 도출된 경우, 상기 머지 후보 리스트에 {CPMV0, CPMV1}을 포함하는 컨스트럭티드 후보가 추가될 수 있다.
{CPMV0, CPMV1}가 컨스트럭티드 후보로 추가될 때 가용 CPMV 조합에 대한 참조 픽처가 동일한지 여부가 판단될 수 있다. 즉, {CPMV0, CPMV1}가 컨스트럭티드 후보로 추가될 때, CPMV0, CPMV1에 대한 참조 픽처가 동일한지 여부가 판단될 수 있다. 판단 결과, CPMV0, CPMV1에 대한 참조 픽처가 동일한 경우, {CPMV0, CPMV1}가 컨스트럭티드 후보로 추가될 수 있다.
또한, 예를 들어, 상기 CPMV 패턴 7이 도출된 경우, 상기 머지 후보 리스트에 {CPMV0, CPMV2}을 포함하는 컨스트럭티드 후보가 추가될 수 있다.
{CPMV0, CPMV2}가 컨스트럭티드 후보로 추가될 때 가용 CPMV 조합에 대한 참조 픽처가 동일한지 여부가 판단될 수 있다. 즉, {CPMV0, CPMV2}가 컨스트럭티드 후보로 추가될 때, CPMV0, CPMV2에 대한 참조 픽처가 동일한지 여부가 판단될 수 있다. 판단 결과, CPMV0, CPMV2에 대한 참조 픽처가 동일한 경우, {CPMV0, CPMV2}가 컨스트럭티드 후보로 추가될 수 있다.
또한, 예를 들어, 상기 CPMV 패턴 8이 도출된 경우, 상기 머지 후보 리스트에 {CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보가 추가될 수 있다.
또한, 예를 들어, 상기 CPMV 패턴 9가 도출된 경우, 상기 머지 후보 리스트에 {CPMV0, CPMV3}을 포함하는 컨스트럭티드 후보가 추가될 수 있다.
또한, 예를 들어, 상기 CPMV 패턴 10이 도출된 경우, 상기 머지 후보 리스트에 {CPMV0, CPMV3}을 포함하는 컨스트럭티드 후보가 추가될 수 있다.
또한, 예를 들어, 상기 CPMV 패턴 11이 도출된 경우, 상기 머지 후보 리스트에 {CPMV2, CPMV3}을 포함하는 컨스트럭티드 후보가 추가될 수 있다.
표 29의 방법에 따라 복잡도 분석을 수행하면, 표 30 내지 표 36과 같다.
Figure PCTKR2019011580-appb-T000030
표 30과 같이, 최대 컨스트럭티드 후보의 개수는 4개가 된다.
Figure PCTKR2019011580-appb-T000031
Figure PCTKR2019011580-appb-T000032
표 31은 컨스트럭티드 후보에 대한 프로세스 횟수를 나타내고, 표 32는 컨스트럭티드 후보에 대한 상세한 스캐일링 프로세스를 나타내고 있다.
표 32와 같이, CP3에 대한 움직임 벡터 후보를 구하는 가정에서는 TMVP에 대한 스캐일링 프로세스 및 리스트 0 및 리스트 1에 대한 스케일링 프로세스, 모두 2 번의 스캐일링 프로세스가 수반될 수 있다.
Figure PCTKR2019011580-appb-T000033
Figure PCTKR2019011580-appb-T000034
표 33은 계승된 후보 생성 시 수반되는 프루닝 체크 프로세스와 스캐일링 프로세스를 나타내고, 표 34는 컨스트럭티드 후보 생성 시 수반되는 여러 연산 프로세스에 대한 횟수를 나타내고 있다.
Figure PCTKR2019011580-appb-T000035
표 35는 두 개의 머지 후보를 비교할 때 수반되는 비교 동작의 횟수를 나타내고 있다. 즉, 두 개의 머지 후보를 비교할 때, CPMV에 대한 12번의 중복 체크, L0 참조 픽처 및 L1 참조 픽처 동일성에 대한 2번의 비교 동작 및 어파인 타입에 대한 1회 비교 동작이 프루닝 체크 프로세스에서 이루어질 수 있다.
Figure PCTKR2019011580-appb-T000036
표 36는 본 실시예에 따른 머지 후보 리스트 생성에 대한 프로세스 횟수를 나타낸 것으로, 컨스트럭티드 후보에 대한 복잡도는 표 6과 비교하였을 때, 덧셈 연산은 73회에서 46회로 감소했고, 시프트 연산 쇳수는 55회에서 36회로 감소했으며, 프루닝 체크 프로세스의 비교 연산은 600회에서 240회로 감소했다. 이러한 컨스트럭티드 후보에 대한 복잡도가 감소함에 따라, 전체적인 연산 복잡도가 표 36과 같이 대폭 감소한 것을 알 수 있다.
한편, 도 11과 같이 컨스트럭티드 후보를 도출하는 실시예에서 상기 CPMV 패턴 또는 상기 CPMV 패턴에 따른 가용한 컨스트럭티드 후보의 개수를 줄인 실시예가 제안될 수도 있다.
일 예로, CPMV0 및 CPMV2를 포함하는 조합 또는 CPMV1 및 CPMV2를 포함하는 조합은 고려하지 않는 방법이 제안될 수 있다.
즉, 인코딩 장치/디코딩 장치는 가용 CPMV 조합을 기반으로 CPMV 패턴을 결정하되, 상기 CPMV 패턴은 표 15의 상기 CPMV 패턴 3을 포함하지 않거나, 표 15의 상기 CPMV 패턴 4를 포함하지 않을 수 있다. 예를 들어, 가용한 컨스트럭티드 후보는 {CPMV0, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다. 또한 가용한 컨스트럭티드 후보는 {CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다.
즉, 본 실시예에 따르면 가용 CPMV 조합을 생성할 때, 현재 블록과 컨스트럭티드 후보의 참조 픽처 인덱스의 동일성 여부를 판단하여 후보를 후보 리스트에 추가하고, 특정 CPMV 조합을 배제할 수 있다. 예를 들어, 가용한 컨스트럭티드 후보는 {CPMV0, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다. 또한 가용한 컨스트럭티드 후보는 {CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다.
한편, 본 문서의 일 예에 따르면, 소정의 CVMP 패턴에 플래너 움직임 벡터 예측(planar motion vector prediction)을 고려하는 방법이 제안된다.
도 14는 본 문서의 일 실시예에 따른 플래너 움직임 벡터 예측을 도시한 도면이다.
도 14는 플래너 움직임 벡터 예측에 대한 개략도로써, 도시된 바와 같이, 플래너 움직임 벡터 예측은 4X4 블록에 대한 수직 및 수평 선형 보간(linear interpolation)의 평균값으로 구해질 수 있다.
현재 블록(Current 4X4 sub-block)에 대한 움직임 벡터 예측은 수학식 8과 같다.
Figure PCTKR2019011580-appb-M000008
수학식 7에서 H는 W는 현재 블록을 포함하는 코딩 블록(16X16)의 높이 및 너비를 의미한다. 도시된 바와 같이, Ph(x,y)는 현재 블록의 수평 방향에 대한 L(-1, y)와 R(W,y)의 상대적 거리에 따른 선형 보간에 의하여 도출되고, Pw(x,y)는 현재 블록의 수직 방향에 대한 A(x,-1)와 B(x,H)의 상대적 거리에 따른 선형 보간에 의하여 도출될 수 있다.
한편, 본 실시예에 따른 플래너 움직임 벡터 예측은 도 13을 참조로 설명된 컨스트럭티드 후보 생성에 적용될 수 있고, CPMV 패턴이 1인 경우, 즉 CP0 내지 CP3에 대한 참조 픽처가 모두 동일한 경우, 적용될 수 있다.
CPMV 패턴이 1인 경우 플래너 움직임 벡터 예측을 적용하면, 표 29는 표 37로 변경될 수 있다.
Figure PCTKR2019011580-appb-T000037
상기 표와 같이, CPMV 패턴이 1이 경우, 현재 블록의 머지 후보 리스트에 Planar {CPMV0, CPMV1, CPMV2, CPMV3}, {CPMV0, CPMV1, CPMV2}, {CPMV0, CPMV1, CPMV3}, {CPMV0, CPMV2, CPMV3}, {CPMV1, CPMV2, CPMV3}을 포함하는 컨스트럭티드 후보 순으로 상기 머지 후보 리스트의 후보 개수가 최대 개수가 될 때까지 추가될 수 있다.
한편, 다른 일예에 따라, 부호화 복잡도와 성능을 고려하여, 표 37에 따른 컨스트럭티드 후보는 표 38와 같이 변형될 수도 있다.
Figure PCTKR2019011580-appb-T000038
상기 표와 같이, CPMV 패턴이 1이 경우, 현재 블록의 머지 후보 리스트에 Planar {CPMV0, CPMV1, CPMV2, CPMV3}가 컨스트럭티드 후보로 추가될 수 있다.
한편, 본 문서의 다른 실시예에 따라 머지 후보 리스트를 생성할 때, 계승된 후보와 컨스트럭티드 후보를 사이에는 프루닝 체크 프로세스를 수행하지 않는 방법이 제안될 수 있다.
일반적으로 계승된 후보는 주변 블록이 어파인 블록인 경우 발생하고 컨스트럭티드 후보는 주변 블록이 어파인 블록이 아닌 경우를 가정한다. 따라서 두 후보의 특성은 차이가 있으며 이에 따라 프루닝 체크 프로세스 수행 없이 다른 후보로 가정할 수 있다.
이러한 방법은 이미 앞에서 제안한 계승된 후보 또는 컨스트럭티드 후보를 결정하는 방법과 동시에 혹은 독립적으로 사용될 수 있다.
도 15는 본 문서에 따른 인코딩 장치에 의한 영상 인코딩 방법을 개략적으로 나타낸다. 도 15에서 개시된 방법은 도 1에서 개시된 인코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 15의 S1500 내지 S1510은 상기 인코딩 장치의 예측부에 의하여 수행될 수 있고, S1520은 상기 인코딩 장치의 엔트로피 인코딩부에 의하여 수행될 수 있다. 또한, 비록 도시되지는 않았으나 상기 CPMV들을 기반으로 상기 현재 블록에 대한 예측 샘플들을 도출하는 과정은 상기 인코딩 장치의 예측부에 의하여 수행될 수 있고, 상기 현재 블록에 대한 원본 샘플과 예측 샘플을 기반으로 상기 현재 블록에 대한 레지듀얼 샘플을 도출하는 과정은 상기 인코딩 장치의 감산부에 의하여 수행될 수 있고, 상기 레지듀얼 샘플을 기반으로 상기 현재 블록에 대한 레지듀얼에 관한 정보를 생성하는 과정은 상기 인코딩 장치의 변환부에 의하여 수행될 수 있고, 상기 레지듀얼에 관한 정보를 인코딩하는 과정은 상기 인코딩 장치의 엔트로피 인코딩부에 의하여 수행될 수 있다.
인코딩 장치는 현재 블록에 대한 머지 후보 리스트(merge candidate list)를 구성한다(S1500).
인코딩 장치는 상기 현재 블록에 대한 후보들을 포함하는 머지 후보 리스트를 구성할 수 있다. 상기 후보들은 계승된 후보들(inherited affine candidates) 및 컨스트럭티드 후보들(constructed candidates)을 포함할 수 있다.
일 예로, 상기 계승된 후보들은 상기 현재 블록의 주변 블록들을 기반으로 도출될 수 있고, 상기 계승된 후보들의 최대 개수는 2일 수 있다. 예를 들어, 상기 계승된 후보들은 제1 계승된 후보 및 제2 계승된 후보를 포함할 수 있다.
구체적으로, 상기 제1 계승된 후보는 상기 현재 블록의 좌하측 코너 주변 블록(bottom-left corner neighboring block) 및 좌측 주변 블록(left neighboring block)을 포함하는 좌측 블록 그룹(left block group)을 기반으로 도출될 수 있다. 예를 들어, 상기 좌측 블록 그룹 내 주변 블록들이 제1 순서로 체크될 수 있고, 상기 제1 계승된 후보는 처음으로 체크된 어파인 움직임 모델로 코딩된 주변 블록을 기반으로 도출될 수 있다. 여기서, 상기 제1 순서는 상기 좌하측 코너 주변 블록에서 상기 좌측 주변 블록으로의 순서일 수 있다.
또한, 상기 제2 계승된 후보는 상기 현재 블록의 우상측 코너 주변 블록(top-right corner neighboring block), 상측 주변 블록(top neighboring block) 및 좌상측 코너 주변 블록(top-left corner neighboring block)을 포함하는 상측 블록 그룹(top block group)을 기반으로 도출될 수 있다. 예를 들어, 상기 상측 블록 그룹 내 주변 블록들이 제2 순서로 체크될 수 있고, 상기 제2 계승된 후보는 처음으로 체크된 어파인 움직임 모델로 코딩된 주변 블록을 기반으로 도출될 수 있다. 여기서, 상기 제2 순서는 상기 우상측 코너 주변 블록에서 상기 상측 주변 블록, 상기 좌상측 코너 주변 블록으로의 순서일 수 있다.
한편, 사이즈가 WxH 이고, 상기 현재 블록의 좌상단(top-left) 샘플 포지션의 x성분이 0 및 y성분이 0인 경우, 상기 좌하측 코너 주변 블록은 (-1, H) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 좌측 주변 블록은 (-1, H-1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 우상측 코너 주변 블록은 (W, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 상측 주변 블록은 (W-1, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 좌상측 코너 주변 블록은 (-1, -1) 좌표의 샘플을 포함하는 블록일 수 있다. 즉, 상기 좌측 주변 블록은 상기 현재 블록의 좌측 주변 블록들 중 가장 하측에 위치하는 좌측 주변 블록일 수 있고, 상기 상측 주변 블록은 상기 현재 블록의 상측 주변 블록들 중 가장 좌측에 위치하는 상측 주변 블록일 수 있다.
또는, 일 예로, 상기 계승된 후보는 상기 현재 블록의 주변 블록을 기반으로 도출될 수 있고, 상기 계승된 후보의 최대 개수는 1일 수 있다.
구체적으로, 예를 들어, 상기 주변 블록들이 특정 순서로 체크될 수 있고, 상기 계승된 후보는 처음으로 체크된 어파인 움직임 모델로 코딩된 주변 블록을 기반으로 도출될 수 있다. 여기서, 상기 주변 블록들은 상기 현재 블록의 좌측 주변 블록, 상측 주변 블록, 좌하측 코너 주변 블록, 우상측 코너 주변 블록 및 좌상측 코너 주변 블록을 포함할 수 있다. 또한, 상기 특정 순서는 상기 좌측 주변 블록에서 상기 상측 주변 블록, 상기 좌하측 코너 주변 블록, 상기 우상측 코너 주변 블록, 상기 좌상측 코너 주변 블록으로의 순서일 수 있다.
한편, 사이즈가 WxH 이고, 상기 현재 블록의 좌상단(top-left) 샘플 포지션의 x성분이 0 및 y성분이 0인 경우, 상기 좌하측 코너 주변 블록은 (-1, H) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 좌측 주변 블록은 (-1, H-1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 우상측 코너 주변 블록은 (W, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 상측 주변 블록은 (W-1, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 좌상측 코너 주변 블록은 (-1, -1) 좌표의 샘플을 포함하는 블록일 수 있다. 즉, 상기 좌측 주변 블록은 상기 현재 블록의 좌측 주변 블록들 중 가장 하측에 위치하는 좌측 주변 블록일 수 있고, 상기 상측 주변 블록은 상기 현재 블록의 상측 주변 블록들 중 가장 좌측에 위치하는 상측 주변 블록일 수 있다.
또는, 일 예로, 상기 계승된 후보들은 상기 현재 블록의 주변 블록들을 기반으로 도출될 수 있고, 상기 계승된 후보들의 참조 픽처 인덱스들은 서로 다른 참조 픽처를 나타낼 수 있다. 예를 들어, 상기 주변 블록들이 특정 순서로 체크될 수 있고, 어파인 움직임 모델로 코딩된 제1 주변 블록을 기반으로 제1 계승된 후보가 도출될 수 있다. 이후, 상기 특정 순서 상 상기 제1 주변 블록에 후행하는 어파인 움직임 모델로 코딩된 제2 주변 블록의 참조 픽처 인덱스가 상기 제1 주변 블록의 참조 픽처 인덱스와 다른 참조 픽처를 나타내는 경우, 상기 제2 주변 블록을 기반으로 제2 계승된 후보가 도출될 수 있다. 상기 제2 주변 블록의 참조 픽처 인덱스가 상기 제1 주변 블록의 참조 픽처 인덱스와 동일한 참조 픽처를 나타내는 경우, 상기 제2 주변 블록을 기반으로 계승된 후보가 도출되지 않을 수 있다.
또한, 일 예로, 상기 컨스트럭티드 후보들은 상기 현재 블록의 주변 블록들을 기반으로 도출될 수 있다.
예를 들어, 상기 주변 블록들을 기반으로 상기 현재 블록의 CP(Control Point)들에 대한 후보 움직임 벡터들이 도출될 수 있다. 여기서, 상기 CP들은 CP0, CP1, CP2 및 CP3를 포함할 수 있다. 상기 CP0은 상기 현재 블록의 좌상단 위치를 나타낼 수 있고, 상기 CP1은 상기 현재 블록의 우상단 위치를 나타낼 수 있고, 상기 CP2는 상기 현재 블록의 좌하단 위치를 나타낼 수 있고, CP3는 상기 현재 블록의 우하단 위치를 나타낼 수 있다.
또한, 상기 주변 블록들은 상기 현재 블록의 주변 블록 A, 주변 블록 B, 주변 블록 C, 주변 블록 D, 주변 블록 E, 주변 블록 F, 주변 블록 G, 주변 블록 T를 포함할 수 있다. 상기 현재 블록의 사이즈가 WxH 이고, 상기 현재 블록의 좌상단(top-left) 샘플 포지션의 x성분이 0 및 y성분이 0인 경우, 상기 주변 블록 A는 (-1, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 주변 블록 B는 (0, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 주변 블록 C는 (-1, 0) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 주변 블록 D는 (W-1, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 주변 블록 E는 (W, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 주변 블록 F는 (-1, H-1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 주변 블록 G는 (-1, H) 좌표의 샘플을 포함하는 블록일 수 있다. 즉, 상기 주변 블록 A는 상기 현재 블록의 좌상측 코너 주변 블록일 수 있고, 상기 주변 블록 B는 상기 현재 블록의 상측 주변 블록들 중 가장 좌측에 위치하는 상측 주변 블록일 수 있고, 상기 주변 블록 C는 상기 현재 블록의 좌측 주변 블록들 중 가장 상측에 위치하는 좌측 주변 블록일 수 있고, 상기 주변 블록 D는 상기 현재 블록의 상측 주변 블록들 중 가장 우측에 위치하는 상측 주변 블록일 수 있고, 상기 주변 블록 E는 상기 현재 블록의 우상측 코너 주변 블록일 수 있고, 상기 주변 블록 F는 상기 현재 블록의 좌측 주변 블록들 중 가장 하측에 위치하는 좌측 주변 블록일 수 있고, 상기 주변 블록 G는 상기 현재 블록의 좌하측 코너 주변 블록일 수 있다. 상기 주변 블록 T는 상기 현재 블록의 우하측 코너 주변 블록일 수 있다.
구체적으로, 예를 들어, 제1 그룹 내 주변 블록들은 제1 순서로 가용한지 체크될 수 있고, 처음으로 가용하다고 확인된 제1 주변 블록의 움직임 벡터는 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있다. 즉, 상기 CP0에 대한 후보 움직임 벡터는 제1 그룹 내 주변 블록들을 제1 순서로 가용한지 체크하여 처음으로 가용하다고 확인된 제1 주변 블록의 움직임 벡터로 도출될 수 있다. 상기 가용함은 상기 주변 블록이 인터 예측으로 코딩됨을 나타낼 수 있다. 즉, 가용한 주변 블록은 인터 예측이 적용된 블록일 수 있다. 여기서, 예를 들어, 상기 제1 그룹은 상기 주변 블록 A, 상기 주변 블록 B 및 상기 주변 블록 C를 포함할 수 있다. 상기 제1 순서는 상기 제1 그룹 내 상기 주변 블록 A에서 상기 주변 블록 B, 상기 주변 블록 C로의 순서일 수 있다. 일 예로, 상기 주변 블록 A가 가용한 경우, 상기 주변 블록 A의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 A가 가용하지 않고, 상기 주변 블록 B가 가용한 경우, 상기 주변 블록 B의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 A 및 상기 주변 블록 B가 가용하지 않고, 상기 주변 블록 C가 가용한 경우, 상기 주변 블록 C의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있다.
또한, 예를 들어, 제2 그룹 내 주변 블록들은 제2 순서로 가용한지 체크될 수 있고, 처음으로 가용하다고 확인된 제2 주변 블록의 움직임 벡터는 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있다. 즉, 상기 CP0에 대한 후보 움직임 벡터는 제2 그룹 내 주변 블록들을 제2 순서로 가용한지 체크하여 처음으로 가용하다고 확인된 제2 주변 블록의 움직임 벡터로 도출될 수 있다. 상기 가용함은 상기 주변 블록이 인터 예측으로 코딩됨을 나타낼 수 있다. 즉, 가용한 주변 블록은 인터 예측이 적용된 블록일 수 있다. 여기서, 상기 제2 그룹은 상기 주변 블록 D 및 상기 주변 블록 E를 포함할 수 있다. 상기 제2 순서는 상기 제2 그룹 내 상기 주변 블록 D에서 상기 주변 블록 E로의 순서일 수 있다. 일 예로, 상기 주변 블록 D가 가용한 경우, 상기 주변 블록 D의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 D가 가용하지 않고, 상기 주변 블록 E가 가용한 경우, 상기 주변 블록 E의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있다.
또한, 예를 들어, 제3 그룹 내 주변 블록들은 제3 순서로 가용한지 체크될 수 있고, 처음으로 가용하다고 확인된 제3 주변 블록의 움직임 벡터는 상기 CP1에 대한 후보 움직임 벡터로 도출될 수 있다. 즉, 상기 CP1에 대한 후보 움직임 벡터는 제3 그룹 내 주변 블록들을 제3 순서로 가용한지 체크하여 처음으로 가용하다고 확인된 제3 주변 블록의 움직임 벡터로 도출될 수 있다. 상기 가용함은 상기 주변 블록이 인터 예측으로 코딩됨을 나타낼 수 있다. 즉, 가용한 주변 블록은 인터 예측이 적용된 블록일 수 있다. 여기서, 상기 제3 그룹은 상기 주변 블록 F 및 상기 주변 블록 G를 포함할 수 있다. 상기 제3 순서는 상기 제3 그룹 내 상기 주변 블록 F에서 상기 주변 블록 G로의 순서일 수 있다. 일 예로, 상기 주변 블록 F가 가용한 경우, 상기 주변 블록 F의 움직임 벡터가 상기 CP1에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 F가 가용하지 않고, 상기 주변 블록 G가 가용한 경우, 상기 주변 블록 G의 움직임 벡터가 상기 CP1에 대한 후보 움직임 벡터로 도출될 수 있다.
또한, 예를 들어, 인코딩 장치/디코딩 장치는 상기 시간적 주변 블록(즉, 상기 주변 블록 T) 이 가용한지 체크할 수 있고, 상기 시간적 주변 블록(즉, 상기 주변 블록 T)이 가용한 경우, 상기 시간적 주변 블록(즉, 상기 주변 블록 T)의 움직임 벡터를 상기 CP3에 대한 후보 움직임 벡터로 도출할 수 있다.
이후, 상기 CP들의 후보 움직임 벡터들을 기반으로 상기 컨스트럭티드 후보들이 도출될 수 있다.
컨스트럭티드 후보들은 제1 그룹 내 제1 주변 블록, 제2 그룹 내 제2 주변 블록, 제3 그룹 내 제3 주변 블록 및 제4 주변 블록 중 적어도 두 이상의 조합을 기반으로 도출되고, 조합을 이루는 제1 주변 블록, 제2 주변 블록, 제3 주변 블록 및 제4 주변 블록은 동일한 참조 픽처 인덱스를 갖는다. 참조 픽처 인덱스가 갖다는 것은 해당 주변 블록에 대한 참조 픽처가 동일한 것을 의미한다.
예를 들어, 상기 제1 주변 블록에 대한 참조 픽처, 상기 제2 주변 블록에 대한 참조 픽처 및 상기 제3 주변 블록에 대한 참조 픽처가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 CP0에 대한 후보 움직임 벡터, 상기 CP1에 대한 후보 움직임 벡터 및 상기 CP2에 대한 후보 움직임 벡터를 포함하는 제1 컨스트럭티드 후보를 포함할 수 있다.
또는, 예를 들어, 상기 제1 주변 블록에 대한 참조 픽처, 상기 제2 주변 블록에 대한 참조 픽처 및 상기 제3 주변 블록에 대한 참조 픽처가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 제1 컨스트럭티드 후보와, 상기 CP0에 대한 후보 움직임 벡터 및 상기 CP1에 대한 후보 움직임 벡터를 포함하는 제2 컨스트럭티드 후보를 포함할 수 있다.
또는, 예를 들어, 상기 제1 주변 블록에 대한 참조 픽처, 상기 제2 주변 블록에 대한 참조 픽처 및 상기 제3 주변 블록에 대한 참조 픽처가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 제1 컨스트럭티드 후보 및 상기 제2 컨스트럭티드 후보와, 상기 CP0에 대한 후보 움직임 벡터 및 상기 CP2에 대한 후보 움직임 벡터를 포함하는 제3 컨스트럭티드 후보를 포함할 수 있다.
또는, 예를 들어, 상기 제1 주변 블록에 대한 참조 픽처, 상기 제2 주변 블록에 대한 참조 픽처 및 상기 제3 주변 블록에 대한 참조 픽처가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 제1 컨스트럭티드 후보, 상기 제2 컨스트럭티드 후보 및 상기 제3 컨스트럭티드 후보와, 상기 CP1에 대한 후보 움직임 벡터 및 상기 CP2에 대한 후보 움직임 벡터를 포함하는 제4 컨스트럭티드 후보를 포함할 수 있다.
또한, 예를 들어, 상기 제1 주변 블록에 대한 참조 픽처 및 상기 제2 주변 블록에 대한 참조 픽처가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 CP0에 대한 후보 움직임 벡터 및 상기 CP1에 대한 후보 움직임 벡터를 포함하는 상기 제2 컨스트럭티드 후보를 포함할 수 있다.
또한, 예를 들어, 상기 제1 주변 블록에 대한 참조 픽처 및 상기 제3 주변 블록에 대한 참조 픽처가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 CP0에 대한 후보 움직임 벡터 및 상기 CP2에 대한 후보 움직임 벡터를 포함하는 상기 제3 컨스트럭티드 후보를 포함할 수 있다.
또한, 예를 들어, 상기 제2 주변 블록에 대한 참조 픽처 및 상기 제3 주변 블록에 대한 참조 픽처가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 CP1에 대한 후보 움직임 벡터 및 상기 CP2에 대한 후보 움직임 벡터를 포함하는 상기 제4 컨스트럭티드 후보를 포함할 수 있다.
한편, 상기와 같이 컨스트럭티드 후보를 도출하는 과정에서 CPMV0 및 CPMV2를 포함하는 조합 또는 CPMV1 및 CPMV2를 포함하는 조합은 고려하지 않는 방법이 제안될 수 있다.
즉, 인코딩 장치/디코딩 장치는 가용 CPMV 조합을 기반으로 CPMV 패턴을 결정하되, 상기 CPMV 패턴은 표 15의 상기 CPMV 패턴 3을 포함하지 않거나, 표 15의 상기 CPMV 패턴 4를 포함하지 않을 수 있다. 예를 들어, 가용한 컨스트럭티드 후보는 {CPMV0, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다. 또한 가용한 컨스트럭티드 후보는 {CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다..
즉, 본 실시예에 따르면 가용 CPMV 조합을 생성할 때, 현재 블록과 컨스트럭티드 후보의 참조 픽처 인덱스의 동일성 여부를 판단하여 후보를 후보 리스트에 추가하고, 특정 CPMV 조합을 배제할 수 있다. 예를 들어, 가용한 컨스트럭티드 후보는 {CPMV0, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다. 또한 가용한 컨스트럭티드 후보는 {CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다.
한편, 상술한 과정을 통하여 도출된 머지 후보들(즉, 계승된 후보들 및/또는 컨스트럭티드 후보들)의 개수가 최대 후보 개수보다 작은 경우, 상기 머지 후보 리스트는 제로 후보(zero candidate)를 포함할 수 있다. 예를 들어, 상기 제로 후보는 값이 0 인 후보 움직임 벡터들 및 참조 픽처 인덱스를 포함할 수 있다.
또한, 상기 계승된 후보들 및 컨스트럭티드 후보들의 개수가 상기 머지 후보 리스트의 최대 후보 개수보다 작은 경우, 즉, 상기 도출된 머지 후보들의 개수가 상기 최대 후보 개수보다 작은 경우, 상기 머지 후보 리스트는 제로 후보를 포함할 수 있다. 상기 제로 후보는 상기 CP들에 대한 값이 0 인 후보 움직임 벡터들 및 값이 0인 참조 픽처 인덱스를 포함할 수 있다.
또는, 예를 들어, 상기 도출된 머지 후보들의 개수가 최대 후보 개수보다 작은 경우, 상기 머지 후보 리스트의 머지 후보들의 개수가 상기 최대 후보 개수가 될 때까지 상기 머지 후보 리스트에 제1 제로 후보, 제2 제로 후보, 제3 제로 후보 ... 제n 제로 후보 순으로 추가될 수 있다. 예를 들어, 상기 제1 제로 후보는 값이 0 인 후보 움직임 벡터들 및 값이 0인 L0(list 0) 참조 픽처 인덱스 및 L1(list 1) 참조 픽처 인덱스를 포함할 수 있고, 상기 제2 제로 후보는 값이 0 인 후보 움직임 벡터들, 값이 0인 L0 참조 픽처 인덱스 및 값이 1인 L1 참조 픽처 인덱스를 포함할 수 있고, 상기 제3 제로 후보는 값이 0 인 후보 움직임 벡터들, 값이 1인 L0 참조 픽처 인덱스 및 값이 0인 L1 참조 픽처 인덱스를 포함할 수 있고, 상기 제4 제로 후보는 값이 0 인 후보 움직임 벡터들, 값이 1인 L0 참조 픽처 인덱스 및 값이 1인 L1 참조 픽처 인덱스를 포함할 수 있다. 또는, 예를 들어, 상기 주변 블록 A, 상기 주변 블록 B, 상기 주변 블록 C, 상기 주변 블록 D, 상기 주변 블록 E, 상기 주변 블록 F, 상기 주변 블록 G 의 참조 픽처 인덱스들이 빈도수가 높은 순으로 상기 제1 제로 후보 내지 상기 제n 제로 후보에 포함될 수 있다. 또는, 예를 들어, 상기 제1 제로 후보는 값이 0 인 후보 움직임 벡터들 및 상기 현재 블록의 상기 좌측 주변 블록의 참조 픽처 인덱스와 동일한 값의 참조 픽처 인덱스를 포함할 수 있고, 상기 제2 제로 후보는 값이 0 인 후보 움직임 벡터들 및 상기 현재 블록의 상기 상측 주변 블록의 참조 픽처 인덱스와 동일한 값의 참조 픽처 인덱스를 포함할 수 있고, 상기 제3 제로 후보는 값이 0 인 후보 움직임 벡터들 및 상기 현재 블록의 상기 좌하측 코너 주변 블록의 참조 픽처 인덱스와 동일한 값의 참조 픽처 인덱스를 포함할 수 있고, 상기 제4 제로 후보는 값이 0 인 후보 움직임 벡터들 및 상기 현재 블록의 상기 우상측 코너 주변 블록의 참조 픽처 인덱스와 동일한 값의 참조 픽처 인덱스를 포함할 수 있고, 제5 제로 후보는 값이 0 인 후보 움직임 벡터들 및 상기 현재 블록의 상기 좌상측 코너 주변 블록의 참조 픽처 인덱스와 동일한 값의 참조 픽처 인덱스를 포함할 수 있다.
인코딩 장치는 상기 머지 후보 리스트를 기반으로 상기 현재 블록의 CP(Control Point)들에 대한 CPMV들(Control Point Motion Vectors)을 도출한다(S1510).
인코딩 장치는 최적의 RD 코스트를 갖는 상기 현재 블록의 상기 CP들에 대한 CPMV들을 도출할 수 있고, 상기 머지 후보 리스트의 후보들 중 상기 CPMV들과 가장 유사한 머지 후보를 상기 현재 블록에 대한 머지 후보로 선택할 수 있다. 인코딩 장치는 상기 머지 후보 리스트에 포함된 상기 머지 후보들 중 상기 선택된 머지 후보를 기반으로 상기 현재 블록의 CP(Control Point)들에 대한 CPMV들(Control Point Motion Vectors)을 도출할 수 있다.
구체적으로, 상기 선택된 머지 후보가 CP0 에 대한 후보 움직임 벡터 및 CP1에 대한 후보 움직임 벡터를 포함하는 경우, 상기 머지 후보의 CP0에 대한 후보 움직임 벡터는 상기 CP0의 CPMV로 도출될 수 있고, 상기 머지 후보의 CP1에 대한 후보 움직임 벡터는 상기 CP1의 CPMV 로 도출될 수 있다.
또한, 상기 선택된 머지 후보가 CP0 에 대한 후보 움직임 벡터, CP1에 대한 후보 움직임 벡터 및 CP2에 대한 후보 움직임 벡터를 포함하는 경우, 상기 머지 후보의 CP0에 대한 후보 움직임 벡터는 상기 CP0의 CPMV 로 도출될 수 있고, 상기 머지 후보의 CP1 에 대한 후보 움직임 벡터는 상기 CP1의 CPMV 로 도출될 수 있고, 상기 머지 후보의 CP2에 대한 후보 움직임 벡터는 상기 CP2의 CPMV 로 도출될 수 있다.
또한, 상기 선택된 머지 후보가 CP0 에 대한 후보 움직임 벡터, CP1에 대한 후보 움직임 벡터 및 CP3에 대한 후보 움직임 벡터를 포함하는 경우, 상기 머지 후보의 CP0에 대한 후보 움직임 벡터는 상기 CP0의 CPMV 로 도출될 수 있고, 상기 머지 후보의 CP1 에 대한 후보 움직임 벡터는 상기 CP1의 CPMV 로 도출될 수 있고, 상기 머지 후보의 CP3에 대한 후보 움직임 벡터는 상기 CP3의 CPMV 로 도출될 수 있다.
또한, 상기 선택된 머지 후보가 CP1 에 대한 후보 움직임 벡터 및 CP2에 대한 후보 움직임 벡터를 포함하는 경우, 상기 머지 후보의 CP1에 대한 후보 움직임 벡터는 상기 CP1의 CPMV 로 도출될 수 있고, 상기 머지 후보의 CP2에 대한 후보 움직임 벡터는 상기 CP1의 CPMV 로 도출될 수 있다.
인코딩 장치는 상기 머지 후보들 중 상기 선택된 머지 후보를 가리키는 머지 후보 인덱스를 인코딩할 수 있다. 상기 머지 후보 인덱스는 상기 현재 블록에 대한 머지 후보 리스트에 포함된 머지 후보들 중 상기 하나의 머지 후보를 가리킬 수 있다.
인코딩 장치는 상기 현재 블록에 대한 예측 정보(prediction information)를 포함하는 영상 정보를 인코딩한다(S1520).
인코딩 장치는 상기 현재 블록에 대한 정보를 포함하는 영상 정보를 비트스트림 형태로 출력할 수 있다. 인코딩 장치는 상기 영상 정보를 인코딩할 수 있고, 상기 영상 정보는 상기 현재 블록에 대한 예측 정보를 포함할 수 있고, 상기 예측 정보는 상기 머지 후보 인덱스를 포함할 수 있다.
상술한 내용과 같이, 상기 머지 후보 인덱스는 상기 현재 블록에 대한 머지 후보 리스트에 포함된 머지 후보들 중 상기 선택된 머지 후보를 가리킬 수 있다.
한편, 일 예로, 인코딩 장치는 상기 CPMV들을 기반으로 상기 현재 블록에 대한 예측 샘플들을 도출할 수 있고, 상기 현재 블록에 대한 원본 샘플과 예측 샘플을 기반으로 상기 현재 블록에 대한 레지듀얼 샘플을 도출할 수 있고, 상기 레지듀얼 샘플을 기반으로 상기 현재 블록에 대한 레지듀얼에 관한 정보를 생성할 수 있고, 상기 레지듀얼에 관한 정보를 인코딩할 수 있다. 상기 영상 정보는 상기 레지듀얼에 관한 정보를 포함할 수 있다.
한편, 상기 비트스트림은 네트워크 또는 (디지털) 저장매체를 통하여 디코딩 장치로 전송될 수 있다. 여기서 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다.
도 16은 본 문서에 따른 영상 인코딩 방법을 수행하는 인코딩 장치를 개략적으로 나타낸다. 도 15에서 개시된 방법은 도 16에서 개시된 인코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 16의 상기 인코딩 장치의 예측부는 도 15의 S1500 내지 S1510을 수행할 수 있고, 도 16의 상기 인코딩 장치의 엔트로피 인코딩부는 도 15의 S1520을 수행할 수 있다. 또한, 비록 도시되지는 않았으나 상기 CPMV들을 기반으로 상기 현재 블록에 대한 예측 샘플들을 도출하는 과정은 도 1의 인코딩 장치의 예측부에 의하여 수행될 수 있고, 상기 현재 블록에 대한 원본 샘플과 예측 샘플을 기반으로 상기 현재 블록에 대한 레지듀얼 샘플을 도출하는 과정은 도 16의 상기 인코딩 장치의 감산부에 의하여 수행될 수 있고, 상기 레지듀얼 샘플을 기반으로 상기 현재 블록에 대한 레지듀얼에 관한 정보를 생성하는 과정은 도 16의 상기 인코딩 장치의 변환부에 의하여 수행될 수 있고, 상기 레지듀얼에 관한 정보를 인코딩하는 과정은 도 16의 상기 인코딩 장치의 엔트로피 인코딩부에 의하여 수행될 수 있다.
도 17는 본 문서에 따른 디코딩 장치에 의한 영상 디코딩 방법을 개략적으로 나타낸다. 도 17에서 개시된 방법은 도 2에서 개시된 디코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 17의 S1700 내지 S1720은 상기 디코딩 장치의 예측부에 의하여 수행될 수 있고, S1730은 상기 디코딩 장치의 가산부에 의하여 수행될 수 있다. 또한, 비록 도시되지는 않았으나 비트스트림을 통하여 현재 블록의 레지듀얼에 관한 정보 및/또는 예측 정보를 포함하는 영상 정보를 획득하는 과정은 상기 디코딩 장치의 엔트로피 디코딩부에 의하여 수행될 수 있고, 상기 레지듀얼에 관한 정보를 기반으로 상기 현재 블록에 대한 상기 레지듀얼 샘플을 도출하는 과정은 상기 디코딩 장치의 역변환부에 의하여 수행될 수 있다.
디코딩 장치는 현재 블록에 대한 머지 후보 리스트(affine merge candidate list)를 구성한다(S1700).
디코딩 장치는 상기 현재 블록에 대한 후보들을 포함하는 머지 후보 리스트를 구성할 수 있다. 상기 후보들은 계승된 후보들(inherited candidates) 및 컨스트럭티드 후보들(constructed candidates)을 포함할 수 있다.
일 예로, 상기 계승된 후보들은 상기 현재 블록의 주변 블록들을 기반으로 도출될 수 있고, 상기 계승된 후보들의 최대 개수는 2일 수 있다. 예를 들어, 상기 계승된 후보들은 제1 계승된 후보 및 제2 계승된 후보를 포함할 수 있다.
구체적으로, 상기 제1 계승된 후보는 상기 현재 블록의 좌하측 코너 주변 블록(bottom-left corner neighboring block) 및 좌측 주변 블록(left neighboring block)을 포함하는 좌측 블록 그룹(left block group)을 기반으로 도출될 수 있다. 예를 들어, 상기 좌측 블록 그룹 내 주변 블록들이 제1 순서로 체크될 수 있고, 상기 제1 계승된 후보는 처음으로 체크된 어파인 움직임 모델로 코딩된 주변 블록을 기반으로 도출될 수 있다. 여기서, 상기 제1 순서는 상기 좌하측 코너 주변 블록에서 상기 좌측 주변 블록으로의 순서일 수 있다.
또한, 상기 제2 계승된 후보는 상기 현재 블록의 우상측 코너 주변 블록(top-right corner neighboring block), 상측 주변 블록(top neighboring block) 및 좌상측 코너 주변 블록(top-left corner neighboring block)을 포함하는 상측 블록 그룹(top block group)을 기반으로 도출될 수 있다. 예를 들어, 상기 상측 블록 그룹 내 주변 블록들이 제2 순서로 체크될 수 있고, 상기 제2 계승된 후보는 처음으로 체크된 어파인 움직임 모델로 코딩된 주변 블록을 기반으로 도출될 수 있다. 여기서, 상기 제2 순서는 상기 우상측 코너 주변 블록에서 상기 상측 주변 블록, 상기 좌상측 코너 주변 블록으로의 순서일 수 있다.
한편, 사이즈가 WxH 이고, 상기 현재 블록의 좌상단(top-left) 샘플 포지션의 x성분이 0 및 y성분이 0인 경우, 상기 좌하측 코너 주변 블록은 (-1, H) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 좌측 주변 블록은 (-1, H-1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 우상측 코너 주변 블록은 (W, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 상측 주변 블록은 (W-1, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 좌상측 코너 주변 블록은 (-1, -1) 좌표의 샘플을 포함하는 블록일 수 있다. 즉, 상기 좌측 주변 블록은 상기 현재 블록의 좌측 주변 블록들 중 가장 하측에 위치하는 좌측 주변 블록일 수 있고, 상기 상측 주변 블록은 상기 현재 블록의 상측 주변 블록들 중 가장 좌측에 위치하는 상측 주변 블록일 수 있다.
또는, 일 예로, 상기 계승된 후보는 상기 현재 블록의 주변 블록을 기반으로 도출될 수 있고, 상기 계승된 후보의 최대 개수는 1일 수 있다.
구체적으로, 예를 들어, 상기 주변 블록들이 특정 순서로 체크될 수 있고, 상기 계승된 후보는 처음으로 체크된 어파인 움직임 모델로 코딩된 주변 블록을 기반으로 도출될 수 있다. 여기서, 상기 주변 블록들은 상기 현재 블록의 좌측 주변 블록, 상측 주변 블록, 좌하측 코너 주변 블록, 우상측 코너 주변 블록 및 좌상측 코너 주변 블록을 포함할 수 있다. 또한, 상기 특정 순서는 상기 좌측 주변 블록에서 상기 상측 주변 블록, 상기 좌하측 코너 주변 블록, 상기 우상측 코너 주변 블록, 상기 좌상측 코너 주변 블록으로의 순서일 수 있다.
한편, 사이즈가 WxH 이고, 상기 현재 블록의 좌상단(top-left) 샘플 포지션의 x성분이 0 및 y성분이 0인 경우, 상기 좌하측 코너 주변 블록은 (-1, H) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 좌측 주변 블록은 (-1, H-1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 우상측 코너 주변 블록은 (W, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 상측 주변 블록은 (W-1, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 좌상측 코너 주변 블록은 (-1, -1) 좌표의 샘플을 포함하는 블록일 수 있다. 즉, 상기 좌측 주변 블록은 상기 현재 블록의 좌측 주변 블록들 중 가장 하측에 위치하는 좌측 주변 블록일 수 있고, 상기 상측 주변 블록은 상기 현재 블록의 상측 주변 블록들 중 가장 좌측에 위치하는 상측 주변 블록일 수 있다.
또는, 일 예로, 상기 계승된 후보들은 상기 현재 블록의 주변 블록들을 기반으로 도출될 수 있고, 상기 계승된 후보들의 참조 픽처 인덱스들은 서로 다른 참조 픽처를 나타낼 수 있다. 예를 들어, 상기 주변 블록들이 특정 순서로 체크될 수 있고, 어파인 움직임 모델로 코딩된 제1 주변 블록을 기반으로 제1 계승된 후보가 도출될 수 있다. 이후, 상기 특정 순서 상 상기 제1 주변 블록에 후행하는 어파인 움직임 모델로 코딩된 제2 주변 블록의 참조 픽처 인덱스가 상기 제1 주변 블록의 참조 픽처 인덱스와 다른 참조 픽처를 나타내는 경우, 상기 제2 주변 블록을 기반으로 제2 계승된 후보가 도출될 수 있다. 상기 제2 주변 블록의 참조 픽처 인덱스가 상기 제1 주변 블록의 참조 픽처 인덱스와 동일한 참조 픽처를 나타내는 경우, 상기 제2 주변 블록을 기반으로 계승된 후보가 도출되지 않을 수 있다.
또한, 일 예로, 상기 컨스트럭티드 후보들은 상기 현재 블록의 주변 블록들을 기반으로 도출될 수 있다.
예를 들어, 상기 주변 블록들을 기반으로 상기 현재 블록의 CP(Control Point)들에 대한 후보 움직임 벡터들이 도출될 수 있다. 여기서, 상기 CP들은 CP0, CP1, CP2 및 CP3를 포함할 수 있다. 상기 CP0은 상기 현재 블록의 좌상단 위치를 나타낼 수 있고, 상기 CP1은 상기 현재 블록의 우상단 위치를 나타낼 수 있고, 상기 CP2는 상기 현재 블록의 좌하단 위치를 나타낼 수 있고, CP3는 상기 현재 블록의 우하단 위치를 나타낼 수 있다.
또한, 상기 주변 블록들은 상기 현재 블록의 주변 블록 A, 주변 블록 B, 주변 블록 C, 주변 블록 D, 주변 블록 E, 주변 블록 F 및 주변 블록 G를 포함할 수 있다. 상기 현재 블록의 사이즈가 WxH 이고, 상기 현재 블록의 좌상단(top-left) 샘플 포지션의 x성분이 0 및 y성분이 0인 경우, 상기 주변 블록 A는 (-1, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 주변 블록 B는 (0, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 주변 블록 C는 (-1, 0) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 주변 블록 D는 (W-1, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 주변 블록 E는 (W, -1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 주변 블록 F는 (-1, H-1) 좌표의 샘플을 포함하는 블록일 수 있고, 상기 주변 블록 G는 (-1, H) 좌표의 샘플을 포함하는 블록일 수 있다. 즉, 상기 주변 블록 A는 상기 현재 블록의 좌상측 코너 주변 블록일 수 있고, 상기 주변 블록 B는 상기 현재 블록의 상측 주변 블록들 중 가장 좌측에 위치하는 상측 주변 블록일 수 있고, 상기 주변 블록 C는 상기 현재 블록의 좌측 주변 블록들 중 가장 상측에 위치하는 좌측 주변 블록일 수 있고, 상기 주변 블록 D는 상기 현재 블록의 상측 주변 블록들 중 가장 우측에 위치하는 상측 주변 블록일 수 있고, 상기 주변 블록 E는 상기 현재 블록의 우상측 코너 주변 블록일 수 있고, 상기 주변 블록 F는 상기 현재 블록의 좌측 주변 블록들 중 가장 하측에 위치하는 좌측 주변 블록일 수 있고, 상기 주변 블록 G는 상기 현재 블록의 좌하측 코너 주변 블록일 수 있다. 상기 주변 블록 T는 상기 현재 블록의 우하측 코너 주변 블록일 수 있다.
구체적으로, 예를 들어, 제1 그룹 내 주변 블록들은 제1 순서로 가용한지 체크될 수 있고, 처음으로 가용하다고 확인된 제1 주변 블록의 움직임 벡터는 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있다. 즉, 상기 CP0에 대한 후보 움직임 벡터는 제1 그룹 내 주변 블록들을 제1 순서로 가용한지 체크하여 처음으로 가용하다고 확인된 제1 주변 블록의 움직임 벡터로 도출될 수 있다. 상기 가용함은 상기 주변 블록이 인터 예측으로 코딩됨을 나타낼 수 있다. 즉, 가용한 주변 블록은 인터 예측이 적용된 블록일 수 있다. 여기서, 예를 들어, 상기 제1 그룹은 상기 주변 블록 A, 상기 주변 블록 B 및 상기 주변 블록 C를 포함할 수 있다. 상기 제1 순서는 상기 제1 그룹 내 상기 주변 블록 A에서 상기 주변 블록 B, 상기 주변 블록 C로의 순서일 수 있다. 일 예로, 상기 주변 블록 A가 가용한 경우, 상기 주변 블록 A의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 A가 가용하지 않고, 상기 주변 블록 B가 가용한 경우, 상기 주변 블록 B의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 A 및 상기 주변 블록 B가 가용하지 않고, 상기 주변 블록 C가 가용한 경우, 상기 주변 블록 C의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있다.
또한, 예를 들어, 제2 그룹 내 주변 블록들은 제2 순서로 가용한지 체크될 수 있고, 처음으로 가용하다고 확인된 제2 주변 블록의 움직임 벡터는 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있다. 즉, 상기 CP0에 대한 후보 움직임 벡터는 제2 그룹 내 주변 블록들을 제2 순서로 가용한지 체크하여 처음으로 가용하다고 확인된 제2 주변 블록의 움직임 벡터로 도출될 수 있다. 상기 가용함은 상기 주변 블록이 인터 예측으로 코딩됨을 나타낼 수 있다. 즉, 가용한 주변 블록은 인터 예측이 적용된 블록일 수 있다. 여기서, 상기 제2 그룹은 상기 주변 블록 D 및 상기 주변 블록 E를 포함할 수 있다. 상기 제2 순서는 상기 제2 그룹 내 상기 주변 블록 D에서 상기 주변 블록 E로의 순서일 수 있다. 일 예로, 상기 주변 블록 D가 가용한 경우, 상기 주변 블록 D의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 D가 가용하지 않고, 상기 주변 블록 E가 가용한 경우, 상기 주변 블록 E의 움직임 벡터가 상기 CP0에 대한 후보 움직임 벡터로 도출될 수 있다.
또한, 예를 들어, 제3 그룹 내 주변 블록들은 제3 순서로 가용한지 체크될 수 있고, 처음으로 가용하다고 확인된 제3 주변 블록의 움직임 벡터는 상기 CP1에 대한 후보 움직임 벡터로 도출될 수 있다. 즉, 상기 CP1에 대한 후보 움직임 벡터는 제3 그룹 내 주변 블록들을 제3 순서로 가용한지 체크하여 처음으로 가용하다고 확인된 제3 주변 블록의 움직임 벡터로 도출될 수 있다. 상기 가용함은 상기 주변 블록이 인터 예측으로 코딩됨을 나타낼 수 있다. 즉, 가용한 주변 블록은 인터 예측이 적용된 블록일 수 있다. 여기서, 상기 제3 그룹은 상기 주변 블록 F 및 상기 주변 블록 G를 포함할 수 있다. 상기 제3 순서는 상기 제3 그룹 내 상기 주변 블록 F에서 상기 주변 블록 G로의 순서일 수 있다. 일 예로, 상기 주변 블록 F가 가용한 경우, 상기 주변 블록 F의 움직임 벡터가 상기 CP1에 대한 후보 움직임 벡터로 도출될 수 있고, 상기 주변 블록 F가 가용하지 않고, 상기 주변 블록 G가 가용한 경우, 상기 주변 블록 G의 움직임 벡터가 상기 CP1에 대한 후보 움직임 벡터로 도출될 수 있다.
또한, 예를 들어, 인코딩 장치/디코딩 장치는 상기 시간적 주변 블록(즉, 상기 주변 블록 T) 이 가용한지 체크할 수 있고, 상기 시간적 주변 블록(즉, 상기 주변 블록 T)이 가용한 경우, 상기 시간적 주변 블록(즉, 상기 주변 블록 T)의 움직임 벡터를 상기 CP3에 대한 후보 움직임 벡터로 도출할 수 있다.
이후, 상기 CP들의 후보 움직임 벡터들을 기반으로 상기 컨스트럭티드 후보들이 도출될 수 있다.
컨스트럭티드 후보들은 제1 그룹 내 제1 주변 블록, 제2 그룹 내 제2 주변 블록, 제3 그룹 내 제3 주변 블록 및 제4 주변 블록 중 적어도 두 이상의 조합을 기반으로 도출되고, 조합을 이루는 제1 주변 블록, 제2 주변 블록, 제3 주변 블록 및 제4 주변 블록은 동일한 참조 픽처 인덱스를 갖는다. 참조 픽처 인덱스가 갖다는 것은 해당 주변 블록에 대한 참조 픽처가 동일한 것을 의미한다.
예를 들어, 상기 제1 주변 블록에 대한 참조 픽처, 상기 제2 주변 블록에 대한 참조 픽처 및 상기 제3 주변 블록에 대한 참조 픽처가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 CP0에 대한 후보 움직임 벡터, 상기 CP1에 대한 후보 움직임 벡터 및 상기 CP2에 대한 후보 움직임 벡터를 포함하는 제1 컨스트럭티드 후보를 포함할 수 있다.
또는, 예를 들어, 상기 제1 주변 블록에 대한 참조 픽처, 상기 제2 주변 블록에 대한 참조 픽처 및 상기 제3 주변 블록에 대한 참조 픽처가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 제1 컨스트럭티드 후보와, 상기 CP0에 대한 후보 움직임 벡터 및 상기 CP0에 대한 후보 움직임 벡터를 포함하는 제2 컨스트럭티드 후보를 포함할 수 있다.
또는, 예를 들어, 상기 제1 주변 블록에 대한 참조 픽처, 상기 제2 주변 블록에 대한 참조 픽처 및 상기 제3 주변 블록에 대한 참조 픽처가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 제1 컨스트럭티드 후보 및 상기 제2 컨스트럭티드 후보와, 상기 CP0에 대한 후보 움직임 벡터 및 상기 CP1에 대한 후보 움직임 벡터를 포함하는 제3 컨스트럭티드 후보를 포함할 수 있다.
또는, 예를 들어, 상기 제1 주변 블록에 대한 참조 픽처, 상기 제2 주변 블록에 대한 참조 픽처 및 상기 제3 주변 블록에 대한 참조 픽처가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 제1 컨스트럭티드 후보, 상기 제2 컨스트럭티드 후보 및 상기 제3 컨스트럭티드 후보와, 상기 CP0에 대한 후보 움직임 벡터 및 상기 CP1에 대한 후보 움직임 벡터를 포함하는 제4 컨스트럭티드 후보를 포함할 수 있다.
또한, 예를 들어, 상기 제1 주변 블록에 대한 참조 픽처 및 상기 제2 주변 블록에 대한 참조 픽처가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 CP0에 대한 후보 움직임 벡터 및 상기 CP0에 대한 후보 움직임 벡터를 포함하는 상기 제2 컨스트럭티드 후보를 포함할 수 있다.
또한, 예를 들어, 상기 제1 주변 블록에 대한 참조 픽처 및 상기 제3 주변 블록에 대한 참조 픽처가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 CP0에 대한 후보 움직임 벡터 및 상기 CP1에 대한 후보 움직임 벡터를 포함하는 상기 제3 컨스트럭티드 후보를 포함할 수 있다.
또한, 예를 들어, 상기 제2 주변 블록에 대한 참조 픽처 및 상기 제3 주변 블록에 대한 참조 픽처가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 CP0에 대한 후보 움직임 벡터 및 상기 CP1에 대한 후보 움직임 벡터를 포함하는 상기 제4 컨스트럭티드 후보를 포함할 수 있다.
한편, 상기와 같이 컨스트럭티드 후보를 도출하는 과정에서 CPMV0 및 CPMV2를 포함하는 조합 또는 CPMV1 및 CPMV2를 포함하는 조합은 고려하지 않는 방법이 제안될 수 있다.
즉, 인코딩 장치/디코딩 장치는 가용 CPMV 조합을 기반으로 CPMV 패턴을 결정하되, 상기 CPMV 패턴은 표 15의 상기 CPMV 패턴 3을 포함하지 않거나, 표 15의 상기 CPMV 패턴 4를 포함하지 않을 수 있다. 예를 들어, 가용한 컨스트럭티드 후보는 {CPMV0, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다. 또한 가용한 컨스트럭티드 후보는 {CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다.
즉, 본 실시예에 따르면 가용 CPMV 조합을 생성할 때, 현재 블록과 컨스트럭티드 후보의 참조 픽처 인덱스의 동일성 여부를 판단하여 후보를 후보 리스트에 추가하고, 특정 CPMV 조합을 배제할 수 있다. 예를 들어, 가용한 컨스트럭티드 후보는 {CPMV0, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다. 또한 가용한 컨스트럭티드 후보는 {CPMV1, CPMV2}을 포함하는 컨스트럭티드 후보를 포함하지 않을 수 있다.
또한, 상기 계승된 후보들 및 컨스트럭티드 후보들의 개수가 상기 머지 후보 리스트의 최대 후보 개수보다 작은 경우, 즉, 상기 도출된 머지 후보들의 개수가 상기 최대 후보 개수보다 작은 경우, 상기 머지 후보 리스트는 제로 후보를 포함할 수 있다. 상기 제로 후보는 상기 CP들에 대한 값이 0 인 후보 움직임 벡터들 및 값이 0인 참조 픽처 인덱스를 포함할 수 있다.
또는, 예를 들어, 상기 도출된 머지 후보들의 개수가 최대 후보 개수보다 작은 경우, 상기 머지 후보 리스트의 머지 후보들의 개수가 상기 최대 후보 개수가 될 때까지 상기 머지 후보 리스트에 제1 제로 후보, 제2 제로 후보, 제3 제로 후보 ... 제n 제로 후보 순으로 추가될 수 있다. 예를 들어, 상기 제1 제로 후보는 값이 0 인 후보 움직임 벡터들 및 값이 0인 L0(list 0) 참조 픽처 인덱스 및 L1(list 1) 참조 픽처 인덱스를 포함할 수 있고, 상기 제2 제로 후보는 값이 0 인 후보 움직임 벡터들, 값이 0인 L0 참조 픽처 인덱스 및 값이 1인 L1 참조 픽처 인덱스를 포함할 수 있고, 상기 제3 제로 후보는 값이 0 인 후보 움직임 벡터들, 값이 1인 L0 참조 픽처 인덱스 및 값이 0인 L1 참조 픽처 인덱스를 포함할 수 있고, 상기 제4 제로 후보는 값이 0 인 후보 움직임 벡터들, 값이 1인 L0 참조 픽처 인덱스 및 값이 1인 L1 참조 픽처 인덱스를 포함할 수 있다. 또는, 예를 들어, 상기 주변 블록 A, 상기 주변 블록 B, 상기 주변 블록 C, 상기 주변 블록 D, 상기 주변 블록 E, 상기 주변 블록 F, 상기 주변 블록 G 의 참조 픽처 인덱스들이 빈도수가 높은 순으로 상기 제1 제로 후보 내지 상기 제n 제로 후보에 포함될 수 있다. 또는, 예를 들어, 상기 제1 제로 후보는 값이 0 인 후보 움직임 벡터들 및 상기 현재 블록의 상기 좌측 주변 블록의 참조 픽처 인덱스와 동일한 값의 참조 픽처 인덱스를 포함할 수 있고, 상기 제2 제로 후보는 값이 0 인 후보 움직임 벡터들 및 상기 현재 블록의 상기 상측 주변 블록의 참조 픽처 인덱스와 동일한 값의 참조 픽처 인덱스를 포함할 수 있고, 상기 제3 제로 후보는 값이 0 인 후보 움직임 벡터들 및 상기 현재 블록의 상기 좌하측 코너 주변 블록의 참조 픽처 인덱스와 동일한 값의 참조 픽처 인덱스를 포함할 수 있고, 상기 제4 제로 후보는 값이 0 인 후보 움직임 벡터들 및 상기 현재 블록의 상기 우상측 코너 주변 블록의 참조 픽처 인덱스와 동일한 값의 참조 픽처 인덱스를 포함할 수 있고, 제5 제로 후보는 값이 0 인 후보 움직임 벡터들 및 상기 현재 블록의 상기 좌상측 코너 주변 블록의 참조 픽처 인덱스와 동일한 값의 참조 픽처 인덱스를 포함할 수 있다.
디코딩 장치는 상기 머지 후보 리스트를 기반으로 상기 현재 블록의 CP(Control Point)들에 대한 CPMV들(Control Point Motion Vectors)을 도출한다(S1710).
디코딩 장치는 상기 머지 후보 리스트에 포함된 머지 후보들 중 하나의 머지 후보를 선택할 수 있고, 상기 선택된 머지 후보를 기반으로 상기 현재 블록의 상기 CP들에 대한 상기 CPMV들을 도출할 수 있다.
예를 들어, 디코딩 장치는 비트스트림으로부터 상기 현재 블록에 대한 머지 후보 인덱스를 획득할 수 있고, 상기 머지 후보 리스트에 포함된 상기 머지 후보들 중 상기 머지 후보 인덱스가 가리키는 머지 후보를 기반으로 상기 현재 블록의 상기 CP들에 대한 CPMV들을 도출할 수 있다. 디코딩 장치는 상기 비트스트림으로부터 영상 정보를 획득할 수 있고, 상기 영상 정보는 상기 현재 블록에 대한 예측 정보를 포함할 수 있다. 상기 예측 정보는 상기 머지 후보 인덱스를 포함할 수 있다.
구체적으로, 상기 머지 후보가 상기 CP0에 대한 후보 움직임 벡터 및 상기 CP1에 대한 후보 움직임 벡터를 포함하는 경우, 상기 머지 후보의 CP0에 대한 후보 움직임 벡터는 상기 CP0의 CPMV로 도출될 수 있고, 상기 머지 후보의 CP1에 대한 후보 움직임 벡터는 상기 CP1의 CPMV 로 도출될 수 있다.
또한, 머지 후보가 CP0 에 대한 후보 움직임 벡터, CP1에 대한 후보 움직임 벡터 및 CP2에 대한 후보 움직임 벡터를 포함하는 경우, 상기 머지 후보의 CP0 에 대한 후보 움직임 벡터는 상기 CP0의 CPMV 로 도출될 수 있고, 상기 머지 후보의 CP1에 대한 후보 움직임 벡터는 상기 CP1의 CPMV 로 도출될 수 있고, 상기 머지 후보의 CP2에 대한 후보 움직임 벡터는 상기 CP2의 CPMV 로 도출될 수 있다.
또한, 상기 선택된 머지 후보가 CP0 에 대한 후보 움직임 벡터, CP1에 대한 후보 움직임 벡터 및 CP3에 대한 후보 움직임 벡터를 포함하는 경우, 상기 머지 후보의 CP0에 대한 후보 움직임 벡터는 상기 CP0의 CPMV 로 도출될 수 있고, 상기 머지 후보의 CP1 에 대한 후보 움직임 벡터는 상기 CP1의 CPMV 로 도출될 수 있고, 상기 머지 후보의 CP3에 대한 후보 움직임 벡터는 상기 CP3의 CPMV 로 도출될 수 있다.
또한, 머지 후보가 CP0 에 대한 후보 움직임 벡터 및 CP1에 대한 후보 움직임 벡터를 포함하는 경우, 상기 머지 후보의 CP0 에 대한 후보 움직임 벡터는 상기 CP0의 CPMV 로 도출될 수 있고, 상기 머지 후보의 CP1 에 대한 후보 움직임 벡터는 상기 CP1의 CPMV 로 도출될 수 있다.
디코딩 장치는 상기 CPMV들을 기반으로 상기 현재 블록에 대한 예측 샘플들을 도출한다(S1720).
디코딩 장치는 상기 CPMV들을 기반으로 상기 현재 블록의 서브 블록 단위 또는 샘플 단위의 움직임 벡터들을 도출할 수 있다. 즉, 디코딩 장치는 상기 CPMV들을 기반으로 상기 현재 블록의 각 서브 블록 또는 각 샘플의 움직임 벡터를 도출할 수 있다. 상기 서브 블록 단위 또는 상기 샘플 단위의 움직임 벡터들은 상술한 수학식 1 또는 수학식 3을 기반으로 도출될 수 있다. 상기 움직임 벡터들은 어파인 움직임 벡터 필드(Motion Vector Field, MVF) 또는 움직임 벡터 어레이라고 나타낼 수 있다.
디코딩 장치는 상기 서브 블록 단위 또는 상기 샘플 단위의 움직임 벡터들을 기반으로 상기 현재 블록에 대한 예측 샘플들을 도출할 수 있다. 디코딩 장치는 상기 서브 블록 단위 또는 상기 샘플 단위의 움직임 벡터를 기반으로 참조 픽처 내의 참조 영역을 도출할 수 있으며, 상기 참조 영역 내의 복원된 샘플을 기반으로 상기 현재 블록의 예측 샘플을 생성할 수 있다.
디코딩 장치는 상기 도출된 예측 샘플들을 기반으로 상기 현재 블록에 대한 복원 픽처를 생성한다(S1730).
디코딩 장치는 상기 도출된 예측 샘플들을 기반으로 상기 현재 블록에 대한 복원 픽처를 생성할 수 있다. 디코딩 장치는 예측 모드에 따라 예측 샘플을 바로 복원 샘플로 이용할 수도 있고, 또는 상기 예측 샘플에 레지듀얼 샘플을 더하여 복원 샘플을 생성할 수도 있다. 디코딩 장치는 상기 현재 블록에 대한 레지듀얼 샘플이 존재하는 경우, 상기 비트스트림으로부터 상기 현재 블록에 대한 레지듀얼에 관한 정보를 포함하는 영상 정보를 획득할 수 있다. 상기 레지듀얼에 관한 정보는 상기 레지듀얼 샘플에 관한 변환 계수를 포함할 수 있다. 디코딩 장치는 상기 레지듀얼에 관한 정보를 기반으로 상기 현재 블록에 대한 상기 레지듀얼 샘플(또는 레지듀얼 샘플 어레이)을 도출할 수 있다. 디코딩 장치는 상기 예측 샘플과 상기 레지듀얼 샘플을 기반으로 복원 샘플을 생성할 수 있고, 상기 복원 샘플을 기반으로 복원 블록 또는 복원 픽처를 도출할 수 있다. 이후 디코딩 장치는 필요에 따라 주관적/객관적 화질을 향상시키기 위하여 디블록킹 필터링 및/또는 SAO 절차와 같은 인루프 필터링 절차를 상기 복원 픽처에 적용할 수 있음은 상술한 바와 같다.
도 18는 본 문서에 따른 영상 디코딩 방법을 수행하는 디코딩 장치를 개략적으로 나타낸다. 도 17에서 개시된 방법은 도 18에서 개시된 디코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 18의 상기 디코딩 장치의 예측부는 도 17의 S1700 내지 S1720을 수행할 수 있고, 도 18의 상기 디코딩 장치의 가산부는 도 17의 S1730을 수행할 수 있다. 또한, 비록 도시되지는 않았으나 비트스트림을 통하여 현재 블록의 레지듀얼에 관한 정보 및/또는 예측 정보를 포함하는 영상 정보를 획득하는 과정은 도 18의 상기 디코딩 장치의 엔트로피 디코딩부에 의하여 수행될 수 있고, 상기 레지듀얼 정보를 기반으로 상기 현재 블록에 대한 상기 레지듀얼 샘플을 도출하는 과정은 도 18의 상기 디코딩 장치의 역변환부에 의하여 수행될 수 있다.
상술한 본 문서에 따르면 머지 모드의 연산 복잡도를 줄일 수 있고, 이를 통하여 전반적인 영상 코딩의 효율을 높일 수 있다.
또한, 본 문서에 따르면 컨스트럭티브 후보 리스트를 도출함에 있어, 참조 픽처 인덱스가 동일한 주변 블록에 대한 움직임 벡터를 후보로 추가함으로써 컨스트럭티브 후보를 도출하는 과정 및 머지 후보 리스트를 구성하는 과정의 연산 복잡도를 줄이고 코딩 효율을 향상시킬 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 문서는 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타내어진 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 문서의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
도 19는 본 문서를 적용될 수 있는 비디오/영상 코딩 시스템의 예를 개략적으로 나타낸다.
도 19을 참조하면, 비디오/영상 코딩 시스템은 제1 장치(소스 디바이스) 및 제2 장치(수신 디바이스)를 포함할 수 있다. 소스 디바이스는 인코딩된 비디오(video)/영상(image) 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스로 전달할 수 있다.
상기 소스 디바이스는 비디오 소스, 인코딩 장치, 전송부를 포함할 수 있다. 상기 수신 디바이스는 수신부, 디코딩 장치 및 렌더러를 포함할 수 있다. 상기 인코딩 장치는 비디오/영상 인코딩 장치라고 불릴 수 있고, 상기 디코딩 장치는 비디오/영상 디코딩 장치라고 불릴 수 있다. 송신기는 인코딩 장치에 포함될 수 있다. 수신기는 디코딩 장치에 포함될 수 있다. 렌더러는 디스플레이부를 포함할 수도 있고, 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다.
비디오 소스는 비디오/영상의 캡쳐, 합성 또는 생성 과정 등을 통하여 비디오/영상을 획득할 수 있다. 비디오 소스는 비디오/영상 캡쳐 디바이스 및/또는 비디오/영상 생성 디바이스를 포함할 수 있다. 비디오/영상 캡쳐 디바이스는 예를 들어, 하나 이상의 카메라, 이전에 캡쳐된 비디오/영상을 포함하는 비디오/영상 아카이브 등을 포함할 수 있다. 비디오/영상 생성 디바이스는 예를 들어 컴퓨터, 타블렛 및 스마트폰 등을 포함할 수 있으며 (전자적으로) 비디오/영상을 생성할 수 있다. 예를 들어, 컴퓨터 등을 통하여 가상의 비디오/영상이 생성될 수 있으며, 이 경우 관련 데이터가 생성되는 과정으로 비디오/영상 캡쳐 과정이 갈음될 수 있다.
인코딩 장치는 입력 비디오/영상을 인코딩할 수 있다. 인코딩 장치는 압축 및 코딩 효율을 위하여 예측, 변환, 양자화 등 일련의 절차를 수행할 수 있다. 인코딩된 데이터(인코딩된 비디오/영상 정보)는 비트스트림(bitstream) 형태로 출력될 수 있다.
전송부는 비트스트림 형태로 출력된 인코딩된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스의 수신부로 전달할 수 있다. 디지털 저장 매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장 매체를 포함할 수 있다. 전송부는 미리 정해진 파일 포멧을 통하여 미디어 파일을 생성하기 위한 엘리먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘리먼트를 포함할 수 있다. 수신부는 상기 비트스트림을 수신/추출하여 디코딩 장치로 전달할 수 있다.
디코딩 장치는 인코딩 장치의 동작에 대응하는 역양자화, 역변환, 예측 등 일련의 절차를 수행하여 비디오/영상을 디코딩할 수 있다.
렌더러는 디코딩된 비디오/영상을 렌더링할 수 있다. 렌더링된 비디오/영상은 디스플레이부를 통하여 디스플레이될 수 있다.
이 문서는 비디오/영상 코딩에 관한 것이다. 예를 들어 이 문서에서 개시된 방법/실시예는 VVC (versatile video coding) 표준, EVC (essential video coding) 표준, AV1 (AOMedia Video 1) 표준, AVS2 (2nd generation of audio video coding standard) 또는 차세대 비디오/영상 코딩 표준(ex. H.267 or H.268 등)에 개시되는 방법에 적용될 수 있다.
또한, 본 문서에서 설명한 실시예들은 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 예를 들어, 각 도면에서 도시한 기능 유닛들은 컴퓨터, 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 이 경우 구현을 위한 정보(ex. information on instructions) 또는 알고리즘이 디지털 저장 매체에 저장될 수 있다.
또한, 본 문서가 적용되는 디코딩 장치 및 인코딩 장치는 멀티미디어 방송 송수신 장치, 모바일 통신 단말, 홈 시네마 비디오 장치, 디지털 시네마 비디오 장치, 감시용 카메라, 비디오 대화 장치, 비디오 통신과 같은 실시간 통신 장치, 모바일 스트리밍 장치, 저장 매체, 캠코더, 주문형 비디오(VoD) 서비스 제공 장치, OTT 비디오(Over the top video) 장치, 인터넷 스트리밍 서비스 제공 장치, 3차원(3D) 비디오 장치, 화상 전화 비디오 장치, 운송 수단 단말 (ex. 차량 단말, 비행기 단말, 선박 단말 등) 및 의료용 비디오 장치 등에 포함될 수 있으며, 비디오 신호 또는 데이터 신호를 처리하기 위해 사용될 수 있다. 예를 들어, OTT 비디오(Over the top video) 장치로는 게임 콘솔, 블루레이 플레이어, 인터넷 접속 TV, 홈시어터 시스템, 스마트폰, 태블릿 PC, DVR(Digital Video Recoder) 등을 포함할 수 있다.
또한, 본 문서가 적용되는 처리 방법은 컴퓨터로 실행되는 프로그램의 형태로 생산될 수 있으며, 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 본 문서에 따른 데이터 구조를 가지는 멀티미디어 데이터도 또한 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 판독할 수 있는 기록 매체는 컴퓨터로 읽을 수 있는 데이터가 저장되는 모든 종류의 저장 장치 및 분산 저장 장치를 포함한다. 상기 컴퓨터가 판독할 수 있는 기록 매체는, 예를 들어, 블루레이 디스크(BD), 범용 직렬 버스(USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광학적 데이터 저장 장치를 포함할 수 있다. 또한, 상기 컴퓨터가 판독할 수 있는 기록 매체는 반송파(예를 들어, 인터넷을 통한 전송)의 형태로 구현된 미디어를 포함한다. 또한, 인코딩 방법으로 생성된 비트스트림이 컴퓨터가 판독할 수 있는 기록 매체에 저장되거나 유무선 통신 네트워크를 통해 전송될 수 있다.
또한, 본 문서의 실시예는 프로그램 코드에 의한 컴퓨터 프로그램 제품으로 구현될 수 있고, 상기 프로그램 코드는 본 문서의 실시예에 의해 컴퓨터에서 수행될 수 있다. 상기 프로그램 코드는 컴퓨터에 의해 판독가능한 캐리어 상에 저장될 수 있다.
도 20은 본 문서가 적용되는 컨텐츠 스트리밍 시스템 구조도를 예시적으로 나타낸다.
본 문서가 적용되는 컨텐츠 스트리밍 시스템은 크게 인코딩 서버, 스트리밍 서버, 웹 서버, 미디어 저장소, 사용자 장치 및 멀티미디어 입력 장치를 포함할 수 있다.
상기 인코딩 서버는 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고 이를 상기 스트리밍 서버로 전송하는 역할을 한다. 다른 예로, 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들이 비트스트림을 직접 생성하는 경우, 상기 인코딩 서버는 생략될 수 있다.
상기 비트스트림은 본 문서가 적용되는 인코딩 방법 또는 비트스트림 생성 방법에 의해 생성될 수 있고, 상기 스트리밍 서버는 상기 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 상기 비트스트림을 저장할 수 있다.
상기 스트리밍 서버는 웹 서버를 통한 사용자 요청에 기초하여 멀티미디어 데이터를 사용자 장치에 전송하고, 상기 웹 서버는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 한다. 사용자가 상기 웹 서버에 원하는 서비스를 요청하면, 상기 웹 서버는 이를 스트리밍 서버에 전달하고, 상기 스트리밍 서버는 사용자에게 멀티미디어 데이터를 전송한다. 이때, 상기 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 상기 제어 서버는 상기 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 한다.
상기 스트리밍 서버는 미디어 저장소 및/또는 인코딩 서버로부터 컨텐츠를 수신할 수 있다. 예를 들어, 상기 인코딩 서버로부터 컨텐츠를 수신하게 되는 경우, 상기 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 상기 스트리밍 서버는 상기 비트스트림을 일정 시간동안 저장할 수 있다.
상기 사용자 장치의 예로는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등이 있을 수 있다. 상기 컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.

Claims (15)

  1. 디코딩 장치에 의하여 수행되는 영상 디코딩 방법에 있어서,
    현재 블록에 대한 서브블록 단위의 움직임 정보 도출을 위한 후보 리스트(candidate list)를 구성하되, 상기 머지 후보 리스트는 컨스트럭티드 후보들(constructed candidates)을 포함하는 단계;
    상기 머지 후보 리스트를 기반으로 상기 현재 블록의 CP(Control Point)들에 대한 CPMV들(Control Point Motion Vectors)을 도출하는 단계;
    상기 CPMV들을 기반으로 상기 현재 블록에 대한 예측 샘플들을 도출하는 단계; 및
    상기 도출된 예측 샘플들을 기반으로 상기 현재 블록에 대한 복원 픽처를 생성하는 단계를 포함하되,
    상기 컨스트럭티드 후보들은 제1 그룹 내 제1 주변 블록, 제2 그룹 내 제2 주변 블록, 제3 그룹 내 제3 주변 블록 및 제4 주변 블록 중 적어도 두 이상의 조합을 기반으로 도출되고,
    상기 조합을 이루는 상기 제1 주변 블록, 상기 제2 주변 블록, 상기 제3 주변 블록 및 상기 제4 주변 블록은 동일한 참조 픽처 인덱스를 갖는 것을 특징으로 하는 영상 디코딩 방법.
  2. 제1항에 있어서,
    상기 제1 그룹은 상기 현재 블록의 좌상측 코너 주변 블록, 제1 상측 주변 블록, 제1 좌측 주변 블록을 포함하고,
    상기 제2 그룹은 상기 현재 블록의 제2 상측 주변 블록 및 우상측 코너 주변 블록을 포함하고,
    상기 제3 그룹은 상기 현재 블록의 제2 좌측 주변 블록 및 좌하측 코너 주변 블록을 포함하고,
    상기 제1 상측 주변 블록은 상기 좌상측 코너 주변 블록과 인접하고,
    상기 제1 좌측 주변 블록은 상기 좌상측 코너 주변 블록과 인접하고,
    상기 제2 상측 주변 블록은 상기 우상측 코너 주변 블록과 인접하고,
    상기 제2 좌측 주변 블록은 상기 좌하측 코너 주변 블록과 인접고,
    상기 제4 주변 블록은 상기 현재 블록의 우하측 코너 주변 블록으로, 시간적 주변 블록인 것을 특징으로 하는 영상 디코딩 방법.
  3. 제2항에 있어서,
    상기 현재 블록의 주변 블록들을 기반으로 상기 CP들에 대한 후보 움직임 벡터들이 도출되고,
    상기 CP들에 대한 상기 후보 움직임 벡터들을 기반으로 상기 컨스트럭티드 후보들이 도출되는 것을 특징으로 하는 영상 디코딩 방법.
  4. 제3항에 있어서,
    상기 CP들은 CP0, CP1, CP2 CP3를 포함하고,
    상기 CP0은 상기 현재 블록의 좌상단 위치를 나타내고, 상기 CP1은 상기 현재 블록의 우상단 위치를 나타내고, 상기 CP2는 상기 현재 블록의 좌하단 위치를 나타내는 것을 특징으로 하는 영상 디코딩 방법.
  5. 제4항에 있어서,
    상기 CP0에 대한 후보 움직임 벡터는 상기 제1 그룹 내 주변 블록들을 제1 순서로 가용한지 체크하여 처음으로 가용하다고 확인된 상기 제1 주변 블록의 움직임 벡터로 도출되고,
    상기 CP1에 대한 후보 움직임 벡터는 제2 그룹 내 주변 블록들을 제2 순서로 가용한지 체크하여 처음으로 가용하다고 확인된 상기 제2 주변 블록의 움직임 벡터로 도출되고,
    상기 CP2에 대한 후보 움직임 벡터는 제3 그룹 내 주변 블록들을 제3 순서로 가용한지 체크하여 처음으로 가용하다고 확인된 상기 제3 주변 블록의 움직임 벡터로 도출되고,
    상기 CP3에 대한 후보 움직임 벡터는 상기 시간적 주변 블록이 가용한지 체크하여 가용하다고 확인된 상기 시간적 주변 블록의 움직임 벡터로 도출되는 것을 특징으로 하는 영상 디코딩 방법.
  6. 제5항에 있어서,
    상기 제1 주변 블록에 대한 참조 픽처 인덱스, 상기 제2 주변 블록에 대한 참조 픽처 인덱스 및 상기 제3 주변 블록에 대한 참조 픽처 인덱스가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 CP0에 대한 상기 후보 움직임 벡터, 상기 CP1에 대한 상기 후보 움직임 벡터 및 상기 CP2에 대한 상기 후보 움직임 벡터를 포함하는 제1 컨스트럭티드 후보를 포함하는 것을 특징으로 하는 영상 디코딩 방법.
  7. 제5항에 있어서,
    상기 제1 주변 블록에 대한 참조 픽처 인덱스 및 상기 제2 주변 블록에 대한 참조 픽처 인덱스가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 CP0에 대한 상기 후보 움직임 벡터 및 상기 CP1에 대한 상기 후보 움직임 벡터를 포함하는 제2 컨스트럭티드 후보를 포함하는 것을 특징으로 하는 영상 디코딩 방법.
  8. 제5항에 있어서,
    상기 제1 주변 블록에 대한 참조 픽처 인덱스 및 상기 제3 주변 블록에 대한 참조 픽처 인덱스가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 CP0에 대한 상기 후보 움직임 벡터 및 상기 CP2에 대한 상기 후보 움직임 벡터를 포함하는 제3 컨스트럭티드 후보를 포함하는 것을 특징으로 하는 영상 디코딩 방법.
  9. 인코딩 장치에 의하여 수행되는 영상 인코딩 방법에 있어서,
    현재 블록에 대한 머지 후보 리스트(merge candidate list)를 구성하되, 상기 머지 후보 리스트는 및 컨스트럭티드 후보들(constructed candidates)을 포함하는 단계;
    상기 머지 후보 리스트를 기반으로 상기 현재 블록의 CP(Control Point)들에 대한 CPMV들(Control Point Motion Vectors)을 도출하는 단계; 및
    상기 현재 블록에 대한 예측 정보를 포함하는 영상 정보를 인코딩하는 단계를 포함하되,
    상기 컨스트럭티드 후보들은 제1 그룹 내 제1 주변 블록, 제2 그룹 내 제2 주변 블록, 제3 그룹 내 제3 주변 블록 및 제4 주변 블록 중 적어도 두 이상의 조합을 기반으로 도출되고,
    상기 조합을 이루는 상기 제1 주변 블록, 상기 제2 주변 블록, 상기 제3 주변 블록 및 상기 제4 주변 블록은 동일한 참조 픽처 인덱스를 갖는 것을 특징으로 하는 영상 인코딩 방법.
  10. 제9항에 있어서,
    상기 현재 블록의 주변 블록들을 기반으로 상기 CP들에 대한 후보 움직임 벡터들이 도출되고,
    상기 CP들에 대한 상기 후보 움직임 벡터들을 기반으로 상기 컨스트럭티드 후보들이 도출되는 것을 특징으로 하는 영상 인코딩 방법.
  11. 제10항에 있어서,
    상기 CP들은 CP0, CP1, CP2 를 포함하고,
    상기 CP0은 상기 현재 블록의 좌상단 위치를 나타내고, 상기 CP1은 상기 현재 블록의 우상단 위치를 나타내고, 상기 CP2는 상기 현재 블록의 좌하단 위치를 나타내는 것을 특징으로 하는 영상 인코딩 방법.
  12. 제11항에 있어서,
    상기 CP0에 대한 후보 움직임 벡터는 상기 제1 그룹 내 주변 블록들을 제1 순서로 가용한지 체크하여 처음으로 가용하다고 확인된 상기 제1 주변 블록의 움직임 벡터로 도출되고,
    상기 CP1에 대한 후보 움직임 벡터는 제2 그룹 내 주변 블록들을 제2 순서로 가용한지 체크하여 처음으로 가용하다고 확인된 상기 제2 주변 블록의 움직임 벡터로 도출되고,
    상기 CP2에 대한 후보 움직임 벡터는 제3 그룹 내 주변 블록들을 제3 순서로 가용한지 체크하여 처음으로 가용하다고 확인된 상기 제3 주변 블록의 움직임 벡터로 도출되는 것을 특징으로 하는 영상 인코딩 방법.
  13. 제12항에 있어서,
    상기 제1 주변 블록에 대한 참조 픽처 인덱스, 상기 제2 주변 블록에 대한 참조 픽처 인덱스 및 상기 제3 주변 블록에 대한 참조 픽처 인덱스가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 CP0에 대한 상기 후보 움직임 벡터, 상기 CP1에 대한 상기 후보 움직임 벡터 및 상기 CP2에 대한 상기 후보 움직임 벡터를 포함하는 제1 컨스트럭티드 후보를 포함하는 것을 특징으로 하는 영상 인코딩 방법.
  14. 제12항에 있어서,
    상기 제1 주변 블록에 대한 참조 픽처 인덱스 및 상기 제2 주변 블록에 대한 참조 픽처 인덱스가 동일한 경우, 상기 컨스트럭티드 후보들은 상기 CP0에 대한 상기 후보 움직임 벡터 및 상기 CP1에 대한 상기 후보 움직임 벡터를 포함하는 제2 컨스트럭티드 후보를 포함하는 것을 특징으로 하는 영상 인코딩 방법.
  15. 영상 디코딩을 수행하는 디코딩 장치에 있어서,
    현재 블록에 대한 서브블록 단위의 움직임 정보 도출을 위한 후보 리스트(candidate list)를 구성하되, 상기 머지 후보 리스트는 컨스트럭티드 후보들(constructed candidates)을 포함하고, 상기 머지 후보 리스트를 기반으로 상기 현재 블록의 CP(Control Point)들에 대한 CPMV들(Control Point Motion Vectors)을 도출하고, 상기 CPMV들을 기반으로 상기 현재 블록에 대한 예측 샘플들을 도출하고, 상기 도출된 예측 샘플들을 기반으로 상기 현재 블록에 대한 복원 픽처를 생성하는 예측부를 포함하고,
    상기 컨스트럭티드 후보들은 제1 그룹 내 제1 주변 블록, 제2 그룹 내 제2 주변 블록, 제3 그룹 내 제3 주변 블록 및 제4 주변 블록 중 적어도 두 이상의 조합을 기반으로 도출되고,
    상기 조합을 이루는 상기 제1 주변 블록, 상기 제2 주변 블록, 상기 제3 주변 블록 및 상기 제4 주변 블록은 동일한 참조 픽처 인덱스를 갖는 것을 특징으로 하는 영상 디코딩 장치.
PCT/KR2019/011580 2018-09-06 2019-09-06 영상 코딩 시스템에서 머지 후보 리스트를 사용하는 움직임 예측에 기반한 영상 디코딩 방법 및 장치 WO2020050695A1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN202310841668.8A CN116647693A (zh) 2018-09-06 2019-09-06 编解码设备、存储介质和数据发送设备
CN202310841208.5A CN116668719A (zh) 2018-09-06 2019-09-06 图像解码方法、图像编码方法、存储介质和发送方法
CN202310842979.6A CN116647696A (zh) 2018-09-06 2019-09-06 图像解码方法、图像编码方法、存储介质和发送方法
CN201980057255.2A CN112640459B (zh) 2018-09-06 2019-09-06 图像编码系统中基于使用合并候选列表的运动预测的图像解码方法和设备
CN202310839109.3A CN116647695A (zh) 2018-09-06 2019-09-06 图像解码设备、图像编码设备和数据发送设备
US16/798,087 US11849143B2 (en) 2018-09-06 2020-02-21 Image decoding method and apparatus based on motion prediction using merge candidate list in image coding system
US18/104,692 US11877005B2 (en) 2018-09-06 2023-02-01 Image decoding method and apparatus based on motion prediction using merge candidate list in image coding system
US18/235,276 US20230396798A1 (en) 2018-09-06 2023-08-17 Image decoding method and apparatus based on motion prediction using merge candidate list in image coding system
US18/389,345 US20240121430A1 (en) 2018-09-06 2023-11-14 Image decoding method and apparatus based on motion prediction using merge candidate list in image coding system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862728068P 2018-09-06 2018-09-06
US62/728,068 2018-09-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/798,087 Continuation US11849143B2 (en) 2018-09-06 2020-02-21 Image decoding method and apparatus based on motion prediction using merge candidate list in image coding system

Publications (1)

Publication Number Publication Date
WO2020050695A1 true WO2020050695A1 (ko) 2020-03-12

Family

ID=69723147

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/011580 WO2020050695A1 (ko) 2018-09-06 2019-09-06 영상 코딩 시스템에서 머지 후보 리스트를 사용하는 움직임 예측에 기반한 영상 디코딩 방법 및 장치

Country Status (3)

Country Link
US (4) US11849143B2 (ko)
CN (5) CN116647696A (ko)
WO (1) WO2020050695A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021206280A1 (ko) * 2020-04-10 2021-10-14 삼성전자 주식회사 움직임 벡터의 부호화 장치 및 방법, 및 움직임 벡터의 복호화 장치 및 방법
RU2801154C1 (ru) * 2020-04-10 2023-08-02 Самсунг Электроникс Ко., Лтд. Устройство и способ для кодирования вектора движения и устройство и способ для декодирования вектора движения

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144908A1 (en) * 2018-01-26 2019-08-01 Mediatek Inc. Method and apparatus of affine inter prediction for video coding system
KR102658887B1 (ko) * 2018-10-10 2024-04-18 삼성전자주식회사 움직임 벡터 차분값을 이용한 비디오 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017156705A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Affine prediction for video coding
KR20180061025A (ko) * 2016-11-29 2018-06-07 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US20180192069A1 (en) * 2016-12-29 2018-07-05 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
WO2018128379A1 (ko) * 2017-01-03 2018-07-12 엘지전자(주) 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1274252A3 (en) * 1995-08-29 2005-10-05 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
PT3525464T (pt) * 2002-04-19 2021-04-06 Panasonic Ip Corp America Método e sistema de codificação e descodificação de imagem
WO2010053109A1 (ja) * 2008-11-10 2010-05-14 日本電気株式会社 画像照合装置、画像照合方法および画像照合用プログラム
US9049455B2 (en) 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
JP6545672B2 (ja) * 2013-10-18 2019-07-17 エルジー エレクトロニクス インコーポレイティド マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法
CN109005407B (zh) 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
CN107925758B (zh) * 2015-08-04 2022-01-25 Lg 电子株式会社 视频编译系统中的帧间预测方法和设备
CN108600749B (zh) * 2015-08-29 2021-12-28 华为技术有限公司 图像预测的方法及设备
WO2017130696A1 (ja) * 2016-01-29 2017-08-03 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
US10638152B2 (en) * 2016-03-15 2020-04-28 Mediatek Inc. Method and apparatus of video coding with affine motion compensation
MX2018011412A (es) * 2016-03-24 2019-01-10 Lg Electronics Inc Metodo y aparato para inter-prediccion en sistema de codificacion de video.
KR20230143623A (ko) * 2016-03-28 2023-10-12 로즈데일 다이나믹스 엘엘씨 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN109792535B (zh) * 2016-05-13 2023-03-28 夏普株式会社 预测图像生成装置、运动图像解码装置以及运动图像编码装置
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
WO2018008678A1 (ja) * 2016-07-08 2018-01-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号装置、符号化装置、復号方法及び符号化方法
US10631002B2 (en) * 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
CN117221575A (zh) * 2016-10-04 2023-12-12 英迪股份有限公司 图像解码方法、图像编码方法以及发送比特流的方法
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
WO2018070152A1 (en) * 2016-10-10 2018-04-19 Sharp Kabushiki Kaisha Systems and methods for performing motion compensation for coding of video data
US20190335170A1 (en) * 2017-01-03 2019-10-31 Lg Electronics Inc. Method and apparatus for processing video signal by means of affine prediction
JP7036628B2 (ja) * 2017-03-10 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10873760B2 (en) * 2017-04-07 2020-12-22 Futurewei Technologies, Inc. Motion vector (MV) constraints and transformation constraints in video coding
US10805630B2 (en) * 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
JP2019017066A (ja) * 2017-07-03 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
CN116915986A (zh) * 2017-12-12 2023-10-20 华为技术有限公司 视频数据的帧间预测方法和装置
CN117528115A (zh) * 2018-08-27 2024-02-06 华为技术有限公司 一种视频图像预测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017156705A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Affine prediction for video coding
KR20180061025A (ko) * 2016-11-29 2018-06-07 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US20180192069A1 (en) * 2016-12-29 2018-07-05 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
WO2018128379A1 (ko) * 2017-01-03 2018-07-12 엘지전자(주) 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAITAO YANG: "Description of Core Experiment 4 (CE4): Inter prediction and motion vector coding", JVET-K1024-V2, JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, 11TH MEETING, 9 August 2018 (2018-08-09), Ljubljana, SI, pages 1 - 45, XP030193529 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021206280A1 (ko) * 2020-04-10 2021-10-14 삼성전자 주식회사 움직임 벡터의 부호화 장치 및 방법, 및 움직임 벡터의 복호화 장치 및 방법
RU2801154C1 (ru) * 2020-04-10 2023-08-02 Самсунг Электроникс Ко., Лтд. Устройство и способ для кодирования вектора движения и устройство и способ для декодирования вектора движения
RU2818966C2 (ru) * 2020-04-10 2024-05-08 Самсунг Электроникс Ко., Лтд. Устройство и способ для кодирования вектора движения и устройство и способ для декодирования вектора движения
US11997286B2 (en) 2020-04-10 2024-05-28 Samsung Electronics Co., Ltd. Device and method for encoding motion vector, and device and method for decoding motion vector

Also Published As

Publication number Publication date
CN116647696A (zh) 2023-08-25
US20240121430A1 (en) 2024-04-11
US20230179794A1 (en) 2023-06-08
US20230396798A1 (en) 2023-12-07
US20200195966A1 (en) 2020-06-18
US11877005B2 (en) 2024-01-16
CN112640459B (zh) 2023-07-28
US11849143B2 (en) 2023-12-19
CN116647695A (zh) 2023-08-25
CN116668719A (zh) 2023-08-29
CN116647693A (zh) 2023-08-25
CN112640459A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
WO2019107916A1 (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
WO2021025451A1 (ko) 움직임 정보 후보를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020171444A1 (ko) Dmvr 기반의 인터 예측 방법 및 장치
WO2021054676A1 (ko) Prof를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020189893A1 (ko) Bdof 기반의 인터 예측 방법 및 장치
WO2020055161A1 (ko) 영상 코딩 시스템에서 서브 블록 단위의 움직임 예측에 기반한 영상 디코딩 방법 및 장치
WO2020141911A1 (ko) 화면간 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2020184848A1 (ko) Dmvr 기반의 인터 예측 방법 및 장치
WO2020055107A1 (ko) 영상 코딩 시스템에서 어파인 mvp 후보 리스트를 사용하는 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
WO2020032609A1 (ko) 영상 코딩 시스템에서 어파인 머지 후보 리스트를 사용하는 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
WO2021006558A1 (ko) 크로마 양자화 파라미터 데이터를 코딩하는 영상 디코딩 방법 및 그 장치
WO2020184847A1 (ko) Dmvr 및 bdof 기반의 인터 예측 방법 및 장치
WO2021172914A1 (ko) 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
WO2020013569A1 (ko) 영상 코딩 시스템에서 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
WO2020251278A1 (ko) 크로마 양자화 파라미터 데이터 기반 영상 디코딩 방법 및 그 장치
WO2020184964A1 (ko) 인터 예측을 위한 비디오 신호의 처리 방법 및 장치
WO2020009449A1 (ko) 어파인 예측을 이용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2020050695A1 (ko) 영상 코딩 시스템에서 머지 후보 리스트를 사용하는 움직임 예측에 기반한 영상 디코딩 방법 및 장치
WO2020251269A1 (ko) 영상 디코딩 방법 및 그 장치
WO2020256400A1 (ko) 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
WO2020251257A1 (ko) 예측 샘플을 생성하기 위한 가중치 인덱스 정보를 도출하는 영상 디코딩 방법 및 그 장치
WO2021060834A1 (ko) 서브픽처 기반 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021006698A1 (ko) 영상 코딩 시스템에서 영상 코딩 방법 및 장치
WO2020251268A1 (ko) 크로마 성분에 대한 영상 디코딩 방법 및 그 장치
WO2021006562A1 (ko) 영상 디코딩 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19857459

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19857459

Country of ref document: EP

Kind code of ref document: A1