WO2020085800A1 - 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치 - Google Patents

서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
WO2020085800A1
WO2020085800A1 PCT/KR2019/014016 KR2019014016W WO2020085800A1 WO 2020085800 A1 WO2020085800 A1 WO 2020085800A1 KR 2019014016 W KR2019014016 W KR 2019014016W WO 2020085800 A1 WO2020085800 A1 WO 2020085800A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
current block
merge
block
flag
Prior art date
Application number
PCT/KR2019/014016
Other languages
English (en)
French (fr)
Inventor
고건중
김동철
손주형
정재홍
곽진삼
Original Assignee
주식회사 윌러스표준기술연구소
(주)휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN202311227743.8A priority Critical patent/CN117156131A/zh
Priority to CN201980069820.7A priority patent/CN113196751B/zh
Priority to CN202311223481.8A priority patent/CN117156129A/zh
Priority to EP19875756.9A priority patent/EP3873093A4/en
Application filed by 주식회사 윌러스표준기술연구소, (주)휴맥스 filed Critical 주식회사 윌러스표준기술연구소
Priority to CN202311222783.3A priority patent/CN117156128A/zh
Priority to KR1020217012537A priority patent/KR102550530B1/ko
Priority to JP2021521968A priority patent/JP7206382B2/ja
Priority to KR1020247030872A priority patent/KR20240142593A/ko
Priority to KR1020237021844A priority patent/KR102708052B1/ko
Priority to CN202311226819.5A priority patent/CN117156130A/zh
Publication of WO2020085800A1 publication Critical patent/WO2020085800A1/ko
Priority to US17/234,688 priority patent/US20210243476A1/en
Priority to JP2022212171A priority patent/JP7400072B2/ja
Priority to US18/360,645 priority patent/US20240040156A1/en
Priority to JP2023203318A priority patent/JP7551179B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the present invention relates to a video signal processing method and apparatus, and more particularly, to a video signal processing method and apparatus for encoding or decoding a video signal using sub-block-based motion compensation.
  • Compression coding refers to a series of signal processing techniques for transmitting digitized information through a communication line or storing it in a form suitable for a storage medium.
  • objects such as voice, video, and text in the object of compression encoding, and a technique for performing compression encoding on an image is called video video compression.
  • Compression coding for a video signal is performed by removing excess information in consideration of spatial correlation, temporal correlation, and stochastic correlation.
  • a more efficient video signal processing method and apparatus is required.
  • An object of the present invention is to increase the coding efficiency of a video signal.
  • An object of the present invention is to provide a method for efficiently performing subblock-based motion compensation.
  • an object of the present invention is to provide a motion compensation method based on a merge mode with MVD using a motion vector difference.
  • the present invention provides the following video signal processing apparatus and video signal processing method.
  • a video signal processing method comprising: obtaining a first syntax element indicating whether a subblock-based merge mode is applied to a current block; When the first syntax element indicates that a subblock-based merge mode is not applied to the current block, obtaining a second syntax element indicating whether a merge mode using a motion vector difference is applied to the current block. ; When the second syntax element indicates that a merge mode using the motion vector difference is applied to the current block, among candidates included in a merge candidate list of the current block, a candidate used for inter prediction of the current block is indicated.
  • Obtaining a third syntax element Obtaining information related to the motion vector difference; Deriving a motion vector of the current block by adding the motion vector difference to a motion vector of a candidate indicated by the third syntax element; And generating a prediction block of the current block using the motion vector of the current block.
  • the third syntax element may indicate a candidate used for inter prediction of the current block among first and second candidates in the merge candidate list of the current block.
  • the third syntax element may be parsed from a bitstream when the maximum number of merge candidates is greater than 1, and may be inferred as 0 when the maximum number of merge candidates is not greater than 1.
  • obtaining information related to the motion vector difference may include: obtaining a fourth syntax element indicating a distance of the motion vector difference; And a fifth syntax element indicating the direction of the motion vector difference.
  • the motion vector of the current block is the sixth syntax element. It may be derived in units of at least one sub-block included in the current block based on the motion vector of the candidate indicated by.
  • the second syntax element when the first syntax element indicates that a subblock-based merge mode is applied to the current block, the second syntax element may be inferred as 0.
  • the sixth syntax element may be parsed from a bitstream when the maximum number of subblock merge candidates is greater than 1, and may be inferred as 0 when the maximum number of subblock merge candidates is not greater than 1.
  • a video signal processing apparatus including a processor
  • the processor acquires a first syntax element indicating whether a subblock-based merge mode is applied to the current block, and the When the 1 syntax element indicates that a subblock-based merge mode is not applied to the current block, a second syntax element indicating whether a merge mode using a motion vector difference is applied to the current block is acquired, and the second When a syntax element indicates that a merge mode using the motion vector difference is applied to the current block, a third indicating a candidate used for inter prediction of the current block among candidates included in the merge candidate list of the current block Acquire a syntax element, obtain information related to the motion vector difference, and obtain the third syntax
  • a video signal processing apparatus for deriving a motion vector of the current block by adding the motion vector difference to a motion vector of a candidate indicated by an element, and generating a prediction block of the current block using the motion vector of the current block Is provided.
  • the third syntax element may indicate a candidate used for inter prediction of the current block among first and second candidates in the merge candidate list of the current block.
  • the third syntax element may be parsed from a bitstream when the maximum number of merge candidates is greater than 1, and may be inferred as 0 when the maximum number of merge candidates is not greater than 1.
  • the processor may acquire a fourth syntax element indicating the distance of the motion vector difference, and a fifth syntax element indicating the direction of the motion vector difference.
  • the processor when the first syntax element indicates that a subblock-based merge mode is applied to the current block, the processor inter-predicts the current block among candidates included in a subblock merge candidate list of the current block.
  • the motion vector of the current block is assigned to the sixth syntax element. It may be derived in units of at least one sub-block included in the current block based on the motion vector of the candidate indicated by.
  • the second syntax element when the first syntax element indicates that a subblock-based merge mode is applied to the current block, the second syntax element may be inferred as 0.
  • the sixth syntax element may be parsed from a bitstream when the maximum number of subblock merge candidates is greater than 1, and may be inferred as 0 when the maximum number of subblock merge candidates is not greater than 1.
  • a video signal processing method comprising: encoding a first syntax element indicating whether a subblock-based merge mode is applied to a current block; Encoding a second syntax element indicating whether a merge mode using a motion vector difference is applied to the current block when a sub-block-based merge mode is not applied to the current block; When a merge mode using the motion vector difference is applied to the current block, encoding a third syntax element indicating a candidate used for inter prediction of the current block among candidates included in a merge candidate list of the current block.
  • coding efficiency of a video signal may be increased.
  • by adjusting the syntax parsing order it is possible to reduce signaling overhead and increase compression efficiency.
  • FIG. 1 is a schematic block diagram of a video signal encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a schematic block diagram of a video signal decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 shows an embodiment in which a coding tree unit is divided into coding units in a picture.
  • FIG. 4 shows an embodiment of a method for signaling a split of a quad tree and a multi-type tree.
  • FIG 5 illustrates inter prediction according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a motion vector signaling method according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a signaling method of adaptive motion vector resolution information according to an embodiment of the present invention.
  • FIG. 8 illustrates affine motion compensation according to an embodiment of the present invention.
  • FIG. 9 shows an embodiment of a 4-parameter affine motion compensation method.
  • FIG. 10 is a diagram for explaining an affine motion prediction method according to an embodiment of the present invention.
  • FIG. 11 shows an embodiment of an affine motion compensation method based on a sub-block.
  • 12 and 13 show embodiments of the present invention for obtaining a set of control point motion vectors for prediction of the current block.
  • FIG. 14 is a diagram illustrating an affine motion compensation method according to an embodiment of the present invention.
  • 15 is a diagram illustrating an affine motion compensation method according to an embodiment of the present invention.
  • FIG. 16 is a diagram illustrating a subblock-based temporal MVP (SbTMVP) according to an embodiment of the present invention.
  • SBTMVP subblock-based temporal MVP
  • 17 is a diagram illustrating a planner MVP according to an embodiment of the present invention.
  • FIG. 18 is a diagram illustrating a method of determining a temporary motion vector according to an embodiment of the present invention.
  • FIG. 19 is a diagram illustrating whether to use SbTMVP according to an embodiment of the present invention.
  • 20 is a diagram illustrating an SbTMVP induction method according to an embodiment of the present invention.
  • 21 is a diagram illustrating an MMVD application method according to an embodiment of the present invention.
  • FIG. 22 is a diagram illustrating an MMVD-related syntax structure according to an embodiment of the present invention.
  • FIG. 23 is a diagram illustrating an MMVD-related syntax structure according to an embodiment of the present invention.
  • FIG. 24 is a diagram illustrating an MMVD-related syntax structure according to an embodiment of the present invention.
  • 25 is a diagram illustrating an MMVD syntax according to an embodiment of the present invention.
  • 26 is a diagram illustrating an MMVD syntax according to an embodiment of the present invention.
  • FIG. 27 is a diagram illustrating an MMVD syntax according to an embodiment of the present invention.
  • FIG. 28 is a diagram illustrating an MMVD syntax according to an embodiment of the present invention.
  • 29 is a diagram illustrating a coding unit syntax structure according to an embodiment of the present invention.
  • FIG. 30 is a diagram illustrating a merge data syntax structure according to an embodiment of the present invention.
  • 31 is a diagram illustrating a merge data syntax structure according to an embodiment of the present invention.
  • 32 is a diagram illustrating a merge data syntax structure according to an embodiment of the present invention.
  • FIG 33 is a diagram illustrating a video signal processing method according to an embodiment to which the present invention is applied.
  • Coding may be interpreted as encoding or decoding in some cases.
  • An apparatus for generating a video signal bitstream by performing encoding (coding) of a video signal is referred to herein as an encoding device or an encoder, and an apparatus for performing decoding (decoding) of a video signal bitstream to restore a video signal is decoded.
  • a device or decoder referred to as a device or decoder.
  • the video signal processing apparatus is used as a term of a concept including both an encoder and a decoder.
  • Information is a term including all of values, parameters, coefficients, elements, etc. In some cases, the meaning is interpreted differently, so the present invention is not limited thereto.
  • 'Unit' is used to mean a specific location of a basic unit or picture of image processing, and refers to an image region including at least one of a luma component and a chroma component.
  • 'block' refers to an image region including a specific component among luma components and chroma components (ie, Cb and Cr).
  • terms such as 'unit', 'block', 'partition' and 'region' may be used interchangeably.
  • a unit may be used as a concept including all of a coding unit, a prediction unit, and a transformation unit.
  • the picture indicates a field or frame, and according to an embodiment, the terms may be used interchangeably.
  • the encoding apparatus 100 of the present invention includes a transform unit 110, a quantization unit 115, an inverse quantization unit 120, an inverse transform unit 125, a filtering unit 130, and a prediction unit 150 ) And the entropy coding unit 160.
  • the conversion unit 110 obtains a transform coefficient value by converting a residual signal, which is a difference between the input video signal and the prediction signal generated by the prediction unit 150.
  • a discrete cosine transform DCT
  • DST discrete sine transform
  • a wavelet transform can be used.
  • the input picture signal is divided into blocks to perform transformation.
  • coding efficiency may vary according to the distribution and characteristics of values in the transform region.
  • the quantization unit 115 quantizes a transform coefficient value output from the transform unit 110.
  • the predictor 150 predicts a picture using an already coded region, and adds a residual value between the original picture and the predicted picture to the reconstructed picture.
  • the method of obtaining is used.
  • information that can be used in the decoder should be used when performing prediction in the encoder.
  • the encoder performs a process of restoring the encoded current block again.
  • the inverse quantization unit 120 inversely quantizes the transform coefficient value, and the inverse transform unit 125 restores the residual value using the inverse quantized transform coefficient value.
  • the filtering unit 130 performs a filtering operation for improving the quality of the reconstructed picture and improving the encoding efficiency.
  • a deblocking filter For example, a sample adaptive offset (SAO) and an adaptive loop filter may be included.
  • the filtered picture is output or stored in a decoded picture buffer (DPB, 156) for use as a reference picture.
  • DPB decoded picture buffer
  • the predictor 150 predicts a picture using a region that is already coded, and adds a residual value between the original picture and the predicted picture to the reconstructed picture.
  • the method of obtaining is used.
  • the intra prediction unit 152 performs intra-picture prediction within the current picture, and the inter prediction unit 154 predicts the current picture using the reference picture stored in the decoded picture buffer 156.
  • the intra prediction unit 152 performs intra-picture prediction from reconstructed regions in the current picture, and transmits intra-picture encoding information to the entropy coding unit 160.
  • the inter prediction unit 154 may further include a motion estimation unit 154a and a motion compensation unit 154b.
  • the motion estimation unit 154a obtains a motion vector value of the current area by referring to the restored specific area.
  • the motion estimation unit 154a transfers location information (reference frames, motion vectors, etc.) of the reference region to the entropy coding unit 160 so that it can be included in the bitstream.
  • the motion compensation unit 154b performs inter-screen motion compensation by using the motion vector value transmitted from the motion estimation unit 154a.
  • the prediction unit 150 includes an intra prediction unit 152 and an inter prediction unit 154.
  • the intra prediction unit 152 performs intra prediction within the current picture, and the inter prediction unit 154 predicts the inter picture by predicting the current picture using the reference picture stored in the decoded picture buffer 156. To perform.
  • the intra prediction unit 152 performs intra prediction from reconstructed samples in the current picture, and transmits the intra encoding information to the entropy coding unit 160.
  • the intra encoding information may include at least one of an intra prediction mode, a Most Probable Mode (MPM) flag, and an MPM index.
  • the intra encoding information may include information regarding a reference sample.
  • the inter prediction unit 154 may include a motion estimation unit 154a and a motion compensation unit 154b.
  • the motion estimation unit 154a refers to a specific area of the reconstructed reference picture to obtain a motion vector value of the current area.
  • the motion estimation unit 154a transfers a set of motion information (reference picture index, motion vector information, etc.) for the reference area to the entropy coding unit 160.
  • the motion compensation unit 154b performs motion compensation using the motion vector value transmitted from the motion estimation unit 154a.
  • the inter prediction unit 154 transmits inter encoding information including motion information for a reference region to the entropy coding unit 160.
  • the prediction unit 150 may include an intra block copy (BC) prediction unit (not shown).
  • the intra BC prediction unit performs intra BC prediction from reconstructed samples in the current picture, and transmits the intra BC encoding information to the entropy coding unit 160.
  • the intra BC predictor obtains a block vector value indicating a reference region used for prediction of the current region by referring to a specific region in the current picture.
  • the intra BC prediction unit may perform intra BC prediction using the obtained block vector value.
  • the intra BC prediction unit transmits the intra BC encoding information to the entropy coding unit 160.
  • the intra BC encoding information may include block vector information.
  • the transform unit 110 converts a residual value between the original picture and the predicted picture to obtain a transform coefficient value.
  • the transformation may be performed in a specific block unit within a picture, and the size of a specific block may be varied within a preset range.
  • the quantization unit 115 quantizes a transform coefficient value generated by the transform unit 110 and transmits the quantized value to the entropy coding unit 160.
  • the entropy coding unit 160 entropy-codes information indicating quantized transform coefficients, intra-coding information, and inter-coding information to generate a video signal bitstream.
  • a variable length coding (VLC) method converts input symbols into successive codewords, but the length of the codewords may be variable. For example, frequently occurring symbols are expressed as short codewords, and less frequently occurring symbols are expressed as long codewords.
  • VLC variable length coding
  • CAVLC context-based adaptive variable length coding
  • Arithmetic coding converts consecutive data symbols into a single decimal point, and arithmetic coding can obtain the optimal number of decimal bits needed to represent each symbol.
  • Context-based Adaptive Binary Arithmetic Code may be used as arithmetic coding.
  • CABAC Context-based Adaptive Binary Arithmetic Code
  • the entropy coding unit 160 may binarize information representing quantized transform coefficients. Also, the entropy coding unit 160 may arithmetic code the binarized information to generate a bitstream.
  • the generated bitstream is encapsulated in a network abstraction layer (NAL) unit as a basic unit.
  • NAL network abstraction layer
  • the NAL unit includes an integer number of coded coding tree units.
  • the bitstream In order to decode a bitstream in a video decoder, the bitstream must first be divided into NAL unit units, and then each separated NAL unit must be decoded. Meanwhile, information necessary for decoding a video signal bitstream includes a high-level set such as a picture parameter set (PPS), a sequence parameter set (SPS), and a video parameter set (VPS). It can be transmitted through the RBSP (Raw Byte Sequence Payload).
  • PPS picture parameter set
  • SPS sequence parameter set
  • VPN video parameter set
  • FIG. 1 shows an encoding apparatus 100 according to an embodiment of the present invention, and the separately displayed blocks are logically distinguished elements of the encoding apparatus 100. Accordingly, the elements of the above-described encoding apparatus 100 may be mounted as one chip or as a plurality of chips depending on the design of the device. According to an embodiment, the operation of each element of the above-described encoding apparatus 100 may be performed by a processor (not shown).
  • the decoding apparatus 200 of the present invention includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 225, a filtering unit 230, and a prediction unit 250.
  • the entropy decoding unit 210 entropy decodes the video signal bitstream, and extracts transform coefficient information, intra encoding information, and inter encoding information for each region. For example, the entropy decoding unit 210 may obtain a binarization code for transform coefficient information of a specific region from a video signal bitstream. Also, the entropy decoding unit 210 inversely binarizes the binarization code to obtain quantized transform coefficients. The inverse quantization unit 220 inverse quantizes the quantized transform coefficient, and the inverse transform unit 225 restores a residual value using the inverse quantized transform coefficient. The video signal processing apparatus 200 restores the original pixel value by summing the residual value obtained by the inverse transform unit 225 with the predicted value obtained by the predictor 250.
  • the filtering unit 230 performs filtering on the picture to improve image quality. This may include a deblocking filter for reducing block distortion and / or an adaptive loop filter for removing distortion of the entire picture.
  • the filtered picture is output or stored in a decoded picture buffer (DPB, 256) for use as a reference picture for the next picture.
  • DPB decoded picture buffer
  • the prediction unit 250 includes an intra prediction unit 252 and an inter prediction unit 254.
  • the prediction unit 250 generates a prediction picture by using the encoding type decoded by the entropy decoding unit 210 described above, transformation coefficients for each region, and intra / inter encoding information.
  • a decoded region of the current picture or other pictures including the current block may be used.
  • Intra-picture or I-picture (or tile / slice), intra-prediction, inter-prediction, and intra-BC prediction are used for pictures (or tiles / slices) that use only the current picture for reconstruction, that is, perform intra prediction or intra BC prediction.
  • the picture (or tile / slice) that can be performed is called an inter picture (or tile / slice).
  • a picture (or tile / slice) using at least one motion vector and a reference picture index to predict sample values of each block among inter pictures (or tiles / slices) is a predictive picture or a P picture (or , Tile / slice), and a picture (or tile / slice) using up to two motion vectors and a reference picture index is referred to as a bi-predictive picture or a B picture (or tile / slice).
  • the P picture (or tile / slice) uses up to one set of motion information to predict each block
  • the B picture (or tile / slice) uses up to two motion information to predict each block.
  • the motion information set includes one or more motion vectors and one reference picture index.
  • the intra prediction unit 252 generates a prediction block using intra encoding information and reconstructed samples in the current picture.
  • the intra encoding information may include at least one of an intra prediction mode, a Most Probable Mode (MPM) flag, and an MPM index.
  • MPM Most Probable Mode
  • the intra prediction unit 252 predicts the sample values of the current block by using the reconstructed samples located on the left and / or upper side of the current block as reference samples.
  • reconstructed samples, reference samples, and samples of the current block may represent pixels. Also, sample values may represent pixel values.
  • the reference samples may be samples included in a neighboring block of the current block.
  • the reference samples may be samples adjacent to the left boundary of the current block and / or samples adjacent to the upper boundary.
  • reference samples are located on a line within a predetermined distance from the upper boundary of the current block and / or samples positioned on a predetermined distance from the left boundary of the current block among samples of the neighboring block of the current block.
  • the neighboring blocks of the current block are the left (L) block, the upper (A) block, the lower left (Blow Left, BL) block, the upper right (Above Right, AR) block or the upper left (Above Left,) adjacent to the current block.
  • AL It may include at least one of the blocks.
  • the inter prediction unit 254 generates a prediction block using reference pictures and inter encoding information stored in the decoded picture buffer 256.
  • the inter-coding information may include a set of motion information (reference picture index, motion vector information, etc.) of the current block for the reference block.
  • Inter prediction may include L0 prediction, L1 prediction, and bi-prediction.
  • L0 prediction refers to prediction using one reference picture included in the L0 picture list
  • L1 prediction refers to prediction using one reference picture included in the L1 picture list.
  • one set of motion information eg, motion vector and reference picture index
  • up to two reference regions can be used, and these two reference regions may exist in the same reference picture or may exist in different pictures.
  • two motion vectors may correspond to the same reference picture index or different reference picture indexes. It may correspond.
  • the reference pictures may be displayed (or output) both before and after the current picture in time.
  • two reference regions used may be regions selected from each of the L0 picture list and the L1 picture list.
  • the inter prediction unit 254 may obtain a reference block of the current block using a motion vector and a reference picture index.
  • the reference block is in a reference picture corresponding to a reference picture index.
  • a sample value of a block specified by a motion vector or an interpolated value thereof may be used as a predictor of the current block.
  • an 8-tap interpolation filter for a luma signal and a 4-tap interpolation filter for a chroma signal can be used.
  • the interpolation filter for motion prediction in subpel units is not limited thereto. In this way, the inter prediction unit 254 performs motion compensation to predict the texture of the current unit from the previously reconstructed picture. At this time, the inter prediction unit may use a motion information set.
  • the prediction unit 250 may include an intra BC prediction unit (not shown).
  • the intra BC prediction unit may reconstruct the current region by referring to a specific region including reconstructed samples in the current picture.
  • the intra BC prediction unit obtains intra BC encoding information for the current region from the entropy decoding unit 210.
  • the intra BC prediction unit acquires a block vector value of the current region indicating a specific region in the current picture.
  • the intra BC prediction unit may perform intra BC prediction using the obtained block vector value.
  • the intra BC encoding information may include block vector information.
  • the reconstructed video picture is generated by adding the predicted value output from the intra predictor 252 or the inter predictor 254 and the residual value output from the inverse transform unit 225. That is, the video signal decoding apparatus 200 reconstructs the current block using the prediction block generated by the prediction unit 250 and the residual obtained from the inverse transformation unit 225.
  • FIG. 2 shows the decoding apparatus 200 according to an embodiment of the present invention, and the separately displayed blocks are logically distinguished elements of the decoding apparatus 200. Accordingly, the elements of the above-described decoding apparatus 200 may be mounted as one chip or as multiple chips depending on the design of the device. According to an embodiment, the operation of each element of the above-described decoding apparatus 200 may be performed by a processor (not shown).
  • FIG. 3 illustrates an embodiment in which a coding tree unit (CTU) is divided into coding units (CUs) in a picture.
  • CTU coding tree unit
  • CUs coding units
  • a picture may be divided into a sequence of coding tree units (CTUs).
  • the coding tree unit consists of an NXN block of luma samples and two blocks of chroma samples corresponding thereto.
  • the coding tree unit may be divided into a plurality of coding units.
  • the coding tree unit is not split and may be a leaf node. In this case, the coding tree unit itself may be a coding unit.
  • the coding unit refers to a basic unit for processing pictures in the process of processing the video signal described above, that is, intra / inter prediction, transform, quantization, and / or entropy coding.
  • the size and shape of the coding unit in one picture may not be constant.
  • the coding unit may have a square or rectangular shape.
  • the rectangular coding unit (or rectangular block) includes a vertical coding unit (or vertical block) and a horizontal coding unit (or horizontal block).
  • the vertical block is a block whose height is greater than the width
  • the horizontal block is a block whose width is greater than the height.
  • a non-square block may refer to a rectangular block, but the present invention is not limited thereto.
  • the coding tree unit is first divided into a quad tree (QT) structure. That is, one node having a size of 2NX2N in a quad tree structure may be divided into four nodes having a size of NXN.
  • the quad tree may also be referred to as a quaternary tree. Quad tree splitting can be performed recursively, and not all nodes need to be split to the same depth.
  • the leaf node of the above-described quad tree may be further divided into a multi-type tree (MTT) structure.
  • MTT multi-type tree
  • one node in a multi-type tree structure, one node may be divided into a binary (binary) or ternary (ternary) tree structure of horizontal or vertical division. That is, in the multi-type tree structure, there are four division structures: vertical binary partitioning, horizontal binary partitioning, vertical ternary partitioning, and horizontal ternary partitioning.
  • the width and height of the nodes may all have powers of 2.
  • a node of size 2NX2N may be divided into two NX2N nodes by vertical binary partitioning, and divided into two 2NXN nodes by horizontal binary partitioning.
  • a 2NX2N sized node is divided into (N / 2) X2N, NX2N, and (N / 2) X2N nodes by vertical ternary splitting, and horizontal binary splitting. It can be divided into 2NX (N / 2), 2NXN and 2NX (N / 2) nodes. This multi-type tree splitting can be performed recursively.
  • the leaf node of the multi-type tree can be a coding unit. If the division for a coding unit is not indicated or the coding unit is not large compared to the maximum transform length, the coding unit is used as a unit of prediction and transformation without further division. On the other hand, at least one of the following parameters in the above-described quad tree and multi-type tree may be predefined or transmitted through an RBSP of a higher level set such as PPS, SPS, VPS, and the like.
  • Preset flags may be used to signal the splitting of the above-described quad tree and multi-type tree.
  • a flag 'qt_split_flag' indicating whether to split the quad tree node
  • a flag 'mtt_split_flag' indicating whether to split the multi-type tree node
  • a flag 'mtt_split_vertical_flag indicating a split direction of the multi-type tree node 'Or at least one of the flags' mtt_split_binary_flag' indicating a split shape of a multi-type tree node
  • the coding tree unit is a root node of a quad tree, and may be first divided into a quad tree structure.
  • 'qt_split_flag' is signaled for each node 'QT_node'.
  • the corresponding node is divided into 4 square nodes.
  • the node becomes a leaf node of the quad tree, 'QT_leaf_node'.
  • Each quad tree leaf node 'QT_leaf_node' may be further divided into a multi-type tree structure.
  • 'mtt_split_flag' is signaled for each node 'MTT_node'.
  • the value of 'mtt_split_flag' is 1, the corresponding node is divided into a plurality of rectangular nodes, and when the value of 'mtt_split_flag' is 0, the node becomes a leaf node of the multi-type tree, 'MTT_leaf_node'.
  • 'mtt_split_vertical_flag' When the multi-type tree node 'MTT_node' is divided into a plurality of rectangular nodes (that is, when the value of 'mtt_split_flag' is 1), 'mtt_split_vertical_flag' and 'mtt_split_binary_flag' for the node 'MTT_node' are additionally signaled You can.
  • the value of 'mtt_split_vertical_flag' When the value of 'mtt_split_vertical_flag' is 1, vertical division of the node 'MTT_node' is indicated, and when the value of 'mtt_split_vertical_flag' is 0, horizontal division of the node 'MTT_node' is indicated.
  • the node 'MTT_node' is divided into 2 rectangular nodes, and when the value of 'mtt_split_binary_flag' is 0, the node 'MTT_node' is divided into 3 rectangular nodes.
  • Picture prediction (motion compensation) for coding is performed on coding units that are no longer divided (ie, leaf nodes of the coding unit tree).
  • the basic unit for performing such prediction is hereinafter referred to as a prediction unit or a prediction block.
  • the term unit used in the present specification may be used as a term to replace the prediction unit, which is a basic unit for performing prediction.
  • the present invention is not limited to this, and may be more broadly understood as a concept including the coding unit.
  • the decoder predicts the current block by referring to reconstructed samples of another decoded picture.
  • the decoder obtains a reference block 42 in the reference picture based on the motion information of the current block 32.
  • the motion information may include a reference picture index and a motion vector 50.
  • the reference picture index indicates the reference picture of the current block in the reference picture list.
  • the motion vector 50 represents an offset between the coordinate values of the current block 32 in the current picture and the coordinate values of the reference block 42 in the reference picture.
  • the decoder obtains the predictor of the current block 32 based on the sample values of the reference block 42 and restores the current block 32 using the predictor.
  • sub-block-based motion compensation may be used. That is, the current block 32 is divided into a plurality of sub-blocks, and independent motion vectors may be used for each sub-block. Therefore, each sub-block within the current block 32 can be predicted using a different reference block.
  • the sub-block may have a preset size, such as 4X4 or 8X8.
  • the decoder obtains a predictor of each subblock of the current block 32 using the motion vector of each subblock.
  • the predictor of the current block 32 may be obtained by combining the predictors of each sub-block, and the decoder may reconstruct the current block 32 using the predictor of the current block 32 thus obtained.
  • Subblock-based motion compensation includes affine model-based motion compensation (hereinafter, affine motion compensation or affine motion prediction) and subblock-based temporal motion vector prediction (SbTMVP). It may include.
  • affine motion compensation or affine motion prediction
  • SBTMVP subblock-based temporal motion vector prediction
  • a motion vector may be generated based on a motion vector prediction (or predictor, MVP).
  • MVP motion vector prediction
  • the MV may be determined as an MVP.
  • the MV may be determined (or set, derived) with the same value as the MVP.
  • an MV may be determined based on an MVP and a motion vector difference (MVD).
  • the encoder can signal MVD information to a decoder to indicate a more accurate MV, and the decoder can derive the MV by adding the obtained MVD to the MVP.
  • the encoder transmits the determined motion information to the decoder, and the decoder can generate (or derive) MV from the received motion information and generate a prediction block based on this.
  • the motion information may include MVP information and MVD information.
  • components of the motion information may vary according to the inter prediction mode.
  • the motion information may include MVP information and may not include MVD information.
  • the motion information may include MVP information and MVD information.
  • the encoder and the decoder may generate MVP candidates (or MVP candidate lists) in the same way. For example, the encoder and the decoder can generate the same MVP candidate in the same order.
  • the encoder transmits an index indicating (or indicating) the determined (or selected) MVP among the generated MVP candidates to the decoder, and the decoder can derive the determined MVP and / or MV based on the received index.
  • the MVP candidate may include a spatial candidate, a temporal candidate, and the like.
  • the MVP candidate may be referred to as a merge candidate when the merge mode is applied, and may be referred to as an AMVP candidate when the AMVP mode is applied.
  • the spatial candidate may be an MV (or motion information) for a block at a specific location based on the current block.
  • the spatial candidate may be an MV of a block adjacent to or not adjacent to the current block.
  • the time candidate may be an MV corresponding to a block in a picture different from the current picture.
  • the MVP candidate may include affine MV, ATMVP, STMVP, a combination of the aforementioned MVs (or candidates), an average MV of the aforementioned MVs (or candidates), a zero MV, and the like.
  • the encoder may signal information representing a reference picture to a decoder.
  • the encoder / decoder may scale the MV of the MVP candidate (motion vector scaling). At this time, MV scaling may be performed based on a picture order count (POC) of the current picture, a POC of a reference picture of the current block, and a POC of a reference picture of the MVP candidate.
  • POC picture order count
  • Table 1 illustrates a syntax structure for MVD signaling.
  • the MVD may be coded by dividing the MVD's sign and absolute value. That is, the sign and absolute value of the MVD may be different syntaxes (or syntax elements). Further, the absolute value of the MVD may be directly coded, or may be coded step by step based on a flag indicating whether the absolute value is greater than N as shown in Table 1. If the absolute value is greater than N, the value of (absolute value-N) may be signaled together. Specifically, in the example of Table 1, abs_mvd_greater0_flag indicating whether the absolute value is greater than 0 may be transmitted.
  • abs_mvd_greater0_flag indicates (or indicates) that the absolute value is not greater than 0, the absolute value of the MVD may be determined as 0. Also, if abs_mvd_greater0_flag indicates that the absolute value is greater than 0, additional syntax (or syntax element) may be present.
  • abs_mvd_greater1_flag indicating whether the absolute value is greater than 1 may be transmitted. If abs_mvd_greater1_flag indicates (or indicates) that the absolute value is not greater than 1, the absolute value of the MVD may be determined as 1. If abs_mvd_greater1_flag indicates that the absolute value is greater than 1, additional syntax may be present. For example, abs_mvd_minus2 may be present. abs_mvd_minus2 may be a value of (absolute value-2).
  • the value (absolute value-2) may be signaled.
  • the syntax related to the absolute value described above is applied to a variable length binary method, such as exponential-Golomb, truncated unary, and truncated rice. Can be coded.
  • a flag indicating the sign of the MVD may be signaled through mvd_sign_flag.
  • the absolute value may be coded as a flag indicating whether the absolute value is greater than a predetermined specific value and a value obtained by subtracting the specific value from the absolute value.
  • [0] and [1] may indicate a component index. For example, it may represent an x-component (ie, a horizontal component) and a y-component (ie, a vertical component).
  • FIG. 7 is a diagram illustrating a signaling method of adaptive motion vector resolution information according to an embodiment of the present invention.
  • resolution for representing MV or MVD may be varied.
  • the resolution may be expressed based on pixels (or pels).
  • MV or MVD may be signaled in units of 1/4 (quarter), 1/2 (half), 1 (integer), 2, and 4 pixels.
  • the encoder may signal resolution information of MV or MVD to a decoder.
  • valueDetermined represents MV or MVD value.
  • valuePerResolution represents a value signaled based on the determined resolution. At this time, if the value signaled by MV or MVD does not fall divided by the determined resolution, a rounding process may be applied.
  • Using a high resolution can increase the accuracy, whereas a large number of bits can be used because the coded value is large, and using a low resolution can use less bits because the coded value is small for a half name that can lower the accuracy.
  • the above-described resolution may be set differently in units such as a sequence, a picture, a slice, a coding tree unit (CTU), and a coding unit (CU). That is, the encoder / decoder can adaptively determine / apply the resolution according to a predefined unit among the above-described units.
  • the above-described resolution information may be signaled from an encoder to a decoder.
  • the information on the resolution may be signaled by binarization based on the variable length described above.
  • signaling overhead may be reduced.
  • it may be mapped to the signaling index in order from high resolution to low resolution.
  • FIG. 7 shows a signaling method on the assumption that three resolutions among various resolutions are used.
  • the three signaling bits may be 0, 10, and 11, and the three signaling indexes may refer to a first resolution, a second resolution, and a third resolution, respectively. Since 1 bit is required to signal the first resolution and 2 bits are required to signal the remaining resolution, signaling overhead may be relatively reduced when signaling the first resolution.
  • the first resolution, the second resolution, and the third resolution may be defined as 1/4, 1, and 4 pixel resolutions, respectively.
  • the MV resolution may mean the resolution of the MVD.
  • FIG. 8 illustrates affine motion compensation according to an embodiment of the present invention.
  • inter prediction since inter prediction is performed using only one motion vector for each L0 prediction and L1 prediction for a current block, it is optimized for prediction of translation motion.
  • reference blocks 44 of various shapes and sizes need to be used.
  • prediction of the current block 34 may be performed using the reference block 44 having a different size, shape, and / or direction from the current block 34. That is, the reference block 44 may have a non-rectangular shape, and may be larger or smaller in size than the current block 34.
  • the reference block 44 may be obtained by performing affine transformation on the current block 34.
  • the affine transform may include a six-parameter affine transform using three control point motion vectors (CPMV) and a four-parameter affine transform using two control point motion vectors. Specific embodiments thereof will be described later.
  • affine motion prediction may be performed using a preset number of control point motion vectors (CPMVs).
  • CPMV control point motion vector
  • the specific control point may include at least one of the edges of the current block.
  • the CPMV corresponding to the upper left corner of the current block is v0 (or the first CPMV), and the CPMV corresponding to the upper right corner of the current block is v1 (or the second CPMV), the current The CPMV corresponding to the lower left corner of the block is referred to as v2 (or third CPMV), respectively.
  • a CPMV set including at least two CPMVs may be used for affine motion prediction.
  • 4-parameter affine motion prediction may be performed using v0 and v1.
  • the current block 36 indicated by a solid line may be predicted using the reference block 46 at a position indicated by a dotted line.
  • Each sample of the current block 36 may be mapped to a different reference sample through affine transformation. More specifically, the motion vector (v x , v y ) at the sample position (x, y) of the current block 36 can be derived by Equation 4 below.
  • (v 0x , v 0y ) is the first CPMV corresponding to the upper left corner of the current block 36
  • (v 1x , v 1y ) is the second CPMV corresponding to the upper right corner of the current block.
  • w is the width of the current block 36.
  • affine motion may be represented using a plurality of CPMVs or a plurality of parameters.
  • the encoder / decoder may perform affine motion prediction using CPMV of v0, v1, and v2.
  • three control point motion vectors (CPMV) v0, v1, and v2 may be used for affine motion prediction.
  • CPMV control point motion vectors
  • the current block 36 indicated by a solid line can be predicted from the reference block 46 indicated by a dotted line in FIG. 10 in the reference picture. That is, each control point (or the pixel at the corresponding position) of the current block 36 may be mapped to another point (or pixel) through affine transformation.
  • Equation 5 is an expression showing a motion vector field according to an embodiment of the present invention.
  • CPMV v0 representing a motion vector of a top-left corner control point in FIG. 10 may be expressed as (mv_0 ⁇ x, mv_0 ⁇ y).
  • CPMV v1 representing a motion vector of a top-right corner control point may be expressed as (mv_1 ⁇ x, mv_1 ⁇ y).
  • CPMV v2 representing a motion vector of a bottom-left corner control point may be expressed as (mv_2 ⁇ x, mv_2 ⁇ y).
  • the motion vectors at (x, y) positions (mv ⁇ x, mv ⁇ y) may be derived (or calculated) using Equation (5). Accordingly, a motion vector for each pixel position or a specific position may be derived according to Equation 5 based on the control point motion vectors v0, v1, and v2.
  • (x, y) in Equation 5 may be relative coordinates in a block.
  • (x, y) may be a position based on the upper left position when the upper left position of the block is (0, 0). Therefore, if the position of v0 is (x0, y0), the position of v1 is (x1, y1), and the position of v2 is (x2, y2), (x, y) is the position of v0, v1, v2 Using the same coordinates, in equation 5, x and y can be expressed as (x-x0) and (y-y0), respectively. In this case, w representing the width of the block may be (x1-x0), and h representing the height of the block may be (y2-y0).
  • affine motion compensation method based on a sub-block.
  • a motion vector ie, a motion vector field
  • affine motion compensation based on sub-blocks may be performed according to an embodiment of the present invention.
  • the current block may include a plurality of sub-blocks, and a representative motion vector of each sub-block is obtained based on the CPMV set.
  • a representative motion vector of each sub-block may be a motion vector corresponding to a center sample position of the corresponding sub-block.
  • a motion vector with higher accuracy than a general motion vector may be used as a motion vector of a subblock.
  • a motion compensation interpolation filter can be applied.
  • the size of a sub-block in which affine motion compensation is performed can be set in various ways.
  • the sub-block may have a predetermined size, such as 4X4 or 8X8.
  • the size MXN of the sub-block may be determined by Equation 6 below.
  • w is the width of the current block
  • MvPre is the fractional accuracy of the motion vector.
  • (v2x, v2y) is a third CPMV corresponding to the lower left corner of the current block, and may be calculated by Equation 5 according to an embodiment.
  • max (a, b) is a function that returns the larger of a and b
  • abs (x) is a function that returns the absolute value of x.
  • clip3 (x, y, z) is a function that returns x if z ⁇ x, y if z> y, and z otherwise.
  • the decoder obtains motion vectors of each subblock of the current block using CPMVs of the CPMV set. In addition, the decoder obtains a predictor of each subblock using a motion vector of each subblock, and combines a predictor of each subblock to obtain a predictor of the current block. The decoder may reconstruct the current block using the predictor of the current block thus obtained.
  • a CPMV set for prediction of a current block can be obtained in various ways. More specifically, a CPMV set for prediction of a current block may be obtained by referring to a motion vector information set of one or more neighboring blocks.
  • motion vector information may indicate a motion vector of a corresponding block or CPMV of a corresponding block.
  • the motion vector information set refers to a set of motion vector information of one or more blocks.
  • the neighboring block may refer to a block including a preset neighboring position of the current block.
  • the peripheral block may be a coding unit including a preset peripheral location or an area of a preset unit (eg, 4X4, 8X8) including the peripheral location.
  • an indicator indicating a set of motion vector information to be referenced may be signaled to derive a motion vector of each subblock of the current block.
  • the indicator may indicate a motion vector information set of neighboring block (s) to be referenced to derive a motion vector of each subblock of the current block.
  • the decoder may acquire the indicator and acquire each CPMV of the CPMV set for the current block by referring to the motion vector information set of the neighboring block (s) indicated by the indicator.
  • the decoder may generate a candidate list consisting of one or more motion vector information set candidates.
  • Each motion vector information set candidate constituting the candidate list is a motion vector set of neighboring blocks usable to derive motion vector information of the current block.
  • the indicator may be an index indicating any one set of motion vector information from the candidate list.
  • CPMVs of the current block may be obtained by referring to a set of motion vector information selected based on the indicator (ie, index) among candidate lists.
  • various embodiments of a motion vector information set candidate that may be included in a candidate list for deriving motion vector information (or CPMV set) of the current block will be described.
  • the CPMV set of the current block includes two CPMVs, v0 and v1.
  • the CPMV of the current block may be derived from motion vectors of neighboring blocks adjacent to the corresponding point.
  • v0 may be derived from a motion vector of any of the adjacent blocks A, B, and C adjacent to the point
  • v1 is a motion vector of any of the adjacent blocks D and E adjacent to the point. Can be derived from.
  • the motion vector information set that can be included in the candidate list can be derived as shown in Equation 7 below. have.
  • a pair (v0, v1) consisting of v0 selected from vA, vB, and vC and v1 selected from vD and vE may be obtained.
  • v0 is derived from the motion vector of the block adjacent to the upper left corner of the current block
  • v1 is derived from the motion vector of the block adjacent to the upper right corner of the current block.
  • motion vector scaling may be performed based on a picture order count (POC) of a current block, a POC of a reference picture of a neighboring block, and a POC of a reference picture of a current block.
  • POC picture order count
  • a candidate list including a motion vector information set candidate thus obtained may be generated, and an indicator indicating one of the candidate motion vector information sets may be signaled.
  • the candidate list may also include a motion vector information set candidate for inter prediction of other methods.
  • the candidate list may include a motion vector information set candidate for sub-block-based temporal motion vector prediction (SbTMVP).
  • the decoder may derive CPMVs of the current block based on the motion vector information set obtained from the candidate list.
  • the decoder may perform affine merge prediction by using motion vectors of a motion vector information set obtained from a candidate list as a CPMV of a current block without a separate motion vector difference value.
  • the decoder may obtain a separate motion vector difference value for CPMV of the current block.
  • the decoder may obtain the CPMV of the current block by adding the motion vector of the motion vector information set obtained from the candidate list to the motion vector difference value.
  • a flag or an index indicating whether a decoder uses a separate motion vector difference value for affine motion compensation of the current block may be signaled separately.
  • the CPMV of the current block may be derived from motion vector information of a neighboring block in which affine motion compensation is performed, that is, a CPMV or motion vector of the neighboring block.
  • the peripheral block may include a left peripheral block of the current block and an upper peripheral block of the current block. 13 (a), the left peripheral block includes blocks adjacent to the lower left corner of the current block, that is, the left block A and the lower left block D.
  • the upper peripheral block includes a block adjacent to the upper left corner of the current block, that is, the upper left block E, and blocks adjacent to the upper right corner of the current block, that is, the upper block B and the upper right block C.
  • the decoder checks whether the neighboring blocks have affine motion compensation in a predetermined order. When a neighboring block on which affine motion compensation is performed is found, the decoder acquires the CPMV set of the current block using the CPMV set (or motion vector) of the neighboring block. Referring to the embodiment of FIG. 13 (b), the CPMV set of the left block A can be used to derive the CPMV set of the current block. That is, the CPMV set (v0, v1) of the current block may be obtained based on the CPMV set (v2, v3, v4) of the left block A.
  • CPMV sets of neighboring blocks of the current block may be motion vector information set candidates that compose the candidate list described above according to a preset order. More specifically, the motion vector information set candidate is derived from the first candidate derived from CPMVs (or motion vectors) of the left neighboring block of the current block, and from the CPMVs (or motion vector) of the upper neighboring block of the current block. May include a second candidate.
  • the left peripheral block is a block adjacent to the lower left corner of the current block
  • the upper peripheral block is a block adjacent to the upper left corner of the current block or a block adjacent to the upper right corner of the current block.
  • a candidate list including a motion vector information set candidate thus obtained may be generated, and an indicator indicating one of the candidate motion vector information sets may be signaled.
  • the indicator may indicate location information of a neighboring block (s) referenced to derive a motion vector of each subblock of the current block.
  • the decoder may obtain the CPMV set of the current block by referring to the CPMV set (or motion vector) of the neighboring block indicated by the indicator.
  • the CPMV of the current block may be derived based on the CPMV of the neighboring block close to the corresponding point.
  • v0 may be obtained by referring to CPMV of the left peripheral block
  • v1 may be obtained by referring to CPMV of the upper peripheral block.
  • v0 may be obtained by referring to CPMV of neighboring blocks A, D, or E
  • v1 may be obtained by referring to CPMV of neighboring blocks B or C.
  • CPMVs may be required for affine motion prediction, and a motion vector field, that is, a motion vector for a subblock or a position (or pixel) may be calculated based on the CPMVs.
  • the CPMV may be referred to as a seed vector.
  • CPMV may be derived based on a predictor.
  • a predictor can be determined as CPMV.
  • CPMV may be calculated based on a predictor and a difference. Specifically, CPMV can be calculated by adding or subtracting a difference to a predictor.
  • the predictor of CPMV may be derived from CPMV or MV of a surrounding affine motion compensation (MC) block (ie, a peripheral block encoded in affine mode).
  • MC affine motion compensation
  • the encoder / decoder may derive a predictor for affine motion compensation of the current block from CPMV or MV of the corresponding block.
  • the preset position may be the A0, A1, B0, B1, B2 position shown in FIG. 14.
  • the preset location may include a location adjacent to and / or a location not adjacent to the current block.
  • the encoder / decoder may refer to the CPMV or MV of a spatially neighboring preset position, or may refer to the CPMV or MV of a temporally neighboring preset position.
  • candidates based on the above-mentioned affine MC block may be referred to as inherited candidates.
  • the candidate based on the above-mentioned Appine MC block may be referred to as a merge candidate.
  • the encoder / decoder may refer to a predetermined order when referring to preset positions.
  • CPMVs may be required for affine motion prediction, and a motion vector field, that is, a motion vector for a subblock or a position, may be calculated based on the CPMVs.
  • the CPMV may be referred to as a seed vector.
  • CPMV may be derived based on a predictor.
  • a predictor can be determined as CPMV.
  • CPMV may be calculated based on a predictor and a difference. Specifically, CPMV can be calculated by adding or subtracting a difference to a predictor.
  • the encoder / decoder may derive a predictor of CPMV using MV of a neighboring block.
  • the MV of the neighboring block may also include an MV in the case of not being the MV of an affine MCed block.
  • the encoder / decoder can use the MV of a preset position for each CPMV as a predictor of CPMV.
  • the preset position may be a part included in a block adjacent to the part.
  • the encoder / decoder may determine CPMV mv0, mv1, and mv2.
  • mv0 represents the upper left CPMV
  • mv1 represents the upper right CPMV
  • mv2 represents the lower left CPMV.
  • the encoder / decoder may use MVs corresponding to preset positions A, B, and C as predictors for mv0.
  • the encoder / decoder can use the MV corresponding to the preset positions D and E as a predictor for mv1.
  • the encoder / decoder can use the MV corresponding to the preset positions F and G as a predictor for mv2.
  • an order of referring to a preset position for each control point position may be predefined.
  • a plurality of preset positions referred to as predictors of CPMV may exist for each control point position, and a combination of possible preset positions may be predefined.
  • candidates (or predictors) for affine MCs may be derived, and these candidates may be referred to as constructed candidates. Or, such a candidate may be referred to as an inter candidate or a virtual candidate.
  • the encoder / decoder may refer to a predetermined order when referring to preset positions.
  • the encoder / decoder may generate a candidate list of affine MC or a CPMV candidate list of affine MC in the embodiment described in FIGS. 12 to 15 or a combination thereof. Equation 8 below illustrates an affine motion predictor derivation method according to an embodiment of the present invention.
  • CPMV for affine motion prediction of the current block may be derived from a neighboring affine motion predicted block.
  • Equation 8 may be used.
  • the MVs of the top-left, top-right, and bottom-left control points of the neighboring affine motion predicted block are (v_E0x, v_E0y), (v_E1x, v_E1y, respectively. ), (v_E2x, v_E2y).
  • the coordinates of the top-left, top-right, and bottom-left of the neighboring affine motion predicted block are (x_E0, y_E0), (x_E1, y_E1), (x_E2, respectively). y_E2).
  • the encoder / decoder may calculate (v_0x, v_0y), (v_1x, v_1y), which are predictors or CPMVs of the CPMV of the current block according to Equation (8).
  • Equations 9 and 10 below illustrate an affine motion predictor derivation method according to an embodiment of the present invention.
  • the encoder / decoder can derive another CPMV or CPMV predictor from one CPMV or CPMV predictor.
  • the encoder / decoder may derive (or generate) two CPMV or two CPMV predictors by the method described above, and derive another CPMV or another CPMV predictor based on this.
  • the encoder / decoder may derive (or generate) CPMV predictors or CPMVs mv0, mv1, and mv2 of the upper left, upper right, and lower left using Equations 9 and 10.
  • x and y denote x-components and y-components, respectively, and the size of the current block may be w * h.
  • the encoder / decoder can determine the CPMV by making a predictor for the CPMV and adding the difference to the current block in order to affine the MC.
  • a predictor of CPMV may be generated by the method described with reference to FIGS. 14 to 15, and a difference of CPMV may be signaled from an encoder to a decoder.
  • a difference may exist for each CPMV.
  • the difference for each CPMV can be signaled, respectively.
  • the 4-parameter model two CPMVs can be used, and the MV of each CPMV can be derived by adding mvd0 and mvd1 to the predictors of each CMPV, respectively.
  • three CPMVs can be used, and the MV of each CPMV can be derived by adding mvd0, mvd1, and mvd2 to the predictor of each CMPV, respectively.
  • the encoder / decoder may determine a motion vector difference based on Equation 11 below.
  • MvdL0 [x0] [y0] [compIdx] may be set to lMvd [compIdx].
  • compIdx represents a component index, and may have values of 0 and 1. If the reference list is 1, MvdL1 [x0] [y0] [compIdx] may be set to lMvd [compIdx].
  • the motion vector difference may be signaled by the method described in Table 1 above, and the motion vector difference may be lMvd of Equation (11).
  • the encoder / decoder may determine the signaled mvd as a difference to the predictor of CPMV, and the determined difference may be MvdL0 and MvdL1 of Equation (11).
  • L0 may refer to reference list 0
  • L1 may refer to reference list 1.
  • the encoder / decoder may determine a CPMV by deriving a predictor for CPMV and adding a difference to it to perform affine MC for the current block.
  • the encoder / decoder may generate a predictor of CPMV by the method described in FIGS. 14 to 15.
  • the difference of the CPMV may be signaled from the encoder to the decoder.
  • the encoder / decoder may derive CPMV based on Equations 12 and 13 below.
  • a predictor for a difference for each CPMV may exist.
  • the difference of another CPMV may be determined based on the difference of one CPMV. This may be based on differential similarity to CPMV. That is, since the difference with respect to CPMV is similar, if a predictor for one CPMV is determined, a predictor for CPMV can be determined using relatively little information.
  • a differential predictor for CPMV is signaled, and a differential with a differential predictor for CPMV can be signaled from an encoder to a decoder. Equation 12 assumes that a 4-parameter model is used, and Equation 13 assumes that a 6-parameter model is used.
  • the encoder / decoder may determine the difference and CPMV for each CPMV based on the difference (mvd0) of mv0, which is CPMV 0.
  • Mvd0, mvd1, and mvd2 of Equations 12 and 13 may be signaled from an encoder to a decoder.
  • the methods of Equations 12 and 13 may use different predictors, such as the method described in FIG. 15, but the values of mvd1 and mvd2 signaled may be different.
  • the encoder / decoder may determine the difference from the predictor of mv1 as (mvd1 + mvd0), and determine the difference from the predictor of mv2 as (mvd2 + mvd0).
  • the top bar may indicate a predictor of CPMV.
  • the encoder / decoder may determine a motion vector difference based on Equation 14 below. At this time, Equations 12 and 13 described above may be applied.
  • the motion vector difference may be signaled according to Table 1 described above or Table 2 described below.
  • the signaled motion vector difference may be lMvd of Equation (14).
  • mvd signaled in Equations 12 and 13, that is, mvd0, mvd1, and mvd2 may be lMvd of Equation 14.
  • MvdLX may indicate a difference from a predictor of each CPMV. That is, it may be (mv-mvp).
  • the signaled motion vector difference for CPMV 0 can be directly used as the difference for the CPMV (MvdLX), and the signaled motion vector difference for other CPMV (in Equations 12 and 13) mvd1, mvd2) and CPMV 0 based on the motion vector difference (mvd0 in equations 12 and 13), which can be used as the difference in CPMV, MvdLX.
  • LX may represent the reference list X.
  • compIdx indicates a component index, and may indicate x and y components.
  • cpIdx may indicate a control point index.
  • cpIdx may mean 0, 1 or 0, 1, 2 represented by Equations (12) and (13).
  • the encoder / decoder may consider the resolution of the motion vector difference. For example, when the resolution is R, the value of lMvd * R may be used as lMvd of Equation (14).
  • Table 2 below is a diagram illustrating a motion vector differential syntax structure according to an embodiment of the present invention.
  • the motion vector difference can be coded in substantially the same way as described in Table 1 above.
  • coding for the motion vector difference may be individually performed according to the cpIdx and / or the control point index.
  • the encoder / decoder may import (or derive) motion vectors of temporal neighboring blocks in units of subblocks.
  • the encoder / decoder may import motion vectors corresponding to subblocks of the current block from other pictures.
  • the block may be a CU and the sub-block may be a sub-CU.
  • another picture may be a collocated picture.
  • the SbTMVP may be referred to as a sub-block-based time merge candidate, alternative temporal motion vector prediction (ATMVP).
  • the encoder / decoder may search a block corresponding to the current block (which may be referred to as a corresponding block or reference block) in another picture.
  • the corresponding block may be referred to as a collocated block.
  • the collocated block may be determined as a block of another picture corresponding to a predetermined position, such as the lower right or center position of the current block.
  • the collocated block in SbTMVP may be a motion compensated block.
  • the encoder / decoder can find the collocated block by referring to the motion vector around the current block.
  • a block of a position moved from a current block position in another picture by a motion vector of A1 position among neighboring blocks of the current block may be determined (or derived) as a collocated block.
  • a motion vector indicating (or pointing to) a collocated block may be derived based on a motion vector of a candidate that scans and scans predetermined positions around a current block in a predetermined order.
  • a motion vector indicating a collocated block may be determined based on a part of the merge candidate list. For example, the encoder / decoder can determine the collocated block using the first merge candidate in the merge candidate list.
  • the encoder / decoder may determine (or derive) motion information of a subblock of a current block from motion information of a subblock of a collocated block.
  • the motion vector may mean motion information including a motion vector, a reference index, whether to use a reference list, and the like, despite its expression.
  • the sub-blocks of the collocated block which is the basis of motion information of the sub-blocks of the current block, may have the same relative position in the block CU. That is, two sub-blocks may have the same relative position in the block.
  • the sub-block size when SbTMVP is used, may be fixed to a predefined size. For example, it can be fixed to a size of 8x8. In another embodiment, the sub-block size may be variable. At this time, sequence, picture, slice, CTU or CU unit signaling may be present to determine a variable subblock size. For example, the sub-block size may be variably determined to be 4x4 or 8x8 size.
  • the encoder / decoder may generate a motion vector field in a subblock unit of a current block using a planner MVP method. Also, the encoder / decoder can refer to the surrounding motion vectors through the planner MVP method. Also, in the planner MVP method, the encoder / decoder may determine a subblock motion vector based on linear weighted summation of one or more surrounding motion vectors. At this time, the neighboring motion vectors may include motion information extrapolated from the motion vectors of adjacent blocks. For example, the encoder / decoder may perform an extrapolation process using the motion vector of the lower or right position of the current block using the motion vector of the adjacent block.
  • a motion vector P (x, y) corresponding to a subblock of the current block may be determined based on P_h (x, y) or P_v (x, y).
  • W and H indicate the width and height of the current block, respectively.
  • P_h (x, y) may be determined based on L (-1, y) or R (W, y).
  • L (-1, y) may be a motion vector corresponding to a subblock at a position adjacent to the current block on the left side of the current subblock.
  • R (W, y) may be a value based on a motion vector corresponding to a right upper position of the current block and a time motion vector corresponding to a lower right position of the current block.
  • P_v (x, y) may be determined based on A (x, -1) or B (x, H).
  • a (x, -1) may be a motion vector corresponding to a subblock adjacent to the current block above the current subblock.
  • B (x, H) may be a weighted value based on a motion vector corresponding to a lower left position of a current block and a right upper motion vector corresponding to a lower right position of a current block.
  • Table 3 below is a diagram illustrating a syntax structure related to inter prediction according to an embodiment of the present invention.
  • the inter prediction method may include skip mode, merge mode, inter mode, and the like.
  • a residual signal may not be transmitted.
  • an MV determination method such as merge mode may be applied.
  • whether to use the skip mode may be determined according to a skip flag (or syntax element). Referring to Table 3, whether to use the skip mode may be determined according to the cu_skip_flag value. The cu_skip_flag indicates whether skip mode is applied to the current CU.
  • motion vector difference may not be used when the merge mode is applied.
  • the encoder / decoder may determine a motion vector based on a motion candidate index. For example, whether to use the merge mode may be determined according to a merge flag (or syntax element). Referring to Table 3, whether a merge mode is applied may be determined according to a merge flag (ie, merge_flag) value. Also, when the skip mode is not used, the merge mode may be used.
  • the encoder / decoder may be selectively used among a set of one or more candidate lists in a skip mode or a merge mode.
  • the set of candidate lists may include a candidate list using merge candidates and / or a candidate list using subblock-based merge candidates.
  • the merge candidate may include a spatial neighboring candidate, a temporal neighboring candidate, and the like.
  • the merge candidate may include a candidate that uses motion vectors for the entire current block (CU). That is, motion vectors of each sub-block belonging to the current block may include the same candidate.
  • the subblock merge candidate may include a subblock-based temporal MV, an affine merge candidate, and the like.
  • the sub-block merge candidate may include a candidate using a different motion vector for each sub-block of the current block (CU).
  • the affine merge candidate may represent a merge candidate that determines CPMV of affine motion prediction without motion vector difference.
  • the subblock merge candidate may include methods for determining a motion vector in units of subblocks in a current block.
  • the subblock merge candidate may include a planner MV, a regression based MV, an STMVP, etc. in addition to the aforementioned subblock based time MV and affine merge candidate.
  • the encoder / decoder may use motion vector difference.
  • a motion vector predictor may be determined based on a motion candidate index, and a motion vector may be determined based on a difference between the motion vector predictor and the motion vector.
  • Whether to use the inter mode may be determined according to whether other modes are used. In another embodiment, whether to use the inter mode may be determined by a flag (or syntax element). Table 3 assumes an example of using inter mode when other modes, skip mode and merge mode, are not used.
  • the inter mode may include AMVP mode, affine inter mode, and the like.
  • the inter mode may be a mode for determining a motion vector based on a motion vector predictor and a motion vector difference.
  • affine inter mode the encoder / decoder can use motion vector differences when determining the CPMV of affine motion prediction.
  • the encoder / decoder may determine whether to use a subblock merge candidate or a merge candidate after determining a skip mode or a merge mode.
  • the decoder may parse merge_subblock_flag indicating whether to use a subblock merge candidate when a specific condition is satisfied.
  • the specific condition may be a condition related to block size. For example, it may be a condition regarding width, height, area, etc., or a combination of the above conditions.
  • the specific condition may be whether the width and height of the current block CU are greater than or equal to a specific value. If merge_subblock_flag is not parsed, the encoder / decoder can infer the value to 0.
  • the encoder / decoder may use a subblock merge candidate if merge_subblock_flag is 1, and a merge candidate if 0.
  • a merge_subblock_idx indicating an index (or syntax element) indicating a specific candidate in the candidate list (subblock merge candidate list) can be parsed, and when using a merge candidate, the candidate list (merging A candidate index) may parse a merge index indicating an index indicating a specific candidate.
  • the encoder / decoder may not parse if the maximum number of candidate lists is 1. That is, the encoder / decoder may parse the index when the maximum number of candidate lists is greater than 1. If the merge_subblock_idx or merge index is not parsed, the encoder / decoder can infer the value to 0.
  • Table 3 above illustrates a coding unit function
  • intra prediction information may be omitted
  • Table 3 may be an example when it is determined that inter prediction is applied.
  • the encoder / decoder may determine whether to add a candidate to a candidate list in consideration of the size of a current block or a size of a subblock.
  • the above-described sizes may be defined based on the width or height or area of a block or sub-block.
  • the candidate when there are multiple candidates that may belong to a subblock merge candidate, it may be determined whether the subblock size of the multiple candidates is added to the candidate list by considering the size of the current block. Also, a condition that considers the size of a current block for a candidate may be based on the size of a subblock of the candidate.
  • the candidate before adding the candidate list
  • the encoder / decoder may determine which candidate to add to the candidate list according to the block size condition of the current block. For example, the encoder / decoder may determine whether to add the candidate to the candidate list according to whether or not the current block size is greater than or equal to a block size threshold. Also, the block size condition or threshold may be determined according to the subblock size of the candidate. This is because the subblock-based prediction method can increase compression efficiency through subblock-based prediction in blocks larger than the subblock size or sufficiently larger than the subblock size. For example, in the case of a block equal to or smaller than the subblock size, even if subblock-based prediction is applied, motion information in a subblock unit may not be obtained, and consequently, it may not contribute to compression efficiency. have.
  • the encoder / decoder may configure a first candidate list when the size of the current block is a preset size or less than a preset size, and a second candidate list when the current block is greater than or equal to the preset size.
  • candidate types belonging to the candidate list 2 may include candidate types belonging to the candidate list 1. For example, when the sub-block size of the first mode is set to the first sub-block size, and the sub-block size of the second mode is set to the second sub-block size, the encoder / decoder when the current block is a preset size. Only the second mode can be added to the candidate list, and when the current block is larger than a preset size, both the first mode and the second mode can be added to the candidate list.
  • the first sub-block size may be 8x8 and the second sub-block size may be 4x4.
  • the preset size may be 8x8.
  • the predetermined size may have a width (or height) of 8.
  • the first mode may be SbTMVP
  • the second mode may be affine merge mode.
  • the sub-block-based merge candidate list may be configured (or generated) in the following manner.
  • subblockMergeCandList [i ++] is set to SbCol. That is, SbCol can be added to the candidate list.
  • subblockMergeCandList [i ++] represents the i ++ th subblock merge candidate in the subblock merge candidate list
  • SbCol represents a subblock-based time merge candidate (or SbTMVP).
  • subblockMergeCandList [i ++] is set to A. That is, the candidate A (or the candidate at position A) can be added as the next candidate.
  • subblockMergeCandList [i ++] is set to B. That is, the candidate B can be added as the next candidate.
  • subblockMergeCandList [i ++] is set to Const1. That is, the Const1 candidate can be added as the next candidate. Const1 represents the first candidate among the aforementioned candidates.
  • Const2 represents the second candidate among the configured candidates described above.
  • subblockMergeCandList [i ++] is set to Const3. That is, the Const3 candidate can be added as the next candidate. Const3 represents the third candidate among the aforementioned candidates.
  • Const4 represents the fourth candidate among the configured candidates described above.
  • subblockMergeCandList [i ++] is set to Const5. That is, the Const5 candidate can be added as the next candidate. Const5 represents the fifth candidate among the aforementioned candidates.
  • subblockMergeCandList [i ++] is set to Const6. That is, the Const1 candidate can be added as the next candidate. Const6 represents the sixth candidate among the aforementioned candidates.
  • the encoder / decoder adds the SbCol candidate to the candidate list subblockMergeCandList only when the predefined block size condition is satisfied.
  • the block size condition for determining whether to add SbTMVP to the candidate list may be determined according to the subblock size of SbTMVP.
  • cbWidth represents the width of the current coding block
  • cbHeight represents the height of the current coding block.
  • A, B, Const1, Const2, Const3, Const4, Const5, and Const6 may be affine merge candidates.
  • a and B are affine inheritance candidates
  • ConstX (X is one of 1 to 6) may be affine configured candidates.
  • the encoder / decoder may determine whether to parse the candidate index according to the block size condition of the current block. For example, when all of the candidates except one of the multiple candidates are not added to the candidate list due to block size conditions and other conditions when multiple candidates exist, the encoder / decoder may not parse the candidate index. For example, if there are two candidates that can be added to the candidate list, the encoder / decoder may determine whether to parse the candidate index according to the block size condition. For example, if one of the two candidates that can be added to the candidate list does not satisfy the block size condition, the encoder / decoder may not parse the candidate index.
  • Table 4 below is a diagram illustrating syntax related to inter prediction according to an embodiment of the present invention.
  • the subblock mode may be used when the size of the current block is larger than the subblock size.
  • the subblock merge mode may be used when the size of the current block is larger than the subblock size.
  • the subblock size is 8x8
  • the subblock mode may be used when the current block size is 16x16 or more (or when the width or height is 16 or more).
  • Using the sub-block mode may indicate whether to parse a flag indicating whether to use a mode corresponding to the sub-block mode.
  • flags indicating whether to use the mode corresponding to the subblock mode may be merge_subblock_flag, inter_affine_flag, and the like. In Table 4, a description overlapping with Table 3 is omitted.
  • the encoder / decoder may use the subblock mode not only when the current block size is larger than the subblock size, but also when the subblock size is the same. This is because the subblock mode motion compensation method may be different from the subblock mode.
  • a subblock-based merge mode may be referred to as a subblock mode.
  • Table 5 below is a diagram illustrating syntax related to inter prediction according to an embodiment of the present invention.
  • a subblock mode may be used when the width of the current block satisfies a specific condition or the height of the current block satisfies a specific condition. For example, even if the width or height of the current block is equal to the size of one side of the subblock size, if the width or height of the unequal is greater than the size of one side of the subblock size (or the size of the other side), multiple subblocks within the current block Because it can exist. Therefore, the subblock mode may be used when the width of the current block is greater than the width of the subblock or the height of the current block is greater than the height of the subblock.
  • the subblock mode may be used when the width of the current block is greater than or equal to the width of the subblock, or the height of the current block is greater than or equal to the height of the subblock.
  • Table 5 descriptions that overlap with Table 3 and Table 4 are omitted.
  • the encoder / decoder may use a subblock merge mode.
  • the decoder may use affine inter mode.
  • Tables 6 and 7 are diagrams illustrating subblock merge related syntax according to an embodiment of the present invention.
  • whether a specific mode is usable in the first unit may be signaled.
  • the decoder may signal whether the mode is actually used in the second unit belonging to the encoder first unit.
  • whether to parse the syntax element in the second unit may be determined according to the signaling value in the first unit.
  • the first unit may be a sequence, picture, slice, tile, etc.
  • the second unit may be CTU, CU, or the like.
  • the specific mode may be a sub-block mode.
  • the first unit may be referred to as an upper unit and the second unit may be referred to as a lower unit.
  • Table 6 it shows a signaling parsing process whether a subblock mode is used when all subblock sizes of modes belonging to the subblock mode are the same or a difference in the subblock size is not considered.
  • signaling of the availability of the plurality of higher level units when at least one of the instructions indicates that it is available, the sub-block mode may be available in a lower unit.
  • the signaling of the availability of a higher level unit may correspond to multiple modes.
  • a higher unit when different modes exist according to the location of a neighboring block to be referenced, whether a higher unit can be used for a number of these modes may be signaled. In addition, it may be applied in combination with conditions such as block size conditions.
  • using a subblock mode may mean parsing signaling indicating whether to use the subblock mode, and prior embodiments may be referred to this.
  • the decoder can parse merge_subblock_flag only when at least one of sps_affine_enabled_flag and sps_sbtmvp_enabled_flag indicating whether the affine merge mode and SbTMVP available belonging to the subblock merge mode is 1 is 1.
  • the decoder may parse the syntax element indicating whether to use the subblock mode in consideration of this. According to an embodiment of the present invention, when both the signaling of whether a higher unit is available in a mode belonging to a subblock mode and the block size condition of the mode are satisfied, the encoder / decoder may use the subblock mode.
  • the first mode and the second mode belonging to the sub-block mode exist, and whether the upper unit corresponding to the first signaling and the second mode indicating whether to use the higher unit corresponding to the first mode is available or not
  • the first signaling indicating whether an upper unit can be used is indicated and the first signal is available. If the block size condition is satisfied, the encoder / decoder can use the subblock mode.
  • the encoder / decoder may use the subblock mode.
  • sps_affine_enabled_flag and sps_sbtmvp_enabled_flag which are syntax elements indicating availability of affine merge mode and SbTMVP included in a subblock merge mode, may be signaled from an encoder to a decoder.
  • the decoder is configured to parse merge_subblock_flag when the following condition (15) is satisfied.
  • the encoder may syntax-signal merge_subblock_flag when the following Equation 15 is satisfied.
  • Table 8 below is a syntax showing another example using the conditions in Table 7.
  • first mode and a second mode belonging to the sub-block mode there are a first mode and a second mode belonging to the sub-block mode, and there is a first signaling indicating whether an upper unit corresponding to the first mode is available and a second signaling whether an upper unit corresponding to the second mode is available, and
  • first block size condition 1 in mode 1 and a block size condition 2 in mode 2 if the first block size condition is included in the second block size condition (that is, if the first block size condition is satisfied, the second When the block size condition is satisfied)
  • the encoder / decoder may use a subblock mode.
  • the encoder / decoder may set a block size condition using a subblock mode according to the subblock size. At this time, if the sub-block size is variable, the encoder / decoder can set the block size condition based on the larger of the possible sub-block sizes.
  • Tables 9 and 10 below are diagrams illustrating syntax related to subblock merge according to an embodiment of the present invention.
  • whether a specific mode is usable in the first unit may be signaled.
  • the decoder may signal whether the mode is actually used in the second unit belonging to the encoder first unit. In this case, whether to parse the syntax element in the second unit may be determined according to the signaling value in the first unit.
  • the first unit may be a sequence, picture, slice, tile, etc.
  • the second unit may be CTU, CU, or the like.
  • the specific mode may be a sub-block mode.
  • the first unit may be referred to as an upper unit and the second unit may be referred to as a lower unit.
  • the signaling of the availability of a higher level unit may correspond to multiple modes. For example, when different modes exist according to the neighboring block positions to be referenced, there may be signaling that a higher unit is usable for a number of these modes.
  • the candidate index may be parsed.
  • there may be signaling that a higher unit is available corresponding to a plurality of modes in this case, the mode may indicate a unit included as a candidate in a candidate list).
  • the higher level unit availability signaling corresponding to the plurality of modes may be represented by a first flag, a second flag, a third flag, ..
  • an upper unit there may be signaling whether an upper unit can be used corresponding to one mode (candidate; a unit that can occupy a place in the candidate list).
  • the higher unit availability signaling corresponding to the one mode may be referred to as an A flag, a B flag, and a C flag.
  • the encoder / decoder may parse the candidate index when it indicates that at least one of the higher level unit availability signaling corresponding to multiple modes is available. That is, when (first flag
  • the encoder / decoder may parse the candidate index. That is, when (first flag
  • high level unit availability signaling corresponding to one mode If there is one high level unit availability signaling corresponding to one mode, and one mode without high level unit availability signaling is present, high level unit availability signaling corresponding to the single mode is used. If indicated, the encoder / decoder may parse the candidate index. At this time, it may be irrelevant to the value of whether or not the upper unit availability signaling corresponding to a plurality of modes is available. Accordingly, in this case, if at least one of a number of upper unit availability signaling corresponding to multiple modes and at least one of a higher unit availability signaling corresponding to one mode indicate that it is available, the encoder / decoder parses the candidate index. You can. That is, when (first flag
  • the encoder / decoder can use the only candidate in the candidate list. Alternatively, if the candidate index is not parsed, the encoder / decoder may infer the candidate index to 0.
  • the affine merge mode and SbTMVP may correspond to a subblock merge mode, and the affine merge mode may be configured as a number of candidates from this method.
  • whether an upper unit corresponding to the affine merge mode can be used may be signaled through the sps_affine_enabled_flag syntax element. In this case, when sps_affine_enabled_flag indicates that it is available, the encoder / decoder may parse the candidate index merge_subblock_idx.
  • the encoder / decoder may parse the candidate index when it indicates that at least two of the plurality are available, or that at least one of the plurality of upper unit availability signaling corresponding to the plurality of modes is available. That is, when ((1st flag
  • (A flag + B flag + C flag + ..> 2)) (when flag value 1 indicates available) )
  • the encoder / decoder can parse the candidate index. In this case, a mode without signaling whether an upper unit can be used may not exist.
  • the candidate index can be parsed. That is, when (A flag
  • C flag + ..) and not (A flag + B flag + C flag + ..> 2)), the encoder / decoder can parse the candidate index.
  • the sub-block merge mode may include affine merge mode, SbTMVP, and planner MVP.
  • the affine merge mode can be configured as a number of candidates.
  • SbTMVP can be configured as one candidate.
  • the planner MVP can be configured as one candidate.
  • Sps_affine_enabled_flag, sps_sbtmvp_enabled_flag, and sps_planar_enabled_flag syntax elements can be used to signal whether a higher level unit corresponding to affine merge mode, SbTMVP, or planner MVP can be used, respectively.
  • the encoder / decoder can merge the candidate index x merge_subblock.
  • Conditions for using SbTMVP may be derived by the following method.
  • availableFlagSbCol represents a parameter (or flag) indicating whether SbTMVP can be used.
  • availableFlagSbCol may be set to 0.
  • whether SbTMVP is available or not can be expressed by an availability flag.
  • the availability flag indicating whether SbTMVP is available may be availableFlagSbCol.
  • SbTMVP may be referred to as SbCol.
  • the availability flag when the availability flag is 1, it indicates that it is available, and when the availability flag is 0, it indicates that it cannot be used.
  • SbTMVP may not be used based on the higher-level signaling described above.
  • the current block or higher unit for a CU or PU may be a slice, tile, tile group, sequence, picture, CTU, or the like.
  • the higher unit signaling may include tile_group_temporal_mvp_enable_flag.
  • tile_group_temporal_mvp_enable_flag indicates a flag indicating whether a temporal motion vector (or temporal motion vector prediction) is available. Since SbTMVP may be a technique using a temporal motion vector, SbTMVP may not be available unless temporal MV use is enabled.
  • the higher level signaling may include sps_sbtmvp_flag.
  • sps_sbtmvp_flag may be a flag indicating whether SbTMVP can be used.
  • SbTMVP may not be available based on block size.
  • the block size may include a block width, a block height, or a value based on the block width or height.
  • the value based on the width or height of the block may include the area of the block. If the width or height of the block is less than the threshold, SbTMVP may not be available.
  • the threshold may be the width or height of the sub-block. For example, the threshold may be set to 8.
  • the encoder / decoder may set the availability flag corresponding to SbTMVP to 0. Also, if not, an additional operation may be performed to determine the availability flag.
  • FIG. 18 is a diagram illustrating a method of determining a temporary motion vector according to an embodiment of the present invention.
  • a motion vector pointing to the collocated block described above is referred to as a temporary motion vector.
  • the temporary motion vector is not limited to the name, and may be referred to as an initial motion vector, a temporal motion vector, a subblock-based temporal merging base MV, or a base motion vector. That is, the encoder / decoder may determine a motion vector specifying the collocated block described above based on an initial motion vector, a time motion vector, a sub-block-based merge base motion vector, or a base motion vector.
  • the encoder / decoder may determine a temporary motion vector based on motion information of a position around the current block.
  • the location around the current block may be a predetermined location.
  • the location around the current block may include a spatial candidate location of a merge candidate.
  • the location around the current block may include a spatial candidate location of the AMVP candidate.
  • positions corresponding to A0, A1, B0, B1, and B2 may be preset.
  • the position here may mean a luminance position.
  • A0, A1, B0, B1, B2 are (xCb-1, yCb + cbHeight), (xCb-1, yCb + cbHeight-1), (xCb + It may be cbWidth, yCb-1), (xCb + cbWidth-1, yCb-1),, (xCb-1, yCb-1).
  • cbWidth and cbHeight may be the width and height of the current block, respectively.
  • (xCb, yCb) may be the upper left position of the shared merge list area.
  • the multiple block regions may be shared merge list regions.
  • the preset positions may be predefinedPosition1, predefinedPosition2, ..., predefinedPositionN, and the like.
  • the reference order may be preset with predefinedPosition1, predefinedPosition2, ..., predefinedPositionN.
  • the reference order may be forward or reverse of the reference order of the merge candidate list construction.
  • the reference order may be forward or reverse of the reference order of AMVP candidate list construction.
  • the reference location and the reference order may be A1, B1, B0, A0.
  • predefinedPosition1, predefinedPosition2, ..., predefinedPositionN may indicate motion information corresponding to a preset position.
  • the temporary motion vector may be set as a zero motion vector.
  • the encoder / decoder can set the temporary motion vector as a zero motion vector.
  • motion information of the preset position may be set as a temporary motion vector.
  • the meaning of what can be used may include a case where the corresponding location is not intra prediction.
  • the meaning of the available may include a case in which the corresponding position is inter prediction, or the meaning of the usable may include the reference picture of the motion information of the corresponding position as the collocated picture corresponding to the current block.
  • the meaning of what can be used may include that the reference picture of the motion information at the corresponding position is the same as the reference picture corresponding to the current block.
  • the encoder / decoder In Table 11, it is checked whether the second usable condition is satisfied for the motion information of the first corresponding position that satisfies the first usable condition 1 among the preset positions, and if the second usable condition is satisfied, the encoder / decoder
  • the motion information of the corresponding location can be set as a temporary motion vector. In other cases, the encoder / decoder may set the temporary motion vector as a zero motion vector. If this is represented as a pseudo code, it may be as shown in Table 12 below.
  • the else if statement in Table 12 above may be used in order to be able to use only the first of the preset positions that satisfy the first available condition as a temporary motion vector.
  • the first usable condition and the second usable condition may mean the ones that can be used as described above.
  • the first available condition may mean that the corresponding location uses inter prediction.
  • the second usable condition may mean that the reference picture of the motion information of the corresponding location is the same as the collocated picture corresponding to the current block.
  • the encoder / decoder may set the motion information of the first corresponding position that satisfies both the first usable condition and the second usable condition among the preset positions as a temporary motion vector.
  • the encoder / decoder may set the temporary motion vector as a zero motion vector. If this is expressed as a pseudo code, it may be as shown in Table 13 below.
  • the encoder / decoder may check locations referenced later than any of the above locations.
  • the encoder / decoder may set the temporary motion vector as the corresponding motion information when motion information corresponding to one preset position is available, and otherwise set the temporary motion vector as the zero motion vector.
  • the one preset position may be the left position of the current block. That is, the x coordinate of the one preset position may be smaller than the left coordinate inside the current block.
  • the one preset position may be the A1 position.
  • the motion information may include a motion vector (mvLX), a reference index (refIdxLX), a prediction utilization flag (predFlagLX), and the like.
  • the process of checking the second available condition and setting the temporary motion vector may be performed as follows. That is, when availableFlagN is true, the following process may be applied.
  • the temporary motion vector can be set to mvL1N.
  • aPic represents all pictures in the list of all reference pictures in the slice (or tile group)
  • tile_group_type equals B
  • the temporary motion vector may be set to mvL0N.
  • availableFlagN when availableFlagN is true, it may indicate that the first available condition is satisfied. If the above-described embodiment uses only one preset location, a parameter that can be availableFlagN may be availableFlag corresponding to the preset location. For example, when only the A1 position is used, availableFlagN may be availableFlagA1, which may be a value indicating whether motion information of the A1 position is available.
  • the encoder / decoder may determine whether to use a specific mode based on the location of the current block 1901. According to another embodiment of the present invention, the encoder / decoder may determine whether to use a specific mode based on the location of the merge list sharing area to which the current block 1901 belongs.
  • the encoder / decoder may determine whether to use SbTMVP based on the location of the current block 1901. According to another embodiment of the present invention, whether to use SbTMVP may be determined based on the location of the merge list sharing area to which the current block 1901 belongs. In an embodiment, the location of the current block 1901 or the location of the merge list sharing area to which the current block belongs may be the upper left coordinate or may be expressed based on the upper left coordinate. Also, the location of the current block 1901 or the location of the merge list sharing area to which the current block 1901 belongs may be a relative location within a higher group. The upper group may include pictures, tiles, tile groups, CTUs, slices, and the like.
  • the upper group may be a group to which the current block belongs. That is, for example, the encoder / decoder may determine whether to use SbTMVP based on the position in the picture 1902 of the current block 1901.
  • the current block or the current block may refer to a merge list sharing area as a current area.
  • the encoder / decoder may determine whether to use SbTMVP based on whether the current region has reached the boundary of the upper group. For example, if the current region touches the boundary of the upper group, it can be determined and determined not to use SbTMVP. Alternatively, it may be determined whether to use the SbTMVP based on whether a predetermined position referenced to determine a temporary motion vector corresponding to the current region described in FIG. 19 is outside the upper group. For example, if all of the preset positions referenced to determine the temporary motion vector corresponding to the current area are outside the upper group, the encoder / decoder may determine and determine that SbTMVP is not used.
  • SbTMVP and affine merge mode may be included in a subblock merge mode, and if SbTMVP is determined to be unavailable, affine merge mode may be signaled using a smaller index. Therefore, in this case, the index 0 may always indicate an affine merge mode.
  • the A1 position 1903 can be referenced to determine the temporary motion vector of the current region. If the motion information of the A1 position 1903 is unavailable, the zero motion vector can be used as a temporary motion vector. If the current region touches the left boundary of the picture 1902, the temporary motion vector may always be a zero motion vector. Therefore, it may be assumed that SbTMVP is not used when the current region is in contact with the left boundary of the picture 1902. In addition, if the left boundary of the picture 1902 as well as the left boundary of a unit capable of parallel processing is touched, it may be assumed that SbTMVP is not used.
  • a unit capable of parallel processing may include tiles, tile groups, slices, and the like.
  • the encoder / decoder may be in contact with the left boundary of the picture 1902, and in this case, it may be determined that SbTMVP is not used.
  • SbTMVP may not be used.
  • the encoder / decoder may use SbTMVP if the current region touches the picture 1902 or the upper boundary of a parallel processable unit. Can be set to not use.
  • condition related to the block size may be a case in which the block size of the current block is less than or equal to the sub-block size. This is because when the current block size is less than or equal to the sub-block size, there is only one sub-block of the current block, and in this case, the advantage and performance of SbTMVP may be reduced.
  • the subblock size may be 8x8. Accordingly, the following embodiments can be obtained from the described embodiments. If the current area is in contact with the left border of the picture and the current block is 8x8 or less, the encoder / decoder can determine and decide not to use SbTMVP. However, a sub-block merge mode may exist in an embodiment in which 8x8 or more can be used only in a block. In this case, if the current region is in contact with the left boundary of the picture 1902 and the current block 1901 is 8x8, it can be determined and determined not to use SbTMVP.
  • the availability flag indicating the SbTMVP availability condition may include whether xCb is 0 and the width and height of the current block are 8 in addition to the conditions described above. That is, when xCb is 0 and the current block has a width and a height of 8, the availability flag may be set to 0. When both the above conditions and the above conditions are satisfied, or when any one or more of them are satisfied, the availability flag of the encoder / decoder may be set to 0. As described above, whether SbTMVP is available or not can be indicated by the availability flag. It may also indicate that SbTMVP is unavailable when certain conditions are satisfied.
  • the encoder / decoder can set avilableFlagSbCol to 0. Therefore, according to the embodiment described in FIG. 19, the encoder / decoder can set availableFlagSbCol based on the location of the current region. That is, the encoder / decoder can set availableFlagSbCol based on the coordinates (xCb, yCb) representing the current area. For example, (xCb, yCb) may be the upper left coordinate of the current area.
  • SbTMVP when the current region or the current block is in contact with the left border of the picture, SbTMVP may not be available. Therefore, if xCb is 0, the encoder / decoder can set avilableFlagSbCol to 0. For example, SbTMVP may not be available if the current area or the current block is in contact with the left border of the picture and the current block is 8x8. Therefore, if xCb is 0 and both the width and height of the current block are 8, the encoder / decoder can set avilableFlagSbCol to 0.
  • Table 15 is a diagram illustrating a subblock merge mode syntax structure according to an embodiment of the present invention.
  • the subblock merge mode (or subblock based merge mode) may include SbTMVP and / or affine merge mode.
  • the syntax element (or flag) indicating whether or not the affine mode is available may be signaled from the encoder to the decoder through the syntax of the higher level of sps_affine_enabled_flag.
  • the higher level may be at least one of a sequence, picture, slice, or CTU level.
  • a condition in which SbTMVP cannot be used (or applied) may be predefined.
  • the encoder / decoder may not parse the merge_subblock_flag.
  • merge_subblock_flag may be signaling indicating that a subblock merge mode is used. If merge_subblock_flag does not exist, the encoder / decoder can infer the value to 0. When the affine mode is not available, it may be a case where sps_affine_enabled_flag is 0. Accordingly, merge_subblock_flag can be parsed when SbTMVP is available or when the affine mode is available.
  • condition for parsing merge_subblock_flag may include additional conditions in addition to the above-described conditions.
  • conditions related to MaxNumSubblockMergeCand indicating the maximum number of subblock merge candidates and conditions related to block size may be considered together.
  • merge_subblock_flag may not be parsed when sps_affine_enabled_flag, which indicates whether x0 of the upper left coordinate of the current block is 0, and affine mode is enabled, is 0. Also, if x0 is not 0 or sps_affine_enabled_flag is 1, merge_subblock_flag may be parsed.
  • the sub-block merge mode includes SbTMVP and affine merge mode
  • the present invention is not limited thereto, and another mode may be included in the sub-block merge mode.
  • the sub-block merge mode may include a first mode and a second mode in addition to the SbTMVP.
  • syntax elements sps_mode1_enabled_flag and sps_mode2_enabled_flag indicating whether the first mode and the second mode are usable may be signaled, respectively. In this case, if both the first mode and the second mode are unavailable while satisfying the SbTMVP unavailable condition, the encoder / decoder may not parse the merge_subblock_flag.
  • the encoder / decoder can infer merge_subblock_flag to 0.
  • the encoder / decoder may parse merge_subblock_flag.
  • the condition for parsing merge_subblock_flag may include additional conditions in addition to the above-described conditions. Referring to Table 15, in order to parse merge_subblock_flag, conditions related to MaxNumSubblockMergeCand indicating the maximum number of subblock merge candidates and conditions related to block size may be considered together.
  • the encoder / decoder may set MaxNumSubblockMergeCand to 1.
  • the encoder / decoder may set MaxNumSubblockMergeCand to 1 when the affine mode is not set to be available and SbTMVP is set to be available.
  • the encoder / decoder may set MaxNumSubblockMergeCand to 0.
  • a predetermined position referenced to determine a temporary motion vector may be variable.
  • a predetermined position referenced to determine a temporary motion vector for a specific block may be set as one, and the position may be variable.
  • the reference location for determining the temporary motion vector based on the current block 2001 or the location of the current region may be variably determined.
  • the current area represents the area previously described in FIG. 19.
  • motion information of a specific location may not always be available when the current region is in contact with a boundary of a picture 2002 or in a boundary of units that can be processed in parallel.
  • the encoder / decoder can always set a position that is not available to a preset position that is referenced to determine a temporary motion vector. That is, the preset position referenced to determine the temporary motion vector may be set to a position that is not always available based on the position of the current area.
  • the always unavailable location may be a picture 2002 or a location outside the range in which parallel processing is possible.
  • a predetermined position referenced to determine a temporary motion vector may be defined as a current block 2001 or a left position of the current area.
  • this preset position is set to a position other than the left position. (Or decided).
  • the preset position may be set as the current block 2001 or the upper position 2003 of the current area.
  • the preset position may be the B1 position in FIG. 18 (a).
  • the predetermined position to be referred to may be determined as the current block 2001 or an upper position of the current area.
  • the upper position of the current area may refer to a position in which the y coordinate is smaller than the y coordinate (ie, vertical coordinate) of the current area.
  • the preset position referred to determine the temporary motion vector is shown in FIG. 18 ( It may be a B1 position of a).
  • the preset position referenced to determine the temporary motion vector when the current block 2001 or the current region is in contact with the upper boundary of the picture 2002 or in the upper boundary of a parallel processable unit, the preset position referenced to determine the temporary motion vector is It may be determined as the current block 2001 or the left position of the current area.
  • the left position of the current area may mean a position in which the x coordinate is smaller than the x coordinate (ie, horizontal coordinate) of the current area.
  • the preset position referenced to determine the temporary motion vector is shown in FIG. It may be the position A1 of 18 (a).
  • the encoder / decoder may determine a motion vector (MV) based on a motion vector predictor (MVP) and a motion vector difference (MVD).
  • the MVP may be referred to as a base motion vector (baseMV). That is, the encoder / decoder can derive a motion vector (ie, a final motion vector) by adding the motion vector difference to the base motion vector.
  • baseMV base motion vector
  • the MVP may be referred to as a base motion vector, a temporary motion vector, an initial motion vector, an MMVD candidate motion vector, and the like.
  • the MVD may be expressed as a value that refines the MVP, and may be referred to as a refinement motion vector (refineMV) or a merge motion vector difference.
  • MV when MMVD is applied, that is, in the MMVD mode, MV may be determined based on a base motion vector, a distance parameter (or variable), and a direction parameter (or variable). have.
  • the base motion vector may be determined from a candidate list.
  • the base motion vector can be determined from the merge candidate list.
  • the encoder / decoder can determine the base motion vector from a portion of another candidate list.
  • a part of the candidate list may be a part of the front part of the candidate list (the one with the smallest index).
  • the encoder / decoder may determine the base motion vector using the first and second candidates among candidates in the merge candidate list.
  • a candidate index indicating a specific candidate among the two candidates may be signaled from an encoder to a decoder.
  • a base candidate index which is an index signaling a base motion vector
  • the encoder / decoder may determine a candidate applied to a current block among candidates in a candidate list according to the base candidate index, and determine a motion vector of the determined candidate as a base motion vector.
  • the base candidate index is not limited to its name, and the base candidate index may be referred to as a base candidate flag, a candidate index, a candidate flag, an MMVD index, an MMVD candidate index, an MMVD candidate flag, and the like.
  • MMVDs different from those described in FIGS. 6 and 7 may exist.
  • the MVD in MMVD may be defined differently from the MVD described in FIGS. 6 and 7.
  • MMVD may indicate a merge mode (that is, a motion compensation mode, method) using a motion vector difference, or may indicate a motion vector difference when MMVD is applied.
  • the encoder / decoder can determine whether MMVD is applied (or used).
  • the encoder / decoder derives the merge candidate used for inter prediction of the current block from the merge candidate list, derives the MMVD and applies (or adds) the motion vector of the current candidate to the motion vector of the merge candidate.
  • the vector can be determined.
  • the different MVDs may mean simplified MVDs, MVDs having different (or small) resolutions, MVDs with less available numbers, MVDs with different signaling methods, and the like.
  • the MVD used in the existing AMVP, affine inter mode, etc. described with reference to FIGS. 6 and 7 is an x, y axis (ie, horizontal, vertical) for a specific signaling unit (eg, x-pel).
  • all regions for example, a region based on a picture (for example, a region including a picture region or a region including a picture and a surrounding region) can be represented at a uniform interval, whereas MMVD indicates a specific signaling unit.
  • the units expressed may be relatively limited.
  • an area (or unit) signaling MMVD may not have a uniform interval.
  • MMVD may indicate only a specific direction for a specific signaling unit.
  • MMVD may be determined based on distance and direction.
  • the distance and direction of the MMVD may be preset according to the distance index indicating the distance of the MMVD and the direction index indicating the direction of the MMVD.
  • the distance may indicate the MMVD size (eg, absolute value) of a specific pixel unit
  • the direction may indicate the direction of the MMVD.
  • the encoder / decoder can signal a relatively small distance with a relatively small index. That is, if the signaling is not through fixed length binarization, the encoder / decoder may signal a relatively small distance with relatively few bits.
  • the MVD may use a signaled MV or an MV based on the signaled MV.
  • the MV based on the signaled MV may be a reversed sign of the signaled MV.
  • MVD signaling is performed based on a value corresponding to a reference list, and a value corresponding to a reference list different from the reference list uses the value corresponding to the reference list (ie, the signaled MVD) or You can change the sign.
  • Whether to write as it is or to change the sign is based on a picture order count (POC) relationship between the current picture and a reference picture of a reference list, and a POC relationship between a current picture and a reference picture of a reference list other than the current picture Can be determined. More specifically, even when both the reference lists L0 and L1 are used, only one MVD can be signaled. For example, MVD corresponding to L0 may be signaled. In addition, the MVD corresponding to L1 may be determined based on the MVD corresponding to L0.
  • POC picture order count
  • the MVD corresponding to L1 may be the same as the MVD corresponding to L0 or a value in which the sign of the MVD corresponding to L0 is changed. Also, this may be determined by the POC relationship between the current picture and the L0 reference picture and the POC relationship between the current picture and the L1 reference pictrue. For example, the value of DiffPicOrderCnt (RefPicList0 [refIdxLN0], currPic) * DiffPicOrderCnt (currPic, RefPicList1 [refIdxLN1]) is greater than or less than 0, it is possible to decide whether to write the MVD corresponding to L0 to L1 or transform it.
  • DiffPicOrderCnt (RefPicList0 [refIdxLN0], currPic) * DiffPicOrderCnt (currPic, RefPicList1 [refIdxLN1]) is greater than 0
  • both the L0 reference picture and the L1 reference picture are temporally ahead of the current picture, or both are temporally behind the current picture You can.
  • the codes of the L0 MVD and the L1 MVD are the same. Also, if DiffPicOrderCnt (RefPicList0 [refIdxLN0], currPic) * DiffPicOrderCnt (currPic, RefPicList1 [refIdxLN1]) is less than 0, one of the L0 reference picture and the L1 reference picture is temporally ahead of the current picture, and the other one is before the current picture. As may be behind. Therefore, in this case, the codes of the L0 MVD and the L1 MVD may be different.
  • the temporally leading one may have a small POC, and the temporally leading one may have a large POC.
  • the MV scaling process may be added in the above-described embodiment. That is, a process of MV scaling a signaled MV or a modified MV of a signaled MV (eg, an inverted sign) may be added.
  • Table 16 below illustrates an MMVD syntax structure according to an embodiment of the present invention.
  • the MMVD flag (ie, mmvd_flag) represents a syntax element indicating whether MMVD is used.
  • MMVD may be applied to a skip mode or a merge mode.
  • the decoder may parse the MMVD related syntax.
  • MMVD-related information may be additionally parsed in the MMVD index coding (ie, mmvd_idx_coding) syntax.
  • the decoder may parse the merge index.
  • the merge index (that is, merge_idx) indicates a syntax element indicating a specific merge candidate in the merge candidate list.
  • the MMVD flag may be parsed when the merge flag is 1 after parsing the merge flag (ie, the merge flag).
  • the merge flag may indicate whether to use (or apply) the merge mode or the sub-block merge mode.
  • the merge flag may indicate that AMVP, inter mode, affine inter mode, and the like are not used.
  • the merge index may be an index different from the base candidate index described in FIG. 21 above.
  • signaling indicating the maximum number of merge candidates may be present. Also, signaling indicating the maximum number of merge candidates may be performed in a unit larger than a CU and a prediction unit. For example, there may be signaling indicating the maximum number of merge candidates in slice or tile units.
  • the decoder may parse the merge index. In an embodiment, when the value of the syntax element indicating the maximum number of merge candidates indicates that the maximum number of merge candidates is 1, the encoder / decoder may infer the merge index to 0. That is, when signaling indicating the maximum number of merge candidates indicates that the maximum number of merge candidates is 1, the candidate may be determined without parsing the merge index.
  • MaxNumMergeCand which is a value (variable, parameter) based on signaling indicating the maximum number of merge candidates.
  • MaxNumMergeCand may mean the maximum number of merge candidates.
  • MaxNumMergeCand may have a value of 1 or more.
  • the maximum number of merge candidates for a signaling unit indicating the maximum number of merge candidates may be determined based on signaling indicating the maximum number of supportable merge candidates and the maximum number of merge candidates. For example, by subtracting a signaling value indicating the maximum number of merge candidates from the maximum number of supportable merge candidates, the encoder / decoder can determine the maximum number of merge candidates for a signaling unit indicating the maximum number of merge candidates. Also, although the maximum number of merge candidates has been described, substantially the same, there may be signaling of the maximum number and the maximum number of subblock merge candidates.
  • the merge index may be parsed when using the skip mode or the merge mode.
  • the decoder may parse the merge index when the condition of using the skip mode or the merge mode is satisfied. For example, when the sub-block merge mode is not used, the encoder / decoder may use the skip mode or the merge mode.
  • the merge index After parsing the MMVD flag in Table 16, the merge index may be parsed. This may be to consider MMVD in preference to the existing skip mode or merge mode.
  • a sub-block merge flag indicating whether to use the sub-block merge mode (ie, subblock_merge_flag) (or merge sub-block flag (ie, merge_subblock_flag) syntax element may be signaled.
  • FIG. 22 is a diagram illustrating an MMVD-related syntax structure according to an embodiment of the present invention.
  • the embodiment described in Table 16 may be applied to FIG. 22 in the same way, and a redundant description is omitted.
  • the syntax shown in FIG. 22 additionally includes a process related to subblock merge as compared to Table 16.
  • FIG. 22 and the drawings to be described later that is, FIGS. 23 to 31
  • portions of the intra prediction process, inter mode, inter mode, AMVP mode, affine inter mode, etc. may be omitted.
  • the decoder is mainly described for convenience of description in FIG. 22, the coding process according to the present embodiment can be applied to the encoder in substantially the same way.
  • the decoder may parse the subblock merge flag before the MMVD flag and / or merge index. This is to consider subblock merge mode in preference to at least one of skip mode, merge mode, and / or MMVD.
  • the decoder may parse the MMVD flag and / or merge index when the subblock merge mode is not used.
  • the decoder may parse the subblock merge flag before the MMVD flag, and if the subblock merge mode is not applied, the MMVD flag.
  • compression efficiency can be increased by checking whether MMVD is applied, and setting a parsing order of syntax (or syntax element) (ie, subblock) only when the subblock merge mode is not applied. This goal can be achieved by parsing the merge flag before the MMVD flag).
  • FIG. 23 is a diagram illustrating an MMVD-related syntax structure according to an embodiment of the present invention.
  • the syntax (or function) illustrated in FIG. 23 may represent syntax for parsing MMVD information indicated in Table 16, 22, and MMVD-related syntaxes described below.
  • MMVD may be determined based on the base motion vector, distance, and direction.
  • indexes (or syntax elements) signaling this information may be defined.
  • syntax elements for signaling a base motion vector, distance, and direction may be defined as base_mv_idx, distance_idx, and direction_idx.
  • syntax elements shown in FIG. 23 representing specific MMVD values may be signaled from the encoder to the decoder.
  • the decoder is mainly described for convenience of description in FIG. 23, the coding process according to the present embodiment can be applied to the encoder in substantially the same way.
  • FIG. 24 is a diagram illustrating an MMVD-related syntax structure according to an embodiment of the present invention.
  • the syntax (or function) illustrated in FIG. 24 may indicate syntax for parsing MMVD information indicated in Table 16, 22, and MMVD-related syntaxes described below.
  • some of the syntaxes related to MMVD may be parsed when certain predefined conditions are satisfied. For example, if it is determined that the MMVD is to be used and then the predetermined condition is satisfied, the decoder may parse some of the MMVD-related syntax.
  • some of the MMVD related syntax may be base motion vector related signaling. The decision to use MMVD may be in accordance with the MMVD flag value.
  • MMVD Mobility Vehicle
  • MMVD flag is parsed or if the MMVD flag is inferred to indicate a specific value (eg 1).
  • the decoder is mainly described for convenience of description in FIG. 24, but the coding process according to this embodiment can be applied to the encoder in substantially the same way.
  • the specific condition may be related to the maximum number of possible base motion vector candidates.
  • the decoder may not parse the syntax related to the base motion vector when the maximum possible number as the base motion vector candidate is 2 or more, and not parse the syntax related to the base motion vector when the maximum possible number as the base motion vector candidate is 1. have.
  • the decoder can infer the value.
  • syntax related to the base motion vector may be inferred as 0. If the base motion vector candidate is a merge candidate, the decoder may determine whether to parse the syntax related to the base motion vector based on a condition based on the maximum number of possible merge candidates.
  • the maximum number of possible base motion vector candidates may be a value indicated by signaling indicating the maximum number of merge candidates described in Table 16, and the value may be expressed as MaxNumMergeCand.
  • the decoder can parse the base motion vector index only when MaxNumMergeCand indicating the maximum number of merge candidates is greater than 1. If the base motion vector index does not exist, for example, if it does not exist because it is not parsed, the decoder may infer the value to 0. This is because if the maximum number of possible candidates is 1, the index can be determined without signaling.
  • FIG. 25 is a diagram illustrating an MMVD syntax according to an embodiment of the present invention.
  • the MMVD flag is always parsed.
  • the base motion vector index or merge index is parsed in both the case of using and not using the MMVD.
  • the MMVD flag may not be parsed.
  • the decoder is mainly described for convenience of description in FIG. 25, the coding process according to the present embodiment can be applied to the encoder in substantially the same way.
  • the base motion vector related syntax and merge index may be defined as the same value.
  • the base motion vector index and the merge index may be the same. That is, signaling for indicating the corresponding candidate may be performed with one syntax element.
  • the decoder may parse the syntax related to the base motion vector and parse the MMVD flag according to the condition.
  • MMVD flag indicates the use of MMVD
  • MMVD related syntax other than the base motion vector related syntax may be parsed.
  • the MMVD flag may be parsed for candidates that can be used for MMVD, and the MMVD flag may not be parsed for candidates that cannot be used for MMVD. It can also be inferred that MMVD is not used if the MMVD flag is not present.
  • the MMVD flag is parsed if the parsed index is smaller than num_mmvd_baseCand, otherwise the MMVD flag You can decide not to parse and not to use MMVD. In this case, when using a candidate index of num_mmvd_baseCand or higher, there is an advantage of saving bits for the MMVD flag.
  • the MMVD flag is parsed when the merge index is smaller than num_mmvd_baseCand.
  • num_mmvd_baseCand may be the number of possible candidates as the base motion vector of MMVD.
  • the base motion vector index of the MMVD may be determined based on the merge index.
  • the MMVD flag may be higher than the merge flag.
  • the decoder can determine whether to parse the merge flag based on the MMVD flag. As an example, this may be applied when not in the skip mode.
  • the decoder is mainly described for convenience of description in FIG. 26, the coding process according to the present embodiment can be applied to the encoder in substantially the same way.
  • the merge flag when the MMVD flag indicates that MMVD is used, the merge flag may not be parsed. For example, if the base motion vector candidate of MMVD is determined among merge candidates, and the MMVD flag indicates that MMVD is used, the decoder may not parse the merge flag.
  • MMVD where MMVD flag is 1
  • the merge flag can be inferred by using merge mode. Referring to FIG. 26, when the skip mode is used, that is, when cu_skip_flag is 1, the decoder may infer the merge flag to 1 regardless of whether MMVD is used.
  • the merge flag can be inferred as 1 when MMVD is used, and the merge flag can be inferred as 0 when MMVD is not used.
  • the decoder may infer the merge flag to 1 if there is no merge flag and no skip mode is used.
  • the decoder parses the MMVD-related syntax when the MMVD flag is 1, and parses the merge flag when the MMVD flag is 0.
  • the merge flag when the subblock merge flag is higher than the merge flag, when the subblock merge flag is 1, the merge flag may not be parsed, and the merge flag may be inferred as 1.
  • the subblock merge flag when the subblock merge flag is higher than the MMVD flag, when the subblock merge flag is 1, the MMVD flag may not be parsed, and the MMVD flag may be inferred as 0.
  • modeX_flag of 1 may mean using modeX
  • modeX_flag of 0 may mean not using modeX.
  • MMVD may always be used for some candidates in a candidate list used as a base motion vector candidate of MMVD.
  • MMVD may always be used for a portion of the merge candidate list.
  • MMVD can always be used for a predetermined candidate index.
  • MMVD can be always used when the candidate index is smaller than a preset value. In this case, whether to use MMVD can be determined from the candidate index. Also, MMVD flag parsing may not exist.
  • the number of the merge index parsed the merge index corresponds to a value determined to use MMVD, it may be determined to use MMVD.
  • syntax related to MMVD eg, distance, direction signaling, etc.
  • the decoder is mainly described for convenience of description in FIG. 27, the coding process according to this embodiment can be applied to the encoder in substantially the same way. Referring to FIG. 27, MMVD can be always used until num_mmvd_baseCand up to the front of the merge candidate list. In this case, if the candidate index is smaller than num_mmvd_baseCand, it may be decided to use MMVD, and syntax related to MMVD may be parsed.
  • the decoder may always use MMVD for some candidates in a candidate list used as a base motion vector candidate of MMVD. For example, when the base motion vector candidate of MMVD is determined from the merge candidate list, the decoder can always use MMVD for a portion of the merge candidate list. For example, the decoder can always use MMVD for a given candidate index. For example, MMVD can be always used when the candidate index is smaller than a preset value.
  • the decoder is mainly described for convenience of description in FIG. 27, the coding process according to this embodiment can be applied to the encoder in substantially the same way.
  • the MMVD flag in the syntax structure (or in the syntax parsing order), the MMVD flag may be higher than the merge flag.
  • the decoder may parse the MMVD related syntax when the MMVD flag is 1.
  • the merge flag can be inferred as 1.
  • the decoder can parse the merge flag.
  • the decoder may parse the merge index when the merge flag is 1. At this time, there may be additional conditions for parsing the merge index.
  • the decoder may determine a merge index to be actually used by transforming the merge index based on the parsed merge index.
  • the merge index to be actually used may be determined by adding the number of candidates determined to always use MMVD among parsed merge indexes to a smaller value than the parsed merge index. For example, if it is decided to always use MMVD for num_mmvd_baseCand in front of the candidate list, a value obtained by adding num_mmvd_baseCand to the parsed merge index can be used as the merge index. This is because candidates using MMVD can be excluded from the candidate list when the MMVD flag is 0 when the MMVD flag is before the merge flag.
  • the MMVD flag is before the merge flag. Also, when the MMVD flag is 1, the decoder can parse the MMVD related syntax. In addition, if the MMVD flag is 0, the decoder can parse the merge flag. In addition, when the MMVD flag is 0 and the merge flag is 1, the decoder can parse the merge index. At this time, there may be additional conditions for parsing the merge index. In addition, a merge index that can be used as a base motion vector of MMVD, num_mmvd_baseCand, can be added to the parsed merge index to determine the actual merge index to use.
  • a candidate index may exist before a flag indicating whether to use the mode.
  • a candidate index may exist before the MMVD flag or merge flag.
  • whether to parse the MMVD flag may be determined according to whether the parsed index is a candidate for using MMVD. For example, if the parsed candidate index is a candidate that can use MMVD, the MMVD flag can be parsed, and if the candidate cannot use MMVD, the MMVD flag can be inferred to 0 without parsing. Also, if the MMVD flag is 0, the merge flag can be parsed.
  • the merge flag determines whether a merge mode or a sub-block merge mode is used, an inter mode, an AMVP mode, or an affine inter mode is used.
  • the decoder is mainly described for convenience of description in FIG. 28, the coding process according to this embodiment can be applied to the encoder in substantially the same way.
  • the first mode and the parsed index are num 1 or more.
  • the syntax to determine among the second modes for example, a syntax indicating whether to use the first mode may not be parsed, and the first mode may not be used, and the parsed index is less than num 1 In this case, the syntax determined between the first mode and the second mode may be parsed.
  • the MMVD flag may be parsed when the merge index is smaller than num_mmvd_baseCand, which is a candidate number of MMVDs. Also, if the merge index is num_mmvd_baseCand or higher, the MMVD flag may not be parsed, and the MMVD flag may be inferred as 0. In addition, when the MMVD flag is 1, a distance index (distance_idx) and a direction index (direction_idx) indicating a syntax element related to MMVD may be parsed. In addition, when the MMVD flag is 0, the merge flag can be parsed and distinguished according to whether it is a merge mode or a subblock merge mode, an inter mode, an AMVP mode, or an affine mode.
  • the merge data may include a portion of merge related syntax.
  • Merge data may also be referred to as merge data syntax.
  • the merge data may include a syntax parsing process performed when the merge flag is 1 in FIGS. 21 to 28 described above.
  • the merge flag it may mean that the merge mode is used.
  • a merge flag of 1 may indicate that inter prediction without mvd_coding shown in FIG. 6 and Table 1 is used.
  • FIG. 30 is a diagram illustrating a merge data syntax structure according to an embodiment of the present invention.
  • the decoder may parse (or call) merge data syntax.
  • the decoder is mainly described for convenience of description in FIG. 30, the coding process according to this embodiment can be applied to the encoder in substantially the same way.
  • the merge flag may be set to 1.
  • the MMVD flag may be parsed first among syntax elements in merge data syntax.
  • the MMVD flag may be a syntax that can be parsed first after confirming that the merge flag is 1.
  • the MMVD flag may be parsed before signaling indicating whether to use another prediction mode in which the merge flag is set to 1.
  • the MMVD flag may be signaling indicating whether MMVD is used.
  • merge data syntax includes a decoding process for sub-block merge mode, multi-hypothesis prediction (or intra and inter combined prediction), triangle prediction, and the like. can do.
  • multiple assumption prediction may be a method of generating and combining two or more prediction blocks when generating a prediction block.
  • multiple assumption prediction may be a method of using both inter prediction and intra prediction when generating a prediction block.
  • inter prediction and intra prediction may be a method of using a picture different from a picture including a current block and the same picture when performing prediction.
  • the multi-home prediction flag indicates a syntax element indicating whether multi-home prediction is used.
  • the sub-block merge mode performs motion compensation in units of sub-blocks when predicting a current block (eg, a coding unit or a prediction unit) (ie, a motion vector in units of sub-blocks) Is determined).
  • the sub-block merge mode may include a method such as sub-block based time MVP, affine motion prediction, and the like.
  • the merge sub-block flag indicates a syntax element indicating whether to use the sub-block merge mode.
  • triangle prediction represents a method of performing motion compensation for a non-rectangular region within a current block. That is, in triangle prediction, a unit having the same motion vector in the current block may not be a rectangle.
  • a triangle prediction flag (that is, merge_triangle_flag) represents a syntax element indicating whether triangle prediction is used.
  • the MMVD flag may be parsed before signaling (or syntax element) indicating that a merge mode other than MMVD is used.
  • the signaling indicating the use of a merge mode other than the MMVD may include a multi-prediction prediction flag, a merge subblock flag, a merge triangle flag, and the like.
  • the MMVD merge index (ie, mmvd_merge_idx) (or MMVD index) represents a syntax element indicating which to use as the base motion vector of the MMVD. If MMVD is used, the merge index may be inferred as an MMVD merge flag (ie, mmvd_merge_flag) (or MMVD flag).
  • the MMVD flag may be parsed after the merge index.
  • the MMVD flag can be parsed immediately after the merge index.
  • the MMVD flag may not be parsed in the non-frontmost position in the merge data syntax. That is, after confirming that the merge flag is 1, the syntax other than the MMVD flag may be parsed before the MMVD flag may be parsed.
  • the base motion vector of the MMVD may be determined from other candidate lists, and in one embodiment, the base motion vector may be determined from a part of the other candidate list. Therefore, as described in FIG. 25, according to this embodiment, whether to parse the MMVD flag may be determined based on an index associated with another candidate list that can be used as the base motion vector of the MMVD. For example, an index related to another candidate list that can be used as the base motion vector of the MMVD may be parsed before the MMVD flag. In addition, it is possible to parse the MMVD flag if the index associated with the other candidate list indicates that it can be used as the base motion vector of the MMVD, and not to parse the MMVD flag otherwise.
  • the base motion vector of MMVD may be determined from merge candidates. Accordingly, in one embodiment, the MMVD flag may be parsed if the merge index indicates that it can be used as the base motion vector of the MMVD, and the MMVD flag may not be parsed otherwise. Alternatively, if the base motion vector of the MMVD can be selected from n of the first part of the merge candidate list, the MMVD flag is parsed when the merge index is less than n (the merge index can start from 0), and the merge index is If not less than n, the MMVD flag may not be parsed. More specifically, the base motion vector of the MMVD may be the first or second candidate of the merge candidate list, and referring to FIG.
  • the MMVD flag may be parsed when the merge index is less than 2, that is, 0 or 1. .
  • the merge index may indicate a merge candidate index. Accordingly, when the merge mode indicates that the MMVD cannot be used, the MMVD flag may not be parsed, and thus coding efficiency may be improved.
  • the base motion vector of MMVD can be determined from a candidate list of a certain mode. Therefore, according to an embodiment of the present invention, when there are a number of signaling indicating whether to use various modes, the MMVD flag may be parsed after it is determined to use the certain mode. For example, assuming that the first mode, the second mode, and the third mode exist, MMVD is determined based on the third mode, or when the base motion vector of the MMVD is determined from candidates of the third mode, After deciding to use 3 mode, the MMVD flag can be parsed. For example, it may be determined to use the third mode through signaling indicating whether to use the third mode.
  • the conventional merge mode is a mode for performing inter prediction using motion information of neighboring intra-coded blocks, and may mean a merge mode of a conventional image compression technique (eg, high efficiency video coing (HEVC)). have.
  • HEVC high efficiency video coing
  • the MMVD merge flag may be signaling indicating a base motion vector of MMVD.
  • the MMVD merge flag may not exist as shown in FIG. 31.
  • the MMVD related syntax may include only the MMVD flag, signaling indicating the MMVD distance (mmvd_distance_idx in FIGS.
  • the base motion vector of MMVD may be determined by the merge index. Accordingly, the signaling and context model of the base motion vector of MMVD of FIG. 30 may not exist in the embodiment of FIG. 31.
  • the MMVD flag may be parsed after signaling indicating using a merge mode other than the MMVD described above.
  • the MMVD flag may be parsed after a merge subblock flag, a multi-assuming prediction flag (ie, mh_intra_flag), and a merge triangle flag (ie, merge_triangle_flag).
  • certain merge modes may not be used with MMVD.
  • the MMVD flag may be parsed if the flag indicating whether to use the merge mode is not used. Referring to FIG. 31, it is possible that the MMVD cannot be used with triangle prediction, and the MMVD flag may be parsed when the merge triangle flag is 0.
  • MMVD cannot be used with MH intra, and the MMVD flag can be parsed when mh_intra_flag is 0.
  • MMVD flag may be parsed when the merge subblock flag is 0.
  • FIG. 32 is a diagram illustrating a merge data syntax structure according to an embodiment of the present invention.
  • the embodiment of FIG. 32 may be a part of merge data syntax performed when the merge flag is 1 in FIG. 29.
  • the decoder is mainly described for convenience of description in FIG. 32, the coding process according to the present embodiment can be applied to the encoder in substantially the same way.
  • the MMVD flag may be parsed after signaling indicating whether another mode is used.
  • the MMVD flag may be parsed after signaling indicating whether the merge flag uses a mode other than MMVD, which is set to 1.
  • the MMVD flag may be parsed after the merge sub-block flag, the multiple hypothesis prediction flag (ie, mh_intra_flag), and the merge triangle flag (ie, merge_triangle_flag).
  • the MMVD flag may be parsed when not using a mode other than MMVD. For example, if the merge subblock flag is 0, the MMVD flag may be parsed. Also, if the multi-assuming prediction flag is 0, the MMVD flag may be parsed. Also, if the merge triangle flag is 0, the MMVD flag may be parsed. A flag of 0 indicating which mode is used may indicate that which mode is not used. In addition, if the MMVD can be applied to the conventional merge mode, the MMVD flag can be parsed after it is determined that the conventional merge mode or MMVD is used.
  • MMVD when using MMVD, syntax related to MMVD may be parsed, and when the MMVD is not used, merge index may be parsed.
  • the decoder may parse the MMVD merge flag (ie, mmvd_merge_flag), MMVD distance index (mmvd_distance_idx), and MMVD direction index (mmvd_direction_idx), and parse the merge index when MMVD is not used.
  • signaling indicating the base motion vector of the MMVD when parsing the MMVD flag after a flag indicating whether to use a different mode as shown in FIG. 32, signaling indicating the base motion vector of the MMVD may exist as a syntax element separate from the merge index. Referring to FIG. 32, signaling indicating the base motion vector of the MMVD may be an MMVD merge flag.
  • the MMVD flag may be parsed after it is determined to use conventional merge mode or MMVD.
  • the base motion vector of the MMVD is determined from a candidate list, and the maximum number of candidates in the candidate list may be variable.
  • the maximum number of candidates can be determined from a higher level syntax.
  • the higher level syntax may be higher level syntax than the current coding unit.
  • the higher level syntax may be sequence, picture, slice, and tile level syntax.
  • the maximum number of candidates of the base motion vector of the MMVD may follow the maximum number of candidates of the candidate list that can be the base motion vector of the MMVD. Accordingly, when the maximum number of candidates in the candidate list that can be the base motion vector of the MMVD is reduced, the maximum number of candidates that can be the base motion vector of the MMVD can also be reduced.
  • the base motion vector of MMVD is determined from the merge candidate list, and the maximum number of merge candidates may be MaxNumMergeCand. Also MaxNumMergeCand can be determined from higher level syntax. In this case, the maximum number of merge candidates that can be the base motion vector of MMVD may be less than MaxNumMergeCand. Therefore, as illustrated in FIG. 32, it may be determined whether to parse the signaling representing the base motion vector of the MMVD according to MaxNumMergeCand. For example, when MaxNumMergeCand is 1, signaling indicating the base motion vector of MMVD may not be parsed, and when signaling indicating the base motion vector of MMVD does not exist, it may be inferred as 0.
  • MMVD when MaxNumMergeCand is 1, MMVD may not be used. This may be to reduce signaling overhead for MMVD related syntax. Therefore, if MaxNumMergeCand is 1, the MMVD flag may not be parsed. Also, if the MMVD flag is not present, it can be inferred as 0. In addition, referring to FIG. 32, the merge triangle flag can be parsed only when multiple assumption intra prediction is not used. If the merge triangle flag does not exist, it can be inferred as 0.
  • the present invention there may be multiple modes that cannot be used together. For example, sub-block merge mode, triangle prediction, multiple assumption intra prediction, and MMVD may not be used together.
  • signaling indicating whether to use each of a plurality of modes that cannot be used together may be parsed according to a preset order. In this case, signaling indicating whether or not to use any of the multiple modes can be parsed only when it is determined that all of the signaling indicating whether to use any other of the multiple modes parsed beforehand are not used. have.
  • FIG. 33 is a diagram illustrating a video signal processing method according to an embodiment to which the present invention is applied.
  • a decoder is mainly described for convenience of description, but the present invention is not limited thereto, and the multi-assay prediction-based video signal processing method according to the present embodiment can be applied to the encoder in substantially the same way.
  • the decoder acquires a first syntax element indicating whether a sub-block-based merge mode is applied to the current block (S3301).
  • the first syntax element may be a subblock merge flag (or merge subblock flag).
  • the decoder obtains a second syntax element indicating whether a merge mode using a motion vector difference is applied to the current block when the first syntax element indicates that a subblock-based merge mode is not applied to the current block. (S3302).
  • the second syntax element may be an MMVD flag (or an MMVD merge flag).
  • the third syntax element may be an MMVD index (or MMVD candidate index, MMVD candidate flag).
  • the decoder acquires information related to the motion vector difference (S3304).
  • obtaining information related to the motion vector difference may include: obtaining a fourth syntax element indicating a distance of the motion vector difference; And a fifth syntax element indicating the direction of the motion vector difference.
  • the fourth syntax element may be a distance index (or MMVD distance index)
  • the fifth syntax element may be a direction index (or MMVD direction index).
  • the decoder derives the motion vector of the current block by adding the motion vector difference to the motion vector of the candidate indicated by the third syntax element (S3305).
  • the decoder generates a prediction block of the current block using the motion vector of the current block (S3306)
  • the third syntax element may indicate a candidate used for inter prediction of the current block among first and second candidates of the merge candidate list of the current block.
  • the third syntax element may be parsed from a bitstream when the maximum number of merge candidates is greater than 1, and inferred to be 0 when the maximum number of merge candidates is not greater than 1.
  • the current block when the first syntax element indicates that a subblock-based merge mode is applied to the current block, the current block is inter-interviewed among candidates included in the subblock merge candidate list of the current block.
  • the method further includes obtaining a sixth syntax element indicating a candidate used for prediction, and when the first syntax element indicates that a subblock-based merge mode is applied to the current block, the motion vector of the current block is It may be derived in units of at least one sub-block included in the current block based on a motion vector of a candidate indicated by the sixth syntax element.
  • the sixth syntax element may be a subblock merge index (or merge subblock index).
  • the second syntax element when the first syntax element indicates that a subblock-based merge mode is applied to the current block, the second syntax element may be inferred to be zero.
  • the sixth syntax element is parsed from a bitstream when the maximum number of subblock merge candidates is greater than 1, and inferred to 0 when the maximum number of subblock merge candidates is not greater than 1 Can be.
  • embodiments of the present invention can be implemented through various means.
  • embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
  • the method according to embodiments of the present invention includes one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs) , Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, and the like.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • processors controllers, microcontrollers, microprocessors, and the like.
  • the method according to embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above.
  • the software code can be stored in memory and driven by a processor.
  • the memory may be located inside or outside the processor, and may exchange data with the processor by various means known in the art.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, or other data in a modulated data signal, such as a program module, or other transport mechanism, and includes any information delivery media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치가 개시된다. 구체적으로, 비디오 신호 처리 방법에 있어서, 현재 블록에 서브블록 기반 머지 모드가 적용되는지 여부를 지시하는 제1 신택스 요소를 획득하는 단계; 상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용되지 않음을 지시하는 경우, 상기 현재 블록에 모션 벡터 차분을 이용하는 머지 모드가 적용되는지 여부를 지시하는 제2 신택스 요소를 획득하는 단계; 상기 제2 신택스 요소가 상기 현재 블록에 상기 모션 벡터 차분을 이용하는 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 머지 후보 리스트에 포함된 후보들 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시하는 제3 신택스 요소를 획득하는 단계; 상기 모션 벡터 차분에 관련된 정보를 획득하는 단계; 상기 제3 신택스 요소에 의해 지시되는 후보의 모션 벡터에 상기 모션 벡터 차분을 가산함으로써 상기 현재 블록의 모션 벡터를 유도하는 단계; 및 상기 현재 블록의 모션 벡터를 이용하여 상기 현재 블록의 예측 블록을 생성하는 단계를 포함할 수 있다.

Description

서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
본 발명은 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 서브블록 기반의 모션 보상을 이용하여 비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 신호에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다. 그러나 최근의 다양한 미디어 및 데이터 전송 매체의 발전으로 인해, 더욱 고효율의 비디오 신호 처리 방법 및 장치가 요구되고 있다.
본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다. 본 발명의 목적은 서브블록 기반의 모션 보상을 효율적으로 수행하는 방법을 제공하고자 함에 있다. 또한, 모션 벡터 차분을 이용하는 머지 모드(merge mode with MVD)에 기반한 모션 보상 방법을 제공하고자 함에 있다.
상기와 같은 과제를 해결하기 위해, 본 발명은 다음과 같은 비디오 신호 처리 장치 및 비디오 신호 처리 방법을 제공한다.
본 발명의 일 실시예에 따르면, 비디오 신호 처리 방법에 있어서, 현재 블록에 서브블록 기반 머지 모드가 적용되는지 여부를 지시하는 제1 신택스 요소를 획득하는 단계; 상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용되지 않음을 지시하는 경우, 상기 현재 블록에 모션 벡터 차분을 이용하는 머지 모드가 적용되는지 여부를 지시하는 제2 신택스 요소를 획득하는 단계; 상기 제2 신택스 요소가 상기 현재 블록에 상기 모션 벡터 차분을 이용하는 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 머지 후보 리스트에 포함된 후보들 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시하는 제3 신택스 요소를 획득하는 단계; 상기 모션 벡터 차분에 관련된 정보를 획득하는 단계; 상기 제3 신택스 요소에 의해 지시되는 후보의 모션 벡터에 상기 모션 벡터 차분을 가산함으로써 상기 현재 블록의 모션 벡터를 유도하는 단계; 및 상기 현재 블록의 모션 벡터를 이용하여 상기 현재 블록의 예측 블록을 생성하는 단계를 포함하는, 비디오 신호 처리 방법이 제공된다.
실시예로서, 상기 제3 신택스 요소는 상기 현재 블록의 머지 후보 리스트의 첫 번째 후보 및 두 번째 후보 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시할 수 있다.
실시예로서, 상기 제3 신택스 요소는 머지 후보의 최대 개수가 1보다 큰 경우 비트스트림으로부터 파싱되고, 상기 머지 후보의 최대 개수가 1보다 크지 않은 경우 0으로 추론될 수 있다.
실시예로서, 상기 모션 벡터 차분에 관련된 정보를 획득하는 단계는, 상기 모션 벡터 차분의 거리를 지시하는 제4 신택스 요소를 획득하는 단계; 및 상기 모션 벡터 차분의 방향을 지시하는 제5 신택스 요소를 획득할 수 있다.
실시예로서, 상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 서브블록 머지 후보 리스트에 포함된 후보들 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시하는 제6 신택스 요소를 획득하는 단계를 더 포함하고, 상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 모션 벡터는 상기 제6 신택스 요소에 의해 지시되는 후보의 모션 벡터에 기초하여 상기 현재 블록에 포함된 적어도 하나의 서브블록 단위로 유도될 수 있다.
실시예로서, 상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용됨을 지시하는 경우, 상기 제2 신택스 요소는 0으로 추론될 수 있다.
실시예로서, 상기 제6 신택스 요소는 서브블록 머지 후보의 최대 개수가 1보다 큰 경우 비트스트림으로부터 파싱되고, 상기 서브블록 머지 후보의 최대 개수가 1보다 크지 않은 경우 0으로 추론될 수 있다.
본 발명의 일 실시예에 따르면, 비디오 신호 처리 장치에 있어서, 프로세서를 포함하며, 상기 프로세서는, 현재 블록에 서브블록 기반 머지 모드가 적용되는지 여부를 지시하는 제1 신택스 요소를 획득하고, 상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용되지 않음을 지시하는 경우, 상기 현재 블록에 모션 벡터 차분을 이용하는 머지 모드가 적용되는지 여부를 지시하는 제2 신택스 요소를 획득하고, 상기 제2 신택스 요소가 상기 현재 블록에 상기 모션 벡터 차분을 이용하는 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 머지 후보 리스트에 포함된 후보들 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시하는 제3 신택스 요소를 획득하고, 상기 모션 벡터 차분에 관련된 정보를 획득하고, 상기 제3 신택스 요소에 의해 지시되는 후보의 모션 벡터에 상기 모션 벡터 차분을 가산함으로써 상기 현재 블록의 모션 벡터를 유도하고, 상기 현재 블록의 모션 벡터를 이용하여 상기 현재 블록의 예측 블록을 생성하는, 비디오 신호 처리 장치가 제공된다.
실시예로서, 상기 제3 신택스 요소는 상기 현재 블록의 머지 후보 리스트의 첫 번째 후보 및 두 번째 후보 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시할 수 있다.
실시예로서, 상기 제3 신택스 요소는 머지 후보의 최대 개수가 1보다 큰 경우 비트스트림으로부터 파싱되고, 상기 머지 후보의 최대 개수가 1보다 크지 않은 경우 0으로 추론될 수 있다.
실시예로서, 상기 프로세서는, 상기 모션 벡터 차분의 거리를 지시하는 제4 신택스 요소를 획득하고, 상기 모션 벡터 차분의 방향을 지시하는 제5 신택스 요소를 획득할 수 있다.
실시예로서, 상기 프로세서는, 상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 서브블록 머지 후보 리스트에 포함된 후보들 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시하는 제6 신택스 요소를 획득하고, 상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 모션 벡터는 상기 제6 신택스 요소에 의해 지시되는 후보의 모션 벡터에 기초하여 상기 현재 블록에 포함된 적어도 하나의 서브블록 단위로 유도될 수 있다.
실시예로서, 상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용됨을 지시하는 경우, 상기 제2 신택스 요소는 0으로 추론될 수 있다.
실시예로서, 상기 제6 신택스 요소는 서브블록 머지 후보의 최대 개수가 1보다 큰 경우 비트스트림으로부터 파싱되고, 상기 서브블록 머지 후보의 최대 개수가 1보다 크지 않은 경우 0으로 추론될 수 있다.
본 발명의 일 실시예에 따르면, 비디오 신호 처리 방법에 있어서, 현재 블록에 서브블록 기반 머지 모드가 적용되는지 여부를 지시하는 제1 신택스 요소를 부호화하는 단계; 상기 현재 블록에 서브블록 기반 머지 모드가 적용되지 않는 경우, 상기 현재 블록에 모션 벡터 차분을 이용하는 머지 모드가 적용되는지 여부를 지시하는 제2 신택스 요소를 부호화하는 단계; 상기 현재 블록에 상기 모션 벡터 차분을 이용하는 머지 모드가 적용되는 경우, 상기 현재 블록의 머지 후보 리스트에 포함된 후보들 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시하는 제3 신택스 요소를 부호화하는 단계; 상기 모션 벡터 차분에 관련된 정보를 부호화하는 단계; 상기 제3 신택스 요소에 의해 지시되는 후보의 모션 벡터에 상기 모션 벡터 차분을 가산함으로써 상기 현재 블록의 모션 벡터를 유도하는 단계; 및 상기 현재 블록의 모션 벡터를 이용하여 상기 현재 블록의 예측 블록을 생성하는 단계를 포함하는, 비디오 신호 처리 방법이 제공된다.
본 발명의 실시예에 따르면, 비디오 신호의 코딩 효율이 높아질 수 있다. 특히, 본 발명의 일 실시예에 따르면, 신택스 파싱 순서를 조절함으로써 시그널링 오버헤드를 줄이고 압축 효율을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치의 개략적인 블록도이다.
도 3은 픽쳐 내에서 코딩 트리 유닛이 코딩 유닛들로 분할되는 실시예를 도시한다.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다.
도 5는 본 발명의 실시예에 따른 인터 예측을 도시한다.
도 6은 본 발명의 일 실시예에 따른 모션 벡터 시그널링 방법을 예시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 적응적인 모션 벡터 해상도(adaptive motion vector resolution) 정보의 시그널링 방법을 예시하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 어파인 모션 보상을 도시한다.
도 9는 4-파라미터 어파인 모션 보상 방법의 일 실시예를 도시한다.
도 10은 본 발명의 일 실시예에 따른 어파인 모션 예측 방법을 설명하기 위한 도면이다.
도 11은 서브블록 기반의 어파인 모션 보상 방법의 일 실시예를 도시한다.
도 12 및 도 13은 현재 블록의 예측을 위한 컨트롤 포인트 모션 벡터 세트를 획득하는 본 발명의 실시예들을 도시한다.
도 14는 본 발명의 일 실시예에 따른 어파인 모션 보상 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 어파인 모션 보상 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따른 서브블록 기반 시간(subblock-based temporal) MVP(SbTMVP)를 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른 플래너 MVP를 예시하는 도면이다.
도 18은 본 발명의 일 실시예에 따른 임시 모션 벡터의 결정 방법을 나타내는 도면이다.
도 19는 본 발명의 일 실시예에 따른 SbTMVP 사용 여부를 예시하는 도면이다.
도 20은 본 발명의 일 실시예에 따른 SbTMVP 유도 방법을 예시하는 도면이다.
도 21은 본 발명의 일 실시예에 따른 MMVD 적용 방법을 예시하는 도면이다.
도 22는 본 발명의 일 실시예에 따른 MMVD 관련 신택스 구조를 예시하는 도면이다.
도 23은 본 발명의 일 실시예에 따른 MMVD 관련 신택스 구조를 예시하는 도면이다.
도 24는 본 발명의 일 실시예에 따른 MMVD 관련 신택스 구조를 예시하는 도면이다.
도 25는 본 발명의 일 실시예에 따른 MMVD 신택스를 예시하는 도면이다.
도 26은 본 발명의 일 실시예에 따른 MMVD 신택스를 예시하는 도면이다.
도 27은 본 발명의 일 실시예에 따른 MMVD 신택스를 예시하는 도면이다.
도 28은 본 발명의 일 실시예에 따른 MMVD 신택스를 예시하는 도면이다.
도 29는 본 발명의 일 실시예에 따른 코딩 유닛 신택스 구조를 예시하는 도면이다.
도 30은 본 발명의 일 실시예에 따른 머지 데이터 신택스 구조를 예시하는 도면이다.
도 31는 본 발명의 일 실시예에 따른 머지 데이터 신택스 구조를 예시하는 도면이다.
도 32는 본 발명의 일 실시예에 따른 머지 데이터 신택스 구조를 예시하는 도면이다.
도 33은 본 발명이 적용되는 일 실시예에 따른 비디오 신호 처리 방법을 예시하는 도면이다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서, 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 일부 용어들은 다음과 같이 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있다. 본 명세서에서 비디오 신호의 인코딩(부호화)을 수행하여 비디오 신호 비트스트림을 생성하는 장치는 인코딩 장치 또는 인코더로 지칭되며, 비디오 신호 비트스트림의 디코딩(복호화)을 수행하여 비디오 신호를 복원하는 장치는 디코딩 장치 또는 디코더로 지칭된다. 또한, 본 명세서에서 비디오 신호 처리 장치는 인코더 및 디코더를 모두 포함하는 개념의 용어로 사용된다. 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 의미는 달리 해석될 수 있으므로 본 발명은 이에 한정되지 아니한다. '유닛'은 영상 처리의 기본 단위 또는 픽쳐의 특정 위치를 지칭하는 의미로 사용되며, 루마(luma) 성분 및 크로마(chroma) 성분 중 적어도 하나를 포함하는 이미지 영역을 가리킨다. 또한, ‘블록’은 루마 성분 및 크로마 성분들(즉, Cb 및 Cr) 중 특정 성분을 포함하는 이미지 영역을 가리킨다. 다만, 실시예에 따라서, ‘유닛’, '블록', '파티션' 및 '영역' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 유닛은 코딩 유닛, 예측 유닛, 변환 유닛을 모두 포함하는 개념으로 사용될 수 있다. 픽쳐는 필드 또는 프레임을 가리키며, 실시예에 따라 상기 용어들은 서로 혼용하여 사용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치(100)의 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 인코딩 장치(100)는 변환부(110), 양자화부(115), 역양자화부(120), 역변환부(125), 필터링부(130), 예측부(150) 및 엔트로피 코딩부(160)를 포함한다.
변환부(110)는 입력 받은 비디오 신호와 예측부(150)에서 생성된 예측 신호의 차이인 레지듀얼 신호를 변환하여 변환 계수 값을 획득한다. 예를 들어, 이산 코사인 변환(Discrete Cosine Transform, DCT), 이산 사인 변환(Discrete Sine Transform, DST) 또는 웨이블릿 변환(Wavelet Transform) 등이 사용될 수 있다. 이산 코사인 변환 및 이산 사인 변환은 입력된 픽쳐 신호를 블록 형태로 나누어 변환을 수행하게 된다. 변환에 있어서 변환 영역 내의 값들의 분포와 특성에 따라서, 코딩 효율이 달라질 수 있다. 양자화부(115)는 변환부(110)에서 출력된 변환 계수 값을 양자화한다.
코딩 효율을 높이기 위하여 픽쳐 신호를 그대로 코딩하는 것이 아니라, 예측부(150)를 통해 이미 코딩된 영역을 이용하여 픽쳐를 예측하고, 예측된 픽쳐에 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 더하여 복원 픽쳐를 획득하는 방법이 사용된다. 인코더와 디코더에서 미스매치가 발생되지 않도록 하기 위해, 인코더에서 예측을 수행할 때에는 디코더에서도 사용 가능한 정보를 사용해야 한다. 이를 위해, 인코더에서는 부호화한 현재 블록을 다시 복원하는 과정을 수행한다. 역양자화부(120)에서는 변환 계수 값을 역양자화하고, 역변환부(125)에서는 역양자화된 변환 계수값을 이용하여 레지듀얼 값을 복원한다. 한편, 필터링부(130)는 복원된 픽쳐의 품질 개선 및 부호화 효율 향상을 위한 필터링 연산을 수행한다. 예를 들어, 디블록킹 필터, 샘플 적응적 오프셋(Sample Adaptive Offset, SAO) 및 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(Decoded Picture Buffer, DPB, 156)에 저장된다.
코딩 효율을 높이기 위하여 픽쳐 신호를 그대로 코딩하는 것이 아니라, 예측부(150)를 통해 이미 코딩된 영역을 이용하여 픽쳐를 예측하고, 예측된 픽쳐에 원 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 더하여 복원 픽쳐를 획득하는 방법이 사용된다. 인트라 예측부(152)에서는 현재 픽쳐 내에서 화면내 예측을 수행하며, 인터 예측부(154)에서는 복호 픽쳐 버퍼(156)에 저장된 참조 픽쳐를 이용하여 현재 픽쳐를 예측한다. 인트라 예측부(152)는 현재 픽쳐 내의 복원된 영역들로부터 화면내 예측을 수행하여, 화면내 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인터 예측부(154)는 다시 모션 추정부(154a) 및 모션 보상부(154b)를 포함하여 구성될 수 있다. 모션 추정부(154a)에서는 복원된 특정 영역을 참조하여 현재 영역의 모션 벡터값을 획득한다. 모션 추정부(154a)에서는 참조 영역의 위치 정보(참조 프레임, 모션 벡터 등) 등을 엔트로피 코딩부(160)로 전달하여 비트스트림에 포함될 수 있도록 한다. 모션 추정부(154a)에서 전달된 모션 벡터값을 이용하여 모션 보상부(154b)에서는 화면간 모션 보상을 수행한다.
예측부(150)는 인트라 예측부(152)와 인터 예측부(154)를 포함한다. 인트라 예측부(152)는 현재 픽쳐 내에서 인트라(intra) 예측을 수행하며, 인터 예측부(154)는 복호 픽쳐 버퍼(156)에 저장된 참조 픽쳐를 이용하여 현재 픽쳐를 예측하는 인터(inter) 예측을 수행한다. 인트라 예측부(152)는 현재 픽쳐 내의 복원된 샘플들로부터 인트라 예측을 수행하여, 인트라 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스 중 적어도 하나를 포함할 수 있다. 인트라 부호화 정보는 참조 샘플에 관한 정보를 포함할 수 있다. 인터 예측부(154)는 모션 추정부(154a) 및 모션 보상부(154b)를 포함하여 구성될 수 있다. 모션 추정부(154a)는 복원된 참조 픽쳐의 특정 영역을 참조하여 현재 영역의 모션 벡터값을 획득한다. 모션 추정부(154a)는 참조 영역에 대한 모션 정보 세트(참조 픽쳐 인덱스, 모션 벡터 정보 등)를 엔트로피 코딩부(160)로 전달한다. 모션 보상부(154b)는 모션 추정부(154a)에서 전달된 모션 벡터값을 이용하여 모션 보상을 수행한다. 인터 예측부(154)는 참조 영역에 대한 모션 정보를 포함하는 인터 부호화 정보를 엔트로피 코딩부(160)에 전달한다.
추가적인 실시예에 따라, 예측부(150)는 인트라 블록 카피(block copy, BC) 예측부(미도시)를 포함할 수 있다. 인트라 BC 예측부는 현재 픽쳐 내의 복원된 샘플들로부터 인트라 BC 예측을 수행하여, 인트라 BC 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인트라 BC 예측부는 현재 픽쳐 내의 특정 영역을 참조하여 현재 영역의 예측에 이용되는 참조 영역을 나타내는 블록 벡터값을 획득한다. 인트라 BC 예측부는 획득된 블록 벡터값을 이용하여 인트라 BC 예측을 수행할 수 있다. 인트라 BC 예측부는 인트라 BC 부호화 정보를 엔트로피 코딩부(160)로 전달한다. 인트라 BC 부호화 정보는 블록 벡터 정보를 포함할 수 있다.
위와 같은 픽쳐 예측이 수행될 경우, 변환부(110)는 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 변환하여 변환 계수 값을 획득한다. 이때, 변환은 픽쳐 내에서 특정 블록 단위로 수행될 수 있으며, 특정 블록의 크기는 기 설정된 범위 내에서 가변할 수 있다. 양자화부(115)는 변환부(110)에서 생성된 변환 계수 값을 양자화하여 엔트로피 코딩부(160)로 전달한다.
엔트로피 코딩부(160)는 양자화된 변환 계수를 나타내는 정보, 인트라 부호화 정보, 및 인터 부호화 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다. 엔트로피 코딩부(160)에서는 가변 길이 코딩(Variable Length Coding, VLC) 방식과 산술 코딩(arithmetic coding) 방식 등이 사용될 수 있다. 가변 길이 코딩(VLC) 방식은 입력되는 심볼들을 연속적인 코드워드로 변환하는데, 코드워드의 길이는 가변적일 수 있다. 예를 들어, 자주 발생하는 심볼들을 짧은 코드워드로, 자주 발생하지 않은 심볼들은 긴 코드워드로 표현하는 것이다. 가변 길이 코딩 방식으로서 컨텍스트 기반 적응형 가변 길이 코딩(Context-based Adaptive Variable Length Coding, CAVLC) 방식이 사용될 수 있다. 산술 코딩은 연속적인 데이터 심볼들을 하나의 소수로 변환하는데, 산술 코딩은 각 심볼을 표현하기 위하여 필요한 최적의 소수 비트를 얻을 수 있다. 산술 코딩으로서 컨텍스트 기반 적응형 산술 부호화(Context-based Adaptive Binary Arithmetic Code, CABAC)가 이용될 수 있다. 예를 들어, 엔트로피 코딩부(160)는 양자화된 변환 계수를 나타내는 정보를 이진화할 수 있다. 또한, 엔트로피 코딩부(160)는 이진화된 정보를 산술 코딩하여 비트스트림을 생성할 수 있다.
상기 생성된 비트스트림은 NAL(Network Abstraction Layer) 유닛을 기본 단위로 캡슐화 된다. NAL 유닛은 부호화된 정수 개의 코딩 트리 유닛(coding tree unit)을 포함한다. 비디오 디코더에서 비트스트림을 복호화하기 위해서는 먼저 비트스트림을 NAL 유닛 단위로 분리한 후, 분리된 각각의 NAL 유닛을 복호화해야 한다. 한편, 비디오 신호 비트스트림의 복호화를 위해 필요한 정보들은 픽쳐 파라미터 세트(Picture Parameter Set, PPS), 시퀀스 파라미터 세트(Sequence Parameter Set, SPS), 비디오 파라미터 세트(Video Parameter Set, VPS) 등과 같은 상위 레벨 세트의 RBSP(Raw Byte Sequence Payload)를 통해 전송될 수 있다.
한편, 도 1의 블록도는 본 발명의 일 실시예에 따른 인코딩 장치(100)를 나타낸 것으로서, 분리하여 표시된 블록들은 인코딩 장치(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서, 전술한 인코딩 장치(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 인코딩 장치(100)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치(200)의 개략적인 블록도이다. 도 2를 참조하면 본 발명의 디코딩 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230) 및 예측부(250)를 포함한다.
엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여, 각 영역에 대한 변환 계수 정보, 인트라 부호화 정보, 인터 부호화 정보 등을 추출한다. 예를 들어, 엔트로피 디코딩부(210)는 비디오 신호 비트스트림으로부터 특정 영역의 변환 계수 정보에 대한 이진화 코드를 획득할 수 있다. 또한, 엔트로피 디코딩부(210)는 이진화 코드를 역 이진화하여 양자화된 변환 계수를 획득한다. 역양자화부(220)는 양자화된 변환 계수를 역양자화하고, 역변환부(225)는 역양자화된 변환 계수를 이용하여 레지듀얼 값을 복원한다. 비디오 신호 처리 장치(200)는 역변환부(225)에서 획득된 레지듀얼 값을 예측부(250)에서 획득된 예측값과 합산하여 원래의 화소값을 복원한다.
한편, 필터링부(230)는 픽쳐에 대한 필터링을 수행하여 화질을 향상시킨다. 여기에는 블록 왜곡 현상을 감소시키기 위한 디블록킹 필터 및/또는 픽쳐 전체의 왜곡 제거를 위한 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 다음 픽쳐에 대한 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(DPB, 256)에 저장된다.
예측부(250)는 인트라 예측부(252) 및 인터 예측부(254)를 포함한다. 예측부(250)는 전술한 엔트로피 디코딩부(210)를 통해 복호화된 부호화 타입, 각 영역에 대한 변환 계수, 인트라/인터 부호화 정보 등을 활용하여 예측 픽쳐를 생성한다. 복호화가 수행되는 현재 블록을 복원하기 위해서, 현재 블록이 포함된 현재 픽쳐 또는 다른 픽쳐들의 복호화된 영역이 이용될 수 있다. 복원에 현재 픽쳐만을 이용하는, 즉 인트라 예측 또는 인트라 BC 예측을 수행하는 픽쳐(또는, 타일/슬라이스)를 인트라 픽쳐 또는 I 픽쳐(또는, 타일/슬라이스), 인트라 예측, 인터 예측 및 인트라 BC 예측을 모두 수행할 수 있는 픽쳐(또는, 타일/슬라이스)를 인터 픽쳐(또는, 타일/슬라이스)라고 한다. 인터 픽쳐(또는, 타일/슬라이스) 중 각 블록의 샘플값들을 예측하기 위하여 최대 하나의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 예측 픽쳐(predictive picture) 또는 P 픽쳐(또는, 타일/슬라이스)라고 하며, 최대 두 개의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 쌍예측 픽쳐(Bi-predictive picture) 또는 B 픽쳐(또는, 타일/슬라이스) 라고 한다. 다시 말해서, P 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 하나의 모션 정보 세트를 이용하고, B 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 두 개의 모션 정보 세트를 이용한다. 여기서, 모션 정보 세트는 하나 이상의 모션 벡터와 하나의 참조 픽쳐 인덱스를 포함한다.
인트라 예측부(252)는 인트라 부호화 정보 및 현재 픽쳐 내의 복원된 샘플들을 이용하여 예측 블록을 생성한다. 전술한 바와 같이, 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스 중 적어도 하나를 포함할 수 있다. 인트라 예측부(252)는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다. 본 개시에서, 복원된 샘플들, 참조 샘플들 및 현재 블록의 샘플들은 픽셀들을 나타낼 수 있다. 또한, 샘플 값(sample value)들은 픽셀 값들을 나타낼 수 있다.
일 실시예에 따르면, 참조 샘플들은 현재 블록의 주변 블록에 포함된 샘플들일 수 있다. 예를 들어, 참조 샘플들은 현재 블록의 좌측 경계에 인접한 샘플들 및/또는 상측 경계에 인접한 샘플들일 수 있다. 또한, 참조 샘플들은 현재 블록의 주변 블록의 샘플들 중 현재 블록의 좌측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들 및/또는 현재 블록의 상측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들일 수 있다. 이때, 현재 블록의 주변 블록은 현재 블록에 인접한 좌측(L) 블록, 상측(A) 블록, 하좌측(Below Left, BL) 블록, 상우측(Above Right, AR) 블록 또는 상좌측(Above Left, AL) 블록 중 적어도 하나를 포함할 수 있다.
인터 예측부(254)는 복호 픽쳐 버퍼(256)에 저장된 참조 픽쳐 및 인터 부호화 정보를 이용하여 예측 블록을 생성한다. 인터 부호화 정보는 참조 블록에 대한 현재 블록의 모션 정보 세트(참조 픽쳐 인덱스, 모션 벡터 정보 등)를 포함할 수 있다. 인터 예측에는 L0 예측, L1 예측 및 쌍예측(Bi-prediction)이 있을 수 있다. L0 예측은 L0 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측이고, L1 예측은 L1 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측을 의미한다. 이를 위해서는 1세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 필요할 수 있다. 쌍예측 방식에서는 최대 2개의 참조 영역을 이용할 수 있는데, 이 2개의 참조 영역은 동일한 참조 픽쳐에 존재할 수도 있고, 서로 다른 픽쳐에 각각 존재할 수도 있다. 즉, 쌍예측 방식에서는 최대 2세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 이용될 수 있는데, 2개의 모션 벡터가 동일한 참조 픽쳐 인덱스에 대응될 수도 있고 서로 다른 참조 픽쳐 인덱스에 대응될 수도 있다. 이때, 참조 픽쳐들은 시간적으로 현재 픽쳐 이전이나 이후 모두에 표시(또는 출력)될 수 있다. 일 실시예에 따라, 쌍예측 방식에서는 사용되는 2개의 참조 영역은 L0 픽쳐 리스트 및 L1 픽쳐 리스트 각각에서 선택된 영역일 수 있다.
인터 예측부(254)는 모션 벡터 및 참조 픽쳐 인덱스를 이용하여 현재 블록의 참조 블록을 획득할 수 있다. 상기 참조 블록은 참조 픽쳐 인덱스에 대응하는 참조 픽쳐 내에 존재한다. 또한, 모션 벡터에 의해서 특정된 블록의 샘플 값 또는 이의 보간(interpolation)된 값이 현재 블록의 예측자(predictor)로 이용될 수 있다. 서브펠(sub-pel) 단위의 픽셀 정확도를 갖는 모션 예측을 위하여 이를 테면, 루마 신호에 대하여 8-탭 보간 필터가, 크로마 신호에 대하여 4-탭 보간 필터가 사용될 수 있다. 다만, 서브펠 단위의 모션 예측을 위한 보간 필터는 이에 한정되지 않는다. 이와 같이 인터 예측부(254)는 이전에 복원된 픽쳐로부터 현재 유닛의 텍스쳐를 예측하는 모션 보상(motion compensation)을 수행한다. 이때, 인터 예측부는 모션 정보 세트를 이용할 수 있다.
추가적인 실시예에 따라, 예측부(250)는 인트라 BC 예측부(미도시)를 포함할 수 있다. 인트라 BC 예측부는 현재 픽쳐 내의 복원된 샘플들을 포함하는 특정 영역을 참조하여 현재 영역을 복원할 수 있다. 인트라 BC 예측부는 엔트로피 디코딩부(210)로부터 현재 영역에 대한 인트라 BC 부호화 정보를 획득한다. 인트라 BC 예측부는 현재 픽쳐 내의 특정 영역을 지시하는 현재 영역의 블록 벡터값을 획득한다. 인트라 BC 예측부는 획득된 블록 벡터값을 이용하여 인트라 BC 예측을 수행할 수 있다. 인트라 BC 부호화 정보는 블록 벡터 정보를 포함할 수 있다.
상기 인트라 예측부(252) 또는 인터 예측부(254)로부터 출력된 예측값, 및 역변환부(225)로부터 출력된 레지듀얼 값이 더해져서 복원된 비디오 픽쳐가 생성된다. 즉, 비디오 신호 디코딩 장치(200)는 예측부(250)에서 생성된 예측 블록과 역변환부(225)로부터 획득된 레지듀얼을 이용하여 현재 블록을 복원한다.
한편, 도 2의 블록도는 본 발명의 일 실시예에 따른 디코딩 장치(200)를 나타낸 것으로서, 분리하여 표시된 블록들은 디코딩 장치(200)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서, 전술한 디코딩 장치(200)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 디코딩 장치(200)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.
도 3은 픽쳐 내에서 코딩 트리 유닛(Coding Tree Unit, CTU)이 코딩 유닛들(Coding Units, CUs)로 분할되는 실시예를 도시한다. 비디오 신호의 코딩 과정에서, 픽쳐는 코딩 트리 유닛(CTU)들의 시퀀스로 분할될 수 있다. 코딩 트리 유닛은 루마(luma) 샘플들의 NXN 블록과, 이에 대응하는 크로마(chroma) 샘플들의 2개의 블록들로 구성된다. 코딩 트리 유닛은 복수의 코딩 유닛들로 분할될 수 있다. 코딩 트리 유닛은 분할되지 않고 리프 노드가 될 수도 있다. 이 경우, 코딩 트리 유닛 자체가 코딩 유닛이 될 수 있다. 코딩 유닛은 상기에서 설명한 비디오 신호의 처리 과정, 즉 인트라/인터 예측, 변환, 양자화 및/또는 엔트로피 코딩 등의 과정에서 픽쳐를 처리하기 위한 기본 단위를 가리킨다. 하나의 픽쳐 내에서 코딩 유닛의 크기 및 모양은 일정하지 않을 수 있다. 코딩 유닛은 정사각형 또는 직사각형의 모양을 가질 수 있다. 직사각형 코딩 유닛(또는, 직사각형 블록)은 수직 코딩 유닛(또는, 수직 블록)과 수평 코딩 유닛(또는, 수평 블록)을 포함한다. 본 명세서에서, 수직 블록은 높이가 너비보다 큰 블록이며, 수평 블록은 너비가 높이보다 큰 블록이다. 또한, 본 명세서에서 정사각형이 아닌(non-square) 블록은 직사각형 블록을 가리킬 수 있지만, 본 발명은 이에 한정되지 않는다.
도 3을 참조하면, 코딩 트리 유닛은 먼저 쿼드 트리(Quad Tree, QT) 구조로 분할된다. 즉, 쿼드 트리 구조에서 2NX2N 크기를 가지는 하나의 노드는 NXN 크기를 가지는 네 개의 노드들로 분할될 수 있다. 본 명세서에서 쿼드 트리는 4진(quaternary) 트리로도 지칭될 수 있다. 쿼드 트리 분할은 재귀적으로 수행될 수 있으며, 모든 노드들이 동일한 깊이로 분할될 필요는 없다.
한편, 전술한 쿼드 트리의 리프 노드(leaf node)는 멀티-타입 트리(Multi-Type Tree, MTT) 구조로 더욱 분할될 수 있다. 본 발명의 실시예에 따르면, 멀티 타입 트리 구조에서는 하나의 노드가 수평 또는 수직 분할의 2진(binary, 바이너리) 또는 3진(ternary, 터너리) 트리 구조로 분할될 수 있다. 즉, 멀티-타입 트리 구조에는 수직 바이너리 분할, 수평 바이너리 분할, 수직 터너리 분할 및 수평 터너리 분할의 4가지 분할 구조가 존재한다. 본 발명의 실시예에 따르면, 상기 각 트리 구조에서 노드의 너비 및 높이는 모두 2의 거듭제곱 값을 가질 수 있다. 예를 들어, 바이너리 트리(Binary Tree, BT) 구조에서, 2NX2N 크기의 노드는 수직 바이너리 분할에 의해 2개의 NX2N 노드들로 분할되고, 수평 바이너리 분할에 의해 2개의 2NXN 노드들로 분할될 수 있다. 또한, 터너리 트리(Ternary Tree, TT) 구조에서, 2NX2N 크기의 노드는 수직 터너리 분할에 의해 (N/2)X2N, NX2N 및 (N/2)X2N의 노드들로 분할되고, 수평 바이너리 분할에 의해 2NX(N/2), 2NXN 및 2NX(N/2)의 노드들로 분할될 수 있다. 이러한 멀티-타입 트리 분할은 재귀적으로 수행될 수 있다.
멀티-타입 트리의 리프 노드는 코딩 유닛이 될 수 있다. 코딩 유닛에 대한 분할이 지시되지 않거나 코딩 유닛이 최대 변환 길이에 비해 크지 않은 경우, 해당 코딩 유닛은 더 이상의 분할 없이 예측 및 변환의 단위로 사용된다. 한편, 전술한 쿼드 트리 및 멀티-타입 트리에서 다음의 파라메터들 중 적어도 하나가 사전에 정의되거나 PPS, SPS, VPS 등과 같은 상위 레벨 세트의 RBSP를 통해 전송될 수 있다. 1) CTU 크기: 쿼드 트리의 루트 노드(root node) 크기, 2) 최소 QT 크기(MinQtSize): 허용된 최소 QT 리프 노드 크기, 3) 최대 BT 크기(MaxBtSize): 허용된 최대 BT 루트 노드 크기, 4) 최대 TT 크기(MaxTtSize): 허용된 최대 TT 루트 노드 크기, 5) 최대 MTT 깊이(MaxMttDepth): QT의 리프 노드로부터의 MTT 분할의 최대 허용 깊이, 6) 최소 BT 크기(MinBtSize): 허용된 최소 BT 리프 노드 크기, 7) 최소 TT 크기(MinTtSize): 허용된 최소 TT 리프 노드 크기.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다. 전술한 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하기 위해 기 설정된 플래그들이 사용될 수 있다. 도 4를 참조하면, 쿼드 트리 노드의 분할 여부를 지시하는 플래그 'qt_split_flag', 멀티-타입 트리 노드의 분할 여부를 지시하는 플래그 'mtt_split_flag', 멀티-타입 트리 노드의 분할 방향을 지시하는 플래그 'mtt_split_vertical_flag' 또는 멀티-타입 트리 노드의 분할 모양을 지시하는 플래그 'mtt_split_binary_flag' 중 적어도 하나가 사용될 수 있다.
본 발명의 실시예에 따르면, 코딩 트리 유닛은 쿼드 트리의 루트 노드이며, 쿼드 트리 구조로 우선 분할될 수 있다. 쿼드 트리 구조에서는 각각의 노드 'QT_node' 별로 'qt_split_flag'가 시그널링된다. 'qt_split_flag'의 값이 1일 경우 해당 노드는 4개의 정사각형 노드들로 분할되며, 'qt_split_flag'의 값이 0일 경우 해당 노드는 쿼드 트리의 리프 노드 'QT_leaf_node'가 된다.
각각의 쿼드 트리 리프 노드 'QT_leaf_node'는 멀티-타입 트리 구조로 더 분할될 수 있다. 멀티-타입 트리 구조에서는 각각의 노드 'MTT_node' 별로 'mtt_split_flag'가 시그널링된다. 'mtt_split_flag'의 값이 1일 경우 해당 노드는 복수의 직사각형 노드들로 분할되며, 'mtt_split_flag'의 값이 0일 경우 해당 노드는 멀티-타입 트리의 리프 노드 'MTT_leaf_node'가 된다. 멀티-타입 트리 노드 'MTT_node'가 복수의 직사각형 노드들로 분할될 경우(즉, 'mtt_split_flag'의 값이 1일 경우), 노드 'MTT_node'를 위한 'mtt_split_vertical_flag' 및 'mtt_split_binary_flag'가 추가로 시그널링될 수 있다. 'mtt_split_vertical_flag'의 값이 1일 경우 노드 'MTT_node'의 수직 분할이 지시되며, 'mtt_split_vertical_flag'의 값이 0일 경우 노드 'MTT_node'의 수평 분할이 지시된다. 또한, 'mtt_split_binary_flag'의 값이 1일 경우 노드 'MTT_node'는 2개의 직사각형 노드들로 분할되며, 'mtt_split_binary_flag'의 값이 0일 경우 노드 'MTT_node'는 3개의 직사각형 노드들로 분할된다.
코딩을 위한 픽쳐 예측(모션 보상)은 더 이상 나누어지지 않는 코딩 유닛(즉 코딩 유닛 트리의 리프 노드)을 대상으로 이루어진다. 이러한 예측을 수행하는 기본 단위를 이하에서는 예측 유닛(prediction unit) 또는 예측 블록(prediction block)이라고 한다.
이하, 본 명세서에서 사용되는 유닛이라는 용어는 예측을 수행하는 기본 단위인 상기 예측 유닛을 대체하는 용어로 사용될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 더욱 광의적으로는 상기 코딩 유닛을 포함하는 개념으로 이해될 수 있다.
도 5는 본 발명의 실시예에 따른 인터 예측을 도시한다. 전술한 바와 같이, 디코더는 복호화된 다른 픽쳐의 복원된 샘플들을 참조하여 현재 블록을 예측한다. 도 5를 참조하면, 디코더는 현재 블록(32)의 모션 정보에 기초하여 참조 픽쳐 내의 참조 블록(42)을 획득한다. 이때, 모션 정보는 참조 픽쳐 인덱스 및 모션 벡터(50)를 포함할 수 있다. 참조 픽쳐 인덱스는 참조 픽쳐 리스트에서 현재 블록의 참조 픽쳐를 지시한다. 또한, 모션 벡터(50)는 현재 픽쳐 내에서의 현재 블록(32)의 좌표값과 참조 픽쳐 내에서의 참조 블록(42)의 좌표값 간의 오프셋을 나타낸다. 디코더는 참조 블록(42)의 샘플 값들에 기초하여 현재 블록(32)의 예측자를 획득하고, 상기 예측자를 이용하여 현재 블록(32)을 복원한다.
한편, 본 발명의 실시예에 따르면 서브블록 기반의 모션 보상이 사용될 수 있다. 즉, 현재 블록(32)은 복수의 서브블록들로 분할되며, 각 서브블록 별로 독립된 모션 벡터가 사용될 수 있다. 따라서, 현재 블록(32) 내에서 각 서브블록은 서로 다른 참조 블록을 이용하여 예측될 수 있다. 일 실시예에 따르면, 서브블록은 4X4 또는 8X8과 같이 기 설정된 크기를 가질 수 있다. 디코더는 각 서브블록의 모션 벡터를 이용하여 현재 블록(32)의 각 서브블록의 예측자를 획득한다. 각 서브블록의 예측자를 조합하여 현재 블록(32)의 예측자가 획득될 수 있으며, 디코더는 이와 같이 획득된 현재 블록(32)의 예측자를 이용하여 현재 블록(32)을 복원할 수 있다.
본 발명의 실시예에 따르면, 다양한 방법의 서브블록 기반 모션 보상이 수행될 수 있다. 서브블록 기반의 모션 보상은 어파인(affine) 모델 기반의 모션 보상(이하, 어파인 모션 보상 또는 어파인 모션 예측)과 서브블록 기반의 시간적 모션 벡터 예측(Subblock-based Temporal Motion Vector Prediction, SbTMVP)을 포함할 수 있다. 이하, 각 도면을 참조로 어파인 모션 보상과 SbTMVP의 다양한 실시예들을 서술하도록 한다.
도 6은 본 발명의 일 실시예에 따른 모션 벡터 시그널링 방법을 예시하는 도면이다. 본 발명의 일 실시예에 따르면 모션 벡터(motion vector, MV)는 모션 벡터 예측(또는 예측자)(motion vector prediction(or predictor), MVP)에 기초하여 생성될 수 있다. 일 예로서, 다음의 수학식 1과 같이 MV는 MVP로 결정될 수 있다. 다시 말해, MV는 MVP와 동일한 값으로 결정(또는 설정, 유도)될 수 있다.
Figure PCTKR2019014016-appb-img-000001
다른 일 예로서, 다음의 수학식 2와 같이, MV는 MVP 및 모션 벡터 차분(motion vector difference, MVD)에 기초하여 결정될 수 있다. 인코더는 보다 정확한 MV를 나타내기 위해 MVD 정보를 디코더로 시그널링할 수 있고, 디코더는 획득된 MVD를 MVP에 가산함으로써 MV를 유도할 수 있다.
Figure PCTKR2019014016-appb-img-000002
본 발명의 일 실시예에 따르면, 인코더는 결정된 모션 정보를 디코더로 전송하고, 디코더는 수신된 모션 정보로부터 MV를 생성(또는 유도)하고 이를 기반으로 예측 블록을 생성할 수 있다. 예를 들어, 상기 모션 정보는 MVP 정보, MVD 정보를 포함할 수 있다. 이때, 인터 예측 모드에 따라 상기 모션 정보의 구성 요소가 달라질 수 있다. 일 예로서, 머지 모드에서 상기 모션 정보는 MVP 정보를 포함하고, MVD 정보를 포함하지 않을 수 있다. 다른 일 예로서, AMVP(advanced motion vector prediction) 모드에서 상기 모션 정보는 MVP 정보 및 MVD 정보를 포함할 수 있다.
MVP에 관한 정보를 결정, 송신, 수신하기 위해서 인코더와 디코더는 동일한 방법으로 MVP 후보(또는 MVP 후보 리스트)를 생성할 수 있다. 예를 들어, 인코더와 디코더는 동일한 순서로 동일한 MVP 후보를 생성할 수 있다. 그리고, 인코더는 생성된 MVP 후보들 중에서 결정된(또는 선택된) MVP를 나타내는(또는 지시하는) 인덱스를 디코더로 전송하고, 디코더는 수신된 인덱스를 기초로 결정된 MVP 및/또는 MV를 유도할 수 있다.
본 발명의 일 실시예에 따르면, MVP 후보는 공간 후보(spatial candidate), 시간 후보(temporal candidate) 등을 포함할 수 있다. 상기 MVP 후보는 머지 모드가 적용되는 경우 머지 후보로 지칭될 수 있고, AMVP 모드가 적용되는 경우 AMVP 후보로 지칭될 수 있다. 공간 후보는 현재 블록을 기준으로 특정 위치에 있는 블록에 대한 MV(또는 모션 정보)일 수 있다. 예를 들어, 상기 공간 후보는 현재 블록과 인접하거나 또는 인접하지 않은 위치의 블록의 MV일 수 있다. 시간 후보는 현재 픽쳐와 다른 픽쳐 내의 블록에 해당하는 MV일 수 있다. 또한, 예를 들어, MVP 후보는 어파인(affine) MV, ATMVP, STMVP, 전술한 MV(또는 후보)들의 조합, 전술한 MV(또는 후보)들의 평균 MV, 제로 MV 등을 포함할 수 있다.
일 실시예에서, 인코더는 참조 픽쳐를 나타내는 정보를 디코더로 시그널링할 수 있다. 실시예로서, MVP 후보의 참조 픽쳐와 현재 블록(또는 현재 처리 블록)의 참조 픽쳐가 상이한 경우, 인코더/디코더는 MVP 후보의 MV를 스케일링(motion vector scaling)을 할 수 있다. 이때, MV 스케일링은 현재 픽쳐의 픽쳐 순서 카운트(picture order count, POC), 현재 블록의 참조 픽쳐의 POC, MVP 후보의 참조 픽쳐의 POC를 기반으로 수행될 수 있다.
이하에서, MVD 시그널링 방법에 관한 구체적인 실시예를 설명한다. 아래의 표 1은 MVD 시그널링을 위한 신택스 구조를 예시한다.
Figure PCTKR2019014016-appb-img-000003
표 1을 참조하면, 본 발명의 일 실시예에 따르면, MVD는 MVD의 부호(sign) 및 절대값(absolute value)이 나누어서 코딩될 수 있다. 즉, MVD의 부호 및 절대값은 각각 다른 신택스(또는 신택스 엘리먼트)일 수 있다. 또한, MVD의 절대값은 그 값이 직접적으로 코딩될 수도 있고, 표 1과 같이 절대값이 N보다 큰지 여부를 나타내는 플래그에 기초하여 단계적으로 코딩될 수도 있다. 만약, 절대값이 N보다 큰 경우 (절대값 - N)의 값이 함께 시그널링 될 수 있다. 구체적으로, 표 1의 예시에서 절대값이 0보다 큰지를 나타내는 abs_mvd_greater0_flag가 전송될 수 있다. 만약, 절대값이 0보다 크지 않음을 abs_mvd_greater0_flag가 나타내는(또는 지시하는) 경우, MVD의 절대값은 0으로 결정될 수 있다. 또한, 만약 절대값이 0보다 큼을 abs_mvd_greater0_flag가 나타내는 경우, 추가 신택스(또는 신택스 엘리먼트)가 존재할 수 있다.
예를 들어, 절대값이 1보다 큰지를 나타내는 abs_mvd_greater1_flag가 전송될 수 있다. 만약, 절대값이 1보다 크지 않음을 abs_mvd_greater1_flag가 나타내는(또는 지시하는) 경우, MVD의 절대값은 1로 결정될 수 있다. 만약, 절대값이 1보다 큼을 abs_mvd_greater1_flag가 나타내는 경우, 추가 신택스가 존재할 수 있다. 예를 들어, abs_mvd_minus2가 존재할 수 있다. abs_mvd_minus2는 (절대값 - 2)의 값일 수 있다. abs_mvd_greater0_flag, abs_mvd_greater1_flag 값에 따라 절대값이 1보다 큰 것으로(즉, 2 이상인 것으로) 결정되었으므로, (절대값 - 2) 값이 시그널링될 수 있다. 이와 같이 절대값에 대한 정보를 계층적으로 신택스 시그널링함으로써, 절대값을 그대로 이진화(binarization)하여 시그널링하는 경우 대비 보다 적은 비트가 사용될 수 있다.
일 실시예에서, 상술한 절대값에 관련된 신택스는 지수 골롬(Exponential-Golomb), 절삭형 단항(truncated unary), 절삭형 라이스(truncated Rice) 등의 변수 길이(variable length)인 이진화 방법을 적용하여 코딩될 수 있다. 또한, MVD의 부호를 나타내는 플래그는 mvd_sign_flag를 통해 시그널링될 수 있다.
상술한 실시예에서, MVD에 대한 코딩 방법을 설명하였으나, MVD 이외의 정보도 부호 및 절대값을 나누어 시그널링 할 수 있다. 그리고, 절대값은 상기 절대값이 미리 정의된 특정 값보다 큰지 여부를 나타내는 플래그 및 절대값에서 상기 특정 값을 뺀 값으로 코딩될 수 있다. 상기 표 1에서 [0]과 [1]은 컴포넌트 인덱스(component index)를 나타낼 수 있다. 예를 들어, x-컴포넌트(즉, 수평 성분), y-컴포넌트(즉, 수직 성분)를 나타낼 수 있다.
도 7은 본 발명의 일 실시예에 따른 적응적인 모션 벡터 해상도(adaptive motion vector resolution) 정보의 시그널링 방법을 예시하는 도면이다. 본 발명의 일 실시예에 따르면, MV 또는 MVD를 나타내기 위한 해상도는 다양할 수 있다. 예를 들어, 해상도는 픽셀(pixel)(또는 펠(pel))을 기초로 표현될 수 있다. 예를 들어, MV 또는 MVD는 1/4(quarter), 1/2(half), 1(integer), 2, 4 픽셀 등의 단위로 시그널링될 수 있다. 그리고, 인코더는 MV 또는 MVD의 해상도 정보를 디코더로 시그널링할 수 있다. 또한, 예를 들어, 16은 1/4 단위일 때 64로 코딩되고(1/4 * 64 = 16), 1 단위일 때 16으로 코딩되고(1 * 16 = 16), 4 단위일 때 4로 코딩될 수 있다(4 *. 4 = 16). 즉, MV 또는 MVD 값은 다음의 수학식 3을 이용하여 결정될 수 있다.
Figure PCTKR2019014016-appb-img-000004
수학식 3에서, valueDetermined는 MV 또는 MVD 값을 나타낸다. 또한, valuePerResolution은 결정된 해상도를 기반으로 시그널링되는 값을 나타낸다. 이때, MV 또는 MVD로 시그널링하는 값이 결정된 해상도로 나누어 떨어지지 않는 경우, 라운딩(rounding) 프로세스 등이 적용될 수 있다. 높은 해상도를 사용하면 정확도가 높아질 수 있는 반면에 코딩되는 값이 크므로 많은 비트가 사용될 수 있고, 낮은 해상도를 사용하면 정확도가 낮아질 수 있는 반명에 코딩되는 값이 작으므로 적은 비트가 사용될 수 있다. 일 실시예로서, 상술한 해상도는 시퀀스, 픽쳐, 슬라이스, 코딩 트리 유닛(coding tree unit, CTU), 코딩 유닛(coding unit, CU) 등의 단위로 다르게 설정될 수 있다. 즉, 인코더/디코더는 상술한 단위들 중 미리 정의된 단위에 따라 적응적으로 해상도를 결정/적용할 수 있다.
본 명세서의 일 실시예에 따르면, 상술한 해상도 정보는 인코더에서 디코더로 시그널링될 수 있다. 이때, 해상도에 대한 정보는 앞서 설명한 변수 길이를 기반으로 이진화되어 시그널링될 수 있다. 이러한 경우, 가장 작은 값(즉, 가장 앞에 있는 값)에 해당하는 인덱스에 기초하여 시그널링되는 경우 시그널링 오버헤드가 줄어들 수 있다. 일 실시예로서, 높은 해상도부터 낮은 해상도 순서대로 시그널링 인덱스에 매핑될 수 있다.
본 명세서의 일 실시예에 따르면, 도 7은 다양한 여러 해상도 중 3가지 해상도가 사용되는 경우를 가정하여 시그널링 방법을 나타낸다. 이 경우, 3가지 시그널링 비트는 0, 10, 11일 수 있고, 상기 3가지 시그널링 인덱스는 각각 제1 해상도, 제2 해상도, 제3 해상도를 지칭할 수 있다. 제1 해상도를 시그널링하기 위해 1비트가 요구되고, 나머지 해상도를 시그널링하기 위해 2비트가 요구되기 때문에, 제1 해상도를 시그널링하는 경우 시그널링 오버헤드가 상대적으로 줄어들 수 있다. 도 7의 예시에서 제1 해상도, 제2 해상도, 제3 해상도는 각각 1/4, 1, 4 픽셀 해상도로 정의될 수 있다. 후술하는 실시예들에서 MV 해상도는 MVD의 해상도를 의미할 수 있다.
도 8은 본 발명의 일 실시예에 따른 어파인 모션 보상을 도시한다. 기존의 인터 예측 방법에 따르면, 현재 블록에 대한 L0 예측 및 L1 예측 별로 오직 하나의 모션 벡터를 사용하여 인터 예측이 수행되므로, 병진 운동(translation motion)의 예측에 최적화 되었다. 그러나 줌 인/아웃, 회전 및 기타 불규칙적인 운동들에 대한 모션 보상을 효율적으로 수행하기 위해서는 다양한 모양과 크기의 참조 블록(44)이 사용될 필요가 있다.
도 8을 참조하면, 어파인 모션 보상에서는 현재 블록(34)과 다른 크기, 모양 및/또는 방향을 갖는 참조 블록(44)을 이용하여 현재 블록(34)의 예측이 수행될 수 있다. 즉, 참조 블록(44)은 비-직사각형 형태를 가질 수 있으며, 현재 블록(34) 보다 크기가 크거나 작을 수 있다. 참조 블록(44)은 현재 블록(34)에 어파인 변환을 수행하여 획득될 수 있다. 어파인 변환은 3개의 컨트롤 포인트 모션 벡터(Control Point Motion Vector, CPMV)를 이용하는 6-파라미터 어파인 변환과, 2개의 컨트롤 포인트 모션 벡터를 이용하는 4-파라미터 어파인 변환을 포함할 수 있다. 이에 대한 구체적인 실시예는 후술하도록 한다.
도 9는 4-파라미터 어파인 모션 보상 방법의 일 실시예를 도시한다. 어파인 변환의 연산량 및 시그널링 오버헤드를 줄이기 위해, 기 설정된 개수의 컨트롤 포인트 모션 벡터(CPMV)들을 사용하여 어파인 모션 예측이 수행될 수 있다. 컨트롤 포인트 모션 벡터(CPMV)는 현재 블록의 특정 컨트롤 포인트(또는, 샘플 위치)에 대응하는 모션 벡터이다. 특정 컨트롤 포인트는 현재 블록의 모서리들 중 적어도 하나를 포함할 수 있다. 본 발명의 실시예에서는, 현재 블록의 상좌측 모서리에 대응하는 CPMV를 v0(또는, 제1 CPMV)로, 현재 블록의 상우측 모서리에 대응하는 CPMV를 v1(또는, 제2 CPMV)으로, 현재 블록의 하좌측 모서리에 대응하는 CPMV를 v2(또는, 제3 CPMV)로 각각 지칭한다. 어파인 모션 예측을 위해 적어도 2개의 CPMV들을 포함하는 CPMV 세트가 사용될 수 있다.
도 9의 실시예에 따르면, v0와 v1을 사용하여 4-파라미터 어파인 모션 예측이 수행될 수 있다. 실선으로 표시된 현재 블록(36)은 점선으로 표시된 위치의 참조 블록(46)을 이용하여 예측될 수 있다. 현재 블록(36)의 각 샘플은 어파인 변환을 통해 서로 다른 참조 샘플로 매핑될 수 있다. 더욱 구체적으로, 현재 블록(36)의 샘플 위치 (x, y)에서의 모션 벡터(v x, v y)는 아래 수학식 4에 의해 유도될 수 있다.
Figure PCTKR2019014016-appb-img-000005
여기서, (v 0x, v 0y)는 현재 블록(36)의 상좌측 모서리에 대응하는 제1 CPMV이며, (v 1x, v 1y)는 현재 블록의 상우측 모서리에 대응하는 제2 CPMV이다. 또한, w는 현재 블록(36)의 너비이다.
도 10은 본 발명의 일 실시예에 따른 어파인 모션 예측 방법을 설명하기 위한 도면이다. 본 발명의 일 실시예에 따르면, 어파인 모션은 다수의 CPMV 또는 다수의 파라미터(parameter)를 사용하여 나타낼 수 있다.
도 10을 참조하면, 인코더/디코더는 v0, v1, v2의 CPMV를 이용하여 어파인 모션 예측을 수행할 수 있다. 6개의 파라미터가 사용되는 경우, v0, v1, v2 세 개의 컨트롤 포인트 모션 벡터(CPMV)가 어파인 모션 예측에 사용될 수 있다. 상기 v0, v1, v2 세 개의 벡터 또는 상기 6개의 파라미터를 기반으로 현재 블록(36)이 어떤 모양의 참조 블록으로부터 예측하는지 나타낼 수 있다. 도 10을 참조하면 실선으로 나타낸 현재 블록(36)은 참조 픽쳐에서 도 10의 점선으로 나타낸 참조 블록(46)으로부터 예측될 수 있다. 즉, 어파인 변환(affine transformation)을 통해 현재 블록(36)의 각 컨트롤 포인트(또는 해당 위치의 픽셀)이 다른 포인트(또는 픽셀)로 매핑될 수 있다. 다음의 수학식 5는 본 발명의 일 실시예에 따른 모션 벡터 필드(motion vector field)를 나타낸 식이다.
Figure PCTKR2019014016-appb-img-000006
수학식 5에서, 도 10에서의 좌상단(top-left) 코너 컨트롤 포인트의 모션 벡터를 나타내는 CPMV v0는 (mv_0^x, mv_0^y)로 표현될 수 있다. 우상단(top-right) 코너 컨트롤 포인트의 모션 벡터를 나타내는 CPMV v1는 (mv_1^x, mv_1^y)로 표현될 수 있다. 좌상단(bottom-left) 코너 컨트롤 포인트의 모션 벡터를 나타내는 CPMV v2가 (mv_2^x, mv_2^y)로 표현될 수 있다. 이때, (x, y) 위치의 모션 벡터는 (mv^x, mv^y)는 수학식 5를 이용하여 유도(또는 계산)될 수 있다. 따라서, 각 픽셀의 위치 또는 특정 위치에 대한 모션 벡터는 컨트롤 포인트 모션 벡터 v0, v1, v2를 기반으로 수학식 5에 따라 유도될 수 있다.
또한, 수학식 5에서 (x, y)는 블록 안에서의 상대적 좌표일 수 있다. 예를 들어, (x, y)는 블록의 좌상단 위치가 (0, 0)인 경우, 상기 좌상단 위치를 기준으로 하는 위치일 수 있다. 따라서, 만약 v0의 위치를 (x0, y0), v1의 위치를 (x1, y1), v2의 위치를 (x2, y2)이라고 가정하고, (x, y)를 v0, v1, v2의 위치와 같은 좌표를 사용하면 수학식 5에서 x와 y는 각각 (x-x0), (y-y0)로 나타낼 수 있다. 또한 이 경우 블록의 너비를 나타내는 w는 (x1-x0)이고, 블록의 높이를 나타내는 h는 (y2 - y0)일 수 있다.
도 11은 서브블록 기반의 어파인 모션 보상 방법의 일 실시예를 도시한다. 전술한 바와 같이, 어파인 모션 변환을 이용하면 현재 블록의 각 샘플 위치에서의 모션 벡터(즉, 모션 벡터 필드)가 유도될 수 있다. 그러나 연산량을 줄이기 위해, 본 발명의 실시예에 따르면 서브블록 기반의 어파인 모션 보상이 수행될 수 있다. 도 8에 도시된 바와 같이, 현재 블록은 복수의 서브블록들을 포함할 수 있으며, 각 서브블록의 대표 모션 벡터가 CPMV 세트에 기초하여 획득된다. 일 실시예에 따르면, 각 서브블록의 대표 모션 벡터는 해당 서브블록의 가운데 샘플 위치에 대응하는 모션 벡터일 수 있다. 추가적인 실시예에 따르면, 서브블록의 모션 벡터에는 일반적인 모션 벡터보다 정확도가 높은 모션 벡터가 사용될 수 있다. 이를 위해, 모션 보상 보간 필터가 적용될 수 있다.
어파인 모션 보상이 수행되는 서브블록의 크기는 다양한 방법으로 설정될 수 있다. 본 발명의 일 실시예에 따르면, 서브블록은 4X4 또는 8X8과 같이 기 설정된 크기를 가질 수 있다. 본 발명의 다른 실시예에 따르면, 서브블록의 크기 MXN은 아래 수학식 6에 의해 결정될 수 있다.
Figure PCTKR2019014016-appb-img-000007
여기서, w는 현재 블록의 너비이고, MvPre는 모션 벡터의 분수 단위 정확도이다. (v2x, v2y)는 현재 블록의 하좌측 모서리에 대응하는 제3 CPMV이며, 일 실시예에 따르면 수학식 5에 의해 계산될 수 있다. max(a, b)는 a와 b 중 더 큰 값을 반환하는 함수이며, abs(x)는 x의 절대값을 반환하는 함수이다. 또한, clip3(x, y, z)는 z<x인 경우 x를 반환하고, z>y인 경우 y를 반환하며, 그 외의 경우 z를 반환하는 함수이다.
디코더는 CPMV 세트의 CPMV들을 이용하여 현재 블록의 각 서브블록의 모션 벡터를 획득한다. 또한, 디코더는 각 서브블록의 모션 벡터를 이용하여 각 서브블록의 예측자를 획득하고, 각 서브블록의 예측자를 조합하여 현재 블록의 예측자를 획득한다. 디코더는 이와 같이 획득된 현재 블록의 예측자를 이용하여 현재 블록을 복원할 수 있다.
도 12 및 도 13은 현재 블록의 예측을 위한 컨트롤 포인트 모션 벡터 세트를 획득하는 본 발명의 실시예들을 도시한다. 본 발명의 실시예에 따르면, 현재 블록의 예측을 위한 CPMV 세트는 다양한 방법으로 획득될 수 있다. 더욱 구체적으로, 현재 블록의 예측을 위한 CPMV 세트는 하나 이상의 주변 블록들의 모션 벡터 정보 세트를 참조하여 획득될 수 있다. 본 발명의 실시예에서, 모션 벡터 정보는 해당 블록의 모션 벡터를 가리키거나, 해당 블록의 CPMV를 가리킬 수 있다. 또한, 모션 벡터 정보 세트는 하나 이상의 블록들의 모션 벡터 정보의 집합을 가리킨다. 주변 블록은 현재 블록의 기 설정된 주변 위치를 포함하는 블록을 가리킬 수 있다. 이때, 주변 블록은 기 설정된 주변 위치를 포함하는 코딩 유닛이거나, 상기 주변 위치를 포함하는 기 설정된 단위(예, 4X4, 8X8)의 영역일 수 있다.
현재 블록의 CPMV들을 유도하기 위해 참조할 수 있는 복수의 후보들이 존재할 수 있다. 따라서, 현재 블록의 CPMV들을 유도하기 위해 참조할 주변 블록에 대한 정보가 별도로 시그널링 될 수 있다. 본 발명의 일 실시예에 따르면, 현재 블록의 각 서브블록의 모션 벡터를 유도하기 위해 참조할 모션 벡터 정보 세트를 지시하는 지시자가 시그널링 될 수 있다. 상기 지시자는 현재 블록의 각 서브블록의 모션 벡터를 유도하기 위해 참조할 주변 블록(들)의 모션 벡터 정보 세트를 지시할 수 있다. 디코더는 상기 지시자를 획득하고, 지시자가 지시하는 주변 블록(들)의 모션 벡터 정보 세트를 참조하여 현재 블록을 위한 CPMV 세트의 각 CPMV를 획득할 수 있다. 더욱 구체적인 실시예에 따르면, 디코더는 하나 이상의 모션 벡터 정보 세트 후보로 구성된 후보 리스트를 생성할 수 있다. 후보 리스트를 구성하는 각각의 모션 벡터 정보 세트 후보는 현재 블록의 모션 벡터 정보를 유도하기 위해 사용 가능한 주변 블록의 모션 벡터 세트이다. 이때, 지시자는 후보 리스트 중에서 어느 하나의 모션 벡터 정보 세트를 지시하는 인덱스일 수 있다. 현재 블록의 CPMV들은 후보 리스트 중에서 상기 지시자(즉, 인덱스)에 기초하여 선택된 모션 벡터 정보 세트를 참조하여 획득될 수 있다. 이하, 현재 블록의 모션 벡터 정보(또는, CPMV 세트) 유도를 위한 후보 리스트에 포함될 수 있는 모션 벡터 정보 세트 후보의 다양한 실시예들에 대해 서술하도록 한다.
도 12는 현재 블록의 CPMV 세트를 획득하는 일 실시예를 도시한다. 도 12의 실시예에서는 현재 블록의 CPMV 세트가 2개의 CPMV 즉, v0와 v1을 포함하는 것으로 가정한다. 본 발명의 일 실시예에 따르면, 현재 블록의 CPMV는 해당 포인트에 인접한 주변 블록의 모션 벡터로부터 유도될 수 있다. 도 12를 참조하면, v0는 해당 포인트에 인접한 주변 블록들 A, B 및 C 중 어느 하나의 모션 벡터로부터 유도될 수 있고, v1은 해당 포인트에 인접한 주변 블록들 D 및 E 중 어느 하나의 모션 벡터로부터 유도될 수 있다. 주변 블록들 A, B, C, D 및 E의 모션 벡터를 각각 vA, vB, vC, vD 및 vE라 할 때, 후보 리스트에 포함될 수 있는 모션 벡터 정보 세트는 다음 수학식 7과 같이 유도될 수 있다.
Figure PCTKR2019014016-appb-img-000008
즉, vA, vB, vC 중에서 선택된 v0와, vD, vE 중에서 선택된 v1으로 구성된 (v0, v1) 쌍이 획득될 수 있다. 이때, v0는 현재 블록의 상좌측 모서리에 인접한 블록의 모션 벡터로부터 유도되고, v1은 현재 블록의 상우측 모서리에 인접한 블록의 모션 벡터로부터 유도된다. 추가적인 실시예에 따르면, 현재 블록의 POC(Picture Order Count), 주변 블록의 참조 픽쳐의 POC, 및 현재 블록의 참조 픽쳐의 POC에 기초하여 모션 벡터 스케일링이 수행될 수 있다.
이와 같이 획득된 모션 벡터 정보 세트 후보를 포함하는 후보 리스트가 생성될 수 있으며, 후보 리스트 중 어느 하나의 모션 벡터 정보 세트를 지시하는 지시자가 시그널링 될 수 있다. 본 발명의 추가적인 실시예에 따르면, 후보 리스트에는 다른 방식의 인터 예측을 위한 모션 벡터 정보 세트 후보가 포함될 수도 있다. 예를 들면, 후보 리스트는 서브블록 기반의 시간적 모션 벡터 예측(SbTMVP)을 위한 모션 벡터 정보 세트 후보를 포함할 수 있다.
디코더는 후보 리스트에서 획득된 모션 벡터 정보 세트에 기초하여 현재 블록의 CPMV들을 유도할 수 있다. 일 실시예에 따르면, 디코더는 후보 리스트에서 획득된 모션 벡터 정보 세트의 모션 벡터들을 별도의 모션 벡터 차분값 없이 현재 블록의 CPMV로 사용함으로 어파인 병합 예측을 수행할 수 있다. 다른 실시예에 따르면, 디코더는 현재 블록의 CPMV를 위한 별도의 모션 벡터 차분값을 획득할 수 있다. 디코더는 후보 리스트에서 획득된 모션 벡터 정보 세트의 모션 벡터를 상기 모션 벡터 차분값과 합산하여 현재 블록의 CPMV를 획득할 수 있다. 디코더가 현재 블록의 어파인 모션 보상을 위해 별도의 모션 벡터 차분값을 사용할지 여부를 지시하는 플래그 또는 인덱스가 별도로 시그널링 될 수 있다.
도 13은 현재 블록의 CPMV 세트를 획득하는 다른 실시예를 도시한다. 본 발명의 다른 실시예에 따르면, 현재 블록의 CPMV는 어파인 모션 보상이 수행된 주변 블록의 모션 벡터 정보 즉, 주변 블록의 CPMV 또는 모션 벡터로부터 유도될 수 있다. 이때, 주변 블록은 현재 블록의 좌측 주변 블록과 현재 블록의 상측 주변 블록을 포함할 수 있다. 도 13(a)을 참조하면, 좌측 주변 블록은 현재 블록의 하좌측 모서리에 인접한 블록들 즉, 좌측 블록 A 및 하좌측 블록 D를 포함한다. 또한, 상측 주변 블록은 현재 블록의 상좌측 모서리에 인접한 블록 즉, 상좌측 블록 E와, 현재 블록의 상우측 모서리에 인접한 블록들 즉, 상측 블록 B 및 상우측 블록 C를 포함한다. 디코더는 기 설정된 순서대로 주변 블록이 어파인 모션 보상이 수행되었는지 확인한다. 어파인 모션 보상이 수행된 주변 블록이 발견되면, 디코더는 해당 주변 블록의 CPMV 세트(또는, 모션 벡터)를 이용하여 현재 블록의 CPMV 세트를 획득한다. 도 13(b)의 실시예를 참조하면, 좌측 블록 A의 CPMV 세트가 현재 블록의 CPMV 세트를 유도하는데 사용될 수 있다. 즉, 좌측 블록 A의 CPMV 세트 (v2, v3, v4)에 기초하여 현재 블록의 CPMV 세트 (v0, v1)이 획득될 수 있다.
본 발명의 실시예에 따르면, 현재 블록의 CPMV를 유도하기 위해 참조할 주변 블록에 대한 정보가 별도로 시그널링 될 수 있다. 이때, 현재 블록의 주변 블록들의 CPMV 세트들은 기 설정된 순서에 따라 전술한 후보 리스트를 구성하는 모션 벡터 정보 세트 후보가 될 수 있다. 더욱 구체적으로, 모션 벡터 정보 세트 후보는 현재 블록의 좌측 주변 블록의 CPMV들(또는, 모션 벡터)로부터 유도된 제1 후보와, 현재 블록의 상측 주변 블록의 CPMV들(또는, 모션 벡터)로부터 유도된 제2 후보를 포함할 수 있다. 이때, 좌측 주변 블록은 현재 블록의 하좌측 모서리에 인접한 블록이며, 상측 주변 블록은 현재 블록의 상좌측 모서리에 인접한 블록 또는 현재 블록의 상우측 모서리에 인접한 블록이다. 이와 같이 획득된 모션 벡터 정보 세트 후보를 포함하는 후보 리스트가 생성될 수 있으며, 후보 리스트 중 어느 하나의 모션 벡터 정보 세트를 지시하는 지시자가 시그널링 될 수 있다. 일 실시예에 따르면, 상기 지시자는 현재 블록의 각 서브블록의 모션 벡터를 유도하기 위해 참조되는 주변 블록(들)의 위치 정보를 나타낼 수 있다. 디코더는 지시자가 지시하는 주변 블록의 CPMV 세트(또는, 모션 벡터)를 참조하여 현재 블록의 CPMV 세트를 획득할 수 있다.
본 발명의 추가적인 실시예에 따르면, 현재 블록의 CPMV는 해당 포인트에서 가까운 주변 블록의 CPMV에 기초하여 유도될 수 있다. 예를 들어, v0는 좌측 주변 블록의 CPMV를 참조하여 획득되고, v1은 상측 주변 블록의 CPMV를 참조하여 획득될 수 있다. 또는, v0는 주변 블록 A, D 또는 E의 CPMV를 참조하여 획득되고, v1은 주변 블록 B 또는 C의 CPMV를 참조하여 획득될 수 있다.
도 14는 본 발명의 일 실시예에 따른 어파인 모션 보상 방법을 설명하기 위한 도면이다. 본 발명의 일 실시예에 따르면, 어파인 모션 예측을 위해 CPMV들이 필요할 수 있고, 상기 CPMV들을 기초로 모션 벡터 필드, 즉 서브블록이나 어떤 위치(또는 픽셀)에 대한 모션 벡터가 계산될 수 있다. 본 명세서에서 상기 CPMV는 시드 벡터(seed vector)라고 지칭될 수 있다. 이때, CPMV는 예측자를 기초로 유도될 수 있다. 예를 들어, 예측자가 CPMV로 결정될 수 있다. 또 다른 일 예로서, 예측자 및 차분(difference)을 기초로 CPMV가 계산될 수 있다. 구체적으로, 예측자에 차분을 더하거나 뺌으로써 CPMV가 계산될 수 있다.
본 발명의 일 실시예에 따르면, CPMV의 예측자는 주변의 어파인 모션 보상(affine motion compensation(MC)) 블록(즉, 어파인 모드로 부호화된 주변 블록)의 CPMV 또는 MV로부터 유도될 수 있다. 예를 들어, 기설정된 위치의 블록이 어파인 모션 예측된 경우, 인코더/디코더는 해당 블록의 CPMV 또는 MV로부터 현재 블록의 어파인 모션 보상을 위한 예측자를 유도할 수 있다. 일 실시예에서, 기설정된 위치는 도 14에 도시된 A0, A1, B0, B1, B2 위치일 수 있다. 또는, 기설정된 위치는 현재 블록에 인접한 위치 및/또는 인접하지 않은 위치를 포함할 수 있다. 또한, 인코더/디코더는 공간적으로 이웃하는 기설정된 위치의 CPMV 또는 MV를 참조할 수도 있고, 시간적으로 이웃하는 기설정된 위치의 CPMV 또는 MV를 참조할 수도 있다. 본 명세서에서, 상술한 어파인 MC 블록에 기반한 후보는 상속 후보(inherited candidate)로 지칭될 수도 있다. 또는, 상술한 어파인 MC 블록에 기반한 후보는 머지 후보로 지칭될 수도 있다. 또한, 일 실시예에서, 인코더/디코더는 기설정된 위치들을 참조할 때 기설정된 순서에 따라 참조할 수 있다.
도 15는 본 발명의 일 실시예에 따른 어파인 모션 보상 방법을 설명하기 위한 도면이다. 어파인 모션 예측을 위해 CPMV들이 필요할 수 있고, 상기 CPMV들을 기초로 모션 벡터 필드, 즉 서브블록이나 어떤 위치에 대한 모션 벡터가 계산될 수 있다. 본 명세서에서 상기 CPMV는 시드 벡터(seed vector)라고 지칭될 수 있다. 이때, CPMV는 예측자를 기초로 유도될 수 있다. 예를 들어, 예측자가 CPMV로 결정될 수 있다. 또 다른 일 예로서, 예측자 및 차분(difference)을 기초로 CPMV가 계산될 수 있다. 구체적으로, 예측자에 차분을 더하거나 뺌으로써 CPMV가 계산될 수 있다.
본 발명의 일 실시예에 따르면, 인코더/디코더는 주변 블록의 MV를 이용하여 CPMV의 예측자를 유도할 수 있다. 이때, 주변 블록의 MV는 어파인 MC된 블록의 MV가 아닌 경우의 MV도 포함할 수 있다. 예를 들어, 인코더/디코더는 현재 블록의 각 CPMV를 유도할 때 각 CPMV에 대해 기설정된 위치의 MV를 CPMV의 예측자로 사용할 수 있다. 예를 들어, 기설정된 위치는 그 부분과 인접한 블록에 포함된 부분일 수 있다.
도 15를 참조하면, 인코더/디코더는 CPMV mv0, mv1, mv2를 결정할 수 있다. 여기서, mv0는 좌상측 CPMV를 나타내고, mv1는 우상측 CPMV를 나타내고, mv2는 좌하측 CPMV를 나타낸다. 본 발명의 일 실시예에 따르면, 인코더/디코더는 기설정된 위치 A, B, C에 해당하는 MV를 mv0에 대한 예측자로 사용할 수 있다. 또한 인코더/디코더는 기설정된 위치 D, E에 해당하는 MV를 mv1에 대한 예측자로 사용할 수 있다. 또한 인코더/디코더는 기설정된 위치 F, G에 해당하는 MV를 mv2에 대한 예측자로 사용할 수 있다.
도 15의 일 실시예에 따라 CPMV mv0, mv1, mv2의 각 예측자를 결정할 때, 각 컨트롤 포인트 위치에 대한 기설정된 위치를 참조하는 순서가 미리 정의될 수 있다. 일 예로, CPMV의 예측자로 참조하는 기설정된 위치가 각 컨트롤 포인트 위치에 대해 다수 존재할 수 있고, 가능한 기설정된 위치의 조합이 미리 정의될 수 있다. 도 15의 실시예와 같은 방법에 따라, 어파인 MC를 위한 후보(또는 예측자)를 유도할 수 있으며, 이러한 후보는 구성된 후보(constructed candidate)로 지칭될 수 있다. 또는, 이러한 후보는 인터 후보 또는 가상 후보(virtual candidate)로 지칭될 수도 있다. 또한 도 15의 방법에서 인코더/디코더는 기설정된 위치들을 참조할 때 기설정된 순서에 따라 참조할 수 있다.
본 발명의 일 실시예에 따르면, 인코더/디코더는 도 12 내지 도 15에서 설명한 실시예 또는 그들의 조합으로 어파인 MC의 후보 리스트 또는 어파인 MC의 CPMV 후보 리스트를 생성할 수 있다. 다음의 수학식 8은 본 발명의 일 실시예에 따른 어파인 모션 예측자 유도 방법을 예시한다.
Figure PCTKR2019014016-appb-img-000009
전술한 바와 같이, 주변의 어파인 모션 예측된 블록으로부터 현재 블록의 어파인 모션 예측을 위한 CPMV를 유도 할 수 있다. 이때 상기 수학식 8이 사용될 수 있다. 수학식 8에서 주변의 어파인 모션 예측된 블록의 좌상단(top-left), 우상단(top-right), 좌하단(bottom-left) 컨트롤 포인트의 MV는 각각 (v_E0x, v_E0y), (v_E1x, v_E1y), (v_E2x, v_E2y)로 표현될 수 있다. 또한 주변의 어파인 모션 예측된 블록의 좌상단(top-left), 우상단(top-right), 좌하단(bottom-left)의 좌표는 각각 (x_E0, y_E0), (x_E1, y_E1), (x_E2, y_E2) 로 표현될 수 있다. 이때 인코더/디코더는 수학식 8에 따라 현재 블록의 CPMV의 예측자 또는 CPMV인 (v_0x, v_0y), (v_1x, v_1y)를 계산할 수 있다. 아래의 수학식 9 및 10은 본 발명의 일 실시예에 따른 어파인 모션 예측자 유도 방법을 예시한다.
Figure PCTKR2019014016-appb-img-000010
Figure PCTKR2019014016-appb-img-000011
앞서 설명한 것처럼 어파인 모션 보상을 위해 다수의 CPMV 또는 다수의 CPMV 예측자가 이용될 수 있다. 이때, 인코더/디코더는 어떤 CPMV 또는 CPMV 예측자로부터 다른 CPMV 또는 CPMV 예측자를 유도할 수 있다. 예를 들어, 인코더/디코더는 앞서 설명한 방법으로 2개의 CPMV 또는 2개의 CPMV 예측자를 유도(또는 생성)하고, 이를 기초로 또다른 CPMV 또는 또다른 CPMV 예측자를 유도할 수 있다.
본 발명의 일 실시예에 따르면, 인코더/디코더는 수학식 9 및 10를 이용하여 좌상단, 우상단, 좌하단의 CPMV 예측자 또는 CPMV인 mv0, mv1, mv2를 유도(또는 생성)할 수 있다. 수학식 9 및 10에서, x, y는 각각 x-컴포넌트(component), y-컴포넌트를 나타내고, 현재 블록의 크기는 w*h일 수 있다. 인코더/디코더는 현재 블록을 어파인 MC하기 위해서 CPMV에 대한 예측자를 만들고 이에 차분을 더해서 CPMV를 결정할 수 있다. 일 실시예에 따르면, 도 14 내지 도 15에서 설명한 방법으로 CPMV의 예측자를 생성할 수 있고, CPMV의 차분은 인코더에서 디코더로 시그널링될 수 있다.
또한, 일 실시예에서, 각 CPMV에 대한 차분이 존재할 수 있다. 또한 각 CPMV에 대한 차분이 각각 시그널링될 수 있다. 4-파라미터 모델에서 2개의 CPMV가 이용될 수 있고, 각각의 CPMV의 MV는 각각의 CMPV의 예측자에 mvd0, mvd1를 각각 더함으로써 유도될 수 있다. 6-파라미터 모델의 경우 3개의 CPMV가 이용될 수 있고, 각각의 CPMV의 MV는 각각의 CMPV의 예측자에 mvd0, mvd1, mvd2를 더함으로써 각각 유도될 수 있다.
본 발명의 일 실시예에 따르면, 인코더/디코더는 다음의 수학식 11에 기초하여 모션 벡터 차분을 결정할 수 있다.
Figure PCTKR2019014016-appb-img-000012
수학식 11에서, 만약, 참조 리스트가 0이면, MvdL0[ x0 ][ y0 ][ compIdx ]는 lMvd[ compIdx ]로 설정될 수 있다. 이때, compIdx 는 컴포넌트 인덱스를 나타내며, 0, 1의 값을 가질 수 있다. 만약, 참조 리스트가 1이면, MvdL1[ x0 ][ y0 ][ compIdx ]는 lMvd[ compIdx ]로 설정될 수 있다.
일 실시예에서, 앞서 표 1에서 설명한 방법으로 모션 벡터 차분이 시그널링될 수 있고, 상기 모션 벡터 차분은 상기 수학식 11의 lMvd일 수 있다. 전술한 바와 같이, 인코더/디코더는 시그널링된 mvd를 CPMV의 예측자에 대한 차분으로 결정할 수 있고, 상기 결정된 차분은 수학식 11의 MvdL0 및 MvdL1일 수 있다. 수학식 11에서, L0는 참조 리스트 0를, L1은 참조 리스트 1을 나타낼 수 있다.
또한, 본 발명의 일 실시예에 따르면, 인코더/디코더는 현재 블록에 대한 어파인 MC를 수행하기 위해서, CPMV에 대한 예측자를 유도하고 이에 차분을 더해서 CPMV를 결정할 수 있다. 일 실시예로서, 인코더/디코더는 도 14 내지 도 15에서 설명한 방법으로 CPMV의 예측자를 생성할 수 있다. 상기 CPMV의 차분은 인코더에서 디코더로 시그널링될 수 있다. 일 실시예에서, 인코더/디코더는 다음의 수학식 12 및 13에 기초하여 CPMV를 유도할 수 있다.
Figure PCTKR2019014016-appb-img-000013
Figure PCTKR2019014016-appb-img-000014
수학식 12 및 13을 참조하면, 각 CPMV에 대한 차분에 대한 예측자가 존재할 수 있다. 일 실시예에서, 어떤 CPMV의 차분을 기초로 다른 CPMV의 차분이 결정될 수 있다. 이는 CPMV에 대한 차분간의 유사성에 기반한 것일 수 있다. 즉, CPMV에 대한 차분간 유사하기 때문에 하나의 CPMV에 대한 예측자를 결정하면 상대적으로 적은 정보를 이용하여 CPMV에 대한 예측자를 결정할 수 있다. 일 예로서, CPMV에 대한 차분 예측자가 시그널링되고, CPMV에 대한 차분 예측자와의 차분이 인코더에서 디코더로 시그널링될 수 있다. 수학식 12는 4-파라미터 모델이 이용되는 경우를 가정하며, 수학식 13은 6-파라미터 모델이 이용되는 경우를 가정한다.
수학식 12 및 13을 참조하면, 인코더/디코더는 CPMV 0인 mv0의 차분(mvd0)에 기초하여 각 CPMV에 대한 차분 및 CPMV를 결정할 수 있다. 수학식 12 및 13의 mvd0, mvd1, mvd2는 인코더에서 디코더로 시그널링될 수 있다. 앞서 도 15에서 설명한 방법과 비교하면, 수학식 12 및 13의 방법은 앞서 도 15에서 설명한 방법과 같은 같은 예측자를 사용함에도, 시그널링되는 mvd1과 mvd2의 값이 다를 수 있다. CPMV mv0, mv1, mv2의 예측자와의 차분이 유사하다면 수학식 12 및 13의 방법을 사용하면, 앞서 도 15에서 설명한 방법을 사용한 경우보다 mvd1 및 mvd2의 절대값이 적을 가능성이 있기 때문에, 이에 따라 mvd1과 mvd2의 시그널링 오버헤드를 효과적으로 줄일 수 있다. 인코더/디코더는 mv1의 예측자와의 차분을 (mvd1+mvd0)로 결정하고, mv2의 예측자와의 차분을 (mvd2+mvd0)로 결정할 수 있다. 수학식 12 및 13에서 상단 바(bar)로 표시된 것은 CPMV의 예측자를 나타낼 수 있다.
본 발명의 일 실시예에 따르면, 인코더/디코더는 다음의 수학식 14에 기초하여 모션 벡터 차분을 결정할 수 있다. 이때, 상술한 수학식 12 및 13이 적용될 수 있다.
Figure PCTKR2019014016-appb-img-000015
일 실시예에서, 앞서 설명한 표 1 또는 후술하는 표 2에 따라 모션 벡터 차분이 시그널링될 수 있다. 그리고, 상기 시그널링되는 모션 벡터 차분은 수학식 14의 lMvd일 수 있다. 또한 수학식 12 및 13에서 시그널링되는 mvd, 즉, mvd0, mvd1, mvd2는 수학식 14의 lMvd일 수 있다. 수학식 14에서, MvdLX는 각 CPMV의 예측자와의 차이를 나타낼 수 있다. 즉 (mv - mvp)일 수 있다. 이때 수학식 12 및 13에서 설명한 바와 같이, CPMV 0에 대해서는 시그널링된 모션 벡터 차분을 바로 CPMV에 대한 차분(MvdLX)를 사용할 수 있고, 다른 CPMV에 대해서는 시그널링된 모션 벡터 차분(수학식 12 및 13에서 mvd1, mvd2)와 CPMV 0에 대해 시그널링된 모션 벡터 차분(수학식 12 및 13에서 mvd0)를 기초로 CPMV의 차분인 MvdLX로 사용할 수 있다.
수학식 14에서 LX는 참조 리스트 X를 나타낼 수 있다. compIdx는 컴포넌트 인덱스를 나타내며, x, y 컴포넌트를 나타낼 수 있다. cpIdx는 컨트롤 포인트 인덱스를 나타낼 수 있다. cpIdx는 수학식 12 및 13에서 나타내는 0, 1 또는 0, 1, 2를 의미할 수 있다. 일 실시예에서, 앞서 설명한 표 1, 수학식 14, 표 2에서 인코더/디코더는 모션 벡터 차분의 해상도(resolution)를 고려할 수 있다. 예를 들어, 해상도가 R일 때 수학식 14의 lMvd으로 lMvd*R의 값이 사용될 수 있다. 다음의 표 2는 본 발명의 일 실시예에 따른 모션 벡터 차분 신택스 구조를 예시하는 도면이다.
Figure PCTKR2019014016-appb-img-000016
표 2를 참조하면, 앞서 표 1에서 설명한 것과 실질적으로 동일한방법으로 모션 벡터 차분이 코딩될 수 있다. 이때, cpIdx 및/또는 컨트롤 포인트 인덱스에 따라 각각 개별적으로 모션 벡터 차분에 대한 코딩이 수행될 수 있다.
도 16은 본 발명의 일 실시예에 따른 서브블록 기반 시간(subblock-based temporal) MVP(SbTMVP)를 나타낸 도면이다. 본 발명의 일 실시예에 따르면, 인코더/디코더는 시간(temporal) 이웃 블록의 모션 벡터를 서브블록 단위로 가져올(또는 유도할) 수 있다. 예를 들어, 인코더/디코더는 현재 블록의 서브블록에 해당하는 모션 벡터들을 다른 픽쳐로부터 가져올 수 있다. 여기서, 블록은 CU, 서브블록은 sub-CU일 수 있다. 또한, 다른 픽쳐는 콜로케이티드 픽쳐(collocated picture)일 수 있다. 본 발명에서, 상기 SbTMVP는 서브 블록 기반 시간 머지 후보, ATMVP(alternative temporal motion vector prediction)으로 지칭될 수도 있다.
본 발명의 일 실시예에 따르면, SbTMVP 모드가 적용되는 경우, 인코더/디코더는 현재 블록에 대응되는 블록(대응 블록, 참조 블록으로 지칭될 수 있음)을 다른 픽쳐에서 탐색할 수 있다. 이때 상기 대응 블록은 콜로케이티드 블록(collocated block)으로 지칭될 수 있다. 일 실시예로서, 콜로케이티드 블록은 현재 블록의 우하단 또는 중앙 위치 등의 기설정된 위치에 해당하는 다른 픽쳐의 블록으로 결정될 수 있다. SbTMVP에서 콜로케이티드 블록은 모션 보상된 블록일 수 있다. 예를 들어, 인코더/디코더는 현재 블록 주변의 모션 벡터를 참조하여 콜로케이티드 블록을 찾을 수 있다.
도 16을 참조하면, 콜로케이티드 블록은 현재 블록의 주변 블록들 중 A1 위치의 모션 벡터만큼 다른 픽쳐 내에서 현재 블록 위치로부터 이동한 위치의 블록이 콜로케이티드 블록으로 결정(또는 유도)될 수 있다. 일 실시예로서, 이때 콜로케이티드 블록을 지시하는(또는 향하는) 모션 벡터는 현재 블록 주변의 기설정된 위치들을 기설정된 순서에 따라 스캔하며 탐색한 후보의 모션 벡터를 기초로 유도될 수 있다. 또 다른 실시예로, 콜로케이티드 블록을 지시하는 모션 벡터는 머지 후보 리스트의 일부에 기초하여 결정될 수 있다. 예를 들어, 인코더/디코더는 머지 후보 리스트 내 첫 번째 머지 후보를 이용하여 콜로케이티드 블록을 결정할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 인코더/디코더는 콜로케이티드 블록의 서브블록의 모션 정보로부터 현재 블록의 서브블록의 모션 정보를 결정(또는 유도)할 수 있다. 본 명세서에서, 모션 벡터는 그 표현에도 불구하고 모션 벡터, 참조 인덱스, 참조 리스트 이용 여부 정보 등을 포함하는 모션 정보를 의미할 수 있다. 또한, 현재 블록의 서브블록의 모션 정보의 기초가 되는 콜로케이티드 블록의 서브블록은 서로 블록(CU) 내에서의 상대적인 위치가 동일할 수 있다. 즉, 두 서브블록은 블록 내에서 동일한 상대 위치를 가질 수 있다.
또한, 본 발명의 일 실시예에 따르면, SbTMVP가 이용되는 경우, 서브블록 크기는 미리 정의된 크기로 고정될 수 있다. 예를 들어, 8x8 크기로 고정될 수 있다. 다른 일 실시예로 서브블록 크기는 가변적일 수 있다. 이때 가변적인 서브블록 크기를 결정하기 위해 시퀀스, 픽쳐, 슬라이스, CTU 또는 CU 단위 시그널링이 존재할 수 있다. 예를 들어, 서브블록 크기는 4x4 또는 8x8 크기로 가변적으로 결정될 수 있다.
도 17은 본 발명의 일 실시예에 따른 플래너 MVP를 예시하는 도면이다. 본 발명의 일 실시예에 따르면, 인코더/디코더는 플래너 MVP 방법을 이용하여 현재 블록의 서브블록 단위의 모션 벡터 필드를 생성할 수 있다. 또한 인코더/디코더는 플래너 MVP 방법을 통해 주변의 모션 벡터를 참조할 수 있다. 또한 플래너 MVP 방법에서 인코더/디코더는 하나 이상의 주변 모션 벡터를 선형 가중합(linear weighted summation)에 기초하여 서브블록 모션 벡터를 결정할 수 있다. 이때 주변 모션 벡터는 인접한 블록의 모션 벡터로부터 외삽(extrapolation)한 모션 정보를 포함할 수 있다. 예를 들어, 인코더/디코더는 현재 블록의 하측 또는 우측 위치의 모션 벡터를 인접한 블록의 모션 벡터를 이용하여 외삽 프로세스를 수행할 수 있다.
도 17을 참조하면 현재 블록의 서브블록에 해당하는 모션 벡터 P(x,y)는 P_h(x,y) 또는 P_v(x,y)에 기초하여 결정될 수 있다. 도 17에서 W, H는 각각 현재 블록의 너비, 높이를 나타낸다. 이때, P_h(x,y)는 L(-1,y) 또는 R(W,y)에 기초하여 결정될 수 있다. L(-1,y)는 현재 서브블록의 좌측의 현재 블록에 인접한 위치의 서브블록에 해당하는 모션 벡터일 수 있다. 또한 R(W,y)는 현재 블록의 우상측 위치에 해당하는 모션 벡터와 현재 블록의 우하측 위치에 해당하는 시간 모션 벡터를 기초로 한 값일 수 있다. P_v(x,y)는 A(x,-1) 또는 B(x,H)에 기초하여 결정할 수 있다. A(x,-1)은 현재 서브블록의 위쪽의 현재 블록과 인접한 서브블록에 해당하는 모션 벡터일 수 있다. 또한, B(x,H)는 현재 블록의 좌하단 위치에 해당하는 모션 벡터와 현재 블록의 우하단 위치에 해당하는 우상측 모션 벡터를 기초로 가중합된 값일 수 있다.
다음의 표 3은 본 발명의 일 실시예에 따른 인터 예측 관련 신택스 구조를 예시하는 도면이다.
Figure PCTKR2019014016-appb-img-000017
Figure PCTKR2019014016-appb-img-000018
본 발명의 일 실시예에 따르면, 인터 예측 방법은 스킵 모드, 머지 모드, 인터 모드 등을 포함할 수 있다. 일 실시예로서, 스킵 모드에서는 잔차 신호가 전송되지 않을 수 있다. 또한, 스킵 모드에서 머지 모드와 같은 MV 결정 방법이 적용될 수 있다. 일 예로서, 스킵 모드 사용 여부는 스킵 플래그(skip flag)(또는 신택스 요소)에 따라 결정될 수 있다. 표 3을 참조하면 cu_skip_flag 값에 따라 스킵 모드 사용 여부가 결정될 수 있다. 상기 cu_skip_flag는 현재 CU에 스킵 모드가 적용되는지 여부를 지시한다.
일 실시예에서, 머지 모드가 적용되는 경우 모션 벡터 차분을 사용하지 않을 수 있다. 이때, 인코더/디코더는 모션 후보 인덱스(Motion candidate index)를 기초로 모션 벡터를 결정할 수 있다. 일 예로, 머지 모드 사용 여부는 머지 플래그(merge flag)(또는 신택스 요소)에 따라 결정될 수 있다. 표 3을 참조하면 머지 플래그(즉, merge_flag) 값에 따라 머지 모드 적용 여부가 결정될 수 있다. 또한 스킵 모드를 사용하지 않는 경우에 머지 모드가 사용될 수 있다.
본 발명의 일 실시예에 따르면, 인코더/디코더는 스킵 모드 또는 머지 모드에서 하나 이상의 후보 리스트 셋 중에서 선택적으로 사용할 수 있다. 예를 들어, 상기 후보 리스트 셋은 머지 후보를 이용한 후보 리스트 및/또는 서브블록 기반 머지 후보를 이용한 후보 리스트를 포함할 수 있다. 또한 머지 후보는 공간 이웃 후보(spatial neighboring candidate), 시간 이웃 후보(temporal neighboring candidate) 등을 포함할 수 있다. 또한, 머지 후보는 현재 블록(CU) 전체에 대한 모션 벡터를 사용하는 후보를 포함할 수 있다. 즉, 현재 블록에 속하는 각 서브블록의 모션 벡터가 동일한 후보를 포함할 수 있다. 또한 서브블록 머지 후보는 서브블록 기반 시간 모션 벡터(subblock-based temporal MV), 어파인 머지 후보 등을 포함할 수 있다. 또한 일 실시예에서, 서브블록 머지 후보는 현재 블록(CU)의 서브블록 별로 다른 모션 벡터를 사용하는 후보를 포함할 수 있다. 일 실시예에서, 어파인 머지 후보는 모션 벡터 차분 없이 어파인 모션 예측의 CPMV를 결정하는 머지 후보를 나타낼 수 있다. 또한, 서브블록 머지 후보는 현재 블록에서 서브블록 단위로 모션 벡터를 결정하는 방법들을 포함할 수 있다. 예를 들어, 서브블록 머지 후보는 앞서 언급한 서브블록 기반 시간 MV와 어파인 머지 후보 이외에도 플래너 MV, 회귀 기반(regression based) MV, STMVP 등을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 인터 모드에서 인코더/디코더는 모션 벡터 차분을 사용할 수 있다. 모션 후보 인덱스를 기초로 모션 벡터 예측자를 결정하고 상기 모션 벡터 예측자와 모션 벡터 차분을 기초로 모션 벡터를 결정할 수 있다. 인터 모드 사용 여부는 다른 모드들의 사용 여부에 따라 결정될 수 있다. 또 다른 실시예로 인터 모드 사용 여부는 플래그(또는 신택스 요소)에 의해 결정될 수 있다. 표 3에서는 다른 모드들인 스킵 모드와 머지 모드를 사용하지 않는 경우에 인터 모드를 사용하는 예를 가정한다. 일 실시예에서, 인터 모드는 AMVP 모드, 어파인 인터 모드 등을 포함할 수 있다. 인터 모드는 모션 벡터 예측자와 모션 벡터 차분을 기초로 모션 벡터를 결정하는 모드일 수 있다. 어파인 인터 모드에서 인코더/디코더는 어파인 모션 예측의 CPMV를 결정할 때 모션 벡터 차분을 사용할 수 있다.
표 3을 참조하면 인코더/디코더는 스킵 모드 또는 머지 모드로 결정한 후, 서브블록 머지 후보를 사용할 지 또는 머지 후보를 사용할 지 결정할 수 있다. 예를 들어, 디코더는 특정 조건을 만족하는 경우에 서브블록 머지 후보를 사용하는지 여부를 나타내는 merge_subblock_flag를 파싱할 수 있다. 이때, 상기 특정 조건은 블록 크기와 관련된 조건일 수 있다. 예를 들어, 너비, 높이, 영역 등에 관한 조건일 수 있고, 상기 조건들이 조합된 조건일 수도 있다.
표 3을 참조하면 예를 들어, 상기 특정 조건은 현재 블록(CU)의 너비 및 높이가 특정값 이상인지 여부일 수 있다. merge_subblock_flag를 파싱하지 않는 경우, 인코더/디코더는 그 값을 0으로 추론(infer)할 수 있다. 인코더/디코더는 만약 merge_subblock_flag가 1인 경우 서브블록 머지 후보를 사용하고, 0인 경우 머지 후보를 사용할 수 있다. 서브블록 머지 후보를 사용하는 경우, 후보 리스트(서브블록 머지 후보 리스트) 내 특정 후보를 지시하는 인덱스(또는 신택스 요소)를 나타내는 merge_subblock_idx를 파싱할 수 있고, 머지 후보를 사용하는 경우에 후보 리스트(머지 후보 리스트) 내 특정 후보를 지시하는 인덱스를 나타내는 머지 인덱스를 파싱할 수 있다. 인코더/디코더는 이때 후보 리스트의 최대 개수가 1인 경우에는 파싱하지 않을 수 있다. 즉, 인코더/디코더는 후보 리스트의 최대 개수가 1보다 큰 경우에 인덱스를 파싱할 수 있다. merge_subblock_idx 또는 머지 인덱스를 파싱하지 않는 경우에는 인코더/디코더는 그 값을 0으로 추론할 수 있다.
상술한 표 3은 코딩 유닛 함수를 예시하며, 인트라 예측(intra prediction) 관련 내용은 생략된 것일 수 있으며, 표 3은 인터 예측이 적용되는 것으로 결정된 경우의 예시일 수 있다.
이하에서, 본 발명의 일 실시예에 따른 서브블록 머지 후보 리스트 구성 방법을 설명한다. 상술한 표 3에서 서브블록 머지 후보에 대하여 설명하였으며, 이하에서 서브블록 머지 후보 리스트 구성 방법을 설명한다. 본 발명의 일 실시예에 따르면, 인코더/디코더는 현재 블록의 크기 또는 서브블록 크기를 고려하여 후보를 후보 리스트에 추가할지 결정할 수 있다. 상술한 크기들은 블록 또는 서브블록의 너비 또는 높이 또는 영역 등에 기초하여 정의될 수 있다.
일 실시예에서, 서브블록 머지 후보에 속할 수 있는 다수의 후보가 있을 때 상기 다수의 후보의 서브블록 크기가 다른 경우에 현재 블록의 크기를 고려하여 후보 리스트에 추가되는지 여부를 결정할 수 있다. 또한 어떤 후보에 대하여 현재 블록의 크기를 고려하는 조건은 상기 어떤 후보의 서브블록 크기에 기초할 수 있다. 여기서 (후보 리스트 추가 전) 후보는 어떤 MVP 방법, 모드 등을 말할 수 있고, MVP나 MV 만드는 방법 모두를 포함하는 것이 가능하고, 후보 리스트에 추가되는 후보는 현재 블록에 대해 사용 가능한 후보, MVP 방법, 모드 등을 말할 수 있다.
본 발명의 일 실시예에 따르면, 인코더/디코더는 현재 블록의 블록 크기 조건에 따라 어떤 후보를 후보 리스트에 추가할지 여부를 결정할 수 있다. 예를 들어, 인코더/디코더는 현재 블록의 크기가 어떤 블록 크기 임계값(threshold) 이상인지 아닌지 여부에 따라 후보를 후보 리스트에 추가할지 결정할 수 있다. 또한, 상기 블록 크기 조건 또는 임계값은 상기 어떤 후보의 서브블록 크기에 따라 결정될 수 있다. 이는 서브블록 기반 예측 방법은 서브블록 크기보다 크거나 서브블록 크기보다 충분히 큰 블록에서 서브블록 기반 예측을 통해 압축 효율을 높일 수 있기 때문이다. 예를 들어, 서브블록 크기와 같거나 서브블록 크기보다 작은 블록의 경우 서브블록 기반 예측을 적용한다 하여도 서브블록 단위의 모션 정보를 획득하지 못 할 수 있고, 결과적으로 압축 효율에 기여하지 못할 수 있다.
일 실시예에서, 현재 블록의 크기가 기설정된 사이즈이거나 또는 기설정된 사이즈 미만일 때 인코더/디코더는 제1 후보 리스트를 구성하고, 현재 블록이 상기 기설정된 사이즈 이상일 때 제2 후보 리스트를 구성할 수 있다. 또한, 후보 리스트 2에 속하는 후보 종류는 후보 리스트 1에 속하는 후보 종류를 포함할 수 있다. 예를 들어, 제1 모드의 서브블록 크기는 제1 서브블록 크기로 설정되고, 제2 모드의 서브블록 크기는 제2 서브블록 크기로 설정된 경우, 인코더/디코더는 현재 블록이 기설정된 사이즈일 때 제2 모드만 후보 리스트에 추가할 수 있고, 현재 블록이 기설정된 사이즈보다 클 때 제1 모드과 제2 모드 모두 후보 리스트에 추가할 수 있다. 예를 들어, 상기 제1 서브블록 크기는 8x8이고, 상기 제2 서브블록 크기는 4x4일 수 있다. 또한 상기 기설정된 사이즈는 8x8일 수 있다. 또는, 상기 기설정된 사이즈는 너비(또는 높이)가 8일 수 있다. 또한, 일 예로서, 상기 제1 모드는 SbTMVP이고, 제2 모드는 어파인 머지 모드일 수 있다.
일 실시예에서, 서브블록 기반 머지 후보 리스트는 아래와 같은 방법으로 구성(또는 생성)될 수 있다. 이하에서, 먼저 i = 0으로 설정될 수 있다.
- 만약, ( availableFlagSbCol && blockSizeCondition ) 값이 참이면, subblockMergeCandList[ i++ ]는 SbCol로 설정된다. 즉, SbCol이 후보 리스트에 추가될 수 있다. 여기서, subblockMergeCandList[ i++ ]는 서브블록 머지 후보 리스트 내에서 i++번째 서브블록 머지 후보를 나타내고, SbCol는 서브블록 기반 시간 머지 후보(또는 SbTMVP)를 나타낸다.
- 만약, ( availableFlagA && i < MaxNumSubblockMergeCand ) 값이 참이면, subblockMergeCandList[ i++ ] 는 A로 설정된다. 즉, A 후보(또는 A 위치의 후보)가 다음 후보로 추가될 수 있다.
- 만약, ( availableFlagB && i < MaxNumSubblockMergeCand ) 값이 참이면, subblockMergeCandList[ i++ ] 는 B로 설정된다. 즉, B 후보가 다음 후보로 추가될 수 있다.
- 만약, ( availableFlagConst1 && i < MaxNumSubblockMergeCand ) 값이 참이면, subblockMergeCandList[ i++ ] 는 Const1 로 설정된다. 즉, Const1 후보가 다음 후보로 추가될 수 있다. Const1는 전술한 구성된 후보 중 첫 번째 후보를 나타낸다.
- 만약, ( availableFlagConst2 && i < MaxNumSubblockMergeCand ) 값이 참이면, subblockMergeCandList[ i++ ] 는 Const2 로 설정된다. 즉, Const2 후보가 다음 후보로 추가될 수 있다. Const2는 전술한 구성된 후보 중 두 번째 후보를 나타낸다.
- 만약, ( availableFlagConst3 && i < MaxNumSubblockMergeCand ) 값이 참이면, subblockMergeCandList[ i++ ] 는 Const3 로 설정된다. 즉, Const3 후보가 다음 후보로 추가될 수 있다. Const3는 전술한 구성된 후보 중 세 번째 후보를 나타낸다.
- 만약, ( availableFlagConst4 && i < MaxNumSubblockMergeCand ) 값이 참이면, subblockMergeCandList[ i++ ] 는 Const4 로 설정된다. 즉, Const4 후보가 다음 후보로 추가될 수 있다. Const4는 전술한 구성된 후보 중 네 번째 후보를 나타낸다.
- 만약, ( availableFlagConst5 && i < MaxNumSubblockMergeCand ) 값이 참이면, subblockMergeCandList[ i++ ] 는 Const5 로 설정된다. 즉, Const5 후보가 다음 후보로 추가될 수 있다. Const5는 전술한 구성된 후보 중 다섯 번째 후보를 나타낸다.
- 만약, ( availableFlagConst6 && i < MaxNumSubblockMergeCand ) 값이 참이면, subblockMergeCandList[ i++ ] 는 Const6 로 설정된다. 즉, Const1 후보가 다음 후보로 추가될 수 있다. Const6는 전술한 구성된 후보 중 여섯 번째 후보를 나타낸다.
본 발명의 일 실시예에 따르면, 인코더/디코더는 미리 정의된 블록 크기 조건을 만족하는 경우에만 SbCol 후보를 후보 리스트인 subblockMergeCandList에 추가하고 있다. 일 실시예에서, SbTMVP를 후보 리스트에 추가할 지 여부를 결정하는 블록 크기 조건은 SbTMVP의 서브블록 크기에 따라 결정될 수 있다. 예를 들어, 구체적으로 블록 크기 조건은 (cbWidth >= 16 && cbHeight >= 16) 일 수 있다. 여기서, cbWidth는 현재 코딩 블록의 너비, cbHeight는 현재 코딩 블록의 높이를 나타낸다. 또한, A, B, Const1, Const2, Const3, Const4, Const5, Const6는 어파인 머지 후보일 수 있다. A, B는 어파인 상속 후보고, ConstX(X는 1 내지 6 중 하나)는 어파인 구성된 후보일 수 있다.
다른 일 실시예에서, 인코더/디코더는 현재 블록의 블록 크기 조건에 따라 후보 인덱스 파싱 여부를 결정할 수 있다. 예를 들어, 다수의 후보가 존재할 때 상기 다수의 후보 중 1개를 제외한 후보 모두가 블록 크기 조건 및 다른 조건에 의해 후보 리스트에 추가되지 않는 경우 인코더/디코더는 후보 인덱스를 파싱하지 않을 수 있다. 예를 들어, 후보 리스트에 추가할 수 있는 후보가 2개인 경우 인코더/디코더는 블록 크기 조건에 따라 후보 인덱스 파싱 여부를 결정할 수 있다. 예를 들어, 후보 리스트에 추가할 수 있는 후보 2개 중 1개가 블록 크기 조건을 만족시키지 않는 경우 인코더/디코더는 후보 인덱스를 파싱하지 않을 수 있다.
다음의 표 4는 본 발명의 일 실시예에 따른 인터 예측 관련 신택스를 예시하는 도면이다.
Figure PCTKR2019014016-appb-img-000019
Figure PCTKR2019014016-appb-img-000020
본 발명의 일 실시예에 따르면, 현재 블록의 크기가 서브블록 크기보다 큰 경우에 서브블록 모드를 사용할 수 있다. 예를 들어, 서브블록 머지 후보 리스트에 추가할 수 있는 후보가 다수 있고 그 다수의 후보의 서브블록 크기가 같을 때 현재 블록의 크기가 서브블록 크기보다 큰 경우에 서브블록 머지 모드를 사용할 수 있다. 구체적인 예로 서브블록 크기가 8x8일 때 현재 블록 크기가 16x16 이상인 경우(또는 너비 또는 높이가 16 이상인 경우)에 서브블록 모드를 사용할 수 있다. 서브블록 모드를 사용함은 서브블록 모드에 해당하는 모드 사용 여부를 나타내는 플래그 파싱 여부를 나타낼 수 있다. 또한 서브블록 모드에 해당하는 모드 사용 여부를 나타내는 플래그는 merge_subblock_flag, inter_affine_flag 등일 수 있다. 표 4에서, 앞서 표 3과 중복되는 설명은 생략한다.
본 발명의 일 실시예에 따르면, 표 4를 참조하면, 디코더는 merge_subblock_flag 및 inter_affine_flag를 cbWidth >= 16이고, cbHeight >= 16를 만족하는 경우에만 파싱할 수 있다. 다른 일 실시예로서, 인코더/디코더는 현재 블록 크기가 서브블록 크기보다 큰 경우뿐만 아니라 서브블록 크기와 같은 경우에도 서브블록 모드를 사용할 수 있다. 이것은 서브블록 모드의 모션 보상 방법이 서브블록 이외의 모드와는 다를 수 있기 때문이다. 본 명세서에서, 서브블록 기반 머지 모드는 서브블록 모드로 지칭될 수 있다.
다음의 표 5는 본 발명의 일 실시예에 따른 인터 예측 관련 신택스를 예시하는 도면이다.
Figure PCTKR2019014016-appb-img-000021
Figure PCTKR2019014016-appb-img-000022
본 발명의 일 실시예에 따르면, 현재 블록의 너비가 특정 조건을 만족하거나 현재 블록의 높이가 특정 조건을 만족하는 경우에 서브블록 모드를 사용할 수 있다. 예를 들어, 현재 블록의 너비 또는 높이가 서브블록 크기의 한 변의 크기와 같더라도 같지 않은 너비나 높이가 서브블록 크기의 한 변의 크기(또는 다른 한 변의 크기)보다 크면 현재 블록 내에 다수의 서브블록이 존재할 수 있기 때문이다. 따라서, 현재 블록의 너비가 서브블록의 너비보다 크거나 현재 블록의 높이가 서브블록의 높이보다 큰 경우에 서브블록 모드를 사용할 수 있다. 또는 현재 블록의 너비가 서브블록의 너비보다 크거나 같거나 현재 블록의 높이가 서브블록의 높이보다 크거나 같은 경우에 서브블록 모드를 사용할 수 있다. 표 5에서, 앞서 표 3 및 표 4와 중복되는 설명은 생략한다. 표 5를 참조하면 현재 블록의 너비가 8 이상이거나 현재 블록의 높이가 8 이상인 경우, 인코더/디코더는 서브블록 머지 모드를 사용할 수 있다. 또한 현재 블록의 너비가 16 이상이거나 현재 블록의 높이가 16 이상일 때 디코더는 어파인 인터 모드를 사용할 수 있다.
다음의 표 6 및 7은 본 발명의 일 실시예에 따른 서브블록 머지 관련 신택스를 예시하는 도면이다.
Figure PCTKR2019014016-appb-img-000023
Figure PCTKR2019014016-appb-img-000024
본 발명의 일 실시예에 따르면, 제1 단위에서 특정 모드의 사용 가능 여부가 시그널링될 수 있다. 또한 상기 시그널링을 통해 사용 가능하다고 지시한 경우, 인코더 제1 단위에 속하는 제2 단위에서 상기 어떤 모드를 실제 사용하는지 여부를 디코더로 시그널링할 수 있다. 이 경우, 제1 단위에서의 시그널링 값에 따라 제2 단위에서 신택스 요소에 대한 파싱 여부가 결정될 수 있다. 예를 들어, 상기 제1 단위는 시퀀스, 픽쳐, 슬라이스, 타일 등일 수 있고, 상기 제2 단위는 CTU, CU 등일 수 있다. 일 실시예에서, 상기 특정 모드는 서브블록 모드일 수 있다. 또한 제1 단위는 상위 단위로, 제2 단위는 하위 단위로 지칭될 수 있다.
표 6을 참조하면, 서브블록 모드에 속하는 모드들의 서브블록 크기 가 모두 같거나 서브블록 크기의 차이를 고려하지 않는 경우의 서브블록 모드 사용 여부 시그널링 파싱 프로세스를 나타낸다. 본 발명의 일 실시예에 따르면, 서브블록 모드에 속하는 모드가 다수 존재하고 서브블록 모드에 해당하는 모드의 상위 단위의 사용 가능 여부 시그널링도 다수 존재하는 경우에 상기 다수의 상위 단위의 사용 가능 여부 시그널링 중 적어도 하나가 사용 가능하다고 지시하는 경우에 하위 단위에서 서브블록 모드를 사용 가능할 수 있다. 또한 상위 단위의 사용 가능 여부 시그널링은 모드 다수에 해당할 수 있다. 예를 들어, 참조하는 이웃 블록의 위치에 따라 서로 다른 모드가 존재할 때 이 모드들 다수에 대한 상위 단위 사용 가능 여부가 시그널링될 수 있다. 또한, 이때 블록 크기 조건 등의 조건과 조합 적용될 수 있다. 본 명세서에서, 서브블록 모드를 사용 가능함은 서브블록 모드 사용 여부를 나타내는 시그널링을 파싱하는 것을 의미할 수 있고, 이에 대해 앞선 실시예들이 참조될 수 있다.
표 6을 참조하면, 디코더는 서브블록 머지 모드에 속하는 어파인 머지 모드와 SbTMVP 사용 가능 여부를 나타내는 sps_affine_enabled_flag와 sps_sbtmvp_enabled_flag 중 적어도 하나가 1인 경우에만 merge_subblock_flag를 파싱할 수 있다.
표 7을 참조하면, 서브블록 모드에 속하는 모드들의 서브블록 크기가 다를 수 있는 경우, 디코더는 이를 고려하여 서브블록 모드 사용 여부를 지시하는 신택스 요소를 파싱할 수 있다. 본 발명의 일 실시예에 따르면, 서브블록 모드에 속하는 어떤 모드의 상위 단위 사용 가능 여부 시그널링과 상기 모드의 블록 크기 조건을 모두 만족하는 경우, 인코더/디코더는 서브블록 모드를 사용할 수 있다. 예를 들어, 서브블록 모드에 속하는 제1 모드 및 제2 모드가 존재하고, 제1 모드에 해당하는 상위 단위 사용 가능 여부를 지시하는 제1 시그널링 및 제2 모드에 해당하는 상위 단위 사용 가능 여부를 지시하는 제2 시그널링이 사용되고, 제1 모드의 제1 블록 크기 조건과 제2 모드의 제2 블록 크기 조건이 있을 때, 상위 단위 사용 가능 여부를 지시하는 제1 시그널링이 사용 가능함을 지시하고 제1 블록 크기 조건을 만족하는 경우 인코더/디코더는 서브블록 모드를 사용할 수 있다. 그리고, 상위 단위 사용 가능 여부를 지시하는 제2 시그널링이 사용 가능함을 지시하고 제2 블록 크기 조건을 만족한는 경우에 인코더/디코더는 서브블록 모드를 사용할 수 있다.
일 실시예로서, 표 7을 참조하면 서브블록 머지 모드에 포함되는 어파인 머지 모드 및 SbTMVP의 사용 가능 여부를 각각 나타내는 신택스 요소인 sps_affine_enabled_flag와 sps_sbtmvp_enabled_flag가 인코더로부터 디코더로 시그널링 될 수 있다. 이때 디코더는 다음의 수학식 15의 조건을 만족시키는 경우 merge_subblock_flag를 파싱하도록 되어 있다. 마찬가지로, 인코더는 다음의 수학식 15를 만족시키는 경우 merge_subblock_flag를 신택스 시그널링할 수 있다.
Figure PCTKR2019014016-appb-img-000025
또한, 표 7에서는 어파인 머지 모드의 블록 크기 조건이 (cbWidth >= 8 && cbHeight >= 8) 이고, SbTMVP의 블록 크기 조건이 (cbWidth >= 16 && cbHeight >= 16) 인 경우를 예시한다.
다음의 표 8은 표 7의의 조건을 이용되는 다른 일 예를 나타내는 신택스이다.
Figure PCTKR2019014016-appb-img-000026
서브블록 모드에 속하는 제1 모드 및 제2 모드가 있고, 제1 모드에 해당하는 상위 단위 사용 가능 여부를 나타내는 제1 시그널링과 제2 모드에 해당하는 상위 단위 사용 가능 여부 제2 시그널링이 있고, 제1 모드의 제1 블록 크기 조건 1과 제2 모드의 블록 크기 조건 2가 있을 때, 만약 제1 블록 크기 조건이 제2 블록 크기 조건에 포함되는 경우(즉 제1 블록 크기 조건을 만족시키면 제2 블록 크기 조건을 만족시키는 경우) 다음의 수학식 16과 같이 인코더/디코더는 서브블록 모드를 사용 가능할 수 있다.
Figure PCTKR2019014016-appb-img-000027
다른 일 실시예에서, 모든 서브블록 모드에 해당하는 상위 단위 사용 가능 여부 시그널링이 존재할 수 있다. 또는 모든 서브블록 머지 모드에 해당하는 상위 단위 사용 가능 여부 시그널링이 존재할 수 있다. 이 경우 디코더는 상위 단위 사용 가능 여부가 사용 가능하다고 지시하는 경우에만 하위 단위 시그널링을 파싱할 수 있다. 본 발명의 일 실시예에 따르면, 인코더/디코더는 서브블록 크기에 따라 서브블록 모드를 사용하는 블록 크기 조건을 설정할 수 있다. 이때 만약 서브블록 크기가 가변적인 경우 인코더/디코더는 가능한 서브블록 크기 중 큰 크기를 기초로 블록 크기 조건을 설정할 수 있다.
다음의 표 9 및 10은 본 발명의 일 실시예에 따른 서브블록 머지 관련 신택스를 나타내는 도면이다.
Figure PCTKR2019014016-appb-img-000028
Figure PCTKR2019014016-appb-img-000029
본 발명의 일 실시예에 따르면, 제1 단위에서 특정 모드의 사용 가능 여부가 시그널링될 수 있다. 또한 상기 시그널링을 통해 사용 가능하다고 지시한 경우, 인코더 제1 단위에 속하는 제2 단위에서 상기 어떤 모드를 실제 사용하는지 여부를 디코더로 시그널링할 수 있다. 이 경우, 제1 단위에서의 시그널링 값에 따라 제2 단위에서 신택스 요소에 대한 파싱 여부가 결정될 수 있다. 예를 들어, 상기 제1 단위는 시퀀스, 픽쳐, 슬라이스, 타일 등일 수 있고, 상기 제2 단위는 CTU, CU 등일 수 있다. 일 실시예에서, 상기 특정 모드는 서브블록 모드일 수 있다. 또한 제1 단위는 상위 단위로, 제2 단위는 하위 단위로 지칭될 수 있다. 또한 상위 단위의 사용 가능 여부 시그널링은 모드 다수에 해당할 수 있다. 예를 들어, 참조하는 이웃 블록 위치에 따라 서로 다른 모드가 존재할 때 이 모드들 다수에 대한 상위 단위 사용 가능 여부 시그널링이 있을 수 있다.
본 발명의 일 실시예에 따르면, 상위 단위 사용 가능 여부 시그널링을 참조하여 후보 인덱스 파싱 여부를 결정할 수 있다. 예를 들어, 다수의 상위 단위 사용 가능 여부 시그널링 중 하나 이상이 사용 가능하다고 지시하는 경우 후보 인덱스를 파싱할 수 있다. 일 실시예로 다수의 모드(이때, 상기 모드는 후보 리스트내 후보로서 포함되는 단위를 나타낼 수 있음)에 해당하는 상위 단위 사용 가능 여부 시그널링이 존재할 수 있다. 본 명세서에서, 상기 다수의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링들은 제1 플래그, 제2 플래그, 제3 플래그, .. 등으로 나타낼 수 있다. 또한 하나의 모드(후보; 후보 리스트의 한 자리를 차지할 수 있는 단위)에 해당하는 상위 단위 사용 가능 여부 시그널링이 존재할 수 있다. 본 명세서에서, 상기 하나의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링들을 A 플래그, B 플래그, C 플래그로 지칭될 수 있다.
본 발명의 일 실시예에 따르면, 다수의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링 중 적어도 하나가 사용 가능하다고 지시하는 경우 인코더/디코더는 후보 인덱스를 파싱할 수 있다. 즉 (제1 플래그 || 제2 플래그 || 제3 플래그, ..) 일 때(즉, 플래그 값 1이 사용 가능을 나타내는 경우) 인코더/디코더는 후보 인덱스를 파싱할 수 있다.
또한 만약 하나의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링이 0개나 1개 존재하는 경우 또는 상위 단위 사용 가능 여부 시그널링이 없는 모드가 0개나 1개 존재하는 경우에, 다수의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링 중 적어도 하나가 사용 가능하다고 지시하는 경우 인코더/디코더는 후보 인덱스를 파싱할 수 있다. 즉, (제1 플래그 || 제2 플래그 || 제3 플래그, ..) 일 때(플래그 값 1이 사용 가능을 나타내는 경우) 인코더/디코더는 후보 인덱스를 파싱 할 수 있다.
만약 하나의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링이 1개 존재하고, 상위 단위 사용 가능 여부 시그널링이 없는 모드가 1개 존재하는 경우에는 상기 하나의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링이 사용 가능하다고 지시하는 경우 인코더/디코더는 후보 인덱스를 파싱할 수 있다. 이때 다수의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링의 값에 무관할 수 있다. 따라서, 이러한 경우에 다수의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링 다수와 하나의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링 중 적어도 하나가 사용 가능하다고 지시하는 경우 인코더/디코더는 후보 인덱스를 파싱할 수 있다. 즉 (제1 플래그 || 제2 플래그 || 제3 플래그, .. || A 플래그) 일 때(플래그 값 1이 사용 가능을 나타내는 경우) 인코더/디코더는 후보 인덱스를 파싱할 수 있다.
만약 후보 인덱스를 파싱하지 않는 경우, 인코더/디코더는 후보 리스트의 유일한 후보를 사용할 수 있다. 또는 후보 인덱스를 파싱하지 않는 경우 인코더/디코더는 후보 인덱스를 0으로 추론할 수 있다.
표 9를 참조하면 어파인 머지 모드와 SbTMVP가 서브블록 머지 모드에 해당할 수 있고, 어파인 머지 모드는 이 방법으로부터 다수의 후보로서 구성될 수 있다. 또한 어파인 머지 모드에 해당하는 상위 단위 사용 가능 여부는 sps_affine_enabled_flag 신택스 요소를 통해 시그널링될 수 있다. 이러한 경우 sps_affine_enabled_flag가 사용 가능하다고 지시하는 경우에 인코더/디코더는 후보 인덱스인 merge_subblock_idx를 파싱할 수 있다.
본 발명의 일 실시예에 따르면, 만약 하나의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링이 2개 이상 존재하는 경우, 하나의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링 다수 중 적어도 2개가 사용 가능하다고 지시할 때 인코더/디코더는 후보 인덱스를 파싱할 수 있다. 즉 (A 플래그 + B 플래그 + C 플래그 +.. >= 2)일 때(플래그 값 1이 사용 가능을 나타내는 경우) 인코더/디코더는 후보 인덱스를 파싱할 수 있다. 이 경우 상위 단위 사용 가능 여부 시그널링이 없는 모드가 존재하지 않을 수 있다.
만약, 하나의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링이 2개 이상 존재하고, 다수의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링이 존재하는 경우, 하나의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링 다수 중 적어도 2개가 사용 가능하다고 지시하거나 다수의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링 다수 중 적어도 1개가 사용 가능하다고 지시할 때 인코더/디코더는 후보 인덱스를 파싱할 수 있다. 즉 ((제1 플래그 || 제2 플래그 || 제3 플래그 ..) || (A 플래그 + B 플래그 + C 플래그 +.. >= 2))일 때(플래그 값 1이 사용 가능을 나타내는 경우) 인코더/디코더는 후보 인덱스를 파싱 할 수 있다. 이 경우 상위 단위 사용 가능 여부 시그널링이 없는 모드가 존재하지 않을 수 있다.
상위 단위 사용 가능 여부 시그널링이 없는 모드가 1개 존재하는 경우, 위에서 하나의 모드에 해당하는 상위 단위 사용 가능 여부 시그널링 다수 중 적어도 2개가 사용 가능하다고 지시할 때가 아니라 적어도 1개가 사용 가능하다고 지시할 때 후보 인덱스를 파싱 할 수 있다. 즉 (A 플래그 + B 플래그 + C 플래그 +.. >= 2))가 아니고 (A 플래그 || B 플래그 || C 플래그 +.. ) 일 때 인코더/디코더는 후보 인덱스를 파싱할 수 있다.
표 10을 참조하면 서브블록 머지 모드는 어파인 머지 모드와 SbTMVP, 플래너 MVP를 포함할 수 있다. 어파인 머지 모드는 다수의 후보로서 구성될 수 있다. SbTMVP는 1개의 후보로서 구성될 수 있다. 플래너 MVP는 1개의 후보로서 구성될 수 있다. 각각 sps_affine_enabled_flag, sps_sbtmvp_enabled_flag, sps_planar_enabled_flag 신택스 요소를 이용하여 또한 어파인 머지 모드, SbTMVP, 플래너 MVP에 해당하는 상위 단위 사용 가능 여부가 시그널링 될 수 있다. 이 경우, sps_affine_enabled_flag가 사용 가능하다고 지시하거나 sps_sbtmvp_enabled_flag와 sps_planar_enabled_flag 모두 사용 가능하다(또는 sps_sbtmvp_enabled_flag와 sps_planar_enabled_flag 중 2개 이상이 사용 가능하다)고 지시하는 경우 인코더/디코더는 후보 인덱스인 merge_subblock_idx를 파싱할 수 있다. 본 발명에서, sps_sbtmvp_enabled_flag와 sps_planar_enabled_flag이 모두 사용 가능함은 (sps_sbtmvp_enabled_flag + sps_planar_enabled_flag >= 2)로 표현될 수도 있다.
본 발명의 일 실시예에 따른 SbTMVP 사용 가능 조건은 다음과 같은 방법으로 유도될 수 있다. 이하에서, availableFlagSbCol는 SbTMVP 사용 가능 여부를 지시하는 파라미터(또는 플래그)를 나타낸다.
- 만약, 하나 이상의 다음 조건이 참인 경우, availableFlagSbCol는 0으로 설정될 수 있다.
1) tile_group_temporal_mvp_enable_flag 가 0인 경우.
2) sps_sbtmvp_flag 가 0인 경우.
3) cbWidth 이 8보다 작은 경우.
4) cbHeight 이 8보다 작은 경우.
본 발명의 일 실시예에 따르면, SbTMVP이 사용 가능한지 여부는 이용가능성 플래그(availability flag)에 의해 표현될 수 있다. SbTMVP가 사용 가능한지 나타내는 이용가능성 플래그는 availableFlagSbCol일 수 있다. 또한, SbTMVP는 SbCol로 지칭될 수도 있다. 또한 이용가능성 플래그가 1인 경우 사용 가능함을 지시하고, 이용가능성 플래그가 0인 경우 사용할 수 없음을 지시한다.
본 발명의 일 실시예에 따르면, SbTMVP를 사용할 수 없는 조건이 존재할 수 있다. 일 실시예로, 앞서 설명한 상위 단위 시그널링에 기초하여 SbTMVP를 사용할 수 없을 수 있다. 현재 블록 또는 CU 또는 PU에 대한 상위 단위는 슬라이스, 타일, 타일 그룹, 시퀀스, 픽쳐, CTU 등이 있을 수 있다. 상기 상위 단위 시그널링은 tile_group_temporal_mvp_enable_flag을 포함할 수 있다. 예를 들어, tile_group_temporal_mvp_enable_flag는 시간 모션 벡터 (또는 시간 모션 벡터 prediction)가 사용 가능한지 나타내는 플래그를 나타낸다. SbTMVP는 시간 모션 벡터를 사용하는 기술일 수 있기 때문에 시간 MV 사용이 사용 가능하도록 설정되어 있지 않으면 SbTMVP를 사용할 수 없을 수 있다. 또한 상위 단위 시그널링은 sps_sbtmvp_flag를 포함할 수 있다. 예를 들어, sps_sbtmvp_flag는 SbTMVP를 사용할 수 있는지를 나타내는 플래그일 수 있다.
다른 일 실시예에서, 블록 크기에 기초하여 SbTMVP를 사용할 수 없을 수 있다. 상기 블록 크기는 블록의 너비, 블록의 높이, 또는 블록의 너비나 높이에 기초한 값 등을 포함할 수 있다. 또한 블록의 너비나 높이에 기초한 값은 블록의 영역 등을 포함할 수 있다. 블록의 너비 또는 높이가 임계값보다 작은 경우 SbTMVP를 사용할 수 없을 수 있다. 일 실시예로 상기 임계값은 서브블록의 너비 또는 높이일 수 있다. 예를 들어, 상기 임계값은 8로 설정될 수 있다.
앞서 설명한 SbTMVP를 사용할 수 없는 조건을 만족하면, 인코더/디코더는 SbTMVP에 해당하는 이용가능성 플래그를 0으로 설정할 수 있다. 또한 그렇지 않은 경우 추가적인 동작을 수행하여 이용가능성 플래그를 결정할 수 있다.
도 18은 본 발명의 일 실시예에 따른 임시 모션 벡터의 결정 방법을 나타내는 도면이다. 본 명세서에서, 전술한 콜로케이티드 블록을 가리키는 모션 벡터를 임시 모션 벡터로 지칭한다. 상기 임시 모션 벡터는 그 명칭에 제한되지 않으며, 초기 모션 벡터, 시간 모션 벡터, 서브블록 기반 머지 베이스 모션 벡터(subblock-based temporal merging base MV) 또는 베이스 모션 벡터로 지칭될 수 있다. 즉, 인코더/디코더는 초기 모션 벡터, 시간 모션 벡터, 서브블록 기반 머지 베이스 모션 벡터 또는 베이스 모션 벡터에 기초하여 전술한 콜로케이티드 블록을 특정하는 모션 벡터를 결정할 수 있다.
본 발명의 일 실시예에 따르면, 인코더/디코더는 현재 블록 주변의 위치의 모션 정보에 기초하여 임시 모션 벡터를 결정할 수 있다. 또한 상기 현재 블록 주변의 위치는 기설정된 위치일 수 있다. 또한 상기 현재 블록 주변의 위치는 머지 후보의 공간 후보 위치를 포함할 수 있다. 또는 상기 현재 블록 주변의 위치는 AMVP 후보의 공간 후보 위치를 포함할 수 있다.
도 18을 참조하면, A0, A1, B0, B1, B2에 해당하는 위치는 기설정되어 있을 수 있다. 또한 여기서의 위치는 휘도 위치을 뜻할 수 있다. 현재 블록의 좌상단 위치를 (xCb, yCb)라고 할 때 A0, A1, B0, B1, B2는 각각 (xCb - 1, yCb + cbHeight), (xCb - 1, yCb + cbHeight - 1), (xCb + cbWidth, yCb - 1), (xCb + cbWidth - 1, yCb - 1), , (xCb - 1, yCb - 1) 일 수 있다. 이때 cbWidth, cbHeight는 각각 현재 블록의 너비와 높이일 수 있다. 또한 (xCb, yCb)는 공유 머지 리스트 영역의 좌상단 위치일 수 있다. 다수의 블록이 같은 머지 후보 리스트를 사용할 때 그 다수의 블록 영역이 공유 머지 리스트 영역일 수 있다. 또한 기설정된 위치들에 해당하는 기설정된 참조 순서가 존재할 수 있다. 다음의 표 11은 상기 기설정된 참조 순서를 예시하는 표이다.
Figure PCTKR2019014016-appb-img-000030
표 11을 참조하면 기설정된 위치들은 predefinedPosition1, predefinedPosition2, ..., predefinedPositionN 등일 수 있다. 또한 predefinedPosition1, predefinedPosition2, ..., predefinedPositionN 로 참조 순서가 기설정되어있을 수 있다. 상기 참조 순서는 머지 후보 리스트 construction의 참조 순서의 순방향 또는 역방향일 수 있다. 또는 상기 참조 순서는 AMVP 후보 리스트 construction의 참조 순서의 순방향 또는 역방향일 수 있다. 예를 들어, 참조 위치 및 참조 순서는 A1, B1, B0, A0일 수 있다. 또는 predefinedPosition1, predefinedPosition2, ..., predefinedPositionN는 기설정된 위치에 해당하는 모션 정보를 나타내는 것일 수 있다.
표 11에서, 임시 모션 벡터는 제로 모션 벡터로 설정될 수 있다. 또한 만약 기설정된 위치의 모션 정보를 사용할 수 없을 때 인코더/디코더는 임시 모션 벡터를 제로 모션 벡터로 설정할 수 있다. 또한 기설정된 위치의 모션 정보가 사용 가능한 경우 상기 기설정된 위치의 모션 정보를 임시 모션 벡터로 설정할 수 있다. 또한 사용 가능한 것의 의미는 해당 위치가 인트라 예측이 아닌 경우를 포함할 수 있다. 또는 사용 가능한 것의 의미는 해당 위치가 인터 예측인 경우를 포함할 수 있다 또는 사용 가능한 것의 의미는 해당 위치의 모션 정보의 참조 픽쳐가 현재 블록에 해당하는 콜로케이티드 픽쳐와 같은 것을 포함할 수 있다. 또는 사용 가능한 것의 의미는 해당 위치의 모션 정보의 참조 픽쳐가 현재 블록에 해당하는 참조 픽쳐와 같은 것을 포함할 수 있다.
표 11에서, 기설정된 위치 중 제1 사용 가능 조건 1을 만족하는 첫 번째 해당 위치의 모션 정보에 대해 제2 사용 가능 조건을 만족하는지 확인하고, 제2 사용 가능 조건을 만족하는 경우 인코더/디코더는 해당 위치의 모션 정보를 임시 모션 벡터로 설정할 수 있다. 이외의 경우는 인코더/디코더는 임시 모션 벡터를 제로 모션 벡터로 설정할 수 있다. 이것을 의사 코드(pseudo code)로 나타내면 다음의 표 12와 같을 수 있다.
Figure PCTKR2019014016-appb-img-000031
상기 실시예에서 제1 사용 가능 조건을 만족하는 기설정된 위치 중 첫 번째만 임시 모션 벡터로 사용할 수 있기 위해 위의 표 12에서 else if 구문이 사용될 수 있다. 또한, 제1 사용 가능 조건, 제2 사용 가능 조건은 상술한 사용 가능한 것의 의미일 수 있다. 예를 들어, 제1 사용 가능 조건은 해당 위치가 인터 예측을 사용한 것을 의미할 수 있다. 또한 제2 사용 가능 조건은 해당 위치의 모션 정보의 참조 픽쳐가 현재 블록에 해당하는 콜로케이티드 픽쳐와 같은 것을 의미할 수 있다. 상기 실시예에서는 만약 어떤 위치가 제1 사용 가능 조건을 만족하고 제2 사용 가능 조건을 만족하지 않는 경우 상기 어떤 위치보다 뒤에 참조하는 위치들을 확인하지 않을 수 있다.
다른 일 실시예에서, 인코더/디코더는 기설정된 위치 중 제1 사용 가능 조건과 제2 사용 가능 조건을 모두 만족하는 첫 번째 해당 위치의 모션 정보를 임시 모션 벡터로 설정할 수 있다. 이외의 경우 인코더/디코더는 임시 모션 벡터를 제로 모션 벡터로 설정할 수 있다. 이것을 의사 코드로 나타내면 다음의 표 13과 같을 수 있다.
Figure PCTKR2019014016-appb-img-000032
표 13에서 만약 어떤 위치가 제1 사용 가능 조건을 만족하고 제2 사용 가능 조건을 만족하지 않는 경우, 상기 어떤 위치보다 인코더/디코더는 뒤에 참조하는 위치들 또한 확인할 수 있다.
또한 본 발명의 일 실시예에 따르면, 기설정된 위치는 하나만 존재할 수 있다. 이러한 경우를 의사 코드로 나타내면 다음의 표 14와 같을 수 있다.
Figure PCTKR2019014016-appb-img-000033
즉, 인코더/디코더는 하나의 기설정된 위치에 해당하는 모션 정보가 사용 가능한 경우 임시 모션 벡터를 해당 모션 정보로 설정하고, 그렇지 않은 경우 임시 모션 벡터를 제로 모션 벡터로 설정할 수 있다. 일 실시예로 상기 하나의 기설정된 위치는 현재 블록의 좌측 위치일 수 있다. 즉, 상기 하나의 기설정된 위치의 x 좌표는 현재 블록 내부의 좌측 좌표보다 작을 수 있다. 예를 들어, 상기 하나의 기설정된 위치는 A1 위치일 수 있다.
상술한 의 실시예들에서 사용 가능 조건을 제1 사용 가능 조건 및 제2 사용 가능 조건의 두 가지를 사용하는 예를 나타내었으나, 본 발명은 이에 한정되지 않고 더 많은 사용 가능 조건이 존재하는 경우를 포함할 수 있다. 또한, 모션 정보는 모션 벡터 (mvLX), 참조 인덱스 (refIdxLX), 예측 사용 플래그(prediction utilization flag)(predFlagLX) 등을 포함할 수 있다.
또한, 일 실시예에서, 제2 사용 가능 조건을 확인하고, 임시 모션 벡터를 설정하는 과정은 다음과 같이 수행될 수 있다. 즉, availableFlagN이 참인 경우, 다음과 같은 프로세스가 적용될 수 있다.
A. 만약 아래의 모든 조건이 참인 경우, 임시 모션 벡터는 mvL1N으로 설정될 수 있다.
a. predFlagL1N이 1인 경우
b. DiffPicOrderCnt(ColPic, RefPicList1[refIdxL1N]) 이 0인 경우
c. DiffPicOrderCnt(aPic, currPic) 0 보다 작거나 같은 경우, aPic은 슬라이스(또는 타일 그룹)의 모든 참조 픽쳐 리스트 내 모든 픽쳐를 나타냄
d. tile_group_type이 B와 같은 경우
e. collocated_from_l0_flag가 0과 같은 경우
B. 그렇지 않은 경우, 다음의 조건이 모두 참인 경우, 임시 모션 벡터는 mvL0N 으로 설정될 수 있다.
a. predFlagL0N이 1인 경우
b. DiffPicOrderCnt(ColPic, RefPicList0[refIdxL0N])이 0인 경우
여기서, availableFlagN이 참인 것은 제1 사용 가능 조건을 만족함을 나타낼 수 있다. 만약 위에서 설명한 하나의 기설정된 위치만 사용하는 실시예에서는 availableFlagN이 될 수 있는 파라미터가 상기 기설정된 위치에 해당하는 availableFlag일 수 있다. 예를 들어, A1 위치만 사용하는 경우 availableFlagN은 availableFlagA1일 수 있고, 이것은 A1 위치의 모션 정보를 사용 가능한지 나타내는 값일 수 있다.
도 19는 본 발명의 일 실시예에 따른 SbTMVP 사용 여부를 예시하는 도면이다. 본 발명의 일 실시예에 따르면, 인코더/디코더는 현재 블록(1901)의 위치에 기초하여 특정 모드의 사용 여부를 결정할 수 있다. 본 발명의 또 다른 실시예에 따르면, 인코더/디코더는 현재 블록(1901)이 속한 머지 리스트 공유 영역의 위치에 기초하여 특정 모드 사용 여부를 결정할 수 있다.
본 발명의 일 실시예에 따르면 인코더/디코더는 현재 블록(1901)의 위치에 기초하여 SbTMVP 사용 여부를 결정할 수 있다. 본 발명의 또다른 실시예에 따르면 현재 블록(1901)이 속한 머지 리스트 공유 영역의 위치에 기초하여 SbTMVP 사용 여부를 결정할 수 있다. 일 실시예로 현재 블록(1901)의 위치 또는 현재 블록이 속한 머지 리스트 공유 영역의 위치는 좌상단 좌표이거나 좌상단 좌표를 기준으로 표현될 수 있다. 또한 현재 블록(1901)의 위치 또는 현재 블록(1901)이 속한 머지 리스트 공유 영역의 위치는 상위 그룹 내에서의 상대적 위치일 수 있다. 상위 그룹은 픽쳐, 타일, 타일 그룹, CTU, 슬라이스 등을 포함할 수 있다. 또한 상위 그룹은 현재 블록이 속한 그룹일 수 있다. 즉, 예를 들어, 인코더/디코더는 현재 블록(1901)의 픽쳐(1902) 내에서의 위치에 기초하여 SbTMVP 사용 여부를 결정할 수 있다. 본 명세서에서, 현재 블록 또는 현재 블록이 머지 리스트 공유 영역을 현재 영역으로 지칭될 수 있다.
본 발명의 일 실시예에 따르면 인코더/디코더는 현재 영역이 상위 그룹의 경계에 접했는지에 기초하여 SbTMVP 사용 여부를 결정할 수 있다. 예를 들어, 현재 영역이 상위 그룹의 경계에 접한 경우 SbTMVP를 사용하지 않는 것으로 판단, 결정할 수 있다. 또는, 도 19에서 설명한 현재 영역에 해당하는 임시 모션 벡터를 결정하기 위해 참조하는 기설정된 위치가 상위 그룹을 벗어나는지에 기초하여 SbTMVP 사용 여부를 결정할 수 있다. 예를 들어, 현재 영역에 해당하는 임시 모션 벡터를 결정하기 위해 참조하는 기설정된 위치가 모두 상위 그룹을 벗어나는 경우 인코더/디코더는 SbTMVP를 사용하지 않는 것으로 판단, 결정할 수 있다. 또한 현재 영역에 해당하는 임시 모션 벡터를 결정하기 위해 참조하는 기설정된 위치가 모두 상위 그룹을 벗어나는지는 현재 영역의 좌표에 기초하여 결정될 수 있다. 이는 앞서 설명한 실시예들에 따르면 현재 영역에 해당하는 임시 모션 벡터를 결정하기 위해 참조하는 기설정된 위치가 모두 상위 그룹을 벗어나는 경우에는 임시 모션 벡터로 제로 모션 벡터가 사용되고, 이에 따라 SbTMVP의 예측 성능이 떨어질 수 있기 때문이다. 또한, 일 실시예에서, 이 경우 SbTMVP를 사용 불가한 것으로 결정함으로써, SbTMVP와 동일한 신택스 요소를 통해 시그널링하는 다른 모드를 보다 적은 비트 수를 이용하여 시그널링할 수 있다. 예를 들어, 앞서 설명한 것처럼 SbTMVP와 어파인 머지 모드는 서브블록 머지 모드에 포함될 수 있고, SbTMVP를 사용 불가한 것으로 정하는 경우 어파인 머지 모드를 더 적은 인덱스를 이용하여 시그널링할 수 있다. 따라서, 이러한 경우 인덱스 0은 항상 어파인 머지 모드를 가리킬 수 있다.
도 19를 참조하면 전술한 바와 같이, 현재 영역의 임시 모션 벡터를 결정하기 위해 A1 위치(1903)만 참조할 수 있다. 만약 A1 위치(1903)의 모션 정보가 사용 불가한 경우, 제로 모션 벡터를 임시 모션 벡터로 사용할 수 있다. 만약 현재 영역이 픽쳐(1902)의 좌측 경계에 접한 경우 임시 모션 벡터는 항상 제로 모션 벡터일 수 있다. 따라서, 현재 영역이 픽쳐(1902)의 좌측 경계에 접한 경우 SbTMVP를 사용하지 않는 것으로 할 수 있다. 또한 픽쳐(1902)의 좌측 경계 뿐만 아니라 병렬 처리 가능한 단위의 좌측 경계에 접한 경우 SbTMVP를 사용하지 않는 것으로 할 수 있다. 병렬 처리 가능한 단위는 타일, 타일 그룹, 슬라이스 등이 있을 수 있다. 따라서, 현재 영역의 좌상단 좌표가 (xCb, yCb)인 경우 xCb가 0인 경우 인코더/디코더는 픽쳐(1902)의 좌측 경계에 접한 것일 수 있고, 이 경우 SbTMVP를 사용하지않는 것으로 결정할 수 있다. 또는 (xCb - (병렬 처리 가능한 단위의 좌측 좌표)) 가 0인 경우 SbTMVP를 사용하지 않는 것으로 할 수 있다.
또한, 일 실시예에서, 만약 현재 영역의 임시 모션 벡터를 결정하기 위해 현재 영역의 상단만 참조하는 경우 현재 영역이 픽쳐(1902) 또는 병렬 처리 가능한 단위의 상측 경계에 접한 경우 인코더/디코더는 SbTMVP를 사용하지 않는 것으로 설정할 수 있다.
다른 추가적인 일 실시예에서, SbTMVP를 사용하지 않는 것으로 결정, 판단하는 조건을 설명하였는데, 이 조건에 추가적으로로 블록 크기와 관련된 조건을 만족시키는 경우에만 SbTMVP를 사용하지 않는 것으로 할 수 있다. 즉, 예를 들어, 현재 영역의 좌표가 기설정된 조건을 만족키시고 블록 크기와 관련된 조건을 만족시키는 경우에 SbTMVP를 사용하지 않는 것으로 할 수 있다. 일 실시예로 상기 블록 크기와 관련된 조건은 현재 블록의 블록 크기가 서브블록 크기 이하인 경우일 수 있다. 현재 블록 크기가 서브블록 크기 이하인 경우 현재 블록의 서브블록은 1개 뿐이고, 이 경우 SbTMVP의 장점 및 성능이 줄어들 수 있기 때문이다. 예를 들어, 서브블록 크기는 8x8일 수 있다. 따라서, 설명한 실시예들에서 다음과 같은 실시예가 나올 수 있다. 만약 현재 영역이 픽쳐의 좌측 경계에 접해 있고 현재 블록이 8x8 이하인 경우 인코더/디코더는 SbTMVP를 사용하지 않는 것으로 결정, 판단할 수 있다. 그런데 서브블록 머지 모드를 8x8 이상이 블록에서만 사용 가능한 실시예에 존재할 수 있다. 이 경우 현재 영역이 픽쳐(1902)의 좌측 경계에 접해 있고 현재 블록(1901)이 8x8인 경우 SbTMVP를 사용하지 않는 것으로 결정, 판단할 수 있다.
또한, 본 발명의 다른 일 실시예에서, SbTMVP 사용 가능 조건을 나타내는 이용 가능성 플래그는 앞서 설명한 조건 외에 xCb가 0이고, 현재 블록의 너비 및 높이가 8인지 여부가 포함될 수 있다. 즉, xCb가 0이고, 현재 블록의 너비 및 높이가 8인 경우, 이용 가능성 플래그는 0으로 설정될 수 있다. 상기 조건 및 전술한 조건들을 모두 만족하는 경우, 또는 어느 하나 이상을 만족하는 경우, 인코더/디코더는 이용 가능성 플래그는 0으로 설정할 수 있다. 전술한 바와 같이, SbTMVP이 사용 가능한지 여부가 이용 가능성 플래그에 의해 나타내질 수 있다. 또한 어떤 조건을 만족시킬 때 SbTMVP가 이용 불가능한 것으로 나타낼 수 있다. 즉, 어떤 조건을 만족시킬 때 인코더/디코더는 avilableFlagSbCol을 0으로 설정할 수 있다. 따라서, 도 19에서 설명한 실시예에 따르면 현재 영역의 위치에 기초하여 인코더/디코더는 availableFlagSbCol를 설정할 수 있다. 즉, 현재 영역을 나타내는 좌표 (xCb, yCb)에 기초하여 인코더/디코더는 availableFlagSbCol를 설정할 수 있다. 예를 들어, (xCb, yCb)는 현재 영역의 좌상단 좌표일 수 있다.
도 19에서 설명한 바와 같이 현재 영역 또는 현재 블록이 픽쳐의 좌측 경계에 접해있는 경우 SbTMVP가 이용불가능할 수 있다. 따라서, 만약 xCb가 0인 경우 인코더/디코더는 avilableFlagSbCol을 0으로 설정할 수 있다. 예를 들어, 만약 현재 영역 또는 현재 블록이 픽쳐의 좌측 경계에 접해있고, 현재 블록이 8x8인 경우 SbTMVP가 이용불가능할 수 있다. 따라서, 만약 xCb가 0이고, 현재 블록의 너비와 높이가 모두 8인 경우 인코더/디코더는 avilableFlagSbCol을 0으로 설정할 수 있다.
다음의 표 15는 본 발명의 일 실시예에 따른 서브블록 머지 모드 신택스 구조를 예시하는 도면이다.
Figure PCTKR2019014016-appb-img-000034
전술한 바와 같이, 서브블록 머지 모드(또는 서브블록 기반 머지 모드)는 SbTMVP 및/또는 어파인 머지 모드를 포함할 수 있다. 또한, 어파인 모드가 사용가능한지 여부를 나타내는 신택스 요소(또는 플래그)를 sps_affine_enabled_flag는 상위 레벨의 신택스를 통해 인코더에서 디코더로 시그널링될 수 있다. 일 실시예로서, 상기 상위 레벨은 시퀀스, 픽쳐, 슬라이스 또는 CTU 레벨 중 적어도 하나일 수 있다. 또한, 일 실시예에서, 앞서 도 19에서 설명한 바와 같이 SbTMVP가 사용(또는 적용) 불가능 조건이 미리 정의될 수 있다.
본 발명의 일 실시예에 따르면, SbTMVP 사용 불가능 조건을 만족하고, 어파인 모드가 사용가능하지 않은 경우, 인코더/디코더는 merge_subblock_flag를 파싱하지 않을 수 있다. 예를 들어, merge_subblock_flag는 서브블록 머지 모드를 사용함을 지시하는 시그널링일 수 있다. 만약, merge_subblock_flag가 존재하지 않는 경우 인코더/디코더는 그 값을 0으로 추론할 수 있다. 어파인 모드가 사용가능하지 않은 경우는 sps_affine_enabled_flag가 0인 경우일 수 있다. 따라서, SbTMVP를 사용가능한 경우 또는 어파인 모드가 사용가능한 경우에 merge_subblock_flag를 파싱할 수 있다. 또한, merge_subblock_flag를 파싱하는 조건은 상술한 조건 외에 추가적인 조건을 포함할 수 있다. 예를 들어, 표 15를 참조하면, merge_subblock_flag를 파싱을 결정하기 위하여 서브블록 머지 후보의 최대 개수를 나타내는 MaxNumSubblockMergeCand와 관련된 조건, 블록 크기와 관련된 조건이 함께 고려될 수 있다.
표 15를 참조하면, 현재 블록의 좌상단 좌표의 x 값인 x0가 0이고, 어파인 모드가 사용가능한지 나타내는 sps_affine_enabled_flag가 0인 경우 merge_subblock_flag를 파싱하지 않을 수 있다. 또한 x0가 0이 아니거나 sps_affine_enabled_flag가 1인 경우 merge_subblock_flag를 파싱할 수 있다.
또한, 상술한 실시예에서, 서브블록 머지 모드에 SbTMVP 및 어파인 머지 모드가 포함되는 경우를 가정하여 설명하였으나 본 발명은 이에 한정되지 않으며, 서브블록 머지 모드에 또다른 모드가 포함될 수 있다. 예를 들어, 서브블록 머지 모드는 SbTMVP에 추가적으로 제1 모드, 제2 모드를 포함할 수 있다. 또한, 제1 모드, 제2 모드가 각각 사용가능한지 나타내는 신택스 요소 sps_mode1_enabled_flag, sps_mode2_enabled_flag이 시그널링될 수 있다. 이 경우 SbTMVP 사용 불가능 조건을 만족하면서, 제1 모드 및 제2 모드가 모두 사용가능하지 않은 경우, 인코더/디코더는 merge_subblock_flag를 파싱하지 않을 수 있다. 이 경우 인코더/디코더는 merge_subblock_flag를 0으로 추론할 수 있다. 일 실시예로서, 만약, SbTMVP 사용 불가능 조건을 만족하지 않거나, 제1 모드가 사용가능하거나, 또는 제2 모드가 사용가능한 경우, 인코더/디코더는 merge_subblock_flag를 파싱할 수 있다. 또한, merge_subblock_flag를 파싱하는 조건은 상술한 조건 외에 추가적인 조건을 포함할 수 있다. 표 15를 참조하면, merge_subblock_flag를 파싱을 결정하기 위하여 서브블록 머지 후보의 최대 개수를 나타내는 MaxNumSubblockMergeCand와 관련된 조건, 블록 크기와 관련된 조건이 함께 고려될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 어파인 모드가 사용 가능하도록 설정되어있지 않은 경우, 인코더/디코더는 MaxNumSubblockMergeCand를 1로 설정할 수 있다. 또는, 인코더/디코더는 어파인 모드가 사용 가능하도록 설정되어있지 않고, SbTMVP가 사용 가능하도록 설정되어 있는 경우 MaxNumSubblockMergeCand를 1로 설정할 수 있다. 또한, 어파인 모드가 사용 가능하도록 설정되어있지 않고 SbTMVP가 사용 가능하도록 설정되어있지 않은 경우, 인코더/디코더는 MaxNumSubblockMergeCand를 0으로 설정할 수 있다.
도 20은 본 발명의 일 실시예에 따른 SbTMVP 유도 방법을 예시하는 도면이다. 본 발명의 일 실시예에 따르면, 임시 모션 벡터를 결정하기 위해 참조하는 기설정된 위치는 가변적일 수 있다. 또는, 특정 블록에 대한 임시 모션 벡터를 결정하기 위해 참조하는 기설정된 위치는 하나로 설정될 수 있고, 그 위치는 가변적일 수 있다.
일 실시예에서, 현재 블록(2001) 또는 현재 영역의 위치에 기초하여 임시 모션 벡터를 결정하기 위한 참조 위치는 가변적으로 결정될 수 있다. 상기 현재 영역은 앞서 도 19에서 설명한 영역을 나타낸다. 예를 들어, 현재 영역이 픽쳐(2002) 경계에 접해있거나 병렬 처리 가능한 단위의 경계에 접해있는 경우 특정 위치의 모션 정보는 항상 이용 불가능할 수 있다. 따라서, 인코더/디코더는 항상 이용 불가능한 위치가 아닌 위치를 임시 모션 벡터를 결정하기 위해 참조하는 기설정된 위치로 설정할 수 있다. 즉, 임시 모션 벡터를 결정하기 위해 참조하는 기설정된 위치는 현재 영역의 위치에 기초하여 항상 이용 불가능하지 않은 위치로 설정될 수 있다. 상기 항상 이용 불가능한 위치는 픽쳐(2002) 또는 병렬 처리가 가능한 범위를 벗어서는 위치일 수 있다.
앞서 도 18에서 설명한 실시예에 따르면, 임시 모션 벡터를 결정하기 위해 참조하는 기설정된 위치는 현재 블록(2001) 또는 현재 영역의 좌측 위치로 정의될 수 있다. 이 경우 앞서 도 19에서 설명한 바와 같이, 현재 블록(2001) 또는 현재 영역이 특정 위치에 있는 경우, 상기 기설정된 위치의 모션 정보는 이용 불가능하기 때문에, 이러한 기설정된 위치는 좌측 위치가 아닌 위치로 설정(또는 결정)될 수 있다. 예를 들어, 기설정된 위치는 현재 블록(2001) 또는 현재 영역의 상측 위치(2003)로설정될 수 있다. 예를 들어, 기설정된 위치는 도 18(a)의 B1 위치일 수 있다.
또한, 일 실시예에서, 도 20을 참조하면, 현재 블록(2001) 또는 현재 영역이 픽쳐(2002) 좌측 경계에 접해있거나 병렬 처리 가능한 단위의 좌측 경계에 접해있는 경우, 임시 모션 벡터를 결정하기 위해 참조하는 기설정된 위치는 현재 블록(2001) 또는 현재 영역의 상측 위치로 결정될 수 있다. 현재 영역의 상측 위치는 현재 영역의 y 좌표(즉, 수직 방향 좌표) 보다 y 좌표가 더 작은 위치를 의미할 수 있다. 예를 들어, 현재 블록(2001) 또는 현재 영역이 픽쳐(2002) 좌측 경계에 접해있거나 병렬 처리 가능한 단위의 좌측 경계에 접해있는 경우, 임시 모션 벡터를 결정하기 위해 참조하는 기설정된 위치는 도 18(a)의 B1 위치일 수 있다.
또는, 일 실시예에서, 현재 블록(2001) 또는 현재 영역이 픽쳐(2002) 상측 경계에 접해있거나 병렬 처리 가능한 단위의 상측 경계에 접해있는 경우, 임시 모션 벡터를 결정하기 위해 참조하는 기설정된 위치는 현재 블록(2001) 또는 현재 영역의 좌측 위치로 결정될 수 있다. 현재 영역의 좌측 위치는 현재 영역의 x 좌표(즉, 수평 방향 좌표)보다 x 좌표가 더 작은 위치를 의미할 수 있다. 예를 들ㄹ어, 현재 블록(2001) 또는 현재 영역이 픽쳐(2002) 상측 경계에 접해있거나 병렬 처리 가능한 단위의 상측 경계에 접해있는 경우, 임시 모션 벡터를 결정하기 위해 참조하는 기설정된 위치는 도 18(a)의 A1 위치일 수 있다.
이상에서는, 서브블록 기반 모션 보상 방법을 설명하였다. 이하에서는, 모션 벡터 차분을 이용하는 머지 모드(merge mode with MVD, MMVD)(또는 머지 MVD)에 기반한 모션 보상 방법 및 상술한 서브블록 기반 모션 보상에 관한 실시예들과의 조합 적용 방법을 설명한다.
도 21은 본 발명의 일 실시예에 따른 MMVD 적용 방법을 예시하는 도면이다. 본 발명의 일 실시예에 따르면, 인코더/디코더는 모션 벡터 예측자(motion vector predictor, MVP) 및 모션 벡터 차분(motion vector difference, MVD)에 기초하여 모션 벡터(motion vector, MV)를 결정할 수 있다. 본 명세서에서, 상기 MVP는 베이스 모션 벡터(baseMV)로 지칭될 수 있다. 즉, 인코더/디코더는 베이스 모션 벡터에 모션 벡터 차분을 합산함으로써 모션 벡터(즉, 최종 모션 벡터)를 유도할 수 있다. 단 본 발명이 이러한 명칭에 제한되는 것은 아니며, 상기 MVP는 베이스 모션 벡터, 임시 모션 벡터, 초기 모션 벡터, MMVD 후보 모션 벡터 등으로 지칭될 수도 있다. 상기 MVD는 MVP를 개선(refine)하는 값으로 표현될 수 있고, 개선 모션 벡터(refineMV), 머지 모션 벡터 차분으로 지칭될 수 있다.
본 발명의 일 실시예에 따르면, MMVD가 적용되는 경우, 즉, MMVD 모드에서 MV는 베이스 모션 벡터, 거리(distance) 파라미터(또는 변수), 방향(direction) 파라미터(또는 변수)에 기초하여 결정될 수 있다. 또한, 본 발명의 일 실시예에 따르면 베이스 모션 벡터는 후보 리스트로부터 결정될 수 있다. 예를 들어, 베이스 모션 벡터는 머지 후보 리스트로부터 결정될 수 있다. 또한, 인코더/디코더는 다른 후보 리스트의 일부로부터 베이스 모션 벡터를 결정할 수 있다. 또한 상기 후보 리스트의 일부는 상기 후보 리스트의 앞부분 일부(인덱스가 작은 쪽)일 수 있다. 예를 들어, 인코더/디코더는 머지 후보 리스트의 후보들 중 첫 번째 및 두 번째 후보를 이용하여 베이스 모션 벡터를 결정할 수 있다. 이를 위해 상기 2개의 후보 중에서 특정 후보를 지시하는 후보 인덱스가 인코더에서 디코더로 시그널링될 수 있다. 도 21을 참조하면, 베이스 모션 벡터를 시그널링하는 인덱스인 베이스 후보 인덱스가 정의될 수 있다. 인코더/디코더는 상기 베이스 후보 인덱스에 따라 후보 리스트의 후보들 중에서 현재 블록에 적용되는 후보를 결정하고, 결정된 후보의 모션 벡터를 베이스 모션 벡터로 결정할 수 있다. 본 발명에서, 상기 베이스 후보 인덱스는 그 명칭에 제한되지 않으며, 상기 베이스 후보 인덱스는 베이스 후보 플래그, 후보 인덱스, 후보 플래그, MMVD 인덱스, MMVD 후보 인덱스, MMVD 후보 플래그 등으로 지칭될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 도 6 및 도 7에서 설명한 MVD와 다른 MVD가 존재할 수 있다. 예를 들어, MMVD에서의 MVD는 도 6 및 도 7에서 설명한 MVD와 다르게 정의될 수 있다. 본 명세서에서, MMVD는 모션 벡터 차분을 이용하는 머지 모드(즉, 모션 보상 모드, 방법)를 나타낼 수도 있고, MMVD가 적용되는 경우의 모션 벡터 차분을 나타낼 수도 있다. 예를 들어, 인코더/디코더는 MMVD의 적용 여부(또는 사용 여부)를 결정할 수 있다. 만약 MMVD가 적용되는 경우, 인코더/디코더는 머지 후보 리스트로부터 현재 블록의 인터 예측에 이용되는 머지 후보를 유도하고, MMVD를 유도하여 상기 머지 후보의 모션 벡터에 적용(또는 가산)함으로써 현재 블록의 모션 벡터를 결정할 수 있다.
일 실시예에서, 상기 다른 MVD는 간략화된 MVD, 다른(또는 작은) 해상도를 갖는 MVD, 이용 가능한 수가 적은 MVD, 시그널링 방법이 상이한 MVD 등을 의미할 수 있다. 예를 들어, 도 6 및 도 7에서 설명한 기존 AMVP, 어파인 인터 모드 등에서 사용하는 MVD는 특정 시그널링 단위(예를 들어, x-펠(pel))에 대해 x, y 축(즉, 수평, 수직 방향)으로 모든 영역, 예를 들어, 픽쳐를 기초로한 영역(예를 들어, 픽쳐 영역 또는 픽쳐와 주변 영역을 포함한 영역)을 균일한 간격으로 모두 나타낼 수 있는 반면에, MMVD는 특정 시그널링 단위를 표현하는 단위가 상대적으로 제한적일 수 있다. 또한, MMVD를 시그널링하는 영역(또는 단위)이 균일한 간격을 갖지 않을 수 있다. 또한 MMVD는 특정 시그널링 단위에 대해 특정 방향만을 나타낼 수 있다.
또한, 본 발명의 일 실시예에 따르면, MMVD는 거리와 방향에 기초하여 결정될 수 있다. 도 21을 참조하면 MMVD의 거리를 나타내는 거리 인덱스 및 MMVD의 방향을 나타내는 방향 인덱스에 따른 MMVD의 거리 및 방향이 기설정될 수 있다. 일 실시예에서, 거리는 특정 화소 단위의 MMVD 크기(예컨대, 절대값)를 나타낼 수 있고, 방향은 MMVD의 방향을 나타낼 수 있다. 또한 인코더/디코더는 상대적으로 작은 거리를 상대적으로 작은 인덱스로 시그널링할 수 있다. 즉, 고정 길이(fixed length) 이진화를 통한 시그널링이 아닌 경우 인코더/디코더는 상대적으로 작은 거리를 상대적으로 적은 비트로 시그널링할 수 있다.
또한, 본 발명의 일 실시예에 따르면, MVD는 시그널링된 MV 또는 시그널링된 MV에 기초한 MV를 사용할 수 있다. 예를 들어, 상기 시그널링된 MV에 기초한 MV는 상기 시그널링된 MV의 부호를 반대로 한 것일 수 있다. 예를 들어, MVD 시그널링이 어떤 참조 리스트에 해당하는 값을 기초로 이루어지고, 상기 어떤 참조 리스트와 다른 참조 리스트에 해당하는 값은 상기 어떤 참조 리스트에 해당하는 값(즉 시그널링된 MVD)을 그대로 쓰거나 부호를 바꾸어서 쓸 수 있다. 그대로 쓸 지, 부호를 바꾸어서 쓸 지는 현재 픽쳐와 어떤 참조 리스트의 참조 픽쳐 간의 픽쳐 순서 카운트(picture order count, POC) 관계 및 현재 픽쳐와 상기 어떤 참조 리스트와 다른 참조 리스트의 참조 픽쳐 간의 POC 관계에 의해 결정될 수 있다. 더 구체적으로 참조 리스트 L0와 L1을 모두 사용하는 경우에도 MVD는 1개만 시그널링될 수 있다. 예를 들어, L0에 해당하는 MVD가 시그널링될 수 있다. 그리고 L1에 해당하는 MVD는 L0에 해당하는 MVD를 기초로 결정될 수 있다.
예를 들어, L1에 해당하는 MVD는 L0에 해당하는 MVD 그대로이거나 L0에 해당하는 MVD의 부호를 바꾼 값일 수 있다. 또한 이것은 현재 픽쳐와 L0 참조 픽쳐 간의 POC 관계 및 현재 픽쳐와 L1 참조 pictrue 간의 POC 관계에 의해 결정될 수 있다. 예를 들어, DiffPicOrderCnt( RefPicList0[ refIdxLN0 ], currPic) * DiffPicOrderCnt( currPic, RefPicList1[ refIdxLN1 ] ) 값이 0보다 큰지, 작은지에 따라 L0에 해당하는 MVD를 L1에 그대로 쓸지 변형하여 쓸지 결정할 수 있다. 또한 DiffPicOrderCnt( RefPicList0[ refIdxLN0 ], currPic) * DiffPicOrderCnt( currPic, RefPicList1[ refIdxLN1 ] )가 0보다 크다는 것은 L0 참조 픽쳐와 L1 참조 픽쳐가 모두 현재 픽쳐보다 시간적으로 앞에 있거나 모두 현재 픽쳐보다 시간적으로 뒤에 있는 것일 수 있다.
따라서, 이 경우 L0 MVD와 L1 MVD의 부호가 같은 것이 가능하다. 또한 DiffPicOrderCnt( RefPicList0[ refIdxLN0 ], currPic) * DiffPicOrderCnt( currPic, RefPicList1[ refIdxLN1 ] )가 0보다 작다는 것은 L0 참조 픽쳐와 L1 참조 픽쳐 중 하나는 현재 픽쳐보다 시간적으로 앞에 있고 나머지 하나는 현재 픽쳐보다 시간적으로 뒤에 있는 것일 수 있다. 따라서, 이 경우 L0 MVD와 L1 MVD의 부호가 다를 수 있다. 또한 시간적으로 앞에 있는 것은 POC가 작은 것 시간적으로 뒤에 있는 것은 POC가 큰 것일 수 있다. 또한 앞의 설명한 실시예에서 MV 스케일링 프로세스가 추가될 수 있다. 즉, 시그널링된 MV 또는 시그널링된 MV를 변형한 MV(예를 들어, 부호를 반대로한 MV)를 MV 스케일링하는 과정이 추가될 수 있다.
다음의 표 16은 본 발명의 일 실시예에 따른 MMVD 신택스 구조를 예시한다.
Figure PCTKR2019014016-appb-img-000035
본 발명의 일 실시예에 따르면, 앞서 도 21에서 설명한 MMVD 사용 여부(또는 적용 여부)를 나타내는 시그널링이 존재할 수 있다. 표 16을 참조하면 MMVD 플래그(즉, mmvd_flag)는 MMVD 사용 여부를 나타내는 신택스 요소를 나타낸다. 일 예로, MMVD는 스킵 모드 또는 머지 모드에 적용될 수 있다. 일 실시예에서, MMVD를 사용하는 경우에 디코더는 MMVD 관련 신택스를 파싱할 수 있다. MMVD를 사용하는 경우 MMVD 관련 정보는 MMVD 인덱스 코딩(즉, mmvd_idx_coding) 신택스에서 추가적으로 파싱될 수 있다.
일 실시예로 MMVD를 사용하지 않는 경우, 디코더는 머지 인덱스를 파싱할 수 있다. 표 16을 참조하면 머지 인덱스(즉, merge_idx)는 머지 후보 리스트에서 특정 머지 후보를 지시하는 신택스 요소를 나타낸다. 또한 스킵 모드가 아닌 머지 모드인 경우 머지 플래그(즉, 머지 플래그)를 파싱 한 후에 머지 플래그가 1인 경우에 MMVD 플래그를 파싱할 수 있다. 머지 플래그는 머지 모드 또는 서브 블록 머지 모드의 사용 여부(또는 적용 여부)를 지시할 수 있다. 또한 머지 플래그는 AMVP, 인터 모드, 어파인 인터 모드 등을 사용하지 않음을 지시할 수 있다. 본 실시예에서 머지 인덱스는 앞서 도 21에서 설명한 베이스 후보 인덱스와 다른 인덱스일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 머지 후보의 최대 개수를 나타내는 시그널링이 존재할 수 있다. 또한 상기 머지 후보의 최대 개수를 나타내는 시그널링은 CU, 예측 유닛 보다 큰 단위에서 수행될 수 있다. 예를 들어, 슬라이스 또는 타일 단위에서 상기 머지 후보의 최대 개수를 나타내는 시그널링이 있을 수 있다. 또한 머지 후보의 최대 개수를 나타내는 시그널링에 기초한 조건을 만족하는 경우 디코더는 머지 인덱스를 파싱할 수 있다. 일 실시예로, 머지 후보의 최대 개수를 나타내는 신택스 요소의 값이 머지 후보의 최대 개수가 1임을 나타내는 경우, 인코더/디코더는 머지 인덱스를 0으로 추론할 수 있다. 즉, 머지 후보의 최대 개수를 나타내는 시그널링이 머지 후보의 최대 개수가 1이라고 나타내는 경우 머지 인덱스의 파싱 없이 후보가 결정될 수 있다.
또한, 표 16을 참조하면 머지 후보의 최대 개수를 나타내는 시그널링에 기초한 값(변수, 파라미터)인 MaxNumMergeCand가 정의될 수 있다. MaxNumMergeCand는 머지 후보의 최대 개수를 의미할 수 있다. MaxNumMergeCand는 1 이상의 값을 가질 수 있다. 또한 지원 가능한 머지 후보의 최대 개수와 머지 후보의 최대 개수를 나타내는 시그널링에 기초하여, 상기 머지 후보의 최대 개수를 나타내는 시그널링 단위에 대한 머지 후보의 최대 개수를 결정할 수 있다. 예를 들어, 지원 가능한 머지 후보의 최대 개수에서 머지 후보의 최대 개수를 나타내는 시그널링 값을 감산함으로써 인코더/디코더는 상기 머지 후보의 최대 개수를 나타내는 시그널링 단위에 대한 머지 후보의 최대 개수를 결정할 수 있다. 또한 머지 후보의 최대 개수를 설명하였으나 실질적으로 동일하게, 서브블록 머지 후보의 최대 개수 및 최대 개수 시그널링이 존재할 수 있다.
또한, 일 실시예에서, 머지 인덱스는 스킵 모드 또는 머지 모드를 사용하는 경우에 파싱될 수 있다. 디코더는 스킵 모드 또는 머지 모드를 사용하는 조건을 만족하는 경우에 머지 인덱스를 파싱할 수 있다. 예를 들어, 서브블록 머지 모드를 사용하지 않는 경우 인코더/디코더는 스킵 모드 또는 머지 모드를 사용할 수 있다. 상기 표 16에서 MMVD 플래그 파싱 이후, 머지 인덱스가 파싱될 수 있다. 이는 MMVD를 기존의 스킵 모드 또는 머지 모드보다 우선적으로 고려하는 것일 수 있다. 또한 서브블록 머지 모드 사용 여부를 나타내는 서브블록 머지 플래그(즉, subblock_merge_flag)(또는 머지 서브블록 플래그(즉, merge_subblock_flag) 신택스 요소가 시그널링될 수 있다.
도 22는 본 발명의 일 실시예에 따른 MMVD 관련 신택스 구조를 예시하는 도면이다. 앞서 표 16에서 설명한 실시예가 도 22에도 동일하게 적용될 수 있으며, 관련하여 중복되는 설명은 생략한다. 도 22에 도시된 신택스는 표 16 대비 서브블록 머지에 관련된 프로세스를 추가적으로 포함한다. 도 22 및 이하 후술하는 도면(즉, 도 23 내지 도 31)에서 인트라 예측 프로세스, 인터 예측 중 인터 모드, AMVP 모드, 어파인 인터 모드 등에 관한 부분이 생략될 수 있다. 도 22에서 설명의 편의를 위해 디코더를 위주로 설명하나, 본 실시예에 따른 코딩 프로세스는 인코더에도 실질적으로 동일한 방법으로 적용될 수 있다.
본 발명의 일 실시예에 따르면, 디코더는 서브블록 머지 플래그를 MMVD 플래그 및/또는 머지 인덱스보다 먼저 파싱할 수 있다. 이는 서브블록 머지 모드를 스킵 모드, 머지 모드 및/또는 MMVD 중 적어도 하나보다 우선적으로 고려하기 위함이다. 디코더는 서브블록 머지 모드를 사용하지 않는 경우에 MMVD 플래그 및/또는 머지 인덱스 등을 파싱할 수 있다. 일 예로서, 디코더는 서브블록 머지 플래그를 MMVD 플래그보다 먼저 파싱할 수 있고, 서브블록 머지 모드가 적용되지 않는 경우, MMVD 플래그를 파싱할 수 있다. 서브블록 머지 모드는 상대적으로 크기가 작은 서브블록 단위로 모션 보상이 수행되기 때문에 모션 예측의 정확도가 높을 수 있으며, 서브블록에 기반한 모션 보상의 특성상 하나의 MVD를 이용한 MV의 개선은 효과적이지 못할 수 있다. 따라서, 본 발명의 실시예에 따르면, 서브블록 머지 모드가 적용되지 않는 경우 한하여 MMVD 적용 여부를 확인함으로써 압축 효율을 높일 수 있고, 신택스(또는 신택스 요소)의 파싱 순서를 설정함으로써(즉, 서브블록 머지 플래그를 MMVD 플래그 보다 먼저 파싱함으로써) 이와 같은 목적을 달성할 수 있다.
도 23은 본 발명의 일 실시예에 따른 MMVD 관련 신택스 구조를 예시하는 도면이다. 도 23에 도시된 신택스(또는 함수)는 앞서 설명한 표 16, 도 22 및 이하 후술하는 MMVD 관련 신택스들에서 나타내는 MMVD 정보를 파싱하는 신택스를 나타낼 수 있다. 앞서 도 21에서 설명한 바와 같이, MMVD는 베이스 모션 벡터, 거리, 방향에 기초하여 결정될 수 있다. 그리고, 이러한 정보를 시그널링하는 인덱스(또는 신택스 요소)들이 정의될 수 있다. 도 23을 참조하면 베이스 모션 벡터, 거리, 방향을 시그널링하기 위한 신택스 요소들이 base_mv_idx, distance_idx, direction_idx로 정의될 수 있다. 표 16, 도 22 에서 설명한 바와 같이 MMVD를 사용하는 것으로 결정된 경우, 구체적인 MMVD 값을 나타내는 도 23에 도시된 신택스 요소들이 인코더로부터 디코더로 시그널링될 수 있다. 도 23에서 설명의 편의를 위해 디코더를 위주로 설명하나, 본 실시예에 따른 코딩 프로세스는 인코더에도 실질적으로 동일한 방법으로 적용될 수 있다.
도 24는 본 발명의 일 실시예에 따른 MMVD 관련 신택스 구조를 예시하는 도면이다. 도 24에 도시된 신택스(또는 함수)는 앞서 설명한 표 16, 도 22 및 이하 후술하는 MMVD 관련 신택스들에서 나타내는 MMVD 정보를 파싱하는 신택스를 나타낼 수 있다. 본 발명의 일 실시예에 따르면, MMVD 관련 신택스 중 일부 신택스는 미리 정의된 특정 조건을 만족하는 경우에 파싱할 수 있다. 예를 들어, MMVD를 사용하는 것으로 결정된 이후에 상기 미리 정의된 특정 조건을 만족하는 경우에 디코더는 MMVD 관련 신택스 중 일부를 파싱할 수 있다. 일 실시예에서, 상기 MMVD 관련 신택스 중 일부는 베이스 모션 벡터 관련 시그널링일 수 있다. MMVD를 사용하는 것으로 결정되는 것은 MMVD 플래그 값에 따른 것일 수 있다. MMVD 플래그를 파싱하거나 MMVD 플래그가 추론되어 특정값 (예를 들어, 1)을 나타내는 경우 MMVD를 사용하는 것으로 결정될 수 있다. 도 24에서 설명의 편의를 위해 디코더를 위주로 설명하나, 본 실시예에 따른 코딩 프로세스는 인코더에도 실질적으로 동일한 방법으로 적용될 수 있다.
또한, 본 발명의 일 실시예에 따르면 상기 특정 조건은 베이스 모션 벡터 후보로 가능한 최대 개수에 관한 것일 수 있다. 예를 들어, 디코더는 베이스 모션 벡터 후보로 가능한 최대 개수가 2 이상인 경우 베이스 모션 벡터 관련 신택스를 파싱하고, 베이스 모션 벡터 후보로 가능한 최대 개수가 1인 경우에 베이스 모션 벡터 관련 신택스를 파싱하지 않을 수 있다. 베이스 모션 벡터 관련 신택스가 존재하지 않을 때 디코더는 그 값을 추론할 수 있다. 이때, 베이스 모션 벡터 관련 신택스는 0으로 추론될 수 있다. 만약 베이스 모션 벡터 후보가 머지 후보인 경우 디코더는 머지 후보로 가능한 최대 개수에 기초한 조건에 의해 베이스 모션 벡터 관련 신택스를 파싱할지 여부를 결정할 수 있다.
전술한 바와 같이, 베이스 모션 벡터 후보로 가능한 최대 개수는 표 16에서 설명한 머지 후보의 최대 개수를 나타내는 시그널링이 가리키는 값일 수 있고, 그 값은 MaxNumMergeCand로 표현될 수 있다.
도 24를 참조하면, 디코더는 머지 후보의 최대 개수를 나타내는 MaxNumMergeCand가 1보다 큰 경우에만 베이스 모션 벡터 인덱스를 파싱할 수 있다. 만약 베이스 모션 벡터 인덱스가 존재하지 않는 경우, 예를 들어, 파싱하지 않아서 존재하지 않는 경우, 디코더는 그 값을 0으로 추론할 수 있다. 가능한 최대 후보의 개수가 1인 경우 인덱스를 시그널링하지 않아도 결정할 수 있기 때문이다.
도 25는 본 발명의 일 실시예에 따른 MMVD 신택스를 예시하는 도면이다. 도 22에서 설명한 신택스 구조의 경우 MMVD를 사용하지 않고 스킵 모드 또는 머지 모드를 사용하는 경우에도, 항상 MMVD 플래그가 파싱된다. 또한 MMVD를 사용하는 경우 및 사용하지 않는 경우 모두 베이스 모션 벡터 인덱스 또는 머지 인덱스가 파싱된다. 한편, 도 25의 실시예에서는 MMVD를 사용하지 않고 스킵 모드 또는 머지 모드를 사용하는 경우에도 MMVD 플래그를 파싱하지 않는 경우가 있을 수 있다. 도 25에서 설명의 편의를 위해 디코더를 위주로 설명하나, 본 실시예에 따른 코딩 프로세스는 인코더에도 실질적으로 동일한 방법으로 적용될 수 있다.
본 발명의 일 실시예에 따르면, 베이스 모션 벡터 관련 신택스와 머지 인덱스는 동일한 값으로 정의될 수 있다. 예를 들어, 베이스 모션 벡터 인덱스와 머지 인덱스는 동일할 수 있다. 즉, 하나의 신택스 요소로 해당 후보를 지시하기 위한 시그널링이 수행될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 디코더는 베이스 모션 벡터 관련 신택스 파싱을 하고 조건에 따라 MMVD 플래그를 파싱할 수 있다. 그리고 MMVD 플래그가 MMVD 사용을 지시하는 경우에 베이스 모션 벡터 관련 신택스 이외의 MMVD 관련 신택스를 파싱할 수 있다.
예를 들어, 머지 인덱스를 파싱한 후에 해당하는 후보가 MMVD에 사용될 수 있는 후보인지 아닌지를 구별할 수 있다. 그리고 MMVD에 사용될 수 있는 후보인 경우 MMVD 플래그를 파싱하고 MMVD에 사용될 수 없는 후보인 경우 MMVD 플래그를 파싱하지 않을 수 있다. 또한 MMVD 플래그가 존재하지 않는 경우 MMVD를 사용하지 않는 것으로 추론될 수 있다. 예를 들어, MMVD의 베이스 모션 벡터가 머지 후보 리스트의 앞 쪽(인덱스가 작은 쪽) num_mmvd_baseCand개까지 될 수 있을 때, 파싱한 인덱스가 num_mmvd_baseCand보다 작은 경우 MMVD 플래그를 파싱하고, 그렇지 않은 경우 MMVD 플래그를 파싱하지 않고 MMVD를 사용하지 않는 것으로 결정할 수 있다. 이 경우 num_mmvd_baseCand 이상의 후보 인덱스를 사용하는 경우에 MMVD 플래그에 대한 비트를 아낄 수 있는 장점이 있다.
도 25를 참조하면 머지 인덱스를 파싱한 후 머지 인덱스가 num_mmvd_baseCand보다 작은 경우 MMVD 플래그를 파싱하고 있다. num_mmvd_baseCand는 MMVD의 베이스 모션 벡터로 가능한 후보의 개수일 수 있다. 또한 MMVD의 베이스 모션 벡터 인덱스는 머지 인덱스에 기초하여 결정될 수 있다.
도 26은 본 발명의 일 실시예에 따른 MMVD 신택스를 예시하는 도면이다. 도 26을 참조하면 신택스 구조상 MMVD 플래그는 머지 플래그보다 상위에 있을 수 있다. 예를 들어, 디코더는 MMVD 플래그에 기초하여 머지 플래그를 파싱할 지 여부를 결정할 수 있다. 일 예로서, 이는 스킵 모드가 아닌 경우 적용할 수 있다. 도 26에서 설명의 편의를 위해 디코더를 위주로 설명하나, 본 실시예에 따른 코딩 프로세스는 인코더에도 실질적으로 동일한 방법으로 적용될 수 있다.
본 발명의 일 실시예에 따르면, MMVD 플래그가 MMVD를 사용한다고 지시하는 경우 머지 플래그를 파싱하지 않을 수 있다. 예를 들어, MMVD의 베이스 모션 벡터 후보가 머지 후보 중에서 정해지고, MMVD 플래그가 MMVD를 사용한다고 지시하는 경우 디코더는 머지 플래그를 파싱하지 않을 수 있다. MMVD를 사용하는 경우(MMVD 플래그가 1인 경우), 머지 모드를 사용하는 것으로 머지 플래그를 추론할 수 있다. 도 26을 참조하면 스킵 모드를 사용하는 경우, 즉 cu_skip_flag가 1인 경우 디코더는 MMVD 사용 여부와 관계 없이 머지 플래그를 1로 추론할 수 있다. 또한 머지 플래그가 존재하지 않고 스킵 모드를 사용하지 않으면 MMVD를 사용하는 경우 머지 플래그를 1로 추론하고, MMVD를 사용하지 않는 경우 머지 플래그를 0으로 추론할 수 있다. 또는, 일 실시예에서, 디코더는 머지 플래그가 존재하지 않고 스킵 모드를 사용하지 않으면 머지 플래그를 1로 추론할 수 있다. 또한, 도 26을 참조하면 스킵 모드가 아닌 경우 디코더는 MMVD 플래그가 1이면 MMVD 관련 신택스를 파싱하고, MMVD 플래그가 0이면 머지 플래그를 파싱하고 있다.
본 발명의 일 실시예에 따르면, 서브블록 머지 플래그가 머지 플래그보다 상위에 있는 경우 서브블록 머지 플래그가 1인 경우 머지 플래그를 파싱하지 않을 수 있고, 머지 플래그를 1로 추론할 수 있다. 또한 서브블록 머지 플래그가 MMVD 플래그보다 상위에 있는 경우 서브블록 머지 플래그가 1인 경우 MMVD 플래그를 파싱하지 않을 수 있고, MMVD 플래그를 0으로 추론할 수 있다. 또한 본 명세서에서 modeX_flag가 1인 것은 modeX를 사용하는 것을 의미하고 modeX_flag가 0인 것은 modeX를 사용하지 않는 것을 의미할 수 있다.
도 27은 본 발명의 일 실시예에 따른 MMVD 신택스를 예시하는 도면이다. 본 발명의 일 실시예에 따르면, MMVD의 베이스 모션 벡터 후보로 사용하는 후보 리스트에서 일부 후보에 대해서 항상 MMVD를 사용할 수 있다. 예를 들어, MMVD의 베이스 모션 벡터 후보가 머지 후보 리스트로부터 정해질 때 머지 후보 리스트 일부에 대해서 항상 MMVD를 사용할 수 있다. 예를 들어, 정해진 후보 인덱스에 대해서 항상 MMVD를 사용할 수 있다. 예를 들어, 후보 인덱스가 기설정된 값보다 작을 때 항상 MMVD를 사용할 수 있다. 이 경우 후보 인덱스로부터 MMVD 사용 여부를 결정할 수 있다. 또한 MMVD 플래그 파싱이 존재하지 않을 수 있다.
예를 들어, 머지 인덱스를 파싱한 수 머지 인덱스가 MMVD를 사용하는 것으로 정해진 값에 해당하는 경우 MMVD를 사용하는 것으로 결정할 수 있다. 또한 이러한 경우 MMVD 관련 신택스(예를 들어, 거리, 방향 시그널링 등)를 파싱할 수 있다. 도 27에서 설명의 편의를 위해 디코더를 위주로 설명하나, 본 실시예에 따른 코딩 프로세스는 인코더에도 실질적으로 동일한 방법으로 적용될 수 있다. 도 27을 참조하면 머지 후보 리스트 앞쪽의 num_mmvd_baseCand개까지에 해당할 때까지는 항상 MMVD를 사용할 수 있다. 이러한 경우 후보 인덱스가 num_mmvd_baseCand보다 작은 경우 MMVD를 사용하는 것으로 결정할 수 있고, MMVD 관련 신택스를 파싱 할 수 있다.
도 28은 본 발명의 일 실시예에 따른 MMVD 신택스를 예시하는 도면이다. 본 발명의 일 실시예에 따르면 디코더는 MMVD의 베이스 모션 벡터 후보로 사용하는 후보 리스트에서 일부 후보에 대해서 항상 MMVD를 사용할 수 있다. 예를 들어, MMVD의 베이스 모션 벡터 후보가 머지 후보 리스트로부터 정해질 때 디코더는 머지 후보 리스트 일부에 대해서 항상 MMVD를 사용할 수 있다. 예를 들어, 디코더는 정해진 후보 인덱스에 대해서 항상 MMVD를 사용할 수 있다. 예를 들어, 후보 인덱스가 기설정된 값보다 작을 때 항상 MMVD를 사용할 수 있다. 도 27에서 설명의 편의를 위해 디코더를 위주로 설명하나, 본 실시예에 따른 코딩 프로세스는 인코더에도 실질적으로 동일한 방법으로 적용될 수 있다.
본 발명의 일 실시예에 따르면 신택스 구조상(또는 신택스 파싱 순서상) MMVD 플래그가 머지 플래그보다 상위에 있을 수 있다. 이 경우 디코더는 MMVD 플래그가 1인 경우 MMVD 관련 신택스를 파싱할 수 있다. 또한 MMVD 플래그가 1인 경우 머지 플래그를 1로 추론할 수 있다. 또한 MMVD 플래그가 0인 경우 디코더는 머지 플래그를 파싱할 수 있다. 디코더는 머지 플래그가 1인 경우 머지 인덱스를 파싱할 수 있다. 이때 머지 인덱스를 파싱하기 위한 추가 조건이 존재할 수 있다. 이때 일 실시예로 디코더는 실제 사용할 머지 인덱스는 파싱한 머지 인덱스를 기초로 변형하여 결정할 수 있다. 예를 들어, 실제 사용할 머지 인덱스는 파싱한 머지 인덱스에 파싱한 머지 인덱스보다 작은 값 중 MMVD를 항상 사용하도록 정해진 후보의 개수를 더한 것으로 결정할 수 있다. 예를 들어, 후보 리스트 앞쪽 num_mmvd_baseCand개에 대해 MMVD를 항상 사용하도록 정해진 경우 파싱한 머지 인덱스에 num_mmvd_baseCand를 더한 값을 머지 인덱스로 사용할 수 있다. MMVD 플래그가 머지 플래그보다 앞에 있는 경우 MMVD 플래그가 0인 경우 MMVD를 사용하는 후보를 후보 리스트에서 제외시킬 수 있기 때문이다.
도 27을 참조하면 MMVD 플래그가 머지 플래그보다 앞에 존재한다. 또한 MMVD 플래그가 1인 경우 디코더는 MMVD 관련 신택스를 파싱할 수 있다. 또한 MMVD 플래그가 0인 경우 디코더는 머지 플래그를 파싱할 수 있다. 또한 MMVD 플래그가 0이고 머지 플래그가 1인 경우 디코더는 머지 인덱스를 파싱할 수 있다. 이때 머지 인덱스를 파싱하기 위한 추가 조건이 존재할 수 있다. 또한 MMVD의 베이스 모션 벡터로 사용할 수 있는 후보 개수인 num_mmvd_baseCand를 파싱한 머지 인덱스에 더해서 실제 사용할 머지 인덱스를 결정할 수 있다.
도 28은 본 발명의 일 실시예에 따른 MMVD 신택스를 예시하는 도면이다. 본 발명의 일 실시예에 따르면, 후보 인덱스가 모드 사용 여부를 나타내는 flag보다 앞에 존재할 수 있다. 예를 들어, 후보 인덱스가 MMVD 플래그 또는 머지 플래그보다 앞에 존재할 수 있다. 이러한 경우 후보 인덱스를 파싱한 후에 파싱한 인덱스가 MMVD를 사용할 수 있는 후보인지 아닌지에 따라 MMVD 플래그 파싱 여부를 결정할 수 있다. 예를 들어, 파싱한 후보 인덱스가 MMVD를 사용할 수 있는 후보인 경우 MMVD 플래그를 파싱하고, MMVD를 사용할 수 없는 후보인 경우 MMVD 플래그를 파싱하지 않고 0으로 추론할 수 있다. 또한 MMVD 플래그가 0인 경우 머지 플래그를 파싱할 수 있다. 머지 플래그를 통해 머지 모드 또는 서브블록 머지 모드가 쓰이는지, 인터 모드 또는 AMVP 모드 또는 어파인 인터 모드가 쓰이는지 결정할 수 있다. 도 28에서 설명의 편의를 위해 디코더를 위주로 설명하나, 본 실시예에 따른 코딩 프로세스는 인코더에도 실질적으로 동일한 방법으로 적용될 수 있다.
예를 들어, 제1 모드로 가능한 후보 개수가 num1이고, 제2 모드로 가능한 후보 개수가 num2이고, num1 < num2인 경우, 후보 인덱스를 파싱 했을 때 파싱한 인덱스가 num 1 이상인 경우 제1 모드 및 제2 모드 중 결정하는 신택스(예를 들어, 제1 모드의 사용 여부를 나타내는 신택스를 파싱하지 않을 수 있고, 제1 모드를 사용하지 않는 것으로 추론할 수 있다. 그리고 파싱한 인덱스가 num 1보다 작은 경우 제1 모드 및 제2 모드 중 결정하는 신택스를 파싱할 수 있다.
도 28을 참조하면 머지 인덱스를 파싱한 후, 머지 인덱스가 MMVD를 사용할 수 있는 후보 개수인 num_mmvd_baseCand보다 작은 경우 MMVD 플래그를 파싱할 수 있다. 또한 머지 인덱스가 num_mmvd_baseCand 이상인 경우 MMVD 플래그를 파싱하지 않을 수 있고, 이때 MMVD 플래그를 0으로 추론할 수 있다. 또한 MMVD 플래그가 1인 경우 MMVD 관련 신택스 요소를 나타내는 거리 인덱스(distance_idx), 방향 인덱스(direction_idx)를 파싱할 수 있다. 또한 MMVD 플래그가 0인 경우 머지 플래그를 파싱하고 그에 따라 머지 모드 또는 서브블록 머지 모드인지 아니면 인터 모드 또는 AMVP 모드 또는 어파인 모드인지 구분할 수 있다.
도 29는 본 발명의 일 실시예에 따른 코딩 유닛 신택스 구조를 예시하는 도면이다. 도 29에 도시된 바와 같이, 머지 플래그가 1인 경우 머지 데이터(즉, merge_data) 파싱 프로세스를 수행할 수 있다. 도 29에서 설명의 편의를 위해 디코더를 위주로 설명하나, 본 실시예에 따른 코딩 프로세스는 인코더에도 실질적으로 동일한 방법으로 적용될 수 있다. 일 실시예에서, 머지 데이터는 머지 관련 신택스의 일부를 포함할 수 있다. 또한 머지 데이터는 머지 데이터 신택스로 지칭될 수 있다. 예를 들어, 머지 데이터는 앞서 설명한 도 21 내지 도 28에서 머지 플래그가 1일 때 수행하는 신택스 파싱 프로세스를 포함할 수 있다. 또한 머지 플래그가 1인 것은 머지 모드를 사용함을 의미할 수 있다. 또한 머지 플래그가 1인 것은 앞서 도 6 및 표 1의 나타내는 mvd_coding을 사용하지 않는 인터 예측을 사용하는 것을 나타낼 수 있다.
도 30은 본 발명의 일 실시예에 따른 머지 데이터 신택스 구조를 예시하는 도면이다. 도 29에서 설명한 바와 같이 머지 플래그가 1인 경우 디코더는 머지 데이터 신택스를 파싱(또는 호출)할 수 있다. 도 30에서 설명의 편의를 위해 디코더를 위주로 설명하나, 본 실시예에 따른 코딩 프로세스는 인코더에도 실질적으로 동일한 방법으로 적용될 수 있다. 또한 앞서 설명한 바와 같이 머지 모드 또는 스킵 모드를 사용하는 경우 머지 플래그는 1로 설정될 수 있다.
도 30을 참조하면 머지 데이터 신택스에서 신택스 요소들 중 MMVD 플래그가 가장 먼저 파싱될 수 있다. MMVD 플래그는 머지 플래그가 1인 것을 확인한 후 가장 먼저 파싱할 수 있는 신택스일 수 있다. 또한 MMVD 플래그가 머지 플래그를 1로 설정하는 다른 예측 모드의 사용 여부를 나타내는 시그널링보다 먼저 파싱될 수 있다. 또한 MMVD 플래그는 MMVD를 사용하는지 나타내는 시그널링일 수 있다. 또한, 표 16, 도 22 내지 도 29에서 설명한 실시예와 동일한 방법이 적용될 수 있다. 도 30에 도시된 바와 같이, 머지 데이터 신택스는 서브블록 머지 모드, 다중 가정 예측(multi-hypothesis prediction)(또는 인트라 및 인터 조합 예측(intra and inter combined prediction)), 트라이앵글 예측 등에 대한 디코딩 프로세스를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 다중 가정 예측은 예측 블록을 생성할 때 두 개 이상의 예측 블록을 생성하여 결합하는 방법일 수 있다. 또는 다중 가정 예측은 예측 블록을 생성할 때 인터 예측과 인트라 예측을 모두 사용하는 방법일 수 있다. 또한 인터 예측과 인트라 예측은 각각 예측을 수행할 때 현재 블록이 포함된 픽쳐와 다른 픽쳐, 같은 픽쳐를 사용하는 방법일 수 있다. 도 30을 참조하면 다중 가정 예측 플래그는 다중 가정 예측을 사용하는지를 나타내는 신택스 요소를 나타낸다.
또한, 본 발명의 일 실시예에 따르면, 서브블록 머지 모드는 현재 블록(예를 들어, 코딩 유닛 또는 예측 유닛)을 예측할 때 서브블록 단위로 모션 보상을 수행하는(즉, 서브블록 단위로 모션 벡터가 결정되는) 방법일 수 있다. 일 실시예에서, 서브블록 머지 모드는 서브블록 기반 시간 MVP, 어파인 모션 예측 등의 방법을 포함할 수 있다. 도 30을 참조하면 머지 서브블록 플래그는 서브블록 머지 모드를 사용하는지 여부를 나타내는 신택스 요소를 나타낸다.
또한, 본 발명의 일 실시예에 따르면, 트라이앵글 예측은 현재 블록 내에서 사각형이 아닌 영역에 대해 모션 보상을 하는 방법을 나타낸다. 즉, 트라이앵글 예측에서 현재 블록 내에서 모션 벡터가 동일한 단위가 사각형이 아닐 수 있다. 도 30을 참조하면 트라이앵글 예측 플래그(즉, merge_triangle_flag)는 트라이앵글 예측을 사용하는지 여부를 나타내는 신택스 요소를 나타낸다.
또한, 본 발명의 일 실시예에 따르면, MMVD 플래그는 MMVD가 아닌 이외의 다른 머지 모드를 사용하는 것을 나타내는 시그널링(또는 신택스 요소)보다 먼저 파싱될 수 있다. 상기 MMVD가 아닌 어떤 머지 모드를 사용하는 것을 나타내는 시그널링은 다중 가정 예측 플래그, 머지 서브블록 플래그, 머지 트라이앵글 플래그 등을 포함할 수 있다.
도 30을 참조하면 MMVD 머지 인덱스(즉, mmvd_merge_idx)(또는 MMVD인덱스)는 MMVD의 베이스 모션 벡터로 어떤 것을 사용할지 나타내는 신택스 요소를 나타낸다. 만약 MMVD를 사용하는 경우 머지 인덱스는 MMVD 머지 플래그(즉, mmvd_merge_flag)(또는 MMVD 플래그)로 추론될 수 있다.
도 31는 본 발명의 일 실시예에 따른 머지 데이터 신택스 구조를 예시하는 도면이다. 도 31의 실시예는 도 29에서 머지 플래그가 1인 경우 수행되는 머지 데이터 신택스의 일부일 수 있다. 도 31에서 설명의 편의를 위해 디코더를 위주로 설명하나, 본 실시예에 따른 코딩 프로세스는 인코더에도 실질적으로 동일한 방법으로 적용될 수 있다. 본 발명의 일 실시예에 따르면, MMVD 플래그는 머지 인덱스보다 뒤에 파싱될 수 있다. 예를 들어, MMVD 플래그는 머지 인덱스 바로 다음에 파싱될 수 있다. 예를 들어, MMVD 플래그는 머지 데이터 신택스에서 가장 앞이 아닌 위치에서 파싱되지 않을 수 있다. 즉, 머지 플래그가 1인 것을 확인한 뒤 MMVD 플래그가 아닌 다른 신택스를 파싱한 뒤에 MMVD 플래그를 파싱할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 도 21에서 설명한 바와 같이 MMVD의 베이스 모션 벡터는 다른 후보 리스트로부터 결정될 수 있고, 일 실시예로 상기 다른 후보 리스트의 일부로부터 베이스 모션 벡터가 결정될 수 있다. 따라서, 도 25에서 설명한 바와 같이 본 일 실시예를 따르면 MMVD의 베이스 모션 벡터로 사용될 수 있는 다른 후보 리스트와 관련된 인덱스에 기초하여 MMVD 플래그 파싱 여부를 결정할 수 있다. 예를 들어, MMVD의 베이스 모션 벡터로 사용될 수 있는 다른 후보 리스트와 관련된 인덱스를 MMVD 플래그보다 먼저 파싱 할 수 있다. 그리고 상기 다른 후보 리스트와 관련된 인덱스가 MMVD의 베이스 모션 벡터로 사용될 수 있는 것을 나타내는 경우에 MMVD 플래그를 파싱하고, 그렇지 않은 경우 MMVD 플래그를 파싱하지 않는 것이 가능하다.
도 31를 참조하면, MMVD의 베이스 모션 벡터는 머지 후보로부터 결정될 수 있다. 따라서, 일 실시예로 머지 인덱스가 MMVD의 베이스 모션 벡터로 사용될 수 있는 것을 나타내는 경우에 MMVD 플래그를 파싱하고 그렇지 않은 경우 MMVD 플래그를 파싱하지 않을 수 있다. 또는 MMVD의 베이스 모션 벡터가 머지 후보 리스트의 앞 부분 n개 중에서 선택될 수 있는 경우에, 머지 인덱스가 n보다 작을 때(머지 인덱스는 0부터 시작할 수 있다.) MMVD 플래그를 파싱하고, 머지 인덱스가 n보다 작지 않은 경우 MMVD 플래그를 파싱하지 않을 수 있다. 더 구체적으로 MMVD의 베이스 모션 벡터는 머지 후보 리스트의 첫 번째 또는 두 번째 후보인 것이 가능하고, 도 31를 참조하면 머지 인덱스가 2보다 작은 경우, 즉 0이나 1인 경우 MMVD 플래그를 파싱할 수 있다. 머지 인덱스는 머지 후보 인덱스를 나타낼 수 있다. 이에 따라 머지 모드이지만 머지 인덱스가 MMVD를 사용할 수 없는 것을 나타내는 경우에 MMVD 플래그를 파싱하지 않을 수 있고, 이에 따라 코딩 효율이 향상될 수 있다.
또한, MMVD의 베이스 모션 벡터는 어떤 모드의 후보 리스트로부터 결정될 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 각종 모드의 사용여부를 나타내는 시그널링이 다수 존재할 때 상기 어떤 모드를 사용하는 것으로 결정된 후에 MMVD 플래그를 파싱할 수 있다. 예를 들어, 제1 모드, 제2 모드, 제3 모드가 존재한다고 가정하고 MMVD는 제3 모드에 기초하여 결정되는 경우, 또는 MMVD의 베이스 모션 벡터가 제3 모드의 후보로부터 결정되는 경우, 제3 모드를 사용하는 것으로 결정된 뒤에 MMVD 플래그를 파싱할 수 있다. 예를 들어, 제3 모드를 사용하는지 나타내는 시그널링을 통해 제3 모드를 사용하는 것으로 결정될 수 있다. 또는, 예를 들어, 제3 모드 이외에 가능한 모드, 예를 들어, 제1 모드및 제2 모드가 사용되지 않는 것으로 결정된 경우 제3 모드를 사용하는 것으로 결정될 수 있다. 예를 들어, 서브블록 머지 모드, 다중 가정 예측, 트라이앵글 예측, 컨벤셔널(conventional) 머지 모드 등이 존재할 때, 또한 MMVD가 컨벤셔널 머지 모드에 적용할 수 있는 경우, 열거한 모드들 중 컨벤셔널 머지 모드 또는 MMVD를 사용하는 것으로 결정된 뒤에 MMVD 플래그를 파싱할 수 있다. 상기 컨벤셔널 머지 모드는 주변 인트라 코딩된 블록의 모션 정보를 이용하여 인터 예측을 수행하는 모드로서, 종래의 영상 압축 기술(예를 들어, HEVC(high efficiency video coing))의 머지 모드를 의미할 수 있다.
또한, MMVD의 베이스 모션 벡터로 사용될 수 있는 다른 후보 리스트와 관련된 인덱스에 기초하여 MMVD 플래그를 파싱하는 경우 MMVD의 베이스 모션 벡터를 나타내는 시그널링이 따로 존재할 필요가 없다. 예를 들어, 도 23 또는 도 24 등에서는 베이스 모션 벡터 인덱스와 같은 시그널링이 머지 인덱스와 따로 존재하였다. 또한 도 30을 참조하면 MMVD 머지 플래그는 MMVD의 베이스 모션 벡터를 나타내는 시그널링일 수 있다. 본 발명의 일 실시예에 따르면, 도 31와 같이 MMVD 머지 플래그가 존재하지 않을 수 있다. 예를 들어, MMVD 관련 신택스는 MMVD 플래그, MMVD 거리를 나타내는 시그널링(도 30 내지 도 31에서 mmvd_distance_idx), MMVD 방향을 나타내는 시그널링(도 30 내지 도 31에서 mmvd_direction_idx)만을 포함할 수 있다. 또한 MMVD의 베이스 모션 벡터는 머지 인덱스에 의해 결정될 수 있다. 이에 따라 도 30의 MMVD의 베이스 모션 벡터는 나타내는 시그널링 및 그 컨텍스트 모델이 도 31의 실시예에서는 존재하지 않을 수 있다.
또한 본 발명의 일 실시예에 따르면, MMVD 플래그는 앞서 설명한 MMVD가 아닌 어떤 머지 모드를 사용하는 것을 나타내는 시그널링보다 뒤에 파싱 될 수 있다. 도 31를 참조하면 MMVD 플래그는 머지 서브블록 플래그, 다중 가정 예측 플래그(즉, mh_intra_flag), 머지 트라이앵글 플래그(즉, merge_triangle_flag) 보다 뒤에 파싱될 수 있다. 또한 특정머지 모드는 MMVD와 함께 사용되지 않을 수 있다. 그러한 경우 상기 어떤 머지 모드를 사용하는지 여부를 나타내는 플래그가 사용하지 않는 것을 나타내는 경우 MMVD 플래그를 파싱할 수 있다. 도 31를 참조하면 MMVD는 트라이앵글 예측과 함께 사용될 수 없는 것이 가능하고, 머지 트라이앵글 플래그가 0인 경우에 MMVD 플래그가 파싱될 수 있다. 또는 MMVD는 MH intra와 함께 사용될 수 없는 것이 가능하고, mh_intra_flag가 0인 경우에 MMVD 플래그가 파싱될 수 있다. 또는 MMVD는 서브블록 머지 모드와 함께 사용될 수 없는 것이 가능하고, 머지 서브블록 플래그가 0인 경우에 MMVD 플래그가 파싱될 수 있다.
도 32는 본 발명의 일 실시예에 따른 머지 데이터 신택스 구조를 예시하는 도면이다. 도 32의 실시예는 도 29에서 머지 플래그가 1인 경우 수행되는 머지 데이터 신택스의 일부일 수 있다. 도 32에서 설명의 편의를 위해 디코더를 위주로 설명하나, 본 실시예에 따른 코딩 프로세스는 인코더에도 실질적으로 동일한 방법으로 적용될 수 있다.
본 발명의 일 실시예에 따르면, MMVD 플래그는 다른 모드를 사용하는지 나타내는 시그널링보다 뒤에 파싱될 수 있다. 또는 MMVD 플래그는 머지 플래그가 1로 설정되는 MMVD가 아닌 다른 모드를 사용하는지 나타내는 시그널링보다 뒤에 파싱될 수 있다. 예를 들어, MMVD 플래그는 머지 서브블록 플래그, 다중 가정 예측 플래그(즉, mh_intra_flag), 머지 트라이앵글 플래그(즉, merge_triangle_flag) 보다 뒤에 파싱될 수 있다.
또한, 일 실시예에서, MMVD 플래그는 MMVD 이외의 다른 모드를 사용하지 않는 경우에 파싱될 수 있다. 예를 들어, 머지 서브블록 플래그가 0인 경우 MMVD 플래그가 파싱될 수 있다. 또한 다중 가정 예측 플래그가 0인 경우 MMVD 플래그가 파싱될 수 있다. 또한 머지 트라이앵글 플래그가 0인 경우 MMVD 플래그가 파싱될 수 있다. 어떤 모드를 사용하는지 나타내는 플래그가 0인 것은 상기 어떤 모드를 사용하지 않는다는 것을 나타낼 수 있다. 또한, MMVD를 컨벤셔널 머지 모드에 적용할 수 있는 경우, MMVD 플래그를 컨벤셔널 머지 모드 또는 MMVD가 사용되는 것으로 결정된 뒤에 파싱할 수 있다.
또한, 일 실시예에서, MMVD를 사용하는 경우 MMVD 관련 신택스를 파싱하고, MMVD를 사용하지 않는 경우 머지 인덱스를 파싱할 수 있다. 또는 MMVD를 사용하는 경우, 디코더는 MMVD 머지 플래그(즉, mmvd_merge_flag), MMVD 거리 인덱스(mmvd_distance_idx), MMVD 방향 인덱스(mmvd_direction_idx)를 파싱하고, MMVD를 사용하지 않는 경우 머지 인덱스를 파싱할 수 있다. 또한 도 32와 같이 MMVD 플래그를 다른 모드를 사용하는지 여부를 나타내는 플래그 보다 뒤에 파싱하는 경우에 MMVD의 베이스 모션 벡터를 나타내는 시그널링이 머지 인덱스와는 별개의 신택스 요소로서 존재할 수 있다. 도 32을 참조하면 MMVD의 베이스 모션 벡터를 나타내는 시그널링은 MMVD 머지 플래그일 수 있다. 예를 들어, 컨벤셔널 머지 모드 또는 MMVD를 사용하는 것으로 결정된 뒤에 MMVD 플래그를 파싱할 수 있다.
본 발명의 일 실시예에 따르면, MMVD의 베이스 모션 벡터가 어떤 후보 리스트로부터 결정되고, 상기 어떤 후보 리스트의 최대 후보 개수는 가변적일 수 있다. 예를 들어, 상위 레벨 신택스로부터 최대 후보 개수가 결정될 수 있다. 상위 레벨 신택스는 현재 코딩 유닛보다 더 상위 레벨의 신택스일 수 있다. 예를 들어, 상위 레벨 신택스는 시퀀스, 픽쳐, 슬라이스, 타일 레벨의 신택스일 수 있다. 일 실시예를 따르면 이러한 경우 MMVD의 베이스 모션 벡터의 최대 후보 개수는 MMVD의 베이스 모션 벡터가 될 수 있는 후보 리스트의 최대 후보 개수를 따라갈 수 있다. 따라서, MMVD의 베이스 모션 벡터가 될 수 있는 후보 리스트의 최대 후보 개수가 줄어드는 경우에 MMVD의 베이스 모션 벡터가 될 수 있는 후보의 최대 후보 개수도 줄어들 수 있다.
일 실시예에서, MMVD의 베이스 모션 벡터가 머지 후보 리스트로부터 결정되고, 최대 머지 후보 개수가 MaxNumMergeCand일 수 있다. 또한 MaxNumMergeCand는 상위 레벨 신택스로부터 결정될 수 있다. 이러한 경우 MMVD의 베이스 모션 벡터가 될 수 있는 최대 머지 후보 개수는 MaxNumMergeCand 이하일 수 있다. 따라서, 도 32에 도시된 바와 같이, MaxNumMergeCand에 따라 MMVD의 베이스 모션 벡터를 나타내는 시그널링을 파싱할지 여부가 결정될 수 있다. 예를 들어, MaxNumMergeCand가 1인 경우 MMVD의 베이스 모션 벡터를 나타내는 시그널링을 파싱하지 않을 수 있고, MMVD의 베이스 모션 벡터를 나타내는 시그널링이 존재하지 않는 경우 0으로 추론할 수 있다.
다른 일 실시예에서, MaxNumMergeCand가 1인 경우 MMVD를 사용하지 않을 수 있다. 이것은 MMVD 관련 신택스에 대한 시그널링 오버헤드를 줄이기 위한 것일 수 있다. 따라서, MaxNumMergeCand가 1인 경우 MMVD 플래그를 파싱하지 않을 수 있다. 또한 MMVD 플래그가 존재하지 않는 경우 0으로 추론할 수 있다. 또한, 도 32를 참조하면 머지 트라이앵글 플래그는 다중 가정 인트라 예측을 사용하지 않는 경우에만 파싱할 수 있다. 만약, 머지 트라이앵글 플래그가 존재하지 않는 경우 0으로 추론할 수 있다.
본 발명의 일 실시예에 따르면, 함께 사용할 수 없는 모드들이 다수 존재할 수 있다. 예를 들어, 서브블록 머지 모드, 트라이앵글 예측, 다중 가정 인트라 예측, MMVD를 함께 사용할 수 없을 수 있다. 또한, 함께 사용할 수 없는 다수의 모드들 각각의 사용 여부를 나타내는 시그널링이 기설정된 순서에 따라 파싱될 수 있다. 이러한 경우 상기 다수의 모드들 중 어떤 모드의 사용 여부를 나타내는 시그널링은, 그보다 앞에 파싱된 상기 다수의 모드들 중 다른 어떤 모드의 사용 여부를 나타내는 시그널링들이 모두 사용하지 않는 것으로 판단된 경우에만 파싱할 수 있다.
도 33은 본 발명이 적용되는 일 실시예에 따른 비디오 신호 처리 방법을 예시하는 도면이다. 도 33을 참조하면, 설명의 편의를 위해 디코더를 위주로 설명하나 본 발명이 이에 제한되는 것은 아니며, 본 실시예에 따른 다중 가정 예측 기반 비디오 신호 처리 방법은 인코더에도 실질적으로 동일한 방법으로 적용될 수 있다.
디코더는 현재 블록에 서브블록 기반 머지 모드가 적용되는지 여부를 지시하는 제1 신택스 요소를 획득한다(S3301). 전술한 바와 같이, 일 실시예로서, 상기 제1 신택스 요소는 서브블록 머지 플래그(또는 머지 서브블록 플래그)일 수 있다.
디코더는 상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용되지 않음을 지시하는 경우, 상기 현재 블록에 모션 벡터 차분을 이용하는 머지 모드가 적용되는지 여부를 지시하는 제2 신택스 요소를 획득한다(S3302). 전술한 바와 같이, 일 실시예로서, 상기 제2 신택스 요소는 MMVD 플래그(또는 MMVD 머지 플래그)일 수 있다.
디코더는 상기 제2 신택스 요소가 상기 현재 블록에 상기 모션 벡터 차분을 이용하는 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 머지 후보 리스트에 포함된 후보들 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시하는 제3 신택스 요소를 획득한다(S3303). 전술한 바와 같이, 일 실시예로서, 상기 제3 신택스 요소는 MMVD 인덱스(또는 MMVD 후보 인덱스, MMVD 후보 플래그)일 수 있다.
디코더는 상기 모션 벡터 차분에 관련된 정보를 획득한다(S3304). 전술한 바와 같이, 실시예로서, 상기 모션 벡터 차분에 관련된 정보를 획득하는 단계는, 상기 모션 벡터 차분의 거리를 지시하는 제4 신택스 요소를 획득하는 단계; 및 상기 모션 벡터 차분의 방향을 지시하는 제5 신택스 요소를 획득할 수 있다. 전술한 바와 같이, 일 실시예로서, 상기 제4 신택스 요소는 거리 인덱스(또는 MMVD 거리 인덱스)일 수 있고, 상기 제5 신택스 요소는 방향 인덱스(또는 MMVD 방향 인덱스)일 수 있다.
디코더는 상기 제3 신택스 요소에 의해 지시되는 후보의 모션 벡터에 상기 모션 벡터 차분을 가산함으로써 상기 현재 블록의 모션 벡터를 유도한다(S3305).
디코더는 상기 현재 블록의 모션 벡터를 이용하여 상기 현재 블록의 예측 블록을 생성한다(S3306)
전술한 바와 같이, 실시예로서, 상기 제3 신택스 요소는 상기 현재 블록의 머지 후보 리스트의 첫 번째 후보 및 두 번째 후보 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시할 수 있다.
전술한 바와 같이, 실시예로서, 상기 제3 신택스 요소는 머지 후보의 최대 개수가 1보다 큰 경우 비트스트림으로부터 파싱되고, 상기 머지 후보의 최대 개수가 1보다 크지 않은 경우 0으로 추론될 수 있다.
전술한 바와 같이, 실시예로서, 상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 서브블록 머지 후보 리스트에 포함된 후보들 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시하는 제6 신택스 요소를 획득하는 단계를 더 포함하고, 상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 모션 벡터는 상기 제6 신택스 요소에 의해 지시되는 후보의 모션 벡터에 기초하여 상기 현재 블록에 포함된 적어도 하나의 서브블록 단위로 유도될 수 있다. 전술한 바와 같이, 일 실시예로서, 상기 제6 신택스 요소는 서브블록 머지 인덱스(또는 머지 서브블록 인덱스)일 수 있다.
전술한 바와 같이, 실시예로서, 상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용됨을 지시하는 경우, 상기 제2 신택스 요소는 0으로 추론될 수 있다.
전술한 바와 같이, 실시예로서, 상기 제6 신택스 요소는 서브블록 머지 후보의 최대 개수가 1보다 큰 경우 비트스트림으로부터 파싱되고, 상기 서브블록 머지 후보의 최대 개수가 1보다 크지 않은 경우 0으로 추론될 수 있다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 프로세서의 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아는 것으로 해석해야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 비디오 신호 처리 방법에 있어서,
    현재 블록에 서브블록 기반 머지 모드가 적용되는지 여부를 지시하는 제1 신택스 요소를 획득하는 단계;
    상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용되지 않음을 지시하는 경우, 상기 현재 블록에 모션 벡터 차분을 이용하는 머지 모드가 적용되는지 여부를 지시하는 제2 신택스 요소를 획득하는 단계;
    상기 제2 신택스 요소가 상기 현재 블록에 상기 모션 벡터 차분을 이용하는 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 머지 후보 리스트에 포함된 후보들 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시하는 제3 신택스 요소를 획득하는 단계;
    상기 모션 벡터 차분에 관련된 정보를 획득하는 단계;
    상기 제3 신택스 요소에 의해 지시되는 후보의 모션 벡터에 상기 모션 벡터 차분을 가산함으로써 상기 현재 블록의 모션 벡터를 유도하는 단계; 및
    상기 현재 블록의 모션 벡터를 이용하여 상기 현재 블록의 예측 블록을 생성하는 단계를 포함하는, 비디오 신호 처리 방법.
  2. 제1항에 있어서,
    상기 제3 신택스 요소는 상기 현재 블록의 머지 후보 리스트의 첫 번째 후보 및 두 번째 후보 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시하는 것을 특징으로 하는, 비디오 신호 처리 방법.
  3. 제2항에 있어서,
    상기 제3 신택스 요소는 머지 후보의 최대 개수가 1보다 큰 경우 비트스트림으로부터 파싱되고, 상기 머지 후보의 최대 개수가 1보다 크지 않은 경우 0으로 추론되는 것을 특징으로 하는, 비디오 신호 처리 방법.
  4. 제1항에 있어서,
    상기 모션 벡터 차분에 관련된 정보를 획득하는 단계는,
    상기 모션 벡터 차분의 거리를 지시하는 제4 신택스 요소를 획득하는 단계; 및
    상기 모션 벡터 차분의 방향을 지시하는 제5 신택스 요소를 획득하는 단계를 더 포함하는, 비디오 신호 처리 방법.
  5. 제1항에 있어서,
    상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 서브블록 머지 후보 리스트에 포함된 후보들 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시하는 제6 신택스 요소를 획득하는 단계를 더 포함하고,
    상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 모션 벡터는 상기 제6 신택스 요소에 의해 지시되는 후보의 모션 벡터에 기초하여 상기 현재 블록에 포함된 적어도 하나의 서브블록 단위로 유도되는, 비디오 신호 처리 방법.
  6. 제5항에 있어서,
    상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용됨을 지시하는 경우, 상기 제2 신택스 요소는 0으로 추론되는 것을 특징으로 하는, 비디오 신호 처리 방법.
  7. 제5항에 있어서,
    상기 제6 신택스 요소는 서브블록 머지 후보의 최대 개수가 1보다 큰 경우 비트스트림으로부터 파싱되고, 상기 서브블록 머지 후보의 최대 개수가 1보다 크지 않은 경우 0으로 추론되는 것을 특징으로 하는, 비디오 신호 처리 방법.
  8. 비디오 신호 처리 장치에 있어서,
    프로세서를 포함하며,
    상기 프로세서는,
    현재 블록에 서브블록 기반 머지 모드가 적용되는지 여부를 지시하는 제1 신택스 요소를 획득하고,
    상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용되지 않음을 지시하는 경우, 상기 현재 블록에 모션 벡터 차분을 이용하는 머지 모드가 적용되는지 여부를 지시하는 제2 신택스 요소를 획득하고,
    상기 제2 신택스 요소가 상기 현재 블록에 상기 모션 벡터 차분을 이용하는 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 머지 후보 리스트에 포함된 후보들 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시하는 제3 신택스 요소를 획득하고,
    상기 모션 벡터 차분에 관련된 정보를 획득하고,
    상기 제3 신택스 요소에 의해 지시되는 후보의 모션 벡터에 상기 모션 벡터 차분을 가산함으로써 상기 현재 블록의 모션 벡터를 유도하고,
    상기 현재 블록의 모션 벡터를 이용하여 상기 현재 블록의 예측 블록을 생성하는, 비디오 신호 처리 장치.
  9. 제8항에 있어서,
    상기 제3 신택스 요소는 상기 현재 블록의 머지 후보 리스트의 첫 번째 후보 및 두 번째 후보 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시하는 것을 특징으로 하는, 비디오 신호 처리 장치.
  10. 제9항에 있어서,
    상기 제3 신택스 요소는 머지 후보의 최대 개수가 1보다 큰 경우 비트스트림으로부터 파싱되고, 상기 머지 후보의 최대 개수가 1보다 크지 않은 경우 0으로 추론되는 것을 특징으로 하는, 비디오 신호 처리 장치.
  11. 제8항에 있어서,
    상기 프로세서는,
    상기 모션 벡터 차분의 거리를 지시하는 제4 신택스 요소를 획득하고,
    상기 모션 벡터 차분의 방향을 지시하는 제5 신택스 요소를 획득하는, 비디오 신호 처리 장치.
  12. 제8항에 있어서,
    상기 프로세서는,
    상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 서브블록 머지 후보 리스트에 포함된 후보들 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시하는 제6 신택스 요소를 획득하고,
    상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용됨을 지시하는 경우, 상기 현재 블록의 모션 벡터는 상기 제6 신택스 요소에 의해 지시되는 후보의 모션 벡터에 기초하여 상기 현재 블록에 포함된 적어도 하나의 서브블록 단위로 유도되는, 비디오 신호 처리 장치.
  13. 제12항에 있어서,
    상기 제1 신택스 요소가 상기 현재 블록에 서브블록 기반 머지 모드가 적용됨을 지시하는 경우, 상기 제2 신택스 요소는 0으로 추론되는 것을 특징으로 하는, 비디오 신호 처리 장치.
  14. 제12항에 있어서,
    상기 제6 신택스 요소는 서브블록 머지 후보의 최대 개수가 1보다 큰 경우 비트스트림으로부터 파싱되고, 상기 서브블록 머지 후보의 최대 개수가 1보다 크지 않은 경우 0으로 추론되는 것을 특징으로 하는, 비디오 신호 처리 장치.
  15. 비디오 신호 처리 방법에 있어서,
    현재 블록에 서브블록 기반 머지 모드가 적용되는지 여부를 지시하는 제1 신택스 요소를 부호화하는 단계;
    상기 현재 블록에 서브블록 기반 머지 모드가 적용되지 않는 경우, 상기 현재 블록에 모션 벡터 차분을 이용하는 머지 모드가 적용되는지 여부를 지시하는 제2 신택스 요소를 부호화하는 단계;
    상기 현재 블록에 상기 모션 벡터 차분을 이용하는 머지 모드가 적용되는 경우, 상기 현재 블록의 머지 후보 리스트에 포함된 후보들 중에서 상기 현재 블록의 인터 예측에 이용되는 후보를 지시하는 제3 신택스 요소를 부호화하는 단계;
    상기 모션 벡터 차분에 관련된 정보를 부호화하는 단계;
    상기 제3 신택스 요소에 의해 지시되는 후보의 모션 벡터에 상기 모션 벡터 차분을 가산함으로써 상기 현재 블록의 모션 벡터를 유도하는 단계; 및
    상기 현재 블록의 모션 벡터를 이용하여 상기 현재 블록의 예측 블록을 생성하는 단계를 포함하는, 비디오 신호 처리 방법.
PCT/KR2019/014016 2018-10-23 2019-10-23 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치 WO2020085800A1 (ko)

Priority Applications (14)

Application Number Priority Date Filing Date Title
KR1020217012537A KR102550530B1 (ko) 2018-10-23 2019-10-23 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
CN202311223481.8A CN117156129A (zh) 2018-10-23 2019-10-23 通过使用基于子块的运动补偿处理视频信号的方法和设备
EP19875756.9A EP3873093A4 (en) 2018-10-23 2019-10-23 METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL USING SUBBLOCK-BASED MOTION COMPENSATION
KR1020247030872A KR20240142593A (ko) 2018-10-23 2019-10-23 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
CN202311222783.3A CN117156128A (zh) 2018-10-23 2019-10-23 通过使用基于子块的运动补偿处理视频信号的方法和设备
CN201980069820.7A CN113196751B (zh) 2018-10-23 2019-10-23 通过使用基于子块的运动补偿处理视频信号的方法和设备
JP2021521968A JP7206382B2 (ja) 2018-10-23 2019-10-23 サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置
CN202311227743.8A CN117156131A (zh) 2018-10-23 2019-10-23 通过使用基于子块的运动补偿处理视频信号的方法和设备
KR1020237021844A KR102708052B1 (ko) 2018-10-23 2019-10-23 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
CN202311226819.5A CN117156130A (zh) 2018-10-23 2019-10-23 通过使用基于子块的运动补偿处理视频信号的方法和设备
US17/234,688 US20210243476A1 (en) 2018-10-23 2021-04-19 Method and device for processing video signal by using subblock-based motion compensation
JP2022212171A JP7400072B2 (ja) 2018-10-23 2022-12-28 サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置
US18/360,645 US20240040156A1 (en) 2018-10-23 2023-07-27 Method and device for processing video signal by using subblock-based motion compensation
JP2023203318A JP7551179B2 (ja) 2018-10-23 2023-11-30 サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR20180126782 2018-10-23
KR10-2018-0126782 2018-10-23
KR20180137704 2018-11-09
KR10-2018-0137704 2018-11-09
KR20190000479 2019-01-02
KR10-2019-0000479 2019-01-02
KR20190016537 2019-02-13
KR10-2019-0016537 2019-02-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/234,688 Continuation US20210243476A1 (en) 2018-10-23 2021-04-19 Method and device for processing video signal by using subblock-based motion compensation

Publications (1)

Publication Number Publication Date
WO2020085800A1 true WO2020085800A1 (ko) 2020-04-30

Family

ID=70332151

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/014016 WO2020085800A1 (ko) 2018-10-23 2019-10-23 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치

Country Status (6)

Country Link
US (2) US20210243476A1 (ko)
EP (1) EP3873093A4 (ko)
JP (3) JP7206382B2 (ko)
KR (3) KR102550530B1 (ko)
CN (5) CN113196751B (ko)
WO (1) WO2020085800A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7538124B2 (ja) 2018-12-17 2024-08-21 インターデイジタル ヴィーシー ホールディングス インコーポレイテッド Ｍｍｖｄおよびｓｍｖｄと動きモデルおよび予測モデルとの組み合わせ

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118784864A (zh) * 2018-12-07 2024-10-15 夏普株式会社 运动图像解码装置
KR20210099129A (ko) * 2018-12-21 2021-08-11 샤프 가부시키가이샤 비디오 코딩에서 인터 예측을 수행하기 위한 시스템들 및 방법들
HUE064569T2 (hu) * 2019-02-20 2024-03-28 Beijing Dajia Internet Information Korlátozott mozgásvektor származtatás hosszútávú referenciaképhez videó kódolásnál
WO2020184461A1 (ja) * 2019-03-08 2020-09-17 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
EP3975556A4 (en) * 2019-06-19 2022-08-03 Lg Electronics Inc. IMAGE DECODING METHOD FOR PERFORMING INTER-PREDICTION WHEN THE CURRENT BLOCK PREDICTION MODE CANNOT FINALLY BE SELECTED AND ASSOCIATED DEVICE
CN114270835A (zh) * 2019-06-19 2022-04-01 Lg电子株式会社 基于默认合并模式推导预测样本的图像解码方法及其装置
US11405628B2 (en) * 2020-04-06 2022-08-02 Tencent America LLC Method and apparatus for video coding
WO2023109899A1 (en) * 2021-12-15 2023-06-22 FG Innovation Company Limited Device and method for coding video data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
WO2017171107A1 (ko) * 2016-03-28 2017-10-05 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2018066927A1 (ko) * 2016-10-06 2018-04-12 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10148974B2 (en) * 2011-03-10 2018-12-04 Sharp Kabushiki Kaisha Image decoding device, image encoding device, and data structure of encoded data
US9143795B2 (en) * 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
CA2842646C (en) * 2011-06-27 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
US20130070855A1 (en) * 2011-09-17 2013-03-21 Qualcomm Incorporated Hybrid motion vector coding modes for video coding
WO2015192353A1 (en) * 2014-06-19 2015-12-23 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
KR101908249B1 (ko) * 2014-11-18 2018-10-15 미디어텍 인크. 단방향 예측 및 병합 후보로부터의 모션 벡터에 기초한 양방향 예측 비디오 코딩 방법
WO2017022973A1 (ko) * 2015-08-04 2017-02-09 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2017039117A1 (ko) * 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
US20190158870A1 (en) * 2016-01-07 2019-05-23 Mediatek Inc. Method and apparatus for affine merge mode prediction for video coding system
US10979732B2 (en) * 2016-10-04 2021-04-13 Qualcomm Incorporated Adaptive motion vector precision for video coding
US20180310017A1 (en) * 2017-04-21 2018-10-25 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-pu tmvp) for video coding
WO2019009546A1 (ko) * 2017-07-04 2019-01-10 엘지전자 주식회사 인터 예측 기반의 영상 처리 방법 및 이를 위한 장치
KR102233964B1 (ko) * 2017-09-12 2021-03-30 삼성전자주식회사 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
WO2017171107A1 (ko) * 2016-03-28 2017-10-05 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2018066927A1 (ko) * 2016-10-06 2018-04-12 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAN, YU ET AL.: "CE4.2.16: Sub-block merge candidates in BMS and JEM", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11. JVET-K0338 . 11TH MEETING, 18 July 2018 (2018-07-18), Ljubljana, SI, pages 1 - 5, XP030198910 *
YU , RUOYANG ET AL.: "Non-CE4: On maximum number of subblock merge candidates", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JT C 1/SC 29/WG 11. JVET-O0220. 5TH MEETING, 12 July 2019 (2019-07-12), Gothenburg, SE, pages 1 - 3, XP030218889 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7538124B2 (ja) 2018-12-17 2024-08-21 インターデイジタル ヴィーシー ホールディングス インコーポレイテッド Ｍｍｖｄおよびｓｍｖｄと動きモデルおよび予測モデルとの組み合わせ

Also Published As

Publication number Publication date
JP7206382B2 (ja) 2023-01-17
EP3873093A1 (en) 2021-09-01
CN117156130A (zh) 2023-12-01
KR20210057188A (ko) 2021-05-20
US20240040156A1 (en) 2024-02-01
CN113196751B (zh) 2023-10-13
KR102708052B1 (ko) 2024-09-23
KR20240142593A (ko) 2024-09-30
CN117156129A (zh) 2023-12-01
US20210243476A1 (en) 2021-08-05
JP7400072B2 (ja) 2023-12-18
KR20230104758A (ko) 2023-07-10
CN113196751A (zh) 2021-07-30
JP2024023483A (ja) 2024-02-21
CN117156131A (zh) 2023-12-01
JP2023036907A (ja) 2023-03-14
EP3873093A4 (en) 2022-07-20
JP2022505578A (ja) 2022-01-14
KR102550530B1 (ko) 2023-07-04
JP7551179B2 (ja) 2024-09-17
CN117156128A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
WO2020076143A1 (ko) 다중 가정 예측을 사용하는 비디오 신호 처리 방법 및 장치
WO2020085800A1 (ko) 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
WO2020149725A1 (ko) 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
WO2018066867A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019107916A1 (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
WO2019235896A1 (ko) 적응적 모션 벡터 레졸루션을 이용하는 비디오 신호 처리 방법 및 장치
WO2018097693A2 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018030773A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2017026681A1 (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2017039117A1 (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2014058280A1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
WO2017086748A1 (ko) 기하 변환 영상을 이용하는 영상의 부호화/복호화 방법 및 장치
WO2021054676A1 (ko) Prof를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2017069505A1 (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2017003063A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019182295A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019190199A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020171681A1 (ko) 인트라 예측 기반 비디오 신호 처리 방법 및 장치
WO2021015586A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020055161A1 (ko) 영상 코딩 시스템에서 서브 블록 단위의 움직임 예측에 기반한 영상 디코딩 방법 및 장치
WO2015133838A1 (ko) 폴리곤 유닛 기반 영상 인코딩/디코딩 방법 및 이를 위한 장치
WO2018062950A1 (ko) 영상 처리 방법 및 이를 위한 장치
WO2019194653A1 (ko) 움직임 정보의 복합적 머지 모드 처리를 제공하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
WO2016190627A1 (ko) 비디오 신호 처리 방법 및 장치
WO2011021914A2 (ko) 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19875756

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021521968

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20217012537

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019875756

Country of ref document: EP

Effective date: 20210525