WO2023055147A1 - Mhp(multi-hypothesis prediction)모드에 기초한 비디오 신호 처리 방법 및 이를 위한 장치 - Google Patents

Mhp(multi-hypothesis prediction)모드에 기초한 비디오 신호 처리 방법 및 이를 위한 장치 Download PDF

Info

Publication number
WO2023055147A1
WO2023055147A1 PCT/KR2022/014696 KR2022014696W WO2023055147A1 WO 2023055147 A1 WO2023055147 A1 WO 2023055147A1 KR 2022014696 W KR2022014696 W KR 2022014696W WO 2023055147 A1 WO2023055147 A1 WO 2023055147A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
syntax element
current block
prediction
mhp
Prior art date
Application number
PCT/KR2022/014696
Other languages
English (en)
French (fr)
Inventor
김동철
김경용
손주형
곽진삼
Original Assignee
주식회사 윌러스표준기술연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 윌러스표준기술연구소 filed Critical 주식회사 윌러스표준기술연구소
Priority to KR1020247010195A priority Critical patent/KR20240087758A/ko
Publication of WO2023055147A1 publication Critical patent/WO2023055147A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Definitions

  • the present invention relates to a method and apparatus for processing a video signal, and more particularly, to a method and apparatus for processing a video signal for encoding or decoding a video signal.
  • Compression coding refers to a series of signal processing techniques for transmitting digitized information through a communication line or storing it in a form suitable for a storage medium.
  • Targets of compression coding include voice, video, text, and the like, and in particular, a technique of performing compression coding for video is called video image compression.
  • Compression encoding of a video signal is performed by removing redundant information in consideration of spatial correlation, temporal correlation, and stochastic correlation.
  • a more highly efficient video signal processing method and apparatus are required.
  • An object of the present specification is to increase coding efficiency of a video signal by providing a video signal processing method and an apparatus therefor.
  • the present specification provides a video signal processing method and apparatus therefor.
  • the video signal decoding apparatus includes a processor, and the processor parses a first syntax element that is a General Constraint Information (GCI) syntax element, and assigns a multi-hypothesis (MHP) to a current sequence. prediction) parsing a second syntax element indicating whether a mode is available, parsing a third syntax element indicating whether the MHP mode is used in a current block based on a parsing result of the second syntax element, and 3 If the syntax element indicates that the MHP mode is used for the current block, the current block is predicted based on the MHP mode, and the first syntax element includes Sequence Parameter Set (SPS) RBSP syntax and video Included in at least one of Parameter Set (Video Parameter Set, VPS) RBSP syntax, the second syntax element is included in the SPS RBSP syntax, and if the value of the first syntax element is 1, the second syntax element The value of is set to 0, which is a value indicating that the MHP mode is not used regardless of the parsing result
  • GCI
  • a video signal encoding device includes a processor, and the processor obtains a bitstream decoded by a decoding method. Also, in the present specification, in a computer-readable non-transitory storage medium that stores a bitstream, the bitstream is decoded by a decoding method.
  • the decoding method includes parsing a first syntax element that is a general constraint information (GCI) syntax element; parsing a second syntax element indicating whether a multi-hypothesis prediction (MHP) mode is available for a current sequence; parsing a third syntax element indicating whether the MHP mode is used in a current block based on a parsing result of the second syntax element; and if the third syntax element indicates that the MHP mode is used for the current block, predicting the current block based on the MHP mode, wherein the first syntax element comprises a sequence parameter set , SPS) RBSP syntax and Video Parameter Set (Video Parameter Set) included in at least one of RBSP syntax, wherein the second syntax element is included in the SPS RBSP syntax, and the value of the first syntax element is 1 In this case, the value of the second syntax element is set to 0, which is a value indicating that the MHP mode is not used, regardless of the parsing result of the second syntax element, and when the value of the
  • the third syntax element may be parsed when the second syntax element indicates that the MHP mode is available for the current block.
  • the third syntax element may be parsed when the prediction mode of the current block is a merge mode.
  • the third syntax element is parsed by additionally considering the prediction direction of the current block, and the third syntax element is parsed when the prediction direction is bi-prediction prediction.
  • the third syntax element is parsed by additionally considering a weight according to a prediction direction of the current block, and the third syntax element is parsed when the weight is not 1/2.
  • the third syntax element is parsed by additionally considering a prediction mode applied to the current block, and the third syntax element is not a case where both an affine mode and an adaptive motion vector resolution (AMVR) mode are applied to the current block. It is characterized in that the case is parsed.
  • AMVR adaptive motion vector resolution
  • the third syntax element is parsed by additionally considering whether the prediction mode applied to the current block is the AMVR mode, and the third syntax element is parsed when the AMVR mode is not applied to the current block.
  • the third syntax element is parsed by additionally considering the number of samples of the current block, and the third syntax element is parsed when the number of samples of the current block is greater than 64.
  • the third syntax element is parsed by additionally considering the size of the current block, and the third syntax element is parsed when the smaller of the horizontal size and the vertical size of the current block is greater than 8.
  • the third syntax element is parsed by additionally considering whether the prediction mode of the current block is a combined inter-picture merge and inter-picture prediction (CIIP) mode and a geometric partitioning mode (GPM) mode. element is characterized in that the current block is parsed when the prediction mode is not CIIP mode and GPM mode.
  • CIIP inter-picture merge and inter-picture prediction
  • GPM geometric partitioning mode
  • the third syntax element is parsed by additionally considering whether a template matching merge mode is applied to the current block, and the third syntax element is parsed when a template matching merge mode is not applied to the current block. .
  • the merge mode is a mode in a merge list, and each of one or more modes in the merge list has a different picture order count (POC).
  • POC picture order count
  • the present specification provides a method for efficiently processing a video signal.
  • FIG. 1 is a schematic block diagram of a video signal encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a schematic block diagram of a video signal decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 shows an embodiment in which a coding tree unit within a picture is divided into coding units.
  • FIG. 4 illustrates one embodiment of a method for signaling splitting of quad trees and multi-type trees.
  • 5 and 6 show the intra prediction method according to an embodiment of the present invention in more detail.
  • FIG. 7 is a diagram illustrating positions of neighboring blocks used to construct a motion candidate list in inter prediction.
  • MHP multi-hypothesis prediction
  • FIG. 9 is a diagram showing a combination to which an MHP mode according to an embodiment of the present specification is applied.
  • FIG. 10 is a diagram showing the structure of a high level syntax according to an embodiment of the present specification.
  • FIG. 11 is a diagram illustrating a method of signaling information related to an MHP mode according to an embodiment of the present specification.
  • FIGS. 12 and 13 are diagrams illustrating a signaling structure of information related to an MHP mode in a coding unit when an AMVP mode is applied to a current block according to an embodiment of the present specification.
  • FIG. 14 is a diagram illustrating a signaling structure of information related to an MHP mode in a coding unit when a merge mode is applied to a current block according to an embodiment of the present specification.
  • 15 is a diagram illustrating a syntax structure for information related to an MHP mode according to an embodiment of the present specification.
  • 16 is a diagram illustrating a context model of a syntax element related to an MHP mode according to an embodiment of the present specification.
  • FIG. 17 is a diagram illustrating a geometry partitioning mode (GPM) mode according to an embodiment of the present specification.
  • GPM geometry partitioning mode
  • FIG. 18 is a diagram illustrating a method of configuring a division and merge list of a current coding unit for a GPM mode according to an embodiment of the present specification.
  • FIG. 19 is a diagram illustrating a merge list used in MHP mode according to an embodiment of the present specification.
  • 20 is a flowchart illustrating a method of parsing a syntax element related to an MHP mode according to an embodiment of the present specification.
  • 'A and/or B' may be interpreted as meaning 'including at least one of A or B'.
  • Coding can be interpreted as either encoding or decoding, as the case may be.
  • a device that performs encoding (encoding) of a video signal to generate a video signal bitstream is referred to as an encoding device or an encoder
  • a device that performs decoding (decoding) of a video signal bitstream to restore a video signal is referred to as a decoding device.
  • a device or decoder a video signal processing apparatus is used as a conceptual term including both an encoder and a decoder.
  • a 'unit' is used to indicate a basic unit of image processing or a specific location of a picture, and refers to an image area including at least one of a luma component and a chroma component.
  • a 'block' refers to an image area including a specific component among luminance components and chrominance components (ie, Cb and Cr).
  • terms such as 'unit', 'block', 'partition', 'signal' and 'region' may be used interchangeably depending on embodiments.
  • a 'current block' means a block currently scheduled to be encoded
  • a 'reference block' means a block that has already been coded or decoded and is used as a reference in the current block.
  • terms such as 'luma', 'luma', 'luminance', and 'Y' may be used interchangeably.
  • terms such as 'chroma', 'chroma', 'color difference', and 'Cb or Cr' may be used interchangeably.
  • a unit may be used as a concept including all of a coding unit, a prediction unit, and a transform unit.
  • a picture refers to a field or a frame, and the terms may be used interchangeably depending on embodiments. Specifically, when a photographed image is an interlace image, one frame is divided into an odd (or odd, top) field and an even (or even, bottom) field, and each field is composed of one picture unit. and can be encoded or decoded. If the photographed image is a progressive image, one frame may be configured as a picture and encoded or decoded. Also, in this specification, terms such as 'error signal', 'residual signal', 'residual signal', 'residual signal', and 'difference signal' may be used interchangeably.
  • POC Picture Order Count
  • the encoding apparatus 100 of the present invention includes a transform unit 110, a quantization unit 115, an inverse quantization unit 120, an inverse transform unit 125, a filtering unit 130, and a prediction unit 150. ) and an entropy coding unit 160.
  • the transform unit 110 transforms the residual signal, which is the difference between the received video signal and the prediction signal generated by the predictor 150, to obtain a transform coefficient value.
  • a discrete cosine transform DCT
  • DST discrete sine transform
  • Discrete cosine transform and discrete sine transform perform conversion by dividing an input picture signal into blocks.
  • coding efficiency may vary according to the distribution and characteristics of values within a transformation domain.
  • a transform kernel used for transforming a residual block may be a transform kernel having separable characteristics of vertical transform and horizontal transform. In this case, transformation of the residual block may be performed by dividing the vertical transformation and the horizontal transformation.
  • the encoder may perform vertical transform by applying a transform kernel in the vertical direction of the residual block.
  • the encoder may perform horizontal transformation by applying a transformation kernel in the horizontal direction of the residual block.
  • a transform kernel may be used as a term referring to a set of parameters used for transforming a residual signal, such as a transform matrix, a transform array, a transform function, and a transform.
  • the conversion kernel may be any one of a plurality of available kernels.
  • transform kernels based on different transform types may be used for each of the vertical transform and the horizontal transform.
  • an error signal may exist only in a partial region in a coding block.
  • the conversion process may be performed only on an arbitrary partial area.
  • an error signal may exist only in the first 2NxN block in a block having a size of 2Nx2N, and a conversion process is performed only in the first 2NxN block, but the conversion process is not performed on the second 2NxN block and may not be encoded or decoded.
  • N can be any positive integer.
  • the encoder may perform additional transforms before the transform coefficients are quantized.
  • the transform method described above is referred to as a primary transform, and an additional transform may be referred to as a secondary transform.
  • Secondary transformation may be selective for each residual block.
  • the encoder may improve coding efficiency by performing secondary transform on a region in which it is difficult to concentrate energy in a low frequency region with only the primary transform.
  • secondary transformation may be additionally performed on a block having large residual values in a direction other than the horizontal or vertical direction of the residual block. Unlike the first conversion, the secondary conversion may not be performed separately into vertical conversion and horizontal conversion.
  • This secondary transform may be referred to as a Low Frequency Non-Separable Transform (LFNST).
  • LFNST Low Frequency Non-Separable Transform
  • the quantization unit 115 quantizes the transform coefficient value output from the transform unit 110 .
  • a picture signal is not coded as it is, but a picture is predicted using an area already coded through the prediction unit 150, and a residual value between the original picture and the predicted picture is added to the predicted picture to obtain a reconstructed picture.
  • a method for obtaining is used.
  • the decoder when the encoder performs prediction, the decoder must also use available information. To this end, the encoder performs a process of restoring the encoded current block again.
  • the inverse quantization unit 120 inversely quantizes the transform coefficient value, and the inverse transform unit 125 restores the residual value using the inverse quantized transform coefficient value.
  • the filtering unit 130 performs a filtering operation to improve quality and coding efficiency of a reconstructed picture.
  • a deblocking filter For example, a deblocking filter, a Sample Adaptive Offset (SAO), and an adaptive loop filter may be included.
  • a picture that has undergone filtering is stored in a decoded picture buffer (DPB, 156) to be output or used as a reference picture.
  • DPB decoded picture buffer
  • a deblocking filter is a filter for removing distortion within a block generated at a boundary between blocks in a reconstructed picture.
  • the encoder may determine whether to apply a deblocking filter to a corresponding edge through a distribution of pixels included in several columns or rows based on an arbitrary edge in a block.
  • the encoder may apply a long filter, a strong filter, or a weak filter according to the strength of the deblocking filtering.
  • horizontal direction filtering and vertical direction filtering can be processed in parallel.
  • the sample adaptive offset (SAO) may be used to correct an offset from an original image in units of pixels for a residual block to which a deblocking filter is applied.
  • the encoder In order to correct the offset for a specific picture, the encoder divides the pixels included in the image into a certain number of areas, determines the area to perform offset correction, and uses a method (Band Offset) to apply the offset to the area. can Alternatively, the encoder may use a method (Edge Offset) of applying an offset in consideration of edge information of each pixel.
  • An adaptive loop filter is a method of dividing pixels included in an image into predetermined groups, determining one filter to be applied to the group, and performing filtering differentially for each group. Information related to whether to apply ALF may be signaled in units of coding units, and the shape and filter coefficients of an ALF filter to be applied may vary according to each block. In addition, the ALF filter of the same form (fixed form) may be applied regardless of the characteristics of the target block to be applied.
  • the prediction unit 150 includes an intra prediction unit 152 and an inter prediction unit 154.
  • the intra prediction unit 152 performs intra prediction within the current picture, and the inter prediction unit 154 predicts the current picture using the reference picture stored in the decoded picture buffer 156. Do it.
  • the intra prediction unit 152 performs intra prediction on reconstructed regions in the current picture and transfers intra-encoding information to the entropy coding unit 160 .
  • the intra encoding information may include at least one of an intra prediction mode, a most probable mode (MPM) flag, an MPM index, and information about a reference sample.
  • the inter prediction unit 154 may again include a motion estimation unit 154a and a motion compensation unit 154b.
  • the motion estimation unit 154a refers to a specific region of the reconstructed reference picture to find a part most similar to the current region and obtains a motion vector value that is a distance between the regions.
  • Motion information reference direction indication information (L0 prediction, L1 prediction, bi-directional prediction), reference picture index, motion vector information, etc.) for the reference region acquired by the motion estimation unit 154a is transferred to the entropy coding unit 160. so that it can be included in the bitstream.
  • the motion compensation unit 154b performs inter-motion compensation using the motion information transmitted from the motion estimation unit 154a to generate a prediction block for the current block.
  • the inter prediction unit 154 transfers inter encoding information including motion information on the reference region to the entropy coding unit 160 .
  • the predictor 150 may include an intra block copy (IBC) predictor (not shown).
  • the IBC prediction unit performs IBC prediction from reconstructed samples in the current picture and transfers IBC encoding information to the entropy coding unit 160 .
  • the IBC prediction unit refers to a specific region in the current picture and obtains a block vector value indicating a reference region used for prediction of the current region.
  • the IBC prediction unit may perform IBC prediction using the obtained block vector value.
  • the IBC prediction unit transfers the IBC encoding information to the entropy coding unit 160 .
  • the IBC encoding information may include at least one of size information of a reference region and block vector information (index information for predicting a block vector of a current block in a motion candidate list and block vector difference information).
  • the transform unit 110 obtains a transform coefficient value by transforming a residual value between an original picture and a predicted picture.
  • transformation may be performed in units of a specific block within a picture, and the size of a specific block may vary within a preset range.
  • the quantization unit 115 quantizes the transform coefficient values generated by the transform unit 110 and transfers the quantized transform coefficients to the entropy coding unit 160 .
  • the quantized transform coefficients in the form of a two-dimensional array may be rearranged into a form of a one-dimensional array for entropy coding.
  • a scanning method for quantized transform coefficients may be determined according to a size of a transform block and an intra-prediction mode. As an embodiment, diagonal, vertical, and horizontal scans may be applied. Such scan information may be signaled in units of blocks and may be derived according to pre-determined rules.
  • the entropy coding unit 160 generates a video signal bitstream by entropy coding information representing quantized transform coefficients, intra-encoding information, and inter-encoding information.
  • a variable length coding (VLC) method and an arithmetic coding method may be used.
  • VLC variable length coding
  • a variable length coding (VLC) method converts input symbols into continuous codewords, the length of which can be variable. For example, frequently occurring symbols are represented by short codewords, and infrequently occurring symbols are represented by long codewords.
  • a context-based adaptive variable length coding (CAVLC) scheme may be used as a variable length coding scheme.
  • Arithmetic coding converts successive data symbols into a single prime number using a probability distribution of each data symbol. Arithmetic coding can obtain an optimal number of decimal bits required to represent each symbol.
  • As arithmetic coding context-based adaptive binary arithmetic code (CABAC) may be used.
  • CABAC context-based adaptive binary arithmetic code
  • CABAC is a method of encoding binary arithmetic through several context models generated based on probabilities obtained through experiments.
  • a context model may be described as a context model.
  • the encoder binarizes each symbol using exp-Golomb or the like.
  • a binarized 0 or 1 can be described as a bin.
  • the CABAC initialization process is divided into context initialization and arithmetic coding initialization.
  • Context initialization is a process of initializing the occurrence probability of each symbol, and is determined according to the symbol type, quantization parameter (QP), and slice type (whether I, P, or B).
  • QP quantization parameter
  • slice type whether I, P, or B
  • the context model provides information (valMPS) about the probability of occurrence of a least probable symbol (LPS) or most probable symbol (MPS) for a symbol to be currently coded and which bin value among 0 and 1 corresponds to the MPS.
  • valMPS information about the probability of occurrence of a least probable symbol (LPS) or most probable symbol (MPS) for a symbol to be currently coded and which bin value among 0 and 1 corresponds to the MPS.
  • LPS least probable symbol
  • MPS most probable symbol
  • One of several context models is selected through a context index (ctxIdx), and the context index can be derived through information of a block to be currently encoded or information of neighboring blocks.
  • Initialization for binary arithmetic coding is performed based on the probability model selected in the context model.
  • Binary arithmetic encoding is performed by dividing into probability intervals through the occurrence probabilities of 0 and 1, and then the probability interval corresponding to the bin to be processed becomes the entire probability interval for
  • Position information within the probability interval where the last bin was processed is output.
  • a renormalization process is performed to widen the probability interval and corresponding location information is output.
  • a probability update process may be performed in which a probability of a next bin to be processed is newly set based on information of the processed bin.
  • the generated bitstream is encapsulated in a network abstraction layer (NAL) unit as a basic unit.
  • the NAL unit is divided into a VCL (Video Coding Layer) NAL unit including video data and a non-VCL NAL unit including parameter information for decoding video data.
  • VCL Video Coding Layer
  • non-VCL NAL unit including parameter information for decoding video data.
  • the NAL unit is composed of NAL header information and data, RBSP (Raw Byte Sequence Payload), and the NAL header information includes summary information about the RBSP.
  • the RBSP of the VCL NAL unit includes a coded integer number of coding tree units.
  • the bitstream In order to decode a bitstream in a video decoder, the bitstream must first be divided into NAL unit units and then each separated NAL unit must be decoded. Meanwhile, information necessary for decoding a video signal bitstream is included in a Picture Parameter Set (PPS), a Sequence Parameter Set (SPS), a Video Parameter Set (VPS), etc. and transmitted.
  • PPS Picture Parameter Set
  • SPS Sequence Parameter Set
  • VPS Video Parameter Set
  • FIG. 1 shows the encoding apparatus 100 according to an embodiment of the present invention, and the separately displayed blocks logically distinguish elements of the encoding apparatus 100. Accordingly, the elements of the encoding apparatus 100 described above may be mounted as one chip or as a plurality of chips according to the design of the device. According to one embodiment, the operation of each element of the above-described encoding device 100 may be performed by a processor (not shown).
  • the decoding apparatus 200 of the present invention includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 225, a filtering unit 230, and a prediction unit 250.
  • the entropy decoding unit 210 entropy-decodes the video signal bitstream and extracts transform coefficient information, intra-encoding information, and inter-encoding information for each region. For example, the entropy decoding unit 210 may obtain a binarization code for transform coefficient information of a specific region from a video signal bitstream. Also, the entropy decoding unit 210 inversely binarizes the binary code to obtain quantized transform coefficients. The inverse quantization unit 220 inversely quantizes the quantized transform coefficient, and the inverse transform unit 225 restores a residual value using the inverse quantized transform coefficient. The video signal processing apparatus 200 restores an original pixel value by adding the residual value obtained from the inverse transform unit 225 to the prediction value obtained from the predictor 250.
  • the filtering unit 230 improves picture quality by performing filtering on pictures. This may include a deblocking filter to reduce block distortion and/or an adaptive loop filter to remove distortion of the entire picture.
  • the filtered picture is output or stored in the decoded picture buffer (DPB) 256 to be used as a reference picture for the next picture.
  • DPB decoded picture buffer
  • the prediction unit 250 includes an intra prediction unit 252 and an inter prediction unit 254 .
  • the prediction unit 250 generates a predicted picture by utilizing the coding type decoded through the above-described entropy decoding unit 210, transform coefficients for each region, intra/inter coding information, and the like.
  • a current picture including the current block or a decoded area of other pictures may be used.
  • a picture (or tile/slice) that can be performed is called an inter picture (or tile/slice).
  • a picture (or tile/slice) using up to one motion vector and reference picture index to predict sample values of each block among inter-pictures (or tiles/slices) is called a predictive picture or a P picture (or , tile/slice), and a picture (or tile/slice) using up to two motion vectors and a reference picture index is called a bi-predictive picture or B picture (or tile/slice).
  • a P picture (or tile/slice) uses at most one set of motion information to predict each block
  • a B picture (or tile/slice) uses at most two sets of motion information to predict each block.
  • the motion information set includes one or more motion vectors and one reference picture index.
  • the intra prediction unit 252 generates a prediction block using intra encoding information and reconstructed samples in a current picture.
  • the intra encoding information may include at least one of an intra prediction mode, a most probable mode (MPM) flag, and an MPM index.
  • the intra predictor 252 predicts sample values of the current block by using reconstructed samples located on the left side and/or above the current block as reference samples.
  • reconstructed samples, reference samples, and samples of a current block may represent pixels. Also, sample values may represent pixel values.
  • reference samples may be samples included in neighboring blocks of the current block.
  • the reference samples may be samples adjacent to the left boundary of the current block and/or samples adjacent to the upper boundary of the current block.
  • the reference samples are samples located on a line within a preset distance from the left boundary of the current block among samples of neighboring blocks of the current block and/or located on a line within a preset distance from the upper boundary of the current block.
  • the neighboring blocks of the current block may be a left (L) block, an upper (A) block, a below left (BL) block, an above right (AR) block, or an above left (Above Left) block adjacent to the current block.
  • AL may include at least one of the blocks.
  • the inter prediction unit 254 generates a prediction block using a reference picture stored in the decoded picture buffer 256 and inter encoding information.
  • the inter-encoding information may include a motion information set (reference picture index, motion vector information, etc.) of a current block with respect to a reference block.
  • Inter prediction may include L0 prediction, L1 prediction, and bi-prediction.
  • L0 prediction refers to prediction using one reference picture included in the L0 picture list
  • L1 prediction refers to prediction using one reference picture included in the L1 picture list.
  • one set of motion information eg, a motion vector and a reference picture index
  • up to two reference regions can be used, and these two reference regions may exist in the same reference picture or in different pictures.
  • the bi-prediction method up to two sets of motion information (eg, a motion vector and a reference picture index) can be used, and the two motion vectors may correspond to the same reference picture index or to different reference picture indices. may correspond.
  • the reference pictures are pictures positioned before or after the current picture in terms of time, and may be pictures that have already been reconstructed.
  • two reference regions used in the bi-prediction method may be regions selected from each of the L0 picture list and the L1 picture list.
  • the inter prediction unit 254 may obtain a reference block of the current block by using the motion vector and the reference picture index.
  • the reference block exists in a reference picture corresponding to a reference picture index.
  • a sample value of a block specified by a motion vector or an interpolated value thereof may be used as a predictor of a current block.
  • an 8-tap interpolation filter for a luminance signal and a 4-tap interpolation filter for a chrominance signal may be used.
  • an interpolation filter for motion prediction in units of subpels is not limited thereto.
  • the inter prediction unit 254 performs motion compensation for predicting the texture of the current unit from the previously reconstructed picture.
  • the inter prediction unit may use the motion information set.
  • the prediction unit 250 may include an IBC prediction unit (not shown).
  • the IBC prediction unit may reconstruct the current region by referring to a specific region including reconstructed samples in the current picture.
  • the IBC prediction unit may perform IBC prediction using the IBC encoding information obtained from the entropy decoding unit 210 .
  • IBC encoding information may include block vector information.
  • a reconstructed video picture is generated by adding the prediction value output from the intra prediction unit 252 or the inter prediction unit 254 and the residual value output from the inverse transform unit 225. That is, the video signal decoding apparatus 200 reconstructs the current block by using the prediction block generated by the prediction unit 250 and the residual obtained from the inverse transform unit 225.
  • FIG. 2 shows the decoding apparatus 200 according to an embodiment of the present invention, and the separately displayed blocks logically distinguish elements of the decoding apparatus 200. Accordingly, elements of the decoding apparatus 200 described above may be mounted as one chip or as a plurality of chips according to the design of the device. According to one embodiment, the operation of each element of the decoding apparatus 200 described above may be performed by a processor (not shown).
  • the technology proposed in this specification is a technology applicable to both encoder and decoder methods and devices, and parts described as signaling and parsing may be described for convenience of description.
  • signaling is for encoding each syntax from an encoder point of view
  • parsing is for interpreting each syntax from a decoder point of view. That is, each syntax may be included in a bitstream from the encoder and signaled, and the decoder may parse the syntax and use it in the restoration process.
  • a sequence of bits for each syntax arranged according to a defined hierarchical configuration may be referred to as a bitstream.
  • One picture may be coded after being divided into sub-pictures, slices, tiles, and the like.
  • a subpicture may contain one or more slices or tiles. When one picture is divided into several slices or tiles and encoded, all slices or tiles in the picture must be decoded before being displayed on the screen. On the other hand, when one picture is coded with several subpictures, only a certain subpicture can be decoded and displayed on the screen.
  • a slice may contain multiple tiles or subpictures. Alternatively, a tile may include multiple subpictures or slices. Since subpictures, slices, and tiles can be encoded or decoded independently of each other, it is effective in improving parallel processing and processing speed. However, since coded information of other adjacent subpictures, other slices, and other tiles cannot be used, the amount of bits increases.
  • Subpictures, slices, and tiles may be coded after being divided into several Coding Tree Units (CTUs).
  • CTUs Coding Tree Units
  • a coding tree unit may include a luma coding tree block (CTB), two chroma coding tree blocks, and encoded syntax information thereof.
  • CB luma coding tree block
  • One coding tree unit may be composed of one coding unit, or one coding tree unit may be divided into several coding units.
  • One coding unit may include a luminance coding block (CB), two color difference coding blocks, and their encoded syntax information.
  • One coding block may be divided into several sub coding blocks.
  • One coding unit may be composed of one transform unit (TU), or one coding unit may be divided into several transform units.
  • One transform unit may include a luminance transform block (TB), two color difference transform blocks, and encoded syntax information thereof.
  • a coding tree unit may be divided into a plurality of coding units.
  • a coding tree unit may be a leaf node without being split. In this case, the coding tree unit itself may be a coding unit.
  • a coding unit refers to a basic unit for processing a picture in the process of processing a video signal described above, that is, intra/inter prediction, transformation, quantization, and/or entropy coding.
  • the size and shape of a coding unit within one picture may not be constant.
  • a coding unit may have a square or rectangular shape.
  • a rectangular coding unit (or rectangular block) includes a vertical coding unit (or vertical block) and a horizontal coding unit (or horizontal block).
  • a vertical block is a block whose height is greater than its width
  • a horizontal block is a block whose width is greater than its height.
  • a non-square block may refer to a rectangular block, but the present invention is not limited thereto.
  • the coding tree unit is first divided into a quad tree (QT) structure. That is, in the quad tree structure, one node having a size of 2NX2N may be divided into four nodes having a size of NXN.
  • a quad tree may also be referred to as a quaternary tree. Quad tree splitting can be done recursively, and not all nodes need to be split to the same depth.
  • the leaf node of the aforementioned quad tree may be further divided into a multi-type tree (MTT) structure.
  • MTT multi-type tree
  • one node in a multi-type tree structure, one node may be split into a binary (binary) or ternary (ternary) tree structure of horizontal or vertical split. That is, there are four partition structures of vertical binary partitioning, horizontal binary partitioning, vertical ternary partitioning, and horizontal ternary partitioning in the multi-type tree structure.
  • both the width and height of a node in each tree structure may have a power of 2 value.
  • a node having a size of 2NX2N is divided into two NX2N nodes by vertical binary partitioning and divided into two 2NXN nodes by horizontal binary partitioning.
  • a node of size 2NX2N is divided into nodes of (N/2)X2N, NX2N and (N/2)X2N by vertical ternary division, and horizontal ternary division It can be divided into 2NX(N/2), 2NXN and 2NX(N/2) nodes by partitioning.
  • This multi-type tree partitioning can be performed recursively.
  • a leaf node of a multi-type tree can be a coding unit. If the coding unit is not large compared to the maximum transform length, the coding unit may be used as a unit of prediction and/or transformation without further division. As an embodiment, when the width or height of the current coding unit is greater than the maximum transform length, the current coding unit may be divided into a plurality of transform units without explicit signaling regarding division. Meanwhile, in the aforementioned quad tree and multi-type tree, at least one of the following parameters may be defined in advance or may be transmitted through a higher level set of RBSPs such as PPS, SPS, and VPS.
  • RBSPs such as PPS, SPS, and VPS.
  • Preset flags may be used to signal splitting of the aforementioned quad tree and multi-type tree.
  • a flag 'split_cu_flag' indicating whether a node is split
  • a flag 'split_qt_flag' indicating whether a quad tree node is split
  • a flag 'mtt_split_cu_vertical_flag' indicating a split direction of a multi-type tree node
  • At least one of flags 'mtt_split_cu_binary_flag' indicating a split shape of a type tree node may be used.
  • 'split_cu_flag' which is a flag indicating whether to split a current node, may be signaled first. If the value of 'split_cu_flag' is 0, it indicates that the current node is not split, and the current node becomes a coding unit.
  • the coding tree unit includes one undivided coding unit.
  • the current node is a quad tree node 'QT node'
  • the current node is a leaf node 'QT leaf node' of the quad tree and becomes a coding unit.
  • the current node is a multi-type tree node 'MTT node'
  • the current node is a leaf node 'MTT leaf node' of the multi-type tree and becomes a coding unit.
  • the current node may be split into quad tree or multi-type tree nodes according to the value of 'split_qt_flag'.
  • a coding tree unit is a root node of a quad tree, and can be first partitioned into a quad tree structure. In the quad tree structure, 'split_qt_flag' is signaled for each node 'QT node'.
  • quad tree partitioning may be limited according to the type of current node. Quad tree splitting may be allowed if the current node is a coding tree unit (root node of a quad tree) or a quad tree node, and quad tree splitting may not be allowed if the current node is a multi-type tree node.
  • Each quad tree leaf node 'QT leaf node' can be further partitioned into a multi-type tree structure. As described above, when 'split_qt_flag' is 0, the current node may be split into multi-type nodes. In order to indicate the split direction and split shape, 'mtt_split_cu_vertical_flag' and 'mtt_split_cu_binary_flag' may be signaled.
  • a luminance block and a chrominance block may be equally divided. That is, the chrominance block may be divided by referring to the division form of the luminance block. If the size of the current chrominance block is smaller than a predetermined size, the chrominance block may not be divided even if the luminance block is divided.
  • the luminance block and the chrominance block may have different shapes.
  • partition information for the luminance block and partition information for the chrominance block may be signaled respectively.
  • encoding information of the luminance block and the chrominance block as well as partition information may be different.
  • at least one intra encoding mode of the luminance block and the chrominance block, encoding information about motion information, and the like may be different.
  • Nodes to be divided into the smallest units can be processed as one coding block.
  • the coding block may be divided into several sub-blocks (sub-coding blocks), and the prediction information of each sub-block may be the same or different.
  • the intra prediction modes of each sub-block may be the same or different.
  • motion information of each sub-block may be identical to or different from each other.
  • each sub-block may be independently encoded or decoded.
  • Each sub-block may be identified through a sub-block index (sbIdx).
  • a coding unit when a coding unit is divided into sub-blocks, it may be divided in a horizontal or vertical direction or diagonally.
  • ISP Intra Sub Partitions
  • a mode in which the current coding block is divided into oblique lines in the inter mode is called a geometric partitioning mode (GPM).
  • GPM geometric partitioning mode
  • the position and direction of the oblique line are derived using a predetermined angle table, and index information of the angle table is signaled.
  • Picture prediction (motion compensation) for coding is performed for a coding unit (that is, a leaf node of a coding tree unit) that is not further divided.
  • a basic unit that performs such prediction is hereinafter referred to as a prediction unit or a prediction block.
  • the term unit used in this specification may be used as a substitute for the prediction unit, which is a basic unit for performing prediction.
  • the present invention is not limited thereto, and may be understood as a concept including the coding unit in a more broad sense.
  • the intra prediction unit predicts sample values of the current block by using reconstructed samples located on the left side and/or above the current block as reference samples.
  • FIG. 5 shows an example of reference samples used for prediction of a current block in intra prediction mode.
  • the reference samples may be samples adjacent to a left boundary and/or an upper boundary of the current block.
  • the size of the current block is WXH and samples of a single reference line adjacent to the current block are used for intra prediction, up to 2W+2H+1 located on the left and/or upper side of the current block Reference samples may be set using the number of neighboring samples.
  • pixels of multiple reference lines may be used for intra prediction of the current block.
  • Multiple reference lines may be composed of n lines located within a predetermined range from the current block.
  • separate index information indicating lines to be set as reference pixels may be signaled, and this may be referred to as a reference line index.
  • the intra prediction unit may obtain reference samples by performing a reference sample padding process. Also, the intra prediction unit may perform a reference sample filtering process to reduce intra prediction errors. That is, filtered reference samples may be obtained by filtering the neighboring samples and/or the reference samples obtained through the reference sample padding process. The intra predictor predicts samples of the current block using the reference samples obtained in this way. The intra predictor predicts samples of the current block using unfiltered reference samples or filtered reference samples.
  • neighboring samples may include samples on at least one reference line.
  • the neighboring samples may include neighboring samples on a line adjacent to the boundary of the current block.
  • FIG. 6 shows an embodiment of prediction modes used for intra prediction.
  • intra prediction mode information indicating an intra prediction direction may be signaled.
  • the intra prediction mode information indicates one of a plurality of intra prediction modes constituting an intra prediction mode set. If the current block is an intra prediction block, the decoder receives intra prediction mode information of the current block from the bitstream. The intra prediction unit of the decoder performs intra prediction on the current block based on the extracted intra prediction mode information.
  • the intra prediction mode set may include all intra prediction modes used for intra prediction (eg, a total of 67 intra prediction modes). More specifically, the intra prediction mode set may include a planar mode, a DC mode, and multiple (eg, 65) angular modes (ie, directional modes). Each intra prediction mode may be indicated through a preset index (ie, an intra prediction mode index). For example, as shown in FIG. 6 , an intra prediction mode index 0 indicates a planar mode, and an intra prediction mode index 1 indicates a DC mode.
  • intra prediction mode indices 2 to 66 may indicate different angular modes, respectively. The angle modes each indicate different angles within a preset angle range.
  • the angle mode may indicate an angle within an angle range between 45 degrees and -135 degrees in a clockwise direction (ie, the first angle range).
  • the angle mode may be defined based on the 12 o'clock direction.
  • the intra prediction mode index 2 indicates a horizontal diagonal (HDIA) mode
  • the intra prediction mode index 18 indicates a horizontal (HOR) mode
  • the intra prediction mode index 34 indicates a diagonal (DIA) mode.
  • an intra prediction mode index of 50 indicates a vertical (VER) mode
  • an intra prediction mode index of 66 indicates a vertical diagonal (VDIA) mode.
  • the preset angle range may be set differently according to the shape of the current block. For example, when the current block is a rectangular block, a wide-angle mode indicating an angle exceeding 45 degrees or less than -135 degrees in a clockwise direction may be additionally used. If the current block is a horizontal block, the angle mode may indicate an angle within an angular range (ie, a second angle range) between (45+offset1) degrees and (-135+offset1) degrees clockwise. At this time, angle modes 67 to 76 outside the first angle range may be additionally used.
  • the angle mode may indicate an angle within an angular range (ie, a third angle range) between (45-offset2) and (-135-offset2) degrees clockwise.
  • angle modes -10 to -1 outside the first angle range may be additionally used.
  • the values of offset1 and offset2 may be determined differently according to the ratio between the width and height of the rectangular block. Also, offset1 and offset2 may be positive numbers.
  • the plurality of angular modes constituting the intra prediction mode set may include a basic angular mode and an extended angular mode.
  • the extended angle mode may be determined based on the basic angle mode.
  • the basic angle mode is a mode corresponding to an angle used in intra prediction of an existing High Efficiency Video Coding (HEVC) standard
  • the extended angle mode corresponds to an angle newly added in intra prediction of a next-generation video codec standard. It may be a mode that More specifically, the default angle mode is the intra prediction mode ⁇ 2, 4, 6, ... , 66 ⁇ , and the extended angle mode is an intra prediction mode ⁇ 3, 5, 7, . . . , 65 ⁇ . That is, the extended angular mode may be an angular mode between basic angular modes within the first angular range. Accordingly, an angle indicated by the extended angle mode may be determined based on an angle indicated by the basic angle mode.
  • HEVC High Efficiency Video Coding
  • the basic angle mode may be a mode corresponding to an angle within a preset first angle range
  • the extended angle mode may be a wide angle mode outside the first angle range. That is, the default angle mode is the intra prediction mode ⁇ 2, 3, 4, ... , 66 ⁇ , and the extended angle mode is an intra prediction mode ⁇ -14, -13, -12, . . . , -1 ⁇ and ⁇ 67, 68, ... , 80 ⁇ .
  • An angle indicated by the extended angle mode may be determined as an angle opposite to an angle indicated by the corresponding basic angle mode. Accordingly, an angle indicated by the extended angle mode may be determined based on an angle indicated by the basic angle mode.
  • the number of expansion angle modes is not limited thereto, and additional expansion angles may be defined according to the size and/or shape of the current block.
  • the total number of intra prediction modes included in the intra prediction mode set may vary according to the configuration of the basic angular mode and the extended angular mode.
  • the interval between the extended angle modes may be set based on the interval between the corresponding basic angle modes.
  • extended angle modes ⁇ 3, 5, 7, ... , 65 ⁇ corresponds to the corresponding basic angle modes ⁇ 2, 4, 6, ... , 66 ⁇ .
  • the extended angle modes ⁇ -14, -13, . . . , -1 ⁇ the corresponding opposite fundamental angle modes ⁇ 53, 53, ... , 66 ⁇ , and the expansion angle modes ⁇ 67, 68, . . . , 80 ⁇ corresponds to the opposite fundamental angle modes ⁇ 2, 3, 4, ... , 15 ⁇ .
  • An angular interval between extended angular modes may be set to be the same as an angular interval between corresponding basic angular modes.
  • the number of extended angular modes in the intra prediction mode set may be set to be less than or equal to the number of basic angular modes.
  • the extended angle mode may be signaled based on the basic angle mode.
  • the wide-angle mode ie, the extended angle mode
  • the wide-angle mode may replace at least one angle mode (ie, the basic angle mode) within the first angle range.
  • the default angular mode that is replaced may be an angular mode that corresponds to the opposite side of the wide-angle mode. That is, the replaced basic angle mode is an angle mode corresponding to an angle in a direction opposite to the angle indicated by the wide angle mode or an angle different from the angle in the opposite direction by a preset offset index.
  • the preset offset index is 1.
  • the intra prediction mode index corresponding to the replaced basic angle mode may be mapped back to the wide-angle mode to signal the corresponding wide-angle mode.
  • wide-angle mode ⁇ -14, -13, ... , -1 ⁇ is the intra prediction mode index ⁇ 52, 53, ... , 66 ⁇
  • the wide-angle mode ⁇ 67, 68, . . . , 80 ⁇ is the intra prediction mode index ⁇ 2, 3, ... , 15 ⁇ , respectively.
  • the intra prediction mode index for the basic angular mode signals the extended angular mode, so even if the configurations of the angular modes used for intra prediction of each block are different, the same set of intra prediction mode indexes are used for intra prediction mode signaling. can be used Accordingly, signaling overhead according to a change in intra prediction mode configuration can be minimized.
  • whether to use the extended angle mode may be determined based on at least one of the shape and size of the current block. According to an embodiment, if the size of the current block is larger than a preset size, the extended angle mode is used for intra prediction of the current block, otherwise only the basic angle mode is used for intra prediction of the current block. According to another embodiment, when the current block is a non-square block, the extended angle mode is used for intra prediction of the current block, and when the current block is a square block, only the basic angle mode is used for intra prediction of the current block.
  • the intra prediction unit determines reference samples to be used for intra prediction of the current block and/or interpolated reference samples based on intra prediction mode information of the current block.
  • the intra prediction mode index indicates a specific angle mode
  • a reference sample corresponding to the specific angle from the current sample of the current block or an interpolated reference sample is used to predict the current pixel. Accordingly, different sets of reference samples and/or interpolated reference samples may be used for intra prediction according to the intra prediction mode.
  • the decoder restores sample values of the current block by adding the residual signal of the current block obtained from the inverse transform unit to the intra prediction value of the current block. .
  • Motion (motion) information used for inter prediction may include reference direction indication information (inter_pred_idc), reference picture indices (ref_idx_l0, ref_idx_l1), and motion (motion) vectors (mvL0, mvL1).
  • Reference picture list utilization information predFlagL0, predFlagL1 may be set according to the reference direction indication information.
  • the coding unit may be divided into several sub-blocks, and prediction information of each sub-block may be the same or different.
  • the intra prediction modes of each sub-block may be the same or different.
  • motion information of each sub-block may be identical to or different from each other.
  • each sub-block may be independently encoded or decoded.
  • Each sub-block may be identified through a sub-block index (sbIdx).
  • the motion vector of the current block is highly likely to be similar to the motion vectors of neighboring blocks. Accordingly, motion vectors of neighboring blocks may be used as motion vector predictors (mvp), and motion vectors of the current block may be derived using motion vectors of neighboring blocks.
  • mvp motion vector predictors
  • a motion vector difference (mvd) between an optimal motion vector of the current block found as an original image and a motion prediction value may be signaled by the encoder.
  • the motion vector may have various resolutions, and the resolution of the motion vector may vary on a block-by-block basis.
  • the motion vector resolution may be expressed in integer units, half-pixel units, 1/4 pixel units, 1/16 pixel units, 4 integer pixel units, and the like. Since an image such as screen content is in the form of a simple graphic such as text, an interpolation filter does not need to be applied, and thus an integer unit and an integer pixel unit of 4 may be selectively applied in block units.
  • Blocks encoded in affine mode capable of expressing rotation and scale vary greatly in shape, so integer units, 1/4 pixel units, and 1/16 pixel units can be selectively applied on a block basis.
  • Information on whether to selectively apply motion vector resolution in block units is signaled as amvr_flag. If applied, which motion vector resolution to apply to the current block is signaled by amvr_precision_idx.
  • the same or different weights between two prediction blocks may be applied when weight average is applied, and information about weights is signaled through bcw_idx.
  • a merge or advanced motion vector prediction (AMVP) method may be selectively used in units of blocks.
  • the merge method is a method of configuring the motion information of the current block to be the same as the motion information of neighboring blocks adjacent to the current block, and has the advantage of increasing the encoding efficiency of motion information by propagating motion information spatially without change in a homogeneous motion domain.
  • the AMVP method is a method of predicting motion information in L0 and L1 prediction directions, respectively, and signaling the most optimal motion information in order to express accurate motion information.
  • the decoder uses a reference block located in motion information derived from a reference picture as a prediction block for the current block.
  • a method of deriving motion information in Merge or AMVP may be a method in which a motion candidate list is constructed using prediction values of motion information derived from neighboring blocks of the current block, and then index information on an optimal motion candidate is signaled.
  • AMVP since motion candidate lists for L0 and L1 are derived, optimal motion candidate indices (mvp_l0_flag and mvp_l1_flag) for L0 and L1 are signaled.
  • merge since one motion candidate list is derived, one merge index (merge_idx) is signaled.
  • Motion candidate lists derived from one coding unit may vary, and a motion candidate index or merge index may be signaled for each motion candidate list. In this case, a mode in which there is no information about a residual block in a block encoded in the Merge mode may be referred to as a MergeSkip mode.
  • Symmetric MVD is a method of reducing the amount of bits of transmitted motion information by making Motion Vector Difference (MVD) values of L0 and L1 directions symmetrical in the case of bi-directional prediction.
  • MVD information in the L1 direction that is symmetrical with the L0 direction is not transmitted, and reference picture information in the L0 and L1 directions is not transmitted and is derived in the decoding process.
  • OBMC Overlapped Block Motion Compensation
  • merge motion candidates have low motion accuracy.
  • a Merge mode with MVD (MMVD) method may be used.
  • the MMVD method is a method of correcting motion information using one candidate selected from several motion difference value candidates.
  • Information on a compensation value of motion information obtained through the MMVD method (eg, an index indicating one selected from among motion differential value candidates) may be included in a bitstream and transmitted to a decoder.
  • the amount of bits can be saved by including the information on the compensation value of the motion information in the bitstream.
  • the TM (Template Matching) method is a method of compensating motion information by constructing a template using neighboring pixels of a current block and finding a matching area having the highest similarity with the template.
  • Template matching is a method of performing motion prediction in a decoder without including motion information in a bitstream in order to reduce the size of an encoded bitstream. In this case, the decoder may roughly derive motion information for the current block using the already reconstructed neighboring blocks since there is no original image.
  • the DMVR (Decoder-side Motion Vector Refinement) method is a method of correcting motion information through correlation of previously reconstructed reference images to find more accurate motion information. This is a method of using, as a new bi-directional motion, a point where the reference blocks in a reference picture are best matched within a predetermined area.
  • the encoder corrects motion information by performing DMVR in one block unit, then divides the block into sub-blocks and performs DMVR in each sub-block unit to correct motion information of the sub-block again.
  • MP-DMVR Multi-pass DMVR
  • the Local Illumination Compensation (LIC) method is a method of compensating for a luminance change between blocks. After deriving a linear model using neighboring pixels adjacent to the current block, the luminance information of the current block is compensated for through the linear model.
  • BDOF Bi-Directional Optical Flow
  • the motion of the current block may be corrected using the motion information derived from the BDOF of the VVC.
  • PROF Prediction refinement with optical flow
  • PROF is a technique for improving the accuracy of affine motion prediction in sub-block units to be similar to that of pixel-unit motion prediction. Similar to BDOF, PROF is a technique for obtaining a final prediction signal by calculating correction values in units of pixels for pixel values affine motion compensated in units of sub-blocks based on optical-flow.
  • the CIIP (Combined Inter-/Intra-picture Prediction) method when generating a prediction block for the current block, weights the prediction block generated by the intra-prediction method and the prediction block generated by the inter-prediction method to obtain the final prediction block. how to create
  • An intra block copy (IBC) method is a method in which a part most similar to a current block is found in an already reconstructed region within a current picture, and a corresponding reference block is used as a prediction block for the current block.
  • information related to a block vector which is a distance between the current block and the reference block, may be included in the bitstream.
  • the decoder may calculate or set a block vector for the current block by parsing information related to the block vector included in the bitstream.
  • BCW Bi-prediction with CU-level Weights
  • a multi-hypothesis prediction (MHP) method is a method of performing weight prediction through various prediction signals by transmitting additional motion information to unidirectional and bidirectional motion information during inter-screen prediction.
  • Cross-component linear model is a method of constructing a linear model using a high correlation between a luminance signal and a chrominance signal located at the same position as the luminance signal, and then predicting the chrominance signal through the linear model.
  • parameters for the linear model are derived through the template.
  • the current luminance block reconstructed according to the size of the chrominance block selectively according to the image format is downsampled.
  • the chrominance block of the current block is predicted using the downsampled luminance block and the corresponding linear model.
  • MMLM multi-model linear mode
  • a reconstructed coefficient t' k for an input coefficient t k depends only on a related quantization index q k . That is, a quantization index for a certain reconstructed coefficient has a different value from quantization indices for other reconstructed coefficients.
  • t' k may be a value including a quantization error in t k , and may be different or the same according to quantization parameters.
  • t' k may be referred to as a reconstructed transform coefficient or an inverse quantized transform coefficient, and a quantization index may be referred to as a quantized transform coefficient.
  • reconstructed coefficients have a characteristic of being equally spaced.
  • the distance between two adjacent restoration values may be referred to as a quantization step size.
  • 0 may be included, and the entire set of usable reconstructed values may be uniquely defined according to the size of the quantization step.
  • the quantization step size may vary depending on the quantization parameter.
  • a simple vector quantization method used in video encoding includes sign data hiding. This is a method in which the encoder does not encode the sign of one non-zero coefficient, and the decoder determines the sign of the corresponding coefficient according to whether the sum of the absolute values of all coefficients is an even number or an odd number.
  • at least one coefficient may be increased or decreased by '1', which is selected so that at least one coefficient is optimal in terms of cost for rate-distortion, and the value is can be adjusted As an example, a coefficient having a value close to the boundary of the quantization interval may be selected.
  • Another vector quantization method includes trellis-coded quantization, and in video encoding, it is used as an optimal path search technique for obtaining an optimized quantization value in dependent quantization.
  • quantization candidates for all coefficients in the block are placed in the Trellis graph, and the optimal Trellis path between the optimized quantization candidates is considered at the cost of rate-distortion.
  • dependent quantization applied to video encoding may be designed such that a set of allowable reconstructed transform coefficients for a transform coefficient depends on the value of a transform coefficient that precedes the current transform coefficient in the reconstruction order. In this case, by selectively using a plurality of quantizers according to transform coefficients, an average error between an original image and a reconstructed image is minimized, thereby increasing coding efficiency.
  • the MIP (Matrix Intra Prediction) method is a matrix-based intra prediction method. Unlike prediction methods that have directionality from pixels of neighboring blocks adjacent to the current block, the MIP (Matrix Intra Prediction) method is a matrix-based matrix in which pixels on the left and top of neighboring blocks are predefined. This is a method of obtaining a prediction signal using the offset value and .
  • the decoder may generate a prediction template for a template using neighboring pixels (references) adjacent to the template, and may use an intra prediction mode in which a prediction template most similar to a previously reconstructed template is generated to reconstruct a current block. This method may be referred to as template intra mode derivation (TIMD).
  • TMD template intra mode derivation
  • an encoder may determine a prediction mode for generating a prediction block and generate a bitstream including information about the determined prediction mode.
  • the decoder may set the intra prediction mode by parsing the received bitstream.
  • the amount of bits of information about the prediction mode may be about 10% of the size of the entire bitstream.
  • the encoder may not include information about the intra prediction mode in the bitstream. Accordingly, the decoder may derive (determine) an intra prediction mode for reconstruction of the current block using characteristics of neighboring blocks, and may reconstruct the current block using the derived intra prediction mode.
  • the decoder infers directional information by applying Sobel filters in horizontal and vertical directions to neighboring pixels (pixels) adjacent to the current block, and converts the directional information into the intra prediction mode.
  • a mapping method can be used.
  • a method in which a decoder derives an intra prediction mode using neighboring blocks may be described as decoder side intra mode derivation (DIMD).
  • FIG. 7 is a diagram illustrating positions of neighboring blocks used to construct a motion candidate list in inter prediction.
  • Neighboring blocks may be spatially positioned blocks or temporally positioned blocks. Neighboring blocks that are spatially adjacent to the current block are Left (A1) blocks, Left Below (A0) blocks, Above (B1) blocks, Above Right (B0) blocks, or Above Left (Above Left) blocks. , B2) may be at least one block.
  • a neighboring block temporally adjacent to the current block may be a block including a position of an upper left pixel of a bottom right (BR) block of the current block in a collocated picture.
  • TMVP Temporal Motion Vector Predictor
  • sbTMVP sub-block temporal motion vector predictor
  • slice type information eg, I slice, P slice, or B slice
  • slice type information eg, I slice, P slice, or B slice
  • whether it is a tile, whether it is a sub picture the size of the current block, the depth of the coding unit, and the current block. It may be determined based on at least one of information about whether the luminance block is a chrominance block, whether it is a reference frame or a non-reference frame, a temporal layer according to a reference order, and a layer.
  • Information used to determine whether or not the methods described in this specification will be applied may be information previously agreed upon between the decoder and the encoder. Also, these pieces of information may be determined according to profiles and levels.
  • Such information may be expressed as a variable value, and information on the variable value may be included in a bitstream. That is, the decoder may determine whether the above-described methods are applied by parsing information on variable values included in the bitstream. For example, whether the methods described herein are to be applied may be determined based on a horizontal length or a vertical length of a coding unit. If the horizontal length or the vertical length is 32 or more (eg, 32, 64, 128, etc.), the above methods can be applied. In addition, the methods described in this specification may be applied when the horizontal or vertical length is less than 32 (eg, 2, 4, 8, or 16). In addition, when the horizontal length or the vertical length is 4 or 8, the methods described in this specification may be applied.
  • a coding unit described in this specification may be described with the same meaning as a coding block.
  • prediction of a coding unit (block) described in this specification may have the same meaning as reconstruction of a coding unit (block).
  • MHP multi-hypothesis prediction
  • the MHP mode may be applied when the coding mode of the current block is inter prediction.
  • the MHP mode may be a mode in which a final prediction signal is generated by combining additional data with unidirectional or bidirectional inter prediction.
  • the additional data may be an inter prediction signal or a signal related to the reference block. That is, the decoder may reconstruct the current block based on the MHP mode in which a final prediction signal is generated by combining an additional inter prediction signal with unidirectional or bidirectional inter prediction. There may be a plurality of additional inter prediction signals.
  • the final prediction signal may be generated based on weights as shown in Equation 1.
  • the decoder may perform prediction and reconstruction of the current block based on the final prediction signal.
  • Equation 1 is a value for a unidirectional or bidirectional inter prediction signal for the current block, is a value for an additional inter prediction signal (eg, a value for an inter prediction signal of an additional reference block), and is a value for a final prediction signal. , and may be a weight for an additional inter-prediction signal (eg, a weight for an additional inter-prediction signal of an additional reference block). In this case, information on the weight (syntax element) may be included in the bitstream.
  • the decoder may obtain weights by parsing information about the weights, and generate a final prediction signal based on the obtained weights.
  • weight information may be described as add_hyp_weight_idx, and the weight indicated by add_hyp_weight_idx may be 1/4 or -1/8. Specifically, if the value of add_hyp_weight_idx is 0, the weight may be 1/4, and if the value of add_hyp_weight_idx is 1, the weight may be -1/8. In addition, various weights may exist.
  • the MHP mode is applicable to slices capable of bi-directional prediction, and may not be applied to inter-prediction mode using merge mode.
  • the MHP mode may not be applied to Combined Inter-picture merge and Inter-picture prediction (CIIP) mode, Geometric partitioning mode (GPM) mode, and Template matching Merge mode.
  • CIIP Inter-picture merge and Inter-picture prediction
  • GPS Geometric partitioning mode
  • Template matching Merge mode Template matching Merge mode
  • the MHP mode may not be applied when applied to the current block as an affine mode. Specifically, the MHP mode may not be applied when an adaptive motion vector resolution (AMVR) mode is applied to the current block.
  • AMVR adaptive motion vector resolution
  • the MHP mode may not be applied when the index of bi-prediction with CU-level weights (BCW) applied to bi-directional prediction is the same as the default value (value of BCW_DEFAULT).
  • BCW CU-level weights
  • the MHP mode may not be applied when an Intra Block Copy (IBC) mode is applied to the current block.
  • IBC Intra Block Copy
  • FIG. 9 is a diagram showing a combination to which an MHP mode according to an embodiment of the present specification is applied.
  • the MHP mode may be applied to the current block to which the inter prediction mode is applied.
  • MHP mode may be applied to the current block.
  • the maximum number of additional data that can be used for the MHP mode may be preset.
  • a decoder may use up to two additional pieces of data.
  • bidirectional prediction may be applied to the current block. In this case, the number of additional data may be one or two.
  • the additional data may be data related to a reference block, and in this case, the reference block of the additional data may be a block to which merge mode is applied or a block to which merge mode is not applied.
  • a block to which merge mode is not applied may be a block to which AMVP mode is applied.
  • the maximum number of additional data is the horizontal size or vertical size of the current block, quantization parameter information of the current block, motion information of neighboring blocks adjacent to the current block, and information on whether transform coefficients of neighboring blocks adjacent to the current block exist. , the number of additional data for neighboring blocks adjacent to the current block to which the MHP mode is applied, and the like.
  • the maximum number of additional data may be independently determined (set) in units of blocks or units of sub-blocks.
  • the quantization parameter information of the current block may mean the quantization parameter value of the current block, and in this case, the maximum number of additional data may be determined based on a result of comparing the quantization parameter value of the current block with a predetermined value.
  • the quantization parameter value may be '22, 27, 32, 37', etc., and the maximum number of additional data may be '0, 1, 2, 3, 4', etc.
  • merge indexes and weights may be signaled. That is, the decoder can check the merge index and weight by parsing information about the merge index and weight included in the bitstream.
  • the merge index may indicate one of merge candidate lists required for MHP.
  • the decoder can check the reference picture index, MVD, MVP, and weight by parsing the reference picture index, MVD information, MVP index, and weight information included in the bitstream.
  • FIG. 10 is a diagram showing the structure of a high level syntax according to an embodiment of the present specification.
  • a bitstream is encapsulated in a Network Abstraction Layer (NAL) unit as a basic unit. That is, a bitstream may be composed of one or more Network Abstraction Layer (NAL) units.
  • the NAL unit includes DCI (Decoding Capability Information) RBSP (Raw Byte Sequence Payload), OPI (Operation Point Information) RBSP, VPS (Video Parameter Set RBSP) RBSP, SPS (Sequence Parameter Set) RBSP, It may be configured in the order of Picture Parameter Set (PPS) RBSP, Adaption Parameter Set (APS) RBSP, and Picture Header (PH).
  • DCI RBSP, OPI RBSP, and VPS RBSP indicated by dotted lines may be selectively signaled.
  • FIG. 10(b) shows the structure of DCI RBSP
  • FIG. 10(c) shows the structure of VPS RBSP
  • FIG. 10(d) shows the structure of SPS RBSP
  • 10(e) shows the structure of a PTL (profile_tier_level) composed of profile, tier, and level information of a video sequence.
  • 10(f) shows the structure of General Constraints Information (GCI).
  • GCI General Constraints Information
  • Syntax elements included in GCI are tools included in GCI and/or other syntax structures (eg, VPS RBSP syntax structure, SPS RBSP syntax structure, PPS RBSP syntax structure, etc.) for interoperability And / or can be controlled to disable (disable) the function.
  • a GCI syntax element instructs tools and/or functions to be deactivated
  • tools and/or functions declared in sub-syntax may be deactivated.
  • the PTL may be signaled by being included in DCI RBSP, VPS RBSP, or SPS RBSP.
  • GCI may be included in PTL and signaled.
  • FIG. 11 is a diagram illustrating a method of signaling information related to an MHP mode according to an embodiment of the present specification.
  • information related to the MHP mode may be included in the high level syntax shown in FIG. 10 .
  • information related to the MHP mode may be included in SPS RBSP, PPS RBSP, and GCI.
  • the SPS RBSP may include a syntax element (sps_mhp_enabled_flag) indicating whether the MHP mode is activated at the sequence level.
  • sps_mhp_enabled_flag 1 (ie, true)
  • the decoder can parse a syntax element (sps_mhp_max_data_size) indicating the maximum number of additional data (maximum number of reference blocks) that can be used for the MHP mode.
  • the decoder can check the maximum number of additional data by parsing sps_mhp_max_data_size.
  • whether or not to activate the MHP mode can be controlled at the picture (or frame) level regardless of whether or not to activate the MHP mode at the sequence level.
  • the PPS RBSP may include a syntax element (pps_mhp_enabled_flag) indicating whether the MHP mode is activated at the picture (or frame) level.
  • the GCI may include a syntax element (gci_no_mhp_constraint_flag) indicating whether the MHP mode is activated at the SPS level.
  • gci_no_mhp_constraint_flag 1 specifies that sps_mhp_enabled_flag for all pictures in OlsInScope shall be equal to 0.
  • gci_no_mhp_constraint_flag 0 does not impose such a constraint).
  • gci_no_mhp_constraint_flag may be a syntax element that performs a function of constraining sps_mhp_enabled_flag.
  • information eg, a syntax element related to the MHP mode may be included in a picture header (picture_header_rbsb()) and/or a slice header (slice_header_rbsp()) and signaled. That is, the decoder can check whether the MHP mode is activated by parsing a syntax element related to the MHP mode included in the picture header and/or slice header.
  • a syntax element related to the MHP mode included in the picture header may be described as ph_mhp_enabled_flag
  • a syntax element related to the MHP mode included in the slice header may be described as sh_mhp_enabled_flag.
  • a value of a certain syntax element (flag) being true may mean a case in which the value of the certain syntax element (flag) is 1.
  • FIGS. 12 and 13 are diagrams illustrating a signaling structure of information related to an MHP mode in a coding unit when an AMVP mode is applied to a current block according to an embodiment of the present specification.
  • the AMVP mode when the AMVP mode is applied to the current block, information related to the MHP mode (mh_pred_data()) may be signaled.
  • the MHP mode when the AMVP mode is applied to the current block, the MHP mode may be applied to the current block.
  • the decoder may parse mh_pred_data() when a specific condition 1201 is satisfied. Specific conditions will be described with reference to 1201 of FIG. 12 and Table 2.
  • the default value may be 1/2.
  • the decoder can parse mh_pred_data() by comparing the number of samples of the current block with an arbitrary value. For example, the decoder may parse mh_pred_data() if the number of samples of the current block is greater than 64 (cbWidth*cbHeight>64).
  • the decoder may parse mh_pred_data() by comparing the horizontal and vertical sizes of the current block with arbitrary values. For example, the decoder may parse mh_pred_data() when the smaller of the horizontal and vertical sizes of the block is greater than 8 (min(cbWidth, cbHeight)> 8).
  • the decoder may parse mh_pred_data() by additionally considering whether the AMVR mode is applied to the current block in addition to the condition of 1201 of FIG. 12 (1301).
  • the decoder can parse mh_pred_data().
  • the decoder may not parse mh_pred_data() when the AMVR mode is applied even if the affine mode is not applied to the current block.
  • the decoder may parse mh_pred_data() when some or all of conditions i) to vii) are satisfied.
  • condition vii) described above may be replaced by the conditions in Tables 4 and 5 below.
  • amvr_flag[x0][y0] the default pixel unit (1/4 luma sample) is used in Affine AMVP mode, and if the value of amvr_flag[x0][y0] is greater than 0, the preset size is used in Affine AMVP mode.
  • a pixel unit may be used. If the value of amvr_flag[x0][y0] is greater than 0, the pixel unit in Affine AMVP mode may be determined by amvr_precision_idx[x0][y0].
  • the pixel unit in Affine AMVP mode can be 1/16 luma sample, and amvr_flag[x0] If the value of [y0] is 1 and the value of amvr_precision_idx[x0][y0] is 1, a pixel unit in Affine AMVP mode may be 1 luma sample.
  • the pixel unit in normal AMVP mode is 1/4 luma sample, and if the value of amvr_flag[x0][y0] is 1 and the value of amvr_precision_idx is 0, normal AMVP A pixel unit in mode may be 1/2 luma sample, and if the value of amvr_flag[x0][y0] is 1 and the value of amvr_precision_idx is 1, the pixel unit in normal AMVP mode may be 1 luma sample, and amvr_flag[ If the value of x0][y0] is 1 and the value of amvr_precision_idx is 2, a pixel unit in normal AMVP mode may be 4 luma samples.
  • FIG. 14 is a diagram illustrating a signaling structure of information related to an MHP mode in a coding unit when a merge mode is applied to a current block according to an embodiment of the present specification.
  • MHP mode related information (mh_pred_data()) may be signaled. That is, the decoder may parse mh_pred_data() when merge mode is applied to the current block (when the value of general_merge_flag[x0][y0] is true). Specifically, mh_pred_data() may be parsed when the condition disclosed in 1401 of FIG. 14 is satisfied. Conditions for parsing mh_pred_data() when merge mode is applied to the current block will be described with reference to 1401 of FIG. 14 and Table 6.
  • B slices may be capable of intra prediction and inter prediction (unidirectional or bidirectional).
  • the decoder can parse mh_pred_data() if the value of regular_merge_flag[x0][y0] is 1.
  • regular_merge_flag[x0][y0] If the value of regular_merge_flag[x0][y0] is 0, it indicates that regular merge mode and merge mode using MVD are not used in the current block, and if the value of regular_merge_flag[x0][y0] is 1, regular merge mode or MVD is not used. It can indicate that the merge mode used is used. Also, if the value of regular_merge_flag[x0][y0] is 0, CIIP mode or GPM mode can be applied to the current block. That is, c) condition that the value of regular_merge_flag[x0][y0] is 1 may mean that both CIIP mode and GPM mode are not applied to the current block.
  • the decoder can parse mh_pred_data() by comparing the number of samples of the current block with an arbitrary value. For example, the decoder may parse mh_pred_data() if the number of samples of the current block is greater than 64 (cbWidth*cbHeight>64).
  • the decoder may parse mh_pred_data() by comparing the horizontal and vertical sizes of the current block with arbitrary values.
  • the decoder may parse mh_pred_data() when the smaller of the horizontal and vertical sizes of the block is greater than 8 (min(cbWidth, cbHeight)> 8).
  • the decoder may parse mh_pred_data() when some or all of conditions a) to f) are satisfied.
  • 15 is a diagram illustrating a syntax structure for information related to an MHP mode according to an embodiment of the present specification.
  • FIG. 15 illustrates a syntax structure for information (mh_pred_data()) related to the MHP mode described with reference to FIGS. 12 to 14 .
  • Each syntax element included in the syntax structure for mh_pred_data() can be parsed when the number i of additional data that can be used for MHP mode is less than the maximum number of additional data that can be used for MHP mode (MaxNumAdditionalHypotheses). there is.
  • MaxNumAdditionalHypotheses the maximum number of additional data that can be used for MHP mode
  • additional_hypothesis_flag[x0][y0][i] may indicate whether additional data that can be used for the MHP mode exists. Referring to FIG. 15, if the value of additional_hypothesis_flag[x0][y0][i] is true, the decoder may parse add_hyp_merge_flag[x0][y0][I]. add_hyp_merge_flag[x0][y0][i] may indicate whether additional data that can be used for MHP mode is merge mode.
  • the decoder can parse add_hyp_merge_idx[x0][y0][i] and add_hyp_weight_idx[x0][y0][i].
  • add_hyp_merge_flag[ x0 ][ y0 ][ i ] may indicate information about a merge index of additional data that can be used for the MHP mode.
  • add_hyp_weight_idx[x0][y0][i] may indicate information about the weight described in Table 1.
  • add_hyp_ref_idx [x0][y0][i] may indicate information about a reference picture index of data that can be used for the MHP mode.
  • mvd_coding (x0, y0, 2+i, 0) may indicate information about the MVD for the MHP mode.
  • add_hyp_mvp_flag[x0][y0][i] may indicate information on MVP for the MHP mode.
  • 16 is a diagram illustrating a context model of a syntax element related to an MHP mode according to an embodiment of the present specification.
  • add_hyp_merge_flag is a 1-bit value and can indicate the type of additional data that can be used for the MHP mode. That is, add_hyp_merge_flag may represent whether additional data that can be used for the MHP mode is the merge mode.
  • the encoder may perform entropy coding using context adaptive binary arithmetic coding (CABAC) by applying a context model to the first bin.
  • CABAC context adaptive binary arithmetic coding
  • the context model for add_hyp_merge_flag can be defined as a value obtained through experimentation. InitValue of FIG. 16(a) represents context models for add_hyp_merge_flag, and shiftIdx can be used when updating the probability for add_hyp_merge_flag.
  • initValue and shiftIdx may be determined according to the ctxIdx value of add_hyp_merge_flag.
  • initValue may be determined according to the type of the current slice. Specifically, initValue may be determined according to whether the current slice type is I slice, P slice, or B slice. 16(b) shows a context model that can be used according to the current slice type. Referring to FIG. 16(b), the initialization type (initType) of add_hyp_merge_flag may be determined according to the current slice type, and initValue may be determined according to the initialization type. When the current slice type is I slice, the value of initType may be 0 to 2.
  • the value of initType may be 3 to 5.
  • the value of initType may be 6 to 8.
  • the value of initType determined according to the slice type may be the same as the value of ctxIdx of add_hyp_merge_flag of FIG. 16(a).
  • initValue may be determined as a value corresponding to FIG. 16(a) according to the value of initType determined according to each type of the current slice.
  • initType may be determined as one value. For example, when the current slice type is I slice, the value of initType may be 0. When the current slice type is P slice, the value of initType may be 3.
  • initType When the current slice type is B slice, the value of initType may be 6.
  • initValue may be determined as a value corresponding to FIG. 16(a) according to the value of initType, which is determined as one value according to each type of the current slice. For example, if the value of initType is 0, the value of ctxIdx of add_hyp_merge_flag may be 0, the value of initValue may be 18, and the value of shiftIdx may be 4 according to FIG. 16(a).
  • initValue can be selectively applied to each slice.
  • the order of using initValue values may vary according to the value of add_hyp_merge_flag defined in the slice header.
  • the value of initValue may be 6.
  • the value of add_hyp_merge_flag is 1 and the current slice type is B slice
  • the initValue value may be 3.
  • the value of add_hyp_merge_flag is 0 and the type of the current slice is P slice
  • the value of initValue may be 3.
  • the value of add_hyp_merge_flag is 0 and the current slice type is B slice
  • the value of initValue may be 6.
  • the position of the upper-left luma component block of the current coding unit may be (x0, y0).
  • the sample positions (xNbL, yNbL) of the left neighboring block of the current coding unit may be (x0-1, y0), and the sample positions (xNbA, yNbA) of the upper neighboring block may be (x0, y0-1). If the sample of the upper neighboring block is valid, it can be expressed as availableA, if the sample of the left neighboring block is valid, it can be expressed as availableL, and if it is not valid, it can be expressed as FALSE.
  • the value of the context index (ctxInc) may be 2. If the MHP mode is applied to any one of the left neighboring block and the upper neighboring block of the current block, and the merge mode is applied to the neighboring block to which the MHP mode is applied, the value of the context index may be 1. When the MHP mode is not applied to both the left neighboring block and the upper neighboring block of the current block, the value of the context index may be 0.
  • the value of the context index may be 0.
  • Table 7 shows an example in which the context index is determined based on whether the MHP mode is applied to the neighboring block of the current block and whether the merge mode is applied to the neighboring block to which the MHP mode is applied.
  • the context index may be determined regardless of whether merge mode is applied to a neighboring block to which MHP mode is applied. If the MHP mode is applied to both the left neighboring block and the upper neighboring block of the current block, the value of the context index may be 2. If the MHP mode is applied to any one of the left neighboring block and the upper neighboring block of the current block, the value of the context index may be 1. If the MHP mode is not applied to both the left neighboring block and the upper neighboring block of the current block, the value of the context index may be 0. Table 8 shows an example in which a context index is determined considering only whether the MHP mode is applied to a neighboring block of the current block regardless of whether the merge mode is applied to the neighboring block to which the MHP mode is applied.
  • condL means a condition for a left neighboring block among neighboring blocks of the current block
  • condA means a condition for an upper block among neighboring blocks of the current block
  • ctxSetIdx is a value determined according to the current slice type and may have a value of 0 to 2. In Tables 7 and 8, the value of ctxSetIdx is described as 0, but this is only an example.
  • the upper neighboring block and the left neighboring block of the current block may be additional data (additional reference blocks) usable for the MHP mode.
  • FIG. 17 is a diagram illustrating a geometry partitioning mode (GPM) mode according to an embodiment of the present specification.
  • GPM geometry partitioning mode
  • the GPM mode represents a mode in which the current coding unit is divided into two regions by one straight boundary line and intra prediction is performed on each of the divided regions to obtain a prediction signal of the current coding unit. That is, the decoder may generate prediction signals P0 and P1 for each of the two divided regions by performing intra prediction using different motion information for each of the two divided regions. Also, the decoder may obtain a prediction signal of the current coding unit by mixing P0 and P1 with each other. Specifically, P0 and P1 may be generated using mixed matrices w0 and w1. In this case, the mixing matrix may have a value between 0 and 8.
  • the quantized angle parameter ⁇ may be a total of 20 quantized angles created by symmetrically dividing the [0, 2 ⁇ ] range.
  • the distance parameter ( ⁇ ) may be defined as four quantized distances. 17(c) shows four distance parameters for each quantized angle parameter.
  • a separate table for GPM mode may be defined. In this case, the table is a table representing division direction information and is a table defining a combination of an angle parameter (angleIdx) and a distance parameter (distanceIdx).
  • the table may include information on a total of 64 split directions excluding those overlapping with binary tree split and ternary tree split among a total of 70 combinable split directions (excluding overlapping 10 split directions).
  • the angle parameter (angleIdx) may be a total of 20 quantized angles ( ⁇ ) made by dividing symmetrically in FIG. 17 (a), and the distance parameter (distanceIdx) may be the distance parameter ( ⁇ ).
  • Each combination of the angle parameter (angleIdx) and the distance parameter (distanceIdx) can be indexed, and the decoder uses the angle parameter (angleIdx) and the distance parameter (distanceIdx) through the syntax element (merge_gpm_partition_idx[x0][y0]). It is possible to check the index for each combination of and obtain division direction information.
  • FIG. 18 is a diagram illustrating a method of configuring a division and merge list of a current coding unit for a GPM mode according to an embodiment of the present specification.
  • FIG. 18(a) shows division of the current coding unit when the value of merge_gpm_partition_idx[x0][y0] is 24.
  • angleIdx may be 12 and distanceIdx may be 0.
  • the right diagram of FIG. 18 (a) shows division of the current coding unit when the value of merge_gpm_partition_idx[x0][y0] is 10.
  • angleIdx may be 4 and distanceIdx may be 0.
  • a GPM merge list in GPM mode may be composed of only unidirectional motion information of a regular merge candidate list.
  • a candidate having an even index may be motion information of the L0 list
  • a candidate having an odd index may be motion information of the L1 list.
  • FIG. 19 is a diagram illustrating a merge list used in MHP mode according to an embodiment of the present specification.
  • an MHP merge list may be constructed based on a reference picture list and a reference picture index.
  • the MHP merge list may consist of only unidirectional motion information. Specifically, the MHP merge list may be composed of candidates whose POCs do not overlap among candidates (A0, B0, ..., F0, A1, B1, ..., F1) of the general merge candidate list. At this time, if the MHP merge list is not completely constructed, the MHP merge list may be constructed by sequentially including candidates of the general merge candidate list not included in the MHP merge list.
  • 20 is a flowchart illustrating a method of parsing a syntax element related to an MHP mode according to an embodiment of the present specification.
  • FIGS. 1 to 19 illustrates a method of parsing a syntax element related to an MHP mode using the methods described with reference to FIGS. 1 to 19 .
  • the decoder may parse a first syntax element that is a general constraint information (GCI) syntax element (S2010).
  • the decoder may parse a second syntax element indicating whether a multi-hypothesis prediction (MHP) mode is available for the current sequence (S2020).
  • the decoder may parse a third syntax element indicating whether the MHP mode is used in the current block based on the parsing result of the second syntax element (S2030). If the third syntax element indicates that the MHP mode is used for the current block, the decoder may predict the current block based on the MHP mode (S2040).
  • the first syntax element may be included in at least one of Sequence Parameter Set (SPS) RBSP syntax and Video Parameter Set (VPS) RBSP syntax.
  • the second syntax element may be included in the SPS RBSP syntax.
  • the value of the first syntax element is 1, the value of the second syntax element may be set to 0, which is a value indicating that the MHP mode is not used, regardless of a parsing result of the second syntax element.
  • the value of the first syntax element is 0, the value of the second syntax element may not be restricted.
  • the third syntax element may be parsed when the second syntax element indicates that the MHP mode is available for the current block.
  • the third syntax element may be parsed when the prediction mode of the current block is a merge mode.
  • the third syntax element may be parsed by additionally considering the prediction direction of the current block.
  • the third syntax element may be parsed when the prediction direction is bi-prediction prediction.
  • the third syntax element may be parsed by additionally considering a weight according to a prediction direction of the current block.
  • the third syntax element may be parsed when the weight is not 1/2.
  • the third syntax element may be parsed by additionally considering a prediction mode applied to the current block.
  • the third syntax element may be parsed when neither an affine mode nor an adaptive motion vector resolution (AMVR) mode is applied to the current block.
  • AMVR adaptive motion vector resolution
  • the third syntax element may be parsed by additionally considering whether the prediction mode applied to the current block is the AMVR mode.
  • the third syntax element may be parsed when the AMVR mode is not applied to the current block.
  • the third syntax element may be parsed by additionally considering the number of samples of the current block.
  • the third syntax element may be parsed when the number of samples of the current block is greater than 64.
  • the third syntax element may be parsed by additionally considering the size of the current block.
  • the third syntax element may be parsed when the smaller of the horizontal and vertical sizes of the current block is greater than 8.
  • the third syntax element may be parsed by additionally considering whether the prediction mode of the current block is a combined inter-picture merge and inter-picture prediction (CIIP) mode and a geometric partitioning mode (GPM) mode.
  • the third syntax element may be parsed when the prediction mode of the current block is not CIIP mode and GPM mode.
  • the third syntax element may be parsed by additionally considering whether a template matching merge mode is applied to the current block.
  • the third syntax element may be parsed when template matching merge mode is not applied to the current block.
  • the merge mode is a mode in a merge list, and each of one or more modes in the merge list may have a different picture order count (POC).
  • the methods (video signal processing methods) described above in this specification may be performed through a processor of a decoder or encoder.
  • the encoder may generate a bitstream that is decoded by a video signal processing method.
  • the bitstream generated by the encoder may be stored in a computer-readable non-transitory storage medium (recording medium).
  • parsing in this specification has been described focusing on the process of obtaining information from a bitstream, but from the encoder side, it can be interpreted as constructing corresponding information in a bitstream. Therefore, the term parsing is not limited to a decoder operation, but can also be interpreted as an act of constructing a bitstream in an encoder. In addition, such a bitstream may be configured by being stored in a computer readable recording medium.
  • embodiments of the present invention may be implemented through various means.
  • embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
  • the method according to the embodiments of the present invention includes one or more ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), PLDs (Programmable Logic Devices) , Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, etc.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • processors controllers, microcontrollers, microprocessors, etc.
  • the method according to the embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above.
  • the software code can be stored in memory and run by a processor.
  • the memory may be located inside or outside the processor, and may exchange data with the processor by various means known in the art.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes computer readable instructions, data structures or other data in a modulated data signal, such as program modules, or other transport mechanism, and includes any information delivery media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 신호 디코딩 장치에 있어서, 프로세서를 포함하며, 상기 프로세서는, 일반 제약 정보(General Constraint Information, GCI) 신택스(syntax) 요소인 제1 신택스 요소를 파싱하고, 현재 시퀀스에 MHP(Multi-hypothesis prediction) 모드가 사용 가능한지 여부를 나타내는 제2 신택스 요소를 파싱하고, 상기 제2 신택스 요소의 파싱 결과에 기초하여 현재 블록에 상기 MHP 모드가 사용되는지 여부를 나타내는 제3 신택스 요소를 파싱하고, 상기 제3 신택스 요소가 상기 현재 블록에 상기 MHP 모드가 사용됨을 나타내면, 상기 현재 블록을 상기 MHP 모드에 기초하여 예측한다.

Description

MHP(MULTI-HYPOTHESIS PREDICTION)모드에 기초한 비디오 신호 처리 방법 및 이를 위한 장치
본 발명은 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 신호에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다. 그러나 최근의 다양한 미디어 및 데이터 전송 매체의 발전으로 인해, 더욱 고효율의 비디오 신호 처리 방법 및 장치가 요구되고 있다.
본 명세서는 비디오 신호 처리 방법 및 이를 위한 장치를 제공하여 비디오 신호의 코딩 효율을 높이기 위한 목적이 있다.
본 명세서는 비디오 신호 처리 방법 및 이를 위한 장치를 제공한다.
본 명세서에 있어서, 비디오 신호 디코딩 장치는 프로세서를 포함하고, 상기 프로세서는 일반 제약 정보(General Constraint Information, GCI) 신택스(syntax) 요소인 제1 신택스 요소를 파싱하고, 현재 시퀀스에 MHP(Multi-hypothesis prediction) 모드가 사용 가능한지 여부를 나타내는 제2 신택스 요소를 파싱하고, 상기 제2 신택스 요소의 파싱 결과에 기초하여 현재 블록에 상기 MHP 모드가 사용되는지 여부를 나타내는 제3 신택스 요소를 파싱하고, 상기 제3 신택스 요소가 상기 현재 블록에 상기 MHP 모드가 사용됨을 나타내면, 상기 현재 블록을 상기 MHP 모드에 기초하여 예측하고, 상기 제1 신택스 요소는, 시퀀스 파라미터세트(Sequence Parameter Set, SPS) RBSP 신택스 및 비디오 파라미터세트(Video Parameter Set, VPS) RBSP 신택스 중 적어도 어느 하나에 포함되고, 상기 제2 신택스 요소는 상기 SPS RBSP 신택스에 포함되고, 상기 제1 신택스 요소의 값이 1인 경우, 상기 제2 신택스 요소의 값은 상기 제2 신택스 요소의 파싱 결과와 무관하게 상기 MHP 모드가 사용되지 않음을 지시하는 값인 0으로 설정되고, 상기 제1 신택스 요소의 값이 0인 경우, 상기 제2 신택스 요소의 값은 제약되지 않는 것을 특징으로 한다.
또한 본 명세서에 있어서, 비디오 신호 인코딩 장치는 프로세서를 포함하고, 상기 프로세서는 디코딩 방법에 의해 디코딩되는 비트스트림을 획득한다. 또한 본 명세서에 있어서, 비트스트림을 저장하는 컴퓨터 판독 가능한 비 일시적 저장 매체에 있어서, 상기 비트스트림은 디코딩 방법에 의해 디코딩된다.
본 명세서에 있어서, 디코딩 방법은, 일반 제약 정보(General Constraint Information, GCI) 신택스(syntax) 요소인 제1 신택스 요소를 파싱하는 단계; 현재 시퀀스에 MHP(Multi-hypothesis prediction) 모드가 사용 가능한지 여부를 나타내는 제2 신택스 요소를 파싱하는 단계; 상기 제2 신택스 요소의 파싱 결과에 기초하여 현재 블록에 상기 MHP 모드가 사용되는지 여부를 나타내는 제3 신택스 요소를 파싱하는 단계; 및 상기 제3 신택스 요소가 상기 현재 블록에 상기 MHP 모드가 사용됨을 나타내면, 상기 현재 블록을 상기 MHP 모드에 기초하여 예측하는 단계를 포함하고, 상기 제1 신택스 요소는, 시퀀스 파라미터세트(Sequence Parameter Set, SPS) RBSP 신택스 및 비디오 파라미터세트(Video Parameter Set, VPS) RBSP 신택스 중 적어도 어느 하나에 포함되고, 상기 제2 신택스 요소는 상기 SPS RBSP 신택스에 포함되고, 상기 제1 신택스 요소의 값이 1인 경우, 상기 제2 신택스 요소의 값은 상기 제2 신택스 요소의 파싱 결과와 무관하게 상기 MHP 모드가 사용되지 않음을 지시하는 값인 0으로 설정되고, 상기 제1 신택스 요소의 값이 0인 경우, 상기 제2 신택스 요소의 값은 제약되지 않는 것을 특징으로 한다.
상기 제3 신택스 요소는, 상기 제2 신택스 요소가 상기 현재 블록에 상기 MHP 모드가 사용 가능함을 나타내는 경우 파싱되는 것을 특징으로 한다.
상기 제3 신택스 요소는, 상기 현재 블록의 예측 모드가 머지 모드인 경우 파싱되는 것을 특징으로 한다.
상기 제3 신택스 요소는 상기 현재 블록의 예측 방향을 추가적으로 고려하여 파싱되고, 상기 제3 신택스 요소는 상기 예측 방향이 양-방향(Bi-prediction) 예측인 경우 파싱되는 것을 특징으로 한다.
상기 제3 신택스 요소는 상기 현재 블록의 예측 방향에 따른 가중치를 추가적으로 고려하여 파싱되고, 상기 제3 신택스 요소는 상기 가중치가 1/2가 아닌 경우에 파싱되는 것을 특징으로 한다.
상기 제3 신택스 요소는 상기 현재 블록에 적용되는 예측 모드를 추가적으로 고려하여 파싱되고, 상기 제3 신택스 요소는 상기 현재 블록에 어파인 모드 및 AMVR(adaptive motion vector resolution) 모드가 모두 적용되는 경우가 아닌 경우 파싱되는 것을 특징으로 한다.
상기 제3 신택스 요소는 상기 현재 블록에 적용되는 예측 모드가 AMVR 모드인지 여부를 추가적으로 고려하여 파싱되고, 상기 제3 신택스 요소는 상기 현재 블록에 AMVR 모드가 적용되지 않는 경우 파싱되는 것을 특징으로 한다.
상기 제3 신택스 요소는 상기 현재 블록의 샘플 수를 추가적으로 고려하여 파싱되고, 상기 제3 신택스 요소는 상기 현재 블록의 샘플 수가 64보다 큰 경우 파싱되는 것을 특징으로 한다.
상기 제3 신택스 요소는 상기 현재 블록의 크기를 추가적으로 고려하여 파싱되고, 상기 제3 신택스 요소는 상기 현재 블록의 가로의 크기 및 세로의 크기 중 작은 크기가 8보다 큰 경우 파싱되는 것을 특징으로 한다.
상기 제3 신택스 요소는 상기 현재 블록이 예측 모드가 CIIP(Combined Inter-picture merge and Inter-picture prediction) 모드 및 GPM(Geometric partitioning mode) 모드가 적용되는지 여부를 추가적으로 고려하여 파싱되고, 상기 제3 신택스 요소는 상기 현재 블록이 예측 모드가 CIIP 모드 및 GPM 모드가 아닌 경우 파싱되는 것을 특징으로 한다.
상기 제3 신택스 요소는 상기 현재 블록에 템플릿 매칭 머지 모드가 적용되는지 여부를 추가적으로 고려하여 파싱되고, 상기 제3 신택스 요소는 상기 현재 블록에 템플릿 매칭 머지 모드가 적용되지 않는 경우 파싱되는 것을 특징으로 한다.
상기 머지 모드는 머지 리스트 내의 모드이고, 상기 머지 리스트 내의 하나 이상의 모드들 각각의 POC(picture order count)는 서로 상이한 것을 특징으로 한다.
본 명세서는 효율적으로 비디오 신호를 처리하기 위한 방법을 제공한다.
본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치의 개략적인 블록도이다.
도 3은 픽쳐 내에서 코딩 트리 유닛이 코딩 유닛들로 분할되는 실시예를 도시한다.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다.
도 5 및 도 6은 본 발명의 실시예에 따른 인트라 예측 방법을 더욱 구체적으로 도시한다.
도 7은 인터 예측에서 움직임 후보 리스트를 구성하기 위해 사용되는 주변 블록들의 위치를 나타낸 도면이다.
도 8은 본 명세서의 일 실시예에 따른 Multi-hypothesis prediction(MHP)의 동작 과정을 나타내는 도면이다.
도 9는 본 명세서의 일 실시예에 따른 MHP 모드가 적용되는 조합을 나타내는 도면이다.
도 10은 본 명세서의 일 실시예에 따른 하이 레벨 신택스의 구조를 나타내는 도면이다.
도 11은 본 명세서의 일 실시예에 따른 MHP 모드와 관련된 정보를 시그널링하는 방법을 나타내는 도면이다.
도 12 및 도 13은 본 명세서의 일 실시예에 따른 현재 블록에 AMVP 모드가 적용되는 경우 코딩 유닛 내 MHP 모드와 관련된 정보의 시그널링 구조를 나타내는 도면이다.
도 14는 본 명세서의 일 실시예에 따른 현재 블록에 머지 모드가 적용되는 경우 코딩 유닛 내 MHP 모드와 관련된 정보의 시그널링 구조를 나타내는 도면이다.
도 15는 본 명세서의 일 실시예에 따른 MHP 모드와 관련된 정보에 대한 신택스 구조를 나타내는 도면이다.
도 16은 본 명세서의 일 실시예에 따른 MHP 모드와 관련된 신택스 요소의 문맥 모델을 나타내는 도면이다.
도 17은 본 명세서의 일 실시예에 따른 GPM(Geometry partitioning Mode) 모드를 나타내는 도면이다.
도 18은 본 명세서의 일 실시예에 따른 GPM 모드를 위한 현재 코딩 유닛의 분할과 머지 리스트를 구성하는 방법을 나타내는 도면이다.
도 19은 본 명세서의 일 실시예에 따른 MHP 모드에 사용되는 머지 리스트를 나타내는 도면이다.
도 20은 본 명세서의 일 실시예에 따라 MHP 모드와 관련된 신택스 요소를 파싱하는 방법을 나타내는 순서도이다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 'A 및/또는 B'는 'A 또는 B 중 적어도 하나를 포함하는'과 같은 의미로 해석될 수 있다.
본 명세서에서 일부 용어들은 다음과 같이 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있다. 본 명세서에서 비디오 신호의 인코딩(부호화)을 수행하여 비디오 신호 비트스트림을 생성하는 장치는 인코딩 장치 또는 인코더로 지칭되며, 비디오 신호 비트스트림의 디코딩(복호화)을 수행하여 비디오 신호를 복원하는 장치는 디코딩 장치 또는 디코더로 지칭된다. 또한, 본 명세서에서 비디오 신호 처리 장치는 인코더 및 디코더를 모두 포함하는 개념의 용어로 사용된다. 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 의미는 달리 해석될 수 있으므로 본 발명은 이에 한정되지 아니한다. '유닛'은 영상 처리의 기본 단위 또는 픽쳐의 특정 위치를 지칭하는 의미로 사용되며, 휘도(luma) 성분 및 색차(chroma) 성분 중 적어도 하나를 포함하는 이미지 영역을 가리킨다. 또한, '블록'은 휘도 성분 및 색차 성분들(즉, Cb 및 Cr) 중 특정 성분을 포함하는 이미지 영역을 가리킨다. 다만, 실시예에 따라서 '유닛', '블록', '파티션', '신호' 및 '영역' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '현재 블록'은 현재 부호화를 진행할 예정인 블록을 의미하며, '참조 블록'은 이미 부호화 또는 복호화가 완료된 블록으로 현재 블록에서 참조로 사용되는 블록을 의미한다. 또한, 본 명세서에서 '루마', 'luma', '휘도', 'Y' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '크로마', 'chroma' '색차', 'Cb 또는 Cr' 등의 용어는 서로 혼용하여 사용될 수 있으며, 색차 성분은 Cb와 Cr 2가지로 나누어지므로 각 색차 성분은 구분되어 사용될 수 있다. 또한, 본 명세서에서 유닛은 코딩 유닛, 예측 유닛, 변환 유닛을 모두 포함하는 개념으로 사용될 수 있다. 픽쳐는 필드 또는 프레임을 가리키며, 실시예에 따라 상기 용어들은 서로 혼용하여 사용될 수 있다. 구체적으로 촬영된 영상이 비월주사식(interlace) 영상일 경우, 하나의 프레임은 홀수(또는 기수, top) 필드와 짝수(또는 우수, bottom) 필드로 분리되어, 각 필드는 하나의 픽쳐 단위로 구성되어 부호화 또는 복호화 될 수 있다. 만일 촬영된 영상이 순차주사(progressive) 영상일 경우, 하나의 프레임이 픽쳐로서 구성되어 부호화 또는 복호화 될 수 있다. 또한, 본 명세서에서 '오차 신호', '레지듀얼 신호', '잔차 신호', '잔여 신호' 및 '차분 신호' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '인트라 예측 모드', '인트라 예측 방향성 모드', '화면 내 예측 모드' 및 '화면 내 예측 방향성 모드' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '모션', '움직임' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '좌측', '좌상측', '상측', '우상측', '우측', '우하측', '하측', '좌하측'은 '좌단', '좌상단', '상단', '우상단', '우단', '우하단', '하단', '좌하단'와 서로 혼용하여 사용될 수 있다. 또한, 원소(element), 멤버(member)는 서로 혼용하여 사용될 수 있다. POC(Picture Order Count)는 픽쳐(또는 프레임)의 시간적 위치 정보를 나타내며, 화면에 출력되는 재생 순서가 될 수 있으며, 픽쳐마다 고유의 POC를 가질 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치(100)의 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 인코딩 장치(100)는 변환부(110), 양자화부(115), 역양자화부(120), 역변환부(125), 필터링부(130), 예측부(150) 및 엔트로피 코딩부(160)를 포함한다.
변환부(110)는 입력 받은 비디오 신호와 예측부(150)에서 생성된 예측 신호의 차이인 레지듀얼 신호를 변환하여 변환 계수 값을 획득한다. 예를 들어, 이산 코사인 변환(Discrete Cosine Transform, DCT), 이산 사인 변환(Discrete Sine Transform, DST) 또는 웨이블릿 변환(Wavelet Transform) 등이 사용될 수 있다. 이산 코사인 변환 및 이산 사인 변환은 입력된 픽쳐 신호를 블록 형태로 나누어 변환을 수행하게 된다. 변환에 있어서 변환 영역 내의 값들의 분포와 특성에 따라서 코딩 효율이 달라질 수 있다. 레지듀얼 블록에 대한 변환에 사용되는 변환 커널은 수직 변환 및 수평 변환의 분리 가능한 특성을 가지는 변환 커널일 수 있다. 이 경우, 레지듀얼 블록에 대한 변환은 수직 변환 및 수평 변환으로 분리되어 수행될 수 있다. 예를 들어, 인코더는 레지듀얼 블록의 수직 방향으로 변환 커널을 적용하여 수직 변환을 수행할 수 있다. 또한, 인코더는 레지듀얼 블록의 수평 방향으로 변환 커널을 적용하여 수평 변환을 수행할 수 있다. 본 개시에서, 변환 커널은 변환 매트릭스, 변환 어레이, 변환 함수, 변환과 같이 레지듀얼 신호의 변환에 사용되는 파라미터 세트를 지칭하는 용어로 사용될 수 있다. 예를 들어, 변환 커널은 복수의 사용 가능한 커널들 중 어느 하나일 수 있다. 또한, 수직 변환 및 수평 변환 각각에 대해 서로 다른 변환 타입에 기반한 변환 커널이 사용될 수도 있다.
변환계수는 블록의 좌상단으로 갈수록 높은 계수가 분포하고, 블록의 우하단으로 갈수록 '0'에 가까운 계수가 분포한다. 현재 블록의 크기가 커질수록 우하단 영역에서 계수 '0'이 많이 존재할 가능성이 있다. 크기가 큰 블록의 변환 복잡도를 감소시키기 위해서, 임의의 좌상단 영역만을 남기고 나머지 영역은 '0'으로 재설정될 수 있다.
또한, 코딩 블록에서 일부 영역에만 오차 신호가 존재할 수 있다. 이 경우, 임의의 일부 영역에 대해서만 변환 과정이 수행될 수 있다. 실시 일 예로, 2Nx2N 크기의 블록에서 첫번째 2NxN 블록에만 오차 신호가 존재할 수 있으며, 첫번째 2NxN블록에만 변환과정이 수행되지만 두번째 2NxN 블록은 변환과정이 수행되지 않고 인코딩 또는 디코딩되지 않을 수 있다. 여기서 N은 임의의 양의 정수가 될 수 있다.
인코더는 변환 계수가 양자화되기 전에 추가적인 변환을 수행할 수 있다. 전술한 변환 방법은 1차 변환(primary transform)으로 지칭되고, 추가적인 변환은 2차 변환(secondary transform)으로 지칭될 수 있다. 2차 변환은 레지듀얼 블록 별로 선택적일 수 있다. 일 실시예에 따라, 인코더는 1차 변환만으로 저주파 영역에 에너지를 집중시키기 어려운 영역에 대해 2차 변환을 수행하여 코딩 효율을 향상시킬 수 있다. 예를 들어, 레지듀얼 값들이 레지듀얼 블록의 수평 또는 수직 방향 이외의 방향에서 크게 나타나는 블록에 대해 2차 변환이 추가로 수행될 수 있다. 2차 변환은 1차 변환과 달리 수직 변환 및 수평 변환으로 분리되어 수행되지 않을 수 있다. 이러한 2차 변환은 저대역 비-분리 변환(Low Frequency Non-Separable Transform, LFNST)으로 지칭될 수 있다.
양자화부(115)는 변환부(110)에서 출력된 변환 계수 값을 양자화한다.
코딩 효율을 높이기 위하여 픽쳐 신호를 그대로 코딩하는 것이 아니라, 예측부(150)를 통해 이미 코딩된 영역을 이용하여 픽쳐를 예측하고, 예측된 픽쳐에 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 더하여 복원 픽쳐를 획득하는 방법이 사용된다. 인코더와 디코더에서 미스매치가 발생되지 않도록 하기 위해, 인코더에서 예측을 수행할 때에는 디코더에서도 사용 가능한 정보를 사용해야 한다. 이를 위해, 인코더에서는 부호화한 현재 블록을 다시 복원하는 과정을 수행한다. 역양자화부(120)에서는 변환 계수 값을 역양자화하고, 역변환부(125)에서는 역양자화된 변환 계수값을 이용하여 레지듀얼 값을 복원한다. 한편, 필터링부(130)는 복원된 픽쳐의 품질 개선 및 부호화 효율 향상을 위한 필터링 연산을 수행한다. 예를 들어, 디블록킹 필터, 샘플 적응적 오프셋(Sample Adaptive Offset, SAO) 및 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(Decoded Picture Buffer, DPB, 156)에 저장된다.
디블록킹 필터(deblocking filter)는 복원된 픽쳐에서 블록 간의 경계에 생성된 블록 내의 왜곡을 제거하기 위한 필터이다. 인코더는 블록 내의 임의 경계(edge)를 기준으로 몇 개의 열 또는 행에 포함된 픽셀들의 분포를 통해, 해당 경계에 디블록킹 필터를 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용되는 경우, 인코더는 디블록킹 필터링 강도에 따라 긴 필터(Long Filter), 강한 필터(Strong Filter) 또는 약한 필터(Weak Filter)를 적용할 수 있다. 또한, 수평 방향 필터링 및 수직 방향 필터링이 병렬적으로 처리될 수 있다. 샘플 적응적 오프셋(SAO)은 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋을 보정하는데 사용될 수 있다. 인코더는 특정 픽쳐에 대한 오프셋을 보정하기 위하여 영상에 포함된 픽셀을 일정한 수의 영역으로 구분한 후, 오프셋 보정을 수행할 영역을 결정하고, 해당 영역에 오프셋을 적용하는 방법(Band Offset)을 사용할 수 있다. 또는 인코더는 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법(Edge Offset)을 사용할 수 있다. 적응적 루프 필터(Adaptive Loop Filter, ALF)는 영상에 포함된 픽셀을 소정의 그룹으로 나눈 후, 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행하는 방법이다. ALF를 적용할지 여부에 관련된 정보는 코딩 유닛 단위로 시그널링될 수 있고, 각각의 블록에 따라 적용될 ALF 필터의 모양 및 필터 계수가 달라질 수 있다. 또한, 적용할 대상 블록의 특성에 관계없이 동일한 형태(고정된 형태)의 ALF 필터가 적용될 수도 있다.
예측부(150)는 인트라 예측부(152)와 인터 예측부(154)를 포함한다. 인트라 예측부(152)에서는 현재 픽쳐 내에서 인트라(intra) 예측을 수행하며, 인터 예측부(154)에서는 복호 픽쳐 버퍼(156)에 저장된 참조 픽쳐를 이용하여 현재 픽쳐를 예측하는 인터(inter) 예측을 수행한다. 인트라 예측부(152)는 현재 픽쳐 내의 복원된 영역들로부터 인트라 예측을 수행하여, 인트라 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스, 참조 샘플에 관한 정보 중 적어도 하나를 포함할 수 있다. 인터 예측부(154)는 다시 모션 추정부(154a) 및 모션 보상부(154b)를 포함하여 구성될 수 있다. 모션 추정부(154a)에서는 복원된 참조 픽쳐의 특정 영역을 참조하여 현재 영역과 가장 유사한 부분을 찾고 영역 간의 거리인 모션 벡터 값을 획득한다. 모션 추정부(154a)에서 획득한 참조 영역에 대한 모션 정보(참조 방향 지시 정보(L0 예측, L1 예측, 양방향 예측), 참조 픽쳐 인덱스, 모션 벡터 정보 등) 등을 엔트로피 코딩부(160)로 전달하여 비트스트림에 포함될 수 있도록 한다. 모션 추정부(154a)에서 전달된 모션 정보를 이용하여 모션 보상부(154b)에서는 인터 모션 보상을 수행하여 현재 블록을 위한 예측 블록을 생성한다. 인터 예측부(154)는 참조 영역에 대한 모션 정보를 포함하는 인터 부호화 정보를 엔트로피 코딩부(160)에 전달한다.
추가적인 실시예에 따라, 예측부(150)는 인트라 블록 카피(Intra block copy, IBC) 예측부(미도시)를 포함할 수 있다. IBC 예측부는 현재 픽쳐 내의 복원된 샘플들로부터 IBC 예측을 수행하여, IBC 부호화 정보를 엔트로피 코딩부(160)에 전달한다. IBC 예측부는 현재 픽쳐 내의 특정 영역을 참조하여 현재 영역의 예측에 이용되는 참조 영역을 지시하는 블록 벡터값을 획득한다. IBC 예측부는 획득된 블록 벡터값을 이용하여 IBC 예측을 수행할 수 있다. IBC 예측부는 IBC 부호화 정보를 엔트로피 코딩부(160)로 전달한다. IBC 부호화 정보는 참조 영역의 크기 정보, 블록 벡터 정보(움직임 후보 리스트 내에서 현재 블록의 블록 벡터 예측을 위한 인덱스 정보, 블록 벡터 차분 정보) 중에서 적어도 하나를 포함할 수 있다.
위와 같은 픽쳐 예측이 수행될 경우, 변환부(110)는 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 변환하여 변환 계수 값을 획득한다. 이때, 변환은 픽쳐 내에서 특정 블록 단위로 수행될 수 있으며, 특정 블록의 크기는 기 설정된 범위 내에서 가변할 수 있다. 양자화부(115)는 변환부(110)에서 생성된 변환 계수 값을 양자화하여 양자화된 변환 계수를 엔트로피 코딩부(160)로 전달한다.
상기 2차원 배열 형태의 양자화된 변환 계수는 엔트로피 코딩을 위해 1차원의 배열 형태로 재정렬될 수 있다. 양자화된 변환 계수를 스캐닝하는 방법은 변환 블록의 크기 및 화면 내 예측 모드에 따라 어떠한 스캔 방법이 사용될지 여부가 결정될 수 있다. 실시 일 예로, 대각(Diagonal), 수직(vertical), 수평(horizontal) 스캔이 적용될 수 있다. 이러한 스캔 정보는 블록 단위로 시그널링될 수 있으며, 이미 정해진 규칙에 따라 유도될 수 있다.
엔트로피 코딩부(160)는 양자화된 변환 계수를 나타내는 정보, 인트라 부호화 정보, 및 인터 부호화 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다. 엔트로피 코딩부(160)에서는 가변 길이 코딩(Variable Length Coding, VLC) 방식과 산술 코딩(arithmetic coding) 방식 등이 사용될 수 있다. 가변 길이 코딩(VLC) 방식은 입력되는 심볼들을 연속적인 코드워드로 변환하는데, 코드워드의 길이는 가변적일 수 있다. 예를 들어, 자주 발생하는 심볼들을 짧은 코드워드로, 자주 발생하지 않은 심볼들은 긴 코드워드로 표현하는 것이다. 가변 길이 코딩 방식으로서 컨텍스트 기반 적응형 가변 길이 코딩(Context-based Adaptive Variable Length Coding, CAVLC) 방식이 사용될 수 있다. 산술 코딩은 각 데이터 심볼들의 확률 분포를 이용하여 연속적인 데이터 심볼들을 하나의 소수로 변환하는데, 산술 코딩은 각 심볼을 표현하기 위하여 필요한 최적의 소수 비트를 얻을 수 있다. 산술 코딩으로서 컨텍스트 기반 적응형 산술 부호화(Context-based Adaptive Binary Arithmetic Code, CABAC)가 이용될 수 있다.
CABAC은 실험을 통해 얻은 확률을 기반으로 생성된 여러 개의 문맥 모델(context model)을 통해 이진 산술 부호화하는 방법이다. 본 명세서에서 문맥 모델은 컨텍스트 모델이라 기술될 수 있다. 먼저, 심볼이 이진 형태가 아닐 경우, 인코더는 exp-Golomb 등을 사용하여 각 심볼을 이진화한다. 이진화된 0 또는 1은 빈(bin)으로 기술될 수 있다. CABAC 초기화 과정은 문맥 초기화와 산술 코딩 초기화로 구분된다. 문맥 초기화는 각 심볼의 발생 확률을 초기화하는 과정으로, 심볼의 종류, 양자화 파라미터(QP), 슬라이스 타입(I, P, B 인지)에 따라 결정된다. 이러한 초기화 정보를 가지는 문맥 모델은 실험을 통해 얻은 확률 기반 값을 사용할 수 있다. 문맥 모델은 현재 코딩하려는 심볼에 대한 LPS(Least Probable Symbol) 또는 MPS(Most Probable Symbol)의 발생 확률과 0과 1중에서 어떤 빈 값이 MPS에 해당되는지에 대한 정보(valMPS)를 제공한다. 문맥 인덱스(Context index, ctxIdx)를 통해 여러 개의 문맥 모델 중에서 하나가 선택되며, 문맥 인덱스는 현재 부호화할 블록의 정보 또는 주변 블록의 정보를 통해 유도될 수 있다. 문맥 모델에서 선택된 확률 모델을 기반으로 이진 산술 코딩을 위한 초기화가 수행된다. 이진 산술 부호화는 0과 1의 발생 확률을 통해 확률 구간으로 분할한 후, 처리할 빈에 해당하는 확률 구간이 다음에 처리될 빈에 대한 전체 확률 구간이 되는 과정을 통해 부호화가 진행된다. 마지막 빈이 처리된 확률 구간 안의 위치 정보가 출력된다. 단, 확률 구간이 무한정 분할될 수 없으므로, 일정 크기 이내로 줄어들 경우에는 재규격화(renormalization)과정이 수행되어 확률 구간이 넓어지고 해당 위치 정보가 출력된다. 또한, 각 빈이 처리된 후, 처리된 빈의 정보를 통해 다음 처리될 빈에 대한 확률이 새롭게 설정되는 확률 업데이트 과정이 수행될 수 있다.
상기 생성된 비트스트림은 NAL(Network Abstraction Layer) 유닛을 기본 단위로 캡슐화 된다. NAL 유닛은 영상 데이터를 포함하는 VCL(Video Coding Layer) NAL 유닛과 영상 데이터를 디코딩하기 위한 파라미터 정보를 포함하는 non-VCL NAL 유닛으로 구분되며, 다양한 종류의 VCL 또는 non-VCL NAL 유닛이 존재한다. NAL 유닛은 NAL 헤더 정보와 데이터인 RBSP(Raw Byte Sequence Payload)로 구성되며, NAL 헤더 정보에는 RBSP에 대한 요약 정보가 포함된다. VCL NAL 유닛의 RBSP에는 부호화된 정수 개의 코딩 트리 유닛(coding tree unit)을 포함한다. 비디오 디코더에서 비트스트림을 복호화하기 위해서는 먼저 비트스트림을 NAL 유닛 단위로 분리한 후, 분리된 각각의 NAL 유닛을 복호화해야 한다. 한편, 비디오 신호 비트스트림의 복호화를 위해 필요한 정보들은 픽쳐 파라미터 세트(Picture Parameter Set, PPS), 시퀀스 파라미터 세트(Sequence Parameter Set, SPS), 비디오 파라미터 세트(Video Parameter Set, VPS) 등에 포함되어 전송될 수 있다.
한편, 도 1의 블록도는 본 발명의 일 실시예에 따른 인코딩 장치(100)를 나타낸 것으로서, 분리하여 표시된 블록들은 인코딩 장치(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 인코딩 장치(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 인코딩 장치(100)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치(200)의 개략적인 블록도이다. 도 2를 참조하면 본 발명의 디코딩 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230) 및 예측부(250)를 포함한다.
엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여, 각 영역에 대한 변환 계수 정보, 인트라 부호화 정보, 인터 부호화 정보 등을 추출한다. 예를 들어, 엔트로피 디코딩부(210)는 비디오 신호 비트스트림으로부터 특정 영역의 변환 계수 정보에 대한 이진화 코드를 획득할 수 있다. 또한, 엔트로피 디코딩부(210)는 이진화 코드를 역 이진화하여 양자화된 변환 계수를 획득한다. 역양자화부(220)는 양자화된 변환 계수를 역양자화하고, 역변환부(225)는 역양자화된 변환 계수를 이용하여 레지듀얼 값을 복원한다. 비디오 신호 처리 장치(200)는 역변환부(225)에서 획득된 레지듀얼 값을 예측부(250)에서 획득된 예측 값과 합산하여 원래의 화소값을 복원한다.
한편, 필터링부(230)는 픽쳐에 대한 필터링을 수행하여 화질을 향상시킨다. 여기에는 블록 왜곡 현상을 감소시키기 위한 디블록킹 필터 및/또는 픽쳐 전체의 왜곡 제거를 위한 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 다음 픽쳐에 대한 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(DPB, 256)에 저장된다.
예측부(250)는 인트라 예측부(252) 및 인터 예측부(254)를 포함한다. 예측부(250)는 전술한 엔트로피 디코딩부(210)를 통해 복호화된 부호화 타입, 각 영역에 대한 변환 계수, 인트라/인터 부호화 정보 등을 활용하여 예측 픽쳐를 생성한다. 복호화가 수행되는 현재 블록을 복원하기 위해서, 현재 블록이 포함된 현재 픽쳐 또는 다른 픽쳐들의 복호화된 영역이 이용될 수 있다. 복원에 현재 픽쳐만을 이용하는, 즉 인트라 예측 또는 인트라 BC 예측을 수행하는 픽쳐(또는, 타일/슬라이스)를 인트라 픽쳐 또는 I 픽쳐(또는, 타일/슬라이스), 인트라 예측, 인터 예측 및 인트라 BC 예측을 모두 수행할 수 있는 픽쳐(또는, 타일/슬라이스)를 인터 픽쳐(또는, 타일/슬라이스)라고 한다. 인터 픽쳐(또는, 타일/슬라이스) 중 각 블록의 샘플값들을 예측하기 위하여 최대 하나의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 예측 픽쳐(predictive picture) 또는 P 픽쳐(또는, 타일/슬라이스)라고 하며, 최대 두 개의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 쌍예측 픽쳐(Bi-predictive picture) 또는 B 픽쳐(또는, 타일/슬라이스) 라고 한다. 다시 말해서, P 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 하나의 모션 정보 세트를 이용하고, B 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 두 개의 모션 정보 세트를 이용한다. 여기서, 모션 정보 세트는 하나 이상의 모션 벡터와 하나의 참조 픽쳐 인덱스를 포함한다.
인트라 예측부(252)는 인트라 부호화 정보 및 현재 픽쳐 내의 복원된 샘플들을 이용하여 예측 블록을 생성한다. 전술한 바와 같이, 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스 중 적어도 하나를 포함할 수 있다. 인트라 예측부(252)는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다. 본 개시에서, 복원된 샘플들, 참조 샘플들 및 현재 블록의 샘플들은 픽셀들을 나타낼 수 있다. 또한, 샘플 값(sample value)들은 픽셀 값들을 나타낼 수 있다.
일 실시예에 따르면, 참조 샘플들은 현재 블록의 주변 블록에 포함된 샘플들일 수 있다. 예를 들어, 참조 샘플들은 현재 블록의 좌측 경계에 인접한 샘플들 및/또는 상측 경계에 인접한 샘플들일 수 있다. 또한, 참조 샘플들은 현재 블록의 주변 블록의 샘플들 중 현재 블록의 좌측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들 및/또는 현재 블록의 상측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들일 수 있다. 이때, 현재 블록의 주변 블록은 현재 블록에 인접한 좌측(L) 블록, 상측(A) 블록, 하좌측(Below Left, BL) 블록, 상우측(Above Right, AR) 블록 또는 상좌측(Above Left, AL) 블록 중 적어도 하나를 포함할 수 있다.
인터 예측부(254)는 복호 픽쳐 버퍼(256)에 저장된 참조 픽쳐 및 인터 부호화 정보를 이용하여 예측 블록을 생성한다. 인터 부호화 정보는 참조 블록에 대한 현재 블록의 모션 정보 세트(참조 픽쳐 인덱스, 모션 벡터 정보 등)를 포함할 수 있다. 인터 예측에는 L0 예측, L1 예측 및 쌍예측(Bi-prediction)이 있을 수 있다. L0 예측은 L0 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측이고, L1 예측은 L1 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측을 의미한다. 이를 위해서는 1세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 필요할 수 있다. 쌍예측 방식에서는 최대 2개의 참조 영역을 이용할 수 있는데, 이 2개의 참조 영역은 동일한 참조 픽쳐에 존재할 수도 있고, 서로 다른 픽쳐에 각각 존재할 수도 있다. 즉, 쌍예측 방식에서는 최대 2세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 이용될 수 있는데, 2개의 모션 벡터가 동일한 참조 픽쳐 인덱스에 대응될 수도 있고 서로 다른 참조 픽쳐 인덱스에 대응될 수도 있다. 이때, 참조 픽쳐들은 현재 픽쳐를 기준으로 시간적으로 이전 또는 이후에 위치하는 픽쳐로서, 이미 복원된 완료된 픽쳐가 될 수 있다. 일 실시예에 따라, 쌍예측 방식에서는 사용되는 2개의 참조 영역은 L0 픽쳐 리스트 및 L1 픽쳐 리스트 각각에서 선택된 영역일 수 있다.
인터 예측부(254)는 모션 벡터 및 참조 픽쳐 인덱스를 이용하여 현재 블록의 참조 블록을 획득할 수 있다. 상기 참조 블록은 참조 픽쳐 인덱스에 대응하는 참조 픽쳐 내에 존재한다. 또한, 모션 벡터에 의해서 특정된 블록의 샘플 값 또는 이의 보간(interpolation)된 값이 현재 블록의 예측자(predictor)로 이용될 수 있다. 서브펠(sub-pel) 단위의 픽셀 정확도를 갖는 모션 예측을 위하여 이를 테면, 휘도 신호에 대하여 8-탭 보간 필터가, 색차 신호에 대하여 4-탭 보간 필터가 사용될 수 있다. 다만, 서브펠 단위의 모션 예측을 위한 보간 필터는 이에 한정되지 않는다. 이와 같이 인터 예측부(254)는 이전에 복원된 픽쳐로부터 현재 유닛의 텍스쳐를 예측하는 모션 보상(motion compensation)을 수행한다. 이때, 인터 예측부는 모션 정보 세트를 이용할 수 있다.
추가적인 실시예에 따라, 예측부(250)는 IBC 예측부(미도시)를 포함할 수 있다. IBC 예측부는 현재 픽쳐 내의 복원된 샘플들을 포함하는 특정 영역을 참조하여 현재 영역을 복원할 수 있다. IBC 예측부는 엔트로피 디코딩부(210)로부터 획득된 IBC 부호화 정보를 이용하여 IBC 예측을 수행할 수 있다. IBC 부호화 정보는 블록 벡터 정보를 포함할 수 있다.
상기 인트라 예측부(252) 또는 인터 예측부(254)로부터 출력된 예측값, 및 역변환부(225)로부터 출력된 레지듀얼 값이 더해져서 복원된 비디오 픽쳐가 생성된다. 즉, 비디오 신호 디코딩 장치(200)는 예측부(250)에서 생성된 예측 블록과 역변환부(225)로부터 획득된 레지듀얼을 이용하여 현재 블록을 복원한다.
한편, 도 2의 블록도는 본 발명의 일 실시예에 따른 디코딩 장치(200)를 나타낸 것으로서, 분리하여 표시된 블록들은 디코딩 장치(200)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 디코딩 장치(200)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 디코딩 장치(200)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.
한편, 본 명세서에서 제안된 기술은 인코더와 디코더의 방법 및 장치에 모두 적용 가능한 기술이며, 시그널링과 파싱으로 기술된 부분은 설명의 편의를 위해 기술한 것일 수 있다. 일반적으로 시그널링은 인코더 관점에서 각 신택스(syntax)를 부호화하기 위한 것이고, 파싱은 디코더 관점에서 각 신택스의 해석을 위한 것으로 설명될 수 있다. 즉, 각 신택스는 인코더로부터 비트스트림에 포함되어 시그널링될 수 있으며, 디코더에서는 신택스를 파싱하여 복원과정에서 사용할 수 있다. 이때, 규정된 계층적 구성대로 나열한 각 신택스에 대한 비트의 시퀀스를 비트스트림이라고 할 수 있다.
하나의 픽쳐는 서브 픽쳐(sub-picture), 슬라이스(slice), 타일(tile) 등으로 분할되어 부호화될 수 있다. 서브 픽쳐는 하나 이상의 슬라이스 또는 타일을 포함할 수 있다. 하나의 픽쳐가 여러 개의 슬라이스 또는 타일로 분할되어 부호화되었을 경우, 픽쳐 내의 모든 슬라이스 또는 타일이 디코딩이 완료되어야만 화면에 출력이 가능하다. 반면에, 하나의 픽쳐가 여러 개의 서브 픽쳐로 부호화되었을 경우, 임의의 서브 픽쳐만 디코딩되어 화면에 출력될 수 있다. 슬라이스는 여러 개의 타일 또는 서브 픽쳐를 포함할 수 있다. 또는 타일은 여러 개의 서브 픽쳐 또는 슬라이스를 포함할 수 있다. 서브 픽쳐, 슬라이스, 타일은 서로 독립적으로 인코딩 또는 디코딩이 가능하므로 병렬처리 및 처리 속도 향상에 효과적이다. 하지만, 인접한 다른 서브 픽쳐, 다른 슬라이스, 다른 타일의 부호화된 정보를 이용할 수 없으므로 비트량이 증가되는 단점이 있다. 서브 픽쳐, 슬라이스, 타일은 여러 개의 코딩 트리 유닛(Coding Tree Unit, CTU)으로 분할되어 부호화될 수 있다.
도 3은 픽쳐 내에서 코딩 트리 유닛(Coding Tree Unit, CTU)이 코딩 유닛들(Coding Units, CUs)로 분할되는 실시예를 도시한다. 비디오 신호의 코딩 과정에서, 픽쳐는 코딩 트리 유닛(CTU)들의 시퀀스로 분할될 수 있다. 코딩 트리 유닛은 휘도(luma) 코딩 트리 블록(Coding Tree Block, CTB)와 2개의 색차(chroma) 코딩 트리 블록들, 그리고 그것의 부호화된 신택스(syntax) 정보로 구성될 수 있다. 하나의 코딩 트리 유닛은 하나의 코딩 유닛으로 구성될 수 있으며, 또는 하나의 코딩 트리 유닛은 여러 개의 코딩 유닛으로 분할될 수 있다. 하나의 코딩 유닛은 휘도 코딩 블록(Coding Block, CB)과 2개의 색차 코딩 블록들, 그리고 그것의 부호화된 신택스 정보로 구성될 수 있다. 하나의 코딩 블록은 여러 개의 서브 코딩 블록으로 분할될 수 있다. 하나의 코딩 유닛은 하나의 변환 유닛(Transform Unit, TU)으로 구성될 수 있으며, 또는 하나의 코딩 유닛은 여러 개의 변환 유닛으로 분할될 수 있다. 하나의 변환 유닛은 휘도 변환 블록(Transform Block, TB)과 2개의 색차 변환 블록들, 그리고 그것의 부호화된 신택스 정보로 구성될 수 있다. 코딩 트리 유닛은 복수의 코딩 유닛들로 분할될 수 있다. 코딩 트리 유닛은 분할되지 않고 리프 노드가 될 수도 있다. 이 경우, 코딩 트리 유닛 자체가 코딩 유닛이 될 수 있다.
코딩 유닛은 상기에서 설명한 비디오 신호의 처리 과정, 즉 인트라/인터 예측, 변환, 양자화 및/또는 엔트로피 코딩 등의 과정에서 픽쳐를 처리하기 위한 기본 단위를 가리킨다. 하나의 픽쳐 내에서 코딩 유닛의 크기 및 모양은 일정하지 않을 수 있다. 코딩 유닛은 정사각형 또는 직사각형의 모양을 가질 수 있다. 직사각형 코딩 유닛(또는, 직사각형 블록)은 수직 코딩 유닛(또는, 수직 블록)과 수평 코딩 유닛(또는, 수평 블록)을 포함한다. 본 명세서에서, 수직 블록은 높이가 너비보다 큰 블록이며, 수평 블록은 너비가 높이보다 큰 블록이다. 또한, 본 명세서에서 정사각형이 아닌(non-square) 블록은 직사각형 블록을 가리킬 수 있지만, 본 발명은 이에 한정되지 않는다.
도 3을 참조하면, 코딩 트리 유닛은 먼저 쿼드 트리(Quad Tree, QT) 구조로 분할된다. 즉, 쿼드 트리 구조에서 2NX2N 크기를 가지는 하나의 노드는 NXN 크기를 가지는 네 개의 노드들로 분할될 수 있다. 본 명세서에서 쿼드 트리는 4진(quaternary) 트리로도 지칭될 수 있다. 쿼드 트리 분할은 재귀적으로 수행될 수 있으며, 모든 노드들이 동일한 깊이로 분할될 필요는 없다.
한편, 전술한 쿼드 트리의 리프 노드(leaf node)는 멀티-타입 트리(Multi-Type Tree, MTT) 구조로 더욱 분할될 수 있다. 본 발명의 실시예에 따르면, 멀티 타입 트리 구조에서는 하나의 노드가 수평 또는 수직 분할의 2진(binary, 바이너리) 또는 3진(ternary, 터너리) 트리 구조로 분할될 수 있다. 즉, 멀티-타입 트리 구조에는 수직 바이너리 분할, 수평 바이너리 분할, 수직 터너리 분할 및 수평 터너리 분할의 4가지 분할 구조가 존재한다. 본 발명의 실시예에 따르면, 상기 각 트리 구조에서 노드의 너비 및 높이는 모두 2의 거듭제곱 값을 가질 수 있다. 예를 들어, 바이너리 트리(Binary Tree, BT) 구조에서, 2NX2N 크기의 노드는 수직 바이너리 분할에 의해 2개의 NX2N 노드들로 분할되고, 수평 바이너리 분할에 의해 2개의 2NXN 노드들로 분할될 수 있다. 또한, 터너리 트리(Ternary Tree, TT) 구조에서, 2NX2N 크기의 노드는 수직 터너리 분할에 의해 (N/2)X2N, NX2N 및 (N/2)X2N의 노드들로 분할되고, 수평 터너리 분할에 의해 2NX(N/2), 2NXN 및 2NX(N/2)의 노드들로 분할될 수 있다. 이러한 멀티-타입 트리 분할은 재귀적으로 수행될 수 있다.
멀티-타입 트리의 리프 노드는 코딩 유닛이 될 수 있다. 코딩 유닛이 최대 변환 길이에 비해 크지 않은 경우, 해당 코딩 유닛은 더 이상의 분할 없이 예측 및/또는 변환의 단위로 사용될 수 있다. 일 실시예로서, 현재 코딩 유닛의 너비 또는 높이가 최대 변환 길이보다 큰 경우, 현재 코딩 유닛은 분할에 관한 명시적 시그널링 없이 복수의 변환 유닛으로 분할될 수 있다. 한편, 전술한 쿼드 트리 및 멀티-타입 트리에서 다음의 파라메터들 중 적어도 하나가 사전에 정의되거나 PPS, SPS, VPS 등과 같은 상위 레벨 세트의 RBSP를 통해 전송될 수 있다. 1) CTU 크기: 쿼드 트리의 루트 노드(root node) 크기, 2) 최소 QT 크기(MinQtSize): 허용된 최소 QT 리프 노드 크기, 3) 최대 BT 크기(MaxBtSize): 허용된 최대 BT 루트 노드 크기, 4) 최대 TT 크기(MaxTtSize): 허용된 최대 TT 루트 노드 크기, 5) 최대 MTT 깊이(MaxMttDepth): QT의 리프 노드로부터의 MTT 분할의 최대 허용 깊이, 6) 최소 BT 크기(MinBtSize): 허용된 최소 BT 리프 노드 크기, 7) 최소 TT 크기(MinTtSize): 허용된 최소 TT 리프 노드 크기.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다. 전술한 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하기 위해 기 설정된 플래그들이 사용될 수 있다. 도 4를 참조하면, 노드의 분할 여부를 지시하는 플래그 'split_cu_flag', 쿼드 트리 노드의 분할 여부를 지시하는 플래그 'split_qt_flag', 멀티-타입 트리 노드의 분할 방향을 지시하는 플래그 'mtt_split_cu_vertical_flag' 또는 멀티-타입 트리 노드의 분할 모양을 지시하는 플래그 'mtt_split_cu_binary_flag' 중 적어도 하나가 사용될 수 있다.
본 발명의 실시예에 따르면, 현재 노드의 분할 여부를 지시하는 플래그인 'split_cu_flag'가 먼저 시그널링될 수 있다. 'split_cu_flag'의 값이 0인 경우, 현재 노드가 분할되지 않는 것을 나타내며, 현재 노드는 코딩 유닛이 된다. 현재 노드가 코팅 트리 유닛인 경우, 코딩 트리 유닛은 분할되지 않은 하나의 코딩 유닛을 포함한다. 현재 노드가 쿼드 트리 노드 'QT node'인 경우, 현재 노드는 쿼드 트리의 리프 노드 'QT leaf node'이며 코딩 유닛이 된다. 현재 노드가 멀티-타입 트리 노드 'MTT node'인 경우, 현재 노드는 멀티-타입 트리의 리프 노드 'MTT leaf node'이며 코딩 유닛이 된다.
'split_cu_flag'의 값이 1인 경우, 현재 노드는 'split_qt_flag'의 값에 따라 쿼드 트리 또는 멀티-타입 트리의 노드들로 분할될 수 있다. 코딩 트리 유닛은 쿼드 트리의 루트 노드이며, 쿼드 트리 구조로 우선 분할될 수 있다. 쿼드 트리 구조에서는 각각의 노드 'QT node' 별로 'split_qt_flag'가 시그널링된다. 'split_qt_flag'의 값이 1인 경우 해당 노드는 4개의 정사각형 노드들로 분할되며, 'split_qt_flag'의 값이 0인 경우 해당 노드는 쿼드 트리의 리프 노드 'QT leaf node'가 되며, 해당 노드는 멀티-타입 노드들로 분할된다. 본 발명의 실시예에 따르면, 현재 노드의 종류에 따라서 쿼드 트리 분할은 제한될 수 있다. 현재 노드가 코딩 트리 유닛(쿼트 트리의 루트 노드) 또는 쿼트 트리 노드인 경우에 쿼드 트리 분할이 허용될 수 있으며, 현재 노드가 멀티-타입 트리 노드인 경우 쿼트 트리 분할은 허용되지 않을 수 있다. 각각의 쿼드 트리 리프 노드 'QT leaf node'는 멀티-타입 트리 구조로 더 분할될 수 있다. 상술한 바와 같이, 'split_qt_flag'가 0인 경우 현재 노드는 멀티-타입 노드들로 분할될 수 있다. 분할 방향 및 분할 모양을 지시하기 위하여, 'mtt_split_cu_vertical_flag' 및 'mtt_split_cu_binary_flag'가 시그널링될 수 있다. 'mtt_split_cu_vertical_flag'의 값이 1인 경우 노드 'MTT node'의 수직 분할이 지시되며, 'mtt_split_cu_vertical_flag'의 값이 0인 경우 노드 'MTT node'의 수평 분할이 지시된다. 또한, 'mtt_split_cu_binary_flag'의 값이 1인 경우 노드 'MTT node'는 2개의 직사각형 노드들로 분할되며, 'mtt_split_cu_binary_flag'의 값이 0인 경우 노드 'MTT node'는 3개의 직사각형 노드들로 분할된다.
트리 분할 구조는 휘도 블록과 색차 블록이 동일한 형태로 분할될 수 있다. 즉, 색차 블록은 휘도 블록의 분할 형태를 참조하여 색차 블록을 분할할 수 있다. 현재 색차 블록이 임의의 정해진 크기보다 적다면, 휘도 블록이 분할되었더라도 색차 블록은 분할되지 않을 수 있다.
트리 분할 구조는 휘도 블록과 색차 블록이 서로 다른 형태를 가질 수 있다. 이때, 휘도 블록에 대한 분할 정보와 색차 블록에 대한 분할 정보가 각각 시그널링될 수 있다. 또한, 분할 정보 뿐만 아니라 휘도 블록과 색차 블록의 부호화 정보도 다를 수 있다. 실시 일 예로, 휘도 블록과 색차 블록의 인트라 부호화 모드, 움직임 정보에 대한 부호화 정보 등이 적어도 하나 이상 다를 수 있다.
가장 작은 단위로 분할될 노드는 하나의 코딩 블록으로 처리될 수 있다. 현재 블록이 코딩 블록일 경우, 코딩 블록은 여러 개의 서브 블록(서브 코딩 블록)으로 분할될 수 있으며, 각 서브 블록의 예측 정보는 서로 같거나 또는 다를 수 있다. 실시 일 예로, 코딩 유닛이 인트라 모드일 경우, 각 서브 블록의 인트라 예측 모드는 서로 같거나 또는 다를 수 있다. 또한, 코딩 유닛이 인터 모드일 경우, 각 서브 블록의 움직임 정보는 서로 같거나 또는 다를 수 있다. 또한, 각 서브 블록은 서로 독립적으로 인코딩 또는 디코딩이 가능할 수 있다. 각각의 서브 블록은 서브 블록 인덱스(sub-block index, sbIdx)를 통해 구분될 수 있다. 또한 코딩 유닛이 서브 블록으로 분할될 때, 수평 또는 수직 방향으로 분할되거나 사선으로 분할될 수 있다. 인트라 모드에서 현재 코딩 유닛을 수평 또는 수직 방향으로 2개 또는 4개의 서브 블록으로 분할하는 모드를 ISP(Intra Sub Partitions)이라 한다. 인터 모드에서 현재 코딩 블록을 사선으로 분할하는 모드를 GPM(Geometric partitioning mode)이라 한다. GPM모드에서 사선의 위치와 방향은 미리 정해진 각도 테이블을 사용하여 유도하고, 각도 테이블의 인덱스 정보가 시그널링된다.
코딩을 위한 픽쳐 예측(모션 보상)은 더 이상 나누어지지 않는 코딩 유닛(즉 코딩 트리 유닛의 리프 노드)을 대상으로 이루어진다. 이러한 예측을 수행하는 기본 단위를 이하에서는 예측 유닛(prediction unit) 또는 예측 블록(prediction block)이라고 한다.
이하, 본 명세서에서 사용되는 유닛이라는 용어는 예측을 수행하는 기본 단위인 상기 예측 유닛을 대체하는 용어로 사용될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 더욱 광의적으로는 상기 코딩 유닛을 포함하는 개념으로 이해될 수 있다.
도 5 및 도 6은 본 발명의 실시예에 따른 인트라 예측 방법을 더욱 구체적으로 도시한다. 전술한 바와 같이, 인트라 예측부는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다.
먼저, 도 5는 인트라 예측 모드에서 현재 블록의 예측을 위해 사용되는 참조 샘플들의 일 실시예를 도시한다. 일 실시예에 따르면, 참조 샘플들은 현재 블록의 좌측 경계에 인접한 샘플들 및/또는 상측 경계에 인접한 샘플들일 수 있다. 도 5에 도시된 바와 같이, 현재 블록의 크기가 WXH이고 현재 블록에 인접한 단일 참조 라인(line)의 샘플들이 인트라 예측에 사용될 경우, 현재 블록의 좌측 및/또는 상측에 위치한 최대 2W+2H+1개의 주변 샘플들을 사용하여 참조 샘플들이 설정될 수 있다.
한편, 현재 블록의 인트라 예측을 위해 다중 참조 라인의 픽셀들이 사용될 수 있다. 다중 참조 라인은 현재 블록으로부터 기 설정된 범위 이내에 위치한 n개의 라인들로 구성될 수 있다. 일 실시예에 따르면, 인트라 예측을 위해 다중 참조 라인의 픽셀들이 사용될 경우, 참조 픽셀들로 설정될 라인들을 지시하는 별도의 인덱스 정보가 시그널링될 수 있으며, 이를 참조 라인 인덱스라고 명명할 수 있다.
또한, 참조 샘플로 사용될 적어도 일부의 샘플이 아직 복원되지 않은 경우, 인트라 예측부는 참조 샘플 패딩 과정을 수행하여 참조 샘플을 획득할 수 있다. 또한, 인트라 예측부는 인트라 예측의 오차를 줄이기 위해 참조 샘플 필터링 과정을 수행할 수 있다. 즉, 주변 샘플들 및/또는 참조 샘플 패딩 과정에 의해 획득된 참조 샘플들에 필터링을 수행하여 필터링된 참조 샘플들을 획득할 수 있다. 인트라 예측부는 이와 같이 획득된 참조 샘플들을 이용하여 현재 블록의 샘플들을 예측한다. 인트라 예측부는 필터링되지 않은 참조 샘플들 또는 필터링된 참조 샘플들을 이용하여 현재 블록의 샘플들을 예측한다. 본 개시에서, 주변 샘플들은 적어도 하나의 참조 라인 상의 샘플들을 포함할 수 있다. 예를 들어, 주변 샘플들은 현재 블록의 경계에 인접한 라인 상의 인접 샘플들을 포함할 수 있다.
다음으로, 도 6은 인트라 예측에 사용되는 예측 모드들의 일 실시예를 도시한다. 인트라 예측을 위해, 인트라 예측 방향을 지시하는 인트라 예측 모드 정보가 시그널링될 수 있다. 인트라 예측 모드 정보는 인트라 예측 모드 세트를 구성하는 복수의 인트라 예측 모드들 중 어느 하나를 지시한다. 현재 블록이 인트라 예측 블록일 경우, 디코더는 비트스트림으로부터 현재 블록의 인트라 예측 모드 정보를 수신한다. 디코더의 인트라 예측부는 추출된 인트라 예측 모드 정보에 기초하여 현재 블록에 대한 인트라 예측을 수행한다.
본 발명의 실시예에 따르면, 인트라 예측 모드 세트는 인트라 예측에 사용되는 모든 인트라 예측 모드들(예, 총 67개의 인트라 예측 모드들)을 포함할 수 있다. 더욱 구체적으로, 인트라 예측 모드 세트는 평면 모드, DC 모드 및 복수의(예, 65개의) 각도 모드들(즉, 방향 모드들)을 포함할 수 있다. 각각의 인트라 예측 모드는 기 설정된 인덱스(즉, 인트라 예측 모드 인덱스)를 통해 지시될 수 있다. 예를 들어, 도 6에 도시된 바와 같이 인트라 예측 모드 인덱스 0은 평면(planar) 모드를 지시하고, 인트라 예측 모드 인덱스 1은 DC 모드를 지시한다. 또한, 인트라 예측 모드 인덱스 2 내지 66은 서로 다른 각도 모드들을 각각 지시할 수 있다. 각도 모드들은 기 설정된 각도 범위 이내의 서로 다른 각도들을 각각 지시한다. 예를 들어, 각도 모드는 시계 방향으로 45도에서 -135도 사이의 각도 범위(즉, 제1 각도 범위) 이내의 각도를 지시할 수 있다. 상기 각도 모드는 12시 방향을 기준으로 정의될 수 있다. 이때, 인트라 예측 모드 인덱스 2는 수평 대각(Horizontal Diagonal, HDIA) 모드를 지시하고, 인트라 예측 모드 인덱스 18은 수평(Horizontal, HOR) 모드를 지시하고, 인트라 예측 모드 인덱스 34는 대각(Diagonal, DIA) 모드를 지시하고, 인트라 예측 모드 인덱스 50은 수직(Vertical, VER) 모드를 지시하며, 인트라 예측 모드 인덱스 66은 수직 대각(Vertical Diagonal, VDIA) 모드를 지시한다.
한편, 기 설정된 각도 범위는 현재 블록의 모양에 따라 서로 다르게 설정될 수 있다. 예를 들어, 현재 블록이 직사각형 블록일 경우 시계 방향으로 45도를 초과하거나 -135도 미만 각도를 지시하는 광각 모드가 추가적으로 사용될 수 있다. 현재 블록이 수평 블록일 경우, 각도 모드는 시계 방향으로 (45+offset1)도에서 (-135+offset1)도 사이의 각도 범위(즉, 제2 각도 범위) 이내의 각도를 지시할 수 있다. 이때, 제1 각도 범위를 벗어나는 각도 모드 67 내지 76이 추가적으로 사용될 수 있다. 또한, 현재 블록이 수직 블록일 경우, 각도 모드는 시계 방향으로 (45-offset2)도에서 (-135-offset2)도 사이의 각도 범위(즉, 제3 각도 범위) 이내의 각도를 지시할 수 있다. 이때, 제1 각도 범위를 벗어나는 각도 모드 -10 내지 -1이 추가적으로 사용될 수 있다. 본 발명의 실시예에 따르면, offset1 및 offset2의 값은 직사각형 블록의 너비와 높이 간의 비율에 따라 서로 다르게 결정될 수 있다. 또한, offset1 및 offset2는 양수일 수 있다.
본 발명의 추가적인 실시예에 따르면, 인트라 예측 모드 세트를 구성하는 복수의 각도 모드들은 기본 각도 모드와 확장 각도 모드를 포함할 수 있다. 이때, 확장 각도 모드는 기본 각도 모드에 기초하여 결정될 수 있다.
일 실시예에 따르면, 기본 각도 모드는 기존 HEVC(High Efficiency Video Coding) 표준의 인트라 예측에서 사용되는 각도에 대응하는 모드이고, 확장 각도 모드는 차세대 비디오 코덱 표준의 인트라 예측에서 새롭게 추가되는 각도에 대응하는 모드일 수 있다. 더욱 구체적으로, 기본 각도 모드는 인트라 예측 모드 {2, 4, 6, …, 66} 중 어느 하나에 대응하는 각도 모드이고, 확장 각도 모드는 인트라 예측 모드 {3, 5, 7, …, 65} 중 어느 하나에 대응하는 각도 모드일 수 있다. 즉, 확장 각도 모드는 제1 각도 범위 내에서 기본 각도 모드들 사이의 각도 모드일 수 있다. 따라서, 확장 각도 모드가 지시하는 각도는 기본 각도 모드가 지시하는 각도에 기초하여 결정될 수 있다.
다른 실시예에 따르면, 기본 각도 모드는 기 설정된 제1 각도 범위 이내의 각도에 대응하는 모드이고, 확장 각도 모드는 상기 제1 각도 범위를 벗어나는 광각 모드일 수 있다. 즉, 기본 각도 모드는 인트라 예측 모드 {2, 3, 4, …, 66} 중 어느 하나에 대응하는 각도 모드이고, 확장 각도 모드는 인트라 예측 모드 {-14, -13, -12, …, -1} 및 {67, 68, …, 80} 중 어느 하나에 대응하는 각도 모드일 수 있다. 확장 각도 모드가 지시하는 각도는 대응하는 기본 각도 모드가 지시하는 각도의 반대편 각도로 결정될 수 있다. 따라서, 확장 각도 모드가 지시하는 각도는 기본 각도 모드가 지시하는 각도에 기초하여 결정될 수 있다. 한편, 확장 각도 모드들의 개수는 이에 한정되지 않으며, 현재 블록의 크기 및/또는 모양에 따라 추가적인 확장 각도들이 정의될 수 있다. 한편, 인트라 예측 모드 세트에 포함되는 인트라 예측 모드들의 총 개수는 전술한 기본 각도 모드와 확장 각도 모드의 구성에 따라 가변할 수 있다.
상기 실시예에서, 확장 각도 모드들 간의 간격은 대응하는 기본 각도 모드들 간의 간격에 기초하여 설정될 수 있다. 예를 들어, 확장 각도 모드들 {3, 5, 7, …, 65} 간의 간격은 대응하는 기본 각도 모드들 {2, 4, 6, …, 66} 간의 간격에 기초하여 결정될 수 있다. 또한, 확장 각도 모드들 {-14, -13, …, -1} 간의 간격은 대응하는 반대편의 기본 각도 모드들 {53, 53, …, 66} 간의 간격에 기초하여 결정되고, 확장 각도 모드들 {67, 68, …, 80} 간의 간격은 대응하는 반대편의 기본 각도 모드들 {2, 3, 4, …, 15} 간의 간격에 기초하여 결정될 수 있다. 확장 각도 모드들 간의 각도 간격은 대응하는 기본 각도 모드들 간의 각도 간격과 동일하도록 설정될 수 있다. 또한, 인트라 예측 모드 세트에서 확장 각도 모드들의 개수는 기본 각도 모드들의 개수 이하로 설정될 수 있다.
본 발명의 실시예에 따르면, 확장 각도 모드는 기본 각도 모드를 기초로 시그널링될 수 있다. 예를 들어, 광각 모드(즉, 확장 각도 모드)는 제1 각도 범위 이내의 적어도 하나의 각도 모드(즉, 기본 각도 모드)를 대체할 수 있다. 대체되는 기본 각도 모드는 광각 모드의 반대편에 대응하는 각도 모드일 수 있다. 즉, 대체되는 기본 각도 모드는 광각 모드가 지시하는 각도의 반대 방향의 각도에 대응하거나 또는 상기 반대 방향의 각도로부터 기 설정된 오프셋 인덱스만큼 차이 나는 각도에 대응하는 각도 모드이다. 본 발명의 실시예에 따르면, 기 설정된 오프셋 인덱스는 1이다. 대체되는 기본 각도 모드에 대응하는 인트라 예측 모드 인덱스는 광각 모드에 다시 매핑되어 해당 광각 모드를 시그널링할 수 있다. 예를 들어, 광각 모드 {-14, -13, …, -1}은 인트라 예측 모드 인덱스 {52, 53, …, 66}에 의해 각각 시그널링될 수 있고, 광각 모드 {67, 68, …, 80}은 인트라 예측 모드 인덱스 {2, 3, …, 15}에 의해 각각 시그널링될 수 있다. 이와 같이 기본 각도 모드를 위한 인트라 예측 모드 인덱스가 확장 각도 모드를 시그널링하도록 함으로, 각 블록의 인트라 예측에 사용되는 각도 모드들의 구성이 서로 다르더라도 동일한 세트의 인트라 예측 모드 인덱스들이 인트라 예측 모드의 시그널링에 사용될 수 있다. 따라서, 인트라 예측 모드 구성의 변화에 따른 시그널링 오버헤드가 최소화될 수 있다.
한편, 확장 각도 모드의 사용 여부는 현재 블록의 모양 및 크기 중 적어도 하나에 기초하여 결정될 수 있다. 일 실시예에 따르면, 현재 블록의 크기가 기 설정된 크기보다 클 경우 확장 각도 모드가 현재 블록의 인트라 예측을 위해 사용되고, 그렇지 않을 경우 기본 각도 모드만 현재 블록의 인트라 예측을 위해 사용될 수 있다. 다른 실시예에 따르면, 현재 블록이 정사각형이 아닌 블록인 경우 확장 각도 모드가 현재 블록의 인트라 예측을 위해 사용되고, 현재 블록이 정사각형 블록인 경우 기본 각도 모드만 현재 블록의 인트라 예측을 위해 사용될 수 있다.
인트라 예측부는 현재 블록의 인트라 예측 모드 정보에 기초하여, 현재 블록의 인트라 예측에 사용될 참조 샘플들 및/또는 보간된 참조 샘플들을 결정한다. 인트라 예측 모드 인덱스가 특정 각도 모드를 지시할 경우, 현재 블록의 현재 샘플로부터 상기 특정 각도에 대응하는 참조 샘플 또는 보간된 참조 샘플이 현재 픽셀의 예측에 사용된다. 따라서, 인트라 예측 모드에 따라 서로 다른 세트의 참조 샘플들 및/또는 보간된 참조 샘플들이 인트라 예측에 사용될 수 있다. 참조 샘플들 및 인트라 예측 모드 정보를 이용하여 현재 블록의 인트라 예측이 수행되고 나면, 디코더는 역변환부로부터 획득된 현재 블록의 잔차 신호를 현재 블록의 인트라 예측 값과 더하여 현재 블록의 샘플 값들을 복원한다.
인터 예측에 사용되는 움직임(모션) 정보에는 참조 방향 지시 정보(inter_pred_idc), 참조 픽쳐 인덱스(ref_idx_l0, ref_idx_l1), 움직임(모션) 벡터(mvL0, mvL1)이 포함될 수 있다. 참조 방향 지시 정보에 따라 참조 픽쳐 리스트 활용 정보(predFlagL0, predFlagL1)가 설정될 수 있다. 실시 일 예로, L0 참조 픽쳐를 사용하는 단방향 예측인 경우, predFlagL0=1, predFlagL1=0로 설정될 수 있다. L1 참조 픽쳐를 사용하는 단방향 예측인 경우, predFlagL0=0, predFlagL1=1로 설정될 수 있다. L0와 L1 참조 픽쳐를 모두 사용하는 양방향 예측인 경우, predFlagL0=1, predFlagL1=1로 설정될 수 있다.
현재 블록이 코딩 유닛일 경우, 코딩 유닛은 여러 개의 서브 블록으로 분할될 수 있으며, 각 서브 블록의 예측 정보는 서로 같거나 또는 다를 수 있다. 실시 일 예로, 코딩 유닛이 인트라 모드일 경우, 각 서브 블록의 인트라 예측 모드는 서로 같거나 또는 다를 수 있다. 또한, 코딩 유닛이 인터 모드일 경우, 각 서브 블록의 움직임 정보는 서로 같거나 또는 다를 수 있다. 또한, 각 서브 블록은 서로 독립적으로 인코딩 또는 디코딩이 가능할 수 있다. 각각의 서브 블록은 서브 블록 인덱스(sub-block index, sbIdx)를 통해 구분될 수 있다.
현재 블록의 움직임 벡터는 주변 블록의 움직임 벡터와 유사할 가능성이 높다. 따라서, 주변 블록의 움직임 벡터는 움직임 예측 값(motion vector predictor, mvp)으로 사용될 수 있고, 현재 블록의 움직임 벡터는 주변 블록의 움직임 벡터를 이용하여 유도될 수 있다. 또한, 움직임 벡터의 정확성을 높이기 위해서, 인코더에서 원본 영상으로 찾은 현재 블록의 최적의 움직임 벡터와 움직임 예측 값 간의 움직임 벡터의 차이(motion vector difference, mvd)가 시그널링될 수 있다.
움직임 벡터는 다양한 해상도를 가질 수 있으며, 블록 단위로 움직임 벡터의 해상도가 달라질 수 있다. 움직임 벡터 해상도는 정수 단위, 반화소 단위, 1/4 화소 단위, 1/16 화소 단위, 4의 정수 화소 단위 등으로 표현될 수 있다. 스크린 콘텐츠와 같은 영상은 문자와 같은 단순한 그래픽 형태이므로 보간(interpolation) 필터를 적용하지 않아도 되므로, 정수 단위와 4의 정수 화소 단위가 블록 단위 선택적으로 적용될 수 있다. 회전 및 스케일을 표현할 수 있는 어파인(Affine) 모드로 부호화된 블록은 형태의 변화가 심하므로, 정수 단위, 1/4 화소 단위, 1/16 화소 단위가 블록 기반 선택적으로 적용될 수 있다. 블록 단위로 움직임 벡터 해상도를 선택적으로 적용할 지에 대한 여부 정보는 amvr_flag으로 시그널링된다. 만일 적용되는 경우, 어떠한 움직임 벡터 해상도를 현재 블록에 적용할지는 amvr_precision_idx으로 시그널링된다.
양방향 예측이 적용되는 블록의 경우, 가중치 평균을 적용할 때 2개의 예측 블록 간의 가중치를 같거나 또는 다르게 적용할 수 있으며, 가중치에 대한 정보는 bcw_idx를 통해 시그널링된다.
움직임 예측 값의 정확도를 높이기 위해서, 머지(Merge) 또는 AMVP(dvanced motion vector prediction) 방법이 블록 단위 선택적으로 사용될 수 있다. Merge 방법은 현재 블록의 움직임 정보를 현재 블록에 인접한 주변 블록의 움직임 정보와 동일하게 구성하는 방법으로, 동질성을 갖는 움직임 영역에서 움직임 정보가 변화없이 공간적으로 전파됨으로써 움직임 정보의 부호화 효율을 증가시키는 장점이 있다. 반면에 AMVP 방법은 정확한 움직임 정보를 표현하기 위해 L0 및 L1 예측 방향으로 각각 움직임 정보를 예측하고 가장 최적의 움직임 정보를 시그널링하는 방법이다. 디코더는 AMVP 또는 Merge 방법을 통해 현재 블록에 대한 움직임 정보를 유도한 후, 참조 픽쳐(reference picture)에서 유도한 움직임 정보에 위치한 참조 블록을 현재 블록을 위한 예측 블록으로 사용한다.
Merge 또는 AMVP에서 움직임 정보를 유도하는 방법은 현재 블록의 주변 블록으로부터 유도된 움직임 정보의 예측 값을 사용하여 움직임 후보 리스트를 구성한 후, 최적의 움직임 후보에 대한 인덱스 정보가 시그널링되는 방법일 수 있다. AMVP의 경우, L0와 L1 각각 움직임 후보 리스트가 유도되므로, L0와 L1 각각에 대한 최적의 움직임 후보 인덱스(mvp_l0_flag, mvp_l1_flag)가 시그널링된다. Merge의 경우, 하나의 움직임 후보 리스트가 유도되므로, 하나의 머지 인덱스(merge_idx)가 시그널링된다. 하나의 코딩 유닛에서 유도되는 움직임 후보 리스트는 다양할 수 있으며, 각 움직임 후보 리스트마다 움직임 후보 인덱스 또는 머지 인덱스가 시그널링될 수 있다. 이때, Merge 모드로 부호화된 블록에서 잔여 블록에 대한 정보가 없는 모드를 머지 스킵(MergeSkip) 모드라고 할 수 있다.
SMVD(Symmetric MVD)는 양방향 예측(bi-directional prediction)의 경우에, L0 방향과 L1 방향의 MVD(Motion Vector Difference) 값이 대칭을 이루도록 하여 전송되는 움직임 정보의 비트량을 줄이는 방법이다. L0 방향과 대칭을 이루는 L1 방향의 MVD 정보는 전송하지 않으며, 더불어 L0 및 L1 방향의 참조 픽쳐 정보도 전송하지 않고 복호화 과정에서 유도한다.
OBMC(Overlapped Block Motion Compensation)는 블록 간의 움직임 정보가 서로 다른 경우, 주변 블록들의 움직임 정보를 사용하여 현재 블록에 대한 예측 블록들을 생성한 후, 예측 블록들을 가중치 평균하여 현재 블록에 대한 최종 예측 블록을 생성하는 방법이다. 이는 움직임 보상된 영상의 블록 경계에서 발생되는 블록킹 현상을 줄여주는 효과가 있다.
일반적으로 머지 움직임 후보는 움직임의 정확도가 낮다. 이러한 머지 움직임 후보의 정확도를 높이기 위해서, MMVD(Merge mode with MVD) 방법이 사용될 수 있다. MMVD 방법은 몇 개의 움직임 차분 값 후보들 중에서 선택된 하나의 후보를 이용하여 움직임 정보를 보정하는 방법이다. MMVD 방법을 통해 획득되는 움직임 정보의 보정 값에 대한 정보(예를 들어, 움직임 차분 값 후보들 중에서 선택된 하나의 후보를 지시하는 인덱스 등)은 비트스트림에 포함되어 디코더로 전송될 수 있다. 기존의 움직임 정보 차분 값을 비트스트림에 포함하는 것에 비해 움직임 정보의 보정 값에 대한 정보를 비트스트림에 포함함으로써 비트량을 절약할 수 있다.
TM(Template Matching) 방법은 현재 블록의 주변 화소를 통해 템플릿을 구성하여 템플릿과 가장 유사도가 높은 매칭 영역을 찾아서 움직임 정보를 보정하는 방법이다. TM(Template matching)은 부호화되는 비트스트림의 크기를 줄이기 위해서, 움직임 정보를 비트스트림에 포함하지 않고 디코더에서 움직임 예측을 수행하는 방법이다. 이때, 디코더는 원본 영상이 없으므로 이미 복원된 주변 블록을 사용하여 현재 블록에 대한 움직임 정보를 개략적으로 유도할 수 있다.
DMVR(Decoder-side Motion Vector Refinement) 방법은 조금 더 정확한 움직임 정보를 찾기 위해 이미 복원된 참조 영상들의 상관성을 통해 움직임 정보를 보정하는 방법으로써, 현재 블록의 양방향 움직임 정보를 사용하여 2개의 참조 픽쳐의 임의의 정해진 영역 내에서 참조 픽쳐 내의 참조 블록 간의 가장 매칭이 잘되는 지점을 새로운 양방향 움직임으로 사용하는 방법이다. 이러한 DMVR이 수행될 때, 인코더는 하나의 블록 단위에서 DMVR을 수행하여 움직임 정보를 보정한 후, 다시 블록을 서브 블록으로 분할하여 각 서브 블록 단위에서 DMVR을 수행하여 서브 블록의 움직임 정보를 다시 보정할 수 있으며, 이를 MP-DMVR(Multi-pass DMVR)이라 할 수 있다.
LIC(Local Illumination Compensation) 방법은 블록 간의 휘도 변화를 보상하는 방법으로, 현재 블록에 인접한 주변 화소들을 사용하여 선형 모델을 유도한 후, 선형 모델을 통해 현재 블록의 휘도 정보를 보상하는 방법이다.
기존 비디오 부호화 방법들은 상하좌우의 평행 이동만을 고려한 움직임 보상을 수행하기 때문에, 현실에서 일반적으로 접하는 확대, 축소, 회전 등과 같은 움직임 포함하고 있는 비디오들의 부호화 시 부호화 효율이 저하된다. 이러한 확대, 축소, 회전에 대한 움직임을 표현하기 위하여, 4개(회전) 또는 6개(확대, 축소, 회전) 파라미터 모델을 이용하는 Affine 모델 기반 움직임 예측 기술이 적용될 수 있다.
BDOF(Bi-Directional Optical Flow)는 양방향 움직임으로 구성된 블록의 참조 블록으로부터 광-흐름(optical-flow) 기반으로 화소의 변화량을 추정하여 예측 블록을 보정하는데 사용된다. 이러한 VVC의 BDOF에서 유도된 움직임 정보를 이용하여 현재 블록의 움직임을 보정할 수 있다.
PROF(Prediction refinement with optical flow)는 서브 블록 단위 Affine 움직임 예측의 정확도를 픽셀 단위 움직임 예측의 정확도와 유사하도록 개선하기 위한 기술이다. PROF는 BDOF와 유사하게 광-흐름(optical-flow)에 기반하여 서브 블록 단위로 Affine 움직임 보상된 픽셀 값들에 대해 픽셀 단위로 보정 값을 계산하여 최종 예측 신호를 획득하는 기술이다.
CIIP(Combined Inter-/Intra-picture Prediction)방법은 현재 블록에 대한 예측 블록을 생성할 때, 화면 내 예측 방법으로 생성한 예측 블록과 화면 간 예측 방법으로 생성한 예측 블록들을 가중치 평균하여 최종 예측 블록을 생성하는 방법이다.
IBC(Intra Block Copy) 방법은 현재 블록과 가장 유사한 부분을 현재 픽쳐 내의 이미 복원된 영역에서 찾아서, 해당 참조 블록을 현재 블록에 대한 예측 블록으로 사용하는 방법이다. 이때, 현재 블록과 참조 블록 간의 거리인 블록 벡터(Block Vector)와 관련된 정보는 비트스트림에 포함될 수 있다. 디코더는 비스트스림에 포함된 블록 벡터와 관련된 정보를 파싱하여 현재 블록을 위한 블록 벡터를 계산하거나 설정할 수 있다.
BCW(Bi-prediction with CU-level Weights) 방법은 서로 다른 참조 픽쳐로 부터 움직임 보상된 두 개의 예측 블록에 대하여, 평균으로 예측 블록을 생성하지 않고, 블록 단위로 적응적으로 가중치를 적용하여 움직임 보상된 두 개의 예측 블록에 가중치 평균을 수행하는 방법이다.
MHP(Multi-hypothesis prediction) 방법은 화면 간 예측 시 단방향 및 양방향 움직임 정보에 추가적인 움직임 정보를 전송함으로써, 다양한 예측 신호를 통한 가중치 예측을 수행하는 방법이다.
CCLM(Cross-component linear model)은 휘도 신호와 해당 휘도 신호와 동일한 위치에 있는 색차 신호 간의 높은 상관성을 이용하여 선형 모델을 구성한 후, 해당 선형 모델을 통해 색차 신호를 예측하는 방법이다. 현재 블록에 인접한 주변 블록 중에서 복원이 완료된 블록을 사용하여 템플릿을 구성한 후, 템플릿을 통해 선형 모델에 대한 파라미터가 유도된다. 다음으로, 영상 포맷에 따라 선택적으로 색차 블록의 크기에 맞게 복원된 현재 휘도 블록이 다운 샘플링된다. 마지막으로, 다운 샘플링된 휘도 블록과 해당 선형 모델을 이용하여 현재 블록의 색차 블록을 예측한다. 이때, 2개 이상의 선형 모델을 사용하는 방법을 MMLM(Multi-model Linear mode)이라고 한다.
독립 스칼라 양자화(independent scalar quantization)에서, 입력된 계수 tk에 대한 복원된 계수 t'k는 관련된 양자화 인덱스(quantization index) qk에만 의존적이다. 즉, 임의의 복원된 계수에 대한 양자화 인덱스(quantization index)는 다른 복원된 계수들에 대한 양자화 인덱스들과는 다른 값을 가진다. 이때 t'k는 tk에서 양자화 오차가 포함된 값일 수 있으며, 양자화 파라미터에 따라 서로 다르거나 또는 같을 수 있다. 여기서, t'k는 복원된 변환 계수 또는 역양자화된 변환계수라고 명명할 수 있으며, 양자화 인덱스를 양자화된 변환 계수라고 명명할 수도 있다.
균일 복원 양자화(URQ; Uniform Reconstruction Quantizers)에서, 복원된 계수들은 동일한 간격으로 배치되는 특성을 지닌다. 이때 인접하는 두 복원 값들 사이의 거리를 양자화 단계 크기(quantization step size)라고 할 수 있다. 복원된 값 중에는 0을 포함할 수 있으며, 사용 가능한 복원 값들의 전체 집합(set)은 양자화 단계 크기에 따라 고유하게 정의될 수 있다. 양자화 단계 크기는 양자화 파라미터에 따라 달라질 수 있다.
기존 방법에서는 양자화로 인해 허용 가능한 복원된 변환 계수들의 집합(세트)이 감소하며, 이러한 집합의 원소(element)는 유한 개일 수 있다. 이로 인해, 원본 영상과 복원된 영상 간의 평균적인 오차를 최소화하는데 한계가 존재한다. 이러한 평균적인 오차를 최소화하기 위한 방법으로 벡터 양자화(Vector Quantization)를 사용할 수 있다.
비디오 부호화에서 사용되는 간단한 형태의 벡터 양자화 방법에는 부호 데이터 은닉(sign data hiding)이 있다. 이는 인코더에서 0이 아닌 하나의 계수에 대한 부호를 부호화하지 않고, 디코더에서는 해당 계수에 대한 부호를 모든 계수들에 대한 절대값의 합이 짝수인지 또는 홀수인지에 따라 결정하는 방법이다. 이를 위해 인코더에서는 적어도 하나의 계수가 '1'이 증가되거나 또는 감소될 수 있으며, 이는 율-왜곡(rate-distortion)에 대한 비용(Cost) 관점에서 최적이 되도록 적어도 하나의 계수가 선택되어 값이 조정될 수 있다. 실시 일 예로, 양자화 간격의 경계에 가까운 값을 가지는 계수가 선택될 수 있다.
또 다른 벡터 양자화 방법에는 트렐리스 부호화된 양자화(Trellis-Coded Quantization)가 있으며, 비디오 부호화에서는 종속 양자화(dependent quantization)에서 최적화된 양자화 값을 얻기 위한 최적의 경로 탐색 기법으로 활용된다. 블록 단위로, 블록 내 모든 계수들에 대한 양자화 후보들을 트렐리스 그래프에 배치하고, 최적화된 양자화 후보들 간의 최적의 트렐리스 경로를 율-왜곡(rate-distortion)에 대한 비용(Cost)을 고려하여 탐색한다. 구체적으로, 비디오 부호화에 적용된 종속 양자화는 변환 계수에 대한 허용 가능한 복원된 변환 계수들의 집합이 복원 순서에서 현재 변환 계수에 선행하는 변환 계수의 값에 의존하도록 설계될 수 있다. 이때, 여러 개의 양자화기를 변환 계수에 따라 선택적으로 사용하게 함으로써, 원본 영상과 복원된 영상 간의 평균적인 오차를 최소화하여 부호화 효율을 높이는 효과가 있다.
인트라 예측 부호화 기술 중에서 MIP(Matrix Intra Prediction) 방법은 행렬 기반 인트라 예측 방법으로 현재 블록에 인접한 주변 블록의 픽셀로부터 방향성을 가지는 예측 방법과 달리, 주변 블록의 좌측 및 상단의 픽셀들을 미리 정의된 행렬 매트릭스와 오프셋 값을 이용하여 예측 신호를 구하는 방법이다.
현재 블록의 인트라 예측 모드를 유도하기 위해서, 현재 블록에 인접하면서 복원된 임의의 영역인 템플릿(template)을 기반으로, 해당 템플릿의 주변 픽셀을 통해 유도된 템플릿에 대한 인트라 예측 모드가 현재 블록의 복원을 위해 이용할 수 있다. 우선, 디코더는 템플릿에 인접한 주변 픽셀(reference)을 이용하여 템플릿에 대한 예측 템플릿을 생성하고, 이미 복원된 템플릿과 가장 유사한 예측 템플릿을 생성한 인트라 예측 모드를 현재 블록의 복원을 위해 사용할 수 있다. 이러한 방법을 TIMD(Template intra mode derivation)이라고 할 수 있다.
일반적으로 인코더는 예측 블록을 생성하기 위한 예측 모드를 결정하여 결정된 예측 모드에 대한 정보가 포함된 비트스트림을 생성할 수 있다. 디코더는 수신한 비트스트림을 파싱하여 인트라 예측 모드를 설정할 수 있다. 이때, 예측 모드에 대한 정보의 비트량은 전체 비트스트림 크기의 10% 정도일 수 있다. 예측 모드에 대한 정보의 비트량을 감소시키기 위해 인코더는 비트스트림에 인트라 예측 모드에 대한 정보를 포함하지 않을 수 있다. 이에, 디코더는 주변 블록의 특성을 이용하여 현재 블록의 복원을 위한 인트라 예측 모드를 유도(결정)할 수 있고, 유도된 인트라 예측 모드를 이용하여 현재 블록을 복원할 수 있다. 이때, 디코더는 인트라 예측 모드를 유도하기 위해 현재 블록에 인접한 주변 화소(픽셀)들마다 소벨(Sobel) 필터를 가로 및 세로 방향으로 적용하여 방향성 정보를 유추한 후, 해당 방향성 정보를 인트라 예측 모드로 매핑하는 방법을 이용할 수 있다. 디코더가 주변 블록을 이용하여 인트라 예측 모드를 유도하는 방법은 DIMD(Decoder side intra mode derivation)로 기술될 수 있다.
도 7은 인터 예측에서 움직임 후보 리스트를 구성하기 위해 사용되는 주변 블록들의 위치를 나타낸 도면이다.
주변 블록들은 공간적인 위치의 블록이거나 시간적인 위치의 블록일 수 있다. 현재 블록에 공간적으로 인접한 주변 블록은 좌측(Left, A1) 블록, 좌하측(Left Below, A0) 블록, 상측(Above, B1) 블록, 상우측(Above Right, B0) 블록 또는 상좌측(Above Left, B2) 블록 중 적어도 하나가 될 수 있다. 현재 블록에 시간적으로 인접한 주변 블록은 대응되는 픽쳐(Collocated picture)에서 현재 블록의 하우측(bottom Right, BR) 블록의 좌상단 픽셀 위치를 포함하는 블록이 될 수 있다. 상기 현재 블록에 시간적으로 인접한 주변 블록이 인트라 모드로 부호화되거나 상기 현재 블록에 시간적으로 인접한 주변 블록이 사용할 수 없는 위치에 존재하면, 현재 픽쳐에 대응되는 픽쳐(Collocated picture)에서 현재 블록의 가로 및 세로의 중앙(Center, Ctr) 픽셀 위치를 포함하는 블록이 시간적 주변 블록으로 사용될 수 있다. 대응되는 픽쳐에서 유도된 움직임 후보 정보는 TMVP(Temporal Motion Vector Predictor)라 지칭될 수 있다. TMVP는 하나의 블록에서 하나만 유도될 수 있고, 하나의 블록을 여러 개의 서브 블록으로 분할한 후, 각 서브 블록마다 각각의 TMVP 후보가 유도될 수 있다. 서브 블록 단위의 TMVP 유도 방법은 sbTMVP(sub-block Temporal Motion Vector Predictor)로 지칭될 수 있다.
본 명세서에서 설명하는 방법들이 적용될 것인지 여부는 슬라이스 타입 정보 (예, I 슬라이스, P 슬라이스, B 슬라이스 인지 여부), 타일인지 여부, 서브 픽쳐인지 여부, 현재 블록의 크기, 코딩 유닛의 깊이, 현재 블록이 휘도 블록인지 색차 블록인지 여부, 참조 프레임인지 비참조 프레임인지 여부, 참조 순서 및 계층에 따른 시간적인 계층 등에 대한 정보들 중 적어도 어느 하나에 기초하여 결정될 수 있다. 본 명세서에서 설명하는 방법들이 적용될 것인지 여부를 결정하기 위해 사용되는 정보들은 디코더 및 인코더 간 미리 약속된 정보일 수 있다. 또한, 이러한 정보들은 프로파일 및 레벨에 따라 결정되어 있을 수 있다. 이러한 정보들은 변수 값으로 표현될 수 있고, 비트스트림에는 변수 값에 대한 정보가 포함될 수 있다. 즉, 디코더는 비트스트림에 포함된 변수 값에 대한 정보를 파싱하여 상술한 방법들이 적용되는지 여부를 결정할 수 있다. 예를 들어, 코딩 유닛의 가로의 길이 또는 세로의 길이에 기초하여 본 명세서에서 설명하는 방법들이 적용될 것인지 여부가 결정될 수 있다. 가로의 길이 또는 세로의 길이가 32 이상(예, 32, 64, 128 등)이면 상술한 방법들은 적용될 수 있다. 또한 가로의 길이 또는 세로의 길이가 32 보다 작은 경우(예, 2, 4, 8, 16)에 본 명세서에서 설명하는 방법들이 적용될 수 있다. 또한 가로의 길이 또는 세로의 길이가 4 또는 8인 경우 본 명세서에서 설명하는 방법들이 적용될 수 있다.
본 명세서에서 기술하는 코딩 유닛은 코딩 블록과 동일한 의미로 기술될 수 있다. 또한, 본 명세서에서 기술하는 코딩 유닛(블록)의 예측은, 코딩 유닛(블록)의 복원과 동일한 의미일 수 있다.
도 8은 본 명세서의 일 실시예에 따른 Multi-hypothesis prediction(MHP)의 동작 과정을 나타내는 도면이다.
MHP 모드는 현재 블록의 부호화 모드가 인터 예측인 경우 적용될 수 있다. 도 8을 참조하면 MHP 모드는 단방향 또는 양방향 인터 예측에 추가적인 데이터를 결합하여 최종 예측 신호를 생성하는 모드일 수 있다. 이때, 추가적인 데이터는 인터 예측 신호일 수 있고, 참조 블록과 관련된 신호일 수 있다. 즉, 디코더는 단방향 또는 양방향 인터 예측에 추가적인 인터 예측 신호를 결합하여 최종 예측 신호를 생성하는 MHP 모드에 기초하여 현재 블록을 복원할 수 있다. 추가적인 인터 예측 신호는 복수 개일 수 있다. 최종 예측 신호는 수학식 1과 같이 가중치에 기초하여 생성될 수 있다. 디코더는 최종 예측 신호에 기초하여 현재 블록의 예측 및 복원을 수행할 수 있다.
Figure PCTKR2022014696-appb-img-000001
수학식 1의 은 현재 블록에 대한 단방향 또는 양방향 인터 예측 신호에 대한 값이고, 는 추가적인 인터 예측 신호에 대한 값(예, 추가적인 참조 블록의 인터 예측 신호에 대한 값)이고, 최종 예측 신호에 대한 값이고, 는 추가적인 인터 예측 신호에 대한 가중치(예, 추가적인 참조 블록의 인터 예측 신호에 대한 가중치)일 수 있다. 이때, 가중치에 대한 정보가(신택스 요소) 비트스트림에 포함될 수 있다. 디코더는 가중치에 대한 정보를 파싱하여 가중치를 획득하고, 획득된 가중치에 기초하여 최종 예측 신호를 생성할 수 있다. 표 1을 참조하면, 가중치에 대한 정보는 add_hyp_weight_idx로 기술될 수 있고, add_hyp_weight_idx가 지시하는 가중치는 1/4 또는 -1/8일 수 있다. 구체적으로, add_hyp_weight_idx의 값이 0이면 가중치는 1/4일 수 있고, add_hyp_weight_idx의 값이 1이면 가중치는 -1/8일 수 있다. 이외에도 다양한 가중치가 존재할 수 있다.
Figure PCTKR2022014696-appb-img-000002
MHP 모드는 양방향 예측이 가능한 슬라이스에서 적용 가능하고, 머지 모드를 사용하는 인터 예측 모드에서는 적용되지 않을 수 있다. 예를 들어, MHP 모드는 CIIP(Combined Inter-picture merge and Inter-picture prediction) 모드, GPM(Geometric partitioning mode) 모드, 템플릿 매칭 머지 모드(Template matching Merge mode)에는 적용되지 않을 수 있다.
또한, MHP 모드는 현재 블록에 어파인(Affine) 모드로 적용되는 경우 적용되지 않을 수 있다. 구체적으로, MHP 모드는 현재 블록에 AMVR(adaptive motion vector resolution) 모드가 적용되는 경우 적용되지 않을 수 있다.
또한, MHP 모드는 양방향 예측에 적용되는 BCW(bi-prediction with CU-level weights)의 인덱스가 기본 값(BCW_DEFAULT의 값)과 같은 경우에 적용되지 않을 수 있다.
또한, MHP 모드는 현재 블록에 IBC(Intra Block Copy) 모드가 적용되는 경우, 적용되지 않을 수 있다.
도 9는 본 명세서의 일 실시예에 따른 MHP 모드가 적용되는 조합을 나타내는 도면이다.
이하에서 도 9를 참조하여 MHP 모드가 적용될 수 있는 조합에 대해 설명한다. 인터 예측 모드가 적용되는 현재 블록에 MHP 모드가 적용될 수 있다. 예를 들어, 현재 블록에 AMVP 모드 또는 머지 모드가 적용되는 경우, 현재 블록에 MHP모드가 적용될 수 있다. 디코더는 MHP 모드를 위해 사용될 수 있는 추가적인 데이터의 최대 개수는 미리 설정될 수 있다. 예를 들어, 디코더는 최대 2개의 추가적인 데이터를 사용할 수 있다. 현재 블록에 AMVP 모드가 적용되면, 현재 블록에는 양방향 예측이 적용될 수 있다. 이때, 추가적인 데이터의 개수는 1개 또는 2개일 수 있다. 추가적인 데이터는 참조 블록과 관련된 데이터일 수 있고, 이때 추가적인 데이터의 참조 블록은 머지 모드가 적용되는 블록이거나 머지 모드가 적용되지 않은 블록일 수 있다. 머지 모드가 적용되지 않은 블록은 AMVP 모드가 적용된 블록일 수 있다. 추가적인 데이터의 최대 개수는 현재 블록의 가로의 크기 또는 세로의 크기, 현재 블록의 양자화 파라미터 정보, 현재 블록의 인접한 주변 블록의 움직임 정보, 현재 블록의 인접한 주변 블록의 변환 계수가 존재하는지 여부에 대한 정보, MHP 모드가 적용되는 현재 블록의 인접한 주변 블록에 대한 추가적인 데이터의 개수 등에 기초하여 결정될 수 있다. 또한, 추가적인 데이터의 최대 개수는 블록 단위 또는 서브 블록 단위마다 독립적으로 결정(설정)될 수 있다. 예를 들어, 현재 블록의 양자화 파라미터 정보는 현재 블록의 양자화 파라미터 값을 의미할 수 있고, 이때, 추가적인 데이터의 최대 개수는 현재 블록의 양자화 파라미터 값과 임의의 정해진 값을 비교한 결과에 기초하여 결정될 수 있다. 양자화 파라미터 값은 '22, 27, 32, 37' 등이 될 수 있으며, 추가적인 데이터의 최대 개수는 '0, 1, 2, 3, 4' 등이 될 수 있다.
추가적인 데이터의 참조 블록이 머지 모드가 적용되는 블록이면 머지 인덱스와 가중치에 대한 정보가 시그널링될 수 있다. 즉, 디코더는 비트스트림에 포함된 머지 인덱스와 가중치에 대한 정보를 파싱하여 머지 인덱스와 가중치를 확인할 수 있다. 이때, 머지 인덱스는 MHP에 필요한 머지 후보 리스트 중 하나를 지시할 수 있다.
추가적인 데이터의 참조 블록이 AMVP 모드가 적용되는 블록이면 참조 픽처 인덱스, MVD에 대한 정보, MVP 인덱스, 가중치에 대한 정보가 시그널링될 수 있다. 즉, 디코더는 비트스트림에 포함된 참조 픽처 인덱스, MVD에 대한 정보, MVP 인덱스, 가중치에 대한 정보를 파싱하여 참조 픽쳐 인덱스, MVD, MVP, 가중치를 확인할 수 있다.
도 10은 본 명세서의 일 실시예에 따른 하이 레벨 신택스의 구조를 나타내는 도면이다.
비트스트림은 NAL(Network Abstraction Layer) 유닛을 기본 단위로 캡슐화 된다. 즉, 비트스트림은 하나 이상의 네트워크 추상화 계층(Network Abstraction Layer, NAL) 유닛으로 구성될 수 있다. 도 10(a)를 참조하면 NAL 유닛은 DCI(Decoding Capability Information) RBSP(Raw Byte Sequence Payload), OPI(Operation Point Information) RBSP, VPS(Video Parameter Set RBSP) RBSP, SPS(Sequence Parameter Set) RBSP, PPS(Picture Parameter Set) RBSP, APS(Adaption Parameter Set) RBSP, PH(Picture Header) 순서로 구성될 수 있다. 이때 점선으로 표시된 DCI RBSP, OPI RBSP, VPS RBSP는 선택적으로 시그널링 될 수 있다.
도 10(b)는 DCI RBSP의 구조를 나타내고, 도 10(c)는 VPS RBSP의 구조를 나타내고, 도 10(d)는 SPS RBSP의 구조를 나타낸다. 도 10(e)는 비디오 시퀀스의 프로파일, 티어, 레벨정보로 구성되는 PTL(profile_tier_level)의 구조를 나타낸다. 도 10(f)는 GCI(General Constraints Information)의 구조를 나타낸다. GCI에 포함되는 신택스 요소(GCI 신택스 요소)는 상호 운용성(interoperability)을 위해 GCI 및/또는 다른 신택스 구조(예, VPS RBSP의 신택스 구조, SPS RBSP 신택스 구조, PPS RBSP 신택스 구조 등)에 포함된 툴 및/또는 기능 등을 비활성화(disable)하도록 제어할 수 있다. GCI 신택스 요소가 툴 및/또는 기능 등을 비활성화하도록 지시하는 경우, 하위 신택스에서 선언되는 툴 및/또는 기능들은 비활성화 될 수 있다. 이때, 디코더가 파싱하는 NAL 유닛의 위치에 따라 상기 GCI 신택스 요소에 의해 비활성화(disable)되는 툴 및/또는 기능 등이 전체 비트스트림에 적용될지 부분 비트 스트림에 적용될지가 결정될 수 있다. PTL은 DCI RBSP, VPS RBSP 또는 SPS RBSP에 포함되어 시그널링될 수 있다. GCI는 PTL에 포함되어 시그널링 될 수 있다.
도 11은 본 명세서의 일 실시예에 따른 MHP 모드와 관련된 정보를 시그널링하는 방법을 나타내는 도면이다.
도 11을 참조하면 MHP 모드와 관련된 정보(예, 신택스 요소, 도 11의 점선 부분)는 도 10에서 도시한 하이 레벨 신택스에 포함될 수 있다. 구체적으로 MHP 모드와 관련된 정보는 SPS RBSP, PPS RBSP, GCI에 포함될 수 있다. 도 11(a)를 참조하면 SPS RBSP는 시퀀스 레벨에서 MHP 모드의 활성화 여부를 나타내는 신택스 요소(sps_mhp_enabled_flag)를 포함할 수 있다. sps_mhp_enabled_flag의 값이 1이면 SPS를 참조하는 픽쳐에 대해 MHP 모드가 활성화됨을 나타내고, sps_mhp_enabled_flag의 값이 0이면 SPS를 참조하는 픽쳐에 대해 MHP 모드가 비활성화됨을 나타낼 수 있다. 또한, sps_mhp_enabled_flag의 값이 1이면(즉, 참이면) 디코더는 MHP 모드를 위해 사용될 수 있는 추가적인 데이터의 최대 개수(참조 블록의 최대 개수)를 나타내는 신택스 요소(sps_mhp_max_data_size)를 파싱할 수 있다. 즉, 디코더는 sps_mhp_max_data_size를 파싱하여 추가적인 데이터의 최대 개수를 확인할 수 있다. 또한 시퀀스 레벨에서 MHP 모드의 활성화 여부를 제어하는 것과 무관하게 픽쳐(또는 프레임)레벨에서도 MHP 모드 활성화 여부를 제어할 수 있다. 도 11(b)를 참조하면 PPS RBSP는 픽쳐(또는 프레임) 레벨에서 MHP 모드의 활성화 여부를 나타내는 신택스 요소(pps_mhp_enabled_flag)를 포함할 수 있다. pps_mhp_enabled_flag의 값이 1이면 PPS를 참조하는 픽쳐에 대해 MHP 모드가 활성화됨을 나타내고, pps_mhp_enabled_flag의 값이 0이면 PPS를 참조하는 픽쳐에 대해 MHP 모드가 비활성화됨을 나타낼 수 있다(pps_mhp_enabled_flag equal to 1 specifies that the MHP is enabled for pictures referring to the PPS. pps_mhp_enabled_flag equal to 0 specifies that the MHP is disabled for pictures referring to the PPS). 도 11(c)를 참조하면 GCI는 SPS 레벨에서 MHP 모드의 활성화 여부를 나타내는 신택스 요소(gci_no_mhp_constraint_flag)를 포함할 수 있다. gci_no_mhp_constraint_flag의 값이 1이면 OlsInScope의 모든 픽쳐에 대한 sps_mhp_enabled_flag의 값은 0임을 나타내고, gci_no_mhp_constraint_flag의 값이 0이면 sps_mhp_enabled_flag의 값에 대한 제약이 없음을 나타낼 수 있다(gci_no_mhp_constraint_flag equal to 1 specifies that sps_mhp_enabled_flag for all pictures in OlsInScope shall be equal to 0. gci_no_mhp_constraint_flag equal to 0 does not impose such a constraint). gci_no_mhp_constraint_flag는 sps_mhp_enabled_flag를 제약하는 기능을 수행하는 신택스 요소일 수 있다.
추가하여, MHP 모드와 관련된 정보(예, 신택스 요소)는 픽쳐 헤더(picture_header_rbsb()) 및/또는 슬라이스 헤더(slice_header_rbsp())에 포함되어 시그널링될 수 있다. 즉, 디코더는 픽쳐 헤더 및/또는 슬라이스 헤더에 포함된 MHP 모드와 관련된 신택스 요소를 파싱하여 MHP모드의 활성화 여부를 확인할 수 있다. 이때, 픽쳐 헤더에 포함되는 MHP 모드와 관련된 신택스 요소는 ph_mhp_enabled_flag로 기술될 수 있고, 슬라이스 헤더에 포함되는 MHP 모드와 관련된 신택스 요소는 sh_mhp_enabled_flag로 기술될 수 있다. 픽쳐 헤더 및/또는 슬라이스 헤더가 영향을 미치는 단위가 서로 상이하기 때문에, 픽쳐 헤더 및/또는 슬라이스 헤더에 포함된 MHP 모드와 관련된 정보를 이용하여 적응적인 제어가 가능하다는 효과가 있다. 본 명세서에서의 어떠한 신택스 요소(플래그)의 값이 참이라는 것은 상기 어떠한 신택스 요소(플래그)의 값이 1인 경우를 의미할 수 있다.
도 12 및 도 13은 본 명세서의 일 실시예에 따른 현재 블록에 AMVP 모드가 적용되는 경우 코딩 유닛 내 MHP 모드와 관련된 정보의 시그널링 구조를 나타내는 도면이다.
도 12를 참조하면 현재 블록에 AMVP 모드가 적용되는 경우, MHP 모드와 관련된 정보(mh_pred_data())는 시그널링될 수 있다. 도 9를 참조하여 설명한대로 현재 블록에 AMVP 모드가 적용되는 경우, 현재 블록에는 MHP 모드가 적용될 수 있다. 이때, 디코더는 특정 조건(1201)을 만족하는 경우, mh_pred_data()를 파싱할 수 있다. 도 12의 1201 및 표 2를 참조하여 특정 조건에 대해 설명한다.
Figure PCTKR2022014696-appb-img-000003
i) 디코더는 SPS를 참조하는 픽쳐에 대해 MHP 모드가 활성화됨을 나타내면(sps_mhp_enabled_flag의 값이 참인 경우) mh_pred_data()를 파싱할 수 있다. ii) 디코더는 현재 블록의 인터 예측이 양방향 예측이면(inter_pred_idc[ x0 ][ y0 ] = = PRED_BI) mh_pred_data()를 파싱할 수 있다. iii) 디코더는 양방향 예측자에 대한 가중치가 기본 값과 동일하지 않으면(bcw_idx[ x0 ][ y0 ] != BCW_DEFAULT) mh_pred_data()를 파싱할 수 있다. 이때, 기본 값은 1/2일 수 있다. iv) 디코더는 현재 블록에 어파인 모드 및 AMVR 모드가 모두 적용되는 경우가 아니면(!(inter_affine_flag[ x0 ][ y0 ]==1 && amvr_flag[ x0 ][ y0 ]>0)) mh_pred_data()를 파싱할 수 있다. 즉, 디코더는 현재 블록에 어파인 모드가 적용되더라도 AMVR 모드가 적용되지 않는 경우, 현재 블록에 AMVR 모드가 적용되더라도 어파인 모드가 적용되지 않는 경우, 현재 블록에 어파인 모드 및 AMVR 모드가 모두 적용되지 않는 경우 mh_pred_data()를 파싱할 수 있다. v) 디코더는 현재 블록의 샘플 수를 임의의 값과 비교하여 mh_pred_data()를 파싱할 수 있다. 예를 들어, 디코더는 현재 블록의 샘플 수가 64보다 크면(cbWidth*cbHeight>64) mh_pred_data()를 파싱할 수 있다. vi) 디코더는 현재 블록의 가로의 크기 및 세로의 크기를 임의의 값과 비교하여 mh_pred_data()를 파싱할 수 있다. 예를 들어, 디코더는 블록의 가로의 크기 및 세로의 크기 중 작은 크기가 8보다 크면(min(cbWidth, cbHeight)> 8) mh_pred_data()를 파싱할 수 있다.
도 13을 참조하면 현재 블록에 AMVP 모드가 적용되는 경우, MHP 모드와 관련된 정보(mh_pred_data())는 시그널링될 수 있다. 도 13의 1301 및 표 3을 참조하면, 디코더는 도 12의 1201의 조건에 더하여 현재 블록에 AMVR 모드가 적용되는지 여부를 추가적으로 고려하여 mh_pred_data()를 파싱할 수 있다(1301).
Figure PCTKR2022014696-appb-img-000004
디코더는 상술한 i) 내지 vi) 조건에 더하여 vii) 현재 블록에 AMVR 모드가 적용되지 않는 경우(amvr_flag[x0][y0]==0)를 추가적으로 고려하여 mh_pred_data()를 파싱할 수 있다. 예를 들어, 상술한 iv) 조건에 따르면 현재 블록에 AMVR 모드가 적용되더라도 어파인 모드가 적용되지 않는 경우, 디코더는 mh_pred_data()를 파싱할 수 있다. 그러나, 도 13의 1301 및 표 3에 따르면 디코더는 현재 블록에 어파인 모드가 적용되지 않아도 AMVR 모드가 적용되는 경우, mh_pred_data()를 파싱하지 않을 수 있다. 디코더는 i) 내지 vii) 조건들 중 일부 또는 전부를 만족하는 경우 mh_pred_data()를 파싱할 수 있다.
한편, 상술한 vii) 조건은 아래 표 4 및 표 5의 조건으로 대체될 수 있다.
Figure PCTKR2022014696-appb-img-000005
Figure PCTKR2022014696-appb-img-000006
amvr_flag[x0][y0]의 값이 0이면 Affine AMVP 모드에서 기본 화소 단위(1/4 루마 샘플)가 사용되고 amvr_flag[x0][y0]의 값이 0보다 크다면 Affine AMVP 모드에서 기 설정된 크기의 화소 단위가 사용될 수 있다. amvr_flag[x0][y0]의 값이 0보다 크면 Affine AMVP 모드에서의 화소 단위는 amvr_precision_idx[x0][y0]에 의해 결정될 수 있다. 예를 들어, amvr_flag[x0][y0]의 값이 1이고, amvr_precision_idx[x0][y0]의 값이 0이면 Affine AMVP 모드에서의 화소 단위는 1/16 루마 샘플일 수 있고, amvr_flag[x0][y0]의 값이 1이고 amvr_precision_idx[x0][y0]의 값이 1이면 Affine AMVP 모드에서의 화소 단위는 1 루마 샘플일 수 있다.
또한, amvr_flag[x0][y0]의 값이 0이면 일반 AMVP 모드에서의 화소 단위는 1/4 루마 샘플이고, amvr_flag[x0][y0]의 값이 1이고, amvr_precision_idx의 값이 0이면 일반 AMVP 모드에서의 화소 단위는 1/2 루마 샘플일 수 있고, amvr_flag[x0][y0]의 값이 1이고 amvr_precision_idx의 값이 1이면 일반 AMVP 모드에서의 화소 단위는 1 루마 샘플일 수 있고, amvr_flag[x0][y0]의 값이 1이고 amvr_precision_idx의 값이 2이면 일반 AMVP 모드에서의 화소 단위는 4 루마 샘플일 수 있다.
도 14는 본 명세서의 일 실시예에 따른 현재 블록에 머지 모드가 적용되는 경우 코딩 유닛 내 MHP 모드와 관련된 정보의 시그널링 구조를 나타내는 도면이다.
도 14를 참조하면 현재 블록에 머지 모드가 적용될 때 MHP 모드와 관련된 정보(mh_pred_data())는 시그널링될 수 있다. 즉, 디코더는 현재 블록에 머지 모드가 적용될 때(general_merge_flag[ x0 ][ y0 ]의 값이 참일 때), mh_pred_data()를 파싱할 수 있다. 구체적으로, mh_pred_data()는 도 14의 1401에 개시된 조건을 만족하는 경우 파싱될 수 있다. 도 14의 1401 및 표 6을 참조하여 현재 블록에 머지 모드가 적용될 때 mh_pred_data()가 파싱되기 위한 조건에 대해 설명한다.
Figure PCTKR2022014696-appb-img-000007
디코더는 a) 현재 블록에 변환 스킵이 적용되지 않으면(cu_skip_flag[x0][y0]==0) mh_pred_data()를 파싱할 수 있다. 디코더는 b) 현재 블록의 슬라이스 타입에 기초하여 mh_pred_data()를 파싱할 수 있다. 예를 들어, 디코더는 현재 블록의 슬라이스 타입이 B 슬라이스이면(slice_type==B) mh_pred_data()를 파싱할 수 있다. B 슬라이스는 인트라 예측 및 인터 예측(단방향, 양방향)이 가능할 수 있다. c) 디코더는 regular_merge_flag[x0][y0]의 값이 1이면 mh_pred_data()를 파싱할 수 있다. regular_merge_flag[x0][y0]의 값이 0이면 현재 블록에는 레귤러 머지 모드와 MVD를 사용하는 머지 모드가 사용되지 않음을 나타내고, regular_merge_flag[x0][y0]의 값이 1이면 레귤러 머지 모드 또는 MVD를 사용하는 머지 모드가 사용됨을 나타낼 수 있다. 또한 regular_merge_flag[x0][y0]의 값이 0이면 현재 블록에는 모드는 CIIP 모드 또는 GPM 모드가 적용될 수 있다. 즉, c) 조건인 regular_merge_flag[x0][y0]의 값이 1이라는 조건은 현재 블록에 CIIP 모드 및 GPM 모드가 모두 적용되지 않는다는 것을 의미할 수 있다. d) 디코더는 현재 블록에 템플릿 매칭 머지 모드가 적용되지 않으면(tmMerge_Flag[x0][y0]==0) mh_pred_data()를 파싱할 수 있다. e) 디코더는 현재 블록의 샘플 수를 임의의 값과 비교하여 mh_pred_data()를 파싱할 수 있다. 예를 들어, 디코더는 현재 블록의 샘플 수가 64보다 크면(cbWidth*cbHeight>64) mh_pred_data()를 파싱할 수 있다. f) 디코더는 현재 블록의 가로의 크기 및 세로의 크기를 임의의 값과 비교하여 mh_pred_data()를 파싱할 수 있다. 예를 들어, 디코더는 블록의 가로의 크기 및 세로의 크기 중 작은 크기가 8보다 크면(min(cbWidth, cbHeight)> 8) mh_pred_data()를 파싱할 수 있다. 디코더는 a) 내지 f) 조건들 중 일부 또는 전부를 만족하는 경우 mh_pred_data()를 파싱할 수 있다.
도 15는 본 명세서의 일 실시예에 따른 MHP 모드와 관련된 정보에 대한 신택스 구조를 나타내는 도면이다.
도 15는 도 12 내지 도 14를 참조하여 설명한 MHP 모드와 관련된 정보(mh_pred_data())에 대한 신택스 구조를 나타낸다.
mh_pred_data()에 대한 신택스 구조에 포함되는 각 신택스 요소들은 MHP 모드를 위해 사용될 수 있는 추가적인 데이터의 개수(i)가 MHP 모드를 위해 사용될 수 있는 추가적인 데이터의 최대 개수(MaxNumAdditionalHypotheses)보다 작을 때 파싱될 수 있다. 이하에서 mh_pred_data()에 대한 신택스 구조에 포함되는 각 신택스 요소들에 대해 설명한다.
additional_hypothesis_flag[ x0 ][ y0 ][ i ]는 MHP 모드를 위해 사용될 수 있는 추가 데이터가 존재하는지 여부를 나타낼 수 있다. 도 15를 참조하면 additional_hypothesis_flag[ x0 ][ y0 ][ i ]의 값이 참이면 디코더는 add_hyp_merge_flag[ x0 ][ y0 ][ I ]를 파싱할 수 있다. add_hyp_merge_flag[ x0 ][ y0 ][ i ]는 MHP 모드를 위해 사용될 수 있는 추가 데이터가 머지 모드인지 여부를 나타낼 수 있다.
디코더는 add_hyp_merge_flag[ x0 ][ y0 ][ i ]의 값이 참이면 add_hyp_merge_idx[ x0 ][ y0 ][ i ] 와 add_hyp_weight_idx[ x0 ][ y0 ][ i ]를 파싱할 수 있다. 한편 디코더는 add_hyp_merge_flag[ x0 ][ y0 ][ i ]의 값이 거짓이면 add_hyp_ref_idx [ x0 ][ y0 ][ i ]), mvd_coding( x0, y0, 2+i, 0 ), add_hyp_mvp_flag[ x0 ][ y0 ][ i ] 및 add_hyp_weight_idx[ x0 ][ y0 ][ i ]를 파싱할 수 있다. add_hyp_merge_idx[ x0 ][ y0 ][ i ]는 MHP 모드를 위해 사용될 수 있는 추가 데이터의 머지 인덱스에 대한 정보를 나타낼 수 있다. add_hyp_weight_idx[ x0 ][ y0 ][ i ]는 표 1에서 설명한 가중치에 대한 정보를 나타낼 수 있다. add_hyp_ref_idx [ x0 ][ y0 ][ i ]는 MHP 모드를 위해 사용될 수 있는 데이터의 참조 픽쳐 인덱스에 대한 정보를 나타낼 수 있다. mvd_coding( x0, y0, 2+i, 0 )는 MHP 모드를 위한 MVD에 대한 정보를 나타낼 수 있다. add_hyp_mvp_flag[ x0 ][ y0 ][ i ]는 MHP 모드를 위한 MVP에 대한 정보를 나타낼 수 있다.
도 16은 본 명세서의 일 실시예에 따른 MHP 모드와 관련된 신택스 요소의 문맥 모델을 나타내는 도면이다.
add_hyp_merge_flag는 1 비트 크기의 값으로 MHP 모드를 위해 사용될 수 있는 추가 데이터의 형태에 대해 나타낼 수 있다. 즉, add_hyp_merge_flag는 MHP 모드를 위해 사용될 수 있는 추가 데이터가 머지 모드인지 여부에 대해 나타낼 수 있다. 인코더는 첫번째 bin에 대해 문맥 모델을 적용하여 CABAC(Context adaptive binary arithmetic coding)으로 엔트로피 코딩을 수행할 수 있다. add_hyp_merge_flag에 대한 문맥 모델은 실험을 통해 획득된 값으로 정의될 수 있다. 도 16(a)의 initValue는 add_hyp_merge_flag에 대한 문맥 모델들을 나타내고, shiftIdx는 add_hyp_merge_flag에 대한 확률 업데이트시 사용될 수 있다. initValue와 shiftIdx는 add_hyp_merge_flag의 ctxIdx 값에 따라 결정될 수 있다. initValue는 현재 슬라이스의 타입에 따라 결정될 수 있다. 구체적으로 initValue는 현재 슬라이스의 타입이 I 슬라이스, P 슬라이스, B 슬라이스 인지에 따라 결정될 수 있다. 도 16(b)는 현재 슬라이스 타입에 따라 사용될 수 있는 문맥 모델을 나타낸다. 도 16(b)를 참조하면 현재 슬라이스 타입에 따라 add_hyp_merge_flag의 초기화 타입(initType)이 결정되고, 초기화 타입에 따라 initValue는 결정될 수 있다. 현재 슬라이스의 타입이 I 슬라이스일 경우, initType의 값은 0 내지 2일 수 있다. 현재 슬라이스의 타입이 P 슬라이스일 경우, initType의 값은 3 내지 5일 수 있다. 현재 슬라이스의 타입이 B 슬라이스일 경우, initType의 값은 6 내지 8일 수 있다. 슬라이스 타입에 따라 결정되는 initType의 값은 도 16(a)의 add_hyp_merge_flag의 ctxIdx의 값과 같을 수 있다. initValue는 현재 슬라이스의 각 타입에 따라 결정되는 initType의 값에 따라 도 16(a)에 대응되는 값으로 결정될 수 있다. 한편 각 슬라이스 타입마다 initType는 하나의 값으로 결정될 수 있다. 예를 들어, 현재 슬라이스의 타입이 I 슬라이스일 경우, initType의 값은 0일 수 있다. 현재 슬라이스의 타입이 P 슬라이스일 경우, initType의 값은 3일 수 있다. 현재 슬라이스의 타입이 B 슬라이스일 경우, initType의 값은 6일 수 있다. initValue는 현재 슬라이스 각 타입에 따라 하나의 값으로 결정되는 initType의 값에 따라 도 16(a)에 대응되는 값으로 결정될 수 있다. 예를 들어, initType의 값이 0이면 add_hyp_merge_flag의 ctxIdx의 값이 0일 수 있고, 도 16(a)에 따라 initValue의 값은 18이고, shiftIdx의 값은 4일 수 있다.
또한, 슬라이스 타입에 따른 initValue의 사용을 슬라이스마다 선택적으로 적용할 수 있다. 예를 들어, 슬라이스 헤더에 정의된 add_hyp_merge_flag의 값에 따라 initValue 값의 사용 순서가 달라질 수 있다. add_hyp_merge_flag의 값이 1이고 현재 슬라이스의 타입이 P 슬라이스인 경우, initValue 값은 6일 수 있다. add_hyp_merge_flag의 값이 1이고 현재 슬라이스의 타입이 B 슬라이스인 경우, initValue 값은 3일 수 있다. add_hyp_merge_flag의 값이 0이고 현재 슬라이스의 타입이 P 슬라이스인 경우, initValue 값은 3일 수 있다. add_hyp_merge_flag의 값이 0이고 현재 슬라이스의 타입이 B 슬라이스인 경우, initValue 값은 6일 수 있다.
현재 코딩 유닛의 좌상단 루마 성분 블록의 위치를 좌표 형태로 나타내면 (x0, y0)일 수 있다. 현재 코딩 유닛의 좌측 주변 블록의 샘플 위치(xNbL, yNbL)은 (x0-1, y0)일 수 있고, 상측 주변 블록의 샘플 위치(xNbA, yNbA)는 (x0, y0-1) 일 수 있다. 상측 주변 블록의 샘플이 유효하면 availableA로 좌측 주변 블록의 샘플이 유효하면 availableL 표현될 수 있고, 유효하지 않으면 FALSE로 표현될 수 있다.
이하에서 본 발명의 일 실시예인 add_hyp_merge_flag의 심볼에 대한 문맥 모델에 대해 설명한다.
현재 블록의 좌측 주변 블록과 상측 주변 블록 모두에 MHP 모드가 적용되고, 머지 모드가 적용되면 문맥 인덱스(ctxInc)의 값은 2일 수 있다. 현재 블록의 좌측 주변 블록과 상측 주변 블록 중 어느 하나의 주변 블록에 MHP 모드가 적용되고, MHP모드가 적용된 주변 블록에 머지 모드가 적용되면 문맥 인덱스의 값은 1일 수 있다. 현재 블록의 좌측 주변 블록과 상측 주변 블록 모두에 MHP 모드가 적용되지 않는 경우 문맥 인덱스의 값은 0일 수 있다. 현재 블록의 좌측 주변 블록과 상측 주변 블록 중 일부 또는 전부의 블록에 MHP 모드가 적용되지만 MHP 모드가 적용된 주변 블록에 머지 모드가 적용되지 않으면 문맥 인덱스의 값은 0일 수 있다. 표 7은 현재 블록의 주변 블록에 MHP 모드가 적용되는지 여부 및 MHP 모드가 적용된 주변 블록에 머지 모드가 적용되는지 여부에 기초하여 문맥 인덱스가 결정되는 일 예를 나타낸다.
Figure PCTKR2022014696-appb-img-000008
문맥 인덱스는 MHP 모드가 적용된 주변 블록에 머지 모드가 적용되는지 여부와 무관하게 결정될 수도 있다. 현재 블록의 좌측 주변 블록과 상측 주변 블록 모두에 MHP 모드가 적용되면 문맥 인덱스의 값은 2일 수 있다. 현재 블록의 좌측 주변 블록과 상측 주변 블록 중 어느 하나의 주변 블록에 MHP 모드가 적용되면 문맥 인덱스의 값은 1일 수 있다. 현재 블록의 좌측 주변 블록과 상측 주변 블록 모두에 MHP 모드가 적용되지 않으면 문맥 인덱스의 값은 0일 수 있다. 표 8은 MHP 모드가 적용된 주변 블록에 머지 모드가 적용되는지 여부와 무관하게 현재 블록의 주변 블록에 MHP 모드가 적용되는지 여부만을 고려하여 문맥 인덱스가 결정되는 일 예를 나타낸다.
Figure PCTKR2022014696-appb-img-000009
표 7 및 8의 condL은 현재 블록의 주변 블록들 중 좌측 주변 블록에 대한 조건을 의미하고, condA는 현재 블록의 주변 블록들 중 상측 블록에 대한 조건을 의미한다. ctxSetIdx는 현재 슬라이스 타입에 따라 결정되는 값으로 0 내지 2의 값을 가질 수 있다. 표 7 및 표 8에서 ctxSetIdx의 값은 0으로 기술하였으나 이는 일 실시예에 불과하다. 현재 블록의 상측 주변 블록과 좌측 주변 블록은 MHP 모드를 위해 사용될 수 있는 추가 데이터(추가 참조 블록)일 수 있다.
도 17은 본 명세서의 일 실시예에 따른 GPM(Geometry partitioning Mode) 모드를 나타내는 도면이다.
GPM 모드는 현재 코딩 유닛이 하나의 직선 경계선에 의해 두 개의 영역으로 분할되고, 분할된 두 개의 영역 각각에 대해 인트라 예측을 수행하여 현재 코딩 유닛의 예측 신호를 획득하는 모드를 나타낸다. 즉, 디코더는 분할된 두 개의 영역 각각에 대해 서로 다른 움직임 정보를 이용한 인트라 예측을 수행하여 분할된 두 개의 영역 각각에 대한 예측 신호(P0, P1)를 생성할 수 있다. 그리고 디코더는 P0, P1을 서로 혼합하여 현재 코딩 유닛의 예측 신호를 획득할 수 있다. 구체적으로, P0, P1은 혼합 메트릭스(w0, w1)를 이용하여 생성될 수 있다. 이때 혼합 메트릭스는 0 내지 8 사이의 값을 가질 수 있다.
도 17(a)를 참조하면 양자화 된 각도 매개 변수(φ)는 [0, 2π] 범위가 대칭적으로 분할되어 만들어지는 총 20개의 양자화된 각도일 수 있다. 도 17(b), 도 17(c)를 참조하면 거리 매개 변수 (ρ)는 4개의 양자화된 거리로 정의될 수 있다. 도 17(c)는 양자화된 각도 매개 변수 별로 4개의 거리 매개 변수를 나타낸다. 도 17(d)를 참조하면 GPM 모드를 위한 별도의 테이블이 정의될 수 있다. 이때, 테이블은 분할 방향 정보를 나타내는 테이블로 각도 매개 변수(angleIdx)와 거리 매개 변수(distanceIdx)의 조합을 정의한 테이블이다. 테이블은 조합 가능한 총 70개(중복되는 10개 분할 제외)의 분할 방향 중 binary tree split과 ternary tree split과 중복되는 것들을 제외한 총 64개의 분할 방향 정보를 포함할 수 있다. 각도 매개 변수(angleIdx)는 도 17(a)의 대칭적으로 분할되어 만들어지는 총 20개의 양자화된 각도(φ)일 수 있고, 거리 매개 변수(distanceIdx)는 도 17(b)의 거리 매개 변수(ρ)일 수 있다. 각도 매개 변수(angleIdx)와 거리 매개 변수(distanceIdx)의 각 조합들은 인덱싱될 수 있고, 디코더는 신택스 요소(merge_gpm_partition_idx[x0][y0])를 통해 각도 매개 변수(angleIdx)와 거리 매개 변수(distanceIdx)의 각 조합에 대한 인덱스를 확인하고 분할 방향 정보를 획득할 수 있다.
도 18은 본 명세서의 일 실시예에 따른 GPM 모드를 위한 현재 코딩 유닛의 분할과 머지 리스트를 구성하는 방법을 나타내는 도면이다.
도 18(a)의 왼쪽 도면은 merge_gpm_partition_idx[x0][y0]의 값이 24일 때 현재 코딩 유닛의 분할을 나타낸다. 도 17(d)를 참조하면 merge_gpm_partition_idx[x0][y0]의 값이 24이면 angleIdx는 12이고, distanceIdx는 0일 수 있다. 도 18(a)의 오른쪽 도면은 merge_gpm_partition_idx[x0][y0]의 값이 10일 때 현재 코딩 유닛의 분할을 나타낸다. 도 17(d)를 참조하면 merge_gpm_partition_idx[x0][y0]의 값이 10이면 angleIdx는 4이고, distanceIdx는 0일 수 있다. 도 18(b)는 GPM 모드에서의 머지 리스트를 나타낸다. 도 18(b)를 참조하면 GPM 모드에서의 머지 리스트(GPM merge list)는 일반 머지 후보 리스트(Regular merge list)의 단방향 움직임 정보만으로 구성될 수 있다. GPM 모드에서의 머지 리스트에서 인덱스가 짝수인 후보는 L0 리스트의 움직임 정보이고, 인덱스가 홀수인 후보는 L1 리스트의 움직임 정보일 수 있다.
도 19은 본 명세서의 일 실시예에 따른 MHP 모드에 사용되는 머지 리스트를 나타내는 도면이다.
도 19를 참조하면 MHP 머지 리스트는 참조 픽쳐 리스트, 참조 픽쳐 인덱스에 기초하여 구성될 수 있다. MHP 머지 리스트는 단방향 움직임 정보로만 구성될 수 있다. 구체적으로 MHP 머지 리스트는 일반 머지 후보 리스트의 후보들(A0, B0, ..., F0, A1, B1, ..., F1) 중 POC가 중복되지 않는 후보들로 구성될 수 있다. 이때 MHP 머지 리스트가 다 구성되지 않는다면 MHP 머지 리스트에 포함되지 않은 일반 머지 후보 리스트의 후보들을 순서대로 포함하여 MHP 머지 리스트가 구성될 수 있다.
도 20 본 명세서의 일 실시예에 따라 MHP 모드와 관련된 신택스 요소를 파싱하는 방법을 나타내는 순서도이다.
도 20은 도 1 내지 도 19를 통해 설명한 방법들을 이용하여 MHP 모드와 관련된 신택스 요소를 파싱하는 방법을 나타낸다.
도 20을 참조하면 디코더는 일반 제약 정보(General Constraint Information, GCI) 신택스(syntax) 요소인 제1 신택스 요소를 파싱할 수 있다(S2010). 디코더는 현재 시퀀스에 MHP(Multi-hypothesis prediction) 모드가 사용 가능한지 여부를 나타내는 제2 신택스 요소를 파싱할 수 있다(S2020). 디코더는 상기 제2 신택스 요소의 파싱 결과에 기초하여 현재 블록에 상기 MHP 모드가 사용되는지 여부를 나타내는 제3 신택스 요소를 파싱할 수 있다(S2030). 디코더는 상기 제3 신택스 요소가 상기 현재 블록에 상기 MHP 모드가 사용됨을 나타내면, 상기 현재 블록을 상기 MHP 모드에 기초하여 예측할 수 있다(S2040). 상기 제1 신택스 요소는, 시퀀스 파라미터세트(Sequence Parameter Set, SPS) RBSP 신택스 및 비디오 파라미터세트(Video Parameter Set, VPS) RBSP 신택스 중 적어도 어느 하나에 포함될 수 있다. 상기 제2 신택스 요소는 상기 SPS RBSP 신택스에 포함될 수 있다. 상기 제1 신택스 요소의 값이 1인 경우, 상기 제2 신택스 요소의 값은 상기 제2 신택스 요소의 파싱 결과와 무관하게 상기 MHP 모드가 사용되지 않음을 지시하는 값인 0으로 설정될 수 있다. 상기 제1 신택스 요소의 값이 0인 경우, 상기 제2 신택스 요소의 값은 제약되지 않을 수 있다.
상기 제3 신택스 요소는, 상기 제2 신택스 요소가 상기 현재 블록에 상기 MHP 모드가 사용 가능함을 나타내는 경우 파싱될 수 있다.
상기 제3 신택스 요소는, 상기 현재 블록의 예측 모드가 머지 모드인 경우 파싱될 수 있다.
상기 제3 신택스 요소는 상기 현재 블록의 예측 방향을 추가적으로 고려하여 파싱될 수 있다. 상기 제3 신택스 요소는 상기 예측 방향이 양-방향(Bi-prediction) 예측인 경우 파싱될 수 있다.
상기 제3 신택스 요소는 상기 현재 블록의 예측 방향에 따른 가중치를 추가적으로 고려하여 파싱될 수 있다. 상기 제3 신택스 요소는 상기 가중치가 1/2가 아닌 경우에 파싱될 수 있다.
상기 제3 신택스 요소는 상기 현재 블록에 적용되는 예측 모드를 추가적으로 고려하여 파싱될 수 있다. 상기 제3 신택스 요소는 상기 현재 블록에 어파인 모드 및 AMVR(adaptive motion vector resolution) 모드가 모두 적용되는 경우가 아닌 경우 파싱될 수 있다.
상기 제3 신택스 요소는 상기 현재 블록에 적용되는 예측 모드가 AMVR 모드인지 여부를 추가적으로 고려하여 파싱될 수 있다. 상기 제3 신택스 요소는 상기 현재 블록에 AMVR 모드가 적용되지 않는 경우 파싱될 수 있다.
상기 제3 신택스 요소는 상기 현재 블록의 샘플 수를 추가적으로 고려하여 파싱될 수 있다. 상기 제3 신택스 요소는 상기 현재 블록의 샘플 수가 64보다 큰 경우 파싱될 수 있다.
상기 제3 신택스 요소는 상기 현재 블록의 크기를 추가적으로 고려하여 파싱될 수 있다. 상기 제3 신택스 요소는 상기 현재 블록의 가로의 크기 및 세로의 크기 중 작은 크기가 8보다 큰 경우 파싱될 수 있다.
상기 제3 신택스 요소는 상기 현재 블록이 예측 모드가 CIIP(Combined Inter-picture merge and Inter-picture prediction) 모드 및 GPM(Geometric partitioning mode) 모드가 적용되는지 여부를 추가적으로 고려하여 파싱될 수 있다. 상기 제3 신택스 요소는 상기 현재 블록이 예측 모드가 CIIP 모드 및 GPM 모드가 아닌 경우 파싱될 수 있다.
상기 제3 신택스 요소는 상기 현재 블록에 템플릿 매칭 머지 모드가 적용되는지 여부를 추가적으로 고려하여 파싱될 수 있다. 상기 제3 신택스 요소는 상기 현재 블록에 템플릿 매칭 머지 모드가 적용되지 않는 경우 파싱될 수 있다. 상기 머지 모드는 머지 리스트 내의 모드이고, 상기 머지 리스트 내의 하나 이상의 모드들 각각의 POC(picture order count)는 서로 상이할 수 있다.
본 명세서에서 상술한 방법(비디오 신호 처리 방법)들은 디코더 또는 인코더의 프로세서를 통해 수행될 수 있다. 또한, 인코더는 비디오 신호 처리 방법에 의해 디코딩되는 비트스트림을 생성할 수 있다. 또한, 인코더가 생성한 비트스트림은 컴퓨터 판독 가능한 비 일시적 저장 매체(기록 매체)에 저장될 수 있다.
본 명세서는 주로 디코더 관점에서 기술되었으나 인코더에서도 동일하게 동작될 수 있다. 본 명세서의 파싱이라는 용어는 비트스트림으로부터 정보를 획득하는 과정을 중점으로하여 설명되었으나 인코더 측면에서는 비트스트림에 해당 정보를 구성하는 것으로 해석될 수 있다. 따라서 파싱이라는 용어는 디코더 동작으로만 한정되지 않고 인코더에서는 비트스트림을 구성하는 행위로까지 해석될 수 있다. 또한, 이러한 비트스트림은 컴퓨터 판독 가능한 기록 매체에 저장되어 구성될 수 있다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 프로세서의 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아는 것으로 해석해야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 비디오 신호 디코딩 장치에 있어서,
    프로세서를 포함하며,
    상기 프로세서는,
    일반 제약 정보(General Constraint Information, GCI) 신택스(syntax) 요소인 제1 신택스 요소를 파싱하고,
    현재 시퀀스에 MHP(Multi-hypothesis prediction) 모드가 사용 가능한지 여부를 나타내는 제2 신택스 요소를 파싱하고,
    상기 제2 신택스 요소의 파싱 결과에 기초하여 현재 블록에 상기 MHP 모드가 사용되는지 여부를 나타내는 제3 신택스 요소를 파싱하고,
    상기 제3 신택스 요소가 상기 현재 블록에 상기 MHP 모드가 사용됨을 나타내면, 상기 현재 블록을 상기 MHP 모드에 기초하여 예측하고,
    상기 제1 신택스 요소는, 시퀀스 파라미터세트(Sequence Parameter Set, SPS) RBSP 신택스 및 비디오 파라미터세트(Video Parameter Set, VPS) RBSP 신택스 중 적어도 어느 하나에 포함되고,
    상기 제2 신택스 요소는 상기 SPS RBSP 신택스에 포함되고,
    상기 제1 신택스 요소의 값이 1인 경우, 상기 제2 신택스 요소의 값은 상기 제2 신택스 요소의 파싱 결과와 무관하게 상기 MHP 모드가 사용되지 않음을 지시하는 값인 0으로 설정되고,
    상기 제1 신택스 요소의 값이 0인 경우, 상기 제2 신택스 요소의 값은 제약되지 않는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  2. 제 1항에 있어서,
    상기 제3 신택스 요소는, 상기 제2 신택스 요소가 상기 현재 블록에 상기 MHP 모드가 사용 가능함을 나타내는 경우 파싱되는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  3. 제 2항에 있어서,
    상기 제3 신택스 요소는, 상기 현재 블록의 예측 모드가 머지 모드인 경우 파싱되는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  4. 제 2항에 있어서,
    상기 제3 신택스 요소는 상기 현재 블록의 예측 방향을 추가적으로 고려하여 파싱되고,
    상기 제3 신택스 요소는 상기 예측 방향이 양-방향(Bi-prediction) 예측인 경우 파싱되는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  5. 제 4항에 있어서,
    상기 제3 신택스 요소는 상기 현재 블록의 예측 방향에 따른 가중치를 추가적으로 고려하여 파싱되고,
    상기 제3 신택스 요소는 상기 가중치가 1/2가 아닌 경우에 파싱되는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  6. 제 5항에 있어서,
    상기 제3 신택스 요소는 상기 현재 블록에 적용되는 예측 모드를 추가적으로 고려하여 파싱되고,
    상기 제3 신택스 요소는 상기 현재 블록에 어파인 모드 및 AMVR(adaptive motion vector resolution) 모드가 모두 적용되는 경우가 아닌 경우 파싱되는 것을 특징으로 하는 디코딩 장치.
  7. 제 6항에 있어서,
    상기 제3 신택스 요소는 상기 현재 블록에 적용되는 예측 모드가 AMVR 모드인지 여부를 추가적으로 고려하여 파싱되고,
    상기 제3 신택스 요소는 상기 현재 블록에 AMVR 모드가 적용되지 않는 경우 파싱되는 것을 특징으로 하는 디코딩 장치.
  8. 제 7항에 있어서,
    상기 제3 신택스 요소는 상기 현재 블록의 샘플 수를 추가적으로 고려하여 파싱되고,
    상기 제3 신택스 요소는 상기 현재 블록의 샘플 수가 64보다 큰 경우 파싱되는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  9. 제 8항에 있어서,
    상기 제3 신택스 요소는 상기 현재 블록의 크기를 추가적으로 고려하여 파싱되고,
    상기 제3 신택스 요소는 상기 현재 블록의 가로의 크기 및 세로의 크기 중 작은 크기가 8보다 큰 경우 파싱되는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  10. 제 3항에 있어서,
    상기 제3 신택스 요소는 상기 현재 블록이 예측 모드가 CIIP(Combined Inter-picture merge and Inter-picture prediction) 모드 및 GPM(Geometric partitioning mode) 모드가 적용되는지 여부를 추가적으로 고려하여 파싱되고,
    상기 제3 신택스 요소는 상기 현재 블록이 예측 모드가 CIIP 모드 및 GPM 모드가 아닌 경우 파싱되는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  11. 제 10항에 있어서,
    상기 제3 신택스 요소는 상기 현재 블록에 템플릿 매칭 머지 모드가 적용되는지 여부를 추가적으로 고려하여 파싱되고,
    상기 제3 신택스 요소는 상기 현재 블록에 템플릿 매칭 머지 모드가 적용되지 않는 경우 파싱되는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  12. 제 3항에 있어서,
    상기 머지 모드는 머지 리스트 내의 모드이고,
    상기 머지 리스트 내의 하나 이상의 모드들 각각의 POC(picture order count)는 서로 상이한 것을 특징으로 하는 비디오 신호 디코딩 장치.
  13. 비디오 신호 인코딩 장치에 있어서,
    프로세서를 포함하며,
    상기 프로세서는,
    디코딩 방법에 의해 디코딩되는 비트스트림을 획득하고,
    상기 디코딩 방법은,
    일반 제약 정보(General Constraint Information, GCI) 신택스(syntax) 요소인 제1 신택스 요소를 파싱하는 단계;
    현재 시퀀스에 MHP(Multi-hypothesis prediction) 모드가 사용 가능한지 여부를 나타내는 제2 신택스 요소를 파싱하는 단계;
    상기 제2 신택스 요소의 파싱 결과에 기초하여 현재 블록에 상기 MHP 모드가 사용되는지 여부를 나타내는 제3 신택스 요소를 파싱하는 단계; 및
    상기 제3 신택스 요소가 상기 현재 블록에 상기 MHP 모드가 사용됨을 나타내면, 상기 현재 블록을 상기 MHP 모드에 기초하여 예측하는 단계를 포함하고,
    상기 제1 신택스 요소는, 시퀀스 파라미터세트(Sequence Parameter Set, SPS) RBSP 신택스 및 비디오 파라미터세트(Video Parameter Set, VPS) RBSP 신택스 중 적어도 어느 하나에 포함되고,
    상기 제2 신택스 요소는 상기 SPS RBSP 신택스에 포함되고,
    상기 제1 신택스 요소의 값이 1인 경우, 상기 제2 신택스 요소의 값은 상기 제2 신택스 요소의 파싱 결과와 무관하게 상기 MHP 모드가 사용되지 않음을 지시하는 값인 0으로 설정되고,
    상기 제1 신택스 요소의 값이 0인 경우, 상기 제2 신택스 요소의 값은 제약되지 않는 것을 특징으로 하는 인코딩 장치.
  14. 제 13항에 있어서,
    상기 제3 신택스 요소는, 상기 제2 신택스 요소가 상기 현재 블록에 상기 MHP 모드가 사용 가능함을 나타내는 경우 파싱되는 것을 특징으로 하는 비디오 신호 인딩 장치.
  15. 제 14항에 있어서,
    상기 제3 신택스 요소는, 상기 현재 블록의 예측 모드가 머지 모드인 경우 파싱되는 것을 특징으로 하는 비디오 신호 인코딩 장치.
  16. 제 14항에 있어서,
    상기 제3 신택스 요소는 상기 현재 블록의 예측 방향을 추가적으로 고려하여 파싱되고,
    상기 제3 신택스 요소는 상기 예측 방향이 양-방향(Bi-prediction) 예측인 경우 파싱되는 것을 특징으로 하는 비디오 신호 인코딩 장치.
  17. 제 16항에 있어서,
    상기 제3 신택스 요소는 상기 현재 블록의 예측 방향에 따른 가중치를 추가적으로 고려하여 파싱되고,
    상기 제3 신택스 요소는 상기 가중치가 1/2가 아닌 경우에 파싱되는 것을 특징으로 하는 비디오 신호 인코딩 장치.
  18. 제 17항에 있어서,
    상기 제3 신택스 요소는 상기 현재 블록에 적용되는 예측 모드를 추가적으로 고려하여 파싱되고,
    상기 제3 신택스 요소는 상기 현재 블록에 어파인 모드 및 AMVR(adaptive motion vector resolution) 모드가 모두 적용되는 경우가 아닌 경우 파싱되는 것을 특징으로 하는 인코딩 장치.
  19. 제 18항에 있어서,
    상기 제3 신택스 요소는 상기 현재 블록에 적용되는 예측 모드가 AMVR 모드인지 여부를 추가적으로 고려하여 파싱되고,
    상기 제3 신택스 요소는 상기 현재 블록에 AMVR 모드가 적용되지 않는 경우 파싱되는 것을 특징으로 하는 인코딩 장치.
  20. 비트스트림을 저장하는 컴퓨터 판독 가능한 비 일시적 저장 매체에 있어서, 상기 비트스트림은 디코딩 방법에 의해 디코딩되고,
    상기 디코딩 방법은,
    일반 제약 정보(General Constraint Information, GCI) 신택스(syntax) 요소인 제1 신택스 요소를 파싱하는 단계;
    현재 시퀀스에 MHP(Multi-hypothesis prediction) 모드가 사용 가능한지 여부를 나타내는 제2 신택스 요소를 파싱하는 단계;
    상기 제2 신택스 요소의 파싱 결과에 기초하여 현재 블록에 상기 MHP 모드가 사용되는지 여부를 나타내는 제3 신택스 요소를 파싱하는 단계; 및
    상기 제3 신택스 요소가 상기 현재 블록에 상기 MHP 모드가 사용됨을 나타내면, 상기 현재 블록을 상기 MHP 모드에 기초하여 예측하는 단계를 포함하고,
    상기 제1 신택스 요소는, 시퀀스 파라미터세트(Sequence Parameter Set, SPS) RBSP 신택스 및 비디오 파라미터세트(Video Parameter Set, VPS) RBSP 신택스 중 적어도 어느 하나에 포함되고,
    상기 제2 신택스 요소는 상기 SPS RBSP 신택스에 포함되고,
    상기 제1 신택스 요소의 값이 1인 경우, 상기 제2 신택스 요소의 값은 상기 제2 신택스 요소의 파싱 결과와 무관하게 상기 MHP 모드가 사용되지 않음을 지시하는 값인 0으로 설정되고,
    상기 제1 신택스 요소의 값이 0인 경우, 상기 제2 신택스 요소의 값은 제약되지 않는 것을 특징으로 하는 저장 매체.
PCT/KR2022/014696 2021-09-29 2022-09-29 Mhp(multi-hypothesis prediction)모드에 기초한 비디오 신호 처리 방법 및 이를 위한 장치 WO2023055147A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247010195A KR20240087758A (ko) 2021-09-29 2022-09-29 Mhp(multi-hypothesis prediction)모드에 기초한 비디오 신호 처리 방법 및 이를 위한 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210129300 2021-09-29
KR10-2021-0129300 2021-09-29

Publications (1)

Publication Number Publication Date
WO2023055147A1 true WO2023055147A1 (ko) 2023-04-06

Family

ID=85783262

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014696 WO2023055147A1 (ko) 2021-09-29 2022-09-29 Mhp(multi-hypothesis prediction)모드에 기초한 비디오 신호 처리 방법 및 이를 위한 장치

Country Status (2)

Country Link
KR (1) KR20240087758A (ko)
WO (1) WO2023055147A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190379901A1 (en) * 2018-06-08 2019-12-12 Mediatek Inc. Methods and apparatus for multi-hypothesis mode reference and constraints
WO2020141932A1 (ko) * 2019-01-04 2020-07-09 엘지전자 주식회사 Cpr 기반 mmvd를 이용하는 인터 예측 방법 및 장치
KR20210072099A (ko) * 2018-10-27 2021-06-16 후아웨이 테크놀러지 컴퍼니 리미티드 서브블록 병합 후보를 위한 개별적인 병합 목록 및 비디오 코딩을 위한 인트라-인터 기술 조화
KR20210091304A (ko) * 2018-11-21 2021-07-21 인터디지털 브이씨 홀딩스 인코포레이티드 화상 인코딩 및 디코딩을 위한 방법 및 디바이스

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190379901A1 (en) * 2018-06-08 2019-12-12 Mediatek Inc. Methods and apparatus for multi-hypothesis mode reference and constraints
KR20210072099A (ko) * 2018-10-27 2021-06-16 후아웨이 테크놀러지 컴퍼니 리미티드 서브블록 병합 후보를 위한 개별적인 병합 목록 및 비디오 코딩을 위한 인트라-인터 기술 조화
KR20210091304A (ko) * 2018-11-21 2021-07-21 인터디지털 브이씨 홀딩스 인코포레이티드 화상 인코딩 및 디코딩을 위한 방법 및 디바이스
WO2020141932A1 (ko) * 2019-01-04 2020-07-09 엘지전자 주식회사 Cpr 기반 mmvd를 이용하는 인터 예측 방법 및 장치

Also Published As

Publication number Publication date
KR20240087758A (ko) 2024-06-19

Similar Documents

Publication Publication Date Title
WO2020222484A1 (ko) 인트라 예측 기반 비디오 신호 처리 방법 및 장치
WO2019125093A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016200043A1 (ko) 비디오 코딩 시스템에서 가상 참조 픽처 기반 인터 예측 방법 및 장치
WO2012081879A1 (ko) 인터 예측 부호화된 동영상 복호화 방법
WO2019147087A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020162737A1 (ko) 이차 변환을 이용하는 비디오 신호 처리 방법 및 장치
WO2017082443A1 (ko) 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치
WO2020050702A1 (ko) 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
WO2017159901A1 (ko) 비디오 코딩 시스템에서 블록 구조 도출 방법 및 장치
WO2020130600A1 (ko) 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
WO2020242145A1 (ko) 적응적 파라미터 셋을 사용하는 비디오 코딩 방법 및 장치
WO2018128222A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2016178485A1 (ko) 영상 코딩 시스템에서 코딩 유닛 처리 방법 및 장치
WO2019066175A1 (ko) 영상 코딩 시스템에서 블록 분할 구조에 따른 영상 디코딩 방법 및 장치
WO2018128228A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2023055147A1 (ko) Mhp(multi-hypothesis prediction)모드에 기초한 비디오 신호 처리 방법 및 이를 위한 장치
WO2023096472A1 (ko) 비디오 신호 처리 방법 및 이를 위한 장치
WO2019199142A1 (ko) 인트라 예측 방법을 결정하기 위한 영상 코딩 방법 및 장치
WO2023132660A1 (ko) 종속 양자화를 이용한 비디오 신호 처리 방법 및 이를 위한 장치
WO2023043296A1 (ko) Obmc를 이용한 비디오 신호 처리 방법 및 이를 위한 장치
WO2023033617A1 (ko) Lic(local illumination compensation) 모드를 이용한 비디오 신호 처리 방법 및 이를 위한 장치
WO2024053987A1 (ko) 기하학적 분할을 이용하는 비디오 신호 처리 방법 및 이를 위한 장치
WO2023277535A1 (ko) 인트라 예측을 이용한 비디오 신호 처리 방법 및 이를 위한 장치
WO2023055220A1 (ko) 참조 픽쳐를 기초로 인트라 예측 모드를 결정하는 비디오 신호 처리 방법 및 이를 위한 장치
WO2023182781A1 (ko) 템플릿 매칭에 기초한 비디오 신호 처리 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22876919

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22876919

Country of ref document: EP

Kind code of ref document: A1