WO2021125904A1 - 비디오 신호 처리 방법 및 장치 - Google Patents

비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
WO2021125904A1
WO2021125904A1 PCT/KR2020/018726 KR2020018726W WO2021125904A1 WO 2021125904 A1 WO2021125904 A1 WO 2021125904A1 KR 2020018726 W KR2020018726 W KR 2020018726W WO 2021125904 A1 WO2021125904 A1 WO 2021125904A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
vector candidate
prediction
current
neighboring
Prior art date
Application number
PCT/KR2020/018726
Other languages
English (en)
French (fr)
Inventor
임성원
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Publication of WO2021125904A1 publication Critical patent/WO2021125904A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Definitions

  • the present disclosure relates to a video signal processing method and apparatus.
  • HD High Definition
  • UHD Ultra High Definition
  • Inter-screen prediction technology that predicts pixel values included in the current picture from pictures before or after the current picture with image compression technology
  • intra-picture prediction technology that predicts pixel values included in the current picture using pixel information in the current picture
  • Various techniques exist such as entropy encoding technology in which a short code is assigned to a value with a high frequency of occurrence and a long code is assigned to a value with a low frequency of occurrence, and the image data can be effectively compressed and transmitted or stored using these image compression techniques.
  • An object of the present disclosure is to provide a method and apparatus for deriving motion information by referring to neighboring blocks in encoding/decoding a video signal.
  • An object of the present disclosure is to provide a method and apparatus for deriving a block vector by referring to neighboring blocks in encoding/decoding a video signal.
  • a video signal decoding method includes determining whether an intra block copy mode is applied to a current block, and when it is determined that the intra block copy mode is applied to the current block, a block vector candidate for the current block generating a list, deriving a block vector of the current block based on the block vector candidate list, and specifying a prediction block of the current block in a current picture using the block vector can
  • the block vector candidate list may include at least one block vector candidate derived from at least one neighboring block, and a plurality of block vector candidates may be inserted into the block vector candidate list according to priority.
  • the priority may indicate that a first block vector candidate derived from an upper block is inserted into the block vector candidate list before a second block vector candidate derived from a left block. .
  • the first block vector candidate is based on a first found available block when following a search order defined in the order of an upper neighboring block, an upper right neighboring block, and an upper left neighboring block. can be induced.
  • the second block vector candidate may be derived based on the first found available block when following a search order defined in the order of the left neighboring block and the lower left neighboring block. have.
  • the priority may be adaptively determined based on at least one of a size or a shape of the current block.
  • the temporary block vector candidate list A temporary block vector candidate stored in may be added to the block vector candidate list.
  • the temporary block vector candidate list may be generated for each parallel processing region.
  • prediction efficiency can be improved by inducing motion information with reference to a neighboring block.
  • prediction efficiency can be improved by deriving a block vector with reference to a neighboring block.
  • FIG. 1 is a block diagram illustrating an image encoding apparatus according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating an image decoding apparatus according to an embodiment of the present disclosure.
  • 3 and 4 show examples in which inter prediction is performed.
  • FIG. 5 is a flowchart illustrating an inter prediction method according to an embodiment to which the present invention is applied.
  • FIG. 6 is a diagram for explaining the location of a spatial neighboring block referenced when derivation of motion information of a current block.
  • FIG. 7 is an example for explaining a temporal neighboring block referenced to derive motion information of the current block.
  • FIG. 8 is a diagram illustrating a process of deriving motion information of a current block when a merge mode is applied to the current block.
  • FIG. 9 is a diagram illustrating a process of deriving motion information of the current block when the AMVP mode is applied to the current block.
  • FIG. 10 is a diagram illustrating an example in which sub-block level motion information is obtained.
  • 11 shows an example of motion compensation using a motion vector for each control point.
  • FIG. 12 is a diagram illustrating an example in which motion compensation for each pixel is performed.
  • FIG 13 shows an example in which motion compensation for each sub-block is performed.
  • FIG. 14 is an example illustrating an example in which motion compensation is performed using three control point motion vectors.
  • 16 is a diagram for explaining an example of deriving a prediction sample under a planar mode.
  • 17 is a diagram for explaining an example of deriving a prediction sample under a DC mode.
  • first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present disclosure, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
  • FIG. 1 is a block diagram illustrating an image encoding apparatus according to an embodiment of the present disclosure.
  • the image encoding apparatus 100 includes a picture division unit 110 , prediction units 120 and 125 , a transform unit 130 , a quantization unit 135 , a rearrangement unit 160 , and an entropy encoding unit ( 165 ), an inverse quantization unit 140 , an inverse transform unit 145 , a filter unit 150 , and a memory 155 .
  • each of the constituent units shown in FIG. 1 is independently illustrated to represent different characteristic functions in the image encoding apparatus, and does not mean that each constituent unit is composed of separate hardware or one software constituent unit. That is, each component is listed as each component for convenience of description, and at least two components of each component are combined to form one component, or one component can be divided into a plurality of components to perform a function, and each Integrated embodiments and separate embodiments of the components are also included in the scope of the present disclosure without departing from the essence of the present disclosure.
  • components are not essential components to perform an essential function in the present disclosure, but may be optional components for merely improving performance.
  • the present disclosure may be implemented by including only essential components to implement the essence of the present disclosure, except for components used for performance improvement, and a structure including only essential components excluding optional components used for performance improvement Also included in the scope of the present disclosure.
  • the picture divider 110 may divide the input picture into at least one processing unit.
  • the processing unit may be a prediction unit (PU), a transform unit (TU), or a coding unit (CU).
  • the picture splitter 110 divides one picture into a combination of a plurality of coding units, prediction units, and transformation units, and combines one coding unit, prediction unit, and transformation unit based on a predetermined criterion (eg, a cost function). can be selected to encode the picture.
  • a predetermined criterion eg, a cost function
  • one picture may be divided into a plurality of coding units.
  • a recursive tree structure such as a quad tree structure can be used.
  • a unit may be divided having as many child nodes as the number of divided coding units.
  • a coding unit that is no longer split according to certain restrictions becomes a leaf node. That is, when it is assumed that only square splitting is possible for one coding unit, one coding unit may be split into up to four different coding units.
  • a coding unit may be used as a unit for performing encoding or may be used as a meaning for a unit for performing decoding.
  • a prediction unit may be split in the form of at least one square or rectangle of the same size within one coding unit, and one prediction unit among the split prediction units within one coding unit is a prediction of another. It may be divided to have a shape and/or size different from that of the unit.
  • intra prediction may be performed without dividing the prediction unit into a plurality of prediction units NxN.
  • the prediction units 120 and 125 may include an inter prediction unit 120 performing inter prediction and an intra prediction unit 125 performing intra prediction. Whether to use inter prediction or to perform intra prediction for a prediction unit may be determined, and specific information (eg, intra prediction mode, motion vector, reference picture, etc.) according to each prediction method may be determined. In this case, a processing unit in which prediction is performed and a processing unit in which a prediction method and specific content are determined may be different. For example, a prediction method and a prediction mode may be determined in a prediction unit, and prediction may be performed in a transformation unit. A residual value (residual block) between the generated prediction block and the original block may be input to the transform unit 130 . Also, prediction mode information, motion vector information, etc.
  • the entropy encoder 165 may be encoded by the entropy encoder 165 together with the residual value and transmitted to the decoding apparatus.
  • a specific encoding mode it is also possible to encode the original block as it is without generating the prediction block through the prediction units 120 and 125 and transmit it to the decoder.
  • the inter prediction unit 120 may predict a prediction unit based on information on at least one of a picture before or after a picture of the current picture, and in some cases, prediction based on information of a partial region in the current picture that has been encoded Units can also be predicted.
  • the inter prediction unit 120 may include a reference picture interpolator, a motion prediction unit, and a motion compensator.
  • the reference picture interpolator may receive reference picture information from the memory 155 and generate pixel information of integer pixels or less in the reference picture.
  • a DCT-based 8-tap interpolation filter (DCT-based Interpolation Filter) with different filter coefficients may be used to generate pixel information of integer pixels or less in units of 1/4 pixels.
  • a DCT-based 4-tap interpolation filter in which filter coefficients are different to generate pixel information of integer pixels or less in units of 1/8 pixels may be used.
  • the motion prediction unit may perform motion prediction based on the reference picture interpolated by the reference picture interpolator.
  • various methods such as Full search-based Block Matching Algorithm (FBMA), Three Step Search (TSS), and New Three-Step Search Algorithm (NTS) may be used.
  • the motion vector may have a motion vector value of 1/2 or 1/4 pixel unit based on the interpolated pixel.
  • the motion prediction unit may predict the current prediction unit by using a different motion prediction method.
  • Various methods such as a skip method, a merge method, an AMVP (Advanced Motion Vector Prediction) method, an intra block copy method, etc., may be used as the motion prediction method.
  • the intra prediction unit 125 may generate a prediction unit based on reference pixel information around the current block, which is pixel information in the current picture.
  • reference pixel information around the current block which is pixel information in the current picture.
  • a neighboring block of the current prediction unit is a block on which inter prediction is performed, and thus a reference pixel is a pixel on which inter prediction is performed
  • a reference pixel included in the block on which inter prediction is performed is a reference pixel of the block on which intra prediction has been performed. information can be used instead. That is, when the reference pixel is not available, the unavailable reference pixel information may be replaced with at least one reference pixel among the available reference pixels.
  • the prediction mode may have a directional prediction mode in which reference pixel information is used according to a prediction direction and a non-directional mode in which directional information is not used when prediction is performed.
  • a mode for predicting luminance information and a mode for predicting chrominance information may be different, and intra prediction mode information used for predicting luminance information or predicted luminance signal information may be utilized to predict chrominance information.
  • intra prediction When intra prediction is performed, if the size of the prediction unit and the size of the transformation unit are the same, intra prediction for the prediction unit based on the pixel present on the left side, the pixel present on the upper left side, and the pixel present on the upper side of the prediction unit can be performed. However, when the size of the prediction unit is different from the size of the transformation unit when performing intra prediction, intra prediction may be performed using a reference pixel based on the transformation unit. In addition, intra prediction using NxN splitting may be used only for the smallest coding unit.
  • the intra prediction method may generate a prediction block after applying an adaptive intra smoothing (AIS) filter to a reference pixel according to a prediction mode.
  • AIS adaptive intra smoothing
  • the intra prediction mode of the current prediction unit may be predicted from the intra prediction mode of the prediction unit existing around the current prediction unit.
  • the prediction mode of the current prediction unit is predicted using the mode information predicted from the neighboring prediction unit, if the intra prediction mode of the current prediction unit and the neighboring prediction unit are the same, the current prediction unit and the neighboring prediction unit are used using predetermined flag information It is possible to transmit information that the prediction modes of . , and if the prediction modes of the current prediction unit and the neighboring prediction units are different from each other, entropy encoding may be performed to encode prediction mode information of the current block.
  • a residual block including residual information which is a difference value between a prediction unit and an original block of the prediction unit, in which prediction is performed based on the prediction unit generated by the prediction units 120 and 125 may be generated.
  • the generated residual block may be input to the transform unit 130 .
  • the transform unit 130 converts the original block and the residual block including residual information of the prediction unit generated by the prediction units 120 and 125 to DCT (Discrete Cosine Transform), DST (Discrete Sine Transform), KLT and It can be converted using the same conversion method. Whether to apply DCT, DST, or KLT to transform the residual block may be determined based on intra prediction mode information of a prediction unit used to generate the residual block.
  • DCT Discrete Cosine Transform
  • DST Discrete Sine Transform
  • KLT Discrete Sine Transform
  • the quantizer 135 may quantize the values transformed by the transform unit 130 into the frequency domain.
  • the quantization coefficient may change according to blocks or the importance of an image.
  • the value calculated by the quantization unit 135 may be provided to the inverse quantization unit 140 and the rearrangement unit 160 .
  • the rearrangement unit 160 may rearrange the coefficient values on the quantized residual values.
  • the reordering unit 160 may change the two-dimensional block form coefficient into a one-dimensional vector form through a coefficient scanning method.
  • the rearranging unit 160 may use a Zig-Zag Scan method to scan from DC coefficients to coefficients in a high-frequency region and change them into a one-dimensional vector form.
  • a vertical scan that scans a two-dimensional block shape coefficient in a column direction and a horizontal scan that scans a two-dimensional block shape coefficient in a row direction may be used instead of a zig-zag scan according to a size of a transform unit and an intra prediction mode. That is, it may be determined whether any of the zig-zag scan, the vertical scan, and the horizontal scan is used according to the size of the transform unit and the intra prediction mode.
  • the entropy encoding unit 165 may perform entropy encoding based on the values calculated by the reordering unit 160 .
  • various encoding methods such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC) may be used.
  • the entropy encoding unit 165 receives the residual value coefficient information and block type information, prediction mode information, division unit information, prediction unit information and transmission unit information, motion of the coding unit from the reordering unit 160 and the prediction units 120 and 125 .
  • Various information such as vector information, reference frame information, interpolation information of a block, and filtering information may be encoded.
  • the entropy encoder 165 may entropy-encode the coefficient values of the coding units input from the reordering unit 160 .
  • the inverse quantizer 140 and the inverse transform unit 145 inversely quantize the values quantized by the quantizer 135 and inversely transform the values transformed by the transform unit 130 .
  • the residual values generated by the inverse quantizer 140 and the inverse transform unit 145 are combined with the prediction units predicted through the motion estimation unit, the motion compensator, and the intra prediction unit included in the prediction units 120 and 125 and restored. You can create a Reconstructed Block.
  • the filter unit 150 may include at least one of a deblocking filter, an offset correcting unit, and an adaptive loop filter (ALF).
  • a deblocking filter may include at least one of a deblocking filter, an offset correcting unit, and an adaptive loop filter (ALF).
  • ALF adaptive loop filter
  • the deblocking filter may remove block distortion caused by the boundary between blocks in the reconstructed picture.
  • it may be determined whether to apply the deblocking filter to the current block based on pixels included in several columns or rows included in the block.
  • a strong filter or a weak filter can be applied according to the required deblocking filtering strength.
  • horizontal filtering and vertical filtering may be concurrently processed when performing vertical filtering and horizontal filtering.
  • the offset corrector may correct the offset of the deblocked image with respect to the original image in units of pixels.
  • a method of dividing pixels included in an image into a certain number of regions, determining the region to be offset and applying the offset to the region, or taking edge information of each pixel into consideration can be used to apply
  • Adaptive loop filtering may be performed based on a value obtained by comparing the filtered reconstructed image and the original image. After dividing the pixels included in the image into a predetermined group, one filter to be applied to the corresponding group is determined, and filtering can be performed differentially for each group.
  • the luminance signal may be transmitted for each coding unit (CU), and the shape and filter coefficients of the ALF filter to be applied may vary according to each block.
  • the ALF filter of the same type may be applied regardless of the characteristics of the target block.
  • the memory 155 may store the reconstructed block or picture calculated through the filter unit 150 , and the stored reconstructed block or picture may be provided to the predictors 120 and 125 when inter prediction is performed.
  • FIG. 2 is a block diagram illustrating an image decoding apparatus according to an embodiment of the present disclosure.
  • the image decoding apparatus 200 includes an entropy decoding unit 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, prediction units 230 and 235, and a filter unit ( 240) and a memory 245 may be included.
  • the input bitstream may be decoded by a procedure opposite to that of the image encoding apparatus.
  • the entropy decoding unit 210 may perform entropy decoding in a procedure opposite to that performed by the entropy encoding unit of the image encoding apparatus. For example, various methods such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC) may be applied corresponding to the method performed by the image encoding apparatus.
  • various methods such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC) may be applied corresponding to the method performed by the image encoding apparatus.
  • CAVLC Context-Adaptive Variable Length Coding
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the entropy decoding unit 210 may decode information related to intra prediction and inter prediction performed by the encoding apparatus.
  • the reordering unit 215 may perform reordering based on a method of rearranging the entropy-decoded bitstream by the entropy decoding unit 210 by the encoder. Coefficients expressed in the form of a one-dimensional vector may be restored and rearranged in the form of a two-dimensional block.
  • the reordering unit 215 may receive information related to coefficient scanning performed by the encoder and perform reordering by performing a reverse scanning method based on the scanning order performed by the corresponding encoder.
  • the inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoding apparatus and the reordered coefficient values of the blocks.
  • the inverse transform unit 225 may perform inverse transforms, ie, inverse DCT, inverse DST, and inverse KLT, on the transforms performed by the transform unit, ie, DCT, DST, and KLT, on the quantization result performed by the image encoding apparatus. Inverse transform may be performed based on a transmission unit determined by the image encoding apparatus.
  • the inverse transform unit 225 of the image decoding apparatus may selectively perform a transformation technique (eg, DCT, DST, KLT) according to a plurality of pieces of information such as a prediction method, a size of a current block, and a prediction direction.
  • a transformation technique eg, DCT, DST, KLT
  • the prediction units 230 and 235 may generate a prediction block based on the prediction block generation related information provided from the entropy decoding unit 210 and previously decoded block or picture information provided from the memory 245 .
  • intra prediction when intra prediction is performed in the same manner as in the operation in the image encoding apparatus, when the size of the prediction unit and the size of the transformation unit are the same, the pixel present on the left side of the prediction unit, the pixel present on the upper left side, and the upper Intra prediction is performed on the prediction unit based on the existing pixel, but when the size of the prediction unit and the size of the transformation unit are different when performing intra prediction, intra prediction is performed using the reference pixel based on the transformation unit can do. Also, intra prediction using NxN splitting may be used only for the smallest coding unit.
  • the prediction units 230 and 235 may include a prediction unit determiner, an inter prediction unit, and an intra prediction unit.
  • the prediction unit determining unit receives various information such as prediction unit information input from the entropy decoder 210, prediction mode information of the intra prediction method, and motion prediction related information of the inter prediction method, and divides the prediction unit from the current coding unit, and predicts It may be determined whether the unit performs inter prediction or intra prediction.
  • the inter prediction unit 230 uses information required for inter prediction of the current prediction unit provided from the image encoding apparatus based on information included in at least one of a picture before or after the current picture including the current prediction unit. Inter prediction may be performed on the prediction unit. Alternatively, inter prediction may be performed based on information of a pre-restored partial region in the current picture including the current prediction unit.
  • a motion prediction method of a prediction unit included in a corresponding coding unit based on a coding unit is selected from among skip mode, merge mode, AMVP mode, and intra block copy mode. You can decide which way to go.
  • the intra prediction unit 235 may generate a prediction block based on pixel information in the current picture.
  • intra prediction may be performed based on intra prediction mode information of the prediction unit provided by the image encoding apparatus.
  • the intra prediction unit 235 may include an Adaptive Intra Smoothing (AIS) filter, a reference pixel interpolator, and a DC filter.
  • the AIS filter is a part that performs filtering on the reference pixel of the current block, and may be applied by determining whether to apply the filter according to the prediction mode of the current prediction unit.
  • AIS filtering may be performed on the reference pixel of the current block by using the prediction mode and AIS filter information of the prediction unit provided by the image encoding apparatus.
  • the prediction mode of the current block is a mode in which AIS filtering is not performed, the AIS filter may not be applied.
  • the reference pixel interpolator may interpolate the reference pixel to generate a reference pixel of a pixel unit having an integer value or less.
  • the prediction mode of the current prediction unit is a prediction mode that generates a prediction block without interpolating the reference pixel
  • the reference pixel may not be interpolated.
  • the DC filter may generate the prediction block through filtering when the prediction mode of the current block is the DC mode.
  • the reconstructed block or picture may be provided to the filter unit 240 .
  • the filter unit 240 may include a deblocking filter, an offset correction unit, and an ALF.
  • the deblocking filter of the image decoding apparatus may receive deblocking filter-related information provided from the image encoding apparatus, and the image decoding apparatus may perform deblocking filtering on the corresponding block.
  • the offset correction unit may perform offset correction on the reconstructed image based on the type of offset correction applied to the image during encoding, information on the offset value, and the like.
  • ALF may be applied to a coding unit based on information on whether ALF is applied, ALF coefficient information, etc. provided from the encoding apparatus. Such ALF information may be provided by being included in a specific parameter set.
  • the memory 245 may store the reconstructed picture or block to be used as a reference picture or reference block, and may also provide the reconstructed picture to an output unit.
  • a coding unit is used as a term for a coding unit for convenience of description, but may also be a unit for performing decoding as well as coding.
  • the current block denotes an encoding/decoding target block, and depending on the encoding/decoding step, a coding tree block (or coding tree unit), a coding block (or a coding unit), a transform block (or a transform unit), or a prediction block (or prediction unit) and the like.
  • a 'unit' may indicate a basic unit for performing a specific encoding/decoding process
  • a 'block' may indicate a pixel array of a predetermined size.
  • 'block' and 'unit' may be used interchangeably.
  • the coding block (coding block) and the coding unit (coding unit) are mutually equivalent.
  • An image may be encoded/decoded in units of blocks.
  • a coding block may be recursively partitioned based on a tree structure.
  • the coding block may be divided by at least one of quad tree division, binary tree division, or ternary tree division.
  • the coding block may be divided into a plurality of prediction blocks or a plurality of transform blocks.
  • motion information may be used.
  • the motion information may include at least one of a motion vector, a reference image index, and a prediction direction.
  • a block most similar to the current block may be searched for from the reference image of the current picture, and the searched block may be set as a prediction block of the current block. Thereafter, a residual block may be generated by differentiating the current block and the prediction block.
  • 3 and 4 show examples in which inter prediction is performed.
  • FIG. 3 shows a result of searching for a prediction block spaced apart by a motion vector (x, y) from a collocated block located at the same location as the current block in the T-1 th reference image.
  • the motion vector (x,y), the reference picture index indicating the reference picture T-1, and prediction direction information indicating that the L0 direction prediction has been performed may be determined as the motion information of the current block.
  • the reference block 0 spaced apart by the motion vector (x0, y0) from the collocated block in the reference image T-1 is specified through L0 prediction. Also, through L1 prediction, reference block 1 spaced apart by a motion vector (x1, y1) from the collocated block in the reference image T+1 is specified.
  • the motion vector (x0, y0), the reference picture index indicating the reference picture T-1, and prediction direction information indicating that the L0 direction prediction has been performed may be determined as the L0 motion information of the current block.
  • the motion vector (x1, y1), the reference picture index indicating the reference picture T+1, and prediction direction information indicating that the L1 direction prediction has been performed may be determined as the L1 motion information of the current block.
  • the final prediction block of the current block may be generated based on a weighted sum between the L0 prediction block and the L1 prediction block.
  • the L0 direction is the previous direction of the current picture
  • the L1 direction is illustrated as the subsequent direction of the current picture.
  • both the L0 direction and the L1 direction may be set to the previous direction of the current picture, or both the L0 direction and the L1 direction may be set to the subsequent direction of the current picture.
  • the L0 direction may be a direction after the current picture and the L1 direction may be set as a previous direction of the current picture.
  • the reference picture of the previous direction and the reference picture of the following direction may be mixed.
  • motion information of the current block must be encoded and transmitted to a decoder.
  • the motion vector may be encoded as it is and transmitted to the decoder.
  • the amount of the motion vector may be reduced by using the predicted motion vector generated through the motion vector prediction process and transmitted to the decoder.
  • FIG. 5 is a flowchart illustrating an inter prediction method according to an embodiment to which the present invention is applied.
  • motion information of a current block may be determined ( S510 ).
  • the motion information of the current block may include at least one of a motion vector related to the current block, a reference picture index of the current block, and an inter prediction direction of the current block.
  • the motion information of the current block may be obtained based on at least one of information signaled through a bitstream or motion information of a spatial/temporal neighboring block of the current block.
  • FIG. 6 is a diagram for explaining the location of a spatial neighboring block referenced when derivation of motion information of a current block.
  • LB indicates the position of the lower left sample in the current block
  • RT indicates the position of the upper right sample in the current block.
  • AX (X is 0 to 4) represents a reconstructed sample on the left side of the current block
  • BY (Y is 0 to 5) represents a reconstructed sample at the top of the current block.
  • a location of at least one of the illustrated plurality of reconstructed samples may be used to determine a spatial neighboring block.
  • at least one of A0, A1, B0, B1, and B5 may be defined as a reference position for determining a spatial neighboring block.
  • FIG. 7 is an example for explaining a temporal neighboring block referenced to derive motion information of the current block.
  • CX (X is 0 to 35) represents samples in the collocated block and reconstructed pixels around the collocated block.
  • a location of at least one of the illustrated plurality of reconstructed samples may be used to determine a spatial neighboring block.
  • at least one of C21 and C35 may be defined as a reference position for determining a spatial neighboring block.
  • FIG. 8 is a diagram illustrating a process of deriving motion information of a current block when a merge mode is applied to the current block.
  • a spatial merge candidate may be derived from a spatial neighboring block of the current block (S810).
  • the spatial neighboring block may include at least one of blocks adjacent to the top, left, or corner of the current block (eg, at least one of an upper left corner, an upper right corner, or a lower left corner).
  • Motion information of a spatial merge candidate may be set to be the same as motion information of a spatial neighboring block.
  • a temporal merge candidate may be derived from a temporal neighboring block of the current block ( S820 ).
  • the temporal neighboring block may mean a co-located block (collocated block) included in the collocated picture.
  • the collocated picture has a different temporal order (Picture Order Count, POC) from the current picture including the current block.
  • the collocated picture may be determined as a picture having a predefined index in the reference picture list, or may be determined by an index signaled from a bitstream.
  • the temporal neighboring block may be determined as an arbitrary block in the block having the same position and size as the current block in the collocated picture, or a block adjacent to the block having the same position and size as the current block. For example, at least one of a block including the center coordinates of a block having the same position and size as the current block in the collocated picture or a block adjacent to the lower right boundary of the block may be determined as a temporal neighboring block.
  • Motion information of a temporal merge candidate may be determined based on motion information of a temporal neighboring block.
  • the motion vector of the temporal merge candidate may be determined based on the motion vector of the temporal neighboring block.
  • the inter prediction direction of the temporal merge candidate may be set to be the same as the inter prediction direction of the temporal neighboring block.
  • the reference picture index of the temporal merge candidate may have a fixed value.
  • the reference picture index of the temporal merge candidate may be set to '0'.
  • a merge candidate list including a spatial merge candidate and a temporal merge candidate may be generated ( S830 ).
  • the spatial merge candidate and the temporal merge candidate may be inserted into the merge candidate list according to predefined priorities.
  • the maximum number of merge candidates that the merge candidate list can include is 5, a spatial merge candidate derived from the upper neighboring block B1 of the current block, a spatial merge candidate derived from the left neighboring block A1,
  • merge candidates can be added to the merge candidate list.
  • the spatial merge candidate derived from the upper-left neighboring block B2 may be added to the merge candidate list only when at least one of the other spatial neighboring blocks is unavailable.
  • Priorities between merge candidates may be predefined in an encoder and a decoder.
  • priorities between merge candidates may be adaptively determined. For example, when the current block has a non-square shape having a width greater than a height, a merge candidate derived from the upper neighboring block B1 may be added to the merge candidate list before a merge candidate derived from the left neighboring block A1. On the other hand, when the current block has a non-square shape whose height is greater than the width, the merge candidate derived from the left neighboring block A1 may be added to the merge candidate list before the merge candidate derived from the upper neighboring block B1.
  • motion information included in the global motion information buffer may be added to the merge candidate list as a merge candidate.
  • the global motion information buffer may store motion information of a picture including the current block, a slice, a coding tree unit line, or a block encoded/decoded before the current block in the coding tree unit. For example, motion information of blocks encoded by inter prediction from a first block in a predetermined region to a block preceding the current block may be all stored in the global motion information buffer.
  • the number of motion information that can be stored in the motion information buffer may be limited to M pieces.
  • the distance from the current block may be determined by a difference in encoding/decoding order from the current block.
  • a block coded with a lower priority may be given a higher priority.
  • the block with the lowest priority that is, the encoding/decoding order is the most After deleting the motion information derived from the fast block
  • the motion information of a specific block may be added.
  • a wide-area motion information buffer may be generated for each parallel processing region.
  • motion information of blocks included in the parallel processing region may not be added to the wide area motion information buffer.
  • a wide-area motion information buffer may be configured for each coding tree unit row. That is, the wide-area motion information buffer may be initialized for each coding tree unit.
  • preset initial motion information may be inserted into the wide-area motion information buffer.
  • the preset initial motion information may be global motion information applied to the entire picture.
  • Global motion information may be encoded through an upper header.
  • global motion information may be defined in units of tiles or slices.
  • the average merge candidate or (0,0) motion vector (zero motion) generated based on two or more merge candidates vector) may be included in the merge candidate list.
  • At least one of the merge candidates included in the merge candidate list may be specified based on the merge candidate index ( S840 ).
  • the motion information of the current block may be set to be the same as the motion information of the merge candidate specified by the merge candidate index (S850). For example, when a spatial merge candidate is selected by the merge candidate index, motion information of the current block may be set to be the same as motion information of a spatial neighboring block. Alternatively, when a temporal merge candidate is selected by the merge candidate index, motion information of the current block may be set to be the same as motion information of a temporal neighboring block.
  • FIG. 9 is a diagram illustrating a process of deriving motion information of the current block when the AMVP mode is applied to the current block.
  • At least one of an inter prediction direction and a reference picture index of the current block may be decoded from the bitstream ( S910 ). That is, when the AMVP mode is applied, at least one of the inter prediction direction of the current block and the reference picture index may be determined based on information encoded through the bitstream.
  • a spatial motion vector candidate may be determined based on the motion vector of the spatial neighboring block of the current block ( S920 ).
  • the spatial motion vector candidate may include at least one of a first spatial motion vector candidate derived from an upper neighboring block of the current block and a second spatial motion vector candidate derived from a left neighboring block of the current block.
  • the upper neighboring block includes at least one of blocks adjacent to the upper or upper right corner of the current block
  • the left neighboring block of the current block includes at least one of blocks adjacent to the left or lower left corner of the current block.
  • a block adjacent to the upper left corner of the current block may be treated as an upper neighboring block, or may be treated as a left neighboring block.
  • the spatial motion vector may be obtained by scaling the motion vector of the spatial neighboring block.
  • a temporal motion vector candidate may be determined based on the motion vector of the temporal neighboring block of the current block (S930).
  • the temporal motion vector may be obtained by scaling the motion vector of the temporal neighboring block.
  • a motion vector candidate list including a spatial motion vector candidate and a temporal motion vector candidate may be generated (S940).
  • At least one of the motion vector candidates included in the motion vector candidate list may be specified based on information specifying at least one of the motion vector candidate list ( S950 ).
  • a motion vector of the current block may be obtained by setting the motion vector candidate specified by the information as the motion vector prediction value of the current block, and adding the motion vector difference value to the motion vector prediction value (S960).
  • the motion vector difference value may be parsed through a bitstream.
  • motion compensation may be performed on the current block based on the obtained motion information (S520). Specifically, motion compensation may be performed on the current block based on the inter prediction direction, the reference picture index, and the motion vector of the current block.
  • the merge candidate list under the merge mode and the motion vector candidate list under the AMVP mode will be referred to as a motion information list. That is, the motion information list may mean a merge candidate list or a motion vector candidate list according to a prediction mode applied to the current block.
  • motion information may be allocated to each of the sub-blocks.
  • motion information of a coding block or a prediction block that is a current encoding/decoding target may be derived.
  • the coding block or the prediction block will be referred to as a current block
  • motion information of the coding block or the prediction block will be referred to as block-level motion information.
  • motion information of a sub-block derived based on the block-level motion information will be referred to as sub-block-level motion information.
  • the block level motion information may be derived based on the merge mode or the AMVP mode.
  • block-level motion information may be derived based on a merge candidate specified by index information in the merge candidate list.
  • motion information of a first found available block may be set as block-level motion information.
  • the search order is defined in the order of the upper neighboring block, the left neighboring block, the upper right neighboring block, the lower left neighboring block, and the upper left neighboring block, according to the above search order, motion information of the first found neighboring block, It can be set as block level motion information.
  • the search order may be predefined in the encoder and decoder. For example, it may be defined to search the upper neighboring block before the left neighboring block.
  • the search order may be adaptively determined based on at least one of the size and/or shape of the current block. As an example, when the current block has a non-square shape having a width greater than a height, the upper neighboring block may be set to be searched before the left neighboring block. On the other hand, when the current block has a non-square shape whose height is greater than the width, the left neighboring block may be set to be searched before the upper neighboring block.
  • motion information of a block at a preset position adjacent to the current block may be set as block-level motion information.
  • the block at the preset position may be an upper neighboring block, a left neighboring block, an upper right neighboring block, a lower left neighboring block, or an upper left neighboring block.
  • the preset position may be adaptively determined based on at least one of the size and/or shape of the current block. For example, when the current block has a non-square shape having a width greater than a height, motion information of the current block may be derived with reference to motion information of an upper neighboring block. On the other hand, when the current block has a non-square shape having a height greater than a width, block level motion information may be derived by referring to motion information of a left neighboring block.
  • a reference block in a reference picture may be specified based on the derived motion information. Then, after dividing each of the reference block and the current block into a plurality of sub-blocks, motion information of each sub-block in the reference block may be set as motion information of each sub-block in the current block. 10 shows an example of this.
  • FIG. 10 is a diagram illustrating an example in which sub-block level motion information is obtained.
  • a reference block in a reference picture may be specified based on the obtained motion information.
  • each of the current block and the reference block may be divided into a plurality of sub-blocks.
  • At least one of the number or size of the sub-blocks may be fixed in the encoder and the decoder.
  • the reference block and the current block may be divided into 4x4 sub-blocks.
  • motion information of each sub-block in the reference block may be set as motion information of each sub-block in the current block. For example, assuming that the position of the upper left sample of the current block and the reference block is (0, 0), the motion information of the subblock in the current block is derived from the motion information of the subblock having the same coordinates as the subblock in the reference block. can induce
  • motion information of sub-blocks a' to p' in the reference block may be set as motion information of sub-blocks a to p in the current block.
  • motion vectors of sub-blocks a' to p' in the current block may be derived by scaling the motion vectors of sub-blocks a' to p' in the reference block.
  • the scaling is a distance (eg, POC difference) between a reference picture of a current block (or a sub-block within the current block) and a reference picture of a reference block (or a sub-block within a reference block), or between the current picture and the reference picture may be performed based on at least one of the distances of .
  • a scaling factor is derived based on the ratio between the distance between the reference picture of the current block and the reference picture of the current block and the distance between the current picture and the reference picture of the current block, and using the derived scaling factor, the reference block It is possible to scale the motion vector of my sub-block.
  • the scaled motion vector may be set as a motion vector of a sub-block in the current block.
  • motion compensation may be performed based on the motion information of each sub-block. Accordingly, a prediction sub-block may be generated for each of the sub-blocks.
  • the motion information of the current block is a preset reference picture. Only when indicated, motion information of the neighboring block may be set to be available.
  • the preset reference picture may be at least one of a reference picture having a preset index and a collocated reference picture. That is, only when the reference picture of the upper neighboring block is a collocated picture, motion information of the upper neighboring block may be set to be available.
  • Information indicating a collocated picture among reference pictures may be encoded and signaled.
  • the information may be encoded through a higher header such as a slice, a picture, or a sequence.
  • a higher header such as a slice, a picture, or a sequence.
  • at least one of information indicating whether the collocated picture exists in the L0 direction or the L1 direction based on the current picture or information indicating the index of the collocated picture may be encoded and signaled.
  • the reference picture index and/or prediction direction (eg, L0 direction and/or L1 direction) of the current block is specified through the bitstream. It is also possible to separately encode and signal the information.
  • the motion vector is obtained from the upper neighboring block, and the reference block corresponding to the current block may be set by scaling the motion vector of the upper neighboring block according to the separately signaled reference picture index and/or prediction direction of the current block.
  • the motion information of the current block is derived based on the motion information of other blocks, or a predefined motion
  • the vector can be set as the motion vector of the current block. For example, when motion information of the upper neighboring block is unavailable, a zero motion vector (0, 0) may be set as the motion vector of the current block.
  • a collocated picture may be used as a reference picture, or information indicating a reference picture of the current block (eg, a reference picture index), information indicating whether L0 directional prediction and L1 directional prediction are performed (eg, L0 prediction) flag and L1 prediction flag) may be encoded and signaled.
  • the information may be signaled at a block level or signaled at a higher level such as a slice, a picture, or a sequence.
  • the sample at the predetermined position may be at least one of an upper-left sample, a center-positioned sample, an upper-right sample, a lower-left sample, and a lower-right sample in the reference block.
  • the center position sample may be a sample having x-axis coordinates and y-axis coordinates of (nW/2, nH/2).
  • nW represents the width of the current block
  • nH represents the height of the current block.
  • the sub-block k' may include a center position sample.
  • a sample in which at least one of the x-axis coordinate and the y-axis coordinate is smaller than (nW/2, nH/2) by 1 may be set as the center position sample.
  • f', g', or j' may include a center position sample.
  • whether motion information of the neighboring block is available may be determined by considering both the reference picture of the neighboring block and whether motion information is stored for a predetermined position in the reference block. For example, when the reference picture index of the upper neighboring block indicates the collocated picture, and motion information for a sample at a predetermined position in the reference block specified by the motion vector of the upper neighboring block is previously stored, the upper neighboring block It may be determined that the motion information of
  • a threshold may be an integer such as 1, 2, 3 or 4. For example, when the threshold value is 1, when at least one sub-block in which motion information is previously stored in the reference block exists, it indicates that motion information of a neighboring block is available.
  • motion information When motion information is not previously stored for a sub-block in a reference block corresponding to a sub-block in the current block, it may be set to utilize motion information of a predefined location or an adjacent sub-block.
  • the sample at the predefined position may be at least one of an upper left sample, an upper right sample, a center sample, a lower left sample, or a lower right sample.
  • the center For example, if it is determined that motion information of a neighboring block is available because motion information of a central location sample (eg, k') in a reference block is pre-stored, but motion information is not stored for other sub-blocks, the center The motion information of the position sample may be set as motion information of another sub-block.
  • the adjacent sub-block may include at least one of a right sub-block, a left sub-block, an upper sub-block, and a lower sub-block.
  • an average value of motion vectors of adjacent sub-blocks may be set as the motion vector of the sub-block.
  • the precision of the motion vector may be adjusted.
  • the block level motion vector may be adjusted to always indicate an integer position.
  • the block-level motion vector may be set to indicate a pixel at an integer position by raising, lowering, or rounding the motion vector of the upper neighboring block.
  • motion vector precision may be fixed in an encoder and a decoder.
  • information indicating motion vector precision for block level motion information may be encoded and signaled.
  • the information may be signaled at a block level or signaled at a higher level such as a slice, a picture, or a sequence.
  • a prediction block can be obtained by applying the affine motion model.
  • motion compensation may be performed on the current block based on the motion vectors of each of the control points of the current block.
  • 11 shows an example of motion compensation using a motion vector for each control point.
  • the control point indicates the edge of the current block.
  • motion compensation may be performed by reflecting not only the translational motion of the object but also the nonlinear motion such as enlargement, reduction, or rotation.
  • Motion compensation may be performed using motion vectors of two or three control points. For example, motion compensation may be performed using two or three motion vectors among the upper-left corner, upper-right corner, lower-left corner, and lower-right corner of the current block.
  • motion compensation is performed using the motion vector A of the upper left control point and the motion vector B of the upper right control point of the current block.
  • a motion vector for each pixel in the current block may be derived using the control point motion vector.
  • Equation 1 shows an example in which a motion vector for each pixel is derived using two control point motion vectors.
  • Equation 1 (mvx, mvy) represents a motion vector of a pixel.
  • W represents the width of the current block.
  • (x, y) indicates the position of the pixel.
  • (mvAx, mvAy) represents the motion vector of the upper left control point, and (mvBx, mvBy) represents the motion vector of the upper right control point.
  • motion compensation may be performed based on the motion vector of each pixel.
  • FIG. 12 is a diagram illustrating an example in which motion compensation for each pixel is performed.
  • the prediction pixel can be derived by interpolating the pixels in the prediction block.
  • interpolation may be performed based on a plurality of integer position pixels.
  • interpolation may be performed using only integer position pixels adjacent to decimal positions.
  • Motion vector precision between pixels may be different.
  • a motion vector of each of the pixels may be converted according to a preset motion vector precision.
  • a motion vector in units of fractional pixels may be converted into a motion vector in units of integer pixels.
  • a motion vector for each sub-block may be derived.
  • the motion vector (mvx, mvy) of the sub-block may be obtained by substituting the position of the sub-block instead of the position of the pixel.
  • the position of the sub-block may be the position of the upper-left sample, the position of the upper-right sample, the position of the lower-left sample, the position of the lower-right sample, or the position of the center sample in the sub-block.
  • the size and/or shape of the sub-block may be predefined in the encoder and the decoder.
  • the sub-block may have a size of 4x4 or 2x2.
  • the size and/or shape of the sub-block may be adaptively determined according to the size and/or shape of the current block.
  • information indicating the size and/or shape of the sub-block may be encoded and signaled. The information may be encoded at the block level or at a higher level such as a slice, a picture, or a sequence.
  • information for specifying whether to perform motion compensation in units of pixels or in units of sub-blocks may be encoded and signaled.
  • FIG 13 shows an example in which motion compensation for each sub-block is performed.
  • FIG. 13 it is exemplified that motion compensation is performed for each sub-block having a size of 2x2.
  • Motion compensation may be performed using three control point motion vectors.
  • FIG. 14 is an example illustrating an example in which motion compensation is performed using three control point motion vectors.
  • FIG. 14 it is exemplified that motion compensation is performed using the motion vector A of the upper left control point, the motion vector B of the upper right control point, and the motion vector C of the lower left control point.
  • Equation 2 shows an example of deriving a motion vector for each pixel or sub-block using three control point motion vectors.
  • Equation 2 (mvAx, mvAy) represents the motion vector of the upper left control point, and (mvBx, mvBy) represents the motion vector of the upper right control point. (mvCx, mvCy) represents the motion vector of the lower left control point.
  • Information indicating the number of control point motion vectors may be encoded and signaled.
  • the information may be signaled at a block level.
  • the number of control point motion vectors may be adaptively determined based on the size and/or shape of the current block.
  • a control point motion vector of the current block may be derived with reference to a neighboring block adjacent to the current block.
  • control point motion vector of the current block may be derived by applying the above-described merge mode or AMVP mode.
  • merge mode When the merge mode is applied, the control point motion vector of the current block may be set to be the same as that of the merge candidate.
  • AMVP mode When the AMVP mode is applied, a motion prediction candidate may be set as a control point motion vector prediction value of the current block.
  • the control point motion vector of the current block may be derived by adding a motion vector difference value to a motion vector prediction value.
  • a merge candidate or a motion vector candidate list may be generated with reference to a spatial neighboring block or a temporal neighboring block.
  • the spatial neighboring block may include at least one of an upper neighboring block, a left neighboring block, an upper right neighboring block, a lower right neighboring block, or an upper left neighboring block.
  • a neighboring block including a sample at position B1, a neighboring block including a sample at position A1, a neighboring block including a sample at position B0, and a neighboring block including a sample at position A0 may be derived using at least one of neighboring blocks including the sample at position B5.
  • control point motion vectors of the merge candidate may be derived based on the control point motion vectors of the neighboring block. Specifically, in consideration of the difference between the neighboring block and the current block, the control point motion vectors of the neighboring block may be extrapolated. Thereafter, the extrapolated control point motion vectors may be set as control point motion vectors of the merge candidate.
  • control point motion vectors of neighboring blocks may be set as control point motion vectors of a merge candidate as they are without an extrapolation process.
  • merge candidates may be sequentially added to the merge candidate list according to preset priorities between neighboring blocks.
  • a control point motion vector set of an available neighboring block first found may be inserted into the merge candidate list.
  • a search order is defined in the order of the upper neighboring block (B0), the upper right neighboring block (B1), and the upper left neighboring block (B5), and the control point motion vector of the first available neighboring block found when the above search order is followed.
  • the set can be inserted into the merge candidate list as a merge candidate.
  • the control point motion vector set of the first discovered neighboring block may be inserted into the merge candidate list.
  • a search order is defined in the order of the left neighboring block (A0) and the lower left neighboring block (A1), and the control point motion vector set of the first available neighboring block found when the above search order is followed is merged as a merge candidate. Can be inserted into the candidate list.
  • the merge candidate derived from the upper block may be added to the merge candidate list before the block vector derived from the left block.
  • the order of adding merge candidates may be adaptively determined according to the size and/or shape of the current block. For example, when the current block has a non-square shape having a width greater than a height, a merge candidate derived from the upper block may be added to the merge candidate list before a merge candidate derived from the left block. On the other hand, when the current block has a non-square shape whose height is greater than the width, the merge candidate derived from the left block may be added to the merge candidate list before the merge candidate derived from the upper block.
  • a merge candidate may be derived by referring only to neighboring blocks at a predefined location, instead of searching for neighboring blocks according to a preset priority. For example, among upper blocks, a merge candidate may be derived by referring to only the upper neighboring block B1, and among the left blocks, a merge candidate may be derived by referring to only the left neighboring block A1.
  • a merge candidate generated by combining translation motion vectors of neighboring blocks adjacent to the current block may be included in the merge candidate list.
  • a merge candidate may be generated according to a preset combination order.
  • the control point motion vector generated by the combination may be generated based on the translational motion vector of a neighboring block adjacent to each control point.
  • the first found A motion vector of an available neighboring block is set as a first temporary control point motion vector.
  • the motion vector of the first available neighboring block found is 2 Set as a temporary control point motion vector.
  • the third temporary control point is set as a motion vector.
  • a translation motion vector of a collocated block in a reference picture eg, a collocated picture
  • a combined control point motion vector set may be derived by excluding the temporary motion vector for the corresponding control point.
  • a temporary motion vector for the corresponding control point is set as a zero motion vector (0, 0), and the combined control point motion vector set can induce
  • a process of sequentially searching for a plurality of neighboring blocks may be omitted.
  • a temporary control point motion vector may be derived by referring only to a neighboring block at a preset position.
  • the first temporary control point motion vector may be derived with reference to only the upper left neighboring block B5, and the second temporary control point motion vector may be derived with reference to only the upper left neighboring block B1.
  • the third temporary control point motion vector may be derived by referring only to the left neighboring block A1
  • the fourth temporary control point motion vector may be derived by referring to only the collocated block vector.
  • the temporary control point motion vector may be set as a zero motion vector.
  • the positions of neighboring blocks used to derive the temporary control point motion vector may be predefined in the encoder and the decoder. Alternatively, the positions of neighboring blocks used to derive the temporary control point motion vector may be adaptively determined based on at least one of the size, shape, and number of control points of the current block.
  • two or three of the four temporary control point motion vectors may be combined to derive a combined merge candidate having a combined control point motion vector set.
  • Merge candidates combined by a difference between the maximum number of merge candidates that the merge candidate list can include and the number of merge candidates previously added to the merge candidate list may be added to the merge candidate list.
  • the maximum number of merge candidates that the merge candidate list can include is 5 and there are 2 merge candidates derived from neighboring blocks encoded with the affine motion model, a maximum of 3 combined merge candidates is a merge candidate list can be added to
  • a combined merge candidate When generating a combined merge candidate, only translation motion vectors of neighboring blocks having the same reference picture may be combined. Alternatively, when reference pictures between neighboring blocks are different, a combined merge candidate may be generated by scaling translation motion vectors based on a reference picture having the largest index or reference pictures having the smallest index among reference pictures.
  • merge candidate list Even though the combined merge candidates are added to the merge candidate list, if the number of merge candidates is less than the maximum number of merge candidates that the merge candidate list can include, a merge candidate composed of zero motion vectors can be added to the merge candidate list. have.
  • the merge candidate list includes a plurality of merge candidates
  • one of the plurality of merge candidates may be selected based on index information. Thereafter, the control point motion vectors of the selected merge candidate may be set as the control point motion vectors of the current block.
  • Table 1 shows the control point motion vector set of each merge candidate.
  • the control point motion vector set of the selected merge candidate may be applied to the current block.
  • the control point motion vectors (A, B, C) may be set as the control point motion vectors of the current block.
  • A is the motion of the upper left control point.
  • a vector, B may be set as a motion vector of an upper right control point, and C may be set as a motion vector of a lower left control point.
  • the selection of a merge candidate composed of two control point motion vectors indicates that prediction is performed on the current block using the two control point motion vectors, and a merge candidate composed of three control point motion vectors is selected. This indicates that prediction for the current block is performed using three control point motion vectors for the current block.
  • the above-described merge candidate list construction method may be set as a motion vector candidate list construction method.
  • the maximum number of motion vectors that the motion vector candidate list can include may be set to 2, 3, 4, or 5.
  • the motion vector candidate list includes a plurality of motion vector candidates
  • one of the plurality of motion vector candidates may be specified based on the index information.
  • the control point motion vectors of the specified motion vector candidate may be set as prediction values of the control point motion vectors of the current block.
  • the control point motion vector difference may be decoded from the bitstream, and the control point motion vector may be derived using the decoded difference value.
  • the merge candidate includes a plurality of control point motion vectors, and accordingly, a plurality of control point motion vectors are derived from one merge candidate.
  • index information may be encoded and signaled for each control point.
  • each merge candidate may have only translational motion information.
  • intra prediction redundant data within a picture may be removed.
  • the prediction block may be generated based on a reference pixel adjacent to the current block or a non-adjacent reference pixel.
  • intra prediction may be performed based on reference pixels included in the selected reference sample line.
  • the reference sample line candidates may include a reference sample line adjacent to the current block and at least one reference sample line not adjacent to the current block.
  • the intra prediction mode includes a non-directional mode and a directional mode.
  • the non-directional mode includes a planar mode and a DC mode.
  • a prediction sample may be derived using a reference sample positioned in a vertical direction and a reference sample positioned in a horizontal direction of the prediction target sample.
  • 16 is a diagram for explaining an example of deriving a prediction sample under a planar mode.
  • T denotes a reference sample adjacent to the upper right corner of the current block
  • L denotes a reference sample adjacent to the lower left corner of the current block.
  • a horizontal direction prediction sample P1 and a vertical direction prediction sample P2 may be derived for a prediction target sample.
  • the horizontal prediction sample P1 may be generated by linearly interpolating the reference sample H and the upper right reference sample T positioned on the same horizontal line as the prediction target sample.
  • the vertical direction prediction sample P2 may be generated by linearly interpolating the reference sample V and the lower left reference sample L positioned on the same vertical line as the prediction target sample.
  • a prediction sample may be derived based on a weighted sum operation of the horizontal direction prediction sample P1 and the vertical direction prediction sample P2. Equation 3 shows an example in which the prediction sample P is derived by the weighted sum operation of the horizontal direction prediction sample P1 and the vertical direction prediction sample P2.
  • Equation 3 ⁇ denotes a weight applied to the horizontal direction prediction sample P1, and ⁇ denotes a weight applied to the vertical direction prediction sample P2.
  • the weights ⁇ and ⁇ may be determined based on the size or shape of the current block. Specifically, weights ⁇ and ⁇ may be determined in consideration of at least one of a width or a height of the current block. For example, when the width and height of the current block are the same, the weights ⁇ and ⁇ may be set to the same value. When the weights ⁇ and ⁇ are the same, the prediction sample may be derived as an average value of the horizontal direction prediction sample P1 and the vertical direction prediction sample P2. On the other hand, when the width and height of the current block are different, the weights ⁇ and ⁇ may be set differently.
  • the weight ⁇ when the width of the current block is greater than the height, the weight ⁇ can be set to a value greater than the weight ⁇ , and when the height of the current block is greater than the width, the weight ⁇ can be set to a value greater than the weight ⁇ . have. Or, conversely, if the width of the current block is greater than the height, set the weight ⁇ to a value greater than the weight ⁇ , and if the height of the current block is greater than the width, set the weight ⁇ to a value greater than the weight ⁇ . can be set.
  • the average value of the reference samples may be set as the value of the prediction sample.
  • 17 is a diagram for explaining an example of deriving a prediction sample under a DC mode.
  • the prediction pixel may be generated as shown in FIG. 17 .
  • the size of the block is 4x4.
  • reconstructed pixels existing around the block are set as reference pixels, and after calculating the average value of the reference pixels, the calculated values are set as all prediction pixels in the prediction block.
  • the reference pixels used to calculate the average value may include at least one of upper reconstructed pixels B to E, left reconstructed pixels F to I, or upper left reconstructed pixel A.
  • the average value may be calculated using only the upper restored pixels and the left restored pixels.
  • the average value may be calculated by selectively using only one of the upper restored pixels or the left restored pixels according to the shape of the block.
  • the weighted average value derived by performing a weighted sum operation on the upper average and the left mean is finally predicted It can be set in pixels.
  • a prediction sample may be derived using a reference sample positioned on a line along the angle of the directional prediction mode.
  • a reference block in which encoding/decoding in the current picture has been completed may be determined using a block vector for the current block, and the determined reference block may be derived as a prediction block of the current block.
  • a prediction method based on a block vector may be defined as an intra block copy (IBC) mode.
  • a flag indicating whether the intra block copy mode is applied may be encoded and signaled.
  • a block vector may be derived by referring to a block vector of a neighboring block adjacent to the current block.
  • the block vector of the neighboring block may be set as the block vector of the current block.
  • a block vector of the current block may be derived by setting a block vector of a neighboring block as a block vector prediction value of the current block, and adding a block vector difference value to the block vector prediction value.
  • the encoder may derive a block vector difference value by differentiating the block vector prediction value from the block vector of the current block, and may encode the derived block vector difference value.
  • the neighboring block may include at least one of an upper neighboring block, a left neighboring block, an upper right neighboring block, a lower right neighboring block, or an upper left neighboring block.
  • a neighboring block including a sample at position B1 a neighboring block including a sample at position A1
  • a neighboring block including a sample at position B0 a neighboring block including a sample at position B0
  • the block vector of the current block may be derived using at least one of neighboring blocks including the sample at position B5.
  • a block vector of an available neighboring block found first may be set as a block vector or a prediction block vector of the current block.
  • the preset priority may be pre-stored in the encoder and the decoder.
  • the pre-stored priorities may be in the order of the upper neighboring block B0, the left neighboring block A0, the upper right neighboring block B1, the lower left neighboring block A1, and the upper left neighboring block B5.
  • priorities between neighboring blocks may be adaptively determined.
  • a block vector candidate list including block vector candidates may be constructed.
  • the block vector candidate may be derived based on a block vector of a neighboring block.
  • one of the block vector candidates may be specified based on the index information.
  • a block vector candidate determined by the index information may be set as a block vector or a prediction block vector of the current block.
  • Block vector candidates may be inserted into the block vector candidate list according to a preset priority.
  • the maximum number of block vector candidates that the block vector candidate list can include may be predefined in the encoder and the decoder.
  • the maximum number may be set to 2, 3, 4, 5 or 6, and the like.
  • information for determining the maximum number may be encoded and signaled.
  • the maximum number of block vector candidates that the block vector candidate list can include is two, and a method of constructing the block vector candidate list using neighboring blocks will be described in detail.
  • the block vector candidate list may be generated with reference to only neighboring blocks of a predefined position. For example, when a block vector exists in the upper neighboring block B1, the block vector of the upper neighboring block may be inserted into the block vector candidate list. Thereafter, when a block vector exists in the left neighboring block A1, the block vector of the left neighboring block may be inserted into the block vector candidate list.
  • a block vector of an available neighboring block first found may be inserted into the block vector candidate list.
  • the search order is defined in the order of the upper neighboring block (B0), the upper right neighboring block (B1), and the upper left neighboring block (B5), and the block vector of the first available neighboring block found when the above search order is followed is a block.
  • a vector candidate it can be inserted into the block vector candidate list.
  • a block vector of an available neighboring block first found may be inserted into the block vector candidate list.
  • a search order is defined in the order of the left neighboring block A0 and the lower left neighboring block A1, and a block vector of the first available neighboring block found when the above search order is followed is a block vector candidate as a block vector candidate. You can insert it into a list.
  • the block vector candidate derived from the upper block may be added to the block vector candidate list before the block vector derived from the left block.
  • the block vector candidate addition order may be adaptively determined according to the size and/or shape of the current block. For example, when the current block has a non-square shape having a width greater than a height, a block vector candidate derived from an upper block may be added to the block vector candidate list before a block vector candidate derived from a left block. On the other hand, when the current block has a non-square shape whose height is greater than the width, the block vector candidate derived from the left block may be added to the block vector candidate list before the block vector candidate derived from the upper block.
  • a temporary block vector candidate previously stored in the temporary block vector list may be inserted into the block vector candidate list.
  • the temporary block vector list may be to store block vectors of blocks encoded/decoded using a block vector before the current block.
  • the block vectors of coded/decoded blocks may be accumulated and stored using the block vector. .
  • the maximum number of temporary block vector candidates that the temporary block vector list can include may be limited. As an example, only a maximum of N temporary block vector candidates may be included in the temporary block vector list.
  • the maximum number of temporary block vector candidates that the temporary block vector list can include may be predefined in the encoder and the decoder. Alternatively, information for determining the maximum number may be encoded and signaled.
  • Block vectors of blocks that have been encoded/decoded may be sequentially added to the temporary block vector list according to the encoding/decoding order. In this case, if N temporary block vector candidates are already stored in the temporary block vector list, the temporary block vector candidate with the lowest priority is deleted, and then the block vector of the encoded/decoded block is used as the temporary block vector candidate. It can be appended to a temporary block vector.
  • the temporary block vector list may not be updated based on the block vector of the block. For example, when the encoding/decoding completed block is 4x4 or less, the block vector of the block may not be added to the temporary block vector.
  • the priority among the temporary block vector candidates may be determined according to the encoding/decoding order (ie, the order added to the temporary block vector list). For example, if N temporary block vector candidates are already stored in the temporary block vector list, the oldest temporary block vector candidate is deleted, and then the block vector of the encoded/decoded block is used as the temporary block vector candidate as the temporary block vector candidate. can be added to
  • a priority among temporary block vector candidates may be determined in consideration of a distance from a block on which encoding/decoding has been completed. For example, the closer the distance to the encoded/decoded block is, the higher the priority is, and the farther the distance from the encoded/decoded block is, the lower the priority is. Accordingly, after removing the temporary block vector candidate of a block that is far from the encoded/decoded block, the block vector of the encoded/decoded block may be added to the temporary block vector as a temporary block vector candidate.
  • the temporary block vector candidate having the highest priority may be added to the block vector candidate list of the current block.
  • the temporary block vector candidate may not be added to the block vector candidate list. Then, the next-order temporary block vector candidate may be added to the block vector candidate list.
  • a temporary block vector list may be generated for each parallel processing region.
  • Information for determining the size and/or shape of the parallel processing region may be encoded and signaled through a bitstream.
  • a temporary block vector list may be generated for each coding tree unit, coding tree unit row, slice, or tile.
  • the initial block vector candidate may be added to the temporary block vector.
  • Information on the initial block vector may be encoded and signaled.
  • the information may be encoded at a coding tree unit, slice, picture, or sequence level.
  • each of the components (eg, unit, module, etc.) constituting the block diagram in the above-described embodiment may be implemented as a hardware device or software, or a plurality of components may be combined to form one hardware device or software. may be implemented.
  • the above-described embodiment may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Examples of the computer-readable recording medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM, a DVD, and a magneto-optical medium such as a floppy disk. media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • the hardware device may be configured to operate as one or more software modules to perform processing according to the present disclosure, and vice versa.
  • the present invention can be applied to an electronic device capable of encoding/decoding an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시에 따른 영상 복호화 방법은, 현재 블록에 인트라 블록 카피 모드가 적용되는지 여부를 결정하는 단계, 상기 현재 블록에 상기 인트라 블록 카피 모드가 적용되는 것으로 결정된 경우, 상기 현재 블록에 대한 블록 벡터 후보 리스트를 생성하는 단계, 상기 블록 벡터 후보 리스트에 기초하여, 상기 현재 블록의 블록 벡터를 유도하는 단계, 및 상기 블록 벡터를 이용하여, 현재 픽처 내 상기 현재 블록의 예측 블록을 특정하는 단계를 포함한다.

Description

비디오 신호 처리 방법 및 장치
본 개시는 비디오 신호 처리 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.
영상 압축 기술로 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 화면 간 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 화면 내 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.
한편, 고해상도 영상에 대한 수요가 증가함과 함께, 새로운 영상 서비스로서 입체 영상 컨텐츠에 대한 수요도 함께 증가하고 있다. 고해상도 및 초고해상도의 입체 영상 콘텐츠를 효과적으로 제공하기 위한 비디오 압축 기술에 대하여 논의가 진행되고 있다.
본 개시는 비디오 신호를 부호화/복호화함에 있어서, 이웃 블록들을 참조하여 움직임 정보를 유도하는 방법 및 이를 위한 장치를 제공하는 것을 목적으로 한다.
본 개시는 비디오 신호를 부호화/복호화함에 있어서, 이웃 블록들을 참조하여 블록 벡터를 유도하는 방법 및 이를 위한 장치를 제공하는 것을 목적으로 한다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시에 따른 비디오 신호 복호화 방법은, 현재 블록에 인트라 블록 카피 모드가 적용되는지 여부를 결정하는 단계, 상기 현재 블록에 상기 인트라 블록 카피 모드가 적용되는 것으로 결정된 경우, 상기 현재 블록에 대한 블록 벡터 후보 리스트를 생성하는 단계, 상기 블록 벡터 후보 리스트에 기초하여, 상기 현재 블록의 블록 벡터를 유도하는 단계, 및 상기 블록 벡터를 이용하여, 현재 픽처 내 상기 현재 블록의 예측 블록을 특정하는 단계를 포함할 수 있다. 이때, 상기 블록 벡터 후보 리스트는, 적어도 하나의 이웃 블록으로부터 유도되는 적어도 하나의 블록 벡터 후보를 포함하고, 복수개의 블록 벡터 후보들은 우선 순위에 따라, 상기 블록 벡터 후보 리스트에 삽입될 수 있다.
본 개시에 따른 비디오 신호 복호화 방법에 있어서, 상기 우선 순위는, 상단 블록으로부터 유도된 제1 블록 벡터 후보가 좌측 블록으로부터 유도된 제2 블록 벡터 후보보다 먼저 상기 블록 벡터 후보 리스트에 삽입됨을 나타낼 수 있다.
본 개시에 따른 비디오 신호 복호화 방법에 있어서, 상기 제1 블록 벡터 후보는, 상단 이웃 블록, 우상단 이웃 블록 및 좌상단 이웃 블록의 순으로 정의된 탐색 순서를 따를 때, 첫번째로 발견된 가용 블록을 기초로 유도될 수 있다.
본 개시에 따른 비디오 신호 복호화 방법에 있어서, 상기 제2 블록 벡터 후보는, 좌측 이웃 블록 및 좌하단 이웃 블록의 순으로 정의된 탐색 순서를 따를 때, 첫번째로 발견된 가용 블록을 기초로 유도될 수 있다.
본 개시에 따른 비디오 신호 복호화 방법에 있어서, 상기 우선 순위는, 상기 현재 블록의 크기 또는 형태 중 적어도 하나에 기초하여, 적응적으로 결정될 수 있다.
본 개시에 따른 비디오 신호 복호화 방법에 있어서, 상기 적어도 하나의 이웃 블록으로부터 유도된 적어도 하나의 블록 벡터 후보의 개수가 상기 블록 벡터 후보 리스트가 포함할 수 있는 최대 개수보다 작은 경우, 임시 블록 벡터 후보 리스트에 저장된 임시 블록 벡터 후보가 상기 블록 벡터 후보 리스트에 추가될 수 있다.
본 개시에 따른 비디오 신호 복호화 방법에 있어서, 상기 임시 블록 벡터 후보 리스트는, 병렬 처리 영역 별로 생성될 수 있다.
본 개시에 의하면, 이웃 블록을 참조하여 움직임 정보를 유도함으로써, 예측 효율을 향상시킬 수 있다.
본 개시에 의하면, 이웃 블록을 참조하여 블록 벡터를 유도함으로써, 예측 효율을 향상시킬 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일실시예에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 2는 본 개시의 일실시예에 따른 영상 복호화 장치를 나타낸 블록도이다.
도 3 및 도 4는 인터 예측이 수행되는 예를 나타낸 것이다.
도 5는 본 발명이 적용되는 일실시예로서, 인터 예측 방법을 도시한 순서도이다.
도 6은, 현재 블록의 움직임 정보 유도시 참조되는 공간적 이웃 블록의 위치를 설명하기 위한 도면이다.
도 7은 현재 블록의 움직임 정보를 유도하기 위해 참조되는 시간적 이웃 블록을 설명하기 위한 예시이다.
도 8는 현재 블록에 머지 모드가 적용되는 경우, 현재 블록의 움직임 정보를 유도하는 과정을 나타낸 도면이다.
도 9는 현재 블록에 AMVP 모드가 적용되는 경우, 현재 블록의 움직임 정보를 유도하는 과정을 나타낸 도면이다.
도 10은 서브 블록 레벨 움직임 정보가 획득되는 예를 나타낸 도면이다.
도 11은 컨트롤 포인트 각각에 대한 움직임 벡터를 이용하는 움직임 보상의 예시를 나타낸다.
도 12는 화소별 움직임 보상이 수행된 예를 나타낸 도면이다.
도 13은 서브 블록별 움직임 보상이 수행되는 예를 나타낸 것이다.
도 14는 3개의 컨트롤 포인트 움직임 벡터를 이용하여 움직임 보상이 수행되는 예를 나타낸 예이다.
도 15는 인트라 예측 모드의 종류를 예시한 것이다.
도 16은 평면 모드 하에서 예측 샘플을 유도하는 예를 설명하기 위한 도면이다.
도 17은 DC 모드 하에서 예측 샘플을 유도하는 예를 설명하기 위한 도면이다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 개시의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 개시의 일실시예에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 1을 참조하면, 영상 부호화 장치(100)는 픽쳐 분할부(110), 예측부(120, 125), 변환부(130), 양자화부(135), 재정렬부(160), 엔트로피 부호화부(165), 역양자화부(140), 역변환부(145), 필터부(150) 및 메모리(155)를 포함할 수 있다.
도 1에 나타난 각 구성부들은 영상 부호화 장치에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 개시의 본질에서 벗어나지 않는 한 본 개시의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 개시에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 개시는 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 개시의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 개시의 권리범위에 포함된다.
픽쳐 분할부(110)는 입력된 픽쳐를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 단위(Prediction Unit: PU)일 수도 있고, 변환 단위(Transform Unit: TU)일 수도 있으며, 부호화 단위(Coding Unit: CU)일 수도 있다. 픽쳐 분할부(110)에서는 하나의 픽쳐에 대해 복수의 부호화 단위, 예측 단위 및 변환 단위의 조합으로 분할하고 소정의 기준(예를 들어, 비용 함수)으로 하나의 부호화 단위, 예측 단위 및 변환 단위 조합을 선택하여 픽쳐를 부호화 할 수 있다.
예를 들어, 하나의 픽쳐는 복수개의 부호화 단위로 분할될 수 있다. 픽쳐에서 부호화 단위를 분할하기 위해서는 쿼드 트리 구조(Quad Tree Structure)와 같은 재귀적인 트리 구조를 사용할 수 있는데 하나의 영상 또는 최대 크기 부호화 단위(largest coding unit)를 루트로 하여 다른 부호화 단위로 분할되는 부호화 유닛은 분할된 부호화 단위의 개수만큼의 자식 노드를 가지고 분할될 수 있다. 일정한 제한에 따라 더 이상 분할되지 않는 부호화 단위는 리프 노드가 된다. 즉, 하나의 코딩 유닛에 대하여 정방형 분할만이 가능하다고 가정하는 경우, 하나의 부호화 단위는 최대 4개의 다른 부호화 단위로 분할될 수 있다.
이하, 본 개시의 실시예에서는 부호화 단위는 부호화를 수행하는 단위의 의미로 사용할 수도 있고, 복호화를 수행하는 단위의 의미로 사용할 수도 있다.
예측 단위는 하나의 부호화 단위 내에서 동일한 크기의 적어도 하나의 정사각형 또는 직사각형 등의 형태를 가지고 분할된 것일 수도 있고, 하나의 부호화 단위 내에서 분할된 예측 단위 중 어느 하나의 예측 단위가 다른 하나의 예측 단위와 상이한 형태 및/또는 크기를 가지도록 분할된 것일 수도 있다.
부호화 단위를 기초로 인트라 예측을 수행하는 예측 단위를 생성시 최소 부호화 단위가 아닌 경우, 복수의 예측 단위 NxN 으로 분할하지 않고 인트라 예측을 수행할 수 있다.
예측부(120, 125)는 인터 예측을 수행하는 인터 예측부(120)와 인트라 예측을 수행하는 인트라 예측부(125)를 포함할 수 있다. 예측 단위에 대해 인터 예측을 사용할 것인지 또는 인트라 예측을 수행할 것인지를 결정하고, 각 예측 방법에 따른 구체적인 정보(예컨대, 인트라 예측 모드, 모션 벡터, 참조 픽쳐 등)를 결정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 예측 단위로 결정되고, 예측의 수행은 변환 단위로 수행될 수도 있다. 생성된 예측 블록과 원본 블록 사이의 잔차값(잔차 블록)은 변환부(130)로 입력될 수 있다. 또한, 예측을 위해 사용한 예측 모드 정보, 모션 벡터 정보 등은 잔차값과 함께 엔트로피 부호화부(165)에서 부호화되어 복호화 장치에 전달될 수 있다. 특정한 부호화 모드를 사용할 경우, 예측부(120, 125)를 통해 예측 블록을 생성하지 않고, 원본 블록을 그대로 부호화하여 복호화부에 전송하는 것도 가능하다.
인터 예측부(120)는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐의 정보를 기초로 예측 단위를 예측할 수도 있고, 경우에 따라서는 현재 픽쳐 내의 부호화가 완료된 일부 영역의 정보를 기초로 예측 단위를 예측할 수도 있다. 인터 예측부(120)는 참조 픽쳐 보간부, 모션 예측부, 움직임 보상부를 포함할 수 있다.
참조 픽쳐 보간부에서는 메모리(155)로부터 참조 픽쳐 정보를 제공받고 참조 픽쳐에서 정수 화소 이하의 화소 정보를 생성할 수 있다. 휘도 화소의 경우, 1/4 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 8탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다. 색차 신호의 경우 1/8 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 4탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다.
모션 예측부는 참조 픽쳐 보간부에 의해 보간된 참조 픽쳐를 기초로 모션 예측을 수행할 수 있다. 모션 벡터를 산출하기 위한 방법으로 FBMA(Full search-based Block Matching Algorithm), TSS(Three Step Search), NTS(New Three-Step Search Algorithm) 등 다양한 방법이 사용될 수 있다. 모션 벡터는 보간된 화소를 기초로 1/2 또는 1/4 화소 단위의 모션 벡터값을 가질 수 있다. 모션 예측부에서는 모션 예측 방법을 다르게 하여 현재 예측 단위를 예측할 수 있다. 모션 예측 방법으로 스킵(Skip) 방법, 머지(Merge) 방법, AMVP(Advanced Motion Vector Prediction) 방법, 인트라 블록 카피(Intra Block Copy) 방법 등 다양한 방법이 사용될 수 있다.
인트라 예측부(125)는 현재 픽쳐 내의 화소 정보인 현재 블록 주변의 참조 픽셀 정보를 기초로 예측 단위를 생성할 수 있다. 현재 예측 단위의 주변 블록이 인터 예측을 수행한 블록이어서, 참조 픽셀이 인터 예측을 수행한 픽셀일 경우, 인터 예측을 수행한 블록에 포함되는 참조 픽셀을 주변의 인트라 예측을 수행한 블록의 참조 픽셀 정보로 대체하여 사용할 수 있다. 즉, 참조 픽셀이 가용하지 않는 경우, 가용하지 않은 참조 픽셀 정보를 가용한 참조 픽셀 중 적어도 하나의 참조 픽셀로 대체하여 사용할 수 있다.
인트라 예측에서 예측 모드는 참조 픽셀 정보를 예측 방향에 따라 사용하는 방향성 예측 모드와 예측을 수행시 방향성 정보를 사용하지 않는 비방향성 모드를 가질 수 있다. 휘도 정보를 예측하기 위한 모드와 색차 정보를 예측하기 위한 모드가 상이할 수 있고, 색차 정보를 예측하기 위해 휘도 정보를 예측하기 위해 사용된 인트라 예측 모드 정보 또는 예측된 휘도 신호 정보를 활용할 수 있다.
인트라 예측을 수행할 때 예측 단위의 크기와 변환 단위의 크기가 동일할 경우, 예측 단위의 좌측에 존재하는 픽셀, 좌측 상단에 존재하는 픽셀, 상단에 존재하는 픽셀을 기초로 예측 단위에 대한 인트라 예측을 수행할 수 있다. 그러나 인트라 예측을 수행할 때 예측 단위의 크기와 변환 단위의 크기가 상이할 경우, 변환 단위를 기초로 한 참조 픽셀을 이용하여 인트라 예측을 수행할 수 있다. 또한, 최소 부호화 단위에 대해서만 NxN 분할을 사용하는 인트라 예측을 사용할 수 있다.
인트라 예측 방법은 예측 모드에 따라 참조 화소에 AIS(Adaptive Intra Smoothing) 필터를 적용한 후 예측 블록을 생성할 수 있다. 참조 화소에 적용되는 AIS 필터의 종류는 상이할 수 있다. 인트라 예측 방법을 수행하기 위해 현재 예측 단위의 인트라 예측 모드는 현재 예측 단위의 주변에 존재하는 예측 단위의 인트라 예측 모드로부터 예측할 수 있다. 주변 예측 단위로부터 예측된 모드 정보를 이용하여 현재 예측 단위의 예측 모드를 예측하는 경우, 현재 예측 단위와 주변 예측 단위의 인트라 예측 모드가 동일하면 소정의 플래그 정보를 이용하여 현재 예측 단위와 주변 예측 단위의 예측 모드가 동일하다는 정보를 전송할 수 있고, 만약 현재 예측 단위와 주변 예측 단위의 예측 모드가 상이하면 엔트로피 부호화를 수행하여 현재 블록의 예측 모드 정보를 부호화할 수 있다.
또한, 예측부(120, 125)에서 생성된 예측 단위를 기초로 예측을 수행한 예측 단위와 예측 단위의 원본 블록과 차이값인 잔차값(Residual) 정보를 포함하는 잔차 블록이 생성될 수 있다. 생성된 잔차 블록은 변환부(130)로 입력될 수 있다.
변환부(130)에서는 원본 블록과 예측부(120, 125)를 통해 생성된 예측 단위의 잔차값(residual)정보를 포함한 잔차 블록을 DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT와 같은 변환 방법을 사용하여 변환시킬 수 있다. 잔차 블록을 변환하기 위해 DCT를 적용할지, DST를 적용할지 또는 KLT를 적용할지는 잔차 블록을 생성하기 위해 사용된 예측 단위의 인트라 예측 모드 정보를 기초로 결정할 수 있다.
양자화부(135)는 변환부(130)에서 주파수 영역으로 변환된 값들을 양자화할 수 있다. 블록에 따라 또는 영상의 중요도에 따라 양자화 계수는 변할 수 있다. 양자화부(135)에서 산출된 값은 역양자화부(140)와 재정렬부(160)에 제공될 수 있다.
재정렬부(160)는 양자화된 잔차값에 대해 계수값의 재정렬을 수행할 수 있다.
재정렬부(160)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원의 블록 형태 계수를 1차원의 벡터 형태로 변경할 수 있다. 예를 들어, 재정렬부(160)에서는 지그-재그 스캔(Zig-Zag Scan)방법을 이용하여 DC 계수부터 고주파수 영역의 계수까지 스캔하여 1차원 벡터 형태로 변경시킬 수 있다. 변환 단위의 크기 및 인트라 예측 모드에 따라 지그-재그 스캔 대신 2차원의 블록 형태 계수를 열 방향으로 스캔하는 수직 스캔, 2차원의 블록 형태 계수를 행 방향으로 스캔하는 수평 스캔이 사용될 수도 있다. 즉, 변환 단위의 크기 및 인트라 예측 모드에 따라 지그-재그 스캔, 수직 방향 스캔 및 수평 방향 스캔 중 어떠한 스캔 방법이 사용될지 여부를 결정할 수 있다.
엔트로피 부호화부(165)는 재정렬부(160)에 의해 산출된 값들을 기초로 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 다양한 부호화 방법을 사용할 수 있다.
엔트로피 부호화부(165)는 재정렬부(160) 및 예측부(120, 125)로부터 부호화 단위의 잔차값 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, 예측 단위 정보 및 전송 단위 정보, 모션 벡터 정보, 참조 프레임 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 부호화할 수 있다.
엔트로피 부호화부(165)에서는 재정렬부(160)에서 입력된 부호화 단위의 계수값을 엔트로피 부호화할 수 있다.
역양자화부(140) 및 역변환부(145)에서는 양자화부(135)에서 양자화된 값들을 역양자화하고 변환부(130)에서 변환된 값들을 역변환한다. 역양자화부(140) 및 역변환부(145)에서 생성된 잔차값(Residual)은 예측부(120, 125)에 포함된 움직임 추정부, 움직임 보상부 및 인트라 예측부를 통해서 예측된 예측 단위와 합쳐져 복원 블록(Reconstructed Block)을 생성할 수 있다.
필터부(150)는 디블록킹 필터, 오프셋 보정부, ALF(Adaptive Loop Filter)중 적어도 하나를 포함할 수 있다.
디블록킹 필터는 복원된 픽쳐에서 블록간의 경계로 인해 생긴 블록 왜곡을 제거할 수 있다. 디블록킹을 수행할지 여부를 판단하기 위해 블록에 포함된 몇 개의 열 또는 행에 포함된 픽셀을 기초로 현재 블록에 디블록킹 필터 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용하는 경우 필요한 디블록킹 필터링 강도에 따라 강한 필터(Strong Filter) 또는 약한 필터(Weak Filter)를 적용할 수 있다. 또한 디블록킹 필터를 적용함에 있어 수직 필터링 및 수평 필터링 수행시 수평 방향 필터링 및 수직 방향 필터링이 병행 처리되도록 할 수 있다.
오프셋 보정부는 디블록킹을 수행한 영상에 대해 픽셀 단위로 원본 영상과의 오프셋을 보정할 수 있다. 특정 픽쳐에 대한 오프셋 보정을 수행하기 위해 영상에 포함된 픽셀을 일정한 수의 영역으로 구분한 후 오프셋을 수행할 영역을 결정하고 해당 영역에 오프셋을 적용하는 방법 또는 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법을 사용할 수 있다.
ALF(Adaptive Loop Filtering)는 필터링한 복원 영상과 원래의 영상을 비교한 값을 기초로 수행될 수 있다. 영상에 포함된 픽셀을 소정의 그룹으로 나눈 후 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. ALF를 적용할지 여부에 관련된 정보는 휘도 신호는 부호화 단위(Coding Unit, CU) 별로 전송될 수 있고, 각각의 블록에 따라 적용될 ALF 필터의 모양 및 필터 계수는 달라질 수 있다. 또한, 적용 대상 블록의 특성에 상관없이 동일한 형태(고정된 형태)의 ALF 필터가 적용될 수도 있다.
메모리(155)는 필터부(150)를 통해 산출된 복원 블록 또는 픽쳐를 저장할 수 있고, 저장된 복원 블록 또는 픽쳐는 인터 예측을 수행 시 예측부(120, 125)에 제공될 수 있다.
도 2는 본 개시의 일실시예에 따른 영상 복호화 장치를 나타낸 블록도이다.
도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230, 235), 필터부(240), 메모리(245)가 포함될 수 있다.
영상 부호화 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 영상 부호화 장치와 반대의 절차로 복호화될 수 있다.
엔트로피 복호화부(210)는 영상 부호화 장치의 엔트로피 부호화부에서 엔트로피 부호화를 수행한 것과 반대의 절차로 엔트로피 복호화를 수행할 수 있다. 예를 들어, 영상 부호화 장치에서 수행된 방법에 대응하여 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 다양한 방법이 적용될 수 있다.
엔트로피 복호화부(210)에서는 부호화 장치에서 수행된 인트라 예측 및 인터 예측에 관련된 정보를 복호화할 수 있다.
재정렬부(215)는 엔트로피 복호화부(210)에서 엔트로피 복호화된 비트스트림을 부호화부에서 재정렬한 방법을 기초로 재정렬을 수행할 수 있다. 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)에서는 부호화부에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 해당 부호화부에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(220)는 부호화 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 부호화 장치에서 수행한 양자화 결과에 대해 변환부에서 수행한 변환 즉, DCT, DST, 및 KLT에 대해 역변환 즉, 역 DCT, 역 DST 및 역 KLT를 수행할 수 있다. 역변환은 영상 부호화 장치에서 결정된 전송 단위를 기초로 수행될 수 있다. 영상 복호화 장치의 역변환부(225)에서는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 변환 기법(예를 들어, DCT, DST, KLT)이 선택적으로 수행될 수 있다.
예측부(230, 235)는 엔트로피 복호화부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(245)에서 제공된 이전에 복호화된 블록 또는 픽쳐 정보를 기초로 예측 블록을 생성할 수 있다.
전술한 바와 같이 영상 부호화 장치에서의 동작과 동일하게 인트라 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 동일할 경우, 예측 단위의 좌측에 존재하는 픽셀, 좌측 상단에 존재하는 픽셀, 상단에 존재하는 픽셀을 기초로 예측 단위에 대한 인트라 예측을 수행하지만, 인트라 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 상이할 경우, 변환 단위를 기초로 한 참조 픽셀을 이용하여 인트라 예측을 수행할 수 있다. 또한, 최소 부호화 단위에 대해서만 NxN 분할을 사용하는 인트라 예측을 사용할 수도 있다.
예측부(230, 235)는 예측 단위 판별부, 인터 예측부 및 인트라 예측부를 포함할 수 있다. 예측 단위 판별부는 엔트로피 복호화부(210)에서 입력되는 예측 단위 정보, 인트라 예측 방법의 예측 모드 정보, 인터 예측 방법의 모션 예측 관련 정보 등 다양한 정보를 입력 받고 현재 부호화 단위에서 예측 단위를 구분하고, 예측 단위가 인터 예측을 수행하는지 아니면 인트라 예측을 수행하는지 여부를 판별할 수 있다. 인터 예측부(230)는 영상 부호화 장치에서 제공된 현재 예측 단위의 인터 예측에 필요한 정보를 이용해 현재 예측 단위가 포함된 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐에 포함된 정보를 기초로 현재 예측 단위에 대한 인터 예측을 수행할 수 있다. 또는, 현재 예측 단위가 포함된 현재 픽쳐 내에서 기-복원된 일부 영역의 정보를 기초로 인터 예측을 수행할 수도 있다.
인터 예측을 수행하기 위해 부호화 단위를 기준으로 해당 부호화 단위에 포함된 예측 단위의 모션 예측 방법이 스킵 모드(Skip Mode), 머지 모드(Merge 모드), AMVP 모드(AMVP Mode), 인트라 블록 카피 모드 중 어떠한 방법인지 여부를 판단할 수 있다.
인트라 예측부(235)는 현재 픽쳐 내의 화소 정보를 기초로 예측 블록을 생성할 수 있다. 예측 단위가 인트라 예측을 수행한 예측 단위인 경우, 영상 부호화 장치에서 제공된 예측 단위의 인트라 예측 모드 정보를 기초로 인트라 예측을 수행할 수 있다. 인트라 예측부(235)에는 AIS(Adaptive Intra Smoothing) 필터, 참조 화소 보간부, DC 필터를 포함할 수 있다. AIS 필터는 현재 블록의 참조 화소에 필터링을 수행하는 부분으로써 현재 예측 단위의 예측 모드에 따라 필터의 적용 여부를 결정하여 적용할 수 있다. 영상 부호화 장치에서 제공된 예측 단위의 예측 모드 및 AIS 필터 정보를 이용하여 현재 블록의 참조 화소에 AIS 필터링을 수행할 수 있다. 현재 블록의 예측 모드가 AIS 필터링을 수행하지 않는 모드일 경우, AIS 필터는 적용되지 않을 수 있다.
참조 화소 보간부는 예측 단위의 예측 모드가 참조 화소를 보간한 화소값을 기초로 인트라 예측을 수행하는 예측 단위일 경우, 참조 화소를 보간하여 정수값 이하의 화소 단위의 참조 화소를 생성할 수 있다. 현재 예측 단위의 예측 모드가 참조 화소를 보간하지 않고 예측 블록을 생성하는 예측 모드일 경우 참조 화소는 보간되지 않을 수 있다. DC 필터는 현재 블록의 예측 모드가 DC 모드일 경우 필터링을 통해서 예측 블록을 생성할 수 있다.
복원된 블록 또는 픽쳐는 필터부(240)로 제공될 수 있다. 필터부(240)는 디블록킹 필터, 오프셋 보정부, ALF를 포함할 수 있다.
영상 부호화 장치로부터 해당 블록 또는 픽쳐에 디블록킹 필터를 적용하였는지 여부에 대한 정보 및 디블록킹 필터를 적용하였을 경우, 강한 필터를 적용하였는지 또는 약한 필터를 적용하였는지에 대한 정보를 제공받을 수 있다. 영상 복호화 장치의 디블록킹 필터에서는 영상 부호화 장치에서 제공된 디블록킹 필터 관련 정보를 제공받고 영상 복호화 장치에서 해당 블록에 대한 디블록킹 필터링을 수행할 수 있다.
오프셋 보정부는 부호화시 영상에 적용된 오프셋 보정의 종류 및 오프셋 값 정보 등을 기초로 복원된 영상에 오프셋 보정을 수행할 수 있다.
ALF는 부호화 장치로부터 제공된 ALF 적용 여부 정보, ALF 계수 정보 등을 기초로 부호화 단위에 적용될 수 있다. 이러한 ALF 정보는 특정한 파라메터 셋에 포함되어 제공될 수 있다.
메모리(245)는 복원된 픽쳐 또는 블록을 저장하여 참조 픽쳐 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽쳐를 출력부로 제공할 수 있다.
전술한 바와 같이 이하, 본 개시의 실시예에서는 설명의 편의상 코딩 유닛(Coding Unit)을 부호화 단위라는 용어로 사용하지만, 부호화뿐만 아니라 복호화를 수행하는 단위가 될 수도 있다.
또한, 현재 블록은, 부호화/복호화 대상 블록을 나타내는 것으로, 부호화/복호화 단계에 따라, 코딩 트리 블록(또는 코딩 트리 유닛), 부호화 블록(또는 부호화 유닛), 변환 블록(또는 변환 유닛) 또는 예측 블록(또는 예측 유닛) 등을 나타내는 것일 수 있다. 본 명세서에서, '유닛'은 특정 부호화/복호화 프로세스를 수행하기 위한 기본 단위를 나타내고, '블록'은 소정 크기의 화소 어레이를 나타낼 수 있다. 별도의 구분이 없는 한, '블록'과 '유닛'은 동등한 의미로 사용될 수 있다. 예컨대, 후술되는 실시예에서, 부호화 블록(코딩 블록) 및 부호화 유닛(코딩 유닛)은 상호 동등한 의미인 것으로 이해될 수 있다.
영상은 블록 단위로 부호화/복호화될 수 있다. 코딩 블록은 트리 구조에 기반하여 재귀적으로 분할될 수 있다. 일 예로, 쿼드(quad) 트리 분할, 바이너리(binary) 트리 분할 또는 터너리(ternary) 트리 분할 중 적어도 하나에 의해 코딩 블록이 분할될 수 있다.
또한, 코딩 블록을 복수의 예측 블록들 또는 복수의 변환 블록들로 분할할 수 있다.
픽처 간 중복 데이터는 인터 예측을 통해 제거된다. 인터 예측에 의해 예측 블록을 생성하고자 하는 경우, 움직임 정보를 이용할 수 있다. 여기서, 움직임 정보는, 움직임 벡터, 참조 영상 인덱스 또는 예측 방향 중 적어도 하나를 포함할 수 있다.
현재 픽처의 참조 영상으로부터, 현재 블록과 가장 유사한 블록을 탐색하고, 탐색된 블록을 현재 블록의 예측 블록으로 설정할 수 있다. 이후, 현재 블록과 예측 블록을 차분하여 잔차 블록을 생성할 수 있다.
도 3 및 도 4는 인터 예측이 수행되는 예를 나타낸 것이다.
도 3은, T-1번째 참조 영상 내, 현재 블록과 동일한 위치한 콜로케이티드 블록으로부터, 움직임 벡터 (x, y)만큼 이격된 예측 블록을 탐색한 결과를 나타낸다.
도시된 예에서, 움직임 벡터 (x,y), 참조 영상 T-1을 가리키는 참조 영상 인덱스, 및 L0방향 예측이 수행되었음을 나타내는 예측 방향 정보가 현재 블록의 움직임 정보로 결정될 수 있다.
도 4는 양방향 예측이 수행되는 예시를 나타낸다.
도 4에 도시된 예에서, L0 예측을 통해, 참조 영상 T-1 내 콜로케이티드 블록으로부터, 움직임 벡터 (x0, y0)만큼 이격된 참조 블록 0이 특정된다. 또한, L1 예측을 통해, 참조 영상 T+1 내 콜로케이티드 블록으로부터, 움직임 벡터 (x1, y1)만큼 이격된 참조 블록 1이 특정된다.
이에 따라, 움직임 벡터 (x0, y0), 참조 영상 T-1을 가리키는 참조 영상 인덱스, 및 L0방향 예측이 수행되었음을 나타내는 예측 방향 정보가 현재 블록의 L0 움직임 정보로 결정될 수 있다. 또한, 움직임 벡터 (x1, y1), 참조 영상 T+1을 가리키는 참조 영상 인덱스, 및 L1 방향 예측이 수행되었음을 나타내는 예측 방향 정보가 현재 블록의 L1 움직임 정보로 결정될 수 있다.
양방향 예측이 수행된 경우, 현재 블록의 최종 예측 블록은 L0 예측 블록 및 L1 예측 블록 간의 가중치 합에 기초하여 생성될 수 있다.
도시된 예에서는, L0 방향이 현재 픽처의 이전 방향이고, L1 방향이 현재 픽처의 이후 방향인 것으로 예시되었다. 도시된 예와 달리, L0 방향 및 L1 방향이 모두 현재 픽처의 이전 방향으로 설정되거나 모두 현재 픽처의 이후 방향으로 설정될 수 있다. 또는, L0 방향이 현재 픽처의 이후 방향이고, L1 방향이 현재 픽처의 이전 방향으로 설정될 수도 있다.
이에 따라, L0 참조 픽처 리스트 및 L1 참조 픽처 리스트 각각에는, 이전 방향의 참조 픽처와 이후 방향 참조 픽처가 혼재되어 있을 수 있다.
인터 예측이 적용되는 경우, 현재 블록의 움직임 정보를 부호화하여 복호화기로 전송해야 한다. 이때, 움직임 벡터를 그대로 부호화하여 복호화기로 전송할 수 있다. 또는, 움직임 벡터 예측 과정을 통해 생성된 예측 움직임 벡터를 이용하여 움직임 벡터의 양을 줄여 복호화기로 전송할 수 있다. 이하, 이에 대해 상세히 살펴보기로 한다.
도 5는 본 발명이 적용되는 일실시예로서, 인터 예측 방법을 도시한 순서도이다.
도 5를 참조하면, 현재 블록의 움직임 정보를 결정할 수 있다(S510). 현재 블록의 움직임 정보는, 현재 블록에 관한 움직임 벡터, 현재 블록의 참조 픽처 인덱스 또는 현재 블록의 인터 예측 방향 중 적어도 하나를 포함할 수 있다.
현재 블록의 움직임 정보는 비트스트림을 통해 시그널링되는 정보 또는 현재 블록의 공간적/시간적 이웃 블록의 움직임 정보 중 적어도 하나를 기초로 획득될 수 있다.
도 6은, 현재 블록의 움직임 정보 유도시 참조되는 공간적 이웃 블록의 위치를 설명하기 위한 도면이다.
도 6에서, LB는 현재 블록 내에서 좌하단 샘플의 위치를 나타내고, RT는 현재 블록 내에서 우상단 샘플의 위치를 나타낸다. AX(X는 0부터 4)는 현재 블록 좌측의 복원 샘플을 나타내고, BY(Y는 0부터 5)는 현재 블록 상단의 복원 샘플을 나타낸다.
도시된 복수의 복원 샘플들 중 적어도 하나의 위치를, 공간적 이웃 블록을 결정하는데 이용될 수 있다. 일 예로, A0, A1, B0, B1 또는 B5 중 적어도 하나가 공간적 이웃 블록을 결정하기 위한 기준 위치로 정의될 수 있다.
도 7은 현재 블록의 움직임 정보를 유도하기 위해 참조되는 시간적 이웃 블록을 설명하기 위한 예시이다.
도 7에 도시된 예에서, CX(X는 0부터 35)는 콜로케이티드 블록 내 샘플들 및 상기 콜로케이티드 블록 주변의 복원 화소들을 나타낸다.
도시된 복수의 복원 샘플들 중 적어도 하나의 위치를, 공간적 이웃 블록을 결정하는데 이용될 수 있다. 일 예로, C21 또는 C35 중 적어도 하나가 공간적 이웃 블록을 결정하기 위한 기준 위치로 정의될 수 있다.
도 8는 현재 블록에 머지 모드가 적용되는 경우, 현재 블록의 움직임 정보를 유도하는 과정을 나타낸 도면이다.
현재 블록에 머지 모드가 적용되는 경우, 현재 블록의 공간적 이웃 블록으로부터 공간적 머지 후보를 유도할 수 있다(S810). 공간적 이웃 블록은, 현재 블록의 상단, 좌측 또는 현재 블록의 코너(예컨대, 상단 좌측 코너, 우측 상단 코너 또는 좌측 하단 코너 중 적어도 하나)에 인접한 블록 중 적어도 하나를 포함할 수 있다.
공간적 머지 후보의 움직임 정보는, 공간적 이웃 블록의 움직임 정보와 동일하게 설정될 수 있다.
현재 블록의 시간적 이웃 블록으로부터 시간적 머지 후보를 유도할 수 있다(S820). 시간적 이웃 블록은, 콜로케이티드 픽처에 포함된 동일 위치 블록(co-located block, 콜로케이티드 블록)을 의미할 수 있다. 콜로케이티드 픽처는, 현재 블록을 포함하는 현재 픽처와 상이한 시간적 순서(Picture Order Count, POC)를 갖는다. 콜로케이트 픽처는 참조 픽처 리스트 내 기 정의된 인덱스를 갖는 픽처로 결정되거나, 비트스트림으로부터 시그널링되는 인덱스에 의해 결정될 수 있다. 시간적 이웃 블록은, 콜로케이티드 픽처 내 현재 블록과 동일한 위치 및 크기를 갖는 블록 내 임의의 블록 또는 현재 블록과 동일한 위치 및 크기를 갖는 블록에 인접한 블록으로 결정될 수 있다. 일 예로, 콜로케이티드 픽처 내 현재 블록과 동일한 위치 및 크기를 갖는 블록의 중심 좌표를 포함하는 블록, 또는, 상기 블록의 우측 하단 경계에 인접한 블록 중 적어도 하나가 시간적 이웃 블록으로 결정될 수 있다.
시간적 머지 후보의 움직임 정보는, 시간적 이웃 블록의 움직임 정보에 기초하여 결정될 수 있다. 일 예로, 시간적 머지 후보의 움직임 벡터는, 시간적 이웃 블록의 움직임 벡터에 기초하여 결정될 수 있다. 또한, 시간적 머지 후보의 인터 예측 방향은 시간적 이웃 블록의 인터 예측 방향과 동일하게 설정될 수 있다. 단, 시간적 머지 후보의 참조 픽처 인덱스는, 고정된 값을 가질 수 있다. 일 예로, 시간적 머지 후보의 참조 픽처 인덱스는 '0'으로 설정될 수 있다.
이후, 공간적 머지 후보 및 시간적 머지 후보를 포함하는 머지 후보 리스트를 생성할 수 있다(S830).
공간적 머지 후보 및 시간적 머지 후보는 기 정의된 우선 순위에 따라, 머지 후보 리스트에 삽입될 수 있다.
일 예로, 머지 후보 리스트가 포함할 수 있는 머지 후보들의 최대 개수가 5개인 경우, 현재 블록의 상단 이웃 블록(B1)으로부터 유도된 공간적 머지 후보, 좌측 이웃 블록(A1)으로부터 유도된 공간적 머지 후보, 우상단 이웃 블록(B0) 으로부터 유도된 공간적 머지 후보, 좌하단 이웃 블록(A0) 으로부터 유도된 공간적 머지 후보 및 시간적 이웃 블록으로부터 유도된 시간적 머지 후보의 순으로, 머지 후보들을 머지 후보 리스트에 추가할 수 있다.
좌상단 이웃 블록(B2)으로부터 유도된 공간적 머지 후보는, 타 공간적 이웃 블록들 중 적어도 하나가 비가용한 경우에 한하여, 머지 후보 리스트에 추가될 수 있다.
머지 후보들간의 우선 순위는, 부호화기 및 복호화기에서 기 정의되어 있을 수 있다.
또는, 현재 블록의 크기 및/또는 형태에 기초하여, 머지 후보들간의 우선 순위가 적응적으로 결정될 수 있다. 일 예로, 현재 블록이 너비가 높이보다 큰 비정방형인 경우, 상단 이웃 블록(B1)으로부터 유도된 머지 후보가 좌측 이웃 블록(A1)으로부터 유도된 머지 후보보다 먼저 머지 후보 리스트에 추가될 수 있다. 반면, 현재 블록이 높이가 너비보다 큰 비정방형인 경우, 좌측 이웃 블록(A1)으로부터 유도된 머지 후보가 상단 이웃 블록(B1)으로부터 유도된 머지 후보보다 먼저 머지 후보 리스트에 추가될 수 있다.
머지 후보 리스트에 포함된 머지 후보들의 개수가 최대 개수에 다다르지 못한 경우, 글로벌 움직임 정보 버퍼에 포함된 움직임 정보를, 머지 후보로서 머지 후보 리스트에 추가할 수 있다.
글로벌 움직임 정보 버퍼는, 현재 블록이 포함된 픽처, 슬라이스, 코딩 트리 유닛 라인, 또는 코딩 트리 유닛 내 현재 블록보다 이전에 부호화/복호화된 블록의 움직임 정보를 저장할 수 있다. 일 예로, 소정 영역 내 첫번째 블록에서부터 현재 블록 이전 블록까지, 인터 예측으로 부호화된 블록들의 움직임 정보가 모두 글로벌 움직임 정보 버퍼에 저장되어 있을 수 있다.
또는, 움직임 정보 버퍼에 저장 가능한 움직임 정보의 개수를 M개로 제한할 수 있다. 이 경우, 현재 블록과 가까울수록 광역 움직임 정보 버퍼 상에서 높은 우선 순위를 갖고, 현재 블록과 멀수록, 광역 움직임 정보 버퍼 상에서 낮은 우선 순위를 가질 수 있다. 여기서, 현재 블록과의 거리는, 현재 블록과의 부호화/복호화 순서 차분에 의해 결정될 수 있다.
즉, 부호화/복호화 순서에 따라, 후순위로 부호화된 블록에 높은 우선 순위가 부여될 수 있다. 특정 블록의 움직임 정보를 광역 움직임 정보 버퍼에 추가하고자 할 때, 광역 움직임 정보 버퍼에 이미 최대 개수 M만큼의 움직임 정보가 저장되어 있을 경우, 우선 순위가 가장 낮은 블록(즉, 부호화/복호화 순서가 가장 빠른 블록)으로부터 유도된 움직임 정보를 삭제한 뒤, 특정 블록의 움직임 정보를 추가할 수 있다.
다른 예로, 병렬 처리 구조가 적용되는 경우, 병렬 처리되는 영역마다 광역 움직임 정보 버퍼가 생성될 수 있다.
또는, 병렬 처리되는 영역에 포함된 블록의 움직임 정보는 광역 움직임 정보 버퍼에 추가하지 않을 수 있다.
또는, 코딩 트리 유닛 행마다 광역 움직임 정보 버퍼를 구성할 수 있다. 즉, 광역 움직임 정보 버퍼가 코딩 트리 유닛마다 초기화될 수 있다.
병렬 처리가 수행되는 영역마다 개별적으로 광역 움직임 정보 버퍼가 정의되어 사용되는 경우, 병렬 처리가 수행되는 영역 내 초반부에는 광역 움직임 정보 버퍼에 저장된 움직임 정보의 개수가 매우 적다. 병렬 처리가 수행되는 영역 내 초반부에 해당하는 블록들의 부호화/복호화 효율을 높이기 위해, 광역 움직임 정보 버퍼에 기 설정된 초기 움직임 정보를 삽입할 수도 있다. 일 예로, 기 설정된 초기 움직임 정보는, 픽처 전체에 적용되는 글로벌 움직임 정보일 수 있다. 글로벌 움직임 정보는 상위 헤더를 통해 부호화 될 수 있다.
또는, 타일 또는 슬라이스 단위로, 글로벌 움직임 정보를 정의할 수도 있다.
글로벌 움직임 정보를 추가한 이후에도, 머지 후보 리스트에 포함된 머지 후보들의 개수가 최대 머지 후보 개수보다 작은 경우, 둘 이상의 머지 후보를 기초로 생성된 평균 머지 후보 또는 (0,0) 움직임 벡터(zero motion vector)를 갖는 머지 후보가 머지 후보 리스트에 포함될 수 있다.
머지 후보 리스트가 생성되면, 머지 후보 인덱스에 기초하여, 머지 후보 리스트에 포함된 머지 후보 중 적어도 하나를 특정할 수 있다(S840).
현재 블록의 움직임 정보는, 머지 후보 인덱스에 의해 특정된 머지 후보의 움직임 정보와 동일하게 설정될 수 있다(S850). 일 예로, 머지 후보 인덱스에 의해, 공간적 머지 후보가 선택된 경우, 현재 블록의 움직임 정보는, 공간적 이웃 블록의 움직임 정보와 동일하게 설정될 수 있다. 또는, 머지 후보 인덱스에 의해, 시간적 머지 후보가 선택된 경우, 현재 블록의 움직임 정보는, 시간적 이웃 블록의 움직임 정보와 동일하게 설정될 수 있다.
도 9는 현재 블록에 AMVP 모드가 적용되는 경우, 현재 블록의 움직임 정보를 유도하는 과정을 나타낸 도면이다.
현재 블록에 AMVP 모드가 적용되는 경우, 비트스트림으로부터, 현재 블록의 인터 예측 방향 또는 참조 픽처 인덱스 중 적어도 하나를 복호화할 수 있다(S910). 즉, AMVP 모드가 적용되는 경우, 현재 블록의 인터 예측 방향 또는 참조 픽처 인덱스 중 적어도 하나는 비트스트림을 통해 부호화된 정보에 기초하여 결정될 수 있다.
현재 블록의 공간적 이웃 블록의 움직임 벡터를 기초로, 공간적 움직임 벡터 후보를 결정할 수 있다(S920). 공간적 움직임 벡터 후보는, 현재 블록의 상단 이웃 블록으로부터 유도된 제1 공간적 움직임 벡터 후보 및 현재 블록의 좌측 이웃 블록으로부터 유도된 제2 공간적 움직임 벡터 후보 중 적어도 하나를 포함할 수 있다. 여기서, 상단 이웃 블록은, 현재 블록의 상단 또는 상단 우측 코너에 인접한 블록 중 적어도 하나를 포함하고, 현재 블록의 좌측 이웃 블록은, 현재 블록의 좌측 또는 좌측 하단 코너에 인접한 블록 중 적어도 하나를 포함할 수 있다. 현재 블록의 좌측 상단 코너에 인접한 블록은, 상단 이웃 블록으로 취급될 수도 있고, 또는 좌측 이웃 블록으로 취급될 수도 있다.
현재 블록과 공간적 이웃 블록 사이의 참조 픽처가 상이한 경우, 공간적 움직임 벡터는 공간적 이웃 블록의 움직임 벡터를 스케일링함으로써 획득될 수도 있다.
현재 블록의 시간적 이웃 블록의 움직임 벡터를 기초로, 시간적 움직임 벡터 후보를 결정할 수 있다(S930). 현재 블록과 시간적 이웃 블록 사이의 참조 픽처가 상이한 경우, 시간적 움직임 벡터는 시간적 이웃 블록의 움직임 벡터를 스케일링함으로써 획득될 수도 있다.
공간적 움직임 벡터 후보 및 시간적 움직임 벡터 후보를 포함하는 움직임 벡터 후보 리스트를 생성할 수 있다(S940).
움직임 벡터 후보 리스트가 생성되면, 움직임 벡터 후보 리스트 중 적어도 하나를 특정하는 정보에 기초하여, 움직임 벡터 후보 리스트에 포함된 움직임 벡터 후보 중 적어도 하나를 특정할 수 있다(S950).
상기 정보에 의해 특정된 움직임 벡터 후보를, 현재 블록의 움직임 벡터 예측값으로 설정하고, 움직임 벡터 예측값에 움직임 벡터 차분값을 합하여, 현재 블록의 움직임 벡터를 획득할 수 있다(S960). 이때, 움직임 벡터 차분값은, 비트스트림을 통해 파싱될 수 있다.
현재 블록의 움직임 정보가 획득되면, 획득된 움직임 정보에 기초하여, 현재 블록에 대한 움직임 보상을 수행할 수 있다(S520). 구체적으로, 현재 블록의 인터 예측 방향, 참조 픽처 인덱스 및 움직임 벡터에 기초하여, 현재 블록에 대한 움직임 보상이 수행될 수 있다.
후술되는 실시예들에서는, 머지 모드 하에서의 머지 후보 리스트 및 AMVP 모드 하에서의 움직임 벡터 후보 리스트를 움직임 정보 리스트라는 용어로 호칭하기로 한다. 즉, 움직임 정보 리스트는, 현재 블록에 적용되는 예측 모드에 따라, 머지 후보 리스트 또는 움직임 벡터 후보 리스트를 의미할 수 있다.
코딩 블록 또는 예측 블록을 복수의 서브 블록들로 분할한 뒤, 서브 블록들 각각에 움직임 정보를 할당할 수도 있다. 서브 블록 각각에 움직임 정보를 할당하기 위해, 현재 부호화/복호화 대상인 코딩 블록 또는 예측 블록의 움직임 정보를 유도할 수 있다. 설명의 편의를 위해, 코딩 블록 또는 예측 블록을 현재 블록이라 호칭하고, 코딩 블록 또는 예측 블록의 움직임 정보를 블록 레벨 움직임 정보라 호칭하기로 한다. 또한, 위 블록 레벨 움직임 정보를 기초로 유도되는 서브 블록의 움직임 정보를 서브 블록 레벨 움직임 정보라 호칭하기로 한다.
블록 레벨 움직임 정보는, 머지 모드 또는 AMVP 모드에 기초하여 유도될 수 있다.
일 예로, 블록 레벨 움직임 정보는, 머지 후보 리스트 내 인덱스 정보에 의해 특정되는 머지 후보를 기초로 유도될 수 있다.
다른 예로, 기 정의된 탐색 순서를 따를 때, 첫번째로 발견된 가용한 블록의 움직임 정보를 블록 레벨 움직임 정보로 설정할 수도 있다. 일 예로, 상단 이웃 블록, 좌측 이웃 블록, 우상단 이웃 블록, 좌하단 이웃 블록 및 좌상단 이웃 블록의 순서로 탐색 순서가 정의된 경우, 위 탐색 순서에 따라, 첫번째로 발견된 이웃 블록의 움직임 정보를, 블록 레벨 움직임 정보로 설정할 수 있다.
탐색 순서는 부호하기 및 복호화기에서 기 정의되어 있을 수 있다. 일 예로, 상단 이웃 블록을 좌측 이웃 블록보다 먼저 탐색하도록 정의되어 있을 수 있다. 또는, 현재 블록의 크기 및/또는 형태 중 적어도 하나에 기초하여, 적응적으로 탐색 순서가 결정될 수 있다. 일 예로, 현재 블록이 너비가 높이보다 큰 비정방형인 경우, 상단 이웃 블록을 좌측 이웃 블록보다 먼저 탐색하도록 설정할 수 있다. 반면, 현재 블록이 높이가 너비보다 큰 비정방형인 경우, 좌측 이웃 블록을 상단 이웃 블록보다 먼저 탐색하도록 설정할 수 있다.
또는, 현재 블록에 인접하는 기 설정된 위치의 블록의 움직임 정보를 블록 레벨 움직임 정보로 설정할 수 있다. 일 예로, 기 설정된 위치의 블록은, 상단 이웃 블록, 좌측 이웃 블록, 우상단 이웃 블록, 좌하단 이웃 블록 또는 좌상단 이웃 블록일 수 있다. 또는, 현재 블록의 크기 및/또는 형태 중 적어도 하나에 기초하여, 기 설정된 위치를 적응적으로 결정할 수 있다. 일 예로, 현재 블록이 너비가 높이보다 큰 비정방형인 경우, 상단 이웃 블록의 움직임 정보를 참조하여, 현재 블록의 움직임 정보를 유도할 수 있다. 반면, 현재 블록이 높이가 너비보다 큰 비정방형인 경우, 좌측 이웃 블록의 움직임 정보를 참조하여, 블록 레벨 움직임 정보를 유도할 수 있다.
블록 레벨 움직임 정보가 유도되면, 유도된 움직임 정보를 기초로, 참조 픽처 내 참조 블록을 특정할 수 있다. 그리고, 참조 블록 및 현재 블록 각각을 복수개의 서브 블록들로 분할한 뒤, 참조 블록 내 각 서브 블록들의 움직임 정보를, 현재 블록 내 각 서브 블록의 움직임 정보로 설정할 수 있다. 도 10은 이에 대한 예시를 나타낸다.
도 10은 서브 블록 레벨 움직임 정보가 획득되는 예를 나타낸 도면이다.
현재 블록의 움직임 정보가 획득되면, 획득된 움직임 정보에 기초하여, 참조 픽처 내 참조 블록을 특정할 수 있다. 그리고, 현재 블록 및 참조 블록 각각을 복수의 서브 블록들로 분할할 수 있다.
이때, 서브 블록의 개수 또는 크기 중 적어도 하나는, 부호화기 및 복호화기에서 고정되어 있을 수 있다. 일 예로, 4x4 크기의 서브 블록들로 참조 블록 및 현재 블록을 분할할 수 있다.
그리고 나서, 참조 블록 내 각 서브 블록의 움직임 정보를, 현재 블록 내 각 서브 블록의 움직임 정보로 설정할 수 있다. 일 예로, 현재 블록 및 참조 블록의 좌상단 샘플의 위치를 (0, 0)이라 할 때, 현재 블록 내 서브 블록의 움직임 정보를, 참조 블록 내 상기 서브 블록과 동일한 좌표를 갖는 서브 블록의 움직임 정보로부터 유도할 수 있다.
즉, 도 10에 도시된 예에서 참조 블록 내 서브 블록들 a' 내지 p'의 움직임 정보가 현재 블록 내 서브 블록 a 내지 p의 움직임 정보로 설정될 수 있다.
또는, 참조 블록 내 서브 블록들 a' 내지 p' 움직임 벡터를 스케일링하여, 현재 블록 내 서브 블록들 a 내지 p의 움직임 벡터를 유도할 수도 있다. 여기서, 스케일링은, 현재 블록(또는 현재 블록 내 서브 블록)의 참조 픽처와, 참조 블록(또는 참조 블록 내 서브 블록)의 참조 픽처 사이의 거리(예컨대, POC 차분), 또는 현재 픽처와 참조 픽처 사이의 거리 중 적어도 하나를 기초로 수행될 수 있다. 일 예로, 현재 블록의 참조 픽처와 참조 블록의 참조 픽처 사이의 거리 및 현재 픽처와 현재 블록의 참조 픽처 사이의 거리 간의 비율을 기초로 스케일링 팩터를 유도하고, 유도된 스케일링 팩터를 이용하여, 참조 블록 내 서브 블록의 움직임 벡터를 스케일링할 수 있다. 그리고, 스케일링된 움직임 벡터를, 현재 블록 내 서브 블록의 움직임 벡터로 설정할 수 있다.
서브 블록들의 움직임 정보가 유도되면, 서브 블록 각각의 움직임 정보를 기초로, 움직임 보상을 수행할 수 있다. 이에 따라, 서브 블록들 각각에 대해 예측 서브 블록이 생성될 수 있다.
서브 블록 단위로 움직임 정보를 유도하는 경우, 복잡도 감소를 위한 간소화가 적용될 수 있다. 구체적으로, 현재 블록에 이웃하는 이웃 블록의 움직임 정보의 가용성을 체크할 수 있다. 일 예로, 현재 블록의 움직임 정보가, 현재 블록의 상단에 인접하는 이웃 블록(도 10의 예시된 E)의 움직임 정보를 기초로 유도되도록 설정된 경우, 상기 이웃 블록의 움직임 정보가 기 설정된 참조 픽처를 가리키는 경우에만, 상기 이웃 블록의 움직임 정보가 이용 가능한 것으로 설정될 수 있다. 여기서, 기 설정된 참조 픽처는, 기 설정된 인덱스를 갖는 참조 픽처 또는 콜로케이티드 참조 픽처 중 적어도 하나일 수 있다. 즉, 상단 이웃 블록의 참조 픽처가 콜로케이티드 픽처인 경우에만, 상단 이웃 블록의 움직임 정보가 이용 가능한 것으로 설정될 수 있다.
참조 픽처들 중 콜로케이티드 픽처를 가리키는 정보가, 부호화되어 시그날링될 수 있다. 상기 정보는, 슬라이스, 픽처 또는 시퀀스 등 상위 헤더를 통해 부호화될 수 있다. 일 예로, 콜로케이티드 픽처가 현재 픽처 기준으로 L0방향에 존재하는지 또는 L1방향에 존재하는지 여부를 나타내는 정보 또는 콜로케이티드 픽처의 인덱스를 지시하는 정보 중 적어도 하나가 부호화되어 시그날링될 수 있다.
이때, 상단 이웃 블록의 참조 픽처 및/또는 예측 방향을 현재 블록에 그대로 적용하는 대신, 비트스트림을 통해 현재 블록의 참조 픽처 인덱스 및/또는 예측 방향(예컨대, L0 방향 및/또는 L1 방향)을 특정하는 정보를 별도로 부호화하여 시그날링할 수도 있다. 이 경우, 움직임 벡터는 상단 이웃 블록에서 가져오며, 별도로 시그널링된 현재 블록의 참조 픽처 인덱스 및/또는 예측 방향에 따라 상단 이웃 블록의 움직임 벡터를 스케일링하여 현재 블록에 대응하는 참조 블록을 설정할 수 있다.
상단 이웃 블록의 움직임 정보가 이용 불가능한 경우(예컨대, 상단 이웃 블록의 움직임 정보가 콜로케이티드 픽처가 아닌 경우), 타 블록의 움직임 정보를 기초로 현재 블록의 움직임 정보를 유도하거나, 기 정의된 모션 벡터를 현재 블록의 움직임 벡터로 설정할 수 있다. 예컨대, 상단 이웃 블록의 움직임 정보가 이용 불가능한 경우, 제로 모션 벡터 (0, 0)을 현재 블록의 움직임 벡터로 설정할 수 있다. 이 때, 참조픽쳐로 콜로케이티드 픽처가 사용될 수 있으며 혹은, 현재 블록의 참조 픽처를 가리키는 정보(예컨대, 참조 픽처 인덱스), L0 방향 예측 및 L1 방향 예측의 수행 여부를 나타내는 정보(예컨대, L0 예측 플래그 및 L1 예측 플래그)가 부호화되어 시그날링될 수 있다. 이때, 상기 정보는 블록 레벨에서 시그날링될 수도 있고, 슬라이스, 픽처 또는 시퀀스와 같이 상위 레벨에서 시그날링될 수도 있다.
다른 예로, 이웃 블록의 움직임 정보에 의해 특정되는 참조 블록 내 소정 위치에 대한 움직임 정보가 저장되어 있는지 여부에 기초하여, 이웃 블록의 움직임 벡터가 이용 가능한 것인지 여부를 결정할 수도 있다. 여기서, 소정 위치의 샘플은, 참조 블록 내 좌상단 샘플, 중앙 위치 샘플, 우상단 샘플, 좌하단 샘플 또는 우하단 샘플 중 적어도 하나일 수 있다.
여기서, 중앙 위치 샘플은, x축 좌표 및 y축 좌표가 (nW/2, nH/2)인 샘플일 수 있다. nW는 현재 블록의 너비를 나타내고, nH는 현재 블록의 높이를 나타낸다. 일 예로, 도 10의 예에서, 서브 블록 k'가 중앙 위치 샘플을 포함하는 것일 수 있다.
또는, x축 좌표 및 y축 좌표 중 적어도 하나가, (nW/2, nH/2)보다 1만큼 작은 샘플을 중앙 위치 샘플로 설정할 수도 있다. 일 예로, 도 10의 예에서, f', g' 또는 j'이 중앙 위치 샘플을 포함하는 것일 수 있다.
또는, 이웃 블록의 참조 픽처 및 참조 블록 내 소정 위치에 대한 움직임 정보 저장 여부를 모두 고려하여, 이웃 블록의 움직임 정보가 가용한 것인지 여부가 결정될 수 있다. 일 예로, 상단 이웃 블록의 참조 픽처 인덱스가 콜로케이티드 픽처를 가리키고, 상기 상단 이웃 블록의 움직임 벡터에 의해 특정되는 참조 블록 내, 소정 위치의 샘플에 대한 움직임 정보가 기 저장된 경우, 상기 상단 이웃 블록의 움직임 정보가 이용 가능한 것으로 결정될 수 있다.
다른 예로, 참조 블록 내 움직임 정보가 기 저장된 서브 블록들의 개수가 문턱값 이상인지 여부에 기초하여, 이웃 블록의 움직임 정보가 이용 가능한지 여부를 결정할 수도 있다. 문턱값은 1, 2, 3 또는 4와 같은 정수일 수 있다. 일 예로, 문턱값이 1인 경우, 참조 블록 내 움직임 정보가 기 저장된 서브 블록들이 적어도 하나 존재하는 경우, 이웃 블록의 움직임 정보가 이용 가능함을 나타낸다.
현재 블록 내 서브 블록에 대응하는 참조 블록 내 서브 블록에 대해 움직임 정보가 기 저장되어 있지 않은 경우, 기 정의된 위치 또는 인접 서브 블록의 움직임 정보를 활용하도록 설정할 수 있다. 여기서, 기 정의된 위치의 샘플은, 좌상단 샘플, 우상단 샘플, 중앙 위치 샘플, 좌하단 샘플 또는 우하단 샘플 중 적어도 하나일 수 있다. 일 예로, 참조 블록 내 중앙 위치 샘플(예컨대, k')의 움직임 정보가 기 저장되어 있어, 이웃 블록의 움직임 정보가 이용 가능한 것으로 판단되었으나, 다른 서브 블록에 대해서는 움직임 정보가 저장되지 않았다면, 상기 중앙 위치 샘플의 움직임 정보를 다른 서브 블록의 움직임 정보로 설정할 수 있다.
또는, 움직임 정보가 기 저장되어 있지 않은 서브 블록에 대해서는, 인접 위치 서브 블록의 움직임 정보를 이용하도록 설정할 수 있다. 여기서, 인접 위치 서브 블록은, 우측 서브 블록, 좌측 서브 블록, 상단 서브 블록 또는 하단 서브 블록 중 적어도 하나를 포함할 수 있다.
또는, 서브 블록의 움직임 정보가 존재하지 않는 경우, 인접 위치 서브 블록들의 움직임 벡터들의 평균값을 상기 서브 블록의 움직임 벡터로 설정할 수도 있다.
현재 블록에 인접하는 이웃 블록으로부터 블록 레벨 움직임 정보를 유도한 뒤, 움직임 벡터의 정밀도를 조절할 수 있다. 일 예로, 블록 레벨 움직임 벡터는 상시 정수 위치를 가리키도록 조절할 수 있다. 일 예로, 블록 레벨 움직임 정보가, 상단 이웃 블록으로부터 유도된 경우, 상단 이웃 블록의 움직임 벡터를 올림, 내림 또는 반올림하여, 블록 레벨 움직임 벡터가 정수 위치의 화소를 가리키도록 설정할 수 있다.
블록 레벨 움직임 정보에 대한, 움직임 벡터 정밀도는 부호화기 및 복호화기에서 고정되어 있을 수 있다. 또는, 블록 레벨 움직임 정보에 대한, 움직임 벡터 정밀도를 가리키는 정보가 부호화되어 시그날링될 수도 있다. 이때, 상기 정보는 블록 레벨에서 시그날링될 수도 있고, 슬라이스, 픽처 또는 시퀀스 등 상위 레벨에서 시그날링될 수도 있다.
픽처 내 오브젝트가 비선형으로 움직이는 경우, 하나의 움직임 벡터를 이용하는 병진 움직임 모델로는, 오브젝트의 움직임을 정확히 예측할 수 없다. 위 처럼, 오브벡트가 비선형으로 움직이는 경우, 어파인 움직임 모델을 적용하여, 예측 블록을 획득할 수 있다.
어파인 모션 모델이 적용되는 경우, 현재 블록의 컨트롤 포인트들 각각의 움직임 벡터에 기초하여, 현재 블록에 대한 움직임 보상을 수행할 수 있다.
도 11은 컨트롤 포인트 각각에 대한 움직임 벡터를 이용하는 움직임 보상의 예시를 나타낸다.
컨트롤 포인트는, 현재 블록의 모서리를 나타낸다.
복수 컨트롤 포인트들의 움직임 벡터를 이용할 경우, 오브젝트의 병진 움직임 뿐만 아니라, 확대, 축소 또는 회전 등 비선형 움직임을 반영하여 움직임 보상이 수행될 수 있다.
2개 또는 3개 컨트롤 포인트들의 움직임 벡터를 이용하여, 움직임 보상이 수행될 수 있다. 일 예로, 현재 블록의 좌상단 코너, 우상단 코너, 좌하단 코너 및 우하단 코너 중 2개 또는 3개의 움직임 벡터를 이용하여 움직임 보상이 수행될 수 있다.
도 11에 도시된 예에서는, 현재 블록의 좌상단 컨트롤 포인트의 움직임 벡터 A 및 우상단 컨트롤 포인트의 움직임 벡터 B를 이용하여 움직임 보상이 수행되는 것으로 예시되었다.
컨트롤 포인트 움직임 벡터를 이용하여, 현재 블록 내 화소별 움직임 벡터를 유도할 수 있다. 일 예로, 수학식 1은, 2개의 컨트롤 포인트 움직임 벡터를 이용하여, 화소별 움직임 벡터가 유도되는 예를 나타낸 것이다.
Figure PCTKR2020018726-appb-M000001
상기 수학식 1에서, (mvx, mvy)는, 화소의 움직임 벡터를 나타낸다. W는 현재 블록의 너비를 나타낸다. (x, y)는 화소의 위치를 나타낸다. (mvAx, mvAy)는 좌상단 컨트롤 포인트의 움직임 벡터를 나타내고, (mvBx, mvBy)는 우상단 컨트롤 포인트의 움직임 벡터를 나타낸다.
이후, 화소들 각각의 움직임 벡터에 기초하여, 움직임 보상을 수행할 수 있다.
도 12는 화소별 움직임 보상이 수행된 예를 나타낸 도면이다.
움직임 벡터가 소수 화소를 가리키는, 경우, 예측 블록 내 화소들을 보간함으로써, 예측 화소를 유도할 수 있다. 이때, 보간은 복수개의 정수 위치 화소들을 기초로 수행될 수 있다. 또는, 복잡도 감소를 위해, 소수 위치에 인접하는 정수 위치 화소만을 이용하여 보간을 수행할 수도 있다.
화소들 간의 움직임 벡터 정밀도가 상이할 수 있다. 이 경우, 화소들 각각의 움직임 벡터를 기 설정된 움직임 벡터 정밀도에 맞춰 변환할 수 있다. 일 예로, 소수 화소 단위의 움직임 벡터를, 정수 화소 단위의 움직임 벡터로 변환할 수 있다.
복잡도 감소를 위해, 서브 블록별 움직임 벡터를 유도할 수도 있다. 일 예로, 수학식 1의 예에서, 화소의 위치 대신, 서브 블록의 위치를 대입함으로써, 서브 블록의 움직임 벡터 (mvx, mvy)를 획득할 수 있다. 이때, 서브 블록의 위치는, 서브 블록 내 좌상단 샘플의 위치, 우상단 샘플의 위치, 좌하단 샘플의 위치, 우하단 샘플의 위치 또는 중앙 샘플의 위치일 수 있다.
서브 블록의 크기 및/또는 형태는 부호화기 및 복호화기에서 기 정의되어 있을 수 있다. 일 예로, 서브 블록은 4x4 또는 2x2 크기를 가질 수 있다. 또는, 현재 블록의 크기 및/또는 형태에 따라, 서브 블록의 크기 및/또는 형태가 적응적으로 결정될 수 있다. 또는, 서브 블록의 크기 및/또는 형태를 가리키는 정보가 부호화되어 시그날링될 수 있다. 상기 정보는 블록 레벨에서 부호화될 수도 있고, 슬라이스, 픽처 또는 시퀀스 등 상위 레벨에서 부호화될 수도 있다.
또는, 화소 단위로 움직임 보상을 수행할 것인지 혹은 서브 블록 단위로 움직임 보상을 수행할 것인지 여부를 특정하기 위한 정보가 부호화되어 시그날링될 수 있다.
도 13은 서브 블록별 움직임 보상이 수행되는 예를 나타낸 것이다.
도 13에서는, 2x2 크기의 서브 블록 별로 움직임 보상이 수행되는 것으로 예시되었다.
3개의 컨트롤 포인트 움직임 벡터를 이용하여, 움직임 보상을 수행할 수도 있다.
도 14는 3개의 컨트롤 포인트 움직임 벡터를 이용하여 움직임 보상이 수행되는 예를 나타낸 예이다.
도 14에서는, 좌상단 컨트롤 포인트의 움직임 벡터 A, 우상단 컨트롤 포인트의 움직임 벡터 B 및 좌하단 컨트롤 포인트의 움직임 벡터 C를 이용하여, 움직임 보상이 수행되는 것으로 예시되었다.
수학식 2는 3개의 컨트롤 포인트 움직임 벡터를 이용하여, 화소별 또는 서브 블록별 움직임 벡터를 유도하는 예를 나타낸다.
Figure PCTKR2020018726-appb-M000002
상기 수학식 2에서, (mvAx, mvAy)는 좌상단 컨트롤 포인트의 움직임 벡터를 나타내고, (mvBx, mvBy)는 우상단 컨트롤 포인트의 움직임 벡터를 나타낸다. (mvCx, mvCy)는 좌하단 컨트롤 포인트의 움직임 벡터를 나타낸다.
컨트롤 포인트 움직임 벡터의 개수를 나타내는 정보가 부호화되어 시그날링될 수 있다. 일 예로, 상기 정보는 블록 레벨에서 시그날링될 수 있다.
또는, 현재 블록의 크기 및/또는 형태에 기초하여, 컨트롤 포인트 움직임 벡터의 개수가 적응적으로 결정될 수 있다.
컨트롤 포인트 움직임 벡터들 각각을 부호화하는 경우, 움직임 벡터들을 부호화하는데 할당되는 비트량이 높아, 부호화/복호화 효율이 저하되는 문제점이 있다. 위와 같은 문제점을 극복하기 위해, 현재 블록에 인접하는 이웃 블록을 참조하여, 현재 블록의 컨트롤 포인트 움직임 벡터를 유도할 수 있다.
구체적으로, 상술한 머지 모드 또는 AMVP 모드를 적용하여, 현재 블록의 컨트롤 포인트 움직임 벡터를 유도할 수 있다. 머지 모드를 적용하는 경우, 현재 블록의 컨트롤 포인트 움직임 벡터는, 머지 후보와 동일하게 설정될 수 있다. AMVP 모드를 적용하는 경우, 움직임 예측 후보가, 현재 블록의 컨트롤 포인트 움직임 벡터 예측값으로 설정될 수 있다. 현재 블록의 컨트롤 포인트 움직임 벡터는, 움직임 벡터 예측값에 움직임 벡터 차분값을 더하여 유도될 수 있다.
공간적 이웃 블록 또는 시간적 이웃 블록을 참조하여, 머지 후보 또는 움직임 벡터 후보 리스트를 생성할 수 있다.
공간적 이웃 블록은, 상단 이웃 블록, 좌측 이웃 블록, 우상단 이웃 블록, 우하단 이웃 블록 또는 좌상단 이웃 블록 중 적어도 하나를 포함할 수 있다. 일 예로, 도 6에 도시된 예에서, B1 위치의 샘플을 포함하는 이웃 블록, A1 위치의 샘플을 포함하는 이웃 블록, B0 위치의 샘플을 포함하는 이웃 블록, A0 위치의 샘플을 포함하는 이웃 블록 또는 B5 위치의 샘플을 포함하는 이웃 블록 중 적어도 하나를 이용하여, 머지 후보를 유도할 수 있다.
이웃 블록이 어파인 모션 모드로 부호화/복호화된 경우, 이웃 블록의 컨트롤 포인트 움직임 벡터들에 기초하여, 머지 후보의 컨트롤 포인트 움직임 벡터들을 유도할 수 있다. 구체적으로, 이웃 블록과 현재 블록 간의 차이를 감안하여, 이웃 블록의 컨트롤 포인트 움직임 벡터들을 외삽(extrapolation)을 수행할 수 있다. 이후, 외삽된 컨트롤 포인트 움직임 벡터들을 머지 후보의 컨트롤 포인트 움직임 벡터들로 설정할 수 있다.
또는, 복잡도 감소를 위해, 외삽 과정 없이, 이웃 블록의 컨트롤 포인트 움직임 벡터들을 그대로 머지 후보의 컨트롤 포인트 움직임 벡터들로 설정할 수 있다.
또한, 이웃 블록들 간의 기 설정된 우선 순위에 따라, 머지 후보들을 순차적으로 머지 후보 리스트에 추가할 수 있다.
일 예로, 상단 블록들을 기 정의된 순서에 따라 탐색할 때, 최초로 발견된 가용한 이웃 블록의 컨트롤 포인트 움직임 벡터 세트를 머지 후보 리스트에 삽입할 수 있다. 일 예로, 상단 이웃 블록(B0), 우상단 이웃 블록(B1) 및 좌상단 이웃 블록(B5) 순으로 탐색 순서를 정의하고, 위 탐색 순서를 따를 때 첫번째로 발견된 가용한 이웃 블록의 컨트롤 포인트 움직임 벡터 세트를 머지 후보로서 머지 후보 리스트에 삽입할 수 있다.
이후, 좌측 블록들을 기 정의된 순서에 따라 탐색할 때, 최초로 발견된 이웃 블록의 컨트롤 포인트 움직임 벡터 세트를 머지 후보 리스트에 삽입할 수 있다. 일 예로, 좌측 이웃 블록(A0) 및 좌하단 이웃 블록(A1) 순으로 탐색 순서를 정의하고, 위 탐색 순서를 따를 때 첫번째로 발견된 가용한 이웃 블록의 컨트롤 포인트 움직임 벡터 세트를 머지 후보로서 머지 후보 리스트에 삽입할 수 있다.
결과적으로, 상단 블록으로부터 유도된 머지 후보가 좌측 블록으로부터 유도된 블록 벡터보다 먼저 머지 후보 리스트에 추가될 수 있다.
또는, 현재 블록의 크기 및/또는 형태에 따라, 머지 후보 추가 순서를 적응적으로 결정할 수 있다. 일 예로, 현재 블록이 너비가 높이보다 큰 비정방형인 경우, 상단 블록으로부터 유도된 머지 후보를 좌측 블록으로부터 유도된 머지 후보보다 먼저 머지 후보 리스트에 추가할 수 있다. 반면, 현재 블록이 높이가 너비보다 큰 비정방형인 경우, 좌측 블록으로부터 유도된 머지 후보를 상단 블록으로부터 유도된 머지 후보보다 먼저 머지 후보 리스트에 추가할 수 있다.
다른 예로, 복잡도 감소를 위해, 기 설정된 우선 순위에 따라, 이웃 블록들을 탐색하는 대신, 기 정의된 위치의 이웃 블록들만을 참조하여, 머지 후보를 유도할 수 있다. 일 예로, 상단 블록들 중에서는, 상단 이웃 블록(B1) 만을 참조하여 머지 후보를 유도하고, 좌측 블록들 중에서는 좌측 이웃 블록(A1) 만을 참조하여 머지 후보를 유도할 수 있다.
공간적 이웃 블록들로부터 유도된 머지 후보가 머지 후보 리스트에 삽입한 후, 현재 블록에 인접하는 이웃 블록들의 병진 움직임 벡터들을 조합하여 생성된 머지 후보를 머지 후보 리스트에 포함할 수 있다.
이때, 기 설정된 조합 순서를 따라 머지 후보를 생성할 수 있다. 또한, 상기 조합에 의해 생성되는 컨트롤 포인트 움직임 벡터는, 각 컨트롤 포인트에 인접하는 이웃 블록의 병진 움직임 벡터를 기초로 생성될 수 있다.
일 예로, 현재 블록의 좌측 코너의 좌상단에 인접하는 이웃 블록(B5), 상단에 인접하는 이웃 블록(B4) 및 좌측에 인접하는 이웃 블록(A4)의 순서로 이웃 블록들을 탐색하였을 때, 최초로 발견된 가용한 이웃 블록의 움직임 벡터를, 제1 임시 컨트롤 포인트 움직임 벡터로 설정한다. 그리고, 현재 블록의 우측 코너의 상단에 인접하는 이웃 블록(B1) 및 우상단에 인접하는 이웃 블록(B2)의 순서로 이웃 블록들을 탐색하였을 때, 최초로 발견된 가용한 이웃 블록의 움직임 벡터를, 제2 임시 컨트롤 포인트 움직임 벡터로 설정한다. 그리고, 현재 블록의 좌상단 코너의 좌측에 인접하는 이웃 블록(A1) 및 좌하단에 인접하는 이웃 블록(A0)의 순서로 이웃 블록들을 탐색하였을 때, 최초로 발견된 가용한 이웃 블록의 움직임 벡터를, 제3 임시 컨트롤 포인트 움직임 벡터로 설정한다. 그리고, 참조 픽처(예컨대, 콜로케이티드 픽처) 내 콜로케이티드 블록의 병진 움직임 벡터를 제4 임시 컨트롤 포인트 움직임 벡터로 설정한다.
컨트롤 포인트에 인접하는 이웃 블록들 중 가용한 병진 움직임 벡터가 발견되지 않은 경우, 해당 컨트롤 포인트에 대한 임시 움직임 벡터를 제외하고 조합된 컨트롤 포인트 움직임 벡터 세트를 유도할 수 있다.
또는, 컨트롤 포인트에 인접하는 이웃 블록들 중 가용한 병진 움직임 벡터가 발견되지 않은 경우, 해당 컨트롤 포인트에 대한 임시 움직임 벡터를 제로 움직임 벡터 (0, 0)로 설정하고, 조합된 컨트롤 포인트 움직임 벡터 세트를 유도할 수 있다.
복잡도 감소를 위해, 복수 이웃 블록들을 순차적으로 탐색하는 과정을 생략할 수 있다. 복수 이웃 블록들을 순차적으로 탐색하여 임시 컨트롤 포인트 움직임 벡터를 유도하는 대신, 기 설정된 위치의 이웃 블록만을 참조하여, 임시 컨트롤 포인트 움직임 벡터를 유도할 수 있다.
일 예로, 제1 임시 컨트롤 포인트 움직임 벡터는, 좌상단 이웃 블록(B5)만을 참조하여 유도되고, 제2 임시 컨트롤 포인트 움직임 벡터는 상단 이웃 블록(B1)만을 참조하여 유도될 수 있다. 제3 임시 컨트롤 포인트 움직임 벡터는 좌측 이웃 블록(A1)만을 참조하여 유도되고, 제4 임시 컨트롤 포인트 움직임 벡터는 콜로케이티드 블록 벡터만을 참조하여 유도될 수 있다. 이때, 기 정의된 위치의 이웃 블록이 비가용한 경우(예컨대, 이웃 블록에 움직임 정보가 저장되어 있지 않은 경우), 임시 컨트롤 포인트 움직임 벡터를 제로 움직임 벡터로 설정할 수 있다.
임시 컨트롤 포인트 움직임 벡터를 유도하는데 이용되는 이웃 블록들의 위치는 부호화기 및 복호화기에서 기 정의되어 있을 수 있다. 또는, 현재 블록의 크기, 형태 또는 컨트롤 포인트의 개수 중 적어도 하나에 기초하여, 임시 컨트롤 포인트 움직임 벡터를 유도하는데 이용되는 이웃 블록들의 위치를 적응적으로 결정할 수 있다.
기 설정된 우선 순위에 따라, 4개의 임시 컨트롤 포인트 움직임 벡터들 중 2개 또는 3개를 조합하여, 조합된 컨트롤 포인트 움직임 벡터 세트를 갖는 조합된 머지 후보를 유도할 수 있다.
머지 후보 리스트가 포함할 수 있는 머지 후보의 최대 개수 및 머지 후보 리스트에 기 추가된 머지 후보의 개수 사이의 차분만큼 조합된 머지 후보들을 머지 후보 리스트에 추가할 수 있다.
일 예로, 머지 후보 리스트가 포함할 수 있는 머지 후보들의 최대 개수가 5개이고, 어파인 모션 모델로 부호화된 이웃 블록으로부터 유도된 머지 후보가 2개인 경우, 최대 3개의 조합된 머지 후보들이 머지 후보 리스트에 추가될 수 있다.
조합된 머지 후보 생성시, 참조 픽처가 동일한 이웃 블록들의 병진 움직임 벡터들만을 조합할 수 있다. 또는, 이웃 블록들 간의 참조 픽처가 상이한 경우, 참조 픽처들 중 인덱스가 가장 큰 참조 픽처 또는 인덱스가 가장 작은 참조 픽처들을 기준으로 병진 움직임 벡터들을 스케일링하여, 조합된 머지 후보를 생성할 수 있다.
조합된 머지 후보들을 머지 후보 리스트에 추가하였음에도, 머지 후보들의 개수가 머지 후보 리스트가 포함할 수 있는 머지 후보들의 최대 개수보다 작은 경우, 제로 움직임 벡터들로 구성된 머지 후보를 머지 후보 리스트에 추가할 수 있다.
머지 후보 리스트가 복수개의 머지 후보들을 포함하는 경우, 인덱스 정보에 기초하여 복수개의 머지 후보들 중 하나를 선택할 수 있다. 이후, 선택된 머지 후보의 컨트롤 포인트 움직임 벡터들을 현재 블록의 컨트롤 포인트 움직임 벡터들로 설정할 수 있다.
표 1은 각 머지 후보의 컨트롤 포인트 움직임 벡터 세트를 나타낸 것이다.
인덱스 컨트롤 포인트 움직임 벡터 세트
0 (A, B, C)
1 (A', B')
2 (A'', B'')
3 (A''',B''',C''')
4 (A'''',B'''',C'''')
인덱스에 의해 머지 후보가 선택되면, 선택된 머지 후보의 컨트롤 포인트 움직임 벡터 세트를 현재 블록에 적용할 수 있다. 일 예로, 인덱스가 0을 가리키는, 경우, 컨트롤 포인트 움직임 벡터들 (A, B, C)를 현재 블록의 컨트롤 포인트 움직임 벡터들로 설정할 수 있다.표 1의 예에서, A는 좌상단 컨트롤 포인트의 움직임 벡터, B는 우상단 컨트롤 포인트의 움직임 벡터, 및 C는 좌하단 컨트롤 포인트의 움직임 벡터로 설정될 수 있다. 아울러, 2개의 컨트롤 포인트 움직임 벡터들로 구성된 머지 후보가 선택되는 것은, 2개의 컨트롤 포인트 움직임 벡터들을 이용하여 현재 블록에 대한 예측이 수행됨을 나타내고, 3개의 컨트롤 포인트 움직임 벡터들로 구성된 머지 후보가 선택되는 것은, 현재 블록에 3개의 컨트롤 포인트 움직임 벡터들을 이용하여 현재 블록에 대한 예측이 수행됨을 나타낸다.
위 설명한 머지 후보 리스트 구성 방법을, 움직임 벡터 후보 리스트 구성 방법으로 설정할 수도 있다. 이때, 움직임 벡터 후보 리스트가 포함할 수 있는 움직임 벡터들의 최대 개수는 2, 3, 4 또는 5개 등으로 설정될 수 있다.
움직임 벡터 후보 리스트가 복수개의 움직임 벡터 후보들을 포함하는 경우, 인덱스 정보에 기초하여, 복수개의 움직임 벡터 후보들 중 하나를 특정할 수 있다. 이후, 특정된 움직임 벡터 후보의 컨트롤 포인트 움직임 벡터들을 현재 블록의 컨트롤 포인트 움직임 벡터들 각각의 예측값으로 설정할 수 있다. 이후, 비트스트림으로부터 컨트롤 포인트 움직임 벡터 차분값을 복호화하고, 복호화된 차분값을 이용하여, 컨트롤 포인트 움직임 벡터를 유도할 수 있다.
위 실시예들에서는, 머지 후보가 복수의 컨트롤 포인트 움직임 벡터들을 포함하고, 이에 따라, 하나의 머지 후보로부터 복수개의 컨트롤 포인트 움직임 벡터들이 유도되는 것으로 예시되었다.
다른 예로, 컨트롤 포인트별로 머지 후보 리스트를 구성한 뒤, 각 컨트롤 포인트 별로 인덱스 정보를 부호화하여 시그날링할 수도 있다. 이때, 각 머지 후보는 병진 움직임 정보만을 가질 수 있다.
인트라 예측을 통해, 픽처 내 중복 데이터를 제거할 수 있다. 현재 블록에 인트라 예측이 적용되는 경우, 예측 블록은, 현재 블록에 인접하는 참조 화소 또는 비인접하는 참조 화소를 기초로 생성될 수 있다. 구체적으로, 복수의 참조 샘플 라인 후보들 중 하나를 선택한 뒤, 선택된 참조 샘플 라인에 포함된 참조 화소들에 기초하여 인트라 예측이 수행될 수 있다. 여기서, 참조 샘플 라인 후보들은, 현재 블록에 인접하는 참조 샘플 라인 및 현재 블록에 인접하지 않는 적어도 하나의 참조 샘플 라인을 포함할 수 있다.
도 15는 인트라 예측 모드의 종류를 예시한 것이다.
인트라 예측 모드는, 비방향성 모드 및 방향성 모드를 포함한다. 비방향성 모드는, 평면 모드 및 DC 모드를 포함한다.
현재 블록의 인트라 예측 모드가 평면 모드인 경우, 예측 대상 샘플의 수직 방향에 위치하는 참조 샘플 및 수평 방향에 위치하는 참조 샘플을 이용하여, 예측 샘플을 유도할 수 있다.
도 16은 평면 모드 하에서 예측 샘플을 유도하는 예를 설명하기 위한 도면이다.
도 16에서, T는 현재 블록의 우측 상단 코너에 인접하는 참조 샘플을 나타내고, L은 현재 블록의 좌측 하단 코너에 인접하는 참조 샘플을 나타낸다.
플래너 모드 하에서, 예측 대상 샘플에 대해, 수평 방향 예측 샘플 P1 및 수직 방향 예측 샘플 P2을 유도할 수 있다.
수평 방향 예측 샘플 P1은, 예측 대상 샘플과 동일한 수평선상에 위치하는 참조 샘플 H 및 우측 상단 참조 샘플 T를 선형 보간하여 생성될 수 있다.
수직 방향 예측 샘플 P2는, 예측 대상 샘플과 동일한 수직선상에 위치하는 참조 샘플 V 및 좌측 하단 참조 샘플 L을 선형 보간하여 생성될 수 있다.
이후, 수평 방향 예측 샘플 P1 및 수직 방향 예측 샘플 P2의 가중합 연산에 기초하여, 예측 샘플을 유도할 수 있다. 수학식 3은 수평 방향 예측 샘플 P1 및 수직 방향 예측 샘플 P2의 가중합 연산에 의해 예측 샘플 P가 유도되는 예를 나타낸다.
Figure PCTKR2020018726-appb-M000003
상기 수학식 3에서, α는 수평 방향 예측 샘플 P1에 적용되는 가중치를 나타내고, β는 수직 방향 예측 샘플 P2에 적용되는 가중치를 나타낸다.
가중치 α 및 β는, 현재 블록의 크기 또는 형태에 기초하여 결정될 수 있다. 구체적으로, 현재 블록의 너비 또는 높이 중 적어도 하나를 고려하여, 가중치 α 및 β가 결정될 수 있다. 일 예로, 현재 블록의 너비 및 높이가 동일한 경우, 가중치 α 및 β를 동일한 값으로 설정할 수 있다. 가중치 α 및 β가 동일한 경우, 예측 샘플은, 수평 방향 예측 샘플 P1 및 수직 방향 예측 샘플 P2의 평균값으로 유도될 수 있다. 반면, 현재 블록의 너비 및 높이가 상이한 경우, 가중치 α 및 β를 상이하게 설정할 수 있다. 일 예로, 현재 블록의 너비가 높이보다 더 큰 경우, 가중치 β를 가중치 α보다 더 큰 값으로 설정하고, 현재 블록의 높이가 너비보다 더 큰 경우, 가중치 α를 가중치 β보다 더 큰 값으로 설정할 수 있다. 또는, 위와 반대로, 현재 블록의 너비가 높이보다 더 큰 경우, 가중치 α를 가중치 β보다 더 큰 값으로 설정하고, 현재 블록의 높이가 너비보다 더 큰 경우, 가중치 β를 가중치 α보다 더 큰 값으로 설정할 수 있다.
현재 블록의 인트라 예측 모드가 DC 모드인 경우, 참조 샘플들의 평균값을 예측 샘플의 값으로 설정할 수 있다.
도 17은 DC 모드 하에서 예측 샘플을 유도하는 예를 설명하기 위한 도면이다.
1번 모드로 할당된 DC 모드 하에서 예측 화소는 도 17과 같이 생성될 수 있다. 도 17에서 블록의 크기는 4x4이라 가정한다.
도 17을 참조하면, 블록 주변에 존재하는 복원 화소를 참조 화소로 설정하고, 참조 화소들의 평균 값을 계산한 후에, 계산된 값을 예측 블록 내 모든 예측 화소로 설정한다. 평균값을 계산하는데 이용되는 참조 화소들은 상단 복원 화소들(B~E), 좌측 복원 화소들(F~I) 또는 좌상단 복원 화소(A) 중 적어도 하나를 포함할 수 있다. 또는, 상단 복원 화소들 및 좌측 복원 화소들만을 이용하여 평균값을 계산할 수도 있다.
혹은, 블록의 형태에 따라, 상단 복원 화소들 또는 좌측 복원 화소들 중 어느 하나만을 선택적으로 이용하여 평균값을 계산할 수도 있다.
혹은, 블록의 형태에 따라, 상단 복원 화소들 또는 좌측 복원 화소들 중 어느 한쪽에 더 큰 가중치를 적용하는 것 또한 가능하다. 예를 들어, 위쪽 복원 화소들에 대한 상단 평균과 왼쪽 복원 화소들에 대한 좌측 평균을 계산한 후, 상단 평균 및 좌측 평균에 대한 가중치합(weighted sum) 연산을 수행하여 도출된 가중 평균값을 최종 예측 화소로 설정할 수 있다.
현재 블록의 인트라 예측 모드가 방향성 예측 모드인 경우, 방향성 예측 모드의 각도를 따르는 라인 상에 위치하는 참조 샘플을 이용하여, 예측 샘플을 유도할 수 있다.
현재 블록에 대한 블록 벡터를 이용하여, 현재 픽처 내 부호화/복호화가 완료된 참조 블록을 결정하고, 결정된 참조 블록을 현재 블록의 예측 블록으로 유도할 수도 있다. 블록 벡터에 기초하는 예측 방법을, 인트라 블록 카피(Intra Block Copy, IBC) 모드라 정의할 수 있다.
인트라 블록 카피 모드의 적용 여부를 나타내는 플래그가 부호화되어 시그날링될 수 있다.
블록 벡터는, 현재 블록에 인접하는 이웃 블록의 블록 벡터를 참조하여 유도될 수 있다. 일 예로, 이웃 블록의 블록 벡터를 현재 블록의 블록 벡터로 설정할 수 있다. 또는, 이웃 블록의 블록 벡터를 현재 블록의 블록 벡터 예측값으로 설정하고, 상기 블록 벡터 예측값에 블록 벡터 차분값을 더하여, 현재 블록의 블록 벡터를 유도할 수 있다. 부호화기에서는, 현재 블록의 블록 벡터에서 블록 벡터 예측값을 차분하여 블록 벡터 차분값을 유도하고, 유도된 블록 벡터 차분값을 부호화할 수 있다.
이웃 블록은, 상단 이웃 블록, 좌측 이웃 블록, 우상단 이웃 블록, 우하단 이웃 블록 또는 좌상단 이웃 블록 중 적어도 하나를 포함할 수 있다. 일 예로, 도 6에 도시된 예에서, B1 위치의 샘플을 포함하는 이웃 블록, A1 위치의 샘플을 포함하는 이웃 블록, B0 위치의 샘플을 포함하는 이웃 블록, A0 위치의 샘플을 포함하는 이웃 블록 또는 B5 위치의 샘플을 포함하는 이웃 블록 중 적어도 하나를 이용하여, 현재 블록의 블록 벡터를 유도할 수 있다.
기 설정된 우선 순위에 따라 이웃 블록들을 탐색할 때, 첫번째로 발견되는 가용한 이웃 블록의 블록 벡터를 현재 블록의 블록 벡터 또는 예측 블록 벡터로 설정할 수 있다. 여기서, 기 설정된 우선 순위는, 부호화기 및 복호화기에서 기 저장되어 있을 수 있다. 일 예로, 기 저장된 우선 순위는, 상단 이웃 블록(B0), 좌측 이웃 블록(A0), 우상단 이웃 블록(B1), 좌하단 이웃 블록(A1) 및 좌상단 이웃 블록(B5)의 순일 수 있다.
또는, 현재 블록의 크기 및/또는 형태에 기초하여, 이웃 블록들간의 우선 순위가 적응적으로 결정될 수 있다.
또는, 블록 벡터 후보들을 포함하는 블록 벡터 후보 리스트를 구성할 수 있다. 여기서, 블록 벡터 후보는, 이웃 블록의 블록 벡터를 기초로 유도되는 것일 수 있다.
블록 벡터 후보 리스트가 복수의 블록 벡터 후보들을 포함하는 경우, 인덱스 정보에 기초하여, 블록 벡터 후보들 중 하나를 특정할 수 있다. 상기 인덱스 정보에 의해 결정된 블록 벡터 후보를, 현재 블록의 블록 벡터 또는 예측 블록 벡터로 설정할 수 있다.
블록 벡터 후보들은 기 설정된 우선 순위에 따라 블록 벡터 후보 리스트에 삽입될 수 있다.
블록 벡터 후보 리스트가 포함할 수 있는 블록 벡터 후보들의 최대 개수는, 부호화기 및 복호화기에서 기 정의되어 있을 수 있다. 일 예로, 최대 개수는, 2, 3, 4, 5 또는 6개 등으로 설정될 수 있다.
다른 예로, 상기 최대 개수를 결정하기 위한 정보가 부호화되어 시그날링될 수 있다.
이하, 블록 벡터 후보 리스트가 포함할 수 있는, 블록 벡터 후보들의 최대 개수가 2개인 것으로 가정하고, 이웃 블록들을 이용하여 블록 벡터 후보 리스트를 구성하는 방법을 상세히 설명하기로 한다.
블록 벡터 후보 리스트는, 기 정의된 위치의 이웃 블록들만을 참조하여 생성될 수 있다. 일 예로, 상단 이웃 블록(B1)에 블록 벡터가 존재하는 경우, 상단 이웃 블록의 블록 벡터를 블록 벡터 후보 리스트에 삽입할 수 있다. 이후, 좌측 이웃 블록(A1)에 블록 벡터가 존재하는 경우, 좌측 이웃 블록의 블록 벡터를 블록 벡터 후보 리스트에 삽입할 수 있다.
또는, 상단 블록들을 기 정의된 순서에 따라 탐색할 때, 최초로 발견된 가용한 이웃 블록의 블록 벡터를 블록 벡터 후보 리스트에 삽입할 수 있다. 일 예로, 상단 이웃 블록(B0), 우상단 이웃 블록(B1) 및 좌상단 이웃 블록(B5) 순으로 탐색 순서를 정의하고, 위 탐색 순서를 따를 때 첫번째로 발견된 가용한 이웃 블록의 블록 벡터를 블록 벡터 후보로서 블록 벡터 후보 리스트에 삽입할 수 있다.
이후, 좌측 블록들을 기 정의된 순서에 따라 탐색할 때, 최초로 발견된 가용한 이웃 블록의 블록 벡터를 블록 벡터 후보 리스트에 삽입할 수 있다. 일 예로, 좌측 이웃 블록(A0) 및 좌하단 이웃 블록(A1) 순으로 탐색 순서를 정의하고, 위 탐색 순서를 따를 때 첫번째로 발견된 가용한 이웃 블록의 블록 벡터를 블록 벡터 후보로서 블록 벡터 후보 리스트에 삽입할 수 있다.
결과적으로, 상단 블록으로부터 유도된 블록 벡터 후보가 좌측 블록으로부터 유도된 블록 벡터보다 먼저 블록 벡터 후보 리스트에 추가될 수 있다.
또는, 현재 블록의 크기 및/또는 형태에 따라, 블록 벡터 후보 추가 순서를 적응적으로 결정할 수 있다. 일 예로, 현재 블록이 너비가 높이보다 큰 비정방형인 경우, 상단 블록으로부터 유도된 블록 벡터 후보를 좌측 블록으로부터 유도된 블록 벡터 후보보다 먼저 블록 벡터 후보 리스트에 추가할 수 있다. 반면, 현재 블록이 높이가 너비보다 큰 비정방형인 경우, 좌측 블록으로부터 유도된 블록 벡터 후보를 상단 블록으로부터 유도된 블록 벡터 후보보다 먼저 블록 벡터 후보 리스트에 추가할 수 있다.
위 과정을 통해, 2개의 블록 벡터 후보가 생성되지 않은 경우, 임시 블록 벡터 리스트에 기 저장된 임시 블록 벡터 후보를, 블록 벡터 후보 리스트에 삽입할 수 있다.
여기서, 임시 블록 벡터 리스트는, 현재 블록보다 이전에 블록 벡터를 이용하여 부호화/복호화된 블록들의 블록 벡터를 저장하는 것일 수 있다. 일 예로, 현재 픽처, 현재 슬라이스, 현재 타일 또는 현재 코딩 트리 유닛의 첫번째 블록으로부터 현재 블록 직전에 부호화/복호화된 블록까지, 블록 벡터를 이용하여 부호화/복호화된 블록들의 블록 벡터를 누적하여 저장할 수 있다.
또는, 임시 블록 벡터 리스트가 포함할 수 있는 임시 블록 벡터 후보들의 최대 개수를 제한할 수 있다. 일 예로, 최대 N개의 임시 블록 벡터 후보들만이 임시 블록 벡터 리스트에 포함될 수 있다.
임시 블록 벡터 리스트가 포함할 수 있는 임시 블록 벡터 후보들의 최대 개수는 부호화기 및 복호화기에서 기 정의되어 있을 수 있다. 또는, 상기 최대 개수를 결정하기 위한 정보가 부호화되어 시그날링될 수 있다.
부호화/복호화 순서에 따라, 순차적으로, 부호화/복호화가 완료된 블록의 블록 벡터를 임시 블록 벡터 리스트에 추가할 수 있다. 이때, 임시 블록 벡터 리스트에 이미 N개의 임시 블록 벡터 후보가 저장되어 있을 경우, 우선 순위가 가장 낮은 임시 블록 벡터 후보를 삭제한 뒤, 부호화/복호화가 완료된 블록의 블록 벡터를, 임시 블록 벡터 후보로서 임시 블록 벡터에 추가할 수 있다.
부호화/복호화가 완료된 블록의 크기가 임계값 이하인 경우, 상기 블록의 블록 벡터에 기초하여서는 임시 블록 벡터 리스트를 업데이트하지 않을 수 있다. 일 예로, 부호화/복호화가 완료된 블록이 4x4 이하인 경우, 상기 블록의 블록 벡터를 임시 블록 벡터에 추가하지 않을 수 있다.
임시 블록 벡터 후보들 간의 우선 순위는, 부호화/복호화 순서(즉, 임시 블록 벡터 리스트에 추가된 순서)에 따라 결정될 수 있다. 예컨대, 임시 블록 벡터 리스트에 이미 N개의 임시 블록 벡터 후보가 저장되어 있을 경우, 가장 오래된 임시 블록 벡터 후보를 삭제한 뒤, 부호화/복호화가 완료된 블록의 블록 벡터를, 임시 블록 벡터 후보로서 임시 블록 벡터에 추가할 수 있다.
또는, 부호화/복호화가 완료된 블록과의 거리를 고려하여, 임시 블록 벡터 후보들간의 우선 순위가 결정될 수 있다. 일 예로, 부호화/복호화가 완료된 블록과의 거리가 가까울수록 높은 우선 순위를 가지며, 부호화/복호화가 완료된 블록과의 거리가 멀수록 낮은 우선 순위를 가질 수 있다. 이에 따라, 부호화/복호화가 완료된 블록과의 거리가 먼 블록의 임시 블록 벡터 후보를 제거한 뒤, 부호화/복호화가 완료된 블록의 블록 벡터를, 임시 블록 벡터 후보로서 임시 블록 벡터에 추가할 수 있다.
임시 블록 벡터 리스트에 복수개의 임시 블록 벡터 후보들이 저장되어 있는 경우, 우선 순위가 가장 높은 임시 블록 벡터 후보를 현재 블록의 블록 벡터 후보 리스트에 추가할 수 있다. 이때, 추가하고자 하는 임시 블록 벡터 후보와 동일한 블록 벡터 후보가 기 저장되어 있을 경우, 상기 임시 블록 벡터 후보를 블록 벡터 후보 리스트에 추가하지 않을 수 있다. 그리고, 차순위 임시 블록 벡터 후보를 블록 벡터 후보 리스트에 추가할 수 있다.
병렬 처리 구조에서, 병렬 처리되는 영역별로, 임시 블록 벡터 리스트를 생성할 수도 있다. 병렬 처리 영역의 크기 및/또는 형태를 결정하기 위한 정보가 부호화되어 비트스트림을 통해 시그날링될 수 있다.
또는, 코딩 트리 유닛, 코딩 트리 유닛 행, 슬라이스 또는 타일 별로 임시 블록 벡터 리스트를 생성할 수 있다.
위와 같이, 기 설정된 단위별로, 임시 블록 벡터 리스트를 생성하는 경우, 영역 내 초반부에서는, 임시 블록 벡터 리스트가 포함하는 임시 블록 벡터들의 개수가 매우 적다. 이에 따라, 초기 블록 벡터 후보를, 임시 블록 벡터에 추가할 수도 있다.
초기 블록 벡터에 대한 정보가 부호화되어 시그날링될 수 있다. 일 예로, 상기 정보는, 코딩 트리 유닛, 슬라이스, 픽처 또는 시퀀스 레벨에서 부호화될 수 있다.
상술한 실시예들에서 사용된 신택스들의 명칭은, 설명의 편의를 위해 명명된 것에 불과하다.
복호화 과정 또는 부호화 과정을 중심으로 설명된 실시예들을, 부호화 과정 또는 복호화 과정에 적용하는 것은, 본 개시의 범주에 포함되는 것이다. 소정의 순서로 설명된 실시예들을, 설명된 것과 상이한 순서로 변경하는 것 역시, 본 개시의 범주에 포함되는 것이다.
상술한 실시예는 일련의 단계 또는 순서도를 기초로 설명되고 있으나, 이는 발명의 시계열적 순서를 한정한 것은 아니며, 필요에 따라 동시에 수행되거나 다른 순서로 수행될 수 있다. 또한, 상술한 실시예에서 블록도를 구성하는 구성요소(예를 들어, 유닛, 모듈 등) 각각은 하드웨어 장치 또는 소프트웨어로 구현될 수도 있고, 복수의 구성요소가 결합하여 하나의 하드웨어 장치 또는 소프트웨어로 구현될 수도 있다. 상술한 실시예는 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 하드웨어 장치는 본 개시에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명은 영상을 부호화/복호화할 수 있는 전자 장치에 적용될 수 있다.

Claims (15)

  1. 현재 블록에 인트라 블록 카피 모드가 적용되는지 여부를 결정하는 단계;
    상기 현재 블록에 상기 인트라 블록 카피 모드가 적용되는 것으로 결정된 경우, 상기 현재 블록에 대한 블록 벡터 후보 리스트를 생성하는 단계;
    상기 블록 벡터 후보 리스트에 기초하여, 상기 현재 블록의 블록 벡터를 유도하는 단계; 및
    상기 블록 벡터를 이용하여, 현재 픽처 내 상기 현재 블록의 예측 블록을 특정하는 단계를 포함하되,
    상기 블록 벡터 후보 리스트는, 적어도 하나의 이웃 블록으로부터 유도되는 적어도 하나의 블록 벡터 후보를 포함하고,
    복수개의 블록 벡터 후보들은 우선 순위에 따라, 상기 블록 벡터 후보 리스트에 삽입되는 것을 특징으로 하는, 영상 복호화 방법.
  2. 제1 항에 있어서,
    상기 우선 순위는, 상단 블록으로부터 유도된 제1 블록 벡터 후보가 좌측 블록으로부터 유도된 제2 블록 벡터 후보보다 먼저 상기 블록 벡터 후보 리스트에 삽입됨을 나타내는 것을 특징으로 하는, 영상 복호화 방법.
  3. 제2 항에 있어서,
    상기 제1 블록 벡터 후보는, 상단 이웃 블록, 우상단 이웃 블록 및 좌상단 이웃 블록의 순으로 정의된 탐색 순서를 따를 때, 첫번째로 발견된 가용 블록을 기초로 유도되는 것을 특징으로 하는, 영상 복호화 방법.
  4. 제2 항에 있어서,
    상기 제2 블록 벡터 후보는, 좌측 이웃 블록 및 좌하단 이웃 블록의 순으로 정의된 탐색 순서를 따를 때, 첫번째로 발견된 가용 블록을 기초로 유도되는 것을 특징으로 하는, 영상 복호화 방법.
  5. 제1 항에 있어서,
    상기 우선 순위는, 상기 현재 블록의 크기 또는 형태 중 적어도 하나에 기초하여, 적응적으로 결정되는 것을 특징으로 하는, 영상 복호화 방법.
  6. 제1 항에 있어서,
    상기 적어도 하나의 이웃 블록으로부터 유도된 적어도 하나의 블록 벡터 후보의 개수가 상기 블록 벡터 후보 리스트가 포함할 수 있는 최대 개수보다 작은 경우, 임시 블록 벡터 후보 리스트에 저장된 임시 블록 벡터 후보가 상기 블록 벡터 후보 리스트에 추가되는 것을 특징으로 하는, 영상 복호화 방법.
  7. 제6 항에 있어서,
    상기 임시 블록 벡터 후보 리스트는, 병렬 처리 영역 별로 생성되는 것을 특징으로 하는, 영상 복호화 방법.
  8. 현재 블록에 인트라 블록 카피 모드가 적용되는지 여부를 결정하는 단계;
    상기 현재 블록에 상기 인트라 블록 카피 모드가 적용되는 것으로 결정된 경우, 상기 현재 블록에 대한 블록 벡터 후보 리스트를 생성하는 단계;
    상기 블록 벡터 후보 리스트에 기초하여, 상기 현재 블록의 블록 벡터를 유도하는 단계; 및
    상기 블록 벡터를 이용하여, 현재 픽처 내 상기 현재 블록의 예측 블록을 특정하는 단계를 포함하되,
    상기 블록 벡터 후보 리스트는, 적어도 하나의 이웃 블록으로부터 유도되는 적어도 하나의 블록 벡터 후보를 포함하고,
    복수개의 블록 벡터 후보들은 우선 순위에 따라, 상기 블록 벡터 후보 리스트에 삽입되는 것을 특징으로 하는, 영상 부호화 방법.
  9. 제8 항에 있어서,
    상기 우선 순위는, 상단 블록으로부터 유도된 제1 블록 벡터 후보가 좌측 블록으로부터 유도된 제2 블록 벡터 후보보다 먼저 상기 블록 벡터 후보 리스트에 삽입됨을 나타내는 것을 특징으로 하는, 영상 부호화 방법.
  10. 제9 항에 있어서,
    상기 제1 블록 벡터 후보는, 상단 이웃 블록, 우상단 이웃 블록 및 좌상단 이웃 블록의 순으로 정의된 탐색 순서를 따를 때, 첫번째로 발견된 가용 블록을 기초로 유도되는 것을 특징으로 하는, 영상 부호화 방법.
  11. 제9 항에 있어서,
    상기 제2 블록 벡터 후보는, 좌측 이웃 블록 및 좌하단 이웃 블록의 순으로 정의된 탐색 순서를 따를 때, 첫번째로 발견된 가용 블록을 기초로 유도되는 것을 특징으로 하는, 영상 부호화 방법.
  12. 제8 항에 있어서,
    상기 우선 순위는, 상기 현재 블록의 크기 또는 형태 중 적어도 하나에 기초하여, 적응적으로 결정되는 것을 특징으로 하는, 영상 부호화 방법.
  13. 제9 항에 있어서,
    상기 적어도 하나의 이웃 블록으로부터 유도된 적어도 하나의 블록 벡터 후보의 개수가 상기 블록 벡터 후보 리스트가 포함할 수 있는 최대 개수보다 작은 경우, 임시 블록 벡터 후보 리스트에 저장된 임시 블록 벡터 후보가 상기 블록 벡터 후보 리스트에 추가되는 것을 특징으로 하는, 영상 부호화 방법.
  14. 제13 항에 있어서,
    상기 임시 블록 벡터 후보 리스트는, 병렬 처리 영역 별로 생성되는 것을 특징으로 하는, 영상 부호화 방법.
  15. 현재 블록에 인트라 블록 카피 모드가 적용되는지 여부를 결정하는 단계;
    상기 현재 블록에 상기 인트라 블록 카피 모드가 적용되는 것으로 결정된 경우, 상기 현재 블록에 대한 블록 벡터 후보 리스트를 생성하는 단계;
    상기 블록 벡터 후보 리스트에 기초하여, 상기 현재 블록의 블록 벡터를 유도하는 단계; 및
    상기 블록 벡터를 이용하여, 현재 픽처 내 상기 현재 블록의 예측 블록을 특정하는 단계를 포함하되,
    상기 블록 벡터 후보 리스트는, 적어도 하나의 이웃 블록으로부터 유도되는 적어도 하나의 블록 벡터 후보를 포함하고,
    복수개의 블록 벡터 후보들은 우선 순위에 따라, 상기 블록 벡터 후보 리스트에 삽입되는 것을 특징으로 하는, 영상 부호화 방법에 의해 부호화된 비트스트림을 저장하는, 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2020/018726 2019-12-19 2020-12-18 비디오 신호 처리 방법 및 장치 WO2021125904A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190170572 2019-12-19
KR10-2019-0170572 2019-12-19

Publications (1)

Publication Number Publication Date
WO2021125904A1 true WO2021125904A1 (ko) 2021-06-24

Family

ID=76478271

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/018726 WO2021125904A1 (ko) 2019-12-19 2020-12-18 비디오 신호 처리 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2021125904A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023198131A1 (en) * 2022-04-12 2023-10-19 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170023086A (ko) * 2014-06-19 2017-03-02 브이아이디 스케일, 인크. 블록 벡터 도출을 이용하여 인트라 블록 복사 코딩을 위한 방법 및 시스템
KR20170067766A (ko) * 2014-10-09 2017-06-16 퀄컴 인코포레이티드 병렬 프로세싱을 위한 인트라 블록 복사 예측 제한들

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170023086A (ko) * 2014-06-19 2017-03-02 브이아이디 스케일, 인크. 블록 벡터 도출을 이용하여 인트라 블록 복사 코딩을 위한 방법 및 시스템
KR20170067766A (ko) * 2014-10-09 2017-06-16 퀄컴 인코포레이티드 병렬 프로세싱을 위한 인트라 블록 복사 예측 제한들

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A.M. KOTRA (HUAWEI), J. CHEN, B. WANG, S. ESENLIK, H. GAO (HUAWEI): "CE4-related: HMVP and parallel processing with tiles and tile groups", 13. JVET MEETING; 20190109 - 20190118; MARRAKECH; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), no. JVET-M300-v3, 15 January 2019 (2019-01-15), Marrakech, pages 1 - 3, XP030202215 *
BENJAMIN BROSS , JIANLE CHEN , SHAN LIU , YE-KUI WANG: "Versatile Video Coding (Draft 7)", 16. JVET MEETING; 20191001 - 20191011; GENEVA; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), no. JVET-P2001-vE, 14 November 2019 (2019-11-14), Geneva, pages 1 - 489, XP030224330 *
JAINLE CHEN , YAN YE , SEUNG HWAN KIM: "Algorithm description for Versatile Video Coding and Test Model 7 (VTM 7)", 16. JVET MEETING; 20191001 - 20191011; GENEVA; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), no. JVET-P2002-v1, 10 November 2019 (2019-11-10), Geneva, pages 1 - 90, XP030224331 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023198131A1 (en) * 2022-04-12 2023-10-19 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Similar Documents

Publication Publication Date Title
WO2019164031A1 (ko) 영상 코딩 시스템에서 블록 분할 구조에 따른 영상 디코딩 방법 및 장치
WO2018106047A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018008906A1 (ko) 비디오 신호 처리 방법 및 장치
WO2017026681A1 (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2018038554A1 (ko) 이차 변환을 이용한 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2018212579A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019050292A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020096427A1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2019009498A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2020055169A1 (ko) 인터 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2018066958A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019182295A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018056701A1 (ko) 비디오 신호 처리 방법 및 장치
WO2017069505A1 (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2019050291A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018105759A1 (ko) 영상 부호화/복호화 방법 및 이를 위한 장치
WO2017150823A1 (ko) 비디오 신호 부호화/복호화 방법 및 이를 위한 장치
WO2019182329A1 (ko) 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체
WO2021040458A1 (ko) 비디오 신호 처리 방법 및 장치
WO2023277486A1 (ko) 화면내 예측 기반의 비디오 신호 부호화/복호화 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2023132564A1 (ko) 인터 예측에서 디코더측 움직임벡터 리스트 수정을 위한 방법 및 장치
WO2021125904A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019240450A1 (ko) 잔차 계수 부호화/복호화 방법 및 장치
WO2023277538A1 (ko) 서브 블록 단위의 화면 내 예측에 기반한 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체
WO2019135419A1 (ko) 영상 코딩 시스템에서 현재 블록의 보간 필터에 기반한 인터 예측 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20903279

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20903279

Country of ref document: EP

Kind code of ref document: A1