WO2020138958A1 - 양방향 예측 방법 및 영상 복호화 장치 - Google Patents

양방향 예측 방법 및 영상 복호화 장치 Download PDF

Info

Publication number
WO2020138958A1
WO2020138958A1 PCT/KR2019/018477 KR2019018477W WO2020138958A1 WO 2020138958 A1 WO2020138958 A1 WO 2020138958A1 KR 2019018477 W KR2019018477 W KR 2019018477W WO 2020138958 A1 WO2020138958 A1 WO 2020138958A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
motion vector
motion
offset
mode
Prior art date
Application number
PCT/KR2019/018477
Other languages
English (en)
French (fr)
Inventor
김재일
이선영
나태영
손세훈
신재섭
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190105769A external-priority patent/KR20200081201A/ko
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to CN201980092691.3A priority Critical patent/CN113455000B/zh
Publication of WO2020138958A1 publication Critical patent/WO2020138958A1/ko
Priority to US17/359,953 priority patent/US11575904B2/en
Priority to US18/089,427 priority patent/US20230134711A1/en
Priority to US18/089,454 priority patent/US20230132003A1/en
Priority to US18/089,462 priority patent/US20230141454A1/en
Priority to US18/089,469 priority patent/US20230139569A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Definitions

  • the present invention relates to encoding and decoding of an image, and to a bidirectional prediction method and an image decoding apparatus that improves encoding and decoding efficiency by efficiently expressing motion information.
  • video data Since video data has a large amount of data compared to audio data or still image data, it requires a lot of hardware resources including memory to store or transmit itself without processing for compression.
  • HVC High Efficiency Video Coding
  • the present invention aims to provide an improved image encoding and decoding technology.
  • one aspect of the present invention is to encode and decode motion information by deriving motion information in a different direction from motion information in a specific direction. It involves technology that improves efficiency.
  • the present invention in a method of inter-predicting a current block using any one of a plurality of bidirectional prediction modes, it indicates whether a first mode included in the plurality of bidirectional prediction modes is applied to the current block.
  • Decoding from a bitstream Deriving a first motion vector based on the first motion information, and deriving a second motion vector based on at least a portion of the first motion information and the second motion information; And predicting the current block using a reference block indicated by the first motion vector in a first reference picture and a reference block indicated by the second motion vector in a second reference picture. It provides a bidirectional prediction method.
  • mode information indicating whether a first mode included in a plurality of bidirectional prediction modes is applied to a current block is decoded from a bitstream, and differential motion is performed when indicating that the mode information is applied.
  • An image decoding apparatus including a prediction block predicting the current block using a reference block indicated by a 1 motion vector and a reference block indicated by the second motion vector in a second reference picture is provided.
  • FIG. 1 is an exemplary block diagram of an image encoding apparatus capable of implementing the techniques of the present disclosure.
  • FIG. 2 is a diagram for explaining a method of dividing a block using a QTBTTT structure.
  • 3 is a diagram for describing a plurality of intra prediction modes.
  • FIG. 4 is an exemplary block diagram of an image decoding apparatus capable of implementing the techniques of the present disclosure.
  • 5 is a diagram for explaining an embodiment of the present invention for bidirectional prediction.
  • FIG. 6 is a view for explaining an embodiment of the present invention for inducing motion using a symmetrical relationship between differential motion vectors.
  • FIG. 7 and 8 are diagrams for explaining an embodiment of the present invention for inducing motion using a linear relationship.
  • 9 to 18 are diagrams for explaining various embodiments of the present invention for inducing movement.
  • 19 and 20 are flowcharts for explaining an embodiment of the present invention for inducing motion using a reference picture determined at a higher level.
  • FIG. 1 is an exemplary block diagram of an image encoding apparatus capable of implementing the techniques of the present disclosure.
  • an image encoding apparatus and sub-components of the apparatus will be described with reference to FIG. 1.
  • the image encoding apparatus includes a block division unit 110, a prediction unit 120, a subtractor 130, a transformation unit 140, a quantization unit 145, an encoding unit 150, an inverse quantization unit 160, an inverse transformation unit ( 165), an adder 170, a filter unit 180 and a memory 190.
  • Each component of the video encoding device may be implemented in hardware or software, or a combination of hardware and software. Further, the function of each component may be implemented in software, and the microprocessor may be implemented to execute the function of software corresponding to each component.
  • One image is composed of a plurality of pictures. Each picture is divided into a plurality of regions, and encoding is performed for each region. For example, one picture is divided into one or more tiles or/and slices. Here, one or more tiles may be defined as a tile group. Each tile or/slice is divided into one or more Coding Tree Units (CTUs). In addition, each CTU is divided into one or more coding units (CUs) by a tree structure. Information applied to each CU is encoded as the syntax of the CU, and information commonly applied to CUs included in one CTU is encoded as the syntax of the CTU.
  • CTUs Coding Tree Units
  • CUs coding units
  • information commonly applied to all blocks in one tile is encoded as a syntax of a tile or encoded as a syntax of a tile group in which a plurality of tiles are collected, and information applied to all blocks constituting one picture is It is encoded in a picture parameter set (PPS) or a picture header.
  • PPS picture parameter set
  • information commonly referred to by a plurality of pictures is encoded in a sequence parameter set (SPS).
  • SPS sequence parameter set
  • information commonly referenced by one or more SPSs is encoded in a video parameter set (VPS).
  • the block dividing unit 110 determines the size of a coding tree unit (CTU).
  • CTU size Information about the size of the CTU (CTU size) is encoded as a syntax of the SPS or PPS and transmitted to the video decoding apparatus.
  • the block dividing unit 110 divides each picture constituting an image into a plurality of coding tree units (CTUs) having a predetermined size, and then repeatedly repeats the CTU using a tree structure. (recursively) split.
  • a leaf node in a tree structure becomes a CU (coding unit), which is a basic unit of encoding.
  • the tree structure includes a quad tree (QuadTree, QT) in which the parent node (or parent node) is divided into four sub-nodes (or child nodes) of the same size, or a binary tree (BinaryTree) in which the parent node is divided into two sub-nodes. , BT), or a ternary tree in which the upper node is divided into three lower nodes in a 1:2:1 ratio, or a structure in which two or more of these QT structures, BT structures, and TT structures are mixed. have.
  • QT quad tree
  • BinaryTree binary tree
  • a QTBT QuadTree plus BinaryTree
  • a QTBTTT QuadTree plus BinaryTree TernaryTree
  • MTT Multiple-Type Tree
  • the CTU may first be divided into a QT structure.
  • the quadtree split may be repeated until the size of the splitting block reaches the minimum block size (MinQTSize) of the leaf node allowed in QT.
  • the first flag (QT_split_flag) indicating whether each node of the QT structure is divided into four nodes of a lower layer is encoded by the encoder 150 and signaled to the video decoding apparatus. If the leaf node of QT is not larger than the maximum block size (MaxBTSize) of the root node allowed by BT, it may be further divided into any one or more of BT structure or TT structure.
  • MaxBTSize maximum block size
  • a plurality of split directions may exist. For example, there may be two directions in which a block of a corresponding node is horizontally divided and a vertically divided direction.
  • a second flag indicating whether nodes are split
  • a flag indicating additional splitting direction vertical or horizontal
  • splitting type Boary or Ternary
  • a CU split flag indicating that the block is split first and a QT split flag (split_qt_flag) indicating whether the split type is QT split is encoded in 150 ) And signaled to the video decoding apparatus. If the CU split flag (split_cu_flag) value is not indicated, the block of the corresponding node becomes a leaf node in the split tree structure and becomes a coding unit (CU), which is a basic unit of encoding.
  • CU coding unit
  • the split type is QT or MTT through the QT split flag (split_qt_flag) value. If the split type is QT, there is no additional information, and when the split type is MTT, additionally, a flag indicating the MTT split direction (vertical or horizontal) (mtt_split_cu_vertical_flag) and/or a flag indicating the MTT split type (Binary or Ternary) (mtt_split_cu_binary_flag) is encoded by the encoding unit 150 and signaled to the video decoding apparatus.
  • split_flag indicating whether each node of the BT structure is divided into blocks of a lower layer and split type information indicating a split type are encoded by the encoder 150 and transmitted to the image decoding apparatus.
  • split_flag there may be further a type of dividing a block of a corresponding node into two blocks having an asymmetric shape.
  • the asymmetric form may include a form of dividing a block of a corresponding node into two rectangular blocks having a size ratio of 1:3, or a form of dividing a block of a corresponding node diagonally.
  • CU may have various sizes according to QTBT or QTBTTT division from CTU.
  • a block corresponding to a CU ie, a leaf node of QTBTTT
  • a'current block' a block corresponding to a CU (ie, a leaf node of QTBTTT) to be encoded or decoded.
  • the prediction unit 120 predicts the current block to generate a prediction block.
  • the prediction unit 120 includes an intra prediction unit 122 and an inter prediction unit 124.
  • the current blocks in a picture can each be predictively coded.
  • prediction of the current block may be performed using intra prediction technology (using data from a picture containing the current block) or inter prediction technology (using data from a picture coded before a picture containing the current block). Can be performed.
  • Inter prediction includes both one-way prediction and two-way prediction.
  • the intra prediction unit 122 predicts pixels in the current block using pixels (reference pixels) located around the current block in the current picture including the current block.
  • the plurality of intra prediction modes may include 65 non-directional modes including a planar mode and a DC mode. Peripheral pixels to be used and expressions are defined differently for each prediction mode.
  • the intra prediction unit 122 may determine an intra prediction mode to be used to encode the current block.
  • the intra prediction unit 122 may encode the current block using various intra prediction modes and select an appropriate intra prediction mode to use from the tested modes. For example, the intra prediction unit 122 calculates rate distortion values using rate-distortion analysis for various tested intra prediction modes, and has the best rate distortion characteristics among the tested modes. The intra prediction mode can also be selected.
  • the intra prediction unit 122 selects one intra prediction mode from a plurality of intra prediction modes, and predicts a current block by using neighboring pixels (reference pixels) and arithmetic expressions determined according to the selected intra prediction mode.
  • Information on the selected intra prediction mode is encoded by the encoding unit 150 and transmitted to the image decoding apparatus.
  • the inter prediction unit 124 generates a prediction block for the current block through a motion compensation process.
  • the block most similar to the current block is searched in the reference picture that has been encoded and decoded before the current picture, and a predicted block for the current block is generated using the searched block. Then, a motion vector corresponding to displacement between the current block in the current picture and the predicted block in the reference picture is generated.
  • motion estimation is performed on luma components, and motion vectors calculated based on luma components are used for both luma and chroma components.
  • the motion information including information about the reference picture and motion vector used to predict the current block is encoded by the encoder 150 and transmitted to the video decoding apparatus.
  • the subtractor 130 subtracts the prediction block generated by the intra prediction unit 122 or the inter prediction unit 124 from the current block to generate a residual block.
  • the converting unit 140 converts the residual signal in the residual block having pixel values in the spatial domain into a transform coefficient in the frequency domain.
  • the transform unit 140 may transform residual signals in the residual block by using the entire size of the residual block as a transformation unit, or divide the residual block into two subblocks, which are a transform region and a non-transformed region, and convert the sub Residual signals can be transformed using only blocks as transform units.
  • the transform region sub-block may be one of two rectangular blocks having a size ratio of 1:1 on the horizontal axis (or vertical axis).
  • a flag (cu_sbt_flag), directional (vertical/horizontal) information (cu_sbt_horizontal_flag) and/or location information (cu_sbt_pos_flag) indicating that only the sub-block has been converted is encoded by the encoder 150 and signaled to the video decoding apparatus.
  • the size of the transform region sub-block may have a size ratio of 1:3 on the horizontal axis (or vertical axis).
  • a flag (cu_sbt_quad_flag) for classifying the split is additionally encoded by the encoder 150 to decode the image. Signaled to the device.
  • the quantization unit 145 quantizes transform coefficients output from the transform unit 140 and outputs the quantized transform coefficients to the encoder 150.
  • the encoding unit 150 generates a bitstream by encoding quantized transform coefficients using an encoding method such as CABAC (Context-based Adaptive Binary Arithmetic Code).
  • the encoder 150 encodes information such as a CTU size, a CU split flag, a QT split flag, an MTT split direction, and an MTT split type related to block splitting, so that the video decoding apparatus can split the block in the same way as the video coding apparatus. To make.
  • the encoder 150 encodes information about a prediction type indicating whether the current block is encoded by intra prediction or inter prediction, and intra prediction information (that is, intra prediction mode) according to the prediction type. Information) or inter prediction information (information on reference pictures and motion vectors).
  • the inverse quantization unit 160 inversely quantizes the quantized transform coefficients output from the quantization unit 145 to generate transform coefficients.
  • the inverse transform unit 165 reconstructs the residual block by transforming transform coefficients output from the inverse quantization unit 160 from the frequency domain to the spatial domain.
  • the adder 170 restores the current block by adding the reconstructed residual block and the predicted block generated by the predictor 120.
  • the pixels in the reconstructed current block are used as reference pixels when intra prediction of the next block.
  • the filter unit 180 filters the reconstructed pixels to reduce blocking artifacts, ringing artifacts, and blurring artifacts caused by block-based prediction and transformation/quantization. To perform.
  • the filter unit 180 may include a deblocking filter 182 and a sample adaptive offset (SAO) filter 184.
  • SAO sample adaptive offset
  • the deblocking filter 180 filters the boundary between the reconstructed blocks to remove blocking artifacts caused by block-level encoding/decoding, and the SAO filter 184 adds additional deblocking filtered images Filtering is performed.
  • the SAO filter 184 is a filter used to compensate for a difference between a reconstructed pixel and an original pixel caused by lossy coding.
  • the reconstructed blocks filtered through the deblocking filter 182 and the SAO filter 184 are stored in the memory 190.
  • the reconstructed picture is used as a reference picture for inter prediction of a block in a picture to be encoded.
  • FIG. 4 is an exemplary block diagram of an image decoding apparatus capable of implementing the techniques of the present disclosure.
  • an image decoding apparatus and sub-components of the apparatus will be described with reference to FIG. 4.
  • the image decoding apparatus may include a decoding unit 410, an inverse quantization unit 420, an inverse transform unit 430, a prediction unit 440, an adder 450, a filter unit 460, and a memory 470. have.
  • each component of the image decoding apparatus may be implemented in hardware or software, or a combination of hardware and software. Further, the function of each component may be implemented in software, and the microprocessor may be implemented to execute the function of software corresponding to each component.
  • the decoder 410 determines a current block to be decoded by decoding a bitstream received from an image encoding apparatus and extracting information related to block partitioning, prediction information necessary for restoring the current block, information about a residual signal, and the like. To extract.
  • the decoder 410 extracts information on the CTU size from the Sequence Parameter Set (SPS) or Picture Parameter Set (PSP) to determine the size of the CTU, and divides the picture into CTUs of the determined size. Then, the CTU is determined as the top layer of the tree structure, that is, the root node, and the CTU is split using the tree structure by extracting the segmentation information for the CTU.
  • SPS Sequence Parameter Set
  • PSP Picture Parameter Set
  • the CTU when the CTU is split using the QTBTTT structure, first the first flag (QT_split_flag) related to the splitting of the QT is extracted, and each node is divided into four nodes of a lower layer. And, for the node corresponding to the leaf node of the QT, the second flag (MTT_split_flag) and the split direction (vertical / horizontal) and/or split type (binary / ternary) information related to the splitting of the MTT are extracted and the corresponding leaf node is MTT Divide into structures. Through this, each node below the leaf node of QT is recursively divided into a BT or TT structure.
  • QT_split_flag the first flag related to the splitting of the QT is extracted, and each node is divided into four nodes of a lower layer.
  • a CU split flag indicating whether to split the CU is first extracted, and when the corresponding block is split, a QT split flag (split_qt_flag) is extracted.
  • a flag indicating the MTT splitting direction vertical or horizontal
  • mtt_split_cu_vertical_flag a flag indicating the MTT splitting type
  • mtt_split_cu_binary_flag a flag indicating the MTT splitting type (Binary or Ternary)
  • each node may have 0 or more repetitive MTT splits after 0 or more repetitive QT splits. For example, in the CTU, MTT splitting may occur immediately, or conversely, only multiple QT splitting may occur.
  • the first flag (QT_split_flag) related to the splitting of the QT is extracted to divide each node into four nodes of a lower layer. Then, a split flag (split_flag) and split direction information indicating whether or not to be further split by BT is extracted for a node corresponding to a leaf node of QT.
  • the decoder 410 when determining a current block to be decoded through partitioning of a tree structure, extracts information about a prediction type indicating whether the current block is intra predicted or inter predicted. When the prediction type information indicates intra prediction, the decoder 410 extracts a syntax element for intra prediction information (intra prediction mode) of the current block. When the prediction type information indicates inter prediction, the decoder 410 extracts syntax elements for the inter prediction information, that is, information indicating a motion vector and a reference picture referenced by the motion vector.
  • the decoding unit 410 extracts information about quantized transform coefficients of the current block as information about the residual signal.
  • the inverse quantization unit 420 inverse quantizes the quantized transform coefficients, and the inverse transform unit 430 inversely transforms the inverse quantized transform coefficients from the frequency domain to the spatial domain to restore residual signals to generate a residual block for the current block. .
  • the inverse transform unit 430 when the inverse transform unit 430 inversely transforms only a partial region (subblock) of a transform block, a flag (cu_sbt_flag) indicating that only a subblock of the transform block is transformed, and vertical/horizontal information (cu_sbt_horizontal_flag) of the subblock ) And/or extracting the location information (cu_sbt_pos_flag) of the sub-blocks to recover residual signals by inversely transforming the transform coefficients of the sub-blocks from the frequency domain to the spatial domain. By filling in, a final residual block for the current block is generated.
  • the prediction unit 440 may include an intra prediction unit 442 and an inter prediction unit 444.
  • the intra prediction unit 442 is activated when the prediction type of the current block is intra prediction
  • the inter prediction unit 444 is activated when the prediction type of the current block is inter prediction.
  • the intra prediction unit 442 determines an intra prediction mode of a current block among a plurality of intra prediction modes from syntax elements for an intra prediction mode extracted from the decoder 410, and according to the intra prediction mode, reference pixels around the current block Use to predict the current block.
  • the inter prediction unit 444 determines a motion vector of a current block and a reference picture referenced by the motion vector using a syntax element for the intra prediction mode extracted from the decoding unit 410, and uses the motion vector and the reference picture. To predict the current block.
  • the adder 450 restores the current block by adding the residual block output from the inverse transform unit and the prediction block output from the inter prediction unit or the intra prediction unit.
  • the pixels in the reconstructed current block are used as a reference pixel in intra prediction of a block to be decoded later.
  • the filter unit 460 may include a deblocking filter 462 and a SAO filter 464.
  • the deblocking filter 462 deblocks the boundary between the reconstructed blocks in order to remove blocking artifacts caused by decoding on a block-by-block basis.
  • the SAO filter 464 performs additional filtering on the reconstructed block after deblocking filtering to compensate for the difference between the reconstructed pixel and the original pixel caused by lossy coding.
  • the reconstructed blocks filtered through the deblocking filter 462 and the SAO filter 464 are stored in the memory 470. When all blocks in one picture are reconstructed, the reconstructed picture is used as a reference picture for inter prediction of a block in a picture to be encoded.
  • inter prediction method can be largely divided into a skip mode, a merge mode, and an adaptive (or advanced) motion vector predictor (AMVP) mode.
  • AMVP adaptive (or advanced) motion vector predictor
  • an index value indicating one of the motion information candidates of the neighboring block is signaled.
  • index value indicating one of the motion information candidates of the neighboring block and information encoding the residual after prediction are signaled.
  • the AMVP mode motion information of a current block and information encoding a residual after prediction are signaled.
  • the motion information signaled in the AMVP mode includes motion information (mvp, motion vector predictor) of neighboring blocks and a difference value (mvd, motion vector difference) between this motion information (mvp) and motion information (mv) of the current block. .
  • this motion information may include reference picture information (reference picture index), predicted motion vector (mvp) information, and differential motion vector (mvd) information.
  • reference picture information reference picture index
  • predicted motion vector mvp
  • differential motion vector mvd
  • inter_pred_idc is a syntax element (prediction direction information) indicating a prediction direction, and may indicate any one of uni-L0, uni-L1, and bi-prediction. Since the present invention derives motion information in a specific direction from motion information in another direction, inter_pred_idc indicates bi-prediction.
  • ref_idx_l0 is a syntax element (reference picture information) indicating a reference picture in the L0 direction, and a reference picture used for prediction of a current block is specified among reference pictures included in reference picture list 0 through this syntax element.
  • ref_idx_l1 is a syntax element (reference picture information) indicating a reference picture in the L1 direction, and among the reference pictures included in the reference picture list 1 through this syntax element, a reference picture used for prediction of a current block is specified.
  • mvp_10_flag is a syntax element (mvp information) indicating mvp for the L0 direction, and through this syntax element, mvp to be used for prediction of the L0 direction of the current block is specified.
  • mvp_l1_flag is a syntax element (mvp information) indicating mvp for the L1 direction, and mvp to be used for prediction of the L1 direction of the current block is specified through the syntax element.
  • Table 2 below shows syntax elements constituting mvd information.
  • abs_mvd_greater0_flag is a syntax element indicating whether the absolute value (magnitude, magnitude) of mvd exceeds 0
  • abs_mvd_greater1_flag is a syntax element indicating whether the absolute value of mvd exceeds 1.
  • abs_mvd_minus2 is a syntax element representing the remaining value obtained by subtracting 2 from the absolute value of mvd
  • mvd_sign_flag corresponds to a syntax element representing the sign of mvd.
  • mvd is a syntax element (abs_mvd_greater0_flag, abs_mvd_greater1_flag, abs_mvd_minus2) and an syntax element (mvd_sign_flag) representing a sign representing absolute values for each of the x component and the y component (y component).
  • the present invention derives motion information in a different direction from motion information in a specific direction by using correlation between motion information in each direction, or derives reference pictures used for prediction of a current block, thereby enabling Corresponds to the invention that can improve bit efficiency.
  • Specific direction' indicates a direction in which motion information is derived or derived based on information signaled from the video encoding device
  • other direction' indicates a direction in which motion information is derived or derived based on motion information in a specific direction.
  • at least some of the motion information in a specific direction and/or information signaled from an image encoding apparatus may be used.
  • a specific direction corresponds to L0 and another direction corresponds to L1
  • a specific direction may correspond to any one of two directions (L0 and L1), and the other direction does not correspond to a specific direction of both directions. The other direction.
  • first direction a specific direction
  • second direction another direction
  • the motion vector in the first direction is referred to as a first motion vector
  • the motion vector in the second direction is referred to as a second motion vector.
  • the correlation between motion information may include a symmetric relationship, linear relationship, proportional relationship established between motion information, a picture order count (POC) difference relationship between reference pictures based on the current picture, and the like.
  • a correlation may be established as a whole for the motion information, or may be separately established for each element (one or more of reference picture information, mvp information, and mvd information) included in the motion information.
  • a symmetric relationship may be established between mvd information in both directions
  • a linear relationship may be established between mvp information (mvp_flag) and mvd information in both directions.
  • mvp_flag mvp information
  • the fact that a linear relationship is established between mvp_flag and mvd information in both directions can be understood as a linear relationship between motion vectors (motion) in both directions.
  • the motion information in a specific direction is referred to as first motion information
  • second direction the number or type of elements including motion information in another direction
  • third motion information is motion information in the second direction, and may mean motion information including both mvd information in the second direction and mvp information in the second direction.
  • the second motion information and the third motion information both correspond to motion information in the second direction, but are classified according to whether mvd information and mvp information in the second direction are all included, or at least one of the two is not included.
  • FIG. 5 One embodiment of the present invention for inducing movement in the second direction is illustrated in FIG. 5.
  • the video encoding apparatus may signal by including mode information (mode_info) in a bitstream.
  • mode_info mode information
  • the method proposed in the present invention is applied to derive the third motion information (motion_info_l2) using the first mode in which the second motion information (motion_info_l1) is derived from the first motion information (motion_info_l0) and the signaled information.
  • the second mode may be included.
  • mode_info may correspond to information indicating that any one of a plurality of prediction modes included in the plurality of bidirectional prediction modes is applied.
  • mode_info may be implemented in various forms such as a flag or an index according to the number of available bidirectional prediction modes.
  • mode_info indicates a prediction mode used for bidirectional prediction of the current block among the first mode and the second mode.
  • mode_info may correspond to information indicating whether the first mode is applied to the current block.
  • mode_info does not indicate that the first mode is applied, it may be the same as indicating that the first mode is not applied or indicating that the second mode is applied.
  • the video encoding apparatus may signal by including motion_info_l0 and motion_info_l1 in the bitstream.
  • the motion_info_l0 may include differential motion vector information in the first direction (mvd_l0) and predicted motion vector information in the first direction (mvp_l0_flag).
  • motion_info_l1 may include at least a part of mvd_l1 and mvp_l1_flag (at least some may not be included).
  • the video encoding apparatus may signal by including motion_info_l0 and motion_info_l2 in the bitstream.
  • Motion_info_l2 may include both mvd_l1 and mvp_l1_flag.
  • the video decoding apparatus may decode mode_info from the bitstream (S530).
  • mode_info indicates that the first mode is applied (S540)
  • motion_info_l1 since motion_info_l1 is included in the bitstream, the video decoding apparatus may decode motion_info_l0 and motion_info_l1 from the bitstream (S550).
  • the video decoding apparatus may derive the first motion vector mv_l0 based on motion_info_l0, and may derive the second motion vector mv_l1 based on at least a portion of motion_info_l0 and motion_info_l1 (S560). Since motion_info_l0 includes mvd_l0 and mvp_l0_flag, mv_l0 can be derived by adding mvd_l0 and mvp_l0 as shown in Equation 1 below.
  • Equation 1 mvx 0 represents the x component of mv_l0, and mvy 0 represents the y component of mv_l0.
  • mvpx 0 represents the x component of mvp_l0, and mvpy 0 represents the y component of mvp_l0.
  • mvdx 0 represents the x component of mvd_10, and mvdy 0 represents the y component of mvd_10.
  • motion_info_l1 does not include at least some of mvd_l1 and mvp_l1_flag
  • mv_l1 may be derived based on a correlation of motion. A specific method for deriving mv_l1 will be described later.
  • the video decoding apparatus is characterized by a first reference block indicated by mv_l0 in a first reference picture (ref_l0) that is a reference picture in a first direction, and mv_l1 in a second reference picture (ref_l1) that is a reference picture in a second direction.
  • a current block can be predicted using the indicated second reference block (a prediction block for the current block can be generated) (S570).
  • ref_l0 and ref_l1 may be specified from reference picture information (ref_idx_l0 and ref_idx_l1) signaled from the video encoding apparatus, or may be derived based on a difference in POC between the reference picture included in the reference picture list and the current picture. Specific embodiments thereof will be described later.
  • the video decoding apparatus decodes motion_info_l0 and motion_info_l2 from the bitstream It can be done (S590).
  • the apparatus for decoding an image may derive mv_l0 based on motion_info_l0 and mv_l1 based on motion_info_l2 (S560). Also, the apparatus for decoding an image may predict the current block using the first reference block indicated by mv_10 and the second reference block indicated by mv_l1 (S570).
  • the video encoding apparatus may signal by further including enable information (enabled_flag) in the bitstream.
  • enabled_flag may correspond to information indicating whether the first mode is activated.
  • the image encoding apparatus encodes enabled_flag with high level syntax such as sequence-level, picture-level, tile group-level, slice-level, etc., and displays mode_info when enabled_flag indicates that the first mode is activated.
  • the video decoding apparatus When enabled_flag is encoded with high-level syntax and mode_info is encoded in block units, the video decoding apparatus decodes enabled_flag from high-level syntax (S510), and motion_info when enabled_flag indicates that the first mode is activated (S520). It can be decoded from the bitstream (S530). On the other hand, if enabled_flag does not indicate that the first mode is activated, mode_info may not be decrypted. In this case, the video decoding apparatus may not apply the first mode to the current block by setting or estimating mode_info to “0” or “off” (S580) to indicate that the first mode is not applied.
  • motion_info_l0 may include mvd_l0 and mvp_l0_flag, and motion_info_l1 may not include at least some of mvd_l1 and mvp_l1_flag.
  • motion_info_l0 may not include ref_idx_l0
  • motion_info_l1 may not include one or more of ref_idx_l1, mvd_l1, and mvp_l1_flag.
  • Example 1 corresponds to a method of deriving motion information by deriving mvd_l1 when motion_info_l0 includes ref_idx_l0, mvd_l0, and mvp_l0, and motion_info_l1 includes ref_idx_l1 and mvp_l1.
  • mvd_l1 that is not signaled may be derived from mvd_l0.
  • the video encoding apparatus may signal by including motion_info_l0 and motion_info_l1 (excluding mvd_l1) in the bitstream through the same processes as described above. As shown in FIG. 6, the video decoding apparatus may derive mv_10 using mvd_10 and mvp_10 included in motion_info_10. Also, the video decoding apparatus may derive mv_l1 using mvd_l1 (- mvd_l0) derived from mvd_l0 and mvp_l1 included in motion_info_l1.
  • the video decoding apparatus uses the first reference block 630 indicated by mv_l0 within ref_l0 indicated by ref_idx_l0, and the second reference block 640 indicated by mv_l1 within ref_l1 indicated by ref_idx_l1, to display the current picture.
  • the current block 620 located in 610 may be predicted.
  • the second embodiment corresponds to a method of deriving motion information by deriving ref_l0 and ref_l1 when ref_idx_l0 is not included in motion_info_l0 and ref_idx_l1 is not included in motion_info_l1.
  • ref_l0 and ref_l1 are determined or derived as a reference picture having a 0-th index (located in the first) among reference pictures included in the reference picture list, or with reference pictures included in the reference picture list. It can be determined or derived based on the difference in POC between the current pictures.
  • ref_l0 and ref_l1 a method of deriving ref_l0 and ref_l1 based on the difference in POC from the current picture will be described.
  • the video decoding apparatus is based on a difference in the POC value between the reference pictures included in the reference picture list 0 (reference picture list in the first direction) and the current picture, and any of the reference pictures included in the reference picture list in the first direction One can be selected and set to ref_l0.
  • the apparatus for decoding an image may set a reference picture (closest reference picture) having the smallest difference in POC value from the current picture to ref_10.
  • the apparatus for decoding an image may include reference pictures included in the reference picture list in the second direction based on a difference in POC values between the reference pictures included in the reference picture list 1 (reference picture list in the second direction) and the current picture. Any one of them can be selected and set to ref_l1.
  • the apparatus for decoding an image may set a reference picture (closest reference picture) having the smallest difference in POC value from the current picture to ref_l1.
  • the video decoding apparatus may select one reference picture by comparing the POC values of the reference pictures included in the reference picture list sequentially or in parallel with the POC values of the current picture.
  • the video decoding apparatus uses the index value of the reference picture as an index value not assigned to the reference picture list (for example, -1). You can start sequential comparisons after setting them virtually.
  • the reference picture selected from the reference picture list in the first direction and the reference picture selected from the reference picture list in the second direction may have a POC value that is forward or backward based on the POC value of the current picture. . That is, the reference picture selected from the reference picture list in the first direction and the reference picture selected from the reference picture list in the second direction may consist of a pair of a preceding reference picture and a subsequent reference picture.
  • the video decoding apparatus uses the first reference block 630 indicated by mv_l0 in ref_l0 and the second reference block 640 indicated by mv_l1 in ref_l1 to determine the current block. Predictable.
  • the process of determining ref_10 and ref_l1 may be performed at a higher level than the current block. That is, among the elements included in motion_info_l0 and motion_info_l1, the remaining elements except ref_l0 and ref_l1 are derived or determined in units of blocks, and ref_l0 and ref_l1 may be determined in units of higher levels than blocks.
  • the higher level may mean a higher level than the block level, such as picture-level, tile group-level, slice-level, tile-level, and CTU (coding tree unit)-level.
  • Embodiment 2 may be implemented in a form combined with Embodiment 1 described above or embodiments described below. That is, in Embodiment 1, ref_idx_l0 and ref_idx_l1 are described as being signaled, but when Embodiment 2 is applied, ref_idx_l0 and ref_idx_l1 are not signaled, and the video decoding apparatus can derive ref_l0 and ref_l1 by itself.
  • the third embodiment corresponds to a method of deriving the second motion information from the first motion information based on a linear relationship established between the motion in the first direction and the motion in the second direction.
  • the video encoding apparatus may include motion_info_10 in the bitstream to signal the video decoding apparatus.
  • Motion_info_l0 may include mvp_l0_flag, mvd_l0 and/or ref_idx_l0.
  • Information included in motion_info_l0 may be different from each of the embodiments described below.
  • the video decoding apparatus may decode motion_info_10 from the bitstream (S710).
  • the video decoding apparatus may derive or derive mv_l0 using mvp_10_flag and mvd_10 (S720).
  • mv_10 can be derived by summing mvp_10 and mvd_10 as in Equation 1 described above.
  • mvp_l0 may correspond to a motion vector of a neighboring block indicated by the decoded mvp_l0_flag.
  • the video decoding apparatus may derive mv_l1 using ref_l0, ref_l1, and mv_l0 (S730).
  • the derived mv_l1 may correspond to a motion vector having a linear relationship with mv_l0.
  • ref_l0 may be a reference picture indicated by ref_idx_l0 signaled from the video encoding device, or may be a separately defined reference picture.
  • ref_l1 may be a reference picture indicated by ref_idx_l1 signaled from the video encoding device, or may be a separately defined reference picture.
  • mv_l1 may be derived by applying a proportional relationship between'the difference in POC values between the current picture 610 and ref_l0' and'the difference in POC values between the current picture 610 and ref_l1' to mv_l0. .
  • Equation 3 mvx 1 represents the x component of mv_l1, and mvy 1 represents the y component of mv_l1.
  • POC 0 represents the POC value of ref_l0
  • POC 1 represents the POC value of ref_l1
  • POC curr represents the POC value of the current picture 610 including the current block 620.
  • POC curr -POC 0 represents a difference in POC values between ref_l0 and the current picture 610
  • POC curr -POC 1 represents a difference in POC values between ref_l1 and the current picture 610.
  • the video decoding apparatus may predict the current block 620 based on the first reference block 630 indicated by mv_l0 and the second reference block 640 indicated by mv_l1 (S740).
  • various embodiments proposed in the present invention may include a syntax (eg, linear_MV_coding_enabled_flag) element indicating active/inactive and/or a syntax element (eg, linear_MV_coding_flag or linear_MV_coding_idc) indicating a linear relationship of movement. Whether to apply to the current block 620 can be determined using.
  • the syntax element indicating activation/deactivation may correspond to the enable information described above
  • the syntax element representing the linear relationship may correspond to the mode information described above.
  • linear_MV_coding_enabled_flag is a high-level syntax and may be defined at one or more of sequence-level, picture-level, tile group-level, and slice-level. linear_MV_coding_flag may be signaled for each block corresponding to a decoding target.
  • linear_MV_coding_enabled_flag 1
  • linear_MV_coding_enabled_flag is defined as activation of a function at a high-level and linear_MV_coding_flag is set for each block.
  • Example 3-1 corresponds to a method in which mvp_l1_flag and mvd_l1 among motion_info_l1 are not transmitted during bidirectional prediction and are derived from motion_info_l0 using a linear relationship of motion.
  • motion information in the L0 direction may be derived from mvd, mvp, and bidirectional reference pictures in the L1 direction using a linear relationship of motion. That is, mvp information and mvd information in the L0 direction are not signaled.
  • motion information in the L1 direction may be derived from mvd, mvp, and bidirectional reference pictures in the L0 direction using a linear relationship of motion. That is, mvp information and mvd information in the L1 direction are not signaled.
  • motion_info_l0 may be included in the bitstream and signaled from the video encoding device to the video decoding device.
  • Signaled motion_info_l0 may include ref_idx_l0, mvd_l0, and mvp_l0_flag.
  • ref_idx_l1 may also be included in the bitstream and signaled.
  • reference pictures (ref_l0, ref_l1) for deriving mv_l1 correspond to reference pictures indicated by ref_idx_l0 and ref_idx_l0 signaled from the video encoding apparatus.
  • the video decoding apparatus may derive or derive mv_l0 using the decoded mvp_l0_flag and mvd_l0 (S920). Equation 1 may be used in this process. Also, ref_idx_l1 may be decoded from the bitstream (S930).
  • the video decoding apparatus may determine whether the motion vector inducing function is activated or deactivated using linear_MV_coding_enabled_flag (S940). If linear_MV_coding_enabled_flag indicates the activity of the motion vector derivation function, linear_MV_coding_flag may be decoded from the bitstream to determine whether the derivation function proposed in the present invention is applied (S950).
  • the video decoding apparatus may derive mv_l1 on the premise that a linear relationship is established between mv_l0 and mv_l1 (S970).
  • the process of deriving mv_l1 may be implemented by applying each reference picture (ref_l0, ref_l1) and mv_l0 to Equation 3 in both directions.
  • mv_l1 may be derived through the second mode, not the first mode.
  • the video decoding apparatus may decode mvp_l1_flag and mvd_l1 from the bitstream (S980, S990), and derive mv_l1 using them (S992).
  • the process of determining the linear_MV_coding_enabled_flag (S940) and the process of decoding and determining the linear_MV_coding_flag (S950, S960) are represented to be performed after the process of decoding the ref_idx_l1 (S930), but the process of S940 to S960 is motion_info_l0. It may be performed before the decoding process (S910).
  • FIG. 10 Examples of deriving mv_l1 based on Example 3-1 are illustrated in FIG. 10.
  • Each of (A) and (B) of FIG. 10 shows two types that the current picture 610 and the reference pictures ref_l0 and ref_l1 may have according to the size of each POC in bidirectional prediction. The embodiments described below can be applied to both types represented in FIG. 10.
  • the bidirectional prediction when the current picture 610 is located between the reference pictures ref_l0 and ref_l1 based on the POC value ((POC 0 ⁇ POC cur )&(POC cur ⁇ POC 1 )) may be included.
  • the POC value of the current picture 610 when the POC value of the current picture 610 is greater than the POC values of the reference pictures ref_l0 and ref_l1 based on the POC value ((POC 0 ⁇ POC cur )&(POC 1 ⁇ POC cur )).
  • POC 0 represents the POC value of ref_l0
  • POC 1 represents the POC value of ref_l1
  • POC cur represents the POC value of the current picture 610.
  • mv_l1 can be derived on the premise that a linear relationship is established between mv_l0 (solid arrow) and mv_l1 (dashed arrow). In this process, mv_10 and bi-directional reference pictures ref_l0 and ref_l1 may be used.
  • the current block 620 may be predicted based on the reference block 630 indicated by mv_l0 and the reference block 640 indicated by the derived mv_l1.
  • Example 3-2 corresponds to a method of deriving mv_l1 based on a linear relationship of motion, and then correcting or adjusting it.
  • Example 3-2 is the same as Example 3-1 in terms of deriving a motion vector based on a linear relationship of motion, but differs from Example 3-1 in terms of additionally correcting or adjusting mv_l1 using offset information.
  • the offset information for motion correction corresponds to information indicating a difference between mv_l1 and'adjusted mv_l1'.
  • the offset information corresponds to information representing a difference between a motion vector (mv_l1) derived using a linear relationship of motion and a measured (real) motion vector (adjusted mv_l1) of the current block.
  • the offset information may include an offset vector and an offset index.
  • the offset vector corresponds to information for indicating the position indicated by'adjusted mv_l1' using the position indicated by mv_l1 as the origin.
  • the offset index corresponds to information indexed candidates that may correspond to the offset vector.
  • an offset vector may be further included in the bitstream and signaled.
  • the offset vector corresponds to a difference between the adjusted mv_l1 and (before adjusted) mv_l1
  • it can be expressed as mvd (motion vector difference).
  • the offset vector corresponds to the difference between the motion vector derived using the linear relationship of the motion and the measured motion vector of the current block
  • mvd mvp derived from the motion vector of the surrounding block and the current block used in the conventional method Mv.
  • the information signaled from the video encoding apparatus to the video decoding apparatus for bidirectional prediction is expressed as syntax, as shown in Table 6 below.
  • mvd_l1 may mean an mvd or offset vector used in a conventional method.
  • mvd_l1 when a linear relationship of motion is not established, mvd used in the conventional method is signaled as mvd_l1, and when a linear relationship of motion is established, an offset vector may be signaled as mvd_l1.
  • motion_info_l0 may be signaled from the video encoding device to the video decoding device.
  • the signaled motion_info_l0 may include ref_idx_l0, mvd_l0 and mvp_l0_flag as shown in Table 6.
  • ref_idx_l1 may also be included in the bitstream and signaled.
  • the video decoding apparatus sets reference pictures indicated by the signaled reference picture information (ref_idx_l0, ref_idx_l1) to reference pictures (ref_l0, ref_l1) for deriving mv_l1 (for prediction of the current block).
  • the video decoding apparatus may derive or derive mv_l0 using mvp_l0_flag and mvd_l0 (S1120). Equation 1 may be used in this process.
  • the video decoding apparatus may decode ref_idx_l1 and mvd_l1 from the bitstream (S1130, S1140).
  • mvd_l1 may correspond to one of mvd and an offset vector of the conventional method depending on whether a linear relationship is established.
  • the video decoding apparatus may determine whether the motion vector inducing function is activated or deactivated using linear_MV_coding_enabled_flag (S1150). If linear_MV_coding_enabled_flag indicates the activity of the motion vector derivation function, linear_MV_coding_flag may be decoded from the bitstream (S1160).
  • the video decoding apparatus may derive mv_l1 on the premise that the linear relationship of motion is established (S1180). This process can be implemented by applying the reference pictures (ref_l0, ref_l1) and mv_l0 to Equation (3).
  • the video decoding apparatus may adjust or correct mv_l1 by applying an offset vector (mvd_l1) to the derived mv_l1 (S1182).
  • mv_l1 can be adjusted by moving the offset vector mvd_l1 to a position indicated by the position indicated by mv_l1 as an origin.
  • mv_l1 is adjusted by assuming the derived mv_l1 as the predicted motion vector (mvp) in the second direction and applying the offset vector (mvd_l1) to the assumed predicted motion vector.
  • the video decoding apparatus is not a derivation method proposed in the present invention, but a conventional method Through mv_l1 can be derived.
  • the video decoding apparatus may decode mvp_l1_flag (S1190) and sum mvp_l1 indicated by mvp_l1_flag and mvd_l1 decoded in step S1140 to derive mv_l1 (S1192).
  • mvd_l1 corresponds to mvd used in the conventional method.
  • FIG. 12 An example of deriving mv_l1 based on this embodiment is illustrated in FIG. 12. As shown in FIG. 12, mv_l1 can be derived on the premise that a linear relationship is established between mv_l0 (solid arrow) and mv_l1 (dotted dashed line arrow).
  • mv_l1 may be adjusted by moving according to the direction and size indicated by the offset vector mvd_l1 from mv_l1.
  • the current block 620 may be predicted based on the reference block 630 indicated by mv_l0 and the reference block 640 indicated by the adjusted second motion vector (mv A _l1).
  • an offset index may be further included in the bitstream and signaled.
  • the offset index corresponds to an index indicating any one of one or more preset offset vector candidates (candidates that may correspond to the offset vector).
  • the information signaled from the video encoding apparatus to the video decoding apparatus for bidirectional prediction is expressed as syntax, as shown in Table 8 below.
  • mv_offset indicates a syntax element corresponding to the offset index.
  • motion_info_l0 may be included in the bitstream and signaled from the video encoding device to the video decoding device.
  • the signaled motion_info_l0 may include ref_idx_l0, mvd_l0 and mvp_l0_flag as shown in Table 8.
  • ref_idx_l1 may also be included in the bitstream and signaled.
  • the video decoding apparatus sets reference pictures indicated by the signaled reference picture information (ref_idx_l0, ref_idx_l1) to reference pictures (ref_l0, ref_l1) for deriving mv_l1.
  • the video decoding apparatus may derive or derive mv_l0 using mvp_l0_flag and mvd_l0 included in motion_info_l0 (S1320). Equation 1 may be used in this process.
  • the image decoding apparatus may decode ref_idx_l1 (S1330).
  • the video decoding apparatus may determine whether to enable/disable the motion vector inducing function by analyzing linear_MV_coding_enabled_flag (S1340). If linear_MV_coding_enabled_flag indicates the activity of the motion vector derivation function, linear_MV_coding_flag may be decoded from the bitstream (S1350).
  • linear_MV_coding_flag indicates that the linear relationship of motion is established (S1360)
  • the video decoding apparatus decodes the offset index (mv_offset) (S1370), and induces mv_l1 on the premise that a linear relationship is established between mv_l0 and mv_l1. It can be (S1380).
  • This process (S1380) may be implemented by applying mv_10 and bi-directional reference pictures (ref_l0, ref_l1) to Equation (3).
  • the video decoding apparatus may adjust or correct mv_l1 by applying the offset vector candidate indicated by the offset index (mv_offset) to the derived mv_l1 (S1382). Specifically, mv_l1 may be adjusted by adding an offset vector candidate indicated by the offset index (mv_offset) to mv_l1.
  • the derived mv_l1 is assumed to be the predicted motion vector (mvp) in the second direction, and the mv_l1 is adjusted by applying the offset vector candidate indicated by the offset index (mv_offset) to the assumed predicted motion vector. Can.
  • mv_l1 is not a derivation method proposed in the present invention, but a conventional method Can be induced.
  • the video decoding apparatus may decode mvd_l1 and mvp_l1_flag from the bitstream (S1390 and S1392) and sum mvp_l1 and mvd_l1 indicated by mvp_l1_flag to derive mv_l1 (S1394).
  • the process of determining linear_MV_coding_enabled_flag (S1340) and the process of decoding and determining linear_MV_coding_flag (S1350, S1360) are represented to be performed after the process of decoding ref_idx_l1 (S1330), but processes S1340 to S1360 process motion_info_l0. It may be performed before the decoding process (S1310).
  • FIG. 14(a) shows offset vector candidates (circle with empty inside) when 4-point offset movement is allowed.
  • the circle filled with the inside represents mv_l1 derived based on the linear relationship of motion.
  • one of the offset vector candidates may be indicated using the offset index of 2-bit fixed length (FL).
  • 8-point offset vector candidates can be expressed by adding 4 offset vector candidates (a circle filled with a vertical pattern) to the 4-point offset vector candidates.
  • one of offset vector candidates may be indicated using an offset index of 3-bit FL.
  • FIG. 14(c) shows offset vector candidates when a 16-point offset motion is allowed.
  • Eight offset vector candidates (circle filled with a pattern in a horizontal direction) may be added to the eight-point offset vector candidates to express 16-point offset vector candidates.
  • one of the offset vector candidates may be indicated using the offset index of 4-bit FL.
  • 16-point offset vector candidates can be expressed by combining 8-point offset vector candidates filled with a lateral pattern and 8-point offset vector candidates filled with a diagonal pattern.
  • one of the offset vector candidates may be indicated using the offset index of 4-bit FL.
  • Which of the various types of offset vector candidates described through FIG. 14 is to be set may be determined or defined at one or more positions of a picture-level header, tile group header, tile header and/or CTU header. That is, the type of the offset vector candidate may be determined using information (identification information) signaled from the video encoding apparatus, and the identification information may be defined at various locations described above. Since one of various types of offset vector candidates is determined or identified by the identification information, the number of offset vector candidates, the size of each of the candidates, and the direction of each of the candidates may be determined by the identification information.
  • which of the various types of offset vector candidates to be set may be determined in advance by using the same rules in the video encoding device and the video decoding device.
  • the direction in which the linear relationship is established among the horizontal and vertical directions of the motion is derived using motion_info_l0 without signaling, and the direction in which the linear relationship is not established is adjusted using additionally signaled information (offset information). Corresponds to the method.
  • the derived mv_l1 when a linear relationship is established only for the horizontal axis component of the motion, the derived mv_l1 is used as it is for the horizontal axis, but is adjusted by applying additionally signaled offset information for the vertical axis where the linear relationship is not established.
  • the derived mv_l1 when a linear relationship is established only for a component of the vertical axis of the motion, the derived mv_l1 is used as it is for the vertical axis, but is adjusted by applying additionally signaled offset information for the horizontal axis where the linear relationship is not established.
  • Embodiment 4 may be implemented in a form combined with each of the above-described embodiments 3-1 and 3-3.
  • the form in which Example 4 is combined with Example 3-1 and the form in which Example 4 is combined with Example 3-2 will be described separately.
  • Example 4-1 corresponds to a form in which Example 4 and Example 3-1 are combined.
  • the information signaled from the video encoding apparatus to the video decoding apparatus for bidirectional prediction is expressed as syntax, as shown in Table 10 below.
  • mvd_l1 may mean offset information (offset vector) or mvd of the conventional method.
  • mvd_l1 is an offset vector for a horizontal axis component when a linear relationship of a horizontal axis component is not established
  • mvd_l1 may be an offset vector for a vertical axis component when a linear relationship of a horizontal axis component is not established
  • mvd_l1 may be mvd of the conventional method when a linear relationship is not established for both the horizontal axis component and the vertical axis component. If both the horizontal axis component and the vertical axis component have a linear relationship, mvd_l1 is not signaled.
  • motion_info_l0 may be included in the bitstream and signaled from the video encoding device to the video decoding device.
  • Signaled motion_info_l0 may include ref_idx_l0, mvd_l0, and mvp_l0_flag.
  • ref_idx_l1 may also be included in the bitstream and signaled.
  • the video decoding apparatus sets reference pictures indicated by the signaled reference picture information (ref_idx_l0, ref_idx_l1) to reference pictures (ref_l0, ref_l1) for deriving mv_l1.
  • the video decoding apparatus may derive or derive mv_l0 using mvp_l0_flag and mvd_l0 (S1520). Equation 1 may be used in this process. Also, the video decoding apparatus may decode ref_idx_l1 from the bitstream (S1530).
  • linear_MV_coding_idc is information indicating whether a linear relationship of motion is used, and using this information, a component in which a linear relationship is established among horizontal and vertical components of the motion can be indicated.
  • the video decoding apparatus may decode mvp_l1_flag and mvd_l0 from the bitstream (S1562), and derive mv_l1 using the decoded information (S1564).
  • the video decoding apparatus may derive mv_l1 using the decoded mvp_l1_flag and mvd_l1 (S1562, S1564).
  • the image decoding apparatus decodes the offset vectors (mvd_l1, y) for the vertical axis component (S1572), and derives mv_l1 using a linear relationship. Also, the apparatus for decoding an image may adjust mv_l1 by applying an offset vector (mvd_l1, y) for the vertical axis component to the derived mv_l1 (S1576).
  • the image decoding apparatus may use'induced mv_l1' for the horizontal axis component as it is, and may use the adjusted second motion vector (mv A _l1) for the vertical axis component.
  • the horizontal axis component of the derived mv_l1 and the horizontal axis component of the adjusted second motion vector (mv A _l1) may be the same.
  • the video decoding apparatus may use'derived mv_l1' as it is for the vertical axis component, and may use the adjusted second motion vector (mv A _l1) for the horizontal axis component.
  • the vertical axis component of the derived mv_l1 and the vertical axis component of the adjusted second motion vector (mv A _l1) may be the same.
  • Example 4-1 The syntax elements for Example 4-1 are shown in Table 11 below.
  • the process of determining linear_MV_coding_enabled_flag (S1540) and the process of decoding and determining linear_MV_coding_idc (S1550 to S1580) are expressed after the process of decoding ref_idx_l1 (S1530), but the processes of S1540 to S1580 are motion_info_l0. It may be performed before the decoding process (S1510).
  • Example 4-2 corresponds to a form in which Example 4 and Example 3-2 are combined.
  • the information signaled from the video encoding apparatus to the video decoding apparatus for bidirectional prediction is expressed as syntax, as shown in Table 10 described above.
  • mvd_l1 may mean offset information (offset vector) or mvd of the conventional method.
  • mvd_l1 is an offset vector for a horizontal axis component when a linear relationship of a horizontal axis component is not established
  • mvd_l1 may be an offset vector for a vertical axis component when a linear relationship of a horizontal axis component is not established
  • mvd_l1 may be mvd of the conventional method when a linear relationship is not established for both the horizontal axis component and the vertical axis component. If both the horizontal axis component and the vertical axis component have a linear relationship, mvd_l1 may be an offset vector for both components.
  • motion_info_l0 may be included in the bitstream and signaled from the video encoding device to the video decoding device.
  • Signaled motion_info_l0 may include ref_idx_l0, mvd_l0, and mvp_l0_flag.
  • ref_idx_l1 may also be included in the bitstream and signaled.
  • the video decoding apparatus sets reference pictures indicated by the signaled reference picture information (ref_idx_l0, ref_idx_l1) to reference pictures (ref_l0, ref_l1) for deriving mv_l1.
  • the video decoding apparatus may derive or derive mv_l0 using mvp_l0_flag and mvd_l0 (S1620). Equation 1 may be used in this process. Also, the image decoding apparatus may decode ref_idx_l1 from the bitstream (S1630).
  • linear_MV_coding_enabled_flag indicates the activation of the motion vector derivation function (S1640)
  • the video decoding apparatus decodes linear_MV_coding_idc from the bitstream (S1650).
  • the video decoding apparatus may decode mvp_l1_flag and mvd_l1 from the bitstream (S1662), and derive mv_l1 using the decoded information (S1664).
  • the video decoding apparatus may derive mv_l1 using the decoded mvp_l1_flag and mvd_l1 (S1662, S1664).
  • the image decoding apparatus decodes the offset vectors (mvd_l1, y) for the vertical axis component (S1672), and derives mv_l1 using a linear relationship (S1674). Also, the apparatus for decoding an image may adjust mv_l1 by applying an offset vector (mvd_l1, y) for the vertical axis component to the derived mv_l1 (S1676).
  • the image decoding apparatus may use'induced mv_l1' for the horizontal axis component as it is, and may use the adjusted second motion vector (mv A _l1) for the vertical axis component.
  • the horizontal axis component of the derived mv_l1 and the horizontal axis component of the adjusted second motion vector (mv A _l1) may be the same.
  • the video decoding apparatus may use'derived mv_l1' as it is for the vertical axis component, and may use the adjusted second motion vector (mv A _l1) for the horizontal axis component.
  • the vertical axis component of the derived mv_l1 and the vertical axis component of the adjusted second motion vector (mv A _l1) may be the same.
  • linear_MV_coding_idc (x&y) (S1680)
  • offset vectors (mvd_l1, x and y) for both the horizontal axis component and the vertical axis component are signaled. Therefore, the image decoding apparatus decodes the offset vectors (mvd_l1, x and y) for both the horizontal and vertical components from the bitstream (S1690), and the offset vector (mvd_l1) to mv_l1 derived using a linear relationship (S1692). x and y) to adjust mv_l1 (S1694).
  • Example 4-2 The syntax elements for Example 4-2 are shown in Table 12 below.
  • the process of determining linear_MV_coding_enabled_flag (S1640) and the process of decoding and determining linear_MV_coding_idc (S1650 to S1680) are represented to be performed after the process of decoding ref_idx_l1 (S1630), but the processes of S1640 to S1680 are motion_info_l0. It may be performed before the decoding process (S1610).
  • FIG. 17 An example of deriving mv_l1 based on Example 4 is illustrated in FIG. 17.
  • An example illustrated in FIG. 17 corresponds to an example in which a linear relationship with respect to a vertical axis component is established.
  • mv_l1 can be derived on the premise that a linear relationship is established between mv_l0 (solid arrow) and mv_l1 (dotted dashed arrow).
  • mv_l1 may be adjusted by moving according to the size indicated by the offset vector mvd_l1 in the horizontal axis direction from the derived mv_l1.
  • the final motion vector (mv A _l1) for the second direction can be derived by applying the mv_l1 value as it is for the vertical axis component and the adjusted second motion vector (mv A _l1) for the horizontal axis component.
  • the current block 620 may be predicted based on the reference block 630 indicated by mv_l0 and the reference block 640 indicated by the adjusted second motion vector (mv A _l1).
  • Embodiment 5 corresponds to a method of using preset reference pictures as reference pictures for deriving mv_l1.
  • the preset reference pictures refer to preset reference pictures to be used when a linear relationship of motion is established.
  • reference picture information (ref_idx_l0 and ref_idx_l1) is not signaled in units of blocks, but may be signaled at a higher level.
  • the higher level may correspond to one or more of a picture-level header, tile group-level header, slice header, tile header, and/or CTU header.
  • the predefined reference pictures may be referred to as'representative reference picture' or'linear reference picture', and reference picture information signaled at a higher level may be referred to as'representative reference picture information' or'linear reference picture information'.
  • a predefined reference picture for linearity is used in block units.
  • Reference picture information for linearity signaled in the tile group header is expressed in Table 13 below.
  • each of linear_ref_idx_l0 and linear_ref_idx_l1 represents linear reference picture information signaled for each of both directions.
  • FIG. 18 shows an example of a method of designating a reference picture by signaling reference picture information for each block in a conventional manner or designating a reference picture for linearity by the method proposed in the present invention.
  • Linear reference picture information (linear_ref_idx_l0, linear_ref_idx_l1) may be signaled from the video encoding device to the video decoding device through a higher level.
  • the video decoding apparatus may set the linear reference pictures (linear_ref_l0, linear_ref_l1) by selecting or selecting the reference pictures indicated by the signaled linear reference picture information (linear_ref_idx_l0, linear_ref_idx_l1) in the reference picture processing list.
  • the video decoding apparatus may decode linear_MV_coding_flag from the bitstream (S1820).
  • the video decoding apparatus may derive reference pictures (ref_l0, ref_l1) for induction of mv_l1 using preset linear reference pictures (linear_ref_l0, linear_ref_l1). (S1840, S1850). That is, the preset reference pictures for linear (linear_ref_l0, linear_ref_l1) may be set as reference pictures (ref_l0, ref_l1).
  • reference picture information (ref_idx_l0, ref_idx_l1) may be signaled. .
  • the video decoding apparatus may decode the reference picture information (ref_idx_l0, ref_idx_l1) (S1860, S1870) and use them to set the reference picture.
  • the reference picture setting method proposed in the present invention may be implemented in a form combined with the above-described embodiments.
  • 19 illustrates a combination of the reference picture setting method proposed in the present invention and the above-described embodiment 3-1.
  • linear_MV_coding_flag is decoded when linear_MV_coding_enabled_flag indicates the activity of the motion vector derivation function (S1910) (S1920).
  • linear_MV_coding_flag indicates that a linear relationship of motion is established
  • a preset linear reference picture linear_ref_l0
  • ref_l0 reference picture
  • the reference picture (ref_idx_l0) is decoded from the bitstream (S1962). ref_l0) can be set.
  • mvd_l0 and mvp_l0_flag are decoded (S1950), and mv_10 can be derived using the decoded information (S1960).
  • the reference picture ref_l1 may be derived or set using a preset linear reference picture (linear_ref_l1) (S1972).
  • linear_ref_l1 a preset linear reference picture
  • a reference picture ref_l1 may be set using reference picture information ref_idx_l1 decoded from the bitstream (S1974).
  • FIG. 20 shows a combination of the reference picture setting method proposed in the present invention and the above-described embodiment 3-2.
  • linear_MV_coding_enabled_flag indicates the activity of the motion vector derivation function (S2010)
  • linear_MV_coding_flag is decoded (S2020).
  • the reference picture ref_l0 may be derived or set using a preset linear reference picture (linear_ref_l0) (S2040).
  • linear_MV_coding_enabled_flag does not indicate the activity of the motion vector derivation function (S2010), or if linear_MV_coding_flag does not indicate that the linear relationship of motion is established (S2030), the reference picture information (ref_idx_l0) decoded from the bitstream (S2062) ) Can be used to set the reference picture (ref_l0).
  • mvd_l0 and mvp_l0_flag are decoded (S2050), and mv_10 can be derived using the decoded information (S2060).
  • the reference picture ref_l1 may be derived or set using the preset linear reference picture (linear_ref_l1) (S2072).
  • linear_ref_l1 may be set using reference picture information ref_idx_l1 decoded from the bitstream (S2074).
  • mvd_l1 is decoded from the bitstream (S2080), and mvd_l1 corresponds to either the offset vector or the mvd of the conventional method as in Example 3-2. Can.
  • linear_MV_coding_flag indicates that a linear relationship of motion is established (S2090)
  • mv_l1 having a linear relationship with mv_l0 is derived (S2092)
  • mv_l1 can be adjusted by applying an offset vector (mvd_l1) to the derived mv_l1 (S2094).
  • mv_l1 can be derived using mvp_l1_flag decoded from the bitstream (S2096) (S2098).
  • mvp_l1 indicated by mvp_l1_flag and decoded mvd_l1 may be used.

Abstract

양방향 인터 예측 방법 및 영상 복호화 장치를 개시한다. 본 발명의 일 실시예에 의하면, 복수의 양방향 예측 모드 중 어느 하나를 이용하여 현재블록을 인터 예측하는 방법에 있어서, 상기 복수의 양방향 예측 모드에 포함되는 제1모드가 상기 현재블록에 적용되는지 여부를 지시하는 모드정보를 비트스트림으로부터 복호화하는 단계; 상기 모드정보가 적용됨을 지시하는 경우, 차분움직임벡터 정보 및 예측움직임벡터 정보를 포함하는 제1움직임정보와, 차분움직임벡터 정보 및 예측움직임벡터 정보 중 적어도 일부를 포함하지 않는 제2움직임정보를 상기 비트스트림으로부터 복호화하는 단계; 상기 제1움직임정보에 기반하여 제1움직임벡터를 유도하고, 상기 제1움직임정보 중 적어도 일부와 상기 제2움직임정보에 기반하여 제2움직임벡터를 유도하는 단계; 및 제1참조픽처 내에서 상기 제1움직임벡터에 의해 지시되는 참조블록 및 제2참조픽처 내에서 상기 제2움직임벡터에 의해 지시되는 참조블록을 이용하여, 상기 현재블록을 예측하는 단계를 포함하는 양방향 예측 방법을 제공한다.

Description

양방향 예측 방법 및 영상 복호화 장치
본 발명은 영상의 부호화 및 복호화에 관한 것으로서, 움직임정보를 효율적으로 표현함으로써 부호화 및 복호화의 효율을 향상시킨 양방향 예측 방법 및 영상 복호화 장치에 관한 것이다.
동영상 데이터는 음성 데이터나 정지 영상 데이터 등에 비하여 많은 데이터량을 가지기 때문에, 압축을 위한 처리 없이 그 자체를 저장하거나 전송하기 위해서는 메모리를 포함하여 많은 하드웨어 자원을 필요로 한다.
따라서, 통상적으로 동영상 데이터를 저장하거나 전송할 때에는 부호화기를 사용하여 동영상 데이터를 압축하여 저장하거나 전송하며, 복호화기에서는 압축된 동영상 데이터를 수신하여 압축을 해제하고 재생한다. 이러한 동영상 압축 기술로는 H.264/AVC를 비롯하여, H.264/AVC에 비해 약 40% 정도의 부호화 효율을 향상시킨 HEVC(High Efficiency Video Coding)가 존재한다.
그러나, 영상의 크기 및 해상도, 프레임율이 점차 증가하고 있고, 이에 따라 부호화해야 하는 데이터량도 증가하고 있으므로 기존의 압축 기술보다 더 부호화 효율이 좋고 화질 개선 효과도 높은 새로운 압축 기술이 요구된다.
이러한 요구에 부응하기 위해 본 발명은 개선된 영상 부호화 및 복호화 기술을 제공하는 것을 목적으로 하며, 특히, 본 발명의 일 측면은 특정 방향의 움직임 정보로부터 다른 방향의 움직임 정보를 유도함으로써 부호화 및 복호화의 효율을 향상시키는 기술과 관련된다.
본 발명의 일 측면은, 복수의 양방향 예측 모드 중 어느 하나를 이용하여 현재블록을 인터 예측하는 방법에 있어서, 상기 복수의 양방향 예측 모드에 포함되는 제1모드가 상기 현재블록에 적용되는지 여부를 지시하는 모드정보를 비트스트림으로부터 복호화하는 단계; 상기 모드정보가 적용됨을 지시하는 경우, 차분움직임벡터 정보 및 예측움직임벡터 정보를 포함하는 제1움직임정보와, 차분움직임벡터 정보 및 예측움직임벡터 정보 중 적어도 일부를 포함하지 않는 제2움직임정보를 상기 비트스트림으로부터 복호화하는 단계; 상기 제1움직임정보에 기반하여 제1움직임벡터를 유도하고, 상기 제1움직임정보 중 적어도 일부와 상기 제2움직임정보에 기반하여 제2움직임벡터를 유도하는 단계; 및 제1참조픽처 내에서 상기 제1움직임벡터에 의해 지시되는 참조블록 및 제2참조픽처 내에서 상기 제2움직임벡터에 의해 지시되는 참조블록을 이용하여, 상기 현재블록을 예측하는 단계를 포함하는 양방향 예측 방법을 제공한다.
본 발명의 다른 일 측면은, 복수의 양방향 예측 모드에 포함되는 제1모드가 현재블록에 적용되는지 여부를 지시하는 모드정보를 비트스트림으로부터 복호화하고, 상기 모드정보가 적용됨을 지시하는 경우에 차분움직임벡터 정보 및 예측움직임벡터 정보를 포함하는 제1움직임정보와, 차분움직임벡터 정보 및 예측움직임벡터 정보 중 적어도 일부를 포함하지 않는 제2움직임정보를 상기 비트스트림으로부터 복호화하는 복호화부; 및 상기 제1움직임정보에 기반하여 제1움직임벡터를 유도하고, 상기 제1움직임정보 중 적어도 일부와 상기 제2움직임정보에 기반하여 제2움직임벡터를 유도하며, 제1참조픽처 내에서 상기 제1움직임벡터에 의해 지시되는 참조블록 및 제2참조픽처 내에서 상기 제2움직임벡터에 의해 지시되는 참조블록을 이용하여 상기 현재블록을 예측하는 예측부를 포함하는 영상 복호화 장치를 제공한다.
이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, 특정 방향의 움직임 이용하여 다른 방향의 움직임을 유도할 수 있으므로, 움직임 표현에 대한 비트 효율성을 향상시킬 수 있다.
도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다.
도 2는 QTBTTT 구조를 이용하여 블록을 분할하는 방법을 설명하기 위한 도면이다.
도 3은 복수의 인트라 예측 모드들을 설명하기 위한 도면이다.
도 4는 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도이다.
도 5는 양방향 예측에 대한 본 발명의 일 실시예를 설명하기 위한 도면이다.
도 6은 차분움직임벡터 사이의 대칭관계를 이용하여 움직임을 유도하는 본 발명의 일 실시예를 설명하기 위한 도면이다.
도 7 및 도 8은 선형관계를 이용하여 움직임을 유도하는 본 발명의 일 실시예를 설명하기 위한 도면이다.
도 9 내지 도 18은 움직임을 유도하는 본 발명의 다양한 실시예를 설명하기 위한 도면이다.
도 19 및 도 20은 상위 레벨에서 결정되는 참조픽처를 이용하여 움직임을 유도하는 본 발명의 일 실시예를 설명하기 위한 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다. 이하에서는 도 1을 참조하여 영상 부호화 장치와 이 장치의 하위 구성들에 대하여 설명하도록 한다.
영상 부호화 장치는 블록 분할부(110), 예측부(120), 감산기(130), 변환부(140), 양자화부(145), 부호화부(150), 역양자화부(160), 역변환부(165), 가산기(170), 필터부(180) 및 메모리(190)를 포함하여 구성될 수 있다.
영상 부호화 장치의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
하나의 영상(비디오)는 복수의 픽처들로 구성된다. 각 픽처들은 복수의 영역으로 분할되고 각 영역마다 부호화가 수행된다. 예를 들어, 하나의 픽처는 하나 이상의 타일(Tile) 또는/및 슬라이스(Slice)로 분할된다. 여기서, 하나 이상의 타일을 타일 그룹(Tile Group)으로 정의할 수 있다. 각 타일 또는/슬라이스는 하나 이상의 CTU(Coding Tree Unit)로 분할된다. 그리고 각 CTU는 트리 구조에 의해 하나 이상의 CU(Coding Unit)들로 분할된다. 각 CU에 적용되는 정보들은 CU의 신택스로서 부호화되고, 하나의 CTU에 포함된 CU들에 공통적으로 적용되는 정보는 CTU의 신택스로서 부호화된다. 또한, 하나의 타일 내의 모든 블록들에 공통적으로 적용되는 정보는 타일의 신택스로서 부호화되거나 다수 개의 타일을 모아 놓은 타일 그룹의 신택스로서 부호화되며, 하나의 픽처들을 구성하는 모든 블록들에 적용되는 정보는 픽처 파라미터 셋(PPS, Picture Parameter Set) 혹은 픽처 헤더에 부호화된다. 나아가, 복수의 픽처가 공통으로 참조하는 정보들은 시퀀스 파라미터 셋(SPS, Sequence Parameter Set)에 부호화된다. 그리고, 하나 이상의 SPS가 공통으로 참조하는 정보들은 비디오 파라미터 셋(VPS, Video Parameter Set)에 부호화된다.
블록 분할부(110)는 CTU(Coding Tree Unit)의 크기를 결정한다. CTU의 크기에 대한 정보(CTU size)는 SPS 또는 PPS의 신택스로서 부호화되어 영상 복호화 장치로 전달된다.
블록 분할부(110)는 영상을 구성하는 각 픽처(picture)를 미리 결정된 크기를 가지는 복수의 CTU(Coding Tree Unit)들로 분할한 이후에, 트리 구조(tree structure)를 이용하여 CTU를 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU(coding unit)가 된다.
트리 구조로는 상위 노드(혹은 부모 노드)가 동일한 크기의 네 개의 하위 노드(혹은 자식 노드)로 분할되는 쿼드트리(QuadTree, QT), 또는 상위 노드가 두 개의 하위 노드로 분할되는 바이너리트리(BinaryTree, BT), 또는 상위 노드가 1:2:1 비율로 세 개의 하위 노드로 분할되는 터너리트리(TernaryTree, TT), 또는 이러한 QT 구조, BT 구조 및 TT 구조 중 둘 이상을 혼용한 구조일 수 있다. 예컨대, QTBT(QuadTree plus BinaryTree) 구조가 사용될 수 있고, 또는 QTBTTT(QuadTree plus BinaryTree TernaryTree) 구조가 사용될 수 있다. 여기서, BTTT를 합쳐서 MTT(Multiple-Type Tree)라 칭할 수 있다.
도 2는 QTBTTT 분할 트리 구조를 보인다. 도 2에서 보는 바와 같이, CTU는 먼저 QT 구조로 분할될 수 있다. 쿼드트리 분할은 분할 블록(splitting block)의 크기가 QT에서 허용되는 리프 노드의 최소 블록 크기(MinQTSize)에 도달할 때까지 반복될 수 있다. QT 구조의 각 노드가 하위 레이어의 4개의 노드들로 분할되는지 여부를 지시하는 제1 플래그(QT_split_flag)는 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. QT의 리프 노드가 BT에서 허용되는 루트 노드의 최대 블록 크기(MaxBTSize)보다 크지 않은 경우, BT 구조 또는 TT 구조 중 어느 하나 이상으로 더 분할될 수 있다. BT 구조 및/또는 TT 구조에서는 복수의 분할 방향이 존재할 수 있다. 예컨대, 해당 노드의 블록이 가로로 분할되는 방향과 세로로 분할되는 방향 두 가지가 존재할 수 있다. 도 2와 같이, MTT 분할이 시작되면, 노드들이 분할되었는지 여부를 지시하는 제2 플래그(mtt_split_flag)와, 분할이 되었다면 추가적으로 분할 방향(vertical 혹은 horizontal)을 나타내는 플래그 및/또는 분할 타입(Binary 혹은 Ternary)을 나타내는 플래그가 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다.
트리 구조의 다른 예로서, QTBTTT 구조를 사용하여 블록을 분할하는 경우, 먼저 분할 되었음을 나타내는 CU 분할 플래그(split_cu_flag) 및 분할 타입이 QT 분할인지를 지시하는 QT 분할 플래그(split_qt_flag) 정보가 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. CU 분할 플래그(split_cu_flag) 값이 분할되지 않았음을 지시하지 않는 경우, 해당 노드의 블록이 분할 트리 구조에서의 리프 노드(leaf node)가 되어 부호화의 기본 단위인 CU(coding unit)가 된다. CU 분할 플래그(split_cu_flag) 값이 분할되었음을 지시하지 않는 경우, QT 분할 플래그(split_qt_flag) 값을 통해 분할 타입이 QT 혹은 MTT인지를 구분한다. 분할 타입이 QT인 경우에는 더 이상의 추가 정보가 없으며, 분할 타입이 MTT인 경우에는 추가적으로 MTT 분할 방향(vertical 혹은 horizontal)을 나타내는 플래그(mtt_split_cu_vertical_flag) 및/또는 MTT 분할 타입(Binary 혹은 Ternary)을 나타내는 플래그(mtt_split_cu_binary_flag)가 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다.
트리 구조의 다른 예시로서 QTBT가 사용되는 경우, 해당 노드의 블록을 동일 크기의 두 개 블록으로 가로로 분할하는 타입(즉, symmetric horizontal splitting)과 세로로 분할하는 타입(즉, symmetric vertical splitting) 두 가지가 존재할 수 있다. BT 구조의 각 노드가 하위 레이어의 블록으로 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할되는 타입을 지시하는 분할 타입 정보가 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 전달된다. 한편, 해당 노드의 블록을 서로 비대칭 형태의 두 개의 블록으로 분할하는 타입이 추가로 더 존재할 수도 있다. 비대칭 형태에는 해당 노드의 블록을 1:3의 크기 비율을 가지는 두 개의 직사각형 블록으로 분할하는 형태가 포함될 수 있고, 혹은 해당 노드의 블록을 대각선 방향으로 분할하는 형태가 포함될 수도 있다.
CU는 CTU로부터의 QTBT 또는 QTBTTT 분할에 따라 다양한 크기를 가질 수 있다. 이하에서는, 부호화 또는 복호화하고자 하는 CU(즉, QTBTTT의 리프 노드)에 해당하는 블록을 '현재블록'이라 칭한다.
예측부(120)는 현재블록을 예측하여 예측블록을 생성한다. 예측부(120)는 인트라 예측부(122)와 인터 예측부(124)를 포함한다.
일반적으로, 픽처 내 현재블록들은 각각 예측적으로 코딩될 수 있다. 일반적으로 현재블록의 예측은 (현재블록을 포함하는 픽처로부터의 데이터를 사용하는) 인트라 예측 기술 또는 (현재블록을 포함하는 픽처 이전에 코딩된 픽처로부터의 데이터를 사용하는) 인터 예측 기술을 사용하여 수행될 수 있다. 인터 예측은 단방향 예측과 양방향 예측 모두를 포함한다.
인트라 예측부(122)는 현재블록이 포함된 현재 픽처 내에서 현재블록의 주변에 위치한 픽셀(참조 픽셀)들을 이용하여 현재블록 내의 픽셀들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재한다. 예컨대, 도 3에서 보는 바와 같이, 복수의 인트라 예측모드는 planar 모드와 DC 모드를 포함하는 비방향성 모드와 65개의 방향성 모드를 포함할 수 있다. 각 예측모드에 따라 사용할 주변 픽셀과 연산식이 다르게 정의된다.
인트라 예측부(122)는 현재블록을 부호화하는데 사용할 인트라 예측 모드를 결정할 수 있다. 일부 예들에서, 인트라 예측부(122)는 여러 인트라 예측 모드들을 사용하여 현재블록을 인코딩하고, 테스트된 모드들로부터 사용할 적절한 인트라 예측 모드를 선택할 수도 있다. 예를 들어, 인트라 예측부(122)는 여러 테스트된 인트라 예측 모드들에 대한 레이트 왜곡(rate-distortion) 분석을 사용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중 최선의 레이트 왜곡 특징들을 갖는 인트라 예측 모드를 선택할 수도 있다.
인트라 예측부(122)는 복수의 인트라 예측 모드 중에서 하나의 인트라 예측 모드를 선택하고, 선택된 인트라 예측 모드에 따라 결정되는 주변 픽셀(참조 픽셀)과 연산식을 사용하여 현재블록을 예측한다. 선택된 인트라 예측 모드에 대한 정보가 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 전달된다.
인터 예측부(124)는 움직임 보상 과정을 통해 현재블록에 대한 예측블록을 생성한다. 현재 픽처보다 먼저 부호화 및 복호화된 참조픽처 내에서 현재블록과 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 현재블록에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 현재블록과 참조픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(motion vector)를 생성한다. 일반적으로, 움직임 추정은 루마(luma) 성분에 대해 수행되고, 루마 성분에 기초하여 계산된 모션 벡터는 루마 성분 및 크로마 성분 모두에 대해 사용된다. 현재블록을 예측하기 위해 사용된 참조픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 전달된다.
감산기(130)는 현재블록으로부터 인트라 예측부(122) 또는 인터 예측부(124)에 의해 생성된 예측블록을 감산하여 잔차블록을 생성한다.
변환부(140)는 공간 영역의 픽셀 값들을 가지는 잔차블록 내의 잔차 신호를 주파수 도메인의 변환 계수로 변환한다. 변환부(140)는 잔차블록의 전체 크기를 변환 단위로 사용하여 잔차블록 내의 잔차 신호들을 변환할 수 있으며, 또는 잔차블록을 변환 영역 및 비변환 영역인 두 개의 서브블록으로 구분하여, 변환 영역 서브블록만 변환 단위로 사용하여 잔차 신호들을 변환할 수 있다. 여기서, 변환 영역 서브블록은 가로축 (혹은 세로축) 기준 1:1의 크기 비율을 가지는 두 개의 직사각형 블록 중 하나일 수 있다. 이런 경우, 서브블록 만을 변환하였음을 지시하는 플래그(cu_sbt_flag), 방향성(vertical/horizontal) 정보(cu_sbt_horizontal_flag) 및/또는 위치 정보(cu_sbt_pos_flag)가 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. 또한, 변환 영역 서브블록의 크기는 가로축 (혹은 세로축) 기준 1:3의 크기 비율을 가질 수 있으며, 이런 경우 해당 분할을 구분하는 플래그(cu_sbt_quad_flag)가 추가적으로 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다.
양자화부(145)는 변환부(140)로부터 출력되는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 부호화부(150)로 출력한다.
부호화부(150)는 양자화된 변환 계수들을 CABAC(Context-based Adaptive Binary Arithmetic Code) 등의 부호화 방식을 사용하여 부호화함으로써 비트스트림을 생성한다. 부호화부(150)는 블록 분할과 관련된 CTU size, CU 분할 플래그, QT 분할 플래그, MTT 분할 방향, MTT 분할 타입 등의 정보를 부호화하여, 영상 복호화 장치가 영상 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다.
또한, 부호화부(150)는 현재블록이 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보를 부호화하고, 예측 타입에 따라 인트라 예측정보(즉, 인트라 예측 모드에 대한 정보) 또는 인터 예측정보(참조픽처 및 움직임벡터에 대한 정보)를 부호화한다.
역양자화부(160)는 양자화부(145)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(165)는 역양자화부(160)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.
가산부(170)는 복원된 잔차블록과 예측부(120)에 의해 생성된 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 픽셀들은 다음 순서의 블록을 인트라 예측할 때 참조 픽셀로서 사용된다.
필터부(180)는 블록 기반의 예측 및 변환/양자화로 인해 발생하는 블록킹 아티팩트(blocking artifacts), 링잉 아티팩트(ringing artifacts), 블러링 아티팩트(blurring artifacts) 등을 줄이기 위해 복원된 픽셀들에 대한 필터링을 수행한다. 필터부(180)는 디블록킹 필터(182)와 SAO(Sample Adaptive Offset) 필터(184)를 포함할 수 있다.
디블록킹 필터(180)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 필터링하고, SAO 필터(184)는 디블록킹 필터링된 영상에 대해 추가적인 필터링을 수행한다. SAO 필터(184)는 손실 부호화(lossy coding)로 인해 발생하는 복원된 픽셀과 원본 픽셀 간의 차이를 보상하기 위해 사용되는 필터이다.
디블록킹 필터(182) 및 SAO 필터(184)를 통해 필터링된 복원블록은 메모리(190)에 저장된다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
도 4는 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도이다. 이하에서는 도 4를 참조하여 영상 복호화 장치와 이 장치의 하위 구성들에 대하여 설명하도록 한다.
영상 복호화 장치는 복호화부(410), 역양자화부(420), 역변환부(430), 예측부(440), 가산기(450), 필터부(460) 및 메모리(470)를 포함하여 구성될 수 있다.
도 1의 영상 부호화 장치와 마찬가지로, 영상 복호화 장치의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
복호화부(410)는 영상 부호화 장치로부터 수신한 비트스트림을 복호화하여 블록 분할과 관련된 정보를 추출함으로써 복호화하고자 하는 현재블록을 결정하고, 현재블록을 복원하기 위해 필요한 예측정보와 잔차신호에 대한 정보 등을 추출한다.
복호화부(410)는 SPS(Sequence Parameter Set) 또는 PPS(Picture Parameter Set)로부터 CTU size에 대한 정보를 추출하여 CTU의 크기를 결정하고, 픽처를 결정된 크기의 CTU로 분할한다. 그리고, CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할정보를 추출함으로써 트리 구조를 이용하여 CTU를 분할한다.
예컨대, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, 먼저 QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 MTT의 분할과 관련된 제2 플래그(MTT_split_flag) 및 분할 방향(vertical / horizontal) 및/또는 분할 타입(binary / ternary) 정보를 추출하여 해당 리프 노드를 MTT 구조로 분할한다. 이를 통해 QT의 리프 노드 이하의 각 노드들을 BT 또는 TT 구조로 반복적으로(recursively) 분할한다.
또 다른 예로서, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, 먼저 CU의 분할 여부를 지시하는 CU 분할 플래그(split_cu_flag)를 추출하고, 해당 블록이 분할된 경우, QT 분할 플래그(split_qt_flag)를 추출한다. 분할 타입이 QT가 아니고 MTT인 경우, MTT 분할 방향(vertical 혹은 horizontal)을 나타내는 플래그(mtt_split_cu_vertical_flag) 및/또는 MTT 분할 타입(Binary 혹은 Ternary)을 나타내는 플래그(mtt_split_cu_binary_flag)를 추가적으로 추출한다. 분할 과정에서 각 노드는 0번 이상의 반복적인 QT 분할 후에 0번 이상의 반복적인 MTT 분할이 발생할 수 있다. 예컨대, CTU는 바로 MTT 분할이 발생하거나, 반대로 다수 번의 QT 분할만 발생할 수도 있다.
다른 예로서, QTBT 구조를 사용하여 CTU를 분할하는 경우, QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT로 더 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할 방향 정보를 추출한다.
한편, 복호화부(410)는 트리 구조의 분할을 통해 복호화하고자 하는 현재블록을 결정하게 되면, 현재블록이 인트라 예측되었는지 아니면 인터 예측되었는지를 지시하는 예측 타입에 대한 정보를 추출한다. 예측 타입 정보가 인트라 예측을 지시하는 경우, 복호화부(410)는 현재블록의 인트라 예측정보(인트라 예측 모드)에 대한 신택스 요소를 추출한다. 예측 타입 정보가 인터 예측을 지시하는 경우, 복호화부(410)는 인터 예측정보에 대한 신택스 요소, 즉, 움직임벡터 및 그 움직임벡터가 참조하는 참조픽처를 나타내는 정보를 추출한다.
한편, 복호화부(410)는 잔차신호에 대한 정보로서 현재블록의 양자화된 변환계수들에 대한 정보를 추출한다.
역양자화부(420)는 양자화된 변환계수들을 역양자화하고, 역변환부(430)는 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 현재블록에 대한 잔차블록을 생성한다.
또한, 역변환부(430)는 변환블록의 일부 영역(서브블록)만 역변환하는 경우, 변환블록의 서브블록만을 변환하였음을 지시하는 플래그(cu_sbt_flag), 서브블록의 방향성(vertical/horizontal) 정보(cu_sbt_horizontal_flag) 및/또는 서브블록의 위치 정보(cu_sbt_pos_flag)를 추출하여, 해당 서브블록의 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환함으로써 잔차신호들을 복원하고, 역변환되지 않은 영역에 대해서는 잔차신호로 "0" 값을 채움으로써 현재블록에 대한 최종 잔차블록을 생성한다.
예측부(440)는 인트라 예측부(442) 및 인터 예측부(444)를 포함할 수 있다. 인트라 예측부(442)는 현재블록의 예측 타입이 인트라 예측일 때 활성화되고, 인터 예측부(444)는 현재블록의 예측 타입이 인터 예측일 때 활성화된다.
인트라 예측부(442)는 복호화부(410)로부터 추출된 인트라 예측 모드에 대한 신택스 요소로부터 복수의 인트라 예측 모드 중 현재블록의 인트라 예측 모드를 결정하고, 인트라 예측 모드에 따라 현재블록 주변의 참조 픽셀들을 이용하여 현재블록을 예측한다.
인터 예측부(444)는 복호화부(410)로부터 추출된 인트라 예측 모드에 대한 신택스 요소를 이용하여 현재블록의 움직임벡터와 그 움직임벡터가 참조하는 참조픽처를 결정하고, 움직임벡터와 참조픽처를 이용하여 현재블록을 예측한다.
가산기(450)는 역변환부로부터 출력되는 잔차블록과 인터 예측부 또는 인트라 예측부로부터 출력되는 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 픽셀들은 이후에 복호화할 블록을 인트라 예측할 때의 참조픽셀로서 활용된다.
필터부(460)는 디블록킹 필터(462) 및 SAO 필터(464)를 포함할 수 있다. 디블록킹 필터(462)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해, 복원된 블록 간의 경계를 디블록킹 필터링한다. SAO 필터(464)는 손실 부호화(lossy coding)으로 인해 발생하는 복원된 픽셀과 원본 픽셀 간의 차이를 보상하기 위해, 디블록킹 필터링 이후의 복원된 블록에 대해 추가적인 필터링을 수행한다. 디블록킹 필터(462) 및 SAO 필터(464)를 통해 필터링된 복원블록은 메모리(470)에 저장된다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
HEVC 표준의 화면 간 예측 부호화/복호화 방법(인터 예측 방법)은 크게 skip 모드, merge 모드 및 AMVP(adaptive(or advanced) motion vector predictor) 모드로 구분될 수 있다.
skip 모드에서는 주변블록의 움직임정보 후보들 중 하나를 지시하는 인덱스 값이 시그널링된다. merge 모드에서는 주변블록의 움직임정보 후보들 중 하나를 지시하는 인덱스 값 및 예측 후 잔차를 부호화한 정보가 시그널링된다. AMVP 모드에서는 현재블록의 움직임정보 및 예측 후 잔차를 부호화한 정보가 시그널링된다. AMVP 모드에서 시그널링되는 움직임정보에는 주변블록의 움직임정보(mvp, motion vector predictor) 및 이 움직임정보(mvp)와 현재블록의 움직임정보(mv) 사이의 차이 값(mvd, motion vector difference)이 포함된다.
AMVP 모드에서 시그널링되는 움직임정보를 더욱 구체적으로 설명하면, 이 움직임정보에는 참조픽처정보(참조픽처 인덱스), 예측 움직임벡터(mvp) 정보 및 차분 움직임벡터(mvd) 정보가 포함될 수 있다. 양방향 예측(bi-prediction)의 경우에는 위 정보들이 양방향 각각에 대해 별도로 시그널링된다. 양방향 각각에 대해 시그널링되는 참조픽처정보, mvp 정보 및 mvd 정보에 대한 신택스 요소를 표현하면 아래 표 1과 같다.
Figure PCTKR2019018477-appb-img-000001
위 표 1에서, inter_pred_idc는 예측 방향을 나타내는 신택스 요소(예측 방향 정보)로서, uni-L0, uni-L1 및 bi-prediction 중 어느 하나를 나타낼 수 있다. 본 발명은 특정 방향의 움직임정보를 다른 방향의 움직임정보로부터 유도하므로, inter_pred_idc는 bi-prediction을 지시한다. ref_idx_l0은 L0 방향의 참조픽처를 지시하는 신택스 요소(참조 픽처 정보)로서, 이 신택스 요소를 통해 참조픽처 리스트 0에 포함된 참조픽처들 중 현재블록의 예측에 이용되는 참조픽처가 특정된다. ref_idx_l1은 L1 방향의 참조픽처를 지시하는 신택스 요소(참조 픽처 정보)로서, 이 신택스 요소를 통해 참조픽처 리스트 1에 포함된 참조픽처들 중 현재블록의 예측에 이용되는 참조픽처가 특정된다. mvp_l0_flag는 L0 방향에 대한 mvp를 나타내는 신택스 요소(mvp 정보)로서, 이 신택스 요소를 통해 현재블록의 L0 방향 예측에 사용될 mvp가 특정된다. mvp_l1_flag는 L1 방향에 대한 mvp를 나타내는 신택스 요소(mvp 정보)로서, 이 신택스 요소를 통해 현재블록의 L1 방향 예측에 사용될 mvp가 특정된다.
mvd 정보를 구성하는 신택스 요소들을 표현하면 아래 표 2와 같다.
Figure PCTKR2019018477-appb-img-000002
위 표 2에서, abs_mvd_greater0_flag는 mvd의 절대 값(크기, magnitude)이 0을 초과하는지 여부를 나타내는 신택스 요소이며, abs_mvd_greater1_flag는 mvd의 절대 값이 1을 초과하는지 여부를 나타내는 신택스 요소이다. 또한, abs_mvd_minus2는 mvd의 절대 값에서 2를 뺀 나머지 값을 나타내는 신택스 요소이며, mvd_sign_flag는 mvd의 부호를 나타내는 신택스 요소에 해당한다.
표 2에 표현된 바와 같이, mvd는 x 성분(x component) 및 y 성분(y component) 각각에 대한 절대 값을 나타내는 신택스 요소들(abs_mvd_greater0_flag, abs_mvd_greater1_flag, abs_mvd_minus2)과, 부호를 나타내는 신택스 요소(mvd_sign_flag)를 통해 표현된다.
표 1 및 표 2를 통해 설명된 내용을 기반으로, 종래 AMVP 모드의 양방향 예측을 위해 영상 부호화 장치로부터 영상 복호화 장치로 시그널링되는 정보들을 정리하면 아래 표 3과 같다.
Figure PCTKR2019018477-appb-img-000003
위 표 3을 통해 제시된 바와 같이, 종래 AMVP 모드에서는 현재블록에 대한 양방향 예측을 수행하기 위해, 참조픽처정보, mvp 정보, mvd 정보 등을 양방향 각각에 대해 별도로 구분하여 시그널링하므로 비트 효율성 측면에서 비효율적이라 할 수 있다.
본 발명은 양방향 각각의 움직임정보들 사이의 상관관계(correlation)를 이용하여 특정 방향의 움직임정보로부터 다른 방향의 움직임정보를 유도하거나 현재블록의 예측에 이용되는 참조픽처들을 유도함으로써, 양방향 예측에 대한 비트 효율성을 향상시킬 수 있는 발명에 해당한다.
'특정 방향'은 영상 부호화 장치로부터 시그널링된 정보들을 기반으로 움직임정보가 도출 또는 유도되는 방향을 나타내며, '다른 방향'은 특정 방향의 움직임정보를 기반으로 움직임정보가 도출 또는 유도되는 방향을 나타낸다. 다른 방향의 움직임정보를 유도하는 과정에는 특정 방향의 움직임정보 중 적어도 일부 및/또는 영상 부호화 장치로부터 시그널링된 정보들이 이용될 수 있다. 본 명세서에서는 특정 방향이 L0에 해당하고, 다른 방향이 L1에 해당하는 것으로 설명하나, 특정 방향은 양방향(L0 및 L1) 중 어느 하나에 해당할 수 있으며, 다른 방향은 양방향 중 특정 방향에 해당하지 않는 나머지 방향에 해당할 수 있다. 이하에서는, 특정 방향을 제1방향이라 지칭하며, 다른 방향을 제2방향이라 지칭하도록 한다. 또한, 제1방향의 움직임벡터를 제1움직임벡터라 지칭하며, 제2방향의 움직임벡터를 제2움직임벡터라 지칭하도록 한다.
움직임정보들 사이의 상관관계에는 움직임정보들 사이에 성립하는 대칭관계, 선형관계, 비례관계, 현재픽처를 기준으로 한 참조픽처들 사이의 POC(picture order count) 차이 관계 등이 포함될 수 있다. 이러한 상관관계는 움직임정보 전체적으로 성립할 수 있으며, 움직임정보에 포함되는 요소들(참조픽처정보, mvp 정보 및 mvd 정보 중 하나 이상)마다 개별적으로 성립할 수도 있다. 예를 들어, 양방향의 mvd 정보들 사이에 대칭관계가 성립할 수 있으며, 양방향의 mvp 정보(mvp_flag) 및 mvd 정보 사이에 선형관계가 성립할 수도 있다. 여기서, 양방향의 mvp_flag 및 mvd 정보 사이에 선형관계가 성립한다는 것은 양방향의 움직임벡터(움직임) 사이에 선형관계가 성립하는 것으로 이해될 수 있다.
본 명세서에서 지칭되는 움직임정보의 명칭과 관련하여, 특정 방향(제1방향)의 움직임정보를 제1움직임정보라 지칭하며, 다른 방향(제2방향)의 움직임정보를 포함되는 요소의 개수 또는 종류에 따라 제2움직임정보 또는 제3움직임정보라 지칭하도록 한다. 제3움직임정보는 제2방향의 움직임정보로서, 제2방향의 mvd 정보 및 제2방향의 mvp 정보가 모두 포함되어 있는 움직임정보를 의미할 수 있다. 제2움직임정보와 제3움직임정보는 모두 제2방향의 움직임정보에 해당하나, 제2방향의 mvd 정보 및 mvp 정보가 모두 포함되는 지 아니면, 둘 중 적어도 하나가 포함되지 않는지 여부에 따라 구분될 수 있다.
제2방향의 움직임을 유도하는 본 발명의 일 실시예가 도 5에 도시되어 있다.
영상 부호화 장치는 모드정보(mode_info)를 비트스트림에 포함시켜 시그널링할 수 있다. 양방향 예측 모드에는 본 발명에서 제안하는 방법이 적용되어 제1움직임정보(motion_info_l0)로부터 제2움직임정보(motion_info_l1)를 유도하는 제1모드, 시그널링되는 정보들을 이용하여 제3움직임정보(motion_info_l2)를 유도하는 제2모드 등이 포함될 수 있다.
mode_info는 복수의 양방향 예측 모드에 포함되는 복수의 예측 모드들 중 어느 하나가 적용됨을 지시하는 정보에 해당할 수 있다. mode_info는 이용 가능한 양방향 예측 모드들의 개수에 따라 플래그 또는 인덱스 등 다양한 형태로 구현될 수 있다. 이하에서는, mode_info가 제1모드와 제2모드 중 현재블록의 양방향 예측에 이용되는 예측 모드를 지시하는 것으로 가정하여 설명하도록 한다. 이러한 가정하에서, mode_info는 제1모드가 현재블록에 적용되는지 여부를 지시하는 정보에 해당할 수 있다. 또한, mode_info가 제1모드의 적용됨을 지시하지 않는 경우는 제1모드가 적용되지 않음을 지시하거나 제2모드가 적용됨을 지시하는 것과 동일할 수 있다.
mode_info가 제1모드의 적용됨을 지시하는 경우, 영상 부호화 장치는 motion_info_l0와 motion_info_l1를 비트스트림에 포함시켜 시그널링할 수 있다. motion_info_l0에는 제1방향의 차분움직임벡터 정보(mvd_l0) 및 제1방향의 예측움직임벡터 정보(mvp_l0_flag)가 포함될 수 있다. motion_info_l1에는 mvd_l1 및 mvp_l1_flag 중 적어도 일부가 포함될 수 있다(적어도 일부가 포함되지 않을 수 있다). 이와 달리, mode_info가 제1모드의 적용됨을 지시하지 않는 경우(제2모드의 적용됨을 지시하는 경우), 영상 부호화 장치는 motion_info_l0와 motion_info_l2를 비트스트림에 포함시켜 시그널링할 수 있다. motion_info_l2에는 mvd_l1 및 mvp_l1_flag가 모두 포함될 수 있다.
영상 복호화 장치(복호화부)는 mode_info를 비트스트림으로부터 복호화할 수 있다(S530). mode_info가 제1모드의 적용됨을 지시하는 경우(S540), motion_info_l1이 비트스트림에 포함되어 있으므로, 영상 복호화 장치는 motion_info_l0와 motion_info_l1를 비트스트림으로부터 복호화할 수 있다(S550).
영상 복호화 장치(예측부)는 motion_info_l0에 기반하여 제1움직임벡터(mv_l0)를 유도하고, motion_info_l0 중 적어도 일부와 motion_info_l1에 기반하여 제2움직임벡터(mv_l1)을 유도할 수 있다(S560). motion_info_l0에는 mvd_l0와 mvp_l0_flag가 포함되어 있으므로, mv_l0는 아래 수학식 1과 같이 mvd_l0와 mvp_l0를 합산하여 유도될 수 있다.
Figure PCTKR2019018477-appb-img-000004
위 수학식 1에서, mvx 0는 mv_l0의 x 성분을 나타내고, mvy 0는 mv_l0의 y 성분을 나타낸다. mvpx 0는 mvp_l0의 x 성분을 나타내고, mvpy 0는 mvp_l0의 y 성분을 나타낸다. mvdx 0는 mvd_l0의 x 성분을 나타내고, mvdy 0는 mvd_l0의 y 성분을 나타낸다.
motion_info_l1에는 mvd_l1 및 mvp_l1_flag 중 적어도 일부가 포함되어 있지 않으므로, mv_l1은 움직임의 상관관계에 기반하여 유도될 수 있다. mv_l1을 유도하는 구체적인 방법에 대해서는 후술하도록 한다.
영상 복호화 장치는 제1방향의 참조픽처인 제1참조픽처(ref_l0) 내에서 mv_l0에 의해 지시되는 제1참조블록 및, 제2방향의 참조픽처인 제2참조픽처(ref_l1) 내에서 mv_l1에 의해 지시되는 제2참조블록을 이용하여, 현재블록을 예측할 수 있다(현재블록에 대한 예측블록을 생성할 수 있다)(S570). ref_l0와 ref_l1은 영상 부호화 장치로부터 시그널링되는 참조픽처정보들(ref_idx_l0 및 ref_idx_l1)로부터 특정되거나, 참조픽처 리스트에 포함된 참조픽처들과 현재픽처 사이의 POC 차이에 근거하여 유도될 수 있다. 이에 대한 구체적인 실시예는 후술하도록 한다.
한편, S540 과정에서 mode_info가 제1모드의 적용됨을 지시하지 않는 경우(제2모드의 적용됨을 지시하는 경우), motion_info_l2가 비트스트림에 포함되어 있으므로, 영상 복호화 장치는 motion_info_l0와 motion_info_l2를 비트스트림으로부터 복호화할 수 있다(S590). 이 경우, 영상 복호화 장치는 motion_info_l0에 기반하여 mv_l0를 유도하고, motion_info_l2에 기반하여 mv_l1를 유도할 수 있다(S560). 또한, 영상 복호화 장치는 mv_l0에 의해 지시되는 제1참조블록 및, mv_l1에 의해 지시되는 제2참조블록을 이용하여, 현재블록을 예측할 수 있다(S570).
실시형태에 따라, 영상 부호화 장치는 인에이블 정보(enabled_flag)를 비트스트림에 더 포함시켜 시그널링할 수 있다. enabled_flag는 제1모드가 활성되는지 여부를 지시하는 정보에 해당할 수 있다. 영상 부호화 장치는 enabled_flag를 sequence-level, picture-level, tile group-level, slice-level 등과 같은 하이 레벨 신택스(high level syntax)로 부호화하고, enabled_flag가 제1모드의 활성됨을 지시하는 경우에 mode_info를 예측 단위(블록) 별로 비트스트림에 포함시켜 시그널링할 수 있다. 이와 같은 방법을 통해, 본 발명에서 제안하는 실시예들의 적용 여부가 각 블록마다 설정될 수 있다.
enabled_flag가 하이 레벨 신택스로 부호화되고 mode_info가 블록 단위로 부호화되는 경우, 영상 복호화 장치는 enabled_flag를 하이 레벨 신택스로부터 복호화하고(S510), enabled_flag가 제1모드의 활성됨을 지시하는 경우에(S520) motion_info를 비트스트림으로부터 복호화할 수 있다(S530). 한편, enabled_flag가 제1모드의 활성됨을 지시하지 않는 경우, mode_info가 복호화되지 않을 수 있다. 이와 같은 경우, 영상 복호화 장치는 제1모드가 적용되지 않음을 지시하도록 mode_info를 “0” 또는 “off”로 설정 또는 추정하여(S580), 현재블록에 제1모드를 적용하지 않을 수 있다.
이하에서는, 참조픽처정보(ref_idx_l0 및 ref_idx_l1), 예측움직임벡터 정보(mvp_l0_flag 및 mvp_l1_flag) 및 차분움직임벡터 정보(mvd_l0 및 mvd_l1) 중 일부가 움직임정보에 포함되는지 여부에 따라 본 발명에서 제안하는 다양한 실시예들에 대해 설명하도록 한다.
이하 설명되는 실시예들에서, motion_info_l0에는 mvd_l0 및 mvp_l0_flag가 포함될 수 있으며, motion_info_l1에는 mvd_l1 및 mvp_l1_flag 중 적어도 일부가 포함되지 않을 수 있다. 이를 달리 표현하면, motion_info_l0에는 ref_idx_l0가 포함되지 않을 수 있으며, motion_info_l1에는 ref_idx_l1, mvd_l1 및 mvp_l1_flag 중 하나 이상이 포함되지 않을 수 있다.
실시예 1
실시예 1은 motion_info_l0에 ref_idx_l0, mvd_l0 및 mvp_l0이 모두 포함되고, motion_info_l1에 ref_idx_l1 및 mvp_l1이 포함되는 경우에, mvd_l1을 유도함으로써 움직임정보를 유도하는 방법에 해당한다.
실시예 1에서, 시그널링되지 않는 mvd_l1은 mvd_l0으로부터 유도될 수 있다. mvd_l1은 mvd_l1 및 mvd_l0 사이에 성립하는 대칭관계에 기반하여 유도될 수 있다. 즉, mvd_l1은 mvd_l0와 대칭되는 값(mvd_l1 = - mvd_l0)으로 설정 또는 유도될 수 있으며, mv_l1은 유도된 mvd_l1과 시그널링된 mvp_l1을 이용하여 유도될 수 있다(수학식 2).
Figure PCTKR2019018477-appb-img-000005
영상 부호화 장치는 전술된 바와 동일한 과정들을 통해 motion_info_l0 및 motion_info_l1(mvd_l1 제외)을 비트스트림에 포함시켜 시그널링할 수 있다. 도 6에 도시된 바와 같이, 영상 복호화 장치는 motion_info_l0에 포함된 mvd_l0 및 mvp_l0를 이용하여 mv_l0를 유도할 수 있다. 또한, 영상 복호화 장치는 mvd_l0로부터 유도된 mvd_l1(- mvd_l0)과 motion_info_l1에 포함된 mvp_l1을 이용하여 mv_l1을 유도할 수 있다.
영상 복호화 장치는 ref_idx_l0가 지시하는 ref_l0 내에서 mv_l0에 의해 지시되는 제1참조블록(630) 및, ref_idx_l1가 지시하는 ref_l1 내에서 mv_l1에 의해 지시되는 제2참조블록(640)을 이용하여, 현재픽처(610) 내에 위치하는 현재블록(620)을 예측할 수 있다.
실시예 2
실시예 2는 motion_info_l0에 ref_idx_l0가 포함되지 않고, motion_info_l1에 ref_idx_l1가 포함되지 않는 경우에, ref_l0 및 ref_l1을 유도함으로써 움직임정보를 유도하는 방법에 해당한다.
실시예 2에서, ref_l0 및 ref_l1은 참조픽처 리스트에 포함된 참조픽처들 중 0-번째 인덱스를 가지는(첫 번째에 위치하는) 참조픽처로 결정 또는 유도되거나, 참조픽처 리스트에 포함된 참조픽처들과 현재픽처 사이의 POC 차이를 근거로 결정 또는 유도될 수 있다. 이하에서는, 현재픽처와의 POC 차이를 근거로 ref_l0 및 ref_l1을 유도하는 방법에 대해 설명하도록 한다.
영상 복호화 장치는 참조픽처 리스트 0(제1방향의 참조픽처 리스트)에 포함된 참조픽처들과 현재픽처 사이의 POC 값 차이를 근거로, 제1방향의 참조픽처 리스트에 포함된 참조픽처들 중 어느 하나를 선별하여 ref_l0로 설정할 수 있다. 예를 들어, 영상 복호화 장치는 현재픽처와의 POC 값 차이가 가장 작은 참조픽처(최인접 참조픽처)를 ref_l0로 설정할 수 있다.
또한, 영상 복호화 장치는 참조픽처 리스트 1(제2방향의 참조픽처 리스트)에 포함된 참조픽처들과 현재픽처 사이의 POC 값 차이를 근거로, 제2방향의 참조픽처 리스트에 포함된 참조픽처들 중 어느 하나를 선별하여 ref_l1으로 설정할 수 있다. 예를 들어, 영상 복호화 장치는 현재픽처와의 POC 값 차이가 가장 작은 참조픽처(최인접한 참조픽처)를 ref_l1으로 설정할 수 있다.
영상 복호화 장치는 참조픽처 리스트에 포함된 참조픽처들의 POC 값을 순차적 또는 병렬적으로 현재픽처의 POC 값과 비교하여 어느 하나의 참조픽처를 선별할 수 있다. 참조픽처 리스트에 포함된 참조픽처들을 순차적으로 비교하여 최인접 참조픽처를 선별하는 경우, 영상 복호화 장치는 참조픽처의 인덱스 값을 참조픽처 리스트에 할당되지 않은 인덱스 값으로(예를 들어, -1) 가상적으로 설정한 후에 순차적 비교를 시작할 수 있다.
제1방향의 참조픽처 리스트로부터 선별되는 참조픽처와 제2방향의 참조픽처 리스트로부터 선별되는 참조픽처는 현재픽처의 POC 값을 기준으로 선행(forward)하거나 후행(backward)하는 POC 값을 가질 수 있다. 즉, 제1방향의 참조픽처 리스트로부터 선별되는 참조픽처와 제2방향의 참조픽처 리스트로부터 선별되는 참조픽처는 선행하는 참조픽처와 후행하는 참조픽처의 쌍(pair)으로 이루어질 수 있다.
ref_l0 및 ref_l1이 유도되면, 영상 복호화 장치는 ref_l0 내에서 mv_l0에 의해 지시되는 제1참조블록(630) 및, ref_l1 내에서 mv_l1에 의해 지시되는 제2참조블록(640)을 이용하여, 현재블록을 예측할 수 있다.
실시형태에 따라, ref_l0 및 ref_l1을 결정하는 과정은 현재블록보다 상위 레벨에서 수행될 수 있다. 즉, motion_info_l0 및 motion_info_l1에 포함된 요소들 중 ref_l0 및 ref_l1를 제외한 나머지 요소들은 블록 단위로 유도 또는 결정되고, ref_l0 및 ref_l1은 블록보다 상위 레벨 단위로 결정될 수 있다. 여기서, 상위 레벨이란, picture-level, tile group-level, slice-level, tile-level, CTU(coding tree unit)-level 등과 같이 블록 레벨보다 상위 레벨을 의미할 수 있다.
실시예 2는 전술된 실시예 1 또는 후술되는 실시예들과 결합된 형태로 구현될 수 있다. 즉, 실시예 1에서는 ref_idx_l0와 ref_idx_l1이 시그널링되는 것으로 설명되었으나, 실시예 2가 적용되면, ref_idx_l0와 ref_idx_l1이 시그널링되지 않으며, 영상 복호화 장치에서 자체적으로 ref_l0와 ref_l1을 유도할 수 있다.
실시예 3
실시예 3은 제1방향의 움직임과 제2방향의 움직임 사이에 성립하는 선형관계를 기반으로, 제1움직임정보로부터 제2움직임정보를 유도하는 방법에 해당한다.
영상 부호화 장치는 motion_info_l0를 비트스트림에 포함시켜 영상 복호화 장치로 시그널링할 수 있다. motion_info_l0에는 mvp_l0_flag, mvd_l0 및/또는 ref_idx_l0가 포함될 수 있다. motion_info_l0에 포함되는 정보들은 후술되는 실시예들마다 서로 달라질 수 있다.
영상 복호화 장치는 motion_info_l0를 비트스트림으로부터 복호화할 수 있다(S710). 영상 복호화 장치는 mvp_l0_flag 및 mvd_l0를 이용하여 mv_l0를 도출 또는 유도할 수 있다(S720). mv_l0는 앞서 설명된 수학식 1과 같이 mvp_l0 및 mvd_l0를 합산하여 도출될 수 있다. 여기서, mvp_l0는 복호화된 mvp_l0_flag가 지시하는 주변블록의 움직임벡터에 해당할 수 있다.
mv_l0가 도출되면, 영상 복호화 장치는 ref_l0, ref_l1 및 mv_l0를 이용하여 mv_l1을 유도할 수 있다(S730). 유도되는 mv_l1은 mv_l0와 선형 관계를 가지는 움직임벡터에 해당할 수 있다. ref_l0는 영상 부호화 장치로부터 시그널링된 ref_idx_l0에 의해 지시되는 참조픽처이거나, 별도로 정의된 참조픽처일 수 있다. 또한, ref_l1은 영상 부호화 장치로부터 시그널링된 ref_idx_l1에 의해 지시되는 참조픽처이거나, 별도로 정의된 참조픽처일 수 있다.
mv_l1은 아래 수학식 3과 같이 '현재픽처(610)와 ref_l0 사이의 POC 값 차이' 및 '현재픽처(610)와 ref_l1 사이의 POC 값 차이'들 간의 비례 관계를 mv_l0에 적용하여 유도될 수 있다.
Figure PCTKR2019018477-appb-img-000006
수학식 3에서, mvx 1은 mv_l1의 x 성분을 나타내고, mvy 1은 mv_l1의 y 성분을 나타낸다. POC 0는 ref_l0의 POC 값을 나타내고, POC 1은 ref_l1의 POC 값을 나타내며, POC curr은 현재블록(620)이 포함된 현재픽처(610)의 POC 값을 나타낸다. 또한, POC curr - POC 0는 ref_l0와 현재픽처(610) 사이의 POC 값 차이를 나타내고, POC curr - POC 1는 ref_l1과 현재픽처(610) 사이의 POC 값 차이를 나타낸다.
mv_l1이 유도되면, 영상 복호화 장치는 mv_l0가 지시하는 제1참조블록(630)과 mv_l1이 지시하는 제2참조블록(640)을 기반으로 현재블록(620)을 예측할 수 있다(S740).
실시형태에 따라, 본 발명에서 제안하는 다양한 실시예들은 활성/비활성을 지시하는 신택스(예를 들어, linear_MV_coding_enabled_flag) 요소 및/또는 움직임의 선형관계를 나타내는 신택스 요소(예를 들어, linear_MV_coding_flag 또는 linear_MV_coding_idc)를 이용하여 현재블록(620)에 대한 적용 여부가 결정될 수 있다. 여기서, 활성/비활성을 지시하는 신택스 요소는 전술된 인에이블 정보에 해당할 수 있으며, 선형관계를 나타내는 신택스 요소는 전술된 모드정보에 해당할 수 있다.
linear_MV_coding_enabled_flag는 high-level 신택스로서, sequence-level, picture-level, tile group-level, slice-level 중 하나 이상의 위치에서 정의될 수 있다. linear_MV_coding_flag는 복호화 대상에 해당하는 각 블록마다 시그널링될 수 있다.
linear_MV_coding_enabled_flag=1인 경우, 예측 단위 별로 linear_MV_coding_flag를 시그널링하여 본 발명에서 제안하는 실시예들의 적용 여부를 각 블록마다 설정할 수 있다. linear_MV_coding_flag=1이면, motion_info_l1 중 일부 또는 전부가 시그널링되지 않고, 시그널링된 motion_info_l0를 이용하여 유도될 수 있다(제1모드). linear_MV_coding_flag=0이면, motion_info_l1는 종래 방법과 마찬가지로 시그널링될 수 있다(제2모드).
이하에서는, linear_MV_coding_enabled_flag가 high-level에서 기능의 활성화로 정의되고, 각 블록마다 linear_MV_coding_flag가 설정됨을 전제로, 본 발명의 다양한 실시예들에 대해 설명하도록 한다.
실시예 3-1
실시예 3-1은 양방향 예측 시에 motion_info_l1 중 mvp_l1_flag 및 mvd_l1이 전송되지 않고 움직임의 선형 관계를 이용하여 motion_info_l0로부터 유도되는 방법에 해당한다.
제2방향이 L0인 경우, L0 방향의 움직임정보는 움직임의 선형 관계를 이용하여 L1 방향의 mvd, mvp 및 양방향의 참조픽처로부터 유도될 수 있다. 즉, L0 방향의 mvp 정보 및 mvd 정보는 시그널링되지 않는다. 제2방향이 L1인 경우, L1 방향의 움직임정보는 움직임의 선형 관계를 이용하여 L0 방향의 mvd, mvp 및 양방향의 참조픽처로부터 유도될 수 있다. 즉, L1 방향의 mvp 정보 및 mvd 정보는 시그널링되지 않는다.
L1 방향의 움직임벡터가 선형 관계를 이용하여 유도되는 경우(후자의 경우)에 영상 부호화 장치로부터 영상 복호화 장치로 시그널링되는 정보들을 신택스로 표현하면 아래 표 4와 같다.
Figure PCTKR2019018477-appb-img-000007
표 4에 표현된 바와 같이, motion_info_l0가 비트스트림에 포함되어 영상 부호화 장치로부터 영상 복호화 장치로 시그널링될 수 있다. 시그널링되는 motion_info_l0에는 ref_idx_l0, mvd_l0 및 mvp_l0_flag가 포함될 수 있다. ref_idx_l1도 비트스트림에 포함되어 시그널링될 수 있다. 실시예 3-1에서, mv_l1을 유도하기 위한 참조픽처(ref_l0, ref_l1)들은 영상 부호화 장치로부터 시그널링된 ref_idx_l0 및 ref_idx_l0에 의해 지시되는 참조픽처에 해당한다.
motion_info_l0가 복호화되면(S910), 영상 복호화 장치는 복호화된 mvp_l0_flag 및 mvd_l0를 이용하여 mv_l0를 도출 또는 유도할 수 있다(S920). 이 과정에서 수학식 1이 이용될 수 있다. 또한, ref_idx_l1가 비트스트림으로부터 복호화될 수 있다(S930).
영상 복호화 장치는 linear_MV_coding_enabled_flag를 이용하여 움직임벡터 유도 기능의 활성/비활성 여부를 판단할 수 있다(S940). linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 활성을 지시하면, 본 발명에서 제안하는 유도 기능의 적용 여부를 판단하기 위해 linear_MV_coding_flag가 비트스트림으로부터 복호화될 수 있다(S950).
복호화된 linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하는 경우(S960), 영상 복호화 장치는 mv_l0와 mv_l1 사이에 선형관계가 성립함을 전제로 mv_l1을 유도할 수 있다(S970). mv_l1을 유도하는 과정은 양방향 각각의 참조픽처(ref_l0, ref_l1) 및 mv_l0를 수학식 3에 적용하여 구현될 수 있다.
한편, S940 과정에서 linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 비활성을 지시하거나, S960 과정에서 linear_MV_coding_flag가 움직임의 선형관계가 성립함을 지시하지 않으면, mv_l1은 제1모드가 아닌, 제2모드를 통해 도출될 수 있다. 구체적으로, 영상 복호화 장치는 mvp_l1_flag 및 mvd_l1을 비트스트림으로부터 복호화하고(S980, S990), 이들을 이용하여 mv_l1을 유도할 수 있다(S992).
이상에서 설명된 실시예 3-1에 대한 신택스 요소들을 표현하면, 아래 표 5와 같다.
Figure PCTKR2019018477-appb-img-000008
도 9에는 linear_MV_coding_enabled_flag를 판단하는 과정(S940)과 linear_MV_coding_flag를 복호화하고 판단하는 과정(S950, S960)이 ref_idx_l1을 복호화하는 과정(S930) 이후에 수행되는 것으로 표현되어 있으나, S940 과정 내지 S960 과정은 motion_info_l0를 복호화하는 과정(S910) 이전에 수행될 수도 있다.
실시예 3-1을 기반으로 하여 mv_l1을 유도하는 예들이 도 10에 표현되어 있다. 도 10의 (A)와 (B) 각각은 양방향 예측에서 현재픽처(610)와 참조픽처들(ref_l0, ref_l1)이 각각의 POC 값 크기에 따라 가질 수 있는 두 가지 형태를 나타낸다. 후술되는 실시예들은 도 10에 표현된 두 가지 형태 모두에 적용될 수 있다.
도 10 (A)에 표현된 바와 같이, 양방향 예측에는 POC 값을 기준으로 현재픽처(610)가 참조픽처들(ref_l0, ref_l1) 사이에 위치하는 경우((POC 0<POC cur)&(POC cur<POC 1))가 포함될 수 있다. 또한, 도 10 (B)에 표현된 바와 같이, 양방향 예측에는 POC 값을 기준으로 현재픽처(610)의 POC 값이 참조픽처들(ref_l0, ref_l1)의 POC 값들보다 큰 경우((POC 0<POC cur)&(POC 1<POC cur))가 포함될 수 있다. 여기서, POC 0는 ref_l0의 POC 값을 나타내며, POC 1은 ref_l1의 POC 값을 나타내고, POC cur는 현재픽처(610)의 POC 값을 나타낸다.
양방향 예측의 두 가지 형태 모두에서, mv_l0(실선 화살표)와 mv_l1(점선 화살표) 사이에 선형 관계가 성립함을 전제로, mv_l1이 유도될 수 있다. 이 과정에서, mv_l0, 양방향 각각의 참조픽처(ref_l0, ref_l1)들이 이용될 수 있다. mv_l1이 유도되면, mv_l0가 지시하는 참조블록(630)과 유도된 mv_l1이 지시하는 참조블록(640)을 기반으로 현재블록(620)이 예측될 수 있다.
실시예 3-2
실시예 3-2는 움직임의 선형 관계를 기초로 mv_l1을 유도한 후, 이를 보정 또는 조정하는 방법에 해당한다. 실시예 3-2는 움직임의 선형 관계를 기초로 움직임벡터를 유도하는 측면에서는 실시예 3-1과 동일하나, 오프셋정보를 이용하여 mv_l1을를 추가적으로 보정 또는 조정하는 측면에서 실시예 3-1과 차이점을 가진다.
움직임의 보정을 위한 오프셋정보는 mv_l1과 '조정된 mv_l1' 사이의 차이를 나타내는 정보에 해당한다. 이를 달리 표현하면, 오프셋정보는 움직임의 선형 관계를 이용하여 유도된 움직임벡터(mv_l1)와 현재블록의 측정된(실제) 움직임벡터(조정된 mv_l1) 사이의 차이를 나타내는 정보에 해당한다.
오프셋정보에는 오프셋벡터와 오프셋 인덱스가 포함될 수 있다. 오프셋벡터는 mv_l1가 지시하는 위치를 원점으로 하여 '조정된 mv_l1'이 지시하는 위치를 나타내기 위한 정보에 해당한다. 오프셋 인덱스는 오프셋벡터에 해당할 수 있는 후보들을 인덱싱한 정보에 해당한다. 이하에서는 오프셋정보의 두 가지 형태 각각을 별도의 실시예를 통해 설명하도록 한다.
오프셋벡터
motion_info_l0 이외에, 오프셋벡터가 비트스트림에 더 포함되어 시그널링될 수 있다. 전술된 바와 같이, 오프셋벡터는 조정된 mv_l1과 (조정되기 전) mv_l1을 차분한 값에 해당하므로, mvd(motion vector difference)로 표현될 수 있다. 또한, 오프셋벡터는 움직임의 선형 관계를 이용하여 유도된 움직임벡터와 현재블록의 측정된 움직임벡터 사이의 차이에 해당하므로, 종래 방법에서 이용되는 mvd(주변블록의 움직임벡터로부터 유도된 mvp와 현재블록의 mv 사이의 차이)와 구별될 수 있다. 본 실시예에서, 양방향 예측을 위해 영상 부호화 장치로부터 영상 복호화 장치로 시그널링되는 정보들을 신택스로 표현하면 아래 표 6과 같다.
Figure PCTKR2019018477-appb-img-000009
위 표 6에서, mvd_l1은 종래 방법에서 이용되는 mvd 또는 오프셋벡터를 의미할 수 있다. 현재블록(620)에 대하여, 움직임의 선형 관계가 성립하지 않는 경우에는 종래 방법에서 이용되는 mvd가 mvd_l1으로 시그널링되며, 움직임의 선형 관계가 성립하는 경우에는 오프셋벡터가 mvd_l1으로 시그널링될 수 있다.
표 6에 표현된 바와 같이, motion_info_l0가 영상 부호화 장치로부터 영상 복호화 장치로 시그널링될 수 있다. 시그널링되는 motion_info_l0에는 표 6에 표현된 바와 같이 ref_idx_l0, mvd_l0 및 mvp_l0_flag가 포함될 수 있다. ref_idx_l1도 비트스트림에 포함되어 시그널링될 수 있다.
영상 복호화 장치는 시그널링된 참조픽처정보들(ref_idx_l0, ref_idx_l1)에 의해 지시되는 참조픽처들을 mv_l1을 유도하기 위한(현재블록의 예측을 위한) 참조픽처들(ref_l0, ref_l1)로 설정한다.
motion_info_l0가 복호화되면(S1110), 영상 복호화 장치는 mvp_l0_flag 및 mvd_l0를 이용하여 mv_l0를 도출 또는 유도할 수 있다(S1120). 이 과정에서 수학식 1이 이용될 수 있다. 또한, 영상 복호화 장치는 ref_idx_l1와 mvd_l1을 비트스트림으로부터 복호화할 수 있다(S1130, S1140). 여기서, mvd_l1은 선형 관계의 성립 여부에 따라, 종래 방법의 mvd 및 오프셋벡터 중 어느 하나에 해당할 수 있다.
영상 복호화 장치는 linear_MV_coding_enabled_flag를 이용하여 움직임벡터 유도 기능의 활성/비활성 여부를 판단할 수 있다(S1150). linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 활성을 지시하면, linear_MV_coding_flag가 비트스트림으로부터 복호화될 수 있다(S1160).
linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하는 경우(S1170), 영상 복호화 장치는 움직임의 선형 관계가 성립함을 전제로 mv_l1을 유도할 수 있다(S1180). 이 과정은 참조픽처들(ref_l0, ref_l1) 및 mv_l0를 수학식 3에 적용하여 구현될 수 있다.
영상 복호화 장치는 유도된 mv_l1에 오프셋벡터(mvd_l1)를 적용하여 mv_l1를 조정 또는 보정할 수 있다(S1182). 구체적으로, mv_l1이 지시하는 위치를 원점으로 하여, 오프셋벡터(mvd_l1)가 지시하는 위치로 이동함으로써 mv_l1이 조정될 수 있다. 이를 다시 설명하면, 유도된 mv_l1을 제2방향의 예측움직임벡터(mvp)로 가정하고, 가정된 예측움직임벡터에 오프셋벡터(mvd_l1)를 적용하여 mv_l1을 조정하는 것으로 이해될 수 있다.
한편, S1150 과정에서 linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 비활성을 지시하거나, S1170 과정에서 linear_MV_coding_flag가 움직임의 선형관계가 성립함을 지시하지 않으면, 영상 복호화 장치는 본 발명에서 제안하는 유도 방법이 아닌, 종래 방법을 통해 mv_l1을 유도할 수 있다. 구체적으로, 영상 복호화 장치는 mvp_l1_flag를 복호화하고(S1190), mvp_l1_flag가 지시하는 mvp_l1와 S1140 과정에서 복호화된 mvd_l1을 합산하여 mv_l1을 유도할 수 있다(S1192). 여기서, mvd_l1은 종래 방법에서 이용되는 mvd에 해당한다.
이상에서 설명된 실시예에 대한 신택스 요소들을 표현하면, 아래 표 7과 같다.
Figure PCTKR2019018477-appb-img-000010
도 11에는 linear_MV_coding_enabled_flag를 판단하는 과정(S1150)과 linear_MV_coding_flag를 복호화하고 판단하는 과정(S1160, S1170)이 mvd_l1을 복호화하는 과정(S1140) 이후에 수행되는 것으로 표현되어 있으나, S1150 과정 내지 S1170 과정은 motion_info_l0를 복호화하는 과정(S1110) 이전에 수행될 수도 있다.
본 실시예를 기반으로 mv_l1을 유도하는 일 예가 도 12에 도시되어 있다. 도 12에 표현된 바와 같이, mv_l0(실선 화살표)와 mv_l1(일점 쇄선 화살표) 사이에 선형 관계가 성립함을 전제로, mv_l1이 유도될 수 있다.
또한, 유도된 mv_l1을 예측움직임벡터로 가정하고, mv_l1으로부터 오프셋벡터(mvd_l1)가 지시하는 방향과 크기에 따라 이동하여 mv_l1이 조정될 수 있다. mv_l0가 지시하는 참조블록(630)과 조정된 제2움직임벡터(mv A_l1)가 지시하는 참조블록(640)을 기반으로 현재블록(620)이 예측될 수 있다.
오프셋 인덱스
motion_info_l0 이외에, 오프셋 인덱스가 비트스트림에 더 포함되어 시그널링될 수 있다. 전술된 바와 같이, 오프셋 인덱스는 미리 설정된 하나 이상의 오프셋벡터 후보들(오프셋벡터에 해당할 수 있는 후보들) 중 어느 하나를 지시하는 인덱스에 해당한다.
본 실시예에서, 양방향 예측을 위해 영상 부호화 장치로부터 영상 복호화 장치로 시그널링되는 정보들을 신택스로 표현하면 아래 표 8과 같다.
Figure PCTKR2019018477-appb-img-000011
위 표 8에서, mv_offset은 오프셋 인덱스에 해당하는 신택스 요소를 나타낸다. motion_info_l0가 비트스트림에 포함되어 영상 부호화 장치로부터 영상 복호화 장치로 시그널링될 수 있다. 시그널링되는 motion_info_l0에는 표 8에 표현된 바와 같이 ref_idx_l0, mvd_l0 및 mvp_l0_flag가 포함될 수 있다. ref_idx_l1도 비트스트림에 포함되어 시그널링될 수 있다. 영상 복호화 장치는 시그널링된 참조픽처정보들(ref_idx_l0, ref_idx_l1)에 의해 지시되는 참조픽처들을 mv_l1을 유도하기 위한 참조픽처들(ref_l0, ref_l1)로 설정한다.
motion_info_l0가 복호화되면(S1310), 영상 복호화 장치는 motion_info_l0에 포함된 mvp_l0_flag 및 mvd_l0를 이용하여 mv_l0를 도출 또는 유도할 수 있다(S1320). 이 과정에서 수학식 1이 이용될 수 있다. 또한, 영상 복호화 장치는 ref_idx_l1을 복호화할 수 있다(S1330).
영상 복호화 장치는 linear_MV_coding_enabled_flag를 분석하여 움직임벡터 유도 기능의 활성/비활성 여부를 판단할 수 있다(S1340). linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 활성을 지시하면, linear_MV_coding_flag가 비트스트림으로부터 복호화될 수 있다(S1350).
linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하는 경우(S1360), 영상 복호화 장치는 오프셋 인덱스(mv_offset)를 복호화하며(S1370), mv_l0와 mv_l1 사이에 선형 관계가 성립함을 전제로 mv_l1을 유도할 수 있다(S1380). 이 과정(S1380)은 mv_l0, 양방향의 참조픽처들(ref_l0, ref_l1)을 수학식 3에 적용하여 구현될 수 있다.
영상 복호화 장치는 유도된 mv_l1에 오프셋 인덱스(mv_offset)가 지시하는 오프셋벡터 후보를 적용하여 mv_l1을 조정 또는 보정할 수 있다(S1382). 구체적으로, 오프셋 인덱스(mv_offset)가 지시하는 오프셋벡터 후보를 mv_l1에 가산함으로써 mv_l1이 조정될 수 있다. 이를 다시 설명하면, 유도된 mv_l1을 제2방향의 예측움직임벡터(mvp)로 가정하고, 가정된 예측움직임벡터에 오프셋 인덱스(mv_offset)가 지시하는 오프셋벡터 후보를 적용하여 mv_l1을 조정하는 것으로 이해될 수 있다.
한편, S1340 과정에서 linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 비활성을 지시하거나, S1360 과정에서 linear_MV_coding_flag가 움직임의 선형관계가 성립함을 지시하지 않으면, 본 발명에서 제안하는 유도 방법이 아닌, 종래 방법을 통해 mv_l1이 유도될 수 있다. 구체적으로, 영상 복호화 장치는 mvd_l1 및 mvp_l1_flag를 비트스트림으로부터 복호화하고(S1390, S1392), mvp_l1_flag가 지시하는 mvp_l1과 mvd_l1을 합산하여 mv_l1을 유도할 수 있다(S1394).
이상에서 설명된 실시예에 대한 신택스 요소들을 표현하면, 아래 표 9와 같다.
Figure PCTKR2019018477-appb-img-000012
도 13에는 linear_MV_coding_enabled_flag를 판단하는 과정(S1340)과 linear_MV_coding_flag를 복호화하고 판단하는 과정(S1350, S1360)이 ref_idx_l1을 복호화하는 과정(S1330) 이후에 수행되는 것으로 표현되어 있으나, S1340 과정 내지 S1360 과정은 motion_info_l0를 복호화하는 과정(S1310) 이전에 수행될 수도 있다.
본 실시예에서 이용되는 오프셋벡터 후보들의 다양한 형태가 도 14에 도시되어 있다. 도 14 (a)는 4-point 오프셋의 움직임이 허용되는 경우의 오프셋벡터 후보들(내부가 비워진 원)을 나타낸다. 내부가 채워진 원은 움직임의 선형관계를 기반으로 유도되는 mv_l1을 나타낸다. 4-point 오프셋의 움직임이 허용되는 경우, 2-bit fixed length(FL)의 오프셋 인덱스를 이용하여 오프셋벡터 후보들 중 어느 하나를 지시할 수 있다.
도 14 (b)는 8-point 오프셋의 움직임이 허용되는 경우의 오프셋벡터 후보들을 나타낸다. 4-point 오프셋벡터 후보들에 4개의 오프셋벡터 후보들(세로 방향의 패턴으로 채워진 원)을 추가하여 8-point 오프셋벡터 후보들을 표현할 수 있다. 8-point 오프셋의 움직임이 허용되는 경우, 3-bit FL의 오프셋 인덱스를 이용하여 오프셋벡터 후보들 중 어느 하나를 지시할 수 있다.
도 14 (c)는 16-point 오프셋의 움직임이 허용되는 경우의 오프셋벡터 후보들을 나타낸다. 8-point 오프셋벡터 후보들에 8개의 오프셋벡터 후보들(가로 방향의 패턴으로 채워진 원)을 추가하여 16-point 오프셋벡터 후보들을 표현할 수 있다. 16-point 오프셋의 움직임이 허용되는 경우, 4-bit FL의 오프셋 인덱스를 이용하여 오프셋벡터 후보들 중 어느 하나를 지시할 수 있다.
도 14 (d)는 16-point 오프셋의 움직임이 허용되는 경우의 또 다른 예를 나타낸다. 가로 방향의 패턴으로 채워진 8-point 오프셋벡터 후보들과 사선 방향의 패턴으로 채워진 8-point 오프셋벡터 후보들을 결합하여 16-point 오프셋벡터 후보들을 표현할 수 있다. 16-point 오프셋의 움직임이 허용되는 경우, 4-bit FL의 오프셋 인덱스를 이용하여 오프셋벡터 후보들 중 어느 하나를 지시할 수 있다.
도 14를 통해 설명된 오프셋벡터 후보들의 다양한 형태들 중 어느 형태를 설정할지는 picture-level header, tile group header, tile header 및/또는 CTU header 중 하나 이상의 위치에서 결정 또는 정의될 수 있다. 즉, 영상 부호화 장치로부터 시그널링되는 정보(식별정보)를 이용하여 오프셋벡터 후보의 형태가 결정될 수 있으며, 식별정보는 위에서 설명된 다양한 위치에서 정의될 수 있다. 식별정보에 의해 오프셋벡터 후보들의 다양한 형태들 중 어느 하나가 결정 또는 식별되므로, 식별정보에 의해 오프셋벡터 후보들의 개수, 후보들 각각의 크기 및 후보들 각각의 방향이 결정될 수 있다.
또한, 오프셋벡터 후보들의 다양한 형태들 중 어느 형태를 설정할지는 영상 부호화 장치와 영상 복호화 장치에서 동일한 규칙을 이용하여 미리 결정될 수도 있다.
실시예 4
실시예 4는 움직임의 가로 방향과 세로 방향 중, 선형관계가 성립하는 방향은 시그널링 없이 motion_info_l0를 이용하여 유도하고, 선형관계가 성립하지 않는 방향은 추가적으로 시그널링되는 정보(오프셋정보)를 이용하여 조정하는 방법에 해당한다.
예를 들어, 움직임의 가로축 성분에 대해서만 선형 관계가 성립하는 경우, 가로축에 대해서는 유도된 mv_l1을 그대로 이용하되, 선형 관계가 성립하지 않는 세로축에 대해서는 추가적으로 시그널링되는 오프셋정보를 적용하여 조정한다. 다른 예로, 움직임의 세로축 성분에 대해서만 선형 관계가 성립하는 경우, 세로축에 대해서는 유도된 mv_l1을 그대로 이용하되, 선형 관계가 성립하지 않는 가로축에 대해서는 추가적으로 시그널링되는 오프셋정보를 적용하여 조정한다.
실시예 4는 전술된 실시예 3-1 및 실시예 3-2 각각과 결합된 형태로 구현될 수 있다. 이하에서는, 실시예 4가 실시예 3-1과 결합된 형태 및 실시예 4가 실시예 3-2와 결합된 형태를 구분하여 설명하도록 한다.
실시예 4-1
실시예 4-1은 실시예 4와 실시예 3-1이 결합된 형태에 해당한다. 본 실시예에서, 양방향 예측을 위해 영상 부호화 장치로부터 영상 복호화 장치로 시그널링되는 정보들을 신택스로 표현하면 아래 표 10과 같다.
Figure PCTKR2019018477-appb-img-000013
표 10에서, mvd_l1은 오프셋정보(오프셋벡터) 또는 종래 방법의 mvd를 의미할 수 있다. 예를 들어, 가로축 성분의 선형 관계가 성립하지 않는 경우에 mvd_l1은 가로축 성분에 대한 오프셋벡터이며, 세로축 성분의 선형 관계가 성립하지 않는 경우에 mvd_l1은 세로축 성분에 대한 오프셋벡터일 수 있다. 또한, 가로축 성분 및 세로축 성분 모두 선형 관계가 성립하지 않는 경우에 mvd_l1은 종래 방법의 mvd일 수 있다. 만약, 가로축 성분 및 세로축 성분 모두 선형 관계가 성립하는 경우에는 mvd_l1이 시그널링되지 않는다.
motion_info_l0가 비트스트림에 포함되어 영상 부호화 장치로부터 영상 복호화 장치로 시그널링될 수 있다. 시그널링되는 motion_info_l0에는 ref_idx_l0, mvd_l0 및 mvp_l0_flag가 포함될 수 있다. ref_idx_l1도 비트스트림에 포함되어 시그널링될 수 있다. 영상 복호화 장치는 시그널링된 참조픽처정보들(ref_idx_l0, ref_idx_l1)에 의해 지시되는 참조픽처들을 mv_l1을 유도하기 위한 참조픽처들(ref_l0, ref_l1)로 설정한다.
motion_info_l0가 복호화되면(S1510), 영상 복호화 장치는 mvp_l0_flag 및 mvd_l0를 이용하여 mv_l0를 도출 또는 유도할 수 있다(S1520). 이 과정에서 수학식 1이 이용될 수 있다. 또한, 영상 복호화 장치는 ref_idx_l1을 비트스트림으로부터 복호화할 수 있다(S1530).
영상 복호화 장치는 linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 활성을 지시하면(S1540), linear_MV_coding_idc를 비트스트림으로부터 복호화한다(S1550). 여기서, linear_MV_coding_idc는 움직임의 선형 관계 여부를 나타내는 정보로서, 이 정보를 이용하여 움직임의 가로축 성분 및 세로축 성분 중에 선형 관계가 성립하는 성분을 지시할 수 있다.
linear_MV_coding_idc=none이면(S1560), 두 성분 모두에 대해 선형 관계가 성립하지 않으므로, 종래 방법대로 mvp_l1_flag 및 mvd_l1이 시그널링된다. 따라서, 영상 복호화 장치는 mvp_l1_flag 및 mvd_l0를 비트스트림으로부터 복호화하며(S1562), 복호화된 정보들을 이용하여 mv_l1을 유도할 수 있다(S1564). S1540 과정에서 linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 활성을 지시하지 않는 경우에도 영상 복호화 장치는 복호화된 mvp_l1_flag 및 mvd_l1을 이용하여 mv_l1을 유도할 수 있다(S1562, S1564).
linear_MV_coding_idc=x이면(S1570), 가로축 성분(x)만 선형 관계가 성립하므로, 선형 관계가 성립하지 않는 세로축 성분(y)에 대한 오프셋벡터(mvd_l1, y)가 시그널링된다. 따라서, 영상 복호화 장치는 세로축 성분에 대한 오프셋벡터(mvd_l1, y)를 복호화하며(S1572), 선형 관계를 이용하여 mv_l1을 유도한다. 또한, 영상 복호화 장치는 유도된 mv_l1에 세로축 성분에 대한 오프셋벡터(mvd_l1, y)를 적용하여 mv_l1을 조정할 수 있다(S1576).
영상 복호화 장치는 가로축 성분에 대해서는 '유도된 mv_l1'을 그대로 이용하고, 세로축 성분 대해서는 조정된 제2움직임벡터(mv A_l1)를 이용할 수 있다. 유도된 mv_l1의 가로축 성분과 조정된 제2움직임벡터(mv A_l1)의 가로축 성분은 동일할 수 있다.
linear_MV_coding_idc=y이면(S1580), 세로축 성분만 선형 관계가 성립하므로, 선형 관계가 성립하지 않는 가로축 성분에 대한 오프셋벡터(mvd_l1, x)가 시그널링된다. 따라서, 영상 복호화 장치는 가로축 성분에 대한 오프셋벡터(mvd_l1, x)를 복호화하며(S1582), 선형 관계를 이용하여 유도된(S1584) mv_l1에 가로축 성분에 대한 오프셋벡터(mvd_l1, x)를 적용하여 mv_l1을 조정할 수 있다(S1586).
영상 복호화 장치는 세로축 성분에 대해서는 '유도된 mv_l1'을 그대로 이용하고, 가로축 성분 대해서는 조정된 제2움직임벡터(mv A_l1)를 이용할 수 있다. 유도된 mv_l1의 세로축 성분과 조정된 제2움직임벡터(mv A_l1)의 세로축 성분은 동일할 수 있다.
linear_MV_coding_idc=(x&y)이면(S1580), 가로축 성분 및 세로축 성분 모두에 대해 선형 관계가 성립하므로, mvd_l1(오프셋정보 또는 제2방향의 mvd 정보)이 시그널링되지 않는다. 이 경우, 영상 복호화 장치는 motion_info_l0와 ref_idx_l1을 이용하여 mv_l1을 유도한다(S1590).
실시예 4-1에 대한 신택스 요소들을 표현하면, 아래 표 11과 같다.
Figure PCTKR2019018477-appb-img-000014
도 15에는 linear_MV_coding_enabled_flag를 판단하는 과정(S1540)과 linear_MV_coding_idc를 복호화하고 판단하는 과정(S1550 내지 S1580)이 ref_idx_l1을 복호화하는 과정(S1530) 이후에 수행되는 것으로 표현되어 있으나, S1540 과정 내지 S1580 과정은 motion_info_l0를 복호화하는 과정(S1510) 이전에 수행될 수도 있다.
실시예 4-2
실시예 4-2는 실시예 4와 실시예 3-2가 결합된 형태에 해당한다. 본 실시예에서, 양방향 예측을 위해 영상 부호화 장치로부터 영상 복호화 장치로 시그널링되는 정보들을 신택스로 표현하면 위에서 설명된 표 10과 같다.
표 10에서, mvd_l1은 오프셋정보(오프셋벡터) 또는 종래 방법의 mvd를 의미할 수 있다. 예를 들어, 가로축 성분의 선형 관계가 성립하지 않는 경우에 mvd_l1은 가로축 성분에 대한 오프셋벡터이며, 세로축 성분의 선형 관계가 성립하지 않는 경우에 mvd_l1은 세로축 성분에 대한 오프셋벡터일 수 있다. 또한, 가로축 성분 및 세로축 성분 모두 선형 관계가 성립하지 않는 경우에 mvd_l1은 종래 방법의 mvd일 수 있다. 만약, 가로축 성분 및 세로축 성분 모두 선형 관계가 성립하는 경우에는 mvd_l1은 두 성분 모두에 대한 오프셋벡터일 수 있다.
motion_info_l0가 비트스트림에 포함되어 영상 부호화 장치로부터 영상 복호화 장치로 시그널링될 수 있다. 시그널링되는 motion_info_l0에는 ref_idx_l0, mvd_l0 및 mvp_l0_flag가 포함될 수 있다. ref_idx_l1도 비트스트림에 포함되어 시그널링될 수 있다. 영상 복호화 장치는 시그널링된 참조픽처정보들(ref_idx_l0, ref_idx_l1)에 의해 지시되는 참조픽처들을 mv_l1을 유도하기 위한 참조픽처들(ref_l0, ref_l1)로 설정한다.
motion_info_l0가 복호화되면(S1610), 영상 복호화 장치는 mvp_l0_flag 및 mvd_l0를 이용하여 mv_l0를 도출 또는 유도할 수 있다(S1620). 이 과정에서 수학식 1이 이용될 수 있다. 또한, 영상 복호화 장치는 ref_idx_l1를 비트스트림으로부터 복호화할 수 있다(S1630).
linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 활성을 지시하면(S1640), 영상 복호화 장치는 linear_MV_coding_idc를 비트스트림으로부터 복호화한다(S1650).
linear_MV_coding_idc=none이면(S1660), 두 성분 모두에 대해 선형 관계가 성립하지 않으므로, 종래 방법대로 mvp_l1_flag 및 mvd_l1이 시그널링된다. 따라서, 영상 복호화 장치는 mvp_l1_flag 및 mvd_l1을 비트스트림으로부터 복호화하며(S1662), 복호화된 정보들을 이용하여 mv_l1을 유도할 수 있다(S1664). S1640 과정에서 linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 활성을 지시하지 않는 경우에도, 영상 복호화 장치는 복호화된 mvp_l1_flag 및 mvd_l1을 이용하여 mv_l1을 유도할 수 있다(S1662, S1664).
linear_MV_coding_idc=x이면(S1670), 가로축 성분만 선형 관계가 성립하므로, 선형 관계가 성립하지 않는 세로축 성분에 대한 오프셋벡터(mvd_l1, y)가 시그널링된다. 따라서, 영상 복호화 장치는 세로축 성분에 대한 오프셋벡터(mvd_l1, y)를 복호화하며(S1672), 선형 관계를 이용하여 mv_l1을 유도한다(S1674). 또한, 영상 복호화 장치는 유도된 mv_l1에 세로축 성분에 대한 오프셋벡터(mvd_l1, y)를 적용하여 mv_l1을 조정할 수 있다(S1676).
영상 복호화 장치는 가로축 성분에 대해서는 '유도된 mv_l1'을 그대로 이용하고, 세로축 성분 대해서는 조정된 제2움직임벡터(mv A_l1)를 이용할 수 있다. 유도된 mv_l1의 가로축 성분과 조정된 제2움직임벡터(mv A_l1)의 가로축 성분은 동일할 수 있다.
linear_MV_coding_idc=y이면(S1680), 세로축 성분만 선형 관계가 성립하므로, 선형 관계가 성립하지 않는 가로축 성분에 대한 오프셋벡터(mvd_l1, x)가 시그널링된다. 따라서, 영상 복호화 장치는 가로축 성분에 대한 오프셋벡터(mvd_l1, x)를 복호화하며(S1682), 선형 관계를 이용하여 유도된(S1684) mv_l1에 가로축 성분에 대한 오프셋벡터(mvd_l1, x)를 적용하여 mv_l1을 조정할 수 있다(S1686).
영상 복호화 장치는 세로축 성분에 대해서는 '유도된 mv_l1'을 그대로 이용하고, 가로축 성분 대해서는 조정된 제2움직임벡터(mv A_l1)를 이용할 수 있다. 유도된 mv_l1의 세로축 성분과 조정된 제2움직임벡터(mv A_l1)의 세로축 성분은 동일할 수 있다.
linear_MV_coding_idc=(x&y)이면(S1680), 가로축 성분 및 세로축 성분 모두에 대해 선형 관계가 성립하므로, 가로축 성분 및 세로축 성분 모두에 대한 오프셋벡터(mvd_l1, x and y)가 시그널링된다. 따라서, 영상 복호화 장치는 가로축 성분 및 세로축 성분 모두에 대한 오프셋벡터(mvd_l1, x and y)를 비트스트림으로부터 복호화하며(S1690), 선형 관계를 이용하여 유도된(S1692) mv_l1에 오프셋벡터(mvd_l1, x and y)를 적용하여 mv_l1을 조정할 수 있다(S1694).
실시예 4-2에 대한 신택스 요소들을 표현하면, 아래 표 12와 같다.
Figure PCTKR2019018477-appb-img-000015
도 16에는 linear_MV_coding_enabled_flag를 판단하는 과정(S1640)과 linear_MV_coding_idc를 복호화하고 판단하는 과정(S1650 내지 S1680)이 ref_idx_l1을 복호화하는 과정(S1630) 이후에 수행되는 것으로 표현되어 있으나, S1640 과정 내지 S1680 과정은 motion_info_l0를 복호화하는 과정(S1610) 이전에 수행될 수도 있다.
실시예 4를 기반으로 mv_l1을 유도하는 일 예가 도 17에 도시되어 있다. 도 17에 도시된 일 예는 세로축 성분에 대한 선형 관계가 성립하는 예에 해당한다.
도 17에 표현된 바와 같이, mv_l0(실선 화살표)와 mv_l1(일점 쇄선 화살표) 사이에 선형 관계가 성립함을 전제로, mv_l1이 유도될 수 있다.
가로축 성분에 대해 선형 관계가 성립하지 않으므로, 유도된 mv_l1로부터 가로축 방향으로 오프셋벡터(mvd_l1)가 지시하는 크기에 따라 이동하여 mv_l1가 조정될 수 있다. 세로축 성분에 대해서는 mv_l1 값을 그대로 적용하고 가로축 성분에 대해서는 조정된 제2움직임벡터(mv A_l1)를 적용하여 제2방향에 대한 최종적인 움직임벡터(mv A_l1)를 유도할 수 있다. mv_l0가 지시하는 참조블록(630)과 조정된 제2움직임벡터(mv A_l1)가 지시하는 참조블록(640)을 기반으로 현재블록(620)이 예측될 수 있다.
실시예 5
실시예 5는 미리 설정된 참조픽처들을 mv_l1을 유도하기 위한 참조픽처들로 이용하는 방법에 해당한다. 미리 설정된 참조픽처들이란, 움직임의 선형 관계가 성립하는 경우에 이용하도록 미리 설정된 참조픽처들을 의미한다.
실시예 5에서는 참조픽처정보(ref_idx_l0 및 ref_idx_l1)가 블록 단위로 시그널링되지 않고, 상위 레벨에서 시그널링될 수 있다. 여기서, 상위 레벨은 picture-level header, tile group-level header, slice header, tile header 및/또는 CTU header 중 하나 이상에 해당할 수 있다. 미리 정의된 참조픽처들은 '대표 참조픽처' 또는 '선형용 참조픽처'로 지칭될 수 있으며, 상위 레벨에서 시그널링되는 참조픽처정보들은 '대표 참조픽처정보' 또는 '선형용 참조픽처정보'로 지칭될 수 있다. 움직임의 선형 관계가 성립하는 경우에는 미리 정의된 선형용 참조픽처를 블록 단위에서 사용하게 된다.
tile group header에서 시그널링되는 선형용 참조픽처정보가 아래 표 13에 표현되어 있다.
Figure PCTKR2019018477-appb-img-000016
표 13에서, linear_ref_idx_l0 및 linear_ref_idx_l1 각각은 양방향 각각에 대해 시그널링되는 선형용 참조픽처정보를 나타낸다.
기존 방식대로 각 블록 별로 참조픽처정보를 시그널링하여 참조픽처를 지정하거나 본 발명에서 제안하는 방법에 의해 선형용 참조픽처를 지정하는 방법에 대한 일 예가 도 18에 도시되어 있다.
선형용 참조픽처정보(linear_ref_idx_l0, linear_ref_idx_l1)가 상위 레벨을 통해 영상 부호화 장치로부터 영상 복호화 장치로 시그널링될 수 있다. 영상 복호화 장치는 시그널링된 선형용 참조픽처정보(linear_ref_idx_l0, linear_ref_idx_l1)가 지시하는 참조픽처를 참조픽처리스트 내에서 선택 또는 선별함으로써 선형용 참조픽처(linear_ref_l0, linear_ref_l1)를 설정할 수 있다.
linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 활성을 지시하면(S1810), 영상 복호화 장치는 linear_MV_coding_flag를 비트스트림으로부터 복호화할 수 있다(S1820).
linear_MV_coding_flag가 움직임의 선형관계가 성립함을 지시하면(S1830), 영상 복호화 장치는 미리 설정된 선형용 참조픽처(linear_ref_l0, linear_ref_l1)를 이용하여 mv_l1의 유도를 위한 참조픽처(ref_l0, ref_l1)를 유도할 수 있다(S1840, S1850). 즉, 미리 설정된 선형용 참조픽처(linear_ref_l0, linear_ref_l1)가 참조픽처(ref_l0, ref_l1)로 설정될 수 있다.
이와 달리, S1810 과정에서 linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 활성을 지시하지 않거나, S1830 과정에서 linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하지 않는 경우, 참조픽처정보(ref_idx_l0, ref_idx_l1)가 시그널링될 수 있다. 영상 복호화 장치는 참조픽처정보(ref_idx_l0, ref_idx_l1)를 복호화하고(S1860, S1870), 이들을 이용하여 참조픽처를 설정할 수 있다.
본 발명에서 제안하는 참조픽처 설정 방법은 전술된 실시예들과 결합된 형태로 구현될 수 있다. 도 19에는 본 발명에서 제안하는 참조픽처 설정 방법과 전술된 실시예 3-1이 결합된 형태가 표현되어 있다.
제1방향에 대하여, linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 활성을 지시하는 경우(S1910)에 linear_MV_coding_flag가 복호화된다(S1920). linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하면, 미리 설정된 선형용 참조픽처(linear_ref_l0)가 참조픽처(ref_l0)로 유도될 수 있다(S1940). 이와 달리, linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 활성을 지시하지 않거나, linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하지 않으면, 비트스트림으로부터 복호화된(S1962) 참조픽처정보(ref_idx_l0)를 이용하여 참조픽처(ref_l0)가 설정될 수 있다.
제1방향에 대한 참조픽처의 유도 또는 설정이 완료되면, mvd_l0 및 mvp_l0_flag가 복호화되며(S1950), 복호화된 정보들을 이용하여 mv_l0가 도출될 수 있다(S1960).
제2방향에 대하여, linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하면(S1970), 미리 설정된 선형용 참조픽처(linear_ref_l1)를 이용하여 참조픽처(ref_l1)가 유도 또는 설정될 수 있다(S1972). 이와 달리, linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하지 않으면, 비트스트림으로부터 복호화된(S1974) 참조픽처정보(ref_idx_l1)를 이용하여 참조픽처(ref_l1)가 설정될 수 있다.
제2방향에 대한 참조픽처의 유도 또는 설정이 완료되면, linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하는 경우(S1980)에 mv_l0와 선형 관계를 가지는 mv_l1이 유도될 수 있다(S1982). 이와 달리, linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하지 않는 경우(S1980)에는, 비트스트림으로부터 복호화된(S1990, S1992) mvd_l1 및 mvp_l1_flag를 이용하여 mv_l1이 도출될 수 있다(S1994).
도 19를 통해 설명된 실시예에 대한 신택스 요소들을 표현하면, 아래 표 14와 같다.
Figure PCTKR2019018477-appb-img-000017
도 20에는 본 발명에서 제안하는 참조픽처 설정 방법과 전술된 실시예 3-2가 결합된 형태가 표현되어 있다.
제1방향에 대하여, linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 활성을 지시하는 경우(S2010)에, linear_MV_coding_flag가 복호화된다(S2020). linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하는 경우(S2030), 미리 설정된 선형용 참조픽처(linear_ref_l0)를 이용하여 참조픽처(ref_l0)가 유도 또는 설정될 수 있다(S2040). 이와 달리, linear_MV_coding_enabled_flag가 움직임벡터 유도 기능의 활성을 지시하지 않거나(S2010), linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하지 않는 경우(S2030), 비트스트림으로부터 복호화된(S2062) 참조픽처정보(ref_idx_l0)를 이용하여 참조픽처(ref_l0)가 설정될 수 있다.
제1방향에 대한 참조픽처의 유도 또는 설정이 완료되면, mvd_l0 및 mvp_l0_flag가 복호화되며(S2050), 복호화된 정보들을 이용하여 mv_l0가 도출될 수 있다(S2060).
제2방향에 대하여, linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하는 경우(S2070)에 미리 설정된 선형용 참조픽처(linear_ref_l1)를 이용하여 참조픽처(ref_l1)가 유도 또는 설정될 수 있다(S2072). 이와 달리, linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하지 않는 경우에는 비트스트림으로부터 복호화된(S2074) 참조픽처정보(ref_idx_l1)를 이용하여 참조픽처(ref_l1)가 설정될 수 있다.
제2방향에 대한 참조픽처의 유도 또는 설정이 완료되면, mvd_l1이 비트스트림으로부터 복호화되는 데(S2080), mvd_l1은 실시예 3-2에서와 마찬가지로 오프셋벡터 또는 종래 방법의 mvd 중 어느 하나에 해당할 수 있다.
linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하는 경우(S2090)에 mv_l0와 선형 관계를 가지는 mv_l1이 유도되며(S2092), 유도된 mv_l1에 오프셋벡터(mvd_l1)를 적용하여 mv_l1이 조정될 수 있다(S2094). 이와 달리, linear_MV_coding_flag가 움직임의 선형 관계가 성립함을 지시하지 않는 경우(S2090)에는 비트스트림으로부터 복호화된(S2096) mvp_l1_flag를 이용하여 mv_l1이 도출될 수 있다(S2098). 이 과정에서 mvp_l1_flag가 지시하는 mvp_l1과 복호화된 mvd_l1(종래 방법의 mvd)가 이용될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은, 본 명세서에 그 전체가 참고로서 포함되는, 2018년 12월 27일에 한국에 출원한 특허출원번호 제10-2018-0171254호 및, 2019년 8월 28일에 한국에 출원한 특허출원번호 제10-2019-0105769호에 대해 우선권을 주장한다.

Claims (20)

  1. 복수의 양방향 예측 모드 중 어느 하나를 이용하여 현재블록을 인터 예측하는 방법에 있어서,
    상기 복수의 양방향 예측 모드에 포함되는 제1모드가 상기 현재블록에 적용되는지 여부를 지시하는 모드정보를 비트스트림으로부터 복호화하는 단계;
    상기 모드정보가 적용됨을 지시하는 경우, 차분움직임벡터 정보 및 예측움직임벡터 정보를 포함하는 제1움직임정보와, 차분움직임벡터 정보 및 예측움직임벡터 정보 중 적어도 일부를 포함하지 않는 제2움직임정보를 상기 비트스트림으로부터 복호화하는 단계;
    상기 제1움직임정보에 기반하여 제1움직임벡터를 유도하고, 상기 제1움직임정보 중 적어도 일부와 상기 제2움직임정보에 기반하여 제2움직임벡터를 유도하는 단계; 및
    제1참조픽처 내에서 상기 제1움직임벡터에 의해 지시되는 참조블록 및 제2참조픽처 내에서 상기 제2움직임벡터에 의해 지시되는 참조블록을 이용하여, 상기 현재블록을 예측하는 단계를 포함하는 양방향 예측 방법.
  2. 제1항에 있어서,
    상기 움직임정보를 복호화하는 단계는,
    상기 모드정보가 적용되지 않음을 지시하는 경우, 차분움직임벡터 정보 및 예측움직임벡터 정보를 포함하는 제3움직임정보와, 상기 제1움직임정보를 상기 비트스트림으로부터 복호화하고,
    상기 움직임벡터를 유도하는 단계는,
    상기 제1움직임정보에 기반하여 상기 제1움직임벡터를 유도하고, 상기 제3움직임정보에 기반하여 상기 제2움직임벡터를 유도하는 양방향 예측 방법.
  3. 제1항에 있어서,
    상기 제1모드가 활성되는지 여부를 지시하는 인에이블(enabled) 정보를 상기 비트스트림으로부터 복호화하는 단계를 더 포함하고,
    상기 모드정보는,
    상기 인에이블 정보가 활성됨을 지시하는 경우에 복호화되며,
    상기 인에이블 정보가 활성됨을 지시하지 않는 경우에, 상기 제1모드가 적용되지 않음을 지시하도록 설정되는 양방향 예측 방법.
  4. 제3항에 있어서,
    상기 인에이블 정보는,
    하이 레벨 신택스(high level syntax)로부터 복호화되는 양방향 예측 방법.
  5. 제1항에 있어서,
    상기 제1 및 제2참조픽처는,
    상기 현재블록보다 상위 레벨에서 결정되며,
    상기 상위 레벨은,
    픽처 레벨, 타일 그룹 레벨, 슬라이스 레벨, 타일 레벨 및 코딩 트리 유닛 레벨 중 하나 이상을 포함하는 양방향 예측 방법.
  6. 제1항에 있어서,
    상기 제1 및 제2참조픽처는,
    참조픽처 리스트에 포함된 참조픽처들과 현재픽처와의 POC(picture order count) 차이를 근거로 결정되는 양방향 예측 방법.
  7. 제1항에 있어서,
    상기 유도하는 단계 후, 상기 비트스트림에 포함된 오프셋(offset) 정보를 상기 제2움직임벡터에 적용하여 상기 제2움직임벡터를 조정하는 단계를 더 포함하고,
    상기 예측하는 단계는,
    상기 제2참조픽처 내에서 상기 조정된 제2움직임벡터에 의해 지시되는 참조블록 및 상기 제1참조픽처 내에서 상기 제1움직임벡터에 의해 지시되는 참조블록을 이용하여, 상기 현재블록을 예측하는 양방향 예측 방법.
  8. 제7항에 있어서,
    상기 오프셋정보는,
    상기 제2움직임벡터가 지시하는 위치를 원점으로 하는 오프셋벡터이며,
    상기 조정하는 단계는,
    상기 오프셋벡터가 지시하는 위치로 상기 제2움직임벡터를 조정하는 양방향 예측 방법.
  9. 제7항에 있어서,
    상기 오프셋정보는,
    미리 설정된 오프셋벡터 후보들 중 어느 하나를 지시하는 오프셋 인덱스이며,
    상기 조정하는 단계는,
    상기 오프셋 인덱스가 지시하는 오프셋벡터 후보를 상기 제2움직임벡터에 적용하여 상기 제2움직임벡터를 조정하는 양방향 예측 방법.
  10. 복수의 양방향 예측 모드에 포함되는 제1모드가 현재블록에 적용되는지 여부를 지시하는 모드정보를 비트스트림으로부터 복호화하고, 상기 모드정보가 적용됨을 지시하는 경우에 차분움직임벡터 정보 및 예측움직임벡터 정보를 포함하는 제1움직임정보와, 차분움직임벡터 정보 및 예측움직임벡터 정보 중 적어도 일부를 포함하지 않는 제2움직임정보를 상기 비트스트림으로부터 복호화하는 복호화부; 및
    상기 제1움직임정보에 기반하여 제1움직임벡터를 유도하고, 상기 제1움직임정보 중 적어도 일부와 상기 제2움직임정보에 기반하여 제2움직임벡터를 유도하며, 제1참조픽처 내에서 상기 제1움직임벡터에 의해 지시되는 참조블록 및 제2참조픽처 내에서 상기 제2움직임벡터에 의해 지시되는 참조블록을 이용하여 상기 현재블록을 예측하는 예측부를 포함하는 영상 복호화 장치.
  11. 제10항에 있어서,
    상기 복호화부는,
    상기 모드정보가 적용되지 않음을 지시하는 경우, 차분움직임벡터 정보 및 예측움직임벡터 정보를 포함하는 제3움직임정보와, 상기 제1움직임정보를 상기 비트스트림으로부터 복호화하고,
    상기 예측부는,
    상기 제1움직임정보에 기반하여 상기 제1움직임벡터를 유도하고, 상기 제3움직임정보에 기반하여 상기 제2움직임벡터를 유도하는 영상 복호화 장치.
  12. 제10항에 있어서,
    상기 복호화부는,
    상기 비트스트림에 포함된 인에이블(enabled) 정보가 상기 제1모드의 활성됨을 지시하는 경우에 상기 모드정보를 복호화하며,
    상기 모드정보는,
    상기 인에이블 정보가 활성됨을 지시하지 않는 경우에, 상기 제1모드가 적용되지 않음을 지시하도록 설정되는 영상 복호화 장치.
  13. 제12항에 있어서,
    상기 복호화부는,
    상기 인에이블 정보를 하이 레벨 신택스(high level syntax)로부터 복호화하는 영상 복호화 장치.
  14. 제10항에 있어서,
    상기 제1 및 제2참조픽처는,
    상기 현재블록보다 상위 레벨에서 결정되며,
    상기 상위 레벨은,
    픽처 레벨, 타일 그룹 레벨, 슬라이스 레벨, 타일 레벨 및 코딩 트리 유닛 레벨 중 하나 이상을 포함하는 영상 복호화 장치.
  15. 제10항에 있어서,
    상기 제1 및 제2참조픽처는,
    참조픽처 리스트에 포함된 참조픽처들과 현재픽처와의 POC(picture order count) 차이를 근거로 결정되는 영상 복호화 장치.
  16. 제10항에 있어서,
    상기 예측부는,
    상기 비트스트림에 포함된 오프셋(offset) 정보를 상기 제2움직임벡터에 적용하여 상기 제2움직임벡터를 조정하고, 상기 제2참조픽처 내에서 상기 조정된 제2움직임벡터에 의해 지시되는 참조블록 및 상기 제1참조픽처 내에서 상기 제1움직임벡터에 의해 지시되는 참조블록을 이용하여 상기 현재블록을 예측하는 영상 복호화 장치.
  17. 제16항에 있어서,
    상기 오프셋정보는,
    상기 제2움직임벡터가 지시하는 위치를 원점으로 하는 오프셋벡터이며,
    상기 예측부는,
    상기 오프셋벡터가 지시하는 위치로 상기 제2움직임벡터를 조정하는 영상 복호화 장치.
  18. 제16항에 있어서,
    상기 오프셋정보는,
    미리 설정된 오프셋벡터 후보들 중 어느 하나를 지시하는 오프셋 인덱스이며,
    상기 예측부는,
    상기 오프셋 인덱스가 지시하는 오프셋벡터 후보를 상기 제2움직임벡터에 적용하여 상기 제2움직임벡터를 조정하는 영상 복호화 장치.
  19. 복수의 양방향 예측 모드 중 어느 하나를 이용하여 현재블록을 인터 예측하는 방법에 있어서,
    움직임 보상을 통해, 상기 현재블록으로부터 제1참조픽처 내 참조블록을 지시하는 제1움직임벡터 및 상기 현재블록으로부터 제2참조픽처 내 참조블록을 지시하는 제2움직임벡터를 유도하는 단계;
    복수의 양방향 예측 모드에 포함되는 제1모드가 상기 현재블록에 적용되는지 여부를 지시하는 모드정보를 부호화하여 시그널링하는 단계; 및
    상기 모드정보가 적용됨을 지시하는 경우, 상기 제1움직임벡터에 대한 차분움직임벡터 정보 및 예측움직임벡터 정보를 포함하는 제1움직임정보와, 상기 제2움직임벡터에 대한 차분움직임벡터 정보 및 예측움직임벡터 정보 중 적어도 일부를 포함하지 않는 제2움직임정보를 부호화하여 시그널링하는 단계를 포함하는 양방향 예측 방법.
  20. 움직임 보상을 통해, 현재블록으로부터 제1참조픽처 내 참조블록을 지시하는 제1움직임벡터 및 상기 현재블록으로부터 제2참조픽처 내 참조블록을 지시하는 제2움직임벡터를 유도하는 예측부; 및
    복수의 양방향 예측 모드에 포함되는 제1모드가 상기 현재블록에 적용되는지 여부를 지시하는 모드정보를 부호화하여 시그널링하고, 상기 모드정보가 적용됨을 지시하는 경우에 상기 제1움직임벡터에 대한 차분움직임벡터 정보 및 예측움직임벡터 정보를 포함하는 제1움직임정보와, 상기 제2움직임벡터에 대한 차분움직임벡터 정보 및 예측움직임벡터 정보 중 적어도 일부를 포함하지 않는 제2움직임정보를 부호화하여 시그널링하는 부호화부를 포함하는 영상 부호화 장치.
PCT/KR2019/018477 2018-12-27 2019-12-26 양방향 예측 방법 및 영상 복호화 장치 WO2020138958A1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201980092691.3A CN113455000B (zh) 2018-12-27 2019-12-26 双向预测方法及视频解码设备
US17/359,953 US11575904B2 (en) 2018-12-27 2021-06-28 Bidirectional prediction method and video decoding apparatus
US18/089,427 US20230134711A1 (en) 2018-12-27 2022-12-27 Bidirectional prediction method and video decoding apparatus
US18/089,454 US20230132003A1 (en) 2018-12-27 2022-12-27 Bidirectional prediction method and video decoding apparatus
US18/089,462 US20230141454A1 (en) 2018-12-27 2022-12-27 Bidirectional prediction method and video decoding apparatus
US18/089,469 US20230139569A1 (en) 2018-12-27 2022-12-27 Bidirectional prediction method and video decoding apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2018-0171254 2018-12-27
KR20180171254 2018-12-27
KR10-2019-0105769 2019-08-28
KR1020190105769A KR20200081201A (ko) 2018-12-27 2019-08-28 양방향 예측 방법 및 영상 복호화 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/359,953 Continuation US11575904B2 (en) 2018-12-27 2021-06-28 Bidirectional prediction method and video decoding apparatus

Publications (1)

Publication Number Publication Date
WO2020138958A1 true WO2020138958A1 (ko) 2020-07-02

Family

ID=71128266

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/018477 WO2020138958A1 (ko) 2018-12-27 2019-12-26 양방향 예측 방법 및 영상 복호화 장치

Country Status (2)

Country Link
US (5) US11575904B2 (ko)
WO (1) WO2020138958A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023158212A1 (ko) * 2022-02-15 2023-08-24 엘지전자 주식회사 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113994667A (zh) * 2019-06-21 2022-01-28 三星电子株式会社 通过使用邻近运动信息对运动信息进行编码和解码的设备和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017039117A1 (ko) * 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
KR20180043787A (ko) * 2015-08-23 2018-04-30 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10200709B2 (en) * 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US20130272409A1 (en) * 2012-04-12 2013-10-17 Qualcomm Incorporated Bandwidth reduction in video coding through applying the same reference index
US10582209B2 (en) * 2017-03-30 2020-03-03 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-PU TMVP) for video coding
WO2019216325A1 (en) * 2018-05-09 2019-11-14 Sharp Kabushiki Kaisha Systems and methods for performing motion vector prediction using a derived set of motion vectors
US11818383B2 (en) * 2018-10-10 2023-11-14 Hfi Innovation Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
WO2020146547A1 (en) * 2019-01-08 2020-07-16 Apple Inc. Auxiliary information signaling and reference management for projection-based point cloud compression
CN113366851A (zh) * 2019-01-31 2021-09-07 北京字节跳动网络技术有限公司 对称运动矢量差编解码模式的快速算法
JP7235877B2 (ja) * 2019-01-31 2023-03-08 北京字節跳動網絡技術有限公司 アフィンモード適応型動きベクトル解像度を符号化するためのコンテキスト
CN113383548A (zh) * 2019-02-03 2021-09-10 北京字节跳动网络技术有限公司 Mv精度和mv差编解码之间的相互作用

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180043787A (ko) * 2015-08-23 2018-04-30 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017039117A1 (ko) * 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAITAO YANG: "Description of Core Experiment 4 (CE4): Inter prediction and motion vector coding", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVET-L1024_V3, 12TH MEETING, 12 October 2018 (2018-10-12), Macao, CN, pages 1 - 15, Retrieved from the Internet <URL:http://phenix.int-evry.fr/jvet> *
HONGBIN LIU: "CE9-related: Motion Vector Refinement in Bi-directional Optical Flow", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVETL0333_VL, 12TH MEETING, 12 October 2018 (2018-10-12), Macao, CN, pages 1 - 3, Retrieved from the Internet <URL:http://phenix.int-evry.fr/jvet> *
XIAOYU XIU: "CE9-related: Complexity reduction and bit-width control for bi-directional optical flow (BIO", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVETL0256_V2, 12TH MEETING, 12 October 2018 (2018-10-12), Macao, CN, pages 1 - 15, Retrieved from the Internet <URL:http://phenix.int-evry.fr/jvet> *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023158212A1 (ko) * 2022-02-15 2023-08-24 엘지전자 주식회사 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Also Published As

Publication number Publication date
US20230132003A1 (en) 2023-04-27
US20230139569A1 (en) 2023-05-04
US11575904B2 (en) 2023-02-07
US20220224908A1 (en) 2022-07-14
US20230141454A1 (en) 2023-05-11
US20230134711A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
WO2018088805A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018008906A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018056703A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018062892A1 (ko) 가중치 인덱스에 기초하여 최적의 예측을 수행하는 방법 및 장치
WO2017065357A1 (ko) 영상 코딩 시스템에서 예측 향상을 위한 필터링 방법 및 장치
WO2018008905A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018070713A1 (ko) 크로마 성분에 대한 인트라 예측 모드를 유도하는 방법 및 장치
WO2018044089A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016159610A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019182295A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018056701A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019190199A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019164306A1 (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
WO2020138958A1 (ko) 양방향 예측 방법 및 영상 복호화 장치
WO2019013363A1 (ko) 영상 코딩 시스템에서 주파수 도메인 잡음 감소 방법 및 장치
WO2020242182A1 (ko) 인트라 예측 모드를 유도하는 방법 및 장치
WO2021060801A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019066175A1 (ko) 영상 코딩 시스템에서 블록 분할 구조에 따른 영상 디코딩 방법 및 장치
WO2014098374A1 (ko) Mpm을 이용한 계층적 영상 복호화 방법 및 이러한 방법을 사용하는 장치
WO2023038447A1 (ko) 비디오 부호화/복호화 방법 및 장치
WO2019135419A1 (ko) 영상 코딩 시스템에서 현재 블록의 보간 필터에 기반한 인터 예측 방법 및 장치
WO2021060804A1 (ko) 크로마블록의 잔차블록 복원 방법 및 복호화 장치
WO2021125751A1 (ko) 임의의 모양으로 분할되는 블록을 예측하는 방법 및 복호화 장치
WO2021029646A1 (ko) 하이 레벨 영상 분할과 영상 부호화/복호화 방법 및 장치
WO2020122574A1 (ko) 코딩 툴 설정 방법 및 영상 복호화 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19903035

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19903035

Country of ref document: EP

Kind code of ref document: A1