WO2020185004A1 - 예측 유닛을 서브 유닛들로 분할하여 예측하는 인트라 예측 방법 및 장치 - Google Patents

예측 유닛을 서브 유닛들로 분할하여 예측하는 인트라 예측 방법 및 장치 Download PDF

Info

Publication number
WO2020185004A1
WO2020185004A1 PCT/KR2020/003445 KR2020003445W WO2020185004A1 WO 2020185004 A1 WO2020185004 A1 WO 2020185004A1 KR 2020003445 W KR2020003445 W KR 2020003445W WO 2020185004 A1 WO2020185004 A1 WO 2020185004A1
Authority
WO
WIPO (PCT)
Prior art keywords
current block
subblock
intra prediction
division
subblocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2020/003445
Other languages
English (en)
French (fr)
Inventor
심동규
이종석
박시내
박준택
박승욱
임화평
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Research Institute for Industry Cooperation of Kwangwoon University
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Research Institute for Industry Cooperation of Kwangwoon University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp, Research Institute for Industry Cooperation of Kwangwoon University filed Critical Hyundai Motor Co
Priority to CN202510737184.8A priority Critical patent/CN120321394A/zh
Priority to US17/438,263 priority patent/US20220191530A1/en
Priority to CN202510737531.7A priority patent/CN120302039A/zh
Priority to CN202510737344.9A priority patent/CN120302038A/zh
Priority to CN202080035238.1A priority patent/CN113924777B/zh
Priority to CN202510737682.2A priority patent/CN120302040A/zh
Publication of WO2020185004A1 publication Critical patent/WO2020185004A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Definitions

  • the present invention relates to encoding and decoding of an image, and more particularly, to an intra prediction method and apparatus for predicting by dividing a prediction unit into subunits.
  • moving picture data Since moving picture data has a large amount of data compared to audio data or still image data, it requires a lot of hardware resources including memory in order to store or transmit itself without processing for compression.
  • the moving picture data is compressed and stored or transmitted using an encoder, and the decoder receives the compressed moving picture data, decompresses and reproduces the compressed moving picture data.
  • video compression technologies there are H.264/AVC and HEVC (High Efficiency Video Coding), which improves coding efficiency by about 40% compared to H.264/AVC.
  • intra prediction prediction is performed using samples that have already been reconstructed around a current block, and a surrounding sample used for intra prediction is called a reference sample.
  • intra prediction predicts all samples in the current block as a whole using reference samples. For example, for a 16 ⁇ 16 block, 256 sample values belonging to a 16 ⁇ 16 block are predicted using neighboring samples. Since there is a spatial correlation in the image, in general, the closer to the reference sample, the better the prediction result is provided. Accordingly, samples adjacent to the reference sample may have accurate prediction values, but samples far from the reference sample may have incorrect prediction values.
  • the present disclosure divides the prediction unit into sub-units so that reconstructed neighboring samples from which the current sample is predicted can be located closer to the current sample, and predicts blocks of sub-units using the same intra prediction mode.
  • a video decoding method for reconstructing a current block using intra prediction includes the steps of determining whether to divide the current block into a plurality of subblocks; when the current block is divided into the plurality of subblocks, partition information decoded from a bitstream, and a width of the current block Determining a division direction and number of subblocks in which the current block is divided among horizontal division and vertical division based on (width) and height, and according to the division direction and the number of subblocks using intra prediction. Restoring the current block by sequentially restoring the divided sub-blocks, setting a grid at N sample intervals in horizontal and vertical directions, and boundary between the plurality of sub-blocks in the current block And deblocking and filtering boundaries that match the boundaries of the grid.
  • a video decoding apparatus for reconstructing a current block using intra prediction.
  • the apparatus includes means for determining whether to divide the current block into a plurality of subblocks, partition information decoded from a bitstream when the current block is divided into the plurality of subblocks, and a width of the current block
  • FIG. 1 is an exemplary block diagram of an image encoding apparatus capable of implementing the techniques of the present disclosure.
  • FIG. 2 is a diagram for explaining a method of dividing a block using a QTBTTT structure.
  • 3A is a diagram illustrating a plurality of intra prediction modes.
  • 3B is a diagram illustrating a plurality of intra prediction modes including wide-angle intra prediction modes.
  • FIG. 4 is an exemplary block diagram of an image decoding apparatus capable of implementing the techniques of the present disclosure.
  • 5A to 5C are diagrams illustrating types in which a current block subjected to intra prediction coding can be divided into a plurality of subblocks according to an embodiment of the present invention.
  • FIG. 6 is a functional block diagram showing an exemplary configuration of an intra prediction unit in an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of intra prediction encoding a current block of an image by an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 8 is a functional block diagram illustrating an exemplary configuration of an intra prediction unit in an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a method of decoding an intra prediction-coded current block from a bitstream of an encoded image in an image decoding apparatus according to an embodiment of the present invention.
  • FIGS. 10A and 10B are diagrams illustrating a process of generating a prediction subblock of a subblock with respect to a coding block sequentially reconstructed on a subblock basis.
  • FIG. 1 is an exemplary block diagram of an image encoding apparatus capable of implementing the techniques of the present disclosure.
  • an image encoding apparatus and sub-elements of the apparatus will be described with reference to FIG. 1.
  • the image encoding apparatus includes a picture segmentation unit 110, a prediction unit 120, a subtractor 130, a transform unit 140, a quantization unit 145, a rearrangement unit 150, an entropy encoding unit 155, an inverse quantization unit. (160), an inverse transform unit 165, an adder 170, a filter unit 180, and a memory 190 may be included.
  • Each component of the image encoding apparatus may be implemented by hardware or software, or by a combination of hardware and software.
  • functions of each component may be implemented as software, and a microprocessor may be implemented to execute a function of software corresponding to each component.
  • One image is composed of a plurality of pictures. Each picture is divided into a plurality of regions, and encoding is performed for each region. For example, one picture is divided into one or more tiles or/and slices. Here, one or more tiles may be defined as a tile group. Each tile or/slice is divided into one or more Coding Tree Units (CTUs). And each CTU is divided into one or more CUs (Coding Units) by a tree structure. Information applied to each CU is encoded as the syntax of the CU, and information commonly applied to CUs included in one CTU is encoded as the syntax of the CTU.
  • CTUs Coding Tree Units
  • information commonly applied to all blocks in one slice is encoded as the syntax of the slice header, and information applied to all blocks constituting one picture is a picture parameter set (PPS) or picture. It is coded in the header. Further, information commonly referred to by a plurality of pictures is encoded in a sequence parameter set (SPS). In addition, information commonly referred to by one or more SPSs is encoded in a video parameter set (VPS). Also, information commonly applied to one tile or tile group may be encoded as syntax of a tile or tile group header.
  • PPS picture parameter set
  • SPS sequence parameter set
  • VPS video parameter set
  • information commonly applied to one tile or tile group may be encoded as syntax of a tile or tile group header.
  • the picture division unit 110 determines the size of a coding tree unit (CTU).
  • CTU size Information on the size of the CTU (CTU size) is encoded as the syntax of the SPS or PPS and transmitted to the video decoding apparatus.
  • the picture dividing unit 110 After dividing each picture constituting an image into a plurality of coding tree units (CTUs) having a predetermined size, the picture dividing unit 110 repetitively divides the CTU by using a tree structure. (recursively) split. A leaf node in the tree structure becomes a coding unit (CU), which is a basic unit of coding.
  • CU coding unit
  • a quad tree (QuadTree, QT) in which an upper node (or parent node) is divided into four lower nodes (or child nodes) of the same size, or a binary tree (BinaryTree) in which an upper node is divided into two lower nodes. , BT), or a ternary tree (TT) in which an upper node is divided into three lower nodes in a 1:2:1 ratio, or a structure in which two or more of these QT structures, BT structures, and TT structures are mixed.
  • QT quad tree
  • BT binary tree
  • TT ternary tree
  • a QTBT QuadTree plus BinaryTree
  • a QTBTTT QuadTree plus BinaryTree TernaryTree
  • MTT Multiple-Type Tree
  • the CTU may be first divided into a QT structure.
  • the quadtree division may be repeated until the size of a splitting block reaches the minimum block size (MinQTSize) of a leaf node allowed in QT.
  • a first flag (QT_split_flag) indicating whether each node of the QT structure is divided into four nodes of a lower layer is encoded by the entropy encoder 155 and signaled to the image decoding apparatus. If the leaf node of the QT is not larger than the maximum block size (MaxBTSize) of the root node allowed in BT, it may be further divided into one or more of a BT structure or a TT structure.
  • MaxBTSize maximum block size
  • a plurality of division directions may exist. For example, there may be two directions in which a block of a corresponding node is divided horizontally and a direction vertically divided.
  • a second flag indicating whether nodes are split, and if split, a flag indicating a split direction (vertical or horizontal) and/or a split type (Binary or Ternary).
  • a flag indicating) is encoded by the entropy encoder 155 and signaled to the image decoding apparatus.
  • a CU split flag (split_cu_flag) indicating whether the node is divided is encoded. It could be.
  • the block of the corresponding node becomes a leaf node in the split tree structure and becomes a coding unit (CU), which is a basic unit of encoding.
  • CU coding unit
  • a split flag indicating whether each node of the BT structure is divided into blocks of a lower layer and split type information indicating a type to be divided are encoded by the entropy encoder 155 and transmitted to the image decoding apparatus.
  • a type of dividing the block of the corresponding node into two blocks having an asymmetric shape may further exist.
  • the asymmetric form may include a form of dividing a block of a corresponding node into two rectangular blocks having a size ratio of 1:3, or a form of dividing a block of a corresponding node in a diagonal direction.
  • the CU can have various sizes according to the QTBT or QTBTTT split from the CTU.
  • a block corresponding to a CU to be encoded or decoded ie, a leaf node of QTBTTT
  • a'current block' a block corresponding to a CU to be encoded or decoded
  • the shape of the current block may be not only square but also rectangular.
  • the prediction unit 120 predicts the current block and generates a prediction block.
  • the prediction unit 120 includes an intra prediction unit 122 and an inter prediction unit 124.
  • each of the current blocks in a picture can be predictively coded.
  • prediction of the current block is performed using an intra prediction technique (using data from a picture containing the current block) or an inter prediction technique (using data from a picture coded before a picture containing the current block). Can be done.
  • Inter prediction includes both one-way prediction and two-way prediction.
  • the intra prediction unit 122 predicts pixels in the current block by using pixels (reference pixels) located around the current block in the current picture including the current block.
  • the plurality of intra prediction modes may include two non-directional modes including a planar mode and a DC mode, and 65 directional modes.
  • the surrounding pixels to be used and the calculation expression are defined differently.
  • directional modes (67 to 80, intra prediction modes -1 to -14) shown by dotted arrows in FIG. 3B may be additionally used. These may be referred to as "wide angle intra-prediction modes". Arrows in FIG. 3B indicate corresponding reference samples used for prediction, and do not indicate a prediction direction. The prediction direction is opposite to the direction indicated by the arrow.
  • the wide-angle intra prediction modes when the current block is a rectangular shape, a specific directional mode is predicted in the opposite direction without additional bit transmission. In this case, among the wide-angle intra prediction modes, some wide-angle intra prediction modes available for the current block may be determined based on a ratio of the width and height of the rectangular current block.
  • intra prediction modes 67 to 80 can be used when the current block has a rectangular shape with a height smaller than the width, and wide-angle with an angle greater than -135 degrees.
  • the intra prediction modes can be used when the current block has a rectangular shape whose height is greater than the width.
  • the intra prediction unit 122 may determine an intra prediction mode to be used to encode the current block.
  • the intra prediction unit 122 may encode the current block using several intra prediction modes and select an appropriate intra prediction mode to use from the tested modes. For example, the intra prediction unit 122 calculates rate distortion values using rate-distortion analysis for several tested intra prediction modes, and has the best rate distortion characteristics among the tested modes. It is also possible to select an intra prediction mode.
  • the intra prediction unit 122 selects one intra prediction mode from among a plurality of intra prediction modes, and predicts the current block using a neighboring pixel (reference pixel) determined according to the selected intra prediction mode and an equation.
  • Information on the selected intra prediction mode is encoded by the entropy encoder 155 and transmitted to the image decoding apparatus.
  • the inter prediction unit 124 generates a prediction block for the current block through a motion compensation process.
  • the inter prediction unit 124 searches for a block most similar to the current block in the coded and decoded reference picture prior to the current picture, and generates a prediction block for the current block using the searched block. Then, a motion vector corresponding to a displacement between the current block in the current picture and the prediction block in the reference picture is generated.
  • motion estimation is performed on a luma component, and a motion vector calculated based on the luma component is used for both the luma component and the chroma component.
  • Motion information including information on a reference picture used to predict the current block and information on a motion vector is encoded by the entropy encoder 155 and transmitted to an image decoding apparatus.
  • the subtractor 130 generates a residual block by subtracting the prediction block generated by the intra prediction unit 122 or the inter prediction unit 124 from the current block.
  • the transform unit 140 converts the residual signal in the residual block having pixel values in the spatial domain into transform coefficients in the frequency domain.
  • the transform unit 140 may transform residual signals in the residual block by using the total size of the residual block as a transform unit, or divide the residual block into two sub-blocks, which are transform regions and non-transform regions, Residual signals can be converted using only a block as a conversion unit.
  • the transform region subblock may be one of two rectangular blocks having a size ratio of 1:1 based on the horizontal axis (or vertical axis).
  • a flag indicating that only the subblock has been transformed (cu_sbt_flag), directional (vertical/horizontal) information (cu_sbt_horizontal_flag), and/or location information (cu_sbt_pos_flag) are encoded by the entropy encoder 155 and signaled to the image decoding apparatus.
  • the size of the transform region subblock may have a size ratio of 1:3 based on the horizontal axis (or vertical axis). Signaled to the decoding device.
  • a maximum and/or minimum conversion size for conversion may be defined. Conversion using conversion units smaller than the minimum conversion size is not allowed.
  • the transform unit 140 divides the residual block into subblocks having a size less than the maximum transform size, and uses the subblocks as a transform unit. Perform the transformation.
  • the maximum and/or minimum transform size may be defined as a fixed size promised to each other between the image encoding apparatus and the image decoding apparatus.
  • information on the maximum and/or minimum transform size may be included in the SPS or PPS and signaled from the video encoding apparatus to the video decoding apparatus.
  • the quantization unit 145 quantizes the transform coefficients output from the transform unit 140 and outputs the quantized transform coefficients to the entropy encoding unit 155.
  • the rearrangement unit 150 may rearrange coefficient values on the quantized residual values.
  • the rearrangement unit 150 may change a two-dimensional coefficient array into a one-dimensional coefficient sequence through coefficient scanning. For example, the rearrangement unit 150 may scan from a DC coefficient to a coefficient in a high frequency region using a zig-zag scan or a diagonal scan to output a one-dimensional coefficient sequence. .
  • zig-zag scan instead of zig-zag scan, a vertical scan that scans a two-dimensional coefficient array in a column direction or a horizontal scan that scans a two-dimensional block shape coefficient in a row direction may be used. That is, a scan method to be used may be determined from among zig-zag scan, diagonal scan, vertical scan, and horizontal scan according to the size of the transform unit and the intra prediction mode.
  • the entropy encoding unit 155 uses various encoding methods such as Context-based Adaptive Binary Arithmetic Code (CABAC), Exponential Golomb, and the like, and the quantized transform coefficients of 1D output from the reordering unit 150 are A bitstream is generated by encoding the sequence.
  • CABAC Context-based Adaptive Binary Arithmetic Code
  • Exponential Golomb Exponential Golomb
  • the entropy encoder 155 encodes information such as a CTU size related to block division, a CU division flag, a QT division flag, an MTT division type, and an MTT division direction, so that the video decoding apparatus performs the same block as the video encoding apparatus. Make it possible to divide.
  • the entropy encoder 155 encodes information on a prediction type indicating whether the current block is encoded by intra prediction or inter prediction, and intra prediction information (ie, intra prediction) according to the prediction type. Mode information) or inter prediction information (reference picture and motion vector information) is encoded.
  • the inverse quantization unit 160 inverse quantizes the quantized transform coefficients output from the quantization unit 145 to generate transform coefficients.
  • the inverse transform unit 165 converts transform coefficients output from the inverse quantization unit 160 from the frequency domain to the spatial domain to restore the residual block.
  • the addition unit 170 restores the current block by adding the restored residual block and the prediction block generated by the prediction unit 120.
  • the pixels in the reconstructed current block are used as reference pixels when intra-predicting the next block.
  • the filter unit 180 filters reconstructed pixels to reduce blocking artifacts, ringing artifacts, blurring artifacts, etc. that occur due to block-based prediction and transformation/quantization. Perform.
  • the filter unit 180 may include a deblocking filter 182 and a sample adaptive offset (SAO) filter 184.
  • the deblocking filter 180 filters the boundary between reconstructed blocks to remove blocking artifacts caused by block-based encoding/decoding, and the SAO filter 184 adds additional information to the deblocking-filtered image. Filtering is performed.
  • the SAO filter 184 is a filter used to compensate for a difference between a reconstructed pixel and an original pixel caused by lossy coding.
  • the reconstructed block filtered through the deblocking filter 182 and the SAO filter 184 is stored in the memory 190.
  • the reconstructed picture may be used as a reference picture for inter prediction of a block in a picture to be encoded later.
  • FIG. 4 is an exemplary functional block diagram of an image decoding apparatus capable of implementing the techniques of the present disclosure.
  • an image decoding apparatus and sub-components of the apparatus will be described with reference to FIG. 4.
  • the image decoding apparatus includes an entropy decoding unit 410, a rearrangement unit 415, an inverse quantization unit 420, an inverse transform unit 430, a prediction unit 440, an adder 450, a filter unit 460, and a memory 470. ) Can be included.
  • each component of the image decoding apparatus may be implemented as hardware or software, or may be implemented as a combination of hardware and software.
  • functions of each component may be implemented as software, and a microprocessor may be implemented to execute a function of software corresponding to each component.
  • the entropy decoding unit 410 determines the current block to be decoded by decoding the bitstream generated by the image encoding apparatus and extracting information related to block division, and predicting information and residual signals necessary to restore the current block. Extract information, etc.
  • the entropy decoding unit 410 determines the size of the CTU by extracting information on the CTU size from a sequence parameter set (SPS) or a picture parameter set (PPS), and divides the picture into CTUs of the determined size. Then, the CTU is determined as the uppermost layer of the tree structure, that is, the root node, and the CTU is divided using the tree structure by extracting partition information for the CTU.
  • SPS sequence parameter set
  • PPS picture parameter set
  • a first flag (QT_split_flag) related to the splitting of the QT is extracted and each node is split into four nodes of a lower layer.
  • the second flag (MTT_split_flag) related to the splitting of the MTT and the splitting direction (vertical / horizontal) and/or split type (binary / ternary) information are extracted and the corresponding leaf node is MTT.
  • MTT_split_flag related to the splitting of the MTT and the splitting direction (vertical / horizontal) and/or split type (binary / ternary) information
  • each node may have 0 or more repetitive MTT segmentation after 0 or more repetitive QT segmentation.
  • MTT division may occur immediately, or, conversely, only multiple QT divisions may occur.
  • each node is divided into four nodes of a lower layer by extracting the first flag (QT_split_flag) related to the division of the QT.
  • QT_split_flag the first flag related to the division of the QT.
  • a split flag indicating whether or not the node corresponding to the leaf node of the QT is further split into BT and split direction information are extracted.
  • the entropy decoder 410 extracts information on a prediction type indicating whether the current block is intra prediction or inter prediction.
  • the prediction type information indicates intra prediction
  • the entropy decoder 410 extracts a syntax element for intra prediction information (intra prediction mode) of the current block.
  • the prediction type information indicates inter prediction
  • the entropy decoder 410 extracts a syntax element for the inter prediction information, that is, information indicating a motion vector and a reference picture referenced by the motion vector.
  • the entropy decoding unit 410 extracts information on quantized transform coefficients of the current block as information on the residual signal.
  • the rearrangement unit 415 in the reverse order of the coefficient scanning order performed by the image encoding apparatus, reconverts the sequence of one-dimensional quantized transform coefficients entropy-decoded by the entropy decoder 410 into a two-dimensional coefficient array (i.e., Block).
  • the inverse quantization unit 420 inverse quantizes the quantized transform coefficients, and the inverse transform unit 430 inversely transforms the inverse quantized transform coefficients from the frequency domain to the spatial domain to restore residual signals to generate a residual block for the current block. .
  • the inverse transform unit 430 inverse transforms only a partial region (subblock) of the transform block, a flag indicating that only the subblock of the transform block has been transformed (cu_sbt_flag), and the direction (vertical/horizontal) information of the subblock (cu_sbt_horizontal_flag) ) And/or subblock location information (cu_sbt_pos_flag), and inversely transforming the subblock's transform coefficients from the frequency domain to the spatial domain to restore residual signals. Fill in to create the final residual block for the current block.
  • an inverse transform using a transform unit smaller than the minimum transform size is not allowed.
  • the inverse transform unit 430 divides the residual block into subblocks having a size less than the maximum transform size, and uses the subblocks as a transform unit. To perform the inverse transformation.
  • the prediction unit 440 may include an intra prediction unit 442 and an inter prediction unit 444.
  • the intra prediction unit 442 is activated when the prediction type of the current block is intra prediction
  • the inter prediction unit 444 is activated when the prediction type of the current block is inter prediction.
  • the intra prediction unit 442 determines an intra prediction mode of the current block among a plurality of intra prediction modes from the syntax element for the intra prediction mode extracted from the entropy decoding unit 410, and references around the current block according to the intra prediction mode. Predict the current block using pixels.
  • the intra prediction mode determined by the syntax element for the intra prediction mode may be a value indicating one of all intra prediction modes (eg, a total of 67 modes) as described above. If the current block is a rectangular block, some of the directional modes among the total 67 modes may be replaced by one of the wide-angle intra prediction modes based on a ratio of the width and height of the current block.
  • the inter prediction unit 444 determines a motion vector of the current block and a reference picture referenced by the motion vector using the syntax element for the intra prediction mode extracted from the entropy decoding unit 410, and determines the motion vector and the reference picture. Is used to predict the current block.
  • the adder 450 restores the current block by adding the residual block output from the inverse transform unit and the prediction block output from the inter prediction unit or the intra prediction unit.
  • the pixels in the reconstructed current block are used as reference pixels for intra prediction of a block to be decoded later.
  • the filter unit 460 may include a deblocking filter 462 and an SAO filter 464.
  • the deblocking filter 462 performs deblocking filtering on the boundary between reconstructed blocks in order to remove blocking artifacts caused by decoding in units of blocks.
  • the SAO filter 464 performs additional filtering on the reconstructed block after deblocking filtering in order to compensate for the difference between the reconstructed pixel and the original pixel caused by lossy coding.
  • the reconstructed block filtered through the deblocking filter 462 and the SAO filter 464 is stored in the memory 470. When all blocks in one picture are reconstructed, the reconstructed picture is used as a reference picture for inter prediction of a block in a picture to be encoded later.
  • the techniques of this disclosure generally relate to intra predictive coding (ie, coding and decoding) a current block. Accordingly, certain techniques of this disclosure may be performed by the intra prediction unit 122 or the intra prediction unit 442. That is, for example, the intra prediction unit 122 or the intra prediction unit 442 may perform the techniques of the present disclosure described with reference to FIGS. 5 to 9 below. In other examples, one or more other units of the image encoding apparatus or the image decoding apparatus may additionally be involved in performing the techniques of this disclosure.
  • the following description mainly focuses on a decoding technique, that is, an operation of an image decoding apparatus, and descriptions of encoding techniques are simplified because they are opposite to the comprehensively described decoding technique.
  • intra prediction prediction is performed using samples that have already been reconstructed around a current block, and a surrounding sample used for intra prediction is called a reference sample.
  • intra prediction predicts all samples in the current block as a whole using reference samples. For example, for a 16 ⁇ 16 block, 256 sample values belonging to a 16 ⁇ 16 block are predicted using neighboring samples. Since there is a spatial correlation in the image, in general, the closer to the reference sample, the better the prediction result is provided. Therefore, for example, in the vertical prediction mode (mode 50 of FIG. 3B) or the horizontal prediction mode (mode 18 of FIG. 3B), samples adjacent to the reference sample have accurate prediction values, but samples far from the reference sample may have incorrect prediction values. I can.
  • the intra coding tool described below is related to dividing a CU into a plurality of subblocks of the same size in the vertical or horizontal direction according to the size and performing prediction on each subblock in the same intra prediction mode.
  • the reconstructed sample values (predicted sample value or reconstructed sample value) of each subblock are available for prediction of the next subblock, which is processed iteratively for each subblock. For example, when the current block CU is divided into four parallel subblocks, the first subblock can be predicted from adjacent samples of the current block CU, and the second subblock is the first subblock.
  • the third subblock may be predicted from adjacent samples including the samples of the second subblock
  • the fourth subblock may be predicted from the samples of the third subblock. It can be predicted from containing adjacent samples. In this way, not all pixels of the current block CU are predicted from samples of previously encoded or decoded blocks adjacent to the current block CU, but the samples in the current block CU are the same current block ( CU) can be used to predict other samples.
  • One advantage of the intra coding tool provided by this disclosure is that the reconstructed neighboring samples tend to be much closer to the predicted sample than in the scenario of general intra prediction. Since reconstructed neighboring samples from which the current sample is predicted are located closer to the current sample, the accuracy of prediction of the current sample can be improved.
  • FIGS. 5A to 5C are diagrams illustrating types in which a current block subjected to intra prediction coding can be divided into a plurality of subblocks according to an embodiment of the present invention.
  • the minimum block size to which the intra coding tool of the present disclosure can be applied may be 4 ⁇ 8 or 8 ⁇ 4.
  • a restriction that all subblocks must have at least 16 samples may be added.
  • the size of the block is 4 ⁇ 8 or 8 ⁇ 4
  • it may be divided into two, and if it is larger than this, it may be divided into four or eight.
  • the size of the CU in which the intra coding tool can be used may be limited to a maximum of 64 ⁇ 64 due to the Virtual Pipeline Data Unit (VPDU), which is a processing unit of VVC.
  • VPDU Virtual Pipeline Data Unit
  • the video encoding apparatus may signal a split flag indicating that the current block is divided into a plurality of subblocks and intra prediction is performed for each subblock. Accordingly, the image decoding apparatus may decode the segmentation flag from the bitstream of the image data and determine whether to segment the current block based on the segmentation flag.
  • a division flag of a first value (eg, “0”) indicates that the current block is not divided into a plurality of subblocks
  • a division flag of a second value eg “1” indicates that the current block is divided into a plurality of subblocks. It is divided into and may indicate that intra prediction has been performed for each subblock.
  • the split flag depends on the width and height of the current block, the width of the current block, the minimum transform size and/or the maximum transform size allowed for transforming transform coefficients, without explicit signaling (ie, without decoding from the bitstream). , May be inferred by the video decoding apparatus.
  • the split flag when the width and height of the current block are smaller than the minimum transform size, the split flag may be set to a first value indicating that the current block is not split without being decoded from the bitstream.
  • the area of the current block ie, the number of pixels included in the current block
  • the minimum transform size ie, the number of pixels included in the conversion unit
  • the The split flag may be set to a first value indicating that the current block is not split without being decoded from the bitstream.
  • the split flag when the width and height of the current block are larger than the maximum transform size, the split flag may not be decoded from the bitstream.
  • the split flag has a second value, that is, that the current block is divided into a plurality of subblocks and intra prediction is performed for each subblock.
  • the split flag has a first value. That is, when the width and height of the current block are greater than the maximum transform size, the current block is divided into a plurality of subblocks, and the coding tool of the present disclosure for intra prediction for each subblock may not be applied.
  • the intra coding tool of the present disclosure is not used, and it may be inferred that the split flag has a first value.
  • the intra coding tool of the present disclosure is necessarily used (therefore, the split flag is deduced to have a first value), and the CTU at the picture boundary Further block division may be avoided.
  • the direction and number of subblock divisions are the syntax elements (eg, flags) extracted from the bitstream, the size of the current block, the location of the current block, the length of one side of the current block (ie, width or height), It may be determined based on the number of pixels included in the current block, the intra prediction mode of the current block, and the size of the minimum or maximum transform block.
  • the video decoding apparatus when the current block is divided into a plurality of subblocks, the video decoding apparatus is based on the split information decoded from the bitstream and the width and height of the current block, The number of blocks can be determined.
  • the number of subblocks may be determined by the width and height of the current block. For example, as shown in Table 1, when the width and height of the current block is 4 ⁇ 8 or 8 ⁇ 4, the number of subblocks is determined to be 2, and the width and height of the current block is greater than 4 ⁇ 4 and 4 When not equal to x8 and 8x4, the number of subblocks may be determined as 4.
  • the number of subblocks is determined as 2
  • the width and height of the current block is 8 ⁇ N to 32 ⁇
  • N or N ⁇ 8 to N ⁇ 32 here, N> 4
  • the number of subblocks may be determined as 4
  • the number of subblocks may be determined as 8 .
  • the direction of division may be determined based on division information.
  • the direction of division may be determined (or inferred) based on the ratio of the width and height of the current block. For example, when the width of the current block is greater than the height of the current block, the direction of division may be determined as horizontal division, and when the width of the current block is smaller than the height of the current block, the direction of division may be determined as vertical division.
  • the shape and number of divisions may be inferred according to the position of the current block.
  • whether the division direction is horizontal or vertical division may be determined based on the directions of prediction modes included in intra prediction mode candidates (ie, MPM list) determined for the current block. For example, when intra prediction modes that are relatively horizontal (eg, modes 3 to 33 shown in FIG. 3B; hereinafter “horizontal oriented modes”) exist (or dominate) in the MPM list, the division direction is vertical division. In the case where intra prediction modes (eg, modes 35 to 65 shown in FIG. 3B; hereinafter “vertical oriented modes”) that are determined as and are relatively vertical to the MPM list exist (or dominate), the division direction is horizontal. Can be determined by division.
  • the intra prediction mode determined for the current block may be commonly applied to intra prediction of subblocks of the current block.
  • the wide-angle intra prediction mode may also be used in the current block to which the intra coding tool of the present disclosure is applied.
  • the wide-angle intra prediction mode may be determined not by a ratio between the width and height of the subblock divided from the current block, but by the ratio between the width and height of the current block.
  • the image decoding apparatus may determine the intra prediction mode of the current block by decoding intra prediction mode information of the current block from the bitstream. For example, the image decoding apparatus selects a preset number of intra prediction mode candidates from among a plurality of intra prediction modes, and uses intra prediction mode information of the current block to determine the intra prediction mode candidates (ie, the MPM list). The prediction mode can be determined.
  • Intra prediction mode candidates may be selected in different ways depending on whether the division direction is horizontal division or vertical division. For example, when the division direction is horizontal division, vertical oriented modes among a plurality of intra prediction modes may be selected as intra prediction mode candidates in preference to horizontal oriented modes. In addition, when the division direction is vertical division, horizontal oriented modes among a plurality of intra prediction modes may be selected as intra prediction mode candidates in preference to the vertical oriented modes. As another example, when the division direction is horizontal division, the horizontal mode (eg, mode 18 in FIG. 3B) or the horizontal oriented modes may be excluded from selection of intra prediction mode candidates. When the division direction is vertical division, a vertical mode (eg, 50) or vertical oriented modes of FIG. 3B may be excluded from selection of intra prediction mode candidates.
  • a vertical mode eg, 50
  • vertical oriented modes of FIG. 3B may be excluded from selection of intra prediction mode candidates.
  • the video decoding apparatus restores the current block by sequentially reconstructing a plurality of subblocks using an intra prediction mode determined for the current block.
  • the apparatus for decoding an image may generate an intra-predicted subblock by predicting a target subblock to be reconstructed from among the plurality of subblocks, from undistorted pixels around the subblock.
  • the image decoding apparatus reconstructs transform coefficients by decoding transform coefficient information corresponding to a subblock from a bitstream, and uses the same transform size as the restoration target subblock to inverse quantize and inverse transform, thereby providing a residual sub with residual signals. Blocks can be created.
  • the image decoding apparatus may reconstruct the subblock using the intra-predicted subblock and the residual subblock.
  • pixels in the reconstructed subblock may be used for intra prediction of the next subblock in the current block.
  • the subblocks including the top-left samples of the current block are sequentially processed in a downward direction in case of horizontal division, and in a right direction in case of vertical division.
  • the dependence of sub-block prediction may not be allowed. That is, when the intra coding tool of the present disclosure is applied to the current block, 1 ⁇ N and 2 ⁇ N units of transformation are allowed, but 1 ⁇ N and 2 ⁇ N units of prediction may not be allowed.
  • an 8 ⁇ N (N>4) current block divided in the vertical direction may be divided into four 2 ⁇ N subblocks. Accordingly, residual signals for the current block are reconstructed in units of 2 ⁇ N subblocks and generated by inverse transformation.
  • the current block is predicted in units of 4 ⁇ N subblocks having a width of 4 samples. That is, an 8 ⁇ N (N>4) current block divided in the vertical direction may be divided into two 4 ⁇ N prediction regions and four 2 ⁇ N transform regions.
  • the 4 ⁇ N current block divided in the vertical direction is predicted as a 4 ⁇ N prediction area, and may be divided into four 1 ⁇ N transform areas. This is due to the characteristic of storing the result of the intra-prediction block by dividing the result of the intra-predicted block into several clocks in a row unit in a general hardware design. This is a restriction to avoid losing.
  • the image decoding apparatus performs in-loop filtering including deblocking filtering on the reconstructed current block, and uses the filtered current block as a reference picture for inter prediction of blocks in a picture to be encoded later. For use, it may be stored in a buffer (eg, memory 470 in FIG. 4).
  • a buffer eg, memory 470 in FIG. 4
  • the image decoding apparatus sets a grid at M sample intervals in the horizontal and vertical directions, and the boundary of the grid among the boundaries between the plurality of subblocks in the current block to which the intra coding tool of the present disclosure is applied.
  • Deblocking filtering may be performed on the boundaries matching with. Accordingly, deblocking filtering may not be performed on boundaries between the plurality of subblocks that do not coincide with the boundary of the grid.
  • Deblocking filtering may be performed only on the boundary between subblocks that match with.
  • An 8 ⁇ 8 unit grid is used as an example, but the size of the grid is not necessarily limited to 8 ⁇ 8.
  • M may be expressed in the form of 2 n (n is a natural number), and may have any one of 4, 8, 16, and the like.
  • in-loop filtering may be performed only on a part of the boundary between subblocks according to the subblock division direction and the number of divisions. For example, when the current block is divided in the horizontal direction, only deblocking filtering in the vertical direction is performed and deblocking filtering in the horizontal direction may be omitted. Similarly, when the current block is divided in the vertical direction, only deblocking filtering in the horizontal direction is performed and deblocking filtering in the vertical direction may be omitted.
  • whether to perform in-loop filtering may be determined for each sub-block. Accordingly, the image decoding apparatus may check whether in-loop filtering is performed in units of each subblock or through high-level syntax.
  • a method of performing in-loop filtering or a parameter of in-loop filtering according to criteria calculated based on at least one of information such as size, position, depth, and QP of a sub-block may vary.
  • the size of the sub-block of the current block determines the in-loop filtering parameters (eg, the intensity of the filter and the clipping value for the pixel change). Parameters) may be smaller than the unit of calculation.
  • filtering parameters may not be calculated in units of subblocks, but filtering parameters may be calculated for the current block, and in-loop filtering may be performed in units of subblocks.
  • two or more subblocks may be grouped to calculate common filtering parameters, and the subblocks may share filtering parameters.
  • ALF is performed by obtaining ALF parameters in units such as ⁇ N ⁇ 1, 1 ⁇ N, N ⁇ 2, 2 ⁇ N ⁇ can do.
  • ALF is performed by configuring the current block to perform or not necessarily perform deblocking filtering, it is possible to avoid calculating parameters for determining whether to perform deblocking filtering (or filter coefficients).
  • a method of performing in-loop filtering or a parameter calculation method may be different depending on whether the boundary of the current subblock overlaps the boundary of a CU (or a CTU or VPDU).
  • a syntax element eg, Coded Block Flag; CBF
  • CBF Coded Block Flag
  • the CBF may be inferred based on the number of divisions of the subblock, the size (width or height) of the subblock, the intra prediction mode, the position of the block, the QP, the number of pixels included in the subblock, and the like. For example, at least one CBF for subblocks of the current block is considered to be non-zero. Therefore, if the current block has n subblocks and all of the CBFs for the previous n-1 subblocks are "0", the CBF of the nth subblock is deduced as "1" and thus is explicitly signaled. It doesn't work.
  • the intra coding tool of the present disclosure may be applied only when the CBF of each subblock is not 0.
  • the CBF of each subblock is inferred as “1” and thus is not explicitly signaled. Does not.
  • the 8 ⁇ 16 current block is divided into two 4 ⁇ 16 subblocks, the CBF of each subblock must be explicitly signaled.
  • the image encoding apparatus determines a quantization parameter (QP) value for the current block CU, and determines a delta quantization parameter (Delta QP) value for the current block based on the QP value and the QP predicted value.
  • QP quantization parameter
  • Delta QP delta quantization parameter
  • the image encoding apparatus may be configured to signal the DQP value and quantize the current block by using the determined QP value.
  • the image encoding apparatus may adjust the degree of quantization applied to coefficient blocks related to the current block by adjusting the QP value for the current block.
  • DQP is defined as the difference between the current QP (that is, the actual QP used in the current block) and the predicted value of the current QP (that is, the QP predicted value). Based on the signaled DQP, the corresponding current QP value can be reconstructed by summing the DQP to the QP predicted value. That is, in the video encoding apparatus, the DQP is calculated by subtracting the QP predictor from the actual QP of the current block, and in the video decoding apparatus, the actual QP of the current block is reconstructed by adding the received DQP to the QP prediction value.
  • the QP prediction value is defined as the average of the actual QP values for the upper block and the left block for the current block.
  • the image decoding apparatus is configured to receive the DQP value for the current quantization block, determine the QP value for the current quantization block based on the received DQP value and the QP predicted value, and inverse quantize the current quantization block using the determined QP value. Can be.
  • DQP may be determined for each subblock.
  • a flag can be checked to determine whether to use DQP in units of subblocks or whether to apply DQP through high-level syntax can be checked.
  • the same QP may be used for all subblocks. Accordingly, the QP value of the current block may be determined by using the QP of the CU around the current block (left and/or upper) and the transmitted DQP value. Alternatively, it may be inferred through the transmitted DQP value and high-level syntax.
  • a different DQP may be used for each subblock.
  • the QP of each subblock may be determined using the QP determined for the current block and the DQP value of each subblock.
  • the QP of each subblock may be determined through DQP between each subblock, or the QP of the current block may be determined using the QP of a specific subblock.
  • the QP of the current block may be signaled or a value of the QP to be used may be inferred through high-level syntax.
  • the intra prediction unit 600 may include a mode selection unit 610, a reference sample construction unit 620, a reference sample filtering unit 630, and a prediction signal generation unit 640. have.
  • the mode selector 610 may determine an intra prediction mode to be used to encode the current block. For example, the mode selector 610 may encode the current block using various intra prediction modes and select an appropriate intra prediction mode to be used from the tested modes.
  • the mode selector 610 may signal an intra prediction mode for the current block using a highest probability mode (MPM) process. For example, the mode selector 610 may set intra prediction modes of blocks adjacent to the current block (eg, a block located above the current block and a block located to the left of the current block) as MPM candidates. . When two MPM candidates cannot be found (e.g., when the neighboring block is not intra-predicted or the neighboring blocks have the same intra mode), the mode selector 610 selects the intra prediction mode of the neighboring block. It can also be substituted for Planar mode.
  • MPM highest probability mode
  • the MPM candidate list When the number of MPM candidates included in the MPM candidate list is less than the maximum number (eg, 6), default modes different from the previously inserted MPM candidates and directional modes similar to the previously inserted MPM candidates are the MPM candidate list. It can also be inserted into.
  • the maximum number e.g. 6
  • Information indicating whether the intra prediction mode of the current block is the same as any one of the MPM candidates may be signaled through a bitstream. If the intra prediction mode of the current block is the same as any one of the MPM candidates, the mode selector 610 sets the MPM flag to the first value, and additionally signals MPM index information for identifying the matching MPM candidate. have. Alternatively, a flag indicating whether the intra prediction mode of the current block is a planar mode may be signaled first, and MPM index information may be signaled if the intra prediction mode of the current block is not the planar mode.
  • the mode selector 610 sets the MPM flag to the second value, and which of the remaining intra prediction modes is the intra prediction mode of the current block. In order to indicate whether they are the same, residual mode information may be signaled through a bitstream.
  • the mode selector 610 may select an intra coding tool of the present disclosure that sequentially predicts the current block in units of subblocks.
  • the mode selector 610 may perform rate-distortion analysis to determine a direction of division of the current block into subblocks.
  • the mode selector 610 may determine whether to divide the current block into a plurality of subblocks in a horizontal direction or a plurality of subblocks in a vertical direction.
  • the mode selector 610 may set a division flag indicating whether to divide the current block as a first value (eg, '0').
  • the mode selector 610 may set a division flag indicating whether to divide the current block as a second value (eg, '1').
  • the mode selector 610 may transmit the split flag to the entropy decoder 155 of FIG. 1 to signal the split flag.
  • the mode selector 610 may be restricted from using the intra coding tool of the present disclosure described above unless predetermined criteria are satisfied. For example, depending on the location of the current block, the width and height of the current block, the width of the current block, the minimum transform size, and the maximum transform size, it may be determined whether or not the intra coding tool of the present disclosure can be used. In this case, signaling for a split flag indicating whether to use the intra coding tool of the present disclosure may be omitted. That is, the split flag is not included in the bitstream.
  • the mode selector 610 may not use the intra coding tool of the present disclosure.
  • the width and height of the current block are smaller than the minimum transform size, or the width of the current block (ie, the number of pixels included in the current block) is the width of the transform unit defined by the minimum transform size (ie , The number of pixels included in the transform unit)
  • the intra coding tool of the present disclosure is not applied and the split flag is not signaled.
  • the video decoding apparatus infers the split flag as a value indicating that the current block is not split.
  • the image decoding apparatus may be implemented to infer the split flag as a value indicating that the current block is divided into a plurality of subblocks and intra prediction is performed for each subblock.
  • the video decoding apparatus may infer the split flag as a value indicating that the current block is not split into subblocks.
  • the direction and number of subblock divisions are the size of the current block, the position of the current block, the length of one side of the current block (ie, width or height), and the current block. It may be determined based on the number of pixels included in, the intra prediction mode of the current block, and the size of the minimum or maximum transform block.
  • the mode selector 610 may use one or more syntax elements such as a 1-bit flag to signal the direction and number of subblock divisions.
  • the number of subblocks may be determined by the width and height of the current block. For example, when the width and height of the current block is 4 ⁇ 8 or 8 ⁇ 4, the number of subblocks is determined as 2, and the width and height of the current block is greater than 4 ⁇ 4 and equal to 4 ⁇ 8 and 8 ⁇ 4. When not, the number of subblocks may be determined as 4.
  • the number of subblocks is determined as 2, and the width and height of the current block are 8 ⁇ N to 32 ⁇ N, or N ⁇ 8 to N If x32 (here, N> 4), the number of subblocks may be determined as 4, and the number of subblocks may be determined as 8 for the current block larger than 32 ⁇ N and N ⁇ 32.
  • the direction of division is horizontal division or vertical division may be determined based on division information.
  • the direction of division may be determined (or inferred) based on the ratio of the width and height of the current block. For example, when the width of the current block is greater than the height of the current block, the direction of division may be determined as horizontal division, and when the width of the current block is smaller than the height of the current block, the direction of division may be determined as vertical division.
  • the shape and number of divisions may be inferred according to the position of the current block.
  • whether the division direction is horizontal or vertical division may be determined based on the directions of prediction modes included in intra prediction mode candidates (ie, MPM list) determined for the current block. In this case, signaling of one or more syntax elements indicating information on the shape and/or number of divisions in the bitstream may be omitted.
  • the reference sample construction unit 620 may check available samples in the vicinity and construct reference samples to be used for prediction by using the available samples. If there are no available samples (or if intra prediction is not performed using nearby samples), a reference sample can be arbitrarily constructed.
  • the reference sample filtering unit 630 may determine whether to perform filtering. Whether to perform filtering may be determined based on at least one of information such as size, depth, QP, and mode of the current block. If you need to perform filtering, you can choose which filtering to perform. In this case, information on which filter to perform may be signaled in the bitstream.
  • the prediction signal generator 640 may generate a prediction subblock by predicting a subblock to be coded among the plurality of subblocks from previously reconstructed pixels around the subblock.
  • the prediction signal generator 640 may use the intra prediction mode determined for the current block for intra prediction of a plurality of subblocks. Thereafter, the prediction subblock may be subtracted from the corresponding subblock of the current block to generate a residual subblock.
  • the residual subblock can be reconstructed through a transform/quantization process and an inverse quantization/inverse transform process.
  • the reconstructed residual subblock is summed with the prediction subblock generated by the prediction signal generator 640 to generate the reconstructed subblock.
  • the prediction signal generator 640 may use reconstructed pixels of a previous subblock and reconstructed pixels of a CU previously restored when performing prediction on a next subblock.
  • FIG. 7 is a flowchart illustrating a method of intra prediction encoding a current block of an image by an image encoding apparatus according to an embodiment of the present invention.
  • the apparatus for encoding an image may determine an intra prediction mode to be used to encode the current block.
  • the image encoding apparatus may determine whether to apply the intra coding tool of the present disclosure and, if applied, a direction in which the current block is divided among the horizontal direction and the vertical direction.
  • the apparatus for encoding an image may encode an intra prediction mode of the current block and syntax elements indicating whether the current block is predicted by dividing it into a plurality of subblocks.
  • the video encoding apparatus may signal an intra prediction mode for the current block using a highest probability mode (MPM) process. Also, the video encoding apparatus may signal a split flag indicating whether the current block is divided into a plurality of subblocks and predicted.
  • MPM highest probability mode
  • the apparatus for encoding an image may be limited in using the intra coding tool of the present disclosure unless predetermined criteria are satisfied. For example, depending on the location of the current block, the width and height of the current block, the width of the current block, the minimum transform size, and the maximum transform size, it may be determined whether or not the intra coding tool of the present disclosure can be used. In this case, signaling of a split flag indicating whether the intra coding tool of the present disclosure is used in the bitstream may be omitted.
  • the direction and number of subblock divisions are the size of the current block, the position of the current block, the length of one side of the current block (ie, width or height), and the current block. It may be determined based on the number of pixels included in, the intra prediction mode of the current block, and the size of the minimum or maximum transform block.
  • Information on the direction and number of subblock divisions may be provided in various ways.
  • the apparatus for encoding an image may use one or more syntax elements such as a 1-bit flag to signal division information such as the direction and/or the number of subblock divisions.
  • the number of subblocks may be determined by the width and height of the current block. For example, when the width and height of the current block is 4 ⁇ 8 or 8 ⁇ 4, the number of subblocks is determined as 2, and the width and height of the current block is greater than 4 ⁇ 4 and equal to 4 ⁇ 8 and 8 ⁇ 4. When not, the number of subblocks may be determined as 4.
  • the video encoding apparatus may explicitly signal a flag indicating the direction of subblock division (eg, whether horizontal division or vertical division).
  • the direction of division may be determined (or inferred) based on the ratio of the width and height of the current block. For example, when the width of the current block is greater than the height of the current block, the direction of division may be determined as horizontal division, and when the width of the current block is smaller than the height of the current block, the direction of division may be determined as vertical division. In this case, signaling of the flag indicating the division direction may be omitted.
  • step S730 when the intra coding tool of the present disclosure is applied to the current block, the image encoding apparatus may sequentially encode a plurality of subblocks using an intra prediction mode determined for the current block.
  • the apparatus for encoding an image may generate a prediction subblock by predicting a target subblock to be coded from among the plurality of subblocks, from irregular pixels surrounding the target subblock (S732).
  • the image encoding apparatus may generate a residual subblock from the target subblock and the prediction subblock (S734).
  • the image encoding apparatus may transform and quantize the residual subblock by using the same transform size as the target subblock (S736).
  • the image encoding apparatus may entropy-encode the quantized transform coefficient (S738).
  • the image encoding apparatus may restore a residual subblock by applying an inverse quantization/inverse transform process to the quantized transform coefficient, and generate a reconstructed subblock by summing the reconstructed residual subblock with the prediction subblock (S738).
  • pixels in the reconstructed subblock may be used to intra-predict the next subblock in the current block.
  • step S740 the apparatus for encoding an image performs deblocking filtering on the reconstructed current block, and uses the filtered current block as a reference picture for inter prediction of blocks in a picture to be encoded later. , May be stored in the memory 190 of FIG. 1.
  • the image encoding apparatus may set a grid at an interval of N samples in the horizontal and vertical directions, and perform deblocking filtering on the boundaries between the plurality of subblocks in the current block that match the boundary of the grid. have.
  • the intra prediction unit 800 may include a mode determination unit 810, a reference sample construction unit 820, a reference sample filtering unit 830, and a prediction signal generation unit 840. have.
  • the mode determiner 810 may determine the intra prediction mode of the current block by decoding intra prediction mode information of the current block from the bitstream. For example, the mode determination unit 810 selects a preset number of intra prediction mode candidates from among a plurality of intra prediction modes, and uses intra prediction mode information of the current block to determine an intra prediction mode candidate from among the intra prediction mode candidates. The prediction mode can be determined.
  • the mode determiner 810 may also determine whether to divide the intra prediction-coded current block into a plurality of subblocks. In other words, the mode determination unit 810 may divide the current block into subblocks of the same size and determine whether to perform intra prediction for each subblock using the same intra prediction mode as the intra prediction mode of the current block. have.
  • the mode determiner 810 may decode a partition flag indicating whether to divide the current block from the bitstream, and determine whether to divide the current block into a plurality of subblocks based on the partition flag. .
  • the first value (eg, '0') of the split flag indicates that the current block is not divided into subblocks
  • the second value (eg, '1') of the split flag indicates that the current block is divided into subblocks.
  • the split flag depends on the width and height of the current block, the width of the current block, and the minimum and maximum transform sizes allowed for transforming transform coefficients, without explicit signaling (i.e., without decoding from the bitstream), It may be inferred by the video decoding apparatus. Accordingly, the mode determination unit 810 may infer the value of the split flag based on the width and height of the current block, the width of the current block, and the minimum and maximum transform sizes allowed for transforming transform coefficients. May be.
  • the split flag when the width and height of the current block are smaller than the minimum transform size, the split flag may be set to a value indicating that the current block is not split without being decoded from the bitstream.
  • the area of the current block ie, the number of pixels included in the current block
  • the minimum transform size ie, the number of pixels included in the conversion unit
  • the split flag when the width and height of the current block are larger than the maximum transform size, the split flag has a second value (eg, '1') without being decoded from the bitstream, that is, a plurality of current blocks It can be inferred that it is divided into subblocks of and intra-predicted for each subblock.
  • the split flag has a first value (e.g., '0'), that is, the current block is divided into a plurality of subblocks and the coding tool of the present disclosure for intra prediction for each subblock is not applied. It could be.
  • the mode determiner 810 may determine the direction and number of subblock divisions.
  • the mode selector 810 may extract one or more syntax elements from the bitstream to determine the direction and number of subblock divisions. For example, whether the division direction is horizontal division or vertical division may be explicitly signaled using a syntax element such as a 1-bit flag. Accordingly, the mode determiner 810 may extract a syntax element indicating the division direction of the current block from the bitstream.
  • the division direction and number of sub-blocks are the size of the current block, the location of the current block, the length of one side of the current block (i.e., width or height), the number of pixels included in the current block, It may be determined or inferred based on the intra prediction mode of the current block and the size of the minimum or maximum transform block.
  • the division direction may be determined (or inferred) based on the ratio of the width and height of the current block. For example, when the width of the current block is larger than the height of the current block, the direction of division may be inferred as horizontal division, and when the width of the current block is smaller than the height of the current block, it may be inferred by vertical division. Alternatively or complementarily, when the current block exists at the boundary of a picture (or tile, group of tiles, etc.), the shape and number of divisions may be inferred according to the position of the current block. Also, whether the division direction is horizontal or vertical division may be determined based on the directions of prediction modes included in intra prediction mode candidates (ie, MPM list) determined for the current block. In this case, signaling of one or more syntax elements indicating information on the shape and/or number of divisions in the bitstream may be omitted.
  • intra prediction mode candidates ie, MPM list
  • the number of sub-blocks is the size of the current block, the location of the current block, the length of one side of the current block (i.e., width or height), the number of pixels included in the current block, the intra prediction mode of the current block, and the minimum or maximum transform block. It may be determined or inferred based on the size of
  • the number of subblocks may be determined by the width and height of the current block. For example, when the width and height of the current block is 4 ⁇ 8 or 8 ⁇ 4, the number of subblocks is determined as 2, and the width and height of the current block is greater than 4 ⁇ 4 and equal to 4 ⁇ 8 and 8 ⁇ 4. When not, the number of subblocks may be determined as 4.
  • the number of subblocks is determined as 2, and the width and height of the current block are 8 ⁇ N to 32 ⁇ N, or N ⁇ 8 to N If x32 (here, N> 4), the number of subblocks may be determined as 4, and the number of subblocks may be determined as 8 for the current block larger than 32 ⁇ N and N ⁇ 32.
  • the reference sample construction unit 820 may check available samples around and construct reference samples to be used for prediction by using the available samples. If there are no available samples (or if intra prediction is not performed using nearby samples), a reference sample can be arbitrarily constructed.
  • the reference sample filtering unit 830 determines whether to perform filtering. Whether to perform filtering may be determined based on at least one of information such as size, depth, QP, and mode of the current block. If you need to perform filtering, you can choose which filtering to perform. In this case, information on which filter to perform may be extracted from the bitstream.
  • the prediction signal generator 840 may generate an intra-predicted sub-block by predicting a sub-block to be reconstructed from among the plurality of sub-blocks from irregularly reconstructed pixels around the sub-block.
  • the prediction signal generator 840 may use a reconstructed signal of a previous subblock and a reconstructed signal of a previously reconstructed CU when performing prediction on a next subblock.
  • the intra-predicted subblock may be summed with a residual subblock reconstructed from the bitstream.
  • FIG. 9 is a flowchart illustrating a method of decoding an intra prediction-coded current block from a bitstream of an encoded image in an image decoding apparatus according to an embodiment of the present invention.
  • step S910 the video decoding apparatus determines whether to divide the intra prediction-coded current block into a plurality of subblocks. In other words, the video decoding apparatus divides the current block into subblocks of the same size and determines whether to perform intra prediction for each subblock by using the same intra prediction mode as the intra prediction mode of the current block.
  • the video decoding apparatus may decode a split flag indicating whether to split the current block from the bitstream, and determine whether to split the current block based on the split flag.
  • the first value (eg, “0”) of the division flag indicates that the current block is not divided into a plurality of subblocks
  • the second value (eg “1”) of the division flag indicates that the current block is divided into a plurality of subblocks. It is divided into and may indicate that intra prediction has been performed for each subblock.
  • the split flag depends on the width and height of the current block, the width of the current block, and the minimum and maximum transform sizes allowed for transforming transform coefficients, without explicit signaling (i.e., without decoding from the bitstream), It may be inferred by the video decoding apparatus. Accordingly, the image decoding apparatus may infer the value of the split flag based on the width and height of the current block, the width of the current block, and the minimum and maximum transform sizes allowed for transforming transform coefficients.
  • step S920 when the current block is divided into a plurality of subblocks, the video decoding apparatus horizontally or vertically divides the current block based on the divided information decoded from the bitstream and the width and height of the current block.
  • the division direction in which the current block is divided and the number of subblocks may be determined.
  • the division direction is horizontal division or vertical division may be determined by the division information. Alternatively or complementarily, the division direction may be determined based on a ratio of the width and height of the current block. For example, the division direction may be determined as horizontal division when the width of the current block is greater than the height of the current block, and vertical division when the width of the current block is smaller than the height of the current block.
  • the number of subblocks can be determined by the width and height of the current block. For example, when the width and height of the current block is 4 ⁇ 8 or 8 ⁇ 4, the number of subblocks is determined as 2, and the width and height of the current block is greater than 4 ⁇ 4 and equal to 4 ⁇ 8 and 8 ⁇ 4. When not, the number of subblocks may be determined as 4.
  • step S930 the image decoding apparatus restores the current block by sequentially reconstructing a plurality of subblocks divided according to the division direction and the number of subblocks using intra prediction.
  • the apparatus for decoding an image may generate an intra-predicted sub-block by predicting a sub-block to be reconstructed from among the plurality of sub-blocks from irregularly reconstructed pixels around the sub-block (S932).
  • the image decoding apparatus reconstructs a transform coefficient by decoding transform coefficient information corresponding to the subblock from the bitstream (S934), and the residual signal by inverse quantization and inverse transform using the same transform size as the subblock.
  • a residual subblock having s may be generated (S936).
  • the image decoding apparatus may reconstruct the subblock by using the intra prediction subblock and the residual subblock (S938).
  • the pixels in the reconstructed subblock may be used to intra-predict the next subblock in the current block.
  • the video decoding apparatus may determine the intra prediction mode of the current block by decoding intra prediction mode information of the current block from the bitstream. For example, the image decoding apparatus selects a preset number of intra prediction mode candidates (i.e., MPM candidates) from among a plurality of intra prediction modes, and uses intra prediction mode information of the current block to determine the current block among the MPM candidates.
  • the intra prediction mode can be determined.
  • the intra prediction mode candidates may be selected in different ways depending on whether the division direction is horizontal division or vertical division. For example, when the division direction is horizontal division, vertical oriented modes among the plurality of intra prediction modes may be selected as the MPM candidates in preference to horizontal oriented modes. In addition, if the division direction is vertical division, the horizontal oriented modes among the plurality of intra prediction modes may be selected as the MPM candidates in preference to the vertical oriented modes.
  • the image decoding apparatus has a non-zero transform coefficient in the subblock based on the location of the subblock in the current block and the number of subblocks.
  • a subblock flag indicating whether to do so may be decoded from the bitstream.
  • the image decoding apparatus may reconstruct transform coefficients corresponding to the subblock from the bitstream.
  • the video decoding apparatus may set the subblock flag to a value indicating that a non-zero transform coefficient exists in the subblock.
  • step S940 the image decoding apparatus performs deblocking filtering on the reconstructed current block and uses the filtered current block as a reference picture for inter prediction of blocks in a picture to be encoded later, as a buffer (e.g., It is stored in the memory 470 of FIG.
  • the image decoding apparatus may set a grid at intervals of N samples in the horizontal and vertical directions, and perform deblocking filtering on the boundaries between the plurality of subblocks in the current block that match the boundary of the grid. have.
  • FIGS. 10A and 10B are diagrams illustrating a process of generating a prediction subblock of a second subblock when a second subblock is restored after the first subblock in the coding block is restored.
  • the prediction sub-block obtained by intra-predicting the second sub-block according to the intra prediction mode of the coding block A weighted sum (or weighted average) is performed on the prediction subblock 1020 obtained by inter-prediction between the block 1010 and the second subblock, and the final prediction subblock (to be added to the related residual signal) for the second subblock.
  • Block 1030 may be created.
  • motion information may be individually signaled in units of subblocks, or motion information signaled for a coding block (CU) may be commonly used for all subblocks of a coding block (CU). .
  • the prediction block 1060 obtained by inter-predicting the coding block CU may be used in the restoration process of each sub-block.
  • the coding block A weighted sum (or weighted average) is performed on the prediction subblock 1010 obtained by intra prediction of the prediction subblock corresponding to the second subblock extracted from the prediction block 1060 of (CU) and the second subblock.
  • a final prediction subblock 1030 for the second subblock may be generated.
  • the prediction block 1060 of the coding block (CU) is generated prior to generating the final prediction subblock for the first subblock, and should be stored in the buffer until the final prediction subblock for the fourth subblock is generated. I can.
  • the video decoding apparatus when the above-described intra coding tool is applied to the current block, sequentially restores the current block in subblock units, but with respect to the target subblock to be reconstructed, the intra prediction subblock and the An inter prediction subblock is generated, the two prediction subblocks are weighted and averaged to generate a final prediction subblock for the target subblock, and the final prediction subblock is added to the residual subblock decoded from the bitstream. Can be restored.
  • the non-transitory recording medium includes, for example, all kinds of recording devices in which data is stored in a form readable by a computer system.
  • the non-transitory recording medium includes a storage medium such as an erasable programmable read only memory (EPROM), a flash drive, an optical drive, a magnetic hard drive, and a solid state drive (SSD).
  • EPROM erasable programmable read only memory
  • SSD solid state drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

참조샘플 구성 방법 및 영상 복호화 장치를 개시한다. 본 발명의 일 실시예에 따른 영상 복호화 방법은, 현재블록을 복수의 서브블록으로 분할할지 여부를 결정하는 단계와, 상기 현재블록이 상기 복수의 서브블록으로 분할될 때, 비트스트림으로부터 복호화된 분할 정보, 및 상기 현재블록의 너비(width)와 높이(height)에 근거하여, 수평 분할과 수직 분할 중 상기 현재블록이 분할되는 분할 방향과 서브블록 개수를 결정하는 단계와, 인트라 예측을 이용하여 상기 분할 방향과 서브블록 개수에 따라 분할된 상기 복수의 서브블록들을 순차적으로 복원함으로써, 상기 현재블록을 복원하는 단계와, 수평 및 수직 방향으로 N 샘플 간격으로 그리드(grid)를 설정하고, 상기 현재블록 내의 상기 복수의 서브블록 간의 경계들 중 상기 그리드의 경계와 일치하는 경계들을 디블록킹 필터링하는 단계를 포함한다.

Description

예측 유닛을 서브 유닛들로 분할하여 예측하는 인트라 예측 방법 및 장치
본 발명은 영상의 부호화 및 복호화에 관한 것으로서, 더욱 구체적으로는 예측 유닛을 서브 유닛들로 분할하여 예측하는 인트라 예측 방법 및 장치에 관한 것이다.
동영상 데이터는 음성 데이터나 정지 영상 데이터 등에 비하여 많은 데이터량을 가지기 때문에, 압축을 위한 처리 없이 그 자체를 저장하거나 전송하기 위해서는 메모리를 포함하여 많은 하드웨어 자원을 필요로 한다.
따라서, 통상적으로 동영상 데이터를 저장하거나 전송할 때에는 부호화기를 사용하여 동영상 데이터를 압축하여 저장하거나 전송하며, 복호화기에서는 압축된 동영상 데이터를 수신하여 압축을 해제하고 재생한다. 이러한 동영상 압축 기술로는 H.264/AVC를 비롯하여, H.264/AVC에 비해 약 40% 정도의 부호화 효율을 향상시킨 HEVC(High Efficiency Video Coding)가 존재한다.
그러나, 영상의 크기 및 해상도, 프레임율이 점차 증가하고 있고, 이에 따라 부호화해야 하는 데이터량도 증가하고 있으므로 기존의 압축 기술보다 더 부호화 효율이 좋고 화질 개선 효과도 높은 새로운 압축 기술이 요구된다.
한편, 인트라 예측에서는 현재블록의 주변에 위치하는 이미 복원된 샘플들을 이용하여 예측이 수행되며, 인트라 예측에 이용되는 주변샘플을 참조샘플이라고 한다. 전형적으로, 인트라 예측은 참조샘플들을 이용하여 현재블록 내의 모든 샘플들이 전체적으로 예측한다. 예컨대, 16×16 블록에 대해, 인접한 주변샘플들을 이용하여 16×16 블록에 속한 256개의 샘플 값이 예측된다. 영상에는 공간적 상관도가 존재하므로 일반적으로 참조샘플에 가까이 위치할수록 더 나은 예측 결과를 제공한다. 따라서 참조샘플에 인접한 샘플들은 예측 값이 정확하지만, 참조샘플로부터 멀리 떨어진 샘플들은 예측 값이 부정확할 수 있다.
본 개시는, 일반적으로, 현재 샘플이 예측되는 복원된 이웃 샘플들이 현재 샘플에 더 가까이 위치할 수 있도록, 예측 유닛을 서브 유닛들로 분할하고, 동일한 인트라 예측모드를 사용하여 서브 유닛들의 블록들을 예측하는 인트라 예측 기법을 제시한다.
본 개시의 일 측면에 따르면, 인트라 예측을 이용하여 현재블록을 복원하기 위한 영상 복호화 방법을 제공한다. 상기 방법은, 상기 현재블록을 복수의 서브블록으로 분할할지 여부를 결정하는 단계와, 상기 현재블록이 상기 복수의 서브블록으로 분할될 때, 비트스트림으로부터 복호화된 분할 정보, 및 상기 현재블록의 너비(width)와 높이(height)에 근거하여, 수평 분할과 수직 분할 중 상기 현재블록이 분할되는 분할 방향과 서브블록 개수를 결정하는 단계와, 인트라 예측을 이용하여 상기 분할 방향과 서브블록 개수에 따라 분할된 상기 복수의 서브블록들을 순차적으로 복원함으로써, 상기 현재블록을 복원하는 단계와, 수평 및 수직 방향으로 N 샘플 간격으로 그리드(grid)를 설정하고, 상기 현재블록 내의 상기 복수의 서브블록 간의 경계들 중 상기 그리드의 경계와 일치하는 경계들을 디블록킹 필터링하는 단계를 포함한다.
본 개시의 다른 측면에 따르면, 인트라 예측을 이용하여 현재블록을 복원하기 위한 영상 복호화 장치를 제공한다. 상기 장치는, 상기 현재블록을 복수의 서브블록으로 분할할지 여부를 결정하는 수단과, 상기 현재블록이 상기 복수의 서브블록으로 분할될 때, 비트스트림으로부터 복호화된 분할 정보, 및 상기 현재블록의 너비(width)와 높이(height)에 근거하여, 수평 분할과 수직 분할 중 상기 현재블록이 분할되는 분할 방향과 서브블록 개수를 결정하는 수단과, 인트라 예측을 이용하여 상기 분할 방향과 서브블록 개수에 따라 분할된 상기 복수의 서브블록들을 순차적으로 복원함으로써, 상기 현재블록을 복원하는 수단과, 수평 및 수직 방향으로 N 샘플 간격으로 그리드(grid)를 설정하고, 상기 현재블록 내의 상기 복수의 서브블록 간의 경계들 중 상기 그리드의 경계와 일치하는 경계들을 디블록킹 필터링하는 수단을 포함한다.
도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다.
도 2는 QTBTTT 구조를 이용하여 블록을 분할하는 방법을 설명하기 위한 도면이다.
도 3a는 복수의 인트라 예측 모드들을 나타낸 도면이다.
도 3b는 광각 인트라 예측모드들을 포함한 복수의 인트라 예측 모드들을 나타낸 도면이다.
도 4는 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따라 인트라 예측 코딩되는 현재블록이 복수의 서브블록들로 분할될 수 타입들을 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 장치 내의 인트라 예측부의 예시적인 구성을 도시하는 기능적인 블록도이다.
도 7은 본 발명의 일 실시예에 따른, 영상 부호화 장치가 영상의 현재블록을 인트라 예측 부호화하는 방법을 도시한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른, 영상 복호화 장치 내의 인트라 예측부의 예시적인 구성을 도시하는 기능적인 블록도이다.
도 9는 본 발명의 일 실시예에 따른 영상 복호화 장치에서, 부호화된 영상의 비트스트림으로부터 인트라 예측 코딩된 현재블록을 복호화하는 방법을 도시한 흐름도이다.
도 10a 및 도 10b는 서브블록 단위로 순차적으로 복원되는 코딩블록에 대해 서브블록의 예측 서브블록을 생성하는 프로세스를 도식화한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다. 이하에서는 도 1을 참조하여 영상 부호화 장치와 이 장치의 하위 구성들에 대하여 설명하도록 한다.
영상 부호화 장치는 픽쳐 분할부(110), 예측부(120), 감산기(130), 변환부(140), 양자화부(145), 재정렬부(150), 엔트로피 부호화부(155), 역양자화부(160), 역변환부(165), 가산기(170), 필터부(180) 및 메모리(190)를 포함하여 구성될 수 있다.
영상 부호화 장치의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
하나의 영상(비디오)는 복수의 픽처들로 구성된다. 각 픽처들은 복수의 영역으로 분할되고 각 영역마다 부호화가 수행된다. 예를 들어, 하나의 픽처는 하나 이상의 타일(Tile) 또는/및 슬라이스(Slice)로 분할된다. 여기서, 하나 이상의 타일을 타일 그룹(Tile Group)으로 정의할 수 있다. 각 타일 또는/슬라이스는 하나 이상의 CTU(Coding Tree Unit)로 분할된다. 그리고 각 CTU는 트리 구조에 의해 하나 이상의 CU(Coding Unit)들로 분할된다. 각 CU에 적용되는 정보들은 CU의 신택스로서 부호화되고, 하나의 CTU에 포함된 CU들에 공통적으로 적용되는 정보는 CTU의 신택스로서 부호화된다. 또한, 하나의 슬라이스 내의 모든 블록들에 공통적으로 적용되는 정보는 슬라이스 헤더의 신택스로서 부호화되며, 하나의 픽처들을 구성하는 모든 블록들에 적용되는 정보는 픽처 파라미터 셋(PPS, Picture Parameter Set) 혹은 픽처 헤더에 부호화된다. 나아가, 복수의 픽처가 공통으로 참조하는 정보들은 시퀀스 파라미터 셋(SPS, Sequence Parameter Set)에 부호화된다. 그리고, 하나 이상의 SPS가 공통으로 참조하는 정보들은 비디오 파라미터 셋(VPS, Video Parameter Set)에 부호화된다. 또한, 하나의 타일 또는 타일 그룹에 공통으로 적용되는 정보는 타일 또는 타일 그룹 헤더의 신택스로서 부호화될 수도 있다.
픽쳐 분할부(110)는 CTU(Coding Tree Unit)의 크기를 결정한다. CTU의 크기에 대한 정보(CTU size)는 SPS 또는 PPS의 신택스로서 부호화되어 영상 복호화 장치로 전달된다.
픽쳐 분할부(110)는 영상을 구성하는 각 픽처(picture)를 미리 결정된 크기를 가지는 복수의 CTU(Coding Tree Unit)들로 분할한 이후에, 트리 구조(tree structure)를 이용하여 CTU를 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU(coding unit)가 된다.
트리 구조로는 상위 노드(혹은 부모 노드)가 동일한 크기의 네 개의 하위 노드(혹은 자식 노드)로 분할되는 쿼드트리(QuadTree, QT), 또는 상위 노드가 두 개의 하위 노드로 분할되는 바이너리트리(BinaryTree, BT), 또는 상위 노드가 1:2:1 비율로 세 개의 하위 노드로 분할되는 터너리트리(TernaryTree, TT), 또는 이러한 QT 구조, BT 구조 및 TT 구조 중 둘 이상을 혼용한 구조일 수 있다. 예컨대, QTBT(QuadTree plus BinaryTree) 구조가 사용될 수 있고, 또는 QTBTTT(QuadTree plus BinaryTree TernaryTree) 구조가 사용될 수 있다. 여기서, BTTT를 합쳐서 MTT(Multiple-Type Tree)라 지칭될 수 있다.
도 2는 QTBTTT 분할 트리 구조를 보인다. 도 2에 보인 바와 같이, CTU는 먼저 QT 구조로 분할될 수 있다. 쿼드트리 분할은 분할 블록(splitting block)의 크기가 QT에서 허용되는 리프 노드의 최소 블록 크기(MinQTSize)에 도달할 때까지 반복될 수 있다. QT 구조의 각 노드가 하위 레이어의 4개의 노드들로 분할되는지 여부를 지시하는 제1 플래그(QT_split_flag)는 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. QT의 리프 노드가 BT에서 허용되는 루트 노드의 최대 블록 크기(MaxBTSize)보다 크지 않은 경우, BT 구조 또는 TT 구조 중 어느 하나 이상으로 더 분할될 수 있다. BT 구조 및/또는 TT 구조에서는 복수의 분할 방향이 존재할 수 있다. 예컨대, 해당 노드의 블록이 가로로 분할되는 방향과 세로로 분할되는 방향 두 가지가 존재할 수 있다. 도 2와 같이, MTT 분할이 시작되면, 노드들이 분할되었는지 여부를 지시하는 제2 플래그(mtt_split_flag)와, 분할이 되었다면 추가적으로 분할 방향(vertical 혹은 horizontal)을 나타내는 플래그 및/또는 분할 타입(Binary 혹은 Ternary)을 나타내는 플래그가 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. 대안적으로, 각 노드가 하위 레이어의 4개의 노드들로 분할되는지 여부를 지시하는 제1 플래그(QT_split_flag)를 부호화하기에 앞서, 그 노드가 분할되는지 여부를 지시하는 CU 분할 플래그(split_cu_flag)가 부호화될 수도 있다. CU 분할 플래그(split_cu_flag) 값이 분할되지 않았음을 지시하는 경우, 해당 노드의 블록이 분할 트리 구조에서의 리프 노드(leaf node)가 되어 부호화의 기본 단위인 CU(coding unit)가 된다. CU 분할 플래그(split_cu_flag) 값이 분할됨을 지시하는 경우, 영상 부호화 장치는 전술한 방식으로 제1 플래그부터 부호화를 시작한다.
트리 구조의 다른 예시로서 QTBT가 사용되는 경우, 해당 노드의 블록을 동일 크기의 두 개 블록으로 가로로 분할하는 타입(즉, symmetric horizontal splitting)과 세로로 분할하는 타입(즉, symmetric vertical splitting) 두 가지가 존재할 수 있다. BT 구조의 각 노드가 하위 레이어의 블록으로 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할되는 타입을 지시하는 분할 타입 정보가 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 전달된다. 한편, 해당 노드의 블록을 서로 비대칭 형태의 두 개의 블록으로 분할하는 타입이 추가로 더 존재할 수도 있다. 비대칭 형태에는 해당 노드의 블록을 1:3의 크기 비율을 가지는 두 개의 직사각형 블록으로 분할하는 형태가 포함될 수 있고, 혹은 해당 노드의 블록을 대각선 방향으로 분할하는 형태가 포함될 수도 있다.
CU는 CTU로부터의 QTBT 또는 QTBTTT 분할에 따라 다양한 크기를 가질 수 있다. 이하에서는, 부호화 또는 복호화하고자 하는 CU(즉, QTBTTT의 리프 노드)에 해당하는 블록을 '현재블록'이라 칭한다. QTBTTT 분할의 채용에 따라, 현재블록의 모양은 정사각형뿐만 아니라 직사각형일 수도 있다.
예측부(120)는 현재블록을 예측하여 예측블록을 생성한다. 예측부(120)는 인트라 예측부(122)와 인터 예측부(124)를 포함한다.
일반적으로, 픽처 내 현재블록들은 각각 예측적으로 코딩될 수 있다. 일반적으로 현재블록의 예측은 (현재블록을 포함하는 픽처로부터의 데이터를 사용하는) 인트라 예측 기술 또는 (현재블록을 포함하는 픽처 이전에 코딩된 픽처로부터의 데이터를 사용하는) 인터 예측 기술을 사용하여 수행될 수 있다. 인터 예측은 단방향 예측과 양방향 예측 모두를 포함한다.
인트라 예측부(122)는 현재블록이 포함된 현재 픽처 내에서 현재블록의 주변에 위치한 픽셀(참조 픽셀)들을 이용하여 현재블록 내의 픽셀들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재한다. 예컨대, 도 3a에서 보는 바와 같이, 복수의 인트라 예측모드는 planar 모드와 DC 모드를 포함하는 2개의 비방향성 모드와 65개의 방향성 모드를 포함할 수 있다. 각 예측모드에 따라 사용할 주변 픽셀과 연산식이 다르게 정의된다.
직사각형 모양의 현재블록에 대한 효율적인 방향성 예측을 위해, 도 3b에 점선 화살표로 도시된 방향성 모드들(67 ~ 80번, -1 ~ -14 번 인트라 예측모드들)이 추가로 사용될 수 있다. 이들은 "광각 인트라 예측모드들(wide angle intra-prediction modes)"로 지칭될 수 있다. 도 3b에서 화살표들은 예측에 사용되는 대응하는 참조샘플들을 가리키는 것이며, 예측 방향을 나타내는 것이 아니다. 예측 방향은 화살표가 가리키는 방향과 반대이다. 광각 인트라 예측모드들은 현재블록이 직사각형일 때 추가적인 비트 전송 없이 특정 방향성 모드를 반대방향으로 예측을 수행하는 모드이다. 이때 광각 인트라 예측모드들 중에서, 직사각형의 현재블록의 너비와 높이의 비율에 의해, 현재블록에 이용 가능한 일부 광각 인트라 예측모드들이 결정될 수 있다. 예컨대, 45도보다 작은 각도를 갖는 광각 인트라 예측모드들(67 ~ 80번 인트라 예측모드들)은 현재블록이 높이가 너비보다 작은 직사각형 형태일 때 이용 가능하고, -135도보다 큰 각도를 갖는 광각 인트라 예측모드들(-1 ~ -14 번 인트라 예측모드들)은 현재블록이 높이가 너비보다 큰 직사각형 형태일 때 이용 가능하다.
인트라 예측부(122)는 현재블록을 부호화하는데 사용할 인트라 예측모드를 결정할 수 있다. 일부 예들에서, 인트라 예측부(122)는 여러 인트라 예측모드들을 사용하여 현재블록을 인코딩하고, 테스트된 모드들로부터 사용할 적절한 인트라 예측모드를 선택할 수도 있다. 예를 들어, 인트라 예측부(122)는 여러 테스트된 인트라 예측모드들에 대한 레이트 왜곡(rate-distortion) 분석을 사용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중 최선의 레이트 왜곡 특징들을 갖는 인트라 예측모드를 선택할 수도 있다.
인트라 예측부(122)는 복수의 인트라 예측모드 중에서 하나의 인트라 예측모드를 선택하고, 선택된 인트라 예측모드에 따라 결정되는 주변 픽셀(참조 픽셀)과 연산식을 사용하여 현재블록을 예측한다. 선택된 인트라 예측모드에 대한 정보는 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 전달된다.
인터 예측부(124)는 움직임 보상 과정을 통해 현재블록에 대한 예측블록을 생성한다. 인터 예측부(124)는 현재 픽처보다 먼저 부호화 및 복호화된 참조픽처 내에서 현재블록과 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 현재블록에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 현재블록과 참조픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(motion vector)를 생성한다. 일반적으로, 움직임 추정은 루마(luma) 성분에 대해 수행되고, 루마 성분에 기초하여 계산된 모션 벡터는 루마 성분 및 크로마 성분 모두에 대해 사용된다. 현재블록을 예측하기 위해 사용된 참조픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 전달된다.
감산기(130)는 현재블록으로부터 인트라 예측부(122) 또는 인터 예측부(124)에 의해 생성된 예측블록을 감산하여 잔차블록을 생성한다.
변환부(140)는 공간 영역의 픽셀 값들을 가지는 잔차블록 내의 잔차 신호를 주파수 도메인의 변환 계수로 변환한다. 변환부(140)는 잔차블록의 전체 크기를 변환 단위로 사용하여 잔차블록 내의 잔차 신호들을 변환할 수 있으며, 또는 잔차블록을 변환 영역 및 비변환 영역인 두 개의 서브블록으로 구분하여, 변환 영역 서브블록만 변환 단위로 사용하여 잔차 신호들을 변환할 수 있다. 여기서, 변환 영역 서브블록은 가로축 (혹은 세로축) 기준 1:1의 크기 비율을 가지는 두 개의 직사각형 블록 중 하나일 수 있다. 이런 경우, 서브블록 만을 변환하였음을 지시하는 플래그(cu_sbt_flag), 방향성(vertical/horizontal) 정보(cu_sbt_horizontal_flag) 및/또는 위치 정보(cu_sbt_pos_flag)가 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. 또한, 변환 영역 서브블록의 크기는 가로축 (혹은 세로축) 기준 1:3의 크기 비율을 가질 수 있으며, 이런 경우 해당 분할을 구분하는 플래그(cu_sbt_quad_flag)가 추가적으로 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 시그널링된다.
한편, 변환을 위한 최대 및/또는 최소 변환 크기가 정의될 수 있다. 최소 변환 크기보다 작은 크기의 변환 단위를 사용한 변환은 허용되지 않는다. 또한, 현재블록의 잔차블록의 크기가 최대 변환 크기보다 큰 경우, 변환부(140)는 잔차블록은 최대 변환 크기 이하의 크기를 가지는 서브블록들로 분할하고, 그 서브블록들을 변환 단위로 사용하여 변환을 수행한다. 여기서, 최대 및/또는 최소 변환 크기는 영상 부호화 장치와 영상 복호화 장치 간에 서로 약속된 고정된 크기로 정의될 수 있다. 대안적으로, 최대 및/또는 최소 변환 크기에 대한 정보가 SPS 또는 PPS에 포함되어 영상 부호화 장치로부터 영상 복호화 장치로 시그널링될 수도 있다.
양자화부(145)는 변환부(140)로부터 출력되는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 엔트로피 부호화부(155)로 출력한다.
재정렬부(150)는 양자화된 잔차값에 대해 계수값의 재정렬을 수행할 수 있다.
재정렬부(150)는 계수 스캐닝(coefficient scanning)을 통해 2차원의 계수 어레이를 1차원의 계수 시퀀스로 변경할 수 있다. 예를 들어, 재정렬부(150)에서는 지그-재그 스캔(zig-zag scan) 또는 대각선 스캔(diagonal scan)을 이용하여 DC 계수부터 고주파수 영역의 계수까지 스캔하여 1차원의 계수 시퀀스를 출력할 수 있다. 변환 단위의 크기 및 인트라 예측모드에 따라 지그-재그 스캔 대신 2차원의 계수 어레이를 열 방향으로 스캔하는 수직 스캔, 2차원의 블록 형태 계수를 행 방향으로 스캔하는 수평 스캔이 사용될 수도 있다. 즉, 변환 단위의 크기 및 인트라 예측모드에 따라 지그-재그 스캔, 대각선 스캔, 수직 방향 스캔 및 수평 방향 스캔 중에서 사용될 스캔 방법이 결정될 수도 있다.
엔트로피 부호화부(155)는, CABAC(Context-based Adaptive Binary Arithmetic Code), 지수 골롬(Exponential Golomb) 등의 다양한 부호화 방식을 사용하여, 재정렬부(150)로부터 출력된 1차원의 양자화된 변환 계수들의 시퀀스를 부호화함으로써 비트스트림을 생성한다.
또한, 엔트로피 부호화부(155)는 블록 분할과 관련된 CTU size, CU 분할 플래그, QT 분할 플래그, MTT 분할 타입, MTT 분할 방향 등의 정보를 부호화하여, 영상 복호화 장치가 영상 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다. 또한, 엔트로피 부호화부(155)는 현재블록이 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보를 부호화하고, 예측 타입에 따라 인트라 예측정보(즉, 인트라 예측모드에 대한 정보) 또는 인터 예측정보(참조픽처 및 움직임벡터에 대한 정보)를 부호화한다.
역양자화부(160)는 양자화부(145)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(165)는 역양자화부(160)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.
가산부(170)는 복원된 잔차블록과 예측부(120)에 의해 생성된 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 픽셀들은 다음 순서의 블록을 인트라 예측할 때 참조 픽셀로서 사용된다.
필터부(180)는 블록 기반의 예측 및 변환/양자화로 인해 발생하는 블록킹 아티팩트(blocking artifacts), 링잉 아티팩트(ringing artifacts), 블러링 아티팩트(blurring artifacts) 등을 줄이기 위해 복원된 픽셀들에 대한 필터링을 수행한다. 필터부(180)는 디블록킹 필터(182)와 SAO(Sample Adaptive Offset) 필터(184)를 포함할 수 있다.
디블록킹 필터(180)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 필터링하고, SAO 필터(184)는 디블록킹 필터링된 영상에 대해 추가적인 필터링을 수행한다. SAO 필터(184)는 손실 부호화(lossy coding)로 인해 발생하는 복원된 픽셀과 원본 픽셀 간의 차이를 보상하기 위해 사용되는 필터이다.
디블록킹 필터(182) 및 SAO 필터(184)를 통해 필터링된 복원블록은 메모리(190)에 저장된다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용될 수 있다.
도 4는 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 기능 블록도이다. 이하에서는 도 4를 참조하여 영상 복호화 장치와 이 장치의 하위 구성들에 대하여 설명하도록 한다.
영상 복호화 장치는 엔트로피 복호화부(410), 재정렬부(415), 역양자화부(420), 역변환부(430), 예측부(440), 가산기(450), 필터부(460) 및 메모리(470)를 포함하여 구성될 수 있다.
도 1의 영상 부호화 장치와 마찬가지로, 영상 복호화 장치의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
엔트로피 복호화부(410)는 영상 부호화 장치에 의해 생성된 비트스트림을 복호화하여 블록 분할과 관련된 정보를 추출함으로써 복호화하고자 하는 현재블록을 결정하고, 현재블록을 복원하기 위해 필요한 예측정보와 잔차신호에 대한 정보 등을 추출한다.
엔트로피 복호화부(410)는 SPS(Sequence Parameter Set) 또는 PPS(Picture Parameter Set)로부터 CTU size에 대한 정보를 추출하여 CTU의 크기를 결정하고, 픽처를 결정된 크기의 CTU로 분할한다. 그리고, CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할정보를 추출함으로써 트리 구조를 이용하여 CTU를 분할한다.
예컨대, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, 먼저 QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 MTT의 분할과 관련된 제2 플래그(MTT_split_flag) 및 분할 방향(vertical / horizontal) 및/또는 분할 타입(binary / ternary) 정보를 추출하여 해당 리프 노드를 MTT 구조로 분할한다. 이를 통해 QT의 리프 노드 이하의 각 노드들을 BT 또는 TT 구조로 반복적으로(recursively) 분할한다.
또 다른 예로서, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, 먼저 CU의 분할 여부를 지시하는 CU 분할 플래그(split_cu_flag)를 추출하고, 해당 블록이 분할된 경우, 제1 플래그(QT_split_flag)를 추출할 수도 있다. 분할 과정에서 각 노드는 0번 이상의 반복적인 QT 분할 후에 0번 이상의 반복적인 MTT 분할이 발생할 수 있다. 예컨대, CTU는 바로 MTT 분할이 발생하거나, 반대로 다수 번의 QT 분할만 발생할 수도 있다.
다른 예로서, QTBT 구조를 사용하여 CTU를 분할하는 경우, QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT로 더 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할 방향 정보를 추출한다.
한편, 엔트로피 복호화부(410)는 트리 구조의 분할을 통해 복호화하고자 하는 현재블록을 결정하게 되면, 현재블록이 인트라 예측되었는지 아니면 인터 예측되었는지를 지시하는 예측 타입에 대한 정보를 추출한다. 예측 타입 정보가 인트라 예측을 지시하는 경우, 엔트로피 복호화부(410)는 현재블록의 인트라 예측정보(인트라 예측모드)에 대한 신택스 엘리먼트를 추출한다. 예측 타입 정보가 인터 예측을 지시하는 경우, 엔트로피 복호화부(410)는 인터 예측정보에 대한 신택스 엘리먼트, 즉, 움직임벡터 및 그 움직임벡터가 참조하는 참조픽처를 나타내는 정보를 추출한다.
한편, 엔트로피 복호화부(410)는 잔차신호에 대한 정보로서 현재블록의 양자화된 변환계수들에 대한 정보를 추출한다.
재정렬부(415)는, 영상 부호화 장치에 의해 수행된 계수 스캐닝 순서의 역순으로, 엔트로피 복호화부(410)에서 엔트로피 복호화된 1차원의 양자화된 변환계수들의 시퀀스를 다시 2차원의 계수 어레이(즉, 블록)로 변경할 수 있다.
역양자화부(420)는 양자화된 변환계수들을 역양자화하고, 역변환부(430)는 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 현재블록에 대한 잔차블록을 생성한다.
또한, 역변환부(430)는 변환블록의 일부 영역(서브블록)만 역변환하는 경우, 변환블록의 서브블록만을 변환하였음을 지시하는 플래그(cu_sbt_flag), 서브블록의 방향성(vertical/horizontal) 정보(cu_sbt_horizontal_flag) 및/또는 서브블록의 위치 정보(cu_sbt_pos_flag)를 추출하여, 해당 서브블록의 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환함으로써 잔차신호들을 복원하고, 역변환되지 않은 영역에 대해서는 잔차신호로 "0"값을 채움으로써 현재블록에 대한 최종 잔차블록을 생성한다. 한편, 최소 변환 크기보다 작은 크기의 변환 단위를 사용한 역변환은 허용되지 않는다. 또한, 현재블록의 잔차블록의 크기가 최대 변환 크기보다 큰 경우에, 역변환부(430)은 잔차블록은 최대 변환 크기 이하의 크기를 가지는 서브블록들로 분할하고, 그 서브블록들을 변환 단위로 사용하여 역변환을 수행한다.
예측부(440)는 인트라 예측부(442) 및 인터 예측부(444)를 포함할 수 있다. 인트라 예측부(442)는 현재블록의 예측 타입이 인트라 예측일 때 활성화되고, 인터 예측부(444)는 현재블록의 예측 타입이 인터 예측일 때 활성화된다.
인트라 예측부(442)는 엔트로피 복호화부(410)로부터 추출된 인트라 예측모드에 대한 신택스 엘리먼트로부터 복수의 인트라 예측모드 중 현재블록의 인트라 예측모드를 결정하고, 인트라 예측모드에 따라 현재블록 주변의 참조 픽셀들을 이용하여 현재블록을 예측한다. 인트라 예측모드에 대한 신택스 엘리먼트에 의해 결정된 인트라 예측모드는 전술한 바와 같이 전체 인트라 예측모드(예컨대, 총 67개 모드) 중 하나를 지시하는 값일 수 있다. 만약, 현재블록이 직사각형 블록인 경우에, 총 67개 모드 중 일부의 방향성 모드들은, 현재블록의 너비와 높이의 비율에 근거하여, 광각 인트라 예측모드들 중 하나로 대체될 수도 있다.
인터 예측부(444)는 엔트로피 복호화부(410)로부터 추출된 인트라 예측모드에 대한 신택스 엘리먼트를 이용하여 현재블록의 움직임벡터와 그 움직임벡터가 참조하는 참조픽처를 결정하고, 움직임벡터와 참조픽처를 이용하여 현재블록을 예측한다.
가산기(450)는 역변환부로부터 출력되는 잔차블록과 인터 예측부 또는 인트라 예측부로부터 출력되는 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 픽셀들은 이후에 복호화할 블록을 인트라 예측할 때의 참조픽셀로서 활용된다.
필터부(460)는 디블록킹 필터(462) 및 SAO 필터(464)를 포함할 수 있다. 디블록킹 필터(462)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해, 복원된 블록 간의 경계를 디블록킹 필터링한다. SAO 필터(464)는 손실 부호화(lossy coding)으로 인해 발생하는 복원된 픽셀과 원본 픽셀 간의 차이를 보상하기 위해, 디블록킹 필터링 이후의 복원된 블록에 대해 추가적인 필터링을 수행한다. 디블록킹 필터(462) 및 SAO 필터(464)를 통해 필터링된 복원블록은 메모리(470)에 저장된다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
본 개시의 기술들은 일반적으로 현재블록을 인트라 예측 코딩(즉, 부호화 및 복호화)하는 것과 관련되어 있다. 따라서, 본 개시의 소정의 기법들은 인트라 예측부(122) 또는 인트라 예측부(442)에 의해 수행될 수도 있다. 즉, 예를 들어, 인트라 예측부(122) 또는 인트라 예측부(442)는 아래의 도 5 내지 도 9를 참조하여 기술된 본 개시의 기법들을 수행할 수도 있다. 다른 예들에서, 영상 부호화 장치 혹은 영상 복호화 장치의 하나 이상의 다른 유닛들이 추가적으로 본 개시의 기법들을 수행하는 데 관여할 수도 있다. 이하의 설명은 주로 복호화 기술, 즉 영상 복호화 장치의 동작에 초점이 맞춰져 있으며, 부호화 기술들에 대한 설명은, 포괄적으로 설명된 복호화 기술과 반대이므로, 간략화된다.
인트라 예측에서는 현재블록의 주변에 위치하는 이미 복원된 샘플들을 이용하여 예측이 수행되며, 인트라 예측에 이용되는 주변샘플을 참조샘플(reference sample)이라고 한다. 전형적으로, 인트라 예측은 참조샘플들을 이용하여 현재블록 내의 모든 샘플들이 전체적으로 예측한다. 예컨대, 16×16 블록에 대해, 인접한 주변샘플들을 이용하여 16×16 블록에 속한 256개의 샘플값이 예측된다. 영상에는 공간적 상관도가 존재하므로 일반적으로 참조샘플에 가까이 위치할수록 더 나은 예측 결과를 제공한다. 따라서, 예컨대 수직 예측 모드(도 3b의 모드 50) 혹은 수평 예측 모드(도 3b의 모드 18)에서, 참조샘플에 인접한 샘플들은 예측 값이 정확하지만, 참조샘플로부터 멀리 떨어진 샘플들은 예측 값이 부정확할 수 있다.
이하에서 설명하는 인트라 코딩 툴은 CU를 그 크기에 따라 수직 또는 수평 방향으로 동일한 크기의 복수의 서브블록으로 나누고 각 서브블록에 대해 동일한 인트라 예측모드로 예측을 수행하는 것과 관련된다. 각 서브블록의 재구성된 샘플 값들(예측된 샘플 값 또는 복원된 샘플 값)은 다음 서브블록의 예측에 이용가능하며, 이는 각 서브블록에 대해 반복적으로 처리된다. 예를 들어, 현재블록(CU)가 4개의 평행한 서브블록들로 나뉘어질 때, 제1서브블록은 현재블록(CU)의 인접 샘플들로부터 예측될 수 있으며, 제2서브블록은 제1서브블록의 샘플들을 포함하는 인접 픽셀들로부터 예측될 수 있으며, 제3서브블록은 제2서브블록의 샘플들을 포함하는 인접 샘플들로부터 예측될 수 있고, 제4서브블록은 제3서브블록의 샘플들을 포함하는 인접 샘플들로부터 예측될 수 있다. 이러한 방식으로, 현재블록(CU)에 대해 인접하는 이전에 부호화 혹은 복호화된 블록들의 샘플들로부터 현재블록(CU)의 모든 화소들을 예측하는 것이 아니라, 현재블록(CU) 내의 샘플들이 동일한 현재블록(CU) 내의 다른 샘플들을 예측하는데 사용될 수 있다.
본 개시가 제공하는 인트라 코딩 툴의 하나의 이점은 복원된 이웃 샘플들이 일반적인 인트라 예측의 시나리오에서보다 예측된 샘플에 훨씬 더 가까운 경향이 있다는 점이다. 현재 샘플이 예측되는 복원된 이웃 샘플들이 현재 샘플에 더 가까이 위치되기 때문에, 현재 샘플의 예측의 정확도가 개선될 수 있다.
1. 서브블록 분할 및 시그널링
도 5a 내지 도 5c는 본 발명의 일 실시예에 따라 인트라 예측 코딩되는 현재블록이 복수의 서브블록들로 분할될 수 타입들을 예시한 도면이다. 본 개시의 인트라 코딩 툴이 적용 가능한 최소 블록 크기는 4×8 또는 8×4일 수 있다. 또한, 모든 서브블록은 최소 16개의 샘플을 가져야 하는 제약이 부가될 수 있다. 도 5a 내지 도 5c와 같이, 블록의 크기가 4×8 또는 8×4이면 2개로 분할되며, 이보다 크면 4개 혹은 8개로 분할될 수 있다. 인트라 코딩 툴을 사용할 수 있는 CU 크기는, VVC의 처리 단위인 VPDU(Virtual Pipeline Data Unit)로 인해, 최대 64Х64로 제한될 수 있다.
영상 부호화 장치는 현재블록이 복수의 서브블록으로 분할되어 각 서브블록별로 인트라 예측되었음을 지시하는 분할 플래그를 시그널링할 수 있다. 따라서, 영상 복호화 장치는 분할 플래그를 영상 데이터의 비트스트림으로부터 복호화하고, 상기 분할 플래그에 근거하여 현재블록을 분할할지 여부를 결정할 수 있다. 제1값(예컨대, "0")의 분할 플래그는 현재블록이 복수의 서브블록으로 분할되지 않음을 지시하고, 제2값(예컨대, "1")의 분할 플래그는 현재블록이 복수의 서브블록으로 분할되어 각 서브블록별로 인트라 예측되었음을 지시할 수 있다.
상기 분할 플래그는 현재블록의 너비와 높이, 현재블록의 넓이, 변환 계수들을 변환하기 위해 허용되는 최소 변환 크기 및/또는 최대 변환 크기에 의존하여, 명시적인 시그널링 없이(즉, 비트스트림으로부터 복호화 없이), 영상 복호화 장치에 의해 추론될 수도 있다.
일 예로, 현재블록의 너비와 높이가 최소 변환 크기보다 작을 때, 분할 플래그는, 비트스트림으로부터 복호화됨 없이, 현재블록이 분할되지 않음을 지시하는 제1값으로 설정될 수 있다. 다른 예로, 상기 현재블록의 넓이(즉, 현재블록에 포함되는 픽셀의 수)가 상기 최소 변환 크기에 의해 정의되는 변환 단위의 넓이(즉, 변환 단위에 포함되는 픽셀의 수)보다 작을 때, 상기 분할 플래그는, 상기 비트스트림으로부터 복호화됨 없이, 상기 현재블록이 분할되지 않음을 지시하는 제1값으로 설정될 수 있다. 또 다른 예로, 상기 현재블록의 너비와 높이가 상기 최대 변환 크기보다 클 때, 상기 분할 플래그는 상기 비트스트림으로부터 복호화되지 않을 수 있다. 이 경우, 분할 플래그는 제2값을 가지는 것으로, 즉 현재블록이 복수의 서브블록으로 분할되어 각 서브블록별로 인트라 예측되었다고 추론될 수 있다. 또는, 분할 플래그가 제1 값을 가지는 것으로 추론될 수도 있다. 즉, 상기 현재블록의 너비와 높이가 상기 최대 변환 크기보다 클 때에는 현재블록이 복수의 서브블록으로 분할되어 각 서브블록별로 인트라 예측하는 본 개시의 코딩 툴은 적용되지 않는 것으로 제약될 수 있다. 또 다른 예로, 현재블록이 픽처(혹은 타일)의 바운더리에 위치하는 경우, 본 개시의 인트라 코딩 툴은 사용되지 않으며, 상기 분할 플래그는 제1값을 가지는 것으로 추론될 수 있다. 대안적으로, 현재블록이 픽처(혹은 타일)의 바운더리에 위치하는 경우, 반드시 본 개시의 인트라 코딩 툴이 사용되어(따라서 상기 분할 플래그는 제1값을 가지는 것으로 추론되며), 픽처 바운더리에서 CTU의 추가 블록 분할이 회피될 수도 있다.
또한, 현재블록에 본 개시의 인트라 코딩 툴이 적용되는 경우에, 서브블록 분할의 방향과 개수에 관한 정보는 다양한 방식들로 제공될 수 있다. 예를 들어, 서브블록 분할의 방향과 개수는 비트스트림으로부터 추출된 신택스 엘리먼트(예컨대, 플래그), 현재블록의 크기, 현재블록의 위치, 현재블록의 한쪽면의 길이(즉, 너비 혹은 높이), 현재블록에 포함되는 픽셀의 수, 현재블록의 인트라 예측모드, 최소 혹은 최대 변환 블록의 크기 등을 기초로 결정될 수 있다.
일부 실시예에서, 영상 복호화 장치는 현재블록이 복수의 서브블록으로 분할될 때, 비트스트림으로부터 복호화된 분할 정보 및 상기 현재블록의 너비(width)와 높이(height)에 근거하여, 분할 방향과 서브블록 개수를 결정할 수 있다.
특히, 상기 서브블록 개수는 상기 현재블록의 너비와 높이에 의해 결정될 수도 있다. 일 예로, 표 1과 같이, 상기 현재블록의 너비와 높이가 4×8 또는 8×4 일 때, 상기 서브블록 개수는 2로 결정되고, 상기 현재블록의 너비와 높이가 4×4 보다 크고 4×8 및 8×4와 동일하지 않을 때, 상기 서브블록 개수는 4로 결정될 수 있다. 다른 일 예로, 표 2와 같이, 상기 현재블록의 너비와 높이가 4×8 또는 8×4 일 때 상기 서브블록 개수는 2로 결정되고, 상기 현재블록의 너비와 높이가 8×N 내지 32×N 이거나 또는 N×8 내지 N×32 이면(여기서, N > 4) 상기 서브블록 개수가 4로 결정되고, 32×N 및 N×32 보다 큰 현재블록에 대해서는 서브블록 개수가 8로 결정될 수 있다.
Figure PCTKR2020003445-appb-img-000001
Figure PCTKR2020003445-appb-img-000002
분할 방향이 수평 분할인지 수직 분할인지 여부는 분할 정보에 의해 결정될 수 있다. 대안적으로 혹은 보완적으로, 분할 방향은 현재블록의 너비와 높이의 비율에 근거하여 결정(혹은 추론)될 수도 있다. 일 예로, 분할 방향은 상기 현재블록의 너비가 상기 현재블록의 높이보다 큰 경우 수평 분할로 결정되고, 상기 현재블록의 너비가 상기 현재블록의 높이보다 작은 경우 수직 분할로 결정될 수 있다.
대안적으로 혹은 보완적으로, 현재블록이 픽쳐(혹은 타일, 타일들의 그룹 등)의 바운더리에 존재하는 경우에, 현재블록의 위치에 따라 분할 모양 및 개수가 추론될 수 있다.
또한, 현재블록에 대해 결정된 인트라 예측모드 후보들(즉, MPM 리스트)에 포함된 예측 모드들의 방향성에 기초하여 분할 방향이 수평 분할인지 수직 분할인지 여부가 결정될 수도 있다. 일 예로, MPM 리스트에 상대적으로 수평인 인트라 예측모드들(예컨대, 도 3b에 도시된 모드 3 내지 모드 33; 이하 "수평 지향 모드들")이 존재(혹은 우세)하는 경우에 분할 방향은 수직 분할로 결정되고, MPM 리스트에 상대적으로 수직인 인트라 예측모드들(예컨대, 도 3b에 도시된 모드 35 내지 모드 65; 이하 "수직 지향 모드들")이 존재(혹은 우세)하는 경우에 분할 방향은 수평 분할로 결정될 수 있다.
2. 인트라 예측모드 결정
본 개시의 인트라 코딩 툴이 현재블록에 적용되는 경우에, 현재블록의 서브블록들의 인트라 예측에는 현재블록에 대해 결정된 인트라 예측모드가 공통적으로 적용될 수 있다.
본 개시의 인트라 코딩 툴이 적용되는 현재블록에도 광각 인트라 예측모드가 사용될 수 있다. 이 경우, 광각 인트라 예측모드는 현재블록으로부터 분할된 서브블록의 너비와 높이 간의 비율이 아니라, 현재블록의 너비와 높이 간의 비율에 의해 결정될 수 있다.
영상 복호화 장치는 비트스트림으로부터 현재블록의 인트라 예측모드 정보를 복호화하여 현재블록의 인트라 예측모드를 결정할 수 있다. 예컨대, 영상 복호화 장치는 복수의 인트라 예측모드들 중 기설정된 개수의 인트라 예측모드 후보들을 선택하고, 현재블록의 인트라 예측모드 정보를 이용하여 인트라 예측모드 후보들(즉, MPM 리스트) 중에서 현재블록의 인트라 예측모드를 결정할 수 있다.
인트라 예측모드 후보들은, 분할 방향이 수평 분할인지 수직 분할인지 여부에 따라 상이한 방식으로 선택될 수도 있다. 일 예로, 분할 방향이 수평 분할이면, 복수의 인트라 예측모드들 중 수직 지향 모드들을 수평 지향 모드들에 우선하여 인트라 예측모드 후보들로 선택할 수 있다. 또한, 분할 방향이 수직 분할이면, 복수의 인트라 예측모드들 중 수평 지향 모드들을 상기 수직 지향 모드들에 우선하여 인트라 예측모드 후보들로 선택할 수 있다. 다른 일 예로, 분할 방향이 수평 분할이면 수평 모드(예컨대, 도 3b의 모드 18) 혹은 수평 지향 모드들은 인트라 예측모드 후보들의 선택에서 배제될 수 있으며, 분할 방향이 수직 분할이면, 수직 모드(예컨대, 도 3b의 50) 혹은 수직 지향 모드들은 인트라 예측모드 후보들의 선택에서 배제될 수도 있다.
3. 서브블록 단위의 인트라 예측블록 생성
영상 복호화 장치는, 현재블록에 대해 결정된 인트라 예측모드를 이용하여 복수의 서브블록들을 순차적으로 복원함으로써, 현재블록을 복원한다. 예컨대, 영상 복호화 장치는 복수의 서브블록들 중 복원할 대상 서브블록을 그 서브블록 주변의 기복원된 픽셀들로부터 예측하여 인트라 예측된 서브블록을 생성할 수 있다. 영상 복호화 장치는 비트스트림으로부터 서브블록에 대응하는 변환 계수 정보를 복호화하여 변환 계수들을 복원하고, 변환 계수들을 상기 복원 대상 서브블록과 동일한 변환 크기를 사용하여 역양자화 및 역변환으로써 잔차 신호들를 가지는 잔차 서브블록을 생성할 수 있다. 영상 복호화 장치는 상기 인트라 예측된 서브블록과 상기 잔차 서브블록을 이용하여 상기 서브블록을 복원할 수 있다. 특히, 복원된 서브블록 내의 픽셀들은 상기 현재블록 내의 다음 서브블록을 인트라 예측하기 위해 사용될 수 있다. 이러한 프로세스에 의해, 현재블록의 좌상단(top-left) 샘플을 포함하는 서브블록으로부터, 수평 분할의 경우 아래쪽 방향으로, 수직 분할의 경우 오른쪽 방향으로 순차적으로 처리된다.
일부의 경우에, 서브블록들에 대한 최소 예측 단위의 너비가 4 샘플이 되도록, 현재블록의 이전에 복호화된 1×N / 2×N 서브 블록의 재구성된 값에 대한 1×N / 2×N 서브 블록 예측의 의존성은 허용되지 않을 수 있다. 즉, 현재블록에 본 개시의 인트라 코딩 툴이 적용될 때, 1×N 및 2×N 단위의 변환은 허용하지만, 1×N 및 2×N 단위의 예측은 허용되지 않을 수 있다. 예를 들어, 수직 방향으로 분할되는 8×N (N>4) 현재블록은 4개의 2×N 서브블록으로 분할될 수 있다. 따라서, 현재블록에 대한 잔차신호들은 2×N 서브블록 단위로 복원되고 역변환됨으로써 생성된다. 그러나, 2×N 서브블록 단위의 예측은 허용되지 않으므로, 현재블록은 4 샘플의 너비를 갖는 4×N의 서브블록 단위로 예측된다. 즉, 수직 방향으로 분할되는 8×N (N>4) 현재블록은 2개의 4×N 예측 영역들과 4개의 2×N 변환 영역들로 분할될 수 있다. 또한, 수직 방향으로 분할되는 4×N 현재블록은 4×N 예측 영역으로 예측되고, 4개의 1×N 변환 영역으로 분할될 수 있다. 이는 일반적인 하드웨어 설계에서 인트라 예측된 블록의 결과를 행 단위로 여러 클럭에 나누어서 저장하는 특성에 기인하는 것으로, 1×N 또는 2×N 블록을 처리할 때 소요되는 클럭 수가 4×N 블록에 비해 많아지는 것을 피하기 위한 제약이다.
4. 인루프 필터링
영상 복호화 장치는 복원된 현재블록에 디블록킹 필터링을 포함하는 인루프 필터링(in-loop filtering)을 수행하고, 필터링된 현재블록을, 이후에 부호화하고자 하는 픽처 내의 블록들을 인터 예측하기 위한 참조 픽처로 사용하기 위해, 버퍼(예컨대, 도 4의 메모리(470))에 저장할 수 있다.
전형적인 실시예에서, 영상 복호화 장치는 수평 및 수직 방향으로 M 샘플 간격으로 그리드(grid)를 설정하고, 본 개시의 인트라 코딩 툴이 적용된 현재블록 내의 상기 복수의 서브블록 간의 경계들 중 상기 그리드의 경계와 일치하는 경계들을 디블록킹 필터링을 수행할 수 있다. 따라서 상기 복수의 서브블록 간의 경계들 중 상기 그리드의 경계와 일치하지 않는 경계들은 디블록킹 필터링이 수행되지 않을 수 있다. 예컨대, 8×8 단위의 디블록킹 필터링을 수행할 때, 2×N(혹은 N×2) 혹은 4×N(혹은 N×4) 크기의 서브 블록 간의 경계들 중에서 8×8 단위의 그리드의 경계와 일치하는 서브블록 간의 경계에 대해서만 디블록킹 필터링이 수행될 수 있다. 8×8 단위의 그리드를 예시로 들었으나, 그리드의 크기가 반드시 8×8로 제한되는 것은 아니다. 예컨대, M은 2 n (n은 자연수)의 형태로 표현될 수 있으며, 4, 8, 16 등 중에서 어느 하나의 값을 가질 수 있다.
일부의 경우에, 서브 블록 분할 방향 및 분할 개수에 따라 서브블록 간 경계의 일부에 대해서만 인루프 필터링이 수행될 수도 있다. 예컨대, 현재블록이 수평 방향으로 분할된 경우에 수직 방향의 디블록킹 필터링만 수행되고 수평 방향의 디블록킹 필터링은 생략될 수 있다. 유사하게, 현재블록이 수직 방향으로 분할된 경우에 수평 방향의 디블록킹 필터링만 수행되고 수직 방향의 디블록킹 필터링은 생략될 수 있다.
일부 실시예에서, 현재블록에 본 개시의 인트라 코딩 툴이 적용된 경우에, 각 서브 블록 단위로 인루프 필터링 수행 여부가 결정될 수도 있다. 따라서, 영상 복호화 장치는 각 서브블록 단위로 인루프 필터링 수행 여부를 확인하거나 하이-레벨 신택스를 통해 확인할 수 있다.
현재블록에 대해 인루프 필터링을 수행할 경우에, 서브 블록의 크기, 위치, 뎁스, QP 등의 정보 중 적어도 하나를 기초로 계산된 기준들에 따라 인루프 필터링의 수행 방법 혹은 인루프 필터링의 파라미터 계산 방법이 달라질 수 있다.
일 예로, 현재블록에 본 개시의 인트라 코딩 툴이 적용된 경우에, 현재블록의 서브블록의 크기가 인루프 필터링 파라미터들(예컨대, 필터의 강도와 픽셀의 변화에 대한 클리핑(clipping) 값을 결정하는 파라미터들)을 계산하는 단위보다 작을 수도 있다. 이 경우, 필터링 파라미터들을 서브블록 단위로 계산하지 않고, 현재블록에 대하여 필터링 파라미터들을 계산하고, 각 서브블록 단위로 인루프 필터링을 수행할 수 있다. 대안적으로, 2 이상의 서브블록을 묶어 공통의 필터링 파라미터들을 계산하고, 해당 서브블록들이 필터링 파라미터들을 공유할 수도 있다.
다른 일 예로, ALF 파라미터들을 계산하는 단위가 서브블록의 바운더리에 걸치게 되는 경우에, {N×1, 1×N, N×2, 2×N}과 같은 단위로 ALF 파라미터들을 구하여 ALF를 수행할 수 있다. 또 다른 일 예로, 현재블록에 반드시 디블록킹 필터링을 수행하거나 수행하지 않도록 구성함으로써, 디블록킹 필터링 수행 여부(혹은 필터 계수)를 결정하기 위한 파라미터들을 계산을 피할 수도 있다. 또 다른 일 예로, 현재 서브블록의 경계가 CU(혹은 CTU 혹은 VPDU)의 경계와 겹치는지 여부에 따라, 인루프 필터링의 수행 방법 혹은 파라미터 계산 방법이 달라질 수도 있다.
5. Coded Block Flag 시그널링
현재블록에 본 개시의 인트라 코딩 툴이 적용된 경우에, 각 서브블록에 대하여 해당 서브블록에 적어도 하나의 비제로 계수가 존재하는지 여부를 나타내는 신택스 엘리먼트(예컨대, Coded Block Flag; CBF)가 시그널링될 수 있다. 예컨대, "0" 값의 CBF는 대응되는 서브블록 내 모든 계수들이 제로 계수임을 가리키며, "1" 값의 CBF는 대응되는 서브블록 내에 적어도 하나의 비제로 계수가 존재함을 가리킬 수 있다.
CBF는 서브블록의 분할 개수, 서브블록의 크기(너비 혹은 높이), 인트라 예측모드, 블록의 위치, QP, 서브블록에 포함되는 픽셀의 개수 등에 기초하여 추론될 수도 있다. 일 예로, 현재블록의 서브블록들에 대한 적어도 하나의 CBF는 "0"이 아닌 것으로 간주된다. 따라서, 현재블록이 n 개의 서브블록을 가지고 있고, 이전 n-1 개의 서브블록에 대한 CBF들이 모두 "0"일 경우에, n 번째 서브블록의 CBF는 "1"로 추론되고 따라서 명시적으로 시그널링되지 않는다.
다른 일 예로, 주어진 현재블록의 서브블록들의 너비 혹은 높이가 2 보다 크지 않은 경우에, 각 서브블록의 CBF가 0이 아닌 경우에 한해, 본 개시의 인트라 코딩 툴이 적용될 수도 있다. 이러한 경우에, 예컨대, 8×16 현재블록에 본 개시의 인트라 코딩 툴이 적용되어 4개의 2×16 서브블록으로 분할되었다면, 각 서브블록의 CBF는 "1"로 추론되고 따라서 명시적으로 시그널링되지 않는다. 반면, 8×16 현재블록이 2개의 4×16 서브블록으로 분할되었다면, 각 서브블록의 CBF는 명시적으로 시그널링되어야 한다.
6. Quantization Parameter 시그널링
영상 부호화 장치는 현재블록(CU)에 대한 양자화 파라미터(Quantization Parameter; QP) 값을 결정하고, QP 값 및 QP 예측값에 기초하여 현재블록에 대한 델타 양자화 파라미터(Delta QP; DQP) 값을 결정한다. 영상 부호화 장치는 DQP 값을 시그널링하고, 결정된 QP 값을 사용하여 현재블록을 양자화하도록 구성될 수 있다. 영상 부호화 장치는 현재블록에 대한 QP 값을 조정함으로써 현재블록에 연관된 계수 블록들에 적용되는 양자화 정도를 조정할 수 있다.
DQP는 현재 QP(즉, 현재블록에 사용된 실제 QP)와 현재 QP의 예측값(즉, QP 예측값) 사이의 차이로서 정의된다. 시그널링된 DQP에 기초하여, 대응하는 현재 QP 값은 DQP를 QP 예측값에 합산함으로써 재구성될 수 있다. 즉, 영상 부호화 장치에서 DQP는 현재블록의 실제 QP로부터 QP 예측자를 감산함으로써 계산되며, 영상 복호화 장치에서 현재블록의 실제 QP는 수신된 DQP를 QP 예측값에 합산함으로써 재구성된다. 일부 예들에서, QP 예측값은 현재블록에 대해 상측 블록 및 좌측 블록에 대한 실제 QP 값들의 평균으로서 정의된다.
영상 복호화 장치는 현재 양자화 블록에 대한 DQP 값을 수신하고, 수신된 DQP 값 및 QP 예측값에 기초하여 현재 양자화 블록에 대한 QP 값을 결정하고, 결정된 QP 값을 사용하여 현재 양자화 블록을 역양자화하도록 구성될 수 있다.
현재블록에 본 개시의 인트라 코딩 툴이 적용된 경우에, 각 서브블록 단위로 DQP가 결정될 수도 있다. 이 경우 서브블록 단위로 DQP 사용할지 여부를 결정하기 위해 플래그를 확인하거나 하이-레벨 신택스를 통해 DQP 적용 여부를 확인할 수 있다.
일부 예들에서, 현재블록에 본 개시의 인트라 코딩 툴이 적용된 경우에, 모든 서브블록에 대하여 동일한 QP가 사용될 수도 있다. 따라서, 현재블록의 주변의(좌측 및/또는 상측) CU의 QP와 전송된 DQP값을 이용하여 현재블록의 QP값이 결정될 수 있다. 혹은, 전송된 DQP값과 하이-레벨 신택스를 통해 추론될 수도 있다
다른 일부 예들에서, 각 서브블록에 대하여 상이한 DQP가 사용될 수도 있다. 이 경우, 현재블록에 대해 결정된 QP와 각 각 서브블록의 DQP값을 이용하여, 각 서브블록의 QP가 결정될 수 있다. 혹은, 각 서브블록들 간의 DQP를 통해 각 서브블록의 QP가 결정되거나, 특정 서브블록의 QP를 이용하여 현재블록의 QP가 결정될 수도 있다.
또 다른 일부 예에서, 현재블록의 QP이 시그널링되거나 하이-레벨 신택스를 통해 사용할 QP의 값이 추론될 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 장치에서, 본 개시의 인트라 코딩 툴을 지원하는 인트라 예측부의 예시적인 구성을 도시하는 기능적인 블록도이다. 도 6에 도시된 바와 같이, 인트라 예측부(600)는 모드 선택부(610), 참조샘플 구성부(620), 참조샘플 필터링부(630), 및 예측신호 생성부(640)를 포함할 수 있다.
모드 선택부(610)는 현재블록을 부호화하는데 사용하기 위한 인트라 예측모드를 결정할 수 있다. 예를 들어, 모드 선택부(610)는 다양한 인트라 예측모드들을 사용하여 현재블록을 부호화하고, 테스트된 모드들로부터 사용할 적절한 인트라 예측모드를 선택할 수도 있다.
일부의 경우에, 모드 선택부(610)는 최고 확률 모드(MPM) 프로세스를 사용하여 현재블록에 대한 인트라 예측모드를 시그널링할 수도 있다. 예를 들어, 모드 선택부(610)는 현재블록에 이웃하는 블록들(예컨대, 현재블록의 상단에 위치하는 블록과 현재블록의 좌측에 위치된 블록)의 인트라 예측모드들을 MPM 후보들로 설정할 수 있다. 두 개의 MPM 후보들이 발견될 수 없는 경우에 (예컨대, 이웃블록이 인트라 예측되지 않았거나, 이웃블록들이 동일한 인트라 모드를 가지는 경우에), 모드 선택부(610)는 그 이웃블록의 인트라 예측모드를 Planar 모드를 대체할 수도 있다. MPM 후보 리스트에 포함된 MPM 후보의 개수가 최대 개수(예컨대 6개)보다 작은 경우, MPM 후보 리스트에 기 삽입된 MPM 후보와 상이한 디폴트 모드들과 기 삽입된 MPM 후보와 유사한 방향성 모드들이 MPM 후보 리스트에 삽입할 수도 있다.
현재블록의 인트라 예측모드가 MPM 후보들 중 어느 하나와 동일한지 여부를 나타내는 정보(예컨대 MPM 플래그)가 비트스트림을 통해 시그널링될 수 있다. 현재블록의 인트라 예측모드가 MPM 후보들 중 어느 하나와 동일하면, 모드 선택부(610)는 MPM 플래그를 제1값으로 설정하고, 일치하는 MPM 후보를 식별하기 위한 MPM 인덱스 정보를 추가로 시그널링할 수 있다. 대안적으로, 현재블록의 인트라 예측모드가 Planar 모드인지 여부를 나타내는 플래그를 먼저 시그널링하고, 만약 Planar 모드가 아닌 경우에 MPM 인덱스 정보를 시그널링할 수도 있다. 현재블록의 인트라 예측모드가 MPM 후보들 중 어느 하나와도 일치하지 않으면, 모드 선택부(610)는 MPM 플래그를 제2값으로 설정하고, 나머지 인트라 예측모드들 중에서 어느 것이 현재블록의 인트라 예측모드와 동일한지를 나타내기 위해 잔여 모드 정보를 비트스트림을 통해 시그널링할 수 있다.
모드 선택부(610)는 현재블록을 서브블록 단위로 순차적으로 예측하는 본 개시의 인트라 코딩 툴을 선택할 수도 있다. 이 경우, 모드 선택부(610)는 현재블록에 대한 서브블록들로의 분할 방향을 결정하기 위해, 레이트-왜곡 분석을 수행할 수도 있다. 다시 말해, 모드 선택부(610)는 현재블록을 수평 방향으로 복수의 서브블록들로 분할할 지 또는 수직 방향으로 복수의 서브블록들로 분할할 지 여부를 결정할 수 있다.
모드 선택부(610)는 현재블록이 복수의 서브블록으로의 분할됨 없이 예측되는 경우에, 현재블록의 분할 여부를 지시하는 분할 플래그를 제1값(예컨대, '0')으로 설정할 수 있다. 모드 선택부(610)는 현재블록이 복수의 서브블록으로의 분할되어 예측되는 경우에, 현재블록의 분할 여부를 지시하는 분할 플래그를 제2값(예컨대, '1')으로 설정할 수 있다. 모드 선택부(610)는 분할 플래그를 시그널링하기 위해, 예컨대 도 1의 엔트로피 복호화부(155)로 분할 플래그를 전달할 수 있다.
일부의 경우에, 모드 선택부(610)는 미리 결정된 기준들이 충족되지 않는 한 전술한 본 개시의 인트라 코딩 툴을 사용하는 것에 대해 제한을 받을 수도 있다. 예를 들어, 현재블록의 위치, 현재블록의 너비와 높이, 현재블록의 넓이, 최소 변환 크기, 최대 변환 크기 등에 의존하여, 본 개시의 인트라 코딩 툴의 사용 가능 여부가 결정될 수도 있다. 이러한 경우에 본 개시의 인트라 코딩 툴의 사용 여부를 나타내는 분할 플래그에 대한 시그널링이 생략될 수도 있다. 즉, 비트스트림에 분할 플래그는 포함되지 않는다.
일 예로, 모드 선택부(610)는 현재블록이 미리 설정된 크기(예컨대, 4×8 또는 8×4 등) 보다 작으면, 본 개시의 인트라 코딩 툴을 사용하지 않을 수도 있다. 다른 일 예로, 현재블록의 너비와 높이가 최소 변환 크기보다 작을 때, 또는, 현재블록의 넓이(즉, 현재블록에 포함되는 픽셀의 수)가 최소 변환 크기에 의해 정의되는 변환 단위의 넓이(즉, 변환 단위에 포함되는 픽셀의 수)보다 작을 때, 본 개시의 인트라 코딩 툴은 적용되지 않고 분할 플래그도 시그널링되지 않는다. 이 경우, 영상 복호화 장치는 분할 플래그를 현재블록이 분할되지 않음을 지시하는 값으로 추론한다. 또 다른 예로, 현재블록의 너비와 높이가 최대 변환 크기보다 클 때, 분할 플래그의 시그널링은 생략될 수 있다. 이 경우, 영상 복호화 장치는 분할 플래그를 현재블록이 복수의 서브블록으로 분할되어 각 서브블록별로 인트라 예측됨을 지시하는 값으로 추론하도록 구현될 수 있다. 또는, 영상 복호화 장치는 분할 플래그는 현재블록이 서브블록들로 분할되지 않음을 지시하는 값으로 추론할 수도 있다.
현재블록에 본 개시의 인트라 코딩 툴이 적용되는 경우에, 서브블록 분할의 방향과 개수는 현재블록의 크기, 현재블록의 위치, 현재블록의 한쪽면의 길이(즉, 너비 혹은 높이), 현재블록에 포함되는 픽셀의 수, 현재블록의 인트라 예측모드, 최소 혹은 최대 변환 블록의 크기 등을 기초로 결정될 수도 있다.
서브블록 분할의 방향과 개수에 관한 정보는 다양한 방식들로 제공될 수 있다. 예를 들어, 모드 선택부(610)는 서브블록 분할의 방향과 개수를 시그널링하기 위해 1 비트 플래그와 같은 하나 이상의 신택스 엘리먼트를 이용할 수도 있다.
일부의 경우에, 서브블록 개수는 현재블록의 너비와 높이에 의해 결정될 수도 있다. 일 예로, 현재블록의 너비와 높이가 4×8 또는 8×4 일 때, 서브블록 개수는 2로 결정되고, 현재블록의 너비와 높이가 4×4 보다 크고 4×8 및 8×4와 동일하지 않을 때, 상기 서브블록 개수는 4로 결정될 수 있다. 다른 일 예로, 현재블록의 너비와 높이가 4×8 또는 8×4 일 때 서브블록 개수는 2로 결정되고, 현재블록의 너비와 높이가 8×N 내지 32×N 이거나 또는 N×8 내지 N×32 이면(여기서, N > 4) 상기 서브블록 개수가 4로 결정되고, 32×N 및 N×32 보다 큰 현재블록에 대해서는 서브블록 개수가 8로 결정될 수 있다.
분할 방향방향이 수평 분할인지 수직 분할인지 여부는 분할 정보에 의해 결정될 수 있다. 대안적으로 혹은 보완적으로, 분할 방향은 현재블록의 너비와 높이의 비율에 근거하여 결정(혹은 추론)될 수도 있다. 일 예로, 분할 방향은 상기 현재블록의 너비가 상기 현재블록의 높이보다 큰 경우 수평 분할로 결정되고, 상기 현재블록의 너비가 상기 현재블록의 높이보다 작은 경우 수직 분할로 결정될 수 있다. 대안적으로 혹은 보완적으로, 현재블록이 픽쳐(혹은 타일, 타일들의 그룹 등)의 바운더리에 존재하는 경우에, 현재블록의 위치에 따라 분할 모양 및 개수가 추론될 수 있다. 또한, 현재블록에 대해 결정된 인트라 예측모드 후보들(즉, MPM 리스트)에 포함된 예측 모드들의 방향성에 기초하여 분할 방향이 수평 분할인지 수직 분할인지 여부가 결정될 수도 있다. 이러한 경우에 비트스트림에서 분할 모양 및/또는 개수에 대한 정보를 나타내는 하나 이상의 신택스 엘리먼트의 시그널링이 생략될 수도 있다.
참조샘플 구성부(620)는 주변의 사용 가능한 샘플들을 확인하고 사용 가능한 샘플들을 이용하여 예측에 사용할 참조샘플들을 구성할 수 있다. 만약 사용가능한 샘플들이 존재하지 않는 경우(혹은 주변에 샘플을 사용하여 인트라 예측을 수행하지 않는 경우) 임의로 참조샘플을 구성할 수 있다.
참조샘플 필터링부(630)에서는 필터링 수행 여부를 결정할 수 있다. 필터링 수행 여부는 현재블록의 크기, 뎁스, QP, 모드 등의 정보 중 적어도 하나를 바탕으로 결정될 수 있다. 만약 필터링을 수행해야 한다면, 어떤 필터링을 수행할지 필터를 선택할 수 있다. 이때 어떤 필터를 수행하는지에 대한 정보가 비트스트림에서 시그널링될 수 있다.
예측신호 생성부(640)는 상기 복수의 서브블록들 중 부호화할 서브블록을 상기 서브블록 주변의 이전에 복원된 픽셀들로부터 예측하여 예측 서브블록을 생성할 수 있다. 예측신호 생성부(640)는 복수의 서브블록들의 인트라 예측에, 현재블록에 대해 결정된 인트라 예측모드를 사용할 수 있다. 이후 예측 서브블록은, 잔차 서브블록을 생성하기 위해, 현재블록의 대응되는 서브블록에 대해 감산될 수 있다. 잔차 서브블록은 변환/양자화 프로세스와 역양자화/역변환 프로세스를 거쳐 복원될 수 있다. 복원된 잔차 서브블록은, 복원된 서브블록을 생성하기 위해, 예측신호 생성부(640)에 의해 생성된 예측 서브블록과 합산된다. 특히, 예측신호 생성부(640)는 다음 서브블록에 대한 예측을 수행할 때 이전 서브블록의 복원된 픽셀들과 이전에 복원된 CU의 복원 픽셀들을 이용할 수 있다.
도 7은 본 발명의 일 실시예에 따른, 영상 부호화 장치가 영상의 현재블록을 인트라 예측 부호화하는 방법을 도시한 흐름도이다.
S710 단계에서, 영상 부호화 장치는 현재블록을 부호화하는데 사용하기 위한 인트라 예측모드를 결정할 수 있다. 또한, 영상 부호화 장치는 본 개시의 인트라 코딩 툴을 적용할지 여부 및, 적용되는 경우 수평 방향과 수직 방향 중 현재블록을 분할하는 방향을 결정할 수 있다.
S720 단계에서, 영상 부호화 장치는 현재블록의 인트라 예측모드와 현재블록이 복수의 서브블록으로 분할하여 예측되는지 여부를 나타내는 신택스 엘리먼트들을 부호화할 수 있다. 영상 부호화 장치는 최고 확률 모드(MPM) 프로세스를 사용하여 현재블록에 대한 인트라 예측모드를 시그널링할 수도 있다. 또한, 영상 부호화 장치는 현재블록이 복수의 서브블록으로의 분할되어 예측되는지 여부를 나타내는 분할 플래그를 시그널링할 수도 있다.
일부의 경우에, 영상 부호화 장치는 미리 결정된 기준들이 충족되지 않는 한 본 개시의 인트라 코딩 툴을 사용하는 것에 대해 제한을 받을 수도 있다. 예를 들어, 현재블록의 위치, 현재블록의 너비와 높이, 현재블록의 넓이, 최소 변환 크기, 최대 변환 크기 등에 의존하여, 본 개시의 인트라 코딩 툴의 사용 가능 여부가 결정될 수도 있다. 이러한 경우에 비트스트림에서 본 개시의 인트라 코딩 툴의 사용 여부를 나타내는 분할 플래그의 시그널링이 생략될 수도 있다.
현재블록에 본 개시의 인트라 코딩 툴이 적용되는 경우에, 서브블록 분할의 방향과 개수는 현재블록의 크기, 현재블록의 위치, 현재블록의 한쪽면의 길이(즉, 너비 혹은 높이), 현재블록에 포함되는 픽셀의 수, 현재블록의 인트라 예측모드, 최소 혹은 최대 변환 블록의 크기 등을 기초로 결정될 수도 있다.
서브블록 분할의 방향과 개수에 관한 정보는 다양한 방식들로 제공될 수 있다. 예를 들어, 영상 부호화 장치는 서브블록 분할의 방향 및/또는 개수와 같은 분할 정보를 시그널링하기 위해 1 비트 플래그와 같은 하나 이상의 신택스 엘리먼트를 이용할 수도 있다.
일부의 경우에, 서브블록 개수는 현재블록의 너비와 높이에 의해 결정될 수도 있다. 일 예로, 현재블록의 너비와 높이가 4×8 또는 8×4 일 때, 서브블록 개수는 2로 결정되고, 현재블록의 너비와 높이가 4×4 보다 크고 4×8 및 8×4와 동일하지 않을 때, 상기 서브블록 개수는 4로 결정될 수 있다.
영상 부호화 장치는 서브블록 분할의 방향(예컨대, 수평 분할인지 수직 분할인지 여부)를 나타내는 플래그를 명시적으로 시그널링 할 수도 있다. 대안적으로 혹은 보완적으로, 분할 방향은 현재블록의 너비와 높이의 비율에 근거하여 결정(혹은 추론)될 수도 있다. 일 예로, 분할 방향은 상기 현재블록의 너비가 상기 현재블록의 높이보다 큰 경우 수평 분할로 결정되고, 상기 현재블록의 너비가 상기 현재블록의 높이보다 작은 경우 수직 분할로 결정될 수 있다. 이러한 경우에 분할 방향을 나타내는 플래그의 시그널링은 생략될 수도 있다.
S730 단계에서, 영상 부호화 장치는, 현재블록에 본 개시의 인트라 코딩 툴이 적용되는 경우에, 현재블록에 대해 결정된 인트라 예측모드를 이용하여 복수의 서브블록들을 순차적으로 부호화할 수 있다.
예컨대, 영상 부호화 장치는 복수의 서브블록들 중 부호화할 대상 서브블록을 그 대상 서브블록 주변의 기복원된 픽셀들로부터 예측하여 예측 서브블록을 생성할 수 있다(S732). 영상 부호화 장치는 대상 서브블록과 예측 서브블록으로부터 잔차 서브블록을 생성할 수 있다(S734). 영상 부호화 장치는 잔차 서브블록을 대상 서브블록과 동일한 변환 크기를 사용하여 변환 및 양자화할 수 있다(S736). 영상 부호화 장치는 양자화된 변환 계수를 엔트로피 부호화할 수 있다(S738). 또한, 영상 부호화 장치는 양자화된 변환 계수에 역양자화/역변환 프로세스를 적용하여 잔차 서브블록을 복원하고, 복원된 잔차 서브블록을 예측 서브블록과 합산하여 복원된 서브블록을 생성할 수 있다(S738). 특히, 복원된 서브블록 내의 픽셀들은 현재블록 내의 다음 서브블록을 인트라 예측하기 위해 사용될 수 있다. 이러한 프로세스에 의해, 현재블록의 좌상단(top-left) 샘플을 포함하는 서브블록으로부터, 수평 분할의 경우 아래쪽 방향으로, 수직 분할의 경우 오른쪽 방향으로 순차적으로 처리된다.
S740 단계에서, 영상 부호화 장치는 복원된 현재블록에 디블록킹 필터링 등을 수행하고, 필터링된 현재블록을, 이후에 부호화하고자 하는 픽처 내의 블록들을 인터 예측하기 위한 참조 픽처로 사용하기 위해, 버퍼(예컨대, 도 1의 메모리(190))에 저장할 수 있다. 영상 부호화 장치는 수평 및 수직 방향으로 N 샘플 간격으로 그리드(grid)를 설정하고, 상기 현재블록 내의 상기 복수의 서브블록 간의 경계들 중 상기 그리드의 경계와 일치하는 경계들을 디블록킹 필터링을 수행할 수 있다.
도 8은 본 발명의 일 실시예에 따라, 영상 복호화 장치에서 본 개시의 인트라 코딩 툴을 지원하는 인트라 예측부의 예시적인 구성을 도시하는 기능적인 블록도이다. 도 8에 도시된 바와 같이, 인트라 예측부(800)는 모드 결정부(810), 참조샘플 구성부(820), 참조샘플 필터링부(830), 및 예측신호 생성부(840)를 포함할 수 있다.
모드 결정부(810)는 비트스트림으로부터 현재블록의 인트라 예측모드 정보를 복호화하여 상기 현재블록의 인트라 예측모드를 결정할 수 있다. 예컨대, 모드 결정부(810)는 복수의 인트라 예측모드들 중 기설정된 개수의 인트라 예측모드 후보들을 선택하고, 상기 현재블록의 인트라 예측모드 정보를 이용하여 상기 인트라 예측모드 후보들 중에서 상기 현재블록의 인트라 예측모드를 결정할 수 있다.
모드 결정부(810)는 또한 인트라 예측 코딩된 현재블록을 복수의 서브블록으로 분할할지 여부를 결정할 수 있다. 다시 말해, 모드 결정부(810)는 현재블록을 동일한 크기의 서브블록들로 나누어 각 서브블록에 대해 상기 현재블록의 인트라 예측모드와 동일한 인트라 예측모드를 사용하여 인트라 예측을 수행할지 여부를 결정할 수 있다.
일 예로, 모드 결정부(810)는 현재블록의 분할 여부를 지시하는 분할 플래그를 비트스트림으로부터 복호화하고, 상기 분할 플래그에 근거하여 상기 현재블록을 복수의 서브블록들로 분할할지 여부를 결정할 수 있다. 분할 플래그의 제1값(예컨대, '0')은 현재블록이 서브블록들로 분할되지 않음을 지시하고, 분할 플래그의 제2값(예컨대, '1')은 현재블록이 서브블록들로 분할되어 각 서브블록별로 인트라 예측되었음을 지시할 수 있다.
분할 플래그는 상기 현재블록의 너비와 높이, 상기 현재블록의 넓이, 변환 계수들을 변환하기 위해 허용되는 최소 변환 크기 및 최대 변환 크기에 의존하여, 명시적인 시그널링 없이(즉, 비트스트림으로부터 복호화 없이), 영상 복호화 장치에 의해 추론될 수도 있다. 따라서, 모드 결정부(810)는, 상기 현재블록의 너비와 높이, 상기 현재블록의 넓이, 변환 계수들을 변환하기 위해 허용되는 최소 변환 크기 및 최대 변환 크기에 근거하여, 분할 플래그의 값을 추론할 수도 있다.
일 예로, 상기 현재블록의 너비와 높이가 상기 최소 변환 크기보다 작을 때, 상기 분할 플래그는, 상기 비트스트림으로부터 복호화됨 없이, 상기 현재블록이 분할되지 않음을 지시하는 값으로 설정될 수 있다. 다른 예로, 상기 현재블록의 넓이(즉, 현재블록에 포함되는 픽셀의 수)가 상기 최소 변환 크기에 의해 정의되는 변환 단위의 넓이(즉, 변환 단위에 포함되는 픽셀의 수)보다 작을 때, 상기 분할 플래그는, 상기 비트스트림으로부터 복호화됨 없이, 상기 현재블록이 분할되지 않음을 지시하는 값으로 설정될 수 있다. 또 다른 예로, 상기 현재블록의 너비와 높이가 상기 최대 변환 크기보다 클 때, 상기 분할 플래그는 상기 비트스트림으로부터 복호화됨 없이 제2값(예컨대, '1')을 가지는 것으로, 즉 현재블록이 복수의 서브블록으로 분할되어 각 서브블록별로 인트라 예측되었다고 추론될 수 있다. 또는, 반대로 상기 분할 플래그는 제1값(예컨대, '0')을 가지는 것으로, 즉 현재블록이 복수의 서브블록으로 분할되어 각 서브블록별로 인트라 예측하는 본 개시의 코딩 툴이 적용되지 않는 것으로 추론될 수도 있다.
현재블록에 본 개시의 코딩 툴이 적용되는 경우에, 모드 결정부(810)는 서브블록 분할의 방향과 개수를 결정할 수 있다. 모드 선택부(810)는 서브블록 분할의 방향과 개수를 결정하기 위해 비트스트림으로부터 하나 이상의 신택스 엘리먼트를 추출할 수 있다. 예컨대, 분할 방향이 수평 분할인지 수직 분할인지 여부는 1 비트 플래그와 같은 신택스 엘리먼트를 이용하여 명시적으로 시그널링될 수 있다. 따라서, 모드 결정부(810)는 비트스트림으로부터 현재블록의 분할 방향을 나타내는 신택스 엘리먼트를 추출할 수 있다.
대안적으로 혹은 보완적으로, 서브블록의 분할 방향과 개수는 현재블록의 크기, 현재블록의 위치, 현재블록의 한쪽면의 길이(즉, 너비 혹은 높이), 현재블록에 포함되는 픽셀의 수, 현재블록의 인트라 예측모드, 최소 혹은 최대 변환 블록의 크기 등을 기초로 결정 혹은 추론될 수도 있다.
예컨대, 분할 방향은 현재블록의 너비와 높이의 비율에 근거하여 결정(혹은 추론)될 수도 있다. 일 예로, 분할 방향은 상기 현재블록의 너비가 상기 현재블록의 높이보다 큰 경우 수평 분할로 추론되고, 상기 현재블록의 너비가 상기 현재블록의 높이보다 작은 경우 수직 분할로 추론될 수 있다. 대안적으로 혹은 보완적으로, 현재블록이 픽쳐(혹은 타일, 타일들의 그룹 등)의 바운더리에 존재하는 경우에, 현재블록의 위치에 따라 분할 모양 및 개수가 추론될 수 있다. 또한, 현재블록에 대해 결정된 인트라 예측모드 후보들(즉, MPM 리스트)에 포함된 예측 모드들의 방향성에 기초하여 분할 방향이 수평 분할인지 수직 분할인지 여부가 결정될 수도 있다. 이러한 경우에 비트스트림에서 분할 모양 및/또는 개수에 대한 정보를 나타내는 하나 이상의 신택스 엘리먼트의 시그널링이 생략될 수도 있다.
서브블록 개수는 현재블록의 크기, 현재블록의 위치, 현재블록의 한쪽면의 길이(즉, 너비 혹은 높이), 현재블록에 포함되는 픽셀의 수, 현재블록의 인트라 예측모드, 최소 혹은 최대 변환 블록의 크기 등을 기초로 결정 혹은 추론될 수도 있다.
일부의 경우에, 서브블록 개수는 현재블록의 너비와 높이에 의해 결정될 수도 있다. 일 예로, 현재블록의 너비와 높이가 4×8 또는 8×4 일 때, 서브블록 개수는 2로 결정되고, 현재블록의 너비와 높이가 4×4 보다 크고 4×8 및 8×4와 동일하지 않을 때, 상기 서브블록 개수는 4로 결정될 수 있다. 다른 일 예로, 현재블록의 너비와 높이가 4×8 또는 8×4 일 때 서브블록 개수는 2로 결정되고, 현재블록의 너비와 높이가 8×N 내지 32×N 이거나 또는 N×8 내지 N×32 이면(여기서, N > 4) 상기 서브블록 개수가 4로 결정되고, 32×N 및 N×32 보다 큰 현재블록에 대해서는 서브블록 개수가 8로 결정될 수 있다.
참조샘플 구성부(820)는 주변의 사용 가능한 샘플들을 확인하고 사용 가능한 샘플들을 이용하여 예측에 사용할 참조샘플들을 구성할 수 있다. 만약 사용가능한 샘플들이 존재하지 않는 경우(혹은 주변에 샘플을 사용하여 인트라 예측을 수행하지 않는 경우) 임의로 참조샘플을 구성할 수 있다.
참조샘플 필터링부(830)에서는 필터링 수행 여부를 결정한다. 필터링 수행 여부는 현재블록의 크기, 뎁스, QP, 모드 등의 정보 중 적어도 하나를 바탕으로 결정될 수 있다. 만약 필터링을 수행해야 한다면, 어떤 필터링을 수행할지 필터를 선택할 수 있다. 이때 어떤 필터를 수행하는지에 대한 정보는 비트스트림으로부터 추출될 수 있다.
예측신호 생성부(840)는 상기 복수의 서브블록들 중 복원할 서브블록을 상기 서브블록 주변의 기복원된 픽셀들로부터 예측하여 인트라 예측된 서브블록을 생성할 수 있다. 특히, 예측신호 생성부(840)는 다음 서브블록에 대한 예측을 수행할 때 이전 서브블록의 복원 신호와 이전에 복원된 CU의 복원 신호를 이용할 수 있다. 복원된 서브블록을 생성하기 위해, 인트라 예측된 서브블록은 비트스트림으로부터 복원된 잔차 서브블록과 합산될 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상 복호화 장치에서, 부호화된 영상의 비트스트림으로부터 인트라 예측 코딩된 현재블록을 복호화하는 방법을 도시한 흐름도이다.
단계 S910에서, 영상 복호화 장치는 인트라 예측 코딩된 현재블록을 복수의 서브블록으로 분할할지 여부를 결정한다. 다시 말해, 영상 복호화 장치는, 현재블록을 동일한 크기의 서브블록들로 나누어 각 서브블록에 대해 상기 현재블록의 인트라 예측모드와 동일한 인트라 예측모드를 사용하여 인트라 예측을 수행할지 여부를 결정한다.
예컨대, 영상 복호화 장치는 현재블록의 분할 여부를 지시하는 분할 플래그를 상기 비트스트림으로부터 복호화하고, 상기 분할 플래그에 근거하여 상기 현재블록을 분할할지 여부를 결정할 수 있다. 분할 플래그의 제1값(예컨대, "0")은 현재블록이 복수의 서브블록으로 분할되지 않음을 지시하고, 분할 플래그의 제2값(예컨대, "1")은 현재블록이 복수의 서브블록으로 분할되어 각 서브블록별로 인트라 예측되었음을 지시할 수 있다.
분할 플래그는 상기 현재블록의 너비와 높이, 상기 현재블록의 넓이, 변환 계수들을 변환하기 위해 허용되는 최소 변환 크기 및 최대 변환 크기에 의존하여, 명시적인 시그널링 없이(즉, 비트스트림으로부터 복호화 없이), 영상 복호화 장치에 의해 추론될 수도 있다. 따라서, 영상 복호화 장치는, 상기 현재블록의 너비와 높이, 상기 현재블록의 넓이, 변환 계수들을 변환하기 위해 허용되는 최소 변환 크기 및 최대 변환 크기에 근거하여, 분할 플래그의 값을 추론할 수도 있다.
단계 S920에서, 영상 복호화 장치는 현재블록이 복수의 서브블록으로 분할될 때, 비트스트림으로부터 복호화된 분할 정보 및 상기 현재블록의 너비(width)와 높이(height)에 근거하여, 수평 분할과 수직 분할 중 현재블록이 분할되는 분할 방향과 서브블록 개수를 결정할 수 있다.
상기 분할 방향이 수평 분할인지 수직 분할인지 여부는 상기 분할 정보에 의해 결정될 수 있다. 대안적으로 혹은 보완적으로, 상기 분할 방향은 상기 현재블록의 너비와 높이의 비율에 근거하여 결정될 수 있다. 일 예로, 상기 분할 방향은 상기 현재블록의 너비가 상기 현재블록의 높이보다 큰 경우 수평 분할로 결정되고, 상기 현재블록의 너비가 상기 현재블록의 높이보다 작은 경우 수직 분할로 결정될 수 있다.
서브블록 개수는 현재블록의 너비와 높이에 의해 결정될 수 있다. 일 예로, 현재블록의 너비와 높이가 4×8 또는 8×4 일 때, 서브블록 개수는 2로 결정되고, 현재블록의 너비와 높이가 4×4 보다 크고 4×8 및 8×4와 동일하지 않을 때, 서브블록 개수는 4로 결정될 수 있다.
단계 S930에서, 영상 복호화 장치는 인트라 예측을 이용하여 상기 분할 방향 및 서브블록 개수에 따라 분할된 복수의 서브블록들을 순차적으로 복원함으로써, 상기 현재블록을 복원한다.
예컨대, 영상 복호화 장치는 상기 복수의 서브블록들 중 복원할 서브블록을 상기 서브블록 주변의 기복원된 픽셀들로부터 예측하여 인트라 예측된 서브블록을 생성할 수 있다(S932). 영상 복호화 장치는 상기 비트스트림으로부터 상기 서브블록에 대응하는 변환 계수 정보를 복호화하여 변환 계수를 복원하고(S934), 상기 변환 계수들을 상기 서브블록과 동일한 변환 크기를 사용하여 역양자화 및 역변환으로써 잔차 신호들를 가지는 잔차 서브블록을 생성할 수 있다(S936). 영상 복호화 장치는 상기 인트라 예측 서브블록과 상기 잔차 서브블록을 이용하여 상기 서브블록을 복원할 수 있다(S938). 상기 복원된 서브블록 내의 픽셀들은 상기 현재블록 내의 다음 서브블록을 인트라 예측하기 위해 사용될 수 있다.
또한, S930 단계에서 혹은 그에 앞서, 영상 복호화 장치는 비트스트림으로부터 현재블록의 인트라 예측모드 정보를 복호화하여 상기 현재블록의 인트라 예측모드를 결정할 수 있다. 예컨대, 영상 복호화 장치는 복수의 인트라 예측모드들 중 기설정된 개수의 인트라 예측모드 후보들(즉, MPM 후보들)을 선택하고, 상기 현재블록의 인트라 예측모드 정보를 이용하여 상기 MPM 후보들 중에서 상기 현재블록의 인트라 예측모드를 결정할 수 있다. 상기 인트라 예측모드 후보들은, 상기 분할 방향이 수평 분할인지 수직 분할인지 여부에 따라, 다른 방식으로 선택될 수도 있다. 예컨대, 상기 분할 방향이 수평 분할이면, 상기 복수의 인트라 예측모드들 중 수직 지향 모드들을 수평 지향 모드들에 우선하여 상기 MPM 후보들로 선택할 수 있다. 또한, 상기 분할 방향이 수직 분할이면, 상기 복수의 인트라 예측모드들 중 상기 수평 지향 모드들을 상기 수직 지향 모드들에 우선하여 상기 MPM 후보들로 선택할 수 있다.
또한, S930 단계에서 혹은 그에 앞서, 영상 복호화 장치는 상기 현재블록 내에서의 상기 서브블록의 위치 및 상기 서브블록 개수에 근거하여, 상기 서브블록 내에 비제로 변환 계수(non-zero transform coefficient)가 존재하는 여부를 지시하는 서브블록 플래그를 상기 비트스트림으로부터 복호화할 수 있다. 이 경우, 영상 복호화 장치는 상기 서브블록 플래그가 상기 서브블록 내에 비제로 변환 계수가 존재함을 지시할 때, 상기 비트스트림으로부터 상기 서브블록에 대응하는 변환 계수들을 복원할 수 있다. 상기 서브블록 플래그가 상기 비트스트림으로부터 복호화되지 않으면, 영상 복호화 장치는 상기 서브블록 플래그는 상기 서브블록 내에 비제로 변환 계수가 존재함을 지시하는 값으로 설정할 수 있다.
단계 S940에서, 영상 복호화 장치는 복원된 현재블록에 디블록킹 필터링을 수행하고, 필터링된 현재블록을, 이후에 부호화하고자 하는 픽처 내의 블록들을 인터 예측하기 위한 참조 픽처로 사용하기 위해, 버퍼(예컨대, 도 4의 메모리(470))에 저장한다. 영상 복호화 장치는 수평 및 수직 방향으로 N 샘플 간격으로 그리드(grid)를 설정하고, 상기 현재블록 내의 상기 복수의 서브블록 간의 경계들 중 상기 그리드의 경계와 일치하는 경계들을 디블록킹 필터링을 수행할 수 있다.
한편, 전술한 인트라 코딩 툴에 따라 블록(CU)이 서브블록 단위로 순차적으로 코딩될 때, 서브블록에 대한 (관련된 잔차 신호에 가산될) 예측 신호를 생성함에 있어서 인트라 예측과 인터 예측이 모두 수행될 수도 있다. 도 10a 및 도 10b는 코딩블록 내 제1서브블록이 복원된 후 제2서브블록이 복원될 때, 제2서브블록의 예측 서브블록을 생성하는 프로세스를 도식화한 도면이다.
도 10a에 예시된 바와 같이, 제1서브블록이 복원된 후 코딩블록(CU)의 제2서브블록이 복원될 때, 코딩블록의 인트라 예측 모드에 따라 제2서브블록을 인트라 예측하여 얻어진 예측 서브블록(1010)과 제2서브블록을 인터 예측하여 얻어진 예측 서브블록(1020)에 대해 가중합(혹은 가중 평균)을 수행하여, 제2서브블록에 대한 (관련된 잔차 신호에 가산될) 최종 예측 서브블록(1030)을 생성할 수 있다. 여기서, 서브블록 단위의 인터 예측을 위해, 서브블록 단위로 움직임 정보가 개별적으로 시그널링되거나 코딩블록(CU)에 대해 시그널링되는 움직임 정보가 코딩블록(CU)의 모든 서브블록에 대해 공통적으로 사용될 수도 있다.
코딩블록(CU)이 서브블록 단위로 순차적으로 복원될 때, 코딩블록(CU)을 인터 예측하여 얻어진 예측블록(1060)이 각 서브블록의 복원 프로세스에서 사용될 수도 있다. 도 10b에 예시된 바와 같이, 제1서브블록이 복원된 후 코딩블록(CU)의 제2서브블록이 복원될 때, 제2서브블록에 대한 예측 서브블록(1070)을 생성하기 위해, 코딩블록(CU)의 예측블록(1060)으로부터 추출된 제2서브블록에 대응되는 예측 서브블록과 제2서브블록을 인트라 예측하여 얻어진 예측 서브블록(1010)에 대해 가중합(혹은 가중 평균)을 수행하여, 제2서브블록에 대한 최종 예측 서브블록(1030)을 생성할 수 있다. 코딩블록(CU)의 예측블록(1060)은 제1서브블록에 대한 최종 예측 서브블록을 생성하기에 앞서 생성되어, 제4서브블록에 대한 최종 예측 서브블록을 생성할 때까지 버퍼에 저장되어야 할 수 있다.
따라서, 일부 실시예에서, 영상 복호화 장치는, 현재블록에 전술한 인트라 코딩 툴이 적용된 경우에, 현재블록을 서브블록 단위로 순차적으로 복원하되, 복원할 대상 서브블록에 대해, 인트라 예측 서브블록과 인터 예측 서브블록을 생성하고, 두 개의 예측 서브블록들을 가중 평균하여, 대상 서브블록에 대한 최종 예측 서브블록을 생성하고, 비트스트림으로부터 복호화된 잔차 서브블록에 최종 예측 서브블록을 가산하여 대상 서브블록을 복원할 수 있다.
이상의 설명에서 예시적인 실시예들은 많은 다른 방식으로 구현될 수 있다는 것을 이해해야 한다. 하나 이상의 예시들에서 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 본 명세서에서 설명된 기능적 컴포넌트들은 그들의 구현 독립성을 특히 더 강조하기 위해 "...부(unit)"로 라벨링되었음을 이해해야 한다.
한편, 본 개시에서 설명된 다양한 기능들 혹은 방법들은 하나 이상의 프로세서에 의해 판독되고 실행될 수 있는 비일시적 기록매체에 저장된 명령어들로 구현될 수도 있다. 비일시적 기록매체는, 예를 들어, 컴퓨터 시스템에 의하여 판독가능한 형태로 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예를 들어, 비일시적 기록매체는 EPROM(erasable programmable read only memory), 플래시 드라이브, 광학 드라이브, 자기 하드 드라이브, 솔리드 스테이트 드라이브(SSD)와 같은 저장매체를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은, 본 명세서에 그 전체가 참고로서 포함되는, 2019년 03월 12일에 한국에 출원한 특허출원번호 제10-2019-0028356호에 대해 우선권을 주장한다.

Claims (15)

  1. 인트라 예측을 이용하여 현재블록을 복원하기 위한 영상 복호화 방법에 있어서,
    상기 현재블록을 복수의 서브블록으로 분할할지 여부를 결정하는 단계;
    상기 현재블록이 상기 복수의 서브블록으로 분할될 때, 비트스트림으로부터 복호화된 분할 정보, 및 상기 현재블록의 너비(width)와 높이(height)에 근거하여, 수평 분할과 수직 분할 중 상기 현재블록이 분할되는 분할 방향과 서브블록 개수를 결정하는 단계;
    인트라 예측을 이용하여 상기 분할 방향과 서브블록 개수에 따라 분할된 상기 복수의 서브블록들을 순차적으로 복원함으로써, 상기 현재블록을 복원하는 단계; 및
    수평 및 수직 방향으로 N 샘플 간격으로 그리드(grid)를 설정하고, 상기 현재블록 내의 상기 복수의 서브블록 간의 경계들 중 상기 그리드의 경계와 일치하는 경계들을 디블록킹 필터링하는 단계
    를 포함하는, 영상 복호화 방법.
  2. 제 1 항에 있어서,
    상기 현재블록을 복원하는 단계는,
    상기 복수의 서브블록들 중 복원할 대상 서브블록을 상기 대상 서브블록 주변의 기복원된 픽셀들로부터 예측하여 인트라 예측 서브블록을 생성하는 단계;
    상기 비트스트림으로부터 상기 대상 서브블록에 대응하는 변환 계수 정보를 복호화하여 변환 계수를 복원하고, 상기 변환 계수들을 상기 대상 서브블록과 동일한 변환 크기를 사용하여 역양자화 및 역변환으로써 잔차 신호들를 가지는 잔차 서브블록을 생성하는 단계; 및
    상기 인트라 예측 서브블록과 상기 잔차 서브블록을 이용하여 상기 대상 서브블록을 복원하는 단계를 포함하고,
    상기 복원된 대상 서브블록 내의 픽셀들은 상기 현재블록 내의 다음 서브블록을 인트라 예측하기 위해 사용되는 것을 특징으로 하는, 영상 복호화 방법.
  3. 제 1 항에 있어서,
    상기 현재블록의 분할할지 여부를 결정하는 단계는,
    상기 현재블록의 너비와 높이, 상기 현재블록의 넓이, 변환 계수들을 변환하기 위해 허용되는 최소 변환 크기 및 최대 변환 크기에 근거하여, 상기 현재블록의 분할 여부를 지시하는 분할 플래그를 상기 비트스트림으로부터 복호화하는 단계; 및
    상기 분할 플래그에 근거하여 상기 현재블록을 분할할지 여부를 결정하는 단계
    를 포함하는 것을 특징으로 하는, 영상 복호화 방법.
  4. 제 3 항에 있어서,
    상기 현재블록의 너비와 높이가 상기 최소 변환 크기보다 작을 때, 상기 분할 플래그는, 상기 비트스트림으로부터 복호화됨 없이, 상기 현재블록이 분할되지 않음을 지시하는 값으로 설정되는 것을 특징으로 하는, 영상 복호화 방법.
  5. 제 3 항에 있어서,
    상기 현재블록의 넓이가 상기 최소 변환 크기에 의해 정의되는 변환 단위의 넓이보다 작을 때, 상기 분할 플래그는, 상기 비트스트림으로부터 복호화됨 없이, 상기 현재블록이 분할되지 않음을 지시하는 값으로 설정되는 것을 특징으로 하는, 영상 복호화 방법.
  6. 제 3 항에 있어서,
    상기 현재블록의 너비와 높이가 상기 최대 변환 크기보다 클 때, 상기 분할 플래그는 상기 비트스트림으로부터 복호화되지 않는 것을 특징으로 하는, 영상 복호화 방법.
  7. 제 1 항에 있어서,
    상기 분할 방향은 수평 분할인지 수직 분할인지 여부는 상기 분할 정보에 의해 결정되고,
    상기 서브블록 개수는 상기 현재블록의 너비와 높이에 의해 결정되는 것을 특징으로 하는, 영상 복호화 방법.
  8. 제 1 항에 있어서,
    상기 현재블록의 너비와 높이가 4×8 또는 8×4 일 때, 상기 서브블록 개수는 2로 설정되고,
    상기 현재블록의 너비와 높이가 4×4 보다 크고 4×8 및 8×4와 동일하지 않을 때, 상기 서브블록 개수는 4로 설정되는 것을 특징으로 하는, 영상 복호화 방법.
  9. 제 1 항에 있어서,
    상기 분할 방향은,
    상기 현재블록의 너비가 상기 현재블록의 높이보다 큰 경우 수평 분할로 결정되고,
    상기 현재블록의 너비가 상기 현재블록의 높이보다 작은 경우 수직 분할로 결정되는 것을 특징으로 하는, 영상 복호화 방법.
  10. 제 2 항에 있어서,
    상기 서브블록에 대응하는 상기 변환 계수 정보를 복호화하여 상기 변환 계수를 복원하는 것은,
    상기 현재블록 내에서의 상기 서브블록의 위치 및 상기 서브블록 개수에 근거하여, 상기 서브블록 내에 비제로 변환 계수(non-zero transform coefficient)가 존재하는 여부를 지시하는 서브블록 플래그를 상기 비트스트림으로부터 복호화하는 단계; 및
    상기 서브블록 플래그가 상기 서브블록 내에 비제로 변환 계수가 존재함을 지시할 때, 상기 비트스트림으로부터 상기 서브블록에 대응하는 변환 계수들을 복원하는 단계
    를 포함하는 것을 특징으로 하는, 영상 복호화 방법.
  11. 제 10 항에 있어서,
    상기 서브블록 플래그가 상기 비트스트림으로부터 복호화되지 않으면, 상기 서브블록 플래그는 상기 서브블록 내에 비제로 변환 계수가 존재함을 지시하는 값으로 설정되는 것을 특징으로 하는, 영상 복호화 방법.
  12. 제 1 항에 있어서,
    상기 비트스트림으로부터 상기 현재블록의 인트라 예측모드 정보를 복호화하여 상기 현재블록의 인트라 예측모드를 결정하는 단계를 더 포함하고,
    상기 복수의 서브블록들은 상기 현재블록의 인트라 예측모드 정보와 동일한 인트라 예측모드를 사용하여 인트라 예측되는 것을 특징으로 하는, 영상 복호화 방법.
  13. 제 12 항에 있어서,
    상기 현재블록의 인트라 예측모드를 결정하는 단계는,
    복수의 가용한 인트라 예측모드들 중 기설정된 개수의 인트라 예측모드 후보들을 선택하는 단계; 및
    상기 현재블록의 인트라 예측모드 정보를 이용하여 상기 인트라 예측모드 후보들 중에서 상기 현재블록의 인트라 예측모드를 결정하는 단계를 포함하고,
    상기 인트라 예측모드 후보들은, 상기 분할 방향이 수평 분할인지 수직 분할인지 여부에 따라, 다른 방식으로 선택되는 것을 특징으로 하는, 영상 복호화 방법.
  14. 제 13 항에 있어서,
    상기 분할 방향이 수평 분할이면, 상기 복수의 인트라 예측모드들 중 수직 지향 모드들을 수평 지향 모드들에 우선하여 상기 인트라 예측모드 후보들을 선택하고,
    상기 분할 방향이 수직 분할이면, 상기 복수의 인트라 예측모드들 중 상기 수평 지향 모드들을 상기 수직 지향 모드들에 우선하여 상기 인트라 예측모드 후보들을 선택하는 것을 특징으로 하는, 영상 복호화 방법.
  15. 제 2 항에 있어서,
    상기 현재블록을 복원하는 단계는,
    상기 서브블록의 움직임벡터를 결정하고 상기 움직임벡터를 이용하여 상기 서브블록에 대한 인터 예측 서브블록을 생성하는 단계; 및
    상기 인트라 예측 서브블록과 상기 인터 예측 서브블록을 가중 평균하여 상기 서브블록에 대한 예측 서브블록을 생성하는 단계를 더 포함하고,
    상기 서브블록은 상기 예측 서브블록과 상기 잔차 서브블록을 가산하여 복원되는 것을 특징으로 하는, 영상 복호화 방법.
PCT/KR2020/003445 2019-03-12 2020-03-12 예측 유닛을 서브 유닛들로 분할하여 예측하는 인트라 예측 방법 및 장치 Ceased WO2020185004A1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202510737184.8A CN120321394A (zh) 2019-03-12 2020-03-12 视频解码方法、视频编码方法以及提供包含视频数据的比特流的方法
US17/438,263 US20220191530A1 (en) 2019-03-12 2020-03-12 Intra prediction method and device for predicting and dividing prediction unit into sub-units
CN202510737531.7A CN120302039A (zh) 2019-03-12 2020-03-12 视频解码方法、视频编码方法以及提供包含视频数据的比特流的方法
CN202510737344.9A CN120302038A (zh) 2019-03-12 2020-03-12 视频解码方法、视频编码方法以及提供包含视频数据的比特流的方法
CN202080035238.1A CN113924777B (zh) 2019-03-12 2020-03-12 视频解码方法、视频编码方法以及提供包含视频数据的比特流的方法
CN202510737682.2A CN120302040A (zh) 2019-03-12 2020-03-12 视频解码方法、视频编码方法以及提供包含视频数据的比特流的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0028356 2019-03-12
KR20190028356 2019-03-12

Publications (1)

Publication Number Publication Date
WO2020185004A1 true WO2020185004A1 (ko) 2020-09-17

Family

ID=72426932

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/003445 Ceased WO2020185004A1 (ko) 2019-03-12 2020-03-12 예측 유닛을 서브 유닛들로 분할하여 예측하는 인트라 예측 방법 및 장치

Country Status (4)

Country Link
US (1) US20220191530A1 (ko)
KR (1) KR20200110214A (ko)
CN (5) CN120302038A (ko)
WO (1) WO2020185004A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291562A (zh) * 2020-10-29 2021-01-29 郑州轻工业大学 针对h.266/vvc的快速cu分区和帧内模式决策方法
CN113286144A (zh) * 2021-03-24 2021-08-20 中山大学 基于Gabor的CU划分快速决策方法、装置及介质
WO2022117089A1 (zh) * 2020-12-03 2022-06-09 Oppo广东移动通信有限公司 预测方法、编码器、解码器以及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113574879A (zh) * 2019-03-15 2021-10-29 三星电子株式会社 图像编码方法和装置、图像解码方法和装置
US11677969B2 (en) * 2019-03-22 2023-06-13 Tencent America LLC Method and apparatus for video coding
WO2020197223A1 (ko) * 2019-03-23 2020-10-01 엘지전자 주식회사 영상 코딩 시스템에서의 인트라 예측 기반 영상 코딩
WO2020244536A1 (en) * 2019-06-03 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Combined intra and intra-block copy prediction for video coding
WO2022108419A1 (ko) * 2020-11-23 2022-05-27 현대자동차주식회사 선택적 서브블록 분할정보 전송을 이용하는 영상 부호화 및 복호화 방법과 장치
WO2022177317A1 (ko) * 2021-02-18 2022-08-25 현대자동차주식회사 서브블록 분할 기반 인트라 예측을 이용하는 비디오 코딩방법 및 장치
WO2022216124A1 (ko) * 2021-04-08 2022-10-13 엘지전자 주식회사 복수의 인트라 예측들에 기반하여 영상의 예측을 수행하는 영상 부호화/복호화 방법, 장치, 및 비트스트림을 전송하는 방법
WO2024053987A1 (ko) * 2022-09-06 2024-03-14 주식회사 윌러스표준기술연구소 기하학적 분할을 이용하는 비디오 신호 처리 방법 및 이를 위한 장치
CN121220031A (zh) * 2023-05-10 2025-12-26 现代自动车株式会社 使用基于子块分割的帧间帧内联合预测的视频编码方法和装置
CN120092447A (zh) * 2023-07-18 2025-06-03 腾讯美国有限责任公司 子块级的基于模板匹配的帧内预测的变换选择
WO2025221093A1 (ko) * 2024-04-15 2025-10-23 현대자동차주식회사 기하학적 분할 모드에서의 변환 또는 역변환 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180085526A (ko) * 2017-01-19 2018-07-27 가온미디어 주식회사 효율적 변환을 처리하는 영상 복호화 및 부호화 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130049522A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
CN107431815B (zh) * 2015-03-13 2021-03-26 Lg 电子株式会社 处理视频信号的方法及其设备
WO2018037723A1 (ja) * 2016-08-26 2018-03-01 シャープ株式会社 画像復号装置及び画像符号化装置
WO2018092868A1 (ja) * 2016-11-21 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2018143496A1 (ko) * 2017-02-03 2018-08-09 엘지전자(주) 예측 모드를 유도하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
KR102722939B1 (ko) * 2018-02-09 2024-10-29 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 파티션 기반 인트라 코딩 개념
EP3888360A1 (en) * 2018-11-30 2021-10-06 InterDigital VC Holdings, Inc. Triangle and multi-hypothesis combination for video coding and decoding
KR102696162B1 (ko) * 2019-01-10 2024-08-16 후아웨이 테크놀러지 컴퍼니 리미티드 인트라 서브파티션 코딩 툴로 인한 서브파티션 경계를 위한 디블로킹 필터
KR101997604B1 (ko) * 2019-01-22 2019-07-08 에스케이 텔레콤주식회사 영상 부호화/복호화 방법 및 장치
US20200252608A1 (en) * 2019-02-05 2020-08-06 Qualcomm Incorporated Sub-partition intra prediction
US12200202B2 (en) * 2019-02-21 2025-01-14 Lg Electronics Inc. Image decoding method and apparatus using intra prediction in image coding system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180085526A (ko) * 2017-01-19 2018-07-27 가온미디어 주식회사 효율적 변환을 처리하는 영상 복호화 및 부호화 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALBRECHT, M. ET AL.: "Description of SDR, HDR, and 360° video coding technology proposal by Fraunhofer HHI", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 . JVET-J0014-V4. 10TH MEETING, 20 April 2018 (2018-04-20), San Diego, US, pages 1 - 118, XP030248145, Retrieved from the Internet <URL:http://phenix.int-evry.fr/jvet> [retrieved on 20200601] *
CHEN, JIANLE ET AL.: "Algorithm description for Versatile Video Coding and Test Model 4 (VTM 4)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND I SO/IEC JTC 1 /SC 29/WG 11. JVET-M1002-V2. 13TH MEETING, 18 January 2019 (2019-01-18), Marrakech, MA, pages 1 - 62, XP030203548, Retrieved from the Internet <URL:http://phenix.int-evry.fr/jvet> [retrieved on 20200601] *
DE LUXAN HERNANDEZ, SANTIAGO ET AL.: "CE3: Intra Sub-Partitions Coding mode (Tests 1.1.1 and 1. 1.2)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 . JVET-M0102-V5. 13TH MEETING, 18 January 2019 (2019-01-18), Marrakech, MA, pages 1 - 9, XP030202300, Retrieved from the Internet <URL:http://phenix.int-evry.fr/jvet> [retrieved on 20200601] *
DE LUXAN HERNANDEZ, SANTIAGO ET AL.: "CE3: Line-based intra coding mode (Tests 2.1.1 and 2.1.2)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 1 6 WP 3 AND ISO/EEC JTC 1/SC 29/WG 11. JVET-L0076-V2. 12TH MEETING, 12 October 2018 (2018-10-12), Macao, CN, pages 1 - 9, XP030194061, Retrieved from the Internet <URL:http://phenix.int-evry.fr/jvet> [retrieved on 20200601] *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291562A (zh) * 2020-10-29 2021-01-29 郑州轻工业大学 针对h.266/vvc的快速cu分区和帧内模式决策方法
CN112291562B (zh) * 2020-10-29 2022-06-14 郑州轻工业大学 针对h.266/vvc的快速cu分区和帧内模式决策方法
WO2022117089A1 (zh) * 2020-12-03 2022-06-09 Oppo广东移动通信有限公司 预测方法、编码器、解码器以及存储介质
US12301792B2 (en) 2020-12-03 2025-05-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Intra-frame prediction methods, encoder, decoder and storage medium
US12355944B2 (en) 2020-12-03 2025-07-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Spatial angular partitioned weighted intra prediction using intra prediction directional modes to determine applied weight
CN113286144A (zh) * 2021-03-24 2021-08-20 中山大学 基于Gabor的CU划分快速决策方法、装置及介质
CN113286144B (zh) * 2021-03-24 2022-07-29 中山大学 基于Gabor的CU划分快速决策方法、装置及介质

Also Published As

Publication number Publication date
CN120321394A (zh) 2025-07-15
CN120302040A (zh) 2025-07-11
CN120302038A (zh) 2025-07-11
CN113924777B (zh) 2025-06-24
US20220191530A1 (en) 2022-06-16
CN120302039A (zh) 2025-07-11
KR20200110214A (ko) 2020-09-23
CN113924777A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
WO2020185004A1 (ko) 예측 유닛을 서브 유닛들로 분할하여 예측하는 인트라 예측 방법 및 장치
WO2021025478A1 (ko) 동영상 데이터의 인트라 예측 코딩을 위한 방법 및 장치
WO2020185009A1 (ko) 잔차블록을 효율적으로 코딩하는 방법 및 장치
WO2020231228A1 (ko) 영상 복호화 장치에서 이용하는 역양자화장치 및 방법
WO2023277602A1 (ko) 비디오 부호화/복호화 방법 및 장치
WO2021060804A1 (ko) 크로마블록의 잔차블록 복원 방법 및 복호화 장치
WO2020190077A1 (ko) 예측모드 추정에 기반하는 인트라 예측장치 및 방법
WO2020185027A1 (ko) 데이터 블록에 변환 생략 모드를 효율적으로 적용하기 위한 방법 및 장치
WO2023224290A1 (ko) 인트라 예측에서 성분간 관계 모델 유도를 위한 참조샘플 선택을 위한 방법 및 장치
WO2020190084A1 (ko) 서브블록 단위 복원 방법 및 영상 복호화 장치
WO2023038447A1 (ko) 비디오 부호화/복호화 방법 및 장치
WO2020122573A1 (ko) 필터링 방법 및 영상 복호화 장치
WO2022177375A1 (ko) 인트라 예측 신호와 인터 예측 신호의 가중 합을 이용하여 예측 블록을 생성하는 방법 및 이를 이용한 장치
WO2022186616A1 (ko) 인트라 예측모드 유도를 이용하는 비디오 코딩방법 및 장치
WO2022114742A1 (ko) 비디오 부호화 및 복호화를 위한 장치 및 방법
WO2020185058A1 (ko) 차등 부호화를 이용하는 영상 복호화 장치
WO2023219301A1 (ko) 인트라 예측 블록에 대한 움직임벡터 저장을 위한 방법 및 장치
WO2024058430A1 (ko) 하나의 블록에 싱글 트리와 듀얼 트리를 적응적으로 이용하는 비디오 코딩을 위한 방법 및 장치
WO2024071680A1 (ko) 분리 불가능한 1차 변환 기반 비디오 코딩을 위한 방법 및 장치
WO2023191332A1 (ko) 적응적 다중변환선택을 이용하는 비디오 코딩을 위한 방법 및 장치
WO2023038444A1 (ko) 비디오 부호화/복호화 방법 및 장치
WO2022211463A1 (ko) 적응적 인트라 예측 정밀도를 이용하는 비디오 코딩방법 및 장치
WO2022177317A1 (ko) 서브블록 분할 기반 인트라 예측을 이용하는 비디오 코딩방법 및 장치
WO2021112544A1 (ko) 차분 변조를 이용하는 비디오 부호화 및 복호화
WO2021040430A1 (ko) 차등 부호화를 이용하는 비디오 부호화 및 복호화

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20769604

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2021127514

Country of ref document: RU

122 Ep: pct application non-entry in european phase

Ref document number: 20769604

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 202080035238.1

Country of ref document: CN