WO2020185009A1 - 잔차블록을 효율적으로 코딩하는 방법 및 장치 - Google Patents

잔차블록을 효율적으로 코딩하는 방법 및 장치 Download PDF

Info

Publication number
WO2020185009A1
WO2020185009A1 PCT/KR2020/003455 KR2020003455W WO2020185009A1 WO 2020185009 A1 WO2020185009 A1 WO 2020185009A1 KR 2020003455 W KR2020003455 W KR 2020003455W WO 2020185009 A1 WO2020185009 A1 WO 2020185009A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
current block
residual
subblocks
subblock
Prior art date
Application number
PCT/KR2020/003455
Other languages
English (en)
French (fr)
Inventor
심동규
이종석
박시내
박승욱
임화평
Original Assignee
현대자동차주식회사
기아자동차주식회사
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사, 광운대학교 산학협력단 filed Critical 현대자동차주식회사
Priority to CN202080020838.0A priority Critical patent/CN113574877B/zh
Priority to US17/438,305 priority patent/US11973966B2/en
Priority to CN202410747113.1A priority patent/CN118764635A/zh
Priority to CN202410746853.3A priority patent/CN118764632A/zh
Priority to CN202410747124.XA priority patent/CN118764636A/zh
Priority to CN202410746872.6A priority patent/CN118764634A/zh
Priority to CN202410746861.8A priority patent/CN118764633A/zh
Publication of WO2020185009A1 publication Critical patent/WO2020185009A1/ko
Priority to US18/620,697 priority patent/US20240244247A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • the present invention relates to encoding and decoding of an image, and more particularly, to a method and apparatus for efficiently coding a residual block.
  • moving picture data Since moving picture data has a large amount of data compared to audio data or still image data, it requires a lot of hardware resources including memory in order to store or transmit itself without processing for compression.
  • the moving picture data is compressed and stored or transmitted using an encoder, and the decoder receives the compressed moving picture data, decompresses and reproduces the compressed moving picture data.
  • video compression technologies there are H.264/AVC and HEVC (High Efficiency Video Coding), which improves coding efficiency by about 40% compared to H.264/AVC.
  • an image encoding apparatus performs prediction of a current block through intra prediction or inter prediction, and then generates a residual block by subtracting sample values of the current block from sample values of the prediction block.
  • the apparatus for encoding an image divides the residual block into one or more transform blocks and applies a transform to one or more transform blocks to transform residual values of the transform blocks from a pixel domain to a frequency domain.
  • residual values may not exist or hardly exist in some regions of the residual block, and simply dividing such a residual block into transform blocks having smaller sizes may not be very efficient.
  • the present disclosure is intended to propose a coding technique of a residual block that may be suitable for a residual block in which a residual value may not exist or hardly exist in a partial region.
  • the apparatus for decoding an image decodes a flag indicating whether only a residual signal corresponding to a partial region of a current block is encoded from a bitstream, and the flag corresponds to a partial region of the current block.
  • a decoder for restoring transform coefficients by decoding transform coefficient information corresponding to one of two sub-blocks divided from the current block, when it is indicated that only the residual signal is encoded;
  • a prediction unit predicting the current block and generating a prediction block;
  • An inverse quantization and inverse transform unit for generating a residual block for the current block by inverse quantizing and inverse transforming the transform coefficients in the subblock from which the transform coefficient information is decoded among the two subblocks;
  • An adder configured to restore the current block by adding the prediction block and the residual block;
  • a filter unit configured to set a grid at N-sample intervals in the horizontal and vertical directions, and deblocking and filter a boundary between the two subblocks in the current block that coincide with the boundary of the grid.
  • a method of decoding an image includes: decoding a flag indicating whether only a residual signal corresponding to a partial region of a current block has been encoded from a bitstream; When the flag indicates that only a residual signal corresponding to a partial region of the current block is encoded, transform coefficient information corresponding to one of two subblocks divided from the current block is decoded from the bitstream to restore transform coefficients.
  • Step to do Predicting the current block to generate a prediction block; Generating a residual block for the current block by inverse quantizing and inverse transforming the transform coefficients in the subblock from which the transform coefficient information is decoded among the two subblocks; Reconstructing the current block by adding the prediction block and the residual block; And setting a grid at N sample intervals in the horizontal and vertical directions, and performing deblocking filtering on a boundary between the two subblocks in the current block that coincide with the boundary of the grid.
  • FIG. 1 is an exemplary block diagram of an image encoding apparatus capable of implementing the techniques of the present disclosure.
  • FIG. 2 is a diagram for explaining a method of dividing a block using a QTBTTT structure.
  • 3A is a diagram illustrating a plurality of intra prediction modes.
  • 3B is a diagram illustrating a plurality of intra prediction modes including wide-angle intra prediction modes.
  • FIG. 4 is an exemplary block diagram of an image decoding apparatus capable of implementing the techniques of the present disclosure.
  • 5A to 5D illustrate various partition types and encoded subblocks of a residual block.
  • FIG. 6 is a diagram for describing positions of neighboring blocks to be referred to predict a quantization parameter (QP) when only one subblock in a related residual block of a current block is encoded.
  • QP quantization parameter
  • FIG. 7 is a diagram illustrating a chroma block and a luma block corresponding thereto.
  • FIG. 8 is a diagram illustrating an inter-subblock division boundary and a deblock boundary for a reconstructed current block in which horizontal division is applied to a related residual block and transform is applied to a left subblock.
  • 9 is a diagram for describing deblocking filtering performed at a residual signal level with respect to a boundary between residual subblocks.
  • FIG. 10 is a flowchart illustrating a method of inter prediction encoding a current block of an image by an image encoding apparatus according to an embodiment of the present invention.
  • 11 is a flowchart illustrating a method of decoding an inter prediction-coded current block from a bitstream of an encoded image by an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 1 is an exemplary block diagram of an image encoding apparatus capable of implementing the techniques of the present disclosure.
  • an image encoding apparatus and sub-elements of the apparatus will be described with reference to FIG. 1.
  • the image encoding apparatus includes a picture segmentation unit 110, a prediction unit 120, a subtractor 130, a transform unit 140, a quantization unit 145, a rearrangement unit 150, an entropy encoding unit 155, an inverse quantization unit. (160), an inverse transform unit 165, an adder 170, a filter unit 180, and a memory 190 may be included.
  • Each component of the image encoding apparatus may be implemented by hardware or software, or by a combination of hardware and software.
  • functions of each component may be implemented as software, and a microprocessor may be implemented to execute a function of software corresponding to each component.
  • One image is composed of a plurality of pictures. Each picture is divided into a plurality of regions, and encoding is performed for each region. For example, one picture is divided into one or more tiles or/and slices. Here, one or more tiles may be defined as a tile group. Each tile or/slice is divided into one or more Coding Tree Units (CTUs). And each CTU is divided into one or more CUs (Coding Units) by a tree structure. Information applied to each CU is encoded as the syntax of the CU, and information commonly applied to CUs included in one CTU is encoded as the syntax of the CTU.
  • CTUs Coding Tree Units
  • information commonly applied to all blocks in one slice is encoded as the syntax of the slice header, and information applied to all blocks constituting one picture is a picture parameter set (PPS) or picture. It is coded in the header. Further, information commonly referred to by a plurality of pictures is encoded in a sequence parameter set (SPS). In addition, information commonly referred to by one or more SPSs is encoded in a video parameter set (VPS). Also, information commonly applied to one tile or tile group may be encoded as syntax of a tile or tile group header.
  • PPS picture parameter set
  • SPS sequence parameter set
  • VPS video parameter set
  • information commonly applied to one tile or tile group may be encoded as syntax of a tile or tile group header.
  • the picture division unit 110 determines the size of a coding tree unit (CTU).
  • CTU size Information on the size of the CTU (CTU size) is encoded as the syntax of the SPS or PPS and transmitted to the video decoding apparatus.
  • the picture dividing unit 110 After dividing each picture constituting an image into a plurality of coding tree units (CTUs) having a predetermined size, the picture dividing unit 110 repetitively divides the CTU by using a tree structure. (recursively) split. A leaf node in the tree structure becomes a coding unit (CU), which is a basic unit of coding.
  • CU coding unit
  • a quad tree (QuadTree, QT) in which an upper node (or parent node) is divided into four lower nodes (or child nodes) of the same size, or a binary tree (BinaryTree) in which an upper node is divided into two lower nodes. , BT), or a ternary tree (TT) in which an upper node is divided into three lower nodes in a 1:2:1 ratio, or a structure in which two or more of these QT structures, BT structures, and TT structures are mixed.
  • QT quad tree
  • BT binary tree
  • TT ternary tree
  • a QTBT QuadTree plus BinaryTree
  • a QTBTTT QuadTree plus BinaryTree TernaryTree
  • MTT Multiple-Type Tree
  • the CTU may be first divided into a QT structure.
  • the quadtree division may be repeated until the size of a splitting block reaches the minimum block size (MinQTSize) of a leaf node allowed in QT.
  • a first flag (QT_split_flag) indicating whether each node of the QT structure is divided into four nodes of a lower layer is encoded by the entropy encoder 155 and signaled to the image decoding apparatus. If the leaf node of the QT is not larger than the maximum block size (MaxBTSize) of the root node allowed in BT, it may be further divided into one or more of a BT structure or a TT structure.
  • MaxBTSize maximum block size
  • a plurality of division directions may exist. For example, there may be two directions in which a block of a corresponding node is divided horizontally and a direction vertically divided.
  • a second flag indicating whether nodes are split, and if split, a flag indicating a split direction (vertical or horizontal) and/or a split type (Binary or Ternary).
  • a flag indicating) is encoded by the entropy encoder 155 and signaled to the image decoding apparatus.
  • a CU split flag (split_cu_flag) indicating whether the node is divided is encoded. It could be.
  • the block of the corresponding node becomes a leaf node in the split tree structure and becomes a coding unit (CU), which is a basic unit of encoding.
  • CU coding unit
  • a split flag indicating whether each node of the BT structure is divided into blocks of a lower layer and split type information indicating a type to be divided are encoded by the entropy encoder 155 and transmitted to the image decoding apparatus.
  • a type of dividing the block of the corresponding node into two blocks having an asymmetric shape may further exist.
  • the asymmetric form may include a form of dividing a block of a corresponding node into two rectangular blocks having a size ratio of 1:3, or a form of dividing a block of a corresponding node in a diagonal direction.
  • the CU can have various sizes according to the QTBT or QTBTTT split from the CTU.
  • a block corresponding to a CU to be encoded or decoded ie, a leaf node of QTBTTT
  • a'current block' a block corresponding to a CU to be encoded or decoded
  • the shape of the current block may be not only square but also rectangular.
  • the prediction unit 120 predicts the current block and generates a prediction block.
  • the prediction unit 120 includes an intra prediction unit 122 and an inter prediction unit 124.
  • each of the current blocks in a picture can be predictively coded.
  • prediction of the current block is performed using an intra prediction technique (using data from a picture containing the current block) or an inter prediction technique (using data from a picture coded before a picture containing the current block). Can be done.
  • Inter prediction includes both one-way prediction and two-way prediction.
  • the intra prediction unit 122 predicts pixels in the current block by using pixels (reference pixels) located around the current block in the current picture including the current block.
  • the plurality of intra prediction modes may include two non-directional modes including a planar mode and a DC mode, and 65 directional modes.
  • the surrounding pixels to be used and the calculation expression are defined differently.
  • directional modes (67 to 80, intra prediction modes -1 to -14) shown by dotted arrows in FIG. 3B may be additionally used. These may be referred to as "wide angle intra-prediction modes". Arrows in FIG. 3B indicate corresponding reference samples used for prediction, and do not indicate a prediction direction. The prediction direction is opposite to the direction indicated by the arrow.
  • the wide-angle intra prediction modes when the current block is a rectangular shape, a specific directional mode is predicted in the opposite direction without additional bit transmission. In this case, among the wide-angle intra prediction modes, some wide-angle intra prediction modes available for the current block may be determined based on a ratio of the width and height of the rectangular current block.
  • intra prediction modes 67 to 80 can be used when the current block has a rectangular shape with a height smaller than the width, and wide-angle with an angle greater than -135 degrees.
  • the intra prediction modes can be used when the current block has a rectangular shape whose height is greater than the width.
  • the intra prediction unit 122 may determine an intra prediction mode to be used to encode the current block.
  • the intra prediction unit 122 may encode the current block using several intra prediction modes and select an appropriate intra prediction mode to use from the tested modes. For example, the intra prediction unit 122 calculates rate distortion values using rate-distortion analysis for several tested intra prediction modes, and has the best rate distortion characteristics among the tested modes. It is also possible to select an intra prediction mode.
  • the intra prediction unit 122 selects one intra prediction mode from among a plurality of intra prediction modes, and predicts the current block using a neighboring pixel (reference pixel) determined according to the selected intra prediction mode and an equation.
  • Information on the selected intra prediction mode is encoded by the entropy encoder 155 and transmitted to the image decoding apparatus.
  • the inter prediction unit 124 generates a prediction block for the current block through a motion compensation process.
  • the inter prediction unit 124 searches for a block most similar to the current block in the coded and decoded reference picture prior to the current picture, and generates a prediction block for the current block using the searched block. Then, a motion vector corresponding to a displacement between the current block in the current picture and the prediction block in the reference picture is generated.
  • motion estimation is performed on a luma component, and a motion vector calculated based on the luma component is used for both the luma component and the chroma component.
  • Motion information including information on a reference picture used to predict the current block and information on a motion vector is encoded by the entropy encoder 155 and transmitted to an image decoding apparatus.
  • the subtractor 130 generates a residual block by subtracting the prediction block generated by the intra prediction unit 122 or the inter prediction unit 124 from the current block.
  • the transform unit 140 divides the residual block into one or more transform blocks, applies the transform to one or more transform blocks, and transforms residual values of the transform blocks from the pixel domain to the frequency domain.
  • transformed blocks are referred to as coefficient blocks comprising one or more transform coefficient values.
  • a 2D transformation kernel may be used for transformation, and a 1D transformation kernel may be used for each of the horizontal and vertical directions.
  • the transform kernel may be based on discrete cosine transform (DCT), discrete sine transform (DST), or the like.
  • the transform unit 140 may transform residual signals in the residual block by using the entire size of the residual block as a transform unit.
  • the transform unit 140 may divide the residual block into two sub-blocks in a horizontal or vertical direction, and may perform transformation on only one of the two sub-blocks, as described later with reference to FIGS. 5A to 5D. . Accordingly, the size of the transform block may be different from the size of the residual block (and thus the size of the prediction block).
  • Non-zero residual sample values may not exist or may be very sparse in a subblock on which transformation is not performed.
  • the residual samples of the subblock on which the transformation is not performed are not signaled, and may be regarded as "0" by the image decoding apparatus.
  • the transform unit 140 includes information on the coding mode (or transform mode) of the residual block (e.g., information indicating whether the residual block is transformed or the residual subblock is transformed, and a partition type selected to divide the residual block into subblocks)
  • the entropy encoding unit 155 may be provided with information indicating information and information identifying a subblock on which transformation is performed.
  • the entropy encoder 155 may encode information about a coding mode (or transform mode) of the residual block.
  • the quantization unit 145 quantizes the transform coefficients output from the transform unit 140 and outputs the quantized transform coefficients to the entropy encoding unit 155.
  • the quantization unit 145 may immediately quantize a related residual block for a certain block or frame without transformation.
  • the rearrangement unit 150 may rearrange coefficient values on the quantized residual values.
  • the rearrangement unit 150 may change a two-dimensional coefficient array into a one-dimensional coefficient sequence through coefficient scanning. For example, the rearrangement unit 150 may scan from a DC coefficient to a coefficient in a high frequency region using a zig-zag scan or a diagonal scan to output a one-dimensional coefficient sequence. .
  • zig-zag scan instead of zig-zag scan, a vertical scan that scans a two-dimensional coefficient array in a column direction or a horizontal scan that scans a two-dimensional block shape coefficient in a row direction may be used. That is, a scan method to be used may be determined from among zig-zag scan, diagonal scan, vertical scan, and horizontal scan according to the size of the transform unit and the intra prediction mode.
  • the entropy encoding unit 155 uses various encoding methods such as Context-based Adaptive Binary Arithmetic Code (CABAC), Exponential Golomb, and the like, and the quantized transform coefficients of 1D output from the reordering unit 150 are A bitstream is generated by encoding the sequence.
  • CABAC Context-based Adaptive Binary Arithmetic Code
  • Exponential Golomb Exponential Golomb
  • the entropy encoder 155 encodes information such as a CTU size related to block division, a CU division flag, a QT division flag, an MTT division type, and an MTT division direction, so that the video decoding apparatus performs the same block as the video encoding apparatus. Make it possible to divide.
  • the entropy encoder 155 encodes information on a prediction type indicating whether the current block is encoded by intra prediction or inter prediction, and intra prediction information (ie, intra prediction) according to the prediction type. Mode information) or inter prediction information (reference picture and motion vector information) is encoded.
  • the inverse quantization unit 160 inverse quantizes the quantized transform coefficients output from the quantization unit 145 to generate transform coefficients.
  • the inverse transform unit 165 converts transform coefficients output from the inverse quantization unit 160 from the frequency domain to the spatial domain to restore the residual block.
  • the addition unit 170 restores the current block by adding the restored residual block and the prediction block generated by the prediction unit 120.
  • the pixels in the reconstructed current block are used as reference pixels when intra-predicting the next block.
  • the filter unit 180 filters reconstructed pixels to reduce blocking artifacts, ringing artifacts, blurring artifacts, etc. that occur due to block-based prediction and transformation/quantization. Perform.
  • the filter unit 180 may include a deblocking filter 182 and a sample adaptive offset (SAO) filter 184.
  • the deblocking filter 180 filters the boundary between reconstructed blocks to remove blocking artifacts caused by block-based encoding/decoding, and the SAO filter 184 adds additional information to the deblocking-filtered image. Filtering is performed.
  • the SAO filter 184 is a filter used to compensate for a difference between a reconstructed pixel and an original pixel caused by lossy coding.
  • the reconstructed block filtered through the deblocking filter 182 and the SAO filter 184 is stored in the memory 190.
  • the reconstructed picture may be used as a reference picture for inter prediction of a block in a picture to be encoded later.
  • FIG. 4 is an exemplary functional block diagram of an image decoding apparatus capable of implementing the techniques of the present disclosure.
  • an image decoding apparatus and sub-components of the apparatus will be described with reference to FIG. 4.
  • the image decoding apparatus includes an entropy decoding unit 410, a rearrangement unit 415, an inverse quantization unit 420, an inverse transform unit 430, a prediction unit 440, an adder 450, a filter unit 460, and a memory 470. ) Can be included.
  • each component of the image decoding apparatus may be implemented as hardware or software, or may be implemented as a combination of hardware and software.
  • functions of each component may be implemented as software, and a microprocessor may be implemented to execute a function of software corresponding to each component.
  • the entropy decoding unit 410 determines the current block to be decoded by decoding the bitstream generated by the image encoding apparatus and extracting information related to block division, and predicting information and residual signals necessary to restore the current block. Extract information, etc.
  • the entropy decoding unit 410 determines the size of the CTU by extracting information on the CTU size from a sequence parameter set (SPS) or a picture parameter set (PPS), and divides the picture into CTUs of the determined size. Then, the CTU is determined as the uppermost layer of the tree structure, that is, the root node, and the CTU is divided using the tree structure by extracting partition information for the CTU.
  • SPS sequence parameter set
  • PPS picture parameter set
  • a first flag (QT_split_flag) related to the splitting of the QT is extracted and each node is split into four nodes of a lower layer.
  • the second flag (MTT_split_flag) related to the splitting of the MTT and the splitting direction (vertical / horizontal) and/or split type (binary / ternary) information are extracted and the corresponding leaf node is MTT.
  • MTT_split_flag related to the splitting of the MTT and the splitting direction (vertical / horizontal) and/or split type (binary / ternary) information
  • each node may have 0 or more repetitive MTT segmentation after 0 or more repetitive QT segmentation.
  • MTT division may occur immediately, or, conversely, only multiple QT divisions may occur.
  • each node is divided into four nodes of a lower layer by extracting the first flag (QT_split_flag) related to the division of the QT.
  • QT_split_flag the first flag related to the division of the QT.
  • a split flag indicating whether or not the node corresponding to the leaf node of the QT is further split into BT and split direction information are extracted.
  • the entropy decoder 410 extracts information on a prediction type indicating whether the current block is intra prediction or inter prediction.
  • the prediction type information indicates intra prediction
  • the entropy decoder 410 extracts a syntax element for intra prediction information (intra prediction mode) of the current block.
  • the prediction type information indicates inter prediction
  • the entropy decoder 410 extracts a syntax element for the inter prediction information, that is, information indicating a motion vector and a reference picture referenced by the motion vector.
  • the entropy decoder 410 includes information on the coding mode of the residual block (e.g., information on whether the residual block is encoded or only the subblocks of the residual block are encoded, and is selected to divide the residual block into subblocks). Information indicating the partition type, information identifying the encoded residual subblock, quantization parameters, etc.) are extracted from the bitstream. In addition, the entropy decoder 410 extracts information on quantized transform coefficients of the current block as information on the residual signal.
  • information on the coding mode of the residual block e.g., information on whether the residual block is encoded or only the subblocks of the residual block are encoded, and is selected to divide the residual block into subblocks.
  • Information indicating the partition type, information identifying the encoded residual subblock, quantization parameters, etc. are extracted from the bitstream.
  • the entropy decoder 410 extracts information on quantized transform coefficients of the current block as information on the residual signal.
  • the rearrangement unit 415 in the reverse order of the coefficient scanning order performed by the image encoding apparatus, reconverts the sequence of one-dimensional quantized transform coefficients entropy-decoded by the entropy decoder 410 into a two-dimensional coefficient array (i.e., Block).
  • the inverse quantization unit 420 inverse quantizes the quantized transform coefficients, and the inverse transform unit 430 inversely transforms the inverse quantized transform coefficients from the frequency domain to the spatial domain based on information on the coding mode of the residual block By reconstructing the signals, a reconstructed residual block for the current block is generated.
  • the inverse transform unit 430 determines the size of the current block (and thus, to be reconstructed) with respect to the inverse quantized transformation coefficients.
  • a reconstructed residual block for the current block is generated by performing inverse transformation using the residual block size) as a transformation unit.
  • the inverse transform unit 430 performs the transformed sub-blocks on the inverse quantized transform coefficients.
  • the size of the block as a transformation unit, performing inverse transformation to restore residual signals for the transformed subblock, and filling the residual signals for untransformed subblocks with a value of "0", the reconstructed current block Create a residual block.
  • the prediction unit 440 may include an intra prediction unit 442 and an inter prediction unit 444.
  • the intra prediction unit 442 is activated when the prediction type of the current block is intra prediction
  • the inter prediction unit 444 is activated when the prediction type of the current block is inter prediction.
  • the intra prediction unit 442 determines an intra prediction mode of the current block among a plurality of intra prediction modes from the syntax element for the intra prediction mode extracted from the entropy decoding unit 410, and references around the current block according to the intra prediction mode. Predict the current block using pixels.
  • the inter prediction unit 444 determines a motion vector of the current block and a reference picture referenced by the motion vector using the syntax element for the intra prediction mode extracted from the entropy decoding unit 410, and determines the motion vector and the reference picture. Is used to predict the current block.
  • the adder 450 restores the current block by adding the residual block output from the inverse transform unit and the prediction block output from the inter prediction unit or the intra prediction unit.
  • the pixels in the reconstructed current block are used as reference pixels for intra prediction of a block to be decoded later.
  • the filter unit 460 may include a deblocking filter 462 and an SAO filter 464.
  • the deblocking filter 462 performs deblocking filtering on the boundary between reconstructed blocks in order to remove blocking artifacts caused by decoding in units of blocks.
  • the SAO filter 464 performs additional filtering on the reconstructed block after deblocking filtering in order to compensate for the difference between the reconstructed pixel and the original pixel caused by lossy coding.
  • the reconstructed block filtered through the deblocking filter 462 and the SAO filter 464 is stored in the memory 470. When all blocks in one picture are reconstructed, the reconstructed picture is used as a reference picture for inter prediction of a block in a picture to be encoded later.
  • the techniques of this disclosure generally relate to inter prediction coding (ie, coding and decoding) a current block.
  • the image encoding apparatus may divide the residual block into two residual subblocks in a horizontal or vertical direction, and may encode only one of the two residual subblocks. . That is, a transform and quantization process may be applied to only one residual subblock. Residual values of subblocks for which encoding is not performed are regarded as '0' or ignored.
  • Such a coding tool may be effective in encoding such a residual block when there is no or hardly any residual value in a partial region of the residual block.
  • the video encoding apparatus divides the first mode and the residual block into two subblocks in a horizontal or vertical direction, which encodes the residual block (and thus transforms residual signals in the residual block in a transformation unit having the same size as the prediction block size).
  • the optimal coding mode for the residual block of the current block can be selected from among the second modes of encoding only one subblock (and thus transforming the residual signals in the residual block in a transformation unit of a size different from the size of the prediction block). have.
  • 5A-5D illustrate various partition types of a residual block and subblocks that are encoded (and thus transformed).
  • the residual block can be divided into two subblocks.
  • Subblocks in which transformation is performed in the illustrated residual blocks 510 to 580 are shaded and labeled "A".
  • a subblock located to the left or above in the residual block can be expressed as being located at "position 0" in the residual block, and a subblock located at the right or below in the residual block can be expressed as being located at "position 1" in the residual block. have.
  • a position in the residual block of a subblock on which transformation is performed may be referred to as a "transform position".
  • the transformation position is expressed as "position 0"
  • the transformation position is expressed as "position 1”. Can be.
  • partition types can be considered according to the division direction and division ratio.
  • the first type symmetrically divided in the horizontal direction
  • the second type symmetrically divided in the vertical direction
  • the third type asymmetrically divided in the horizontal direction (for example, in a ratio of 1:3 or 3:1).
  • a type, and a fourth type that is divided in a vertical direction asymmetrically may be considered.
  • the block 510 is divided into a left subblock and a right subblock in the vertical direction, and the transformation is not performed on the right subblock (position 1), but is performed on the left subblock (position 0).
  • the block 520 is divided into left and right sub-blocks in the vertical direction, and transformation is not performed on the left sub-block, but is performed on the right sub-block (position 1).
  • the block 530 is divided into upper and lower sub-blocks in the horizontal direction, and transformation is performed on the upper sub-block (position 0) rather than the lower sub-block.
  • the block 540 is divided into two subblocks in the horizontal direction, and the transformation is performed on the lower subblock (position 1), not the upper subblock.
  • the block 550 is vertically divided into a left subblock and a right subblock having a ratio of 1:3, and the transformation is not performed on the right subblock (position 1), but is performed on the left subblock (position 0). .
  • the block 560 is vertically divided into left and right subblocks having a 3:1 ratio, and transformation is not performed on the left subblock, but is performed on the right subblock (position 1).
  • the block 570 is divided horizontally into upper and lower sub-blocks having a ratio of 1:3, and transformation is performed on the upper sub-block (position 0), not the lower sub-block.
  • the block 580 is divided into two subblocks having a 3:1 ratio in the horizontal direction, and transformation is performed for the lower subblock (position 1), not the upper subblock.
  • the usable division ratio and division direction may be limited according to the size of the residual block so that the height or width of the subblock to which the transformation is to be applied may be 4 pixels or more.
  • the first type symmetrically divided in the horizontal direction may be allowed for residual blocks having a width of 8 or more
  • the second type symmetrically divided in the vertical direction may be allowed for residual blocks having a height of 8 or more.
  • the third type and the fourth type that asymmetrically divide in the horizontal or vertical direction may be allowed for residual blocks having a width or height of 16 or more.
  • a transform kernel in the horizontal and vertical directions applied to the transformed subblock will be selected. I can.
  • the DCT-2 kernel can be applied in both the horizontal and vertical directions.
  • the DCT-2 kernel is always applied to the transformation of the residual subblock regardless of the division direction (horizontal or vertical) of the residual block and the transformation position (i.e., the position of the transformed subblock). I can.
  • information identifying transform kernels used for transformation in the horizontal and vertical directions may be explicitly signaled.
  • a first flag indicating whether the related residual block of the current block is transformed or only one subblock of the residual block is encoded is May be explicitly signaled.
  • the video encoding apparatus determines whether the residual block is divided into two subblocks and only one of them is encoded. To do this, it is possible to decode the first flag from the bitstream.
  • the signaling of the first flag may be omitted depending on the width or height of the current block (or the product of the width and height, the ratio of the width and height, and the greater of the width and height). For example, when the width and height of the current block are less than 8, the video decoding apparatus may infer that the entire residual block of the current block has been transformed without decoding the first flag.
  • a partition type and a transform position of the residual block may be additionally signaled.
  • Information about the partition type and the transformation location may be provided to the image encoding apparatus in various ways.
  • one syntax element may be used to express the partition type of the residual block, or two flags may be used to express the partitioning ratio and the partitioning direction.
  • one flag may be used to represent the transform position (the position of the transformed subblock). For example, when transformation is applied to a subblock located on the left or above in the residual block, the flag indicating the transformation position is set to a value of "0", and when transformation is applied to a subblock located on the right or below the residual block. The flag indicating the conversion position may be set to a value of "1".
  • the use of some partition types (or the direction of division and/or the ratio of division) is limited. Therefore, signaling of syntax elements expressing the partition type (or partition direction and/or partition ratio) may be omitted.
  • the width and height of the residual block are less than 16
  • the residual block may not be partitioned in a "1:3 ratio or 3:1 ratio”. Accordingly, if the width and height of the residual block are less than 16, the video decoding apparatus can infer the split ratio as 1:1 without decoding the flag indicating the split ratio.
  • the width (or height) of the residual block is less than 8, it may not be allowed to divide the residual block in a vertical direction (or a horizontal direction). Accordingly, when the width of the residual block is less than 8, the video decoding apparatus may infer that the flags indicating the division direction are divided in the horizontal direction without decoding the flags. Similarly, if the height of the residual block is less than 8, the image decoding apparatus may infer that the residual block is divided in the vertical direction. As another example, it may be inferred that when the width is greater than the height, it is divided in the vertical direction, and when the height is greater than the width, it may be inferred that it is divided in the horizontal direction.
  • the residual subblock When only the residual subblock is coded for the residual block related to the luma component, only the residual subblock may be coded for the residual block related to the corresponding chroma component. Accordingly, the first flag signaled at the CU-level may be shared between the residual block of the luma component and the residual blocks of the chroma component.
  • the residual coding mode selected for the residual block of the luma component can also be applied to the residual block of the chroma component at the same position as the residual block of the luma component.
  • only one subblock of the residual block of the luma component may be encoded.
  • information about the partition type of the residual block and the position of the subblock to be encoded may be shared between the luma block and the chroma blocks.
  • the same residual coding mode may be applied to the luma component and the chroma component, and information about the partitioning direction determined for the residual block of the luma component and the position of the encoded subblock is the residual of the chroma component. It can also be applied to blocks. As another example, when only one subblock of the residual block of the chroma component is encoded, if only one subblock of the residual block of the co-located luma component is also encoded, the residual block of the luma component The information about the partitioning direction determined for and the position of the subblock to be encoded may be applied to the residual block of the chroma component.
  • the video decoding apparatus may determine a location and a size of a subblock in a residual block in which related transform coefficient information is to be decoded from a bitstream based on a partition type and a transform location.
  • the image decoding apparatus may reconstruct transform coefficients for a subblock corresponding to a transform position by decoding transform coefficient information from a bitstream.
  • the image decoding apparatus applies an inverse quantization/inverse transform process to the reconstructed transform coefficients to generate residual signals for the subblock corresponding to the transform position, and all residual signals for the subblock corresponding to the non-transform position are "0". By setting to ", the residual block for the current block can be restored.
  • the image encoding apparatus performs transform and quantization on the residual subblock corresponding to the transform position, entropy-encodes the quantized transform coefficients, and applies an inverse quantization/inverse transform process to the quantized transform coefficients to determine the transform position.
  • the residual subblock for the current block may be restored by restoring the residual subblock corresponding to, and setting all residual signals for the subblock corresponding to the non-transformation position to "0".
  • the image encoding apparatus may determine a quantization parameter (QP) value for the current block CU, and may determine a differential quantization parameter (Delta QP; DQP) value for the current block based on the QP value and the QP predicted value. .
  • the image encoding apparatus may be configured to signal the DQP value and quantize the current block by using the determined QP value.
  • the image encoding apparatus may adjust the degree of quantization applied to coefficient blocks related to the current block by adjusting the QP value for the current block.
  • DQP is defined as the difference between the current QP (that is, the actual QP used in the current block) and the predicted value of the current QP (that is, the QP predicted value). Based on the signaled DQP, the corresponding current QP value can be reconstructed by summing the DQP to the QP predicted value. That is, in the video encoding apparatus, the DQP is calculated by subtracting the QP prediction value from the actual QP of the current block, and in the video decoding apparatus, the actual QP of the current block is reconstructed by adding the received DQP to the QP prediction value.
  • an average value of actual QP values for the upper block and the left block for the current block may be determined as the predicted QP value of the current block.
  • a representative value eg, an average value, a median value, a median value, etc.
  • actual QP values for the left block, the upper left block, and the upper block for the current block may be determined as the predicted QP value of the current block.
  • a neighboring block to be referred to is selected based on partition information, a partition shape, or a position of a subblock to be encoded, and the selected neighboring block.
  • the actual QP value of the block may be used as the QP predicted value for the current block, or the QP predicted value for the current block may be derived from the actual QP value of the selected neighboring block(s).
  • FIG. 6 is a diagram for describing positions of neighboring blocks to be referred to predict a quantization parameter (QP) when only one subblock in a related residual block of a current block is encoded.
  • QP quantization parameter
  • the QP predicted value of the current block may be calculated based on at least one value of the quantization parameters. For example, the average of the QP values of the "a" block and the "b" block may be used to calculate the QP predicted value of the current block.
  • the QP value of the "c" block adjacent to the right subblock is the current block. It can be determined by the predicted QP of.
  • FIG. 7 is a diagram illustrating a chroma block and a luma block corresponding thereto.
  • the QP value for the chroma block may be determined based on the QP value determined for the corresponding luma block(s).
  • the QP predicted value of the chroma block may be determined based on the QP value of the luma block at the same location.
  • the QP value of the luma block "a" located in the upper left ear in the current block may be used as a QP prediction value for the residual block of the chroma component.
  • a most frequent value, a maximum value, a minimum value, an average value, or a median value among the QP values of the luma blocks "a to i" may be used as a QP prediction value for the residual block of the chroma component.
  • the division direction of the residual block, the location of the coded subblock, the size of the subblock, the horizontal-vertical ratio of the subblock, or the width or height of the subblock may be used as a predicted QP value of the chroma block.
  • the QP value of one of the luma blocks "d" and "i", which are luma blocks corresponding to the subblock (A) encoded in the residual block of the chroma component, or the average value thereof is the QP predicted value for the block of the chroma component. Can be used.
  • the image encoding apparatus and the image decoding apparatus perform in-loop filtering including deblocking filtering on the reconstructed current block, and inter-predict the filtered current block and blocks in a picture to be encoded later.
  • a buffer eg, the memory 190 of FIG. 1 and the memory 470 of FIG. 4 .
  • the deblocking filter is applied to pixels at the block boundary to mitigate blocking artifacts caused by the boundary between blocks in the reconstructed picture.
  • Deblocking filtering may be performed at a vertical boundary and a horizontal boundary, and filtering may be performed at the vertical boundary first, and then horizontal boundary filtering may be performed on a result of the vertical boundary filtering.
  • FIG. 8 is a diagram illustrating an inter-subblock division boundary and a deblock boundary for a reconstructed current block in which horizontal division is applied to a related residual block and a transform is applied to the left subblock (ie, a conversion position is 0). .
  • the image decoding apparatus may set a grid at an interval of N samples in the horizontal and vertical directions, and perform deblocking filtering only when the boundary between two subblocks in the current block coincides with the boundary of the grid. have. Therefore, deblocking filtering may not be performed for boundaries between subblocks that do not coincide with the grid boundary.
  • N may be set to 2 n (n is a natural number).
  • a grid of different units may be used depending on whether the current block is a luma block or a chroma block. For example, a grid may be set in units of 4 ⁇ 4 for a luma block, and a grid may be set in units of 8 ⁇ 8 for a chroma block.
  • deblocking filtering may be performed at the restored residual signal level.
  • 9 is a diagram for describing deblocking filtering performed at a residual signal level with respect to a boundary between residual subblocks. 9 illustrates a 4 ⁇ 8 residual block to which horizontal division is applied and a transform is applied to a lower 4 ⁇ 4 subblock (ie, a transform position is 1).
  • deblocking filtering may be performed on the residual block.
  • a one-dimensional average filter having a parameter of [1 2 1] is applied to the boundary between two subblocks.
  • a strong filter or a weak filter may be selected according to the required deblocking filtering strength. Also, use of various filters used in general image processing techniques such as an average filter, a median filter, a median filter, and a bilateral filter may be considered.
  • the image decoding apparatus may receive information on a filter to be used from the image encoding apparatus and select a filter to be used for residual deblocking filtering. For example, an index of a filter to be used among a plurality of predetermined filters may be signaled. Alternatively, one predetermined filter may be used.
  • filtering parameters corresponding to the selected filter i.e., parameters that determine the intensity of the filter and the clipping value for pixel change
  • the residual sample boundary inside the block Filtering can be performed on.
  • Filter parameters receive location information of a neighboring coding unit such as a previous frame, a neighboring block, a neighboring tile group, and a neighboring tile, and use the parameter of the decoding unit corresponding to the corresponding position as it is, or receive neighboring parameter values and residual values to filter. Filters can be used by restoring the parameters.
  • FIG. 10 is a flowchart illustrating a method of inter prediction encoding a current block of an image by an image encoding apparatus according to an embodiment of the present invention.
  • the apparatus for encoding an image may generate a prediction block by inter-predicting a current block of image data being encoded, and generate a residual block by subtracting the prediction block from the current block of image data.
  • the apparatus for encoding an image may determine a residual coding mode for the residual block of the current block. That is, the image encoding apparatus may select whether to encode the residual block of the current block or only one subblock, which is a partial region of the residual block. This selection may be based on a rate-distortion test.
  • the apparatus for encoding an image may encode information on a residual coding mode selected for a residual block related to the current block.
  • the residual coding mode information may include a first flag indicating whether the residual block is encoded or only one subblock of the residual block is encoded.
  • the image encoding apparatus may additionally encode information indicating a partition type for dividing the residual block into two subblocks.
  • partition types can exist according to the partitioning direction and partitioning ratio.
  • the partition type is a first type that is symmetrically divided into two subblocks in a horizontal direction
  • a second type is symmetrically divided into two subblocks in a vertical direction
  • asymmetrically in the horizontal direction e.g.,
  • the third type is divided into two subblocks with a ratio of 1:3 or 3:1
  • two subblocks asymmetrically in the vertical direction e.g., having a ratio of 1:3 or 3:1
  • a fourth type of dividing can be considered.
  • One or more syntax elements may be used to signal a partition type (or a division direction and a division ratio) for a related residual block of the current block.
  • the use of some partitioning directions, partitioning ratios, and/or partition types may be limited, and thus the partitioning direction, Signaling of syntax elements representing the partition ratio and/or the partition type may be skipped depending on the width and height of the residual block.
  • the video decoding apparatus uses a syntax element (e.g., a 1-bit flag) indicating the division direction. Signaling can be skipped.
  • a syntax element e.g., a 1-bit flag
  • the width of the current block is less than 8
  • the height of the current block is less than 8, it is not allowed to divide the current block in the horizontal direction. May not.
  • the width (or height) of the residual block is less than 8, it can be inferred that the current block is divided in a vertical direction (or horizontal direction) at a ratio of 1:1 by the image decoding device. May skip signaling of a syntax element (eg, a 1-bit flag) indicating a division direction.
  • a syntax element eg, a 1-bit flag
  • the video encoding apparatus may explicitly signal a flag for identifying a subblock to be coded (thus applying a transformation) among two subblocks classified according to a partition type.
  • the partition type of the current block is a third type or a fourth type (that is, when the current block is asymmetrically divided in a horizontal or vertical direction)
  • signaling of a flag identifying a subblock to be encoded Is omitted, and a relatively small subblock among the two subblocks may be considered to be encoded.
  • the apparatus for encoding an image encodes the residual block or one subblock of the residual block according to the residual coding mode selected for the related residual block of the current block.
  • the image encoding apparatus may perform transformation and quantization on the residual block in a transformation unit equal to the size of the residual block, and entropy encoding the quantized transformation coefficients.
  • the image encoding apparatus may perform transform and quantization on the subblock corresponding to the transform position, and entropy-encode the quantized transform coefficients. All residual signals of other subblocks corresponding to the non-transformation position are considered to be 0, and thus transform coefficient information is not encoded.
  • step S1060 the image encoding apparatus restores residual signals corresponding to the transform positions by applying an inverse quantization/inverse transform process to the quantized transform coefficients, and sets all residual signals of other subblocks corresponding to the non-transform positions to zero.
  • the image encoding apparatus may generate a reconstructed current block by summing the reconstructed residual block with the prediction block.
  • step S1070 the apparatus for encoding an image performs deblocking filtering on the reconstructed current block and uses the filtered current block as a reference picture for inter prediction of blocks in a picture to be encoded later. , May be stored in the memory 190 of FIG. 1.
  • the video encoding apparatus sets a grid at intervals of N samples in the horizontal and vertical directions, and applies deblocking filtering to the current block based on whether the boundary of the grid and the boundary between subblocks of the residual block coincide. You can decide whether to do it or not.
  • the image encoding apparatus may perform deblocking filtering only when a boundary between two residual subblocks in a current block coincides with a boundary of a grid. That is, deblocking filtering may be performed only when the boundary between the 4 ⁇ 4 unit (or 8 ⁇ 8 unit) deblock boundary and the residual subblock coincide.
  • 11 is a flowchart illustrating a method of decoding an inter prediction-coded current block from a bitstream of an encoded image by an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus (eg, the entropy decoder of FIG. 4) may decode information on a residual coding mode for a related residual block of the current block.
  • the image decoding apparatus may decode from the bitstream a first flag indicating whether a related residual block of the current block is encoded or whether only one subblock of the residual block is encoded.
  • a first flag with a first value indicates that the residual block has been transformed
  • a first flag with a second value eg, "1" transforms only one subblock of the residual block.
  • the video decoding apparatus When the first flag indicates that only one subblock of the residual block has been converted, the video decoding apparatus additionally decodes one or more syntax elements representing the partition type (division direction and/or division ratio) of the residual block from the bitstream.
  • the partition type of the residual block may be determined based at least in part on the decoded one or more syntax elements.
  • Various partition types can exist according to the partitioning direction and partitioning ratio.
  • the partition types are a first type that is symmetrically divided into two subblocks in a horizontal direction, a second type that is symmetrically divided into two subblocks in a vertical direction, asymmetrically in the horizontal direction (e.
  • the third type is divided into two subblocks (having a ratio of 3 or 3:1), and asymmetrically divided into two subblocks in the vertical direction (eg, having a ratio of 1:3 or 3:1)
  • It may include a fourth type.
  • the width and height of the current block may be further considered together with the information indicating the partition type.
  • the use of some partition types (or partition direction and/or partition ratio) may be restricted, and thus, a syntax element expressing the partition type (or partition direction and/or partition ratio) Signaling may be omitted.
  • the video decoding apparatus may infer the split ratio as 1:1 without decoding a syntax element (eg, a 1-bit flag) indicating a split direction.
  • a syntax element eg, a 1-bit flag
  • the video decoding apparatus can infer the division direction in the horizontal direction without decoding the syntax element indicating the division direction, and when the height of the residual block is less than 8, the division Without decoding the syntax element indicating the direction, the division direction can be inferred in the vertical direction.
  • the video decoding apparatus includes a syntax element (e.g., 1) indicating the location of the encoded subblock (therefore, the location of the subblock that has been transformed by the video encoding apparatus). Bit flag) can be further decoded from the bitstream.
  • a syntax element e.g., 1
  • Bit flag can be further decoded from the bitstream.
  • a syntax element indicating the location of the subblock on which the conversion has been performed. It can be regarded as an applied subblock (hence, a subblock to which transform coefficient information is to be decoded).
  • the apparatus for decoding an image may reconstruct a residual block related to the current block based on the decoded residual coding mode information.
  • the image decoding apparatus may reconstruct transform coefficients by decoding transform coefficient information for the residual block from the bitstream. After that, the image decoding apparatus may inverse quantize the transform coefficients, perform transform on the inverse quantized transform coefficients in a transform unit equal to the size of the residual block, and reconstruct the residual block for the current block.
  • the image decoding apparatus may reconstruct transform coefficients by decoding transform coefficient information for a subblock corresponding to a transform position from the bitstream. Thereafter, the image decoding apparatus inverse quantizes and inversely transforms the transform coefficients to generate residual signals for the subblock corresponding to the transform position, and sets all residual signals of the subblock corresponding to the non-transformation position to 0, so that the current block The residual block for can be restored.
  • the image decoding apparatus may generate a prediction block by inter-predicting the current block, and reconstruct the current block by adding the prediction block and the residual block.
  • the image decoding apparatus is a buffer (e.g., It may be stored in the memory 470 of FIG. 4.
  • the image decoding apparatus may set a grid at intervals of N samples in the horizontal and vertical directions, and determine whether to apply deblocking filtering to the current block based on the set boundary of the grid. For example, deblocking filtering may be applied to a boundary between a current block that matches the boundary of the grid and other blocks that have already been decoded.
  • deblocking filtering may be applied to a boundary between subblocks of a residual block that matches the boundary of the grid.
  • a grid of different units may be used depending on whether the current block is a luma block or a chroma block. For example, a grid may be set in units of 4 ⁇ 4 for a luma block, and a grid may be set in units of 8 ⁇ 8 for a chroma block.
  • the non-transitory recording medium includes, for example, all kinds of recording devices in which data is stored in a form readable by a computer system.
  • the non-transitory recording medium includes a storage medium such as an erasable programmable read only memory (EPROM), a flash drive, an optical drive, a magnetic hard drive, and a solid state drive (SSD).
  • EPROM erasable programmable read only memory
  • SSD solid state drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

참조샘플 구성 방법 및 영상 복호화 장치를 개시한다. 블록 기반의 움직임 보상에 따라 얻어진 잔차블록을 효율적으로 코딩하기 위해, 영상 부호화 장치 및 영상 복호화 장치는 현재블록의 관련된 잔차블록을 수평 혹은 수직 방향으로 2개의 서브블록으로 분할하고, 2개의 잔차 서브블록 중 하나만을 코딩할 수 있다.

Description

잔차블록을 효율적으로 코딩하는 방법 및 장치
본 발명은 영상의 부호화 및 복호화에 관한 것으로서, 더욱 구체적으로는 잔차블록을 효율적으로 코딩하는 방법 및 장치에 관한 것이다.
동영상 데이터는 음성 데이터나 정지 영상 데이터 등에 비하여 많은 데이터량을 가지기 때문에, 압축을 위한 처리 없이 그 자체를 저장하거나 전송하기 위해서는 메모리를 포함하여 많은 하드웨어 자원을 필요로 한다.
따라서, 통상적으로 동영상 데이터를 저장하거나 전송할 때에는 부호화기를 사용하여 동영상 데이터를 압축하여 저장하거나 전송하며, 복호화기에서는 압축된 동영상 데이터를 수신하여 압축을 해제하고 재생한다. 이러한 동영상 압축 기술로는 H.264/AVC를 비롯하여, H.264/AVC에 비해 약 40% 정도의 부호화 효율을 향상시킨 HEVC(High Efficiency Video Coding)가 존재한다.
그러나, 영상의 크기 및 해상도, 프레임율이 점차 증가하고 있고, 이에 따라 부호화해야 하는 데이터량도 증가하고 있으므로 기존의 압축 기술보다 더 부호화 효율이 좋고 화질 개선 효과도 높은 새로운 압축 기술이 요구된다.
영상 부호화 프로세스에서, 영상 부호화 장치는 인트라 예측 혹은 인터 예측을 통해 현재블록의 예측을 수행한 후 예측 블록의 샘플 값들로부터 현재 블록의 샘플 값들을 감산함으로써 잔차블록을 생성한다. 영상 부호화 장치는 잔차블록을 하나 이상의 변환블록들로 나누고, 변환을 하나 이상의 변환 블록들에 적용하여, 변환블록들의 잔차 값들을 픽셀 도메인에서 주파수 도메인으로 변환한다. 예측 정확도에 따라, 잔차 블록의 일부 영역에는 잔차 값이 존재하지 않거나 거의 존재하지 않을 수 있으며, 이러한 잔차블록을 단순히 더 작은 크기의 변환블록들로 나누는 것은 그리 효율적이지 않을 수 있다.
본 개시는, 일부 영역에 잔차 값이 존재하지 않거나 거의 존재하지 않을 수 있는 잔차블록에 적합할 수 있는 잔차블록의 코딩 기법을 제시하고자 한다.
본 개시의 일 측면에 따르면, 영상 복호화 장치는, 비트스트림으로부터 현재블록의 일부 영역에 대응하는 잔차신호만이 부호화되었는지 여부를 나타내는 플래그를 복호화하고, 상기 플래그가 상기 현재블록의 일부 영역에 대응하는 잔차 신호만이 부호화되었다고 지시하면, 상기 현재블록으로부터 분할되는 두 개의 서브블록 중 하나에 대응하는 변환 계수 정보를 상기 비트스트림으로부터 복호화하여 변환 계수들을 복원하는 복호화부; 상기 현재블록을 예측하여 예측블록을 생성하는 예측부; 상기 두 개의 서브블록 중 상기 변환 계수 정보가 복호화된 서브블록 내의 상기 변환 계수들을 역양자화 및 역변환하여 상기 현재블록에 대한 잔차블록을 생성하는 역양자화 및 역변환부; 상기 예측블록과 상기 잔차블록을 가산하여 상기 현재블록을 복원하는 가산부; 및 가로 및 세로 방향으로 N 샘플 간격으로 그리드(grid)를 설정하고, 상기 그리드의 경계와 일치하는 상기 현재블록 내의 상기 두 개의 서브블록 간의 경계를 디블록킹 필터링하는 필터부를 포함한다.
본 개시의 다른 측면에 따르면, 영상 복호화 방법은, 비트스트림으로부터 현재블록의 일부 영역에 대응하는 잔차 신호만이 부호화되었는지 여부를 나타내는 플래그를 복호화하는 단계; 상기 플래그가 상기 현재블록의 일부 영역에 대응하는 잔차 신호만이 부호화되었다고 지시하면, 상기 현재블록으로부터 분할되는 두 개의 서브블록 중 하나에 대응하는 변환 계수 정보를 상기 비트스트림으로부터 복호화하여 변환 계수들을 복원하는 단계; 상기 현재블록을 예측하여 예측블록을 생성하는 단계; 상기 두 개의 서브블록 중 상기 변환 계수 정보가 복호화된 서브블록 내의 상기 변환 계수들을 역양자화 및 역변환하여 상기 현재블록에 대한 잔차블록을 생성하는 단계; 상기 예측블록과 상기 잔차블록을 가산하여 상기 현재블록을 복원하는 단계; 및 가로 및 세로 방향으로 N 샘플 간격으로 그리드를 설정하고, 상기 그리드의 경계와 일치하는 상기 현재블록 내의 상기 두 개의 서브블록 간의 경계를 디블록킹 필터링하는 단계를 포함한다.
도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다.
도 2는 QTBTTT 구조를 이용하여 블록을 분할하는 방법을 설명하기 위한 도면이다.
도 3a는 복수의 인트라 예측 모드들을 나타낸 도면이다.
도 3b는 광각 인트라 예측모드들을 포함한 복수의 인트라 예측 모드들을 나타낸 도면이다.
도 4는 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도이다.
도 5a 내지 도 5d는 잔차블록의 다양한 파티션 타입과 부호화되는 서브블록을 예시한다.
도 6은 현재블록의 관련된 잔차블록 내 하나의 서브블록만이 부호화되는 경우에, 양자화 파라미터(QP)를 예측하기 위해 참조할 주변 블록들의 위치를 설명하기 위한 도면이다.
도 7은 크로마 블록과 그에 대응되는 루마 블록을 도시한 도면이다.
도 8은 관련된 잔차블록이 수평 분할이 적용되고 왼쪽 서브블록에 변환이 적용된, 복원된 현재블록에 대해, 서브블록간 분할 경계와 디블록 경계를 예시한 도면이다.
도 9는 잔차 서브블록들 간의 경계에 대해 잔차신호 레벨에서 수행되는 디블록킹 필터링을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상 부호화 장치가 영상의 현재블록을 인터 예측 부호화하는 방법을 도시한 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 영상 복호화 장치가 부호화된 영상의 비트스트림으로부터 인터 예측 코딩된 현재블록을 복호화하는 방법을 도시한 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다. 이하에서는 도 1을 참조하여 영상 부호화 장치와 이 장치의 하위 구성들에 대하여 설명하도록 한다.
영상 부호화 장치는 픽쳐 분할부(110), 예측부(120), 감산기(130), 변환부(140), 양자화부(145), 재정렬부(150), 엔트로피 부호화부(155), 역양자화부(160), 역변환부(165), 가산기(170), 필터부(180) 및 메모리(190)를 포함하여 구성될 수 있다.
영상 부호화 장치의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
하나의 영상(비디오)는 복수의 픽처들로 구성된다. 각 픽처들은 복수의 영역으로 분할되고 각 영역마다 부호화가 수행된다. 예를 들어, 하나의 픽처는 하나 이상의 타일(Tile) 또는/및 슬라이스(Slice)로 분할된다. 여기서, 하나 이상의 타일을 타일 그룹(Tile Group)으로 정의할 수 있다. 각 타일 또는/슬라이스는 하나 이상의 CTU(Coding Tree Unit)로 분할된다. 그리고 각 CTU는 트리 구조에 의해 하나 이상의 CU(Coding Unit)들로 분할된다. 각 CU에 적용되는 정보들은 CU의 신택스로서 부호화되고, 하나의 CTU에 포함된 CU들에 공통적으로 적용되는 정보는 CTU의 신택스로서 부호화된다. 또한, 하나의 슬라이스 내의 모든 블록들에 공통적으로 적용되는 정보는 슬라이스 헤더의 신택스로서 부호화되며, 하나의 픽처들을 구성하는 모든 블록들에 적용되는 정보는 픽처 파라미터 셋(PPS, Picture Parameter Set) 혹은 픽처 헤더에 부호화된다. 나아가, 복수의 픽처가 공통으로 참조하는 정보들은 시퀀스 파라미터 셋(SPS, Sequence Parameter Set)에 부호화된다. 그리고, 하나 이상의 SPS가 공통으로 참조하는 정보들은 비디오 파라미터 셋(VPS, Video Parameter Set)에 부호화된다. 또한, 하나의 타일 또는 타일 그룹에 공통으로 적용되는 정보는 타일 또는 타일 그룹 헤더의 신택스로서 부호화될 수도 있다.
픽쳐 분할부(110)는 CTU(Coding Tree Unit)의 크기를 결정한다. CTU의 크기에 대한 정보(CTU size)는 SPS 또는 PPS의 신택스로서 부호화되어 영상 복호화 장치로 전달된다.
픽쳐 분할부(110)는 영상을 구성하는 각 픽처(picture)를 미리 결정된 크기를 가지는 복수의 CTU(Coding Tree Unit)들로 분할한 이후에, 트리 구조(tree structure)를 이용하여 CTU를 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU(coding unit)가 된다.
트리 구조로는 상위 노드(혹은 부모 노드)가 동일한 크기의 네 개의 하위 노드(혹은 자식 노드)로 분할되는 쿼드트리(QuadTree, QT), 또는 상위 노드가 두 개의 하위 노드로 분할되는 바이너리트리(BinaryTree, BT), 또는 상위 노드가 1:2:1 비율로 세 개의 하위 노드로 분할되는 터너리트리(TernaryTree, TT), 또는 이러한 QT 구조, BT 구조 및 TT 구조 중 둘 이상을 혼용한 구조일 수 있다. 예컨대, QTBT(QuadTree plus BinaryTree) 구조가 사용될 수 있고, 또는 QTBTTT(QuadTree plus BinaryTree TernaryTree) 구조가 사용될 수 있다. 여기서, BTTT를 합쳐서 MTT(Multiple-Type Tree)라 지칭될 수 있다.
도 2는 QTBTTT 분할 트리 구조를 보인다. 도 2에서 보는 바와 같이, CTU는 먼저 QT 구조로 분할될 수 있다. 쿼드트리 분할은 분할 블록(splitting block)의 크기가 QT에서 허용되는 리프 노드의 최소 블록 크기(MinQTSize)에 도달할 때까지 반복될 수 있다. QT 구조의 각 노드가 하위 레이어의 4개의 노드들로 분할되는지 여부를 지시하는 제1 플래그(QT_split_flag)는 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. QT의 리프 노드가 BT에서 허용되는 루트 노드의 최대 블록 크기(MaxBTSize)보다 크지 않은 경우, BT 구조 또는 TT 구조 중 어느 하나 이상으로 더 분할될 수 있다. BT 구조 및/또는 TT 구조에서는 복수의 분할 방향이 존재할 수 있다. 예컨대, 해당 노드의 블록이 가로로 분할되는 방향과 세로로 분할되는 방향 두 가지가 존재할 수 있다. 도 2와 같이, MTT 분할이 시작되면, 노드들이 분할되었는지 여부를 지시하는 제2 플래그(mtt_split_flag)와, 분할이 되었다면 추가적으로 분할 방향(vertical 혹은 horizontal)을 나타내는 플래그 및/또는 분할 타입(Binary 혹은 Ternary)을 나타내는 플래그가 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. 대안적으로, 각 노드가 하위 레이어의 4개의 노드들로 분할되는지 여부를 지시하는 제1 플래그(QT_split_flag)를 부호화하기에 앞서, 그 노드가 분할되는지 여부를 지시하는 CU 분할 플래그(split_cu_flag)가 부호화될 수도 있다. CU 분할 플래그(split_cu_flag) 값이 분할되지 않았음을 지시하는 경우, 해당 노드의 블록이 분할 트리 구조에서의 리프 노드(leaf node)가 되어 부호화의 기본 단위인 CU(coding unit)가 된다. CU 분할 플래그(split_cu_flag) 값이 분할됨을 지시하는 경우, 영상 부호화 장치는 전술한 방식으로 제1 플래그부터 부호화를 시작한다.
트리 구조의 다른 예시로서 QTBT가 사용되는 경우, 해당 노드의 블록을 동일 크기의 두 개 블록으로 가로로 분할하는 타입(즉, symmetric horizontal splitting)과 세로로 분할하는 타입(즉, symmetric vertical splitting) 두 가지가 존재할 수 있다. BT 구조의 각 노드가 하위 레이어의 블록으로 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할되는 타입을 지시하는 분할 타입 정보가 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 전달된다. 한편, 해당 노드의 블록을 서로 비대칭 형태의 두 개의 블록으로 분할하는 타입이 추가로 더 존재할 수도 있다. 비대칭 형태에는 해당 노드의 블록을 1:3의 크기 비율을 가지는 두 개의 직사각형 블록으로 분할하는 형태가 포함될 수 있고, 혹은 해당 노드의 블록을 대각선 방향으로 분할하는 형태가 포함될 수도 있다.
CU는 CTU로부터의 QTBT 또는 QTBTTT 분할에 따라 다양한 크기를 가질 수 있다. 이하에서는, 부호화 또는 복호화하고자 하는 CU(즉, QTBTTT의 리프 노드)에 해당하는 블록을 '현재블록'이라 칭한다. QTBTTT 분할의 채용에 따라, 현재블록의 모양은 정사각형뿐만 아니라 직사각형일 수도 있다.
예측부(120)는 현재블록을 예측하여 예측블록을 생성한다. 예측부(120)는 인트라 예측부(122)와 인터 예측부(124)를 포함한다.
일반적으로, 픽처 내 현재블록들은 각각 예측적으로 코딩될 수 있다. 일반적으로 현재블록의 예측은 (현재블록을 포함하는 픽처로부터의 데이터를 사용하는) 인트라 예측 기술 또는 (현재블록을 포함하는 픽처 이전에 코딩된 픽처로부터의 데이터를 사용하는) 인터 예측 기술을 사용하여 수행될 수 있다. 인터 예측은 단방향 예측과 양방향 예측 모두를 포함한다.
인트라 예측부(122)는 현재블록이 포함된 현재 픽처 내에서 현재블록의 주변에 위치한 픽셀(참조 픽셀)들을 이용하여 현재블록 내의 픽셀들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재한다. 예컨대, 도 3a에서 보는 바와 같이, 복수의 인트라 예측모드는 planar 모드와 DC 모드를 포함하는 2개의 비방향성 모드와 65개의 방향성 모드를 포함할 수 있다. 각 예측모드에 따라 사용할 주변 픽셀과 연산식이 다르게 정의된다.
직사각형 모양의 현재블록에 대한 효율적인 방향성 예측을 위해, 도 3b에 점선 화살표로 도시된 방향성 모드들(67 ~ 80번, -1 ~ -14 번 인트라 예측모드들)이 추가로 사용될 수 있다. 이들은 "광각 인트라 예측모드들(wide angle intra-prediction modes)"로 지칭될 수 있다. 도 3b에서 화살표들은 예측에 사용되는 대응하는 참조샘플들을 가리키는 것이며, 예측 방향을 나타내는 것이 아니다. 예측 방향은 화살표가 가리키는 방향과 반대이다. 광각 인트라 예측모드들은 현재블록이 직사각형일 때 추가적인 비트 전송 없이 특정 방향성 모드를 반대방향으로 예측을 수행하는 모드이다. 이때 광각 인트라 예측모드들 중에서, 직사각형의 현재블록의 너비와 높이의 비율에 의해, 현재블록에 이용 가능한 일부 광각 인트라 예측모드들이 결정될 수 있다. 예컨대, 45도보다 작은 각도를 갖는 광각 인트라 예측모드들(67 ~ 80번 인트라 예측모드들)은 현재블록이 높이가 너비보다 작은 직사각형 형태일 때 이용 가능하고, -135도보다 큰 각도를 갖는 광각 인트라 예측모드들(-1 ~ -14 번 인트라 예측모드들)은 현재블록이 높이가 너비보다 큰 직사각형 형태일 때 이용 가능하다.
인트라 예측부(122)는 현재블록을 부호화하는데 사용할 인트라 예측모드를 결정할 수 있다. 일부 예들에서, 인트라 예측부(122)는 여러 인트라 예측모드들을 사용하여 현재블록을 인코딩하고, 테스트된 모드들로부터 사용할 적절한 인트라 예측모드를 선택할 수도 있다. 예를 들어, 인트라 예측부(122)는 여러 테스트된 인트라 예측모드들에 대한 레이트 왜곡(rate-distortion) 분석을 사용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중 최선의 레이트 왜곡 특징들을 갖는 인트라 예측모드를 선택할 수도 있다.
인트라 예측부(122)는 복수의 인트라 예측모드 중에서 하나의 인트라 예측모드를 선택하고, 선택된 인트라 예측모드에 따라 결정되는 주변 픽셀(참조 픽셀)과 연산식을 사용하여 현재블록을 예측한다. 선택된 인트라 예측모드에 대한 정보는 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 전달된다.
인터 예측부(124)는 움직임 보상 과정을 통해 현재블록에 대한 예측블록을 생성한다. 인터 예측부(124)는 현재 픽처보다 먼저 부호화 및 복호화된 참조픽처 내에서 현재블록과 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 현재블록에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 현재블록과 참조픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(motion vector)를 생성한다. 일반적으로, 움직임 추정은 루마(luma) 성분에 대해 수행되고, 루마 성분에 기초하여 계산된 모션 벡터는 루마 성분 및 크로마 성분 모두에 대해 사용된다. 현재블록을 예측하기 위해 사용된 참조픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 전달된다.
감산기(130)는 현재블록으로부터 인트라 예측부(122) 또는 인터 예측부(124)에 의해 생성된 예측블록을 감산하여 잔차블록을 생성한다.
변환부(140)는 잔차블록을 하나 이상의 변환블록들로 나누고, 변환을 하나 이상의 변환 블록들에 적용하여, 변환블록들의 잔차 값들을 픽셀 도메인에서 주파수 도메인으로 변환한다. 주파수 도메인에서, 변환된 블록들은 하나 이상의 변환 계수 값들을 포함하는 계수 블록들이라고 지칭된다. 변환에는 2차원 변환 커널이 사용될 수 있으며, 수평 방향 변환과 수직 방향 방향에 각각 1차원 변환 커널이 사용될 수도 있다. 변환 커널은 이산 코사인 변환(DCT), 이산 사인 변환(DST) 등에 기반할 수 있다.
변환부(140)는 잔차블록의 전체 크기를 변환 단위로 사용하여 잔차블록 내의 잔차 신호들을 변환할 수 있다. 또한, 변환부(140)는 도 5a 내지 도 5d를 참조하여 후술하는 것과 같이, 잔차블록을 수평 혹은 수직 방향으로 2개의 서브블록으로 분할하고, 변환을 2개의 서브블록 중 하나에만 수행할 수 있다. 따라서, 변환 블록의 사이즈는 잔차 블록의 사이즈(따라서 예측블록의 사이즈)와 상이할 수도 있다. 변환이 수행되지 않는 서브블록에는 논-제로 잔차 샘플 값들이 존재하지 않거나 매우 희소할 수 있다. 변환이 수행되지 않는 서브블록의 잔차 샘플들은 시그널링되지 않으며, 영상 복호화 장치에 의해 모두 "0"으로 간주될 수 있다. 분할 방향과 분할 비율에 따라 여러 파티션 타입들이 존재할 수 있다. 변환부(140)는 잔차블록의 코딩 모드(혹은 변환 모드)에 관한 정보(예컨대, 잔차 블록을 변환하였는지 아니면 잔차 서브블록을 변환하였는지를 나타내는 정보, 잔차블록을 서브블록들로 분할하기 위해 선택된 파티션 타입을 나타내는 정보, 변환이 수행되는 서브블록을 식별하는 정보 등을 포함하는 정보)를 엔트로피 부호화부(155)에 제공할 수 있다. 엔트로피 부호화부(155)는 잔차블록의 코딩 모드(혹은 변환 모드)에 관한 정보를 부호화할 수 있다.
양자화부(145)는 변환부(140)로부터 출력되는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 엔트로피 부호화부(155)로 출력한다. 양자화부(145)는, 어떤 블록 혹은 프레임에 대해, 변환 없이, 관련된 잔차 블록을 곧바로 양자화할 수도 있다.
재정렬부(150)는 양자화된 잔차값에 대해 계수값의 재정렬을 수행할 수 있다. 재정렬부(150)는 계수 스캐닝(coefficient scanning)을 통해 2차원의 계수 어레이를 1차원의 계수 시퀀스로 변경할 수 있다. 예를 들어, 재정렬부(150)에서는 지그-재그 스캔(zig-zag scan) 또는 대각선 스캔(diagonal scan)을 이용하여 DC 계수부터 고주파수 영역의 계수까지 스캔하여 1차원의 계수 시퀀스를 출력할 수 있다. 변환 단위의 크기 및 인트라 예측모드에 따라 지그-재그 스캔 대신 2차원의 계수 어레이를 열 방향으로 스캔하는 수직 스캔, 2차원의 블록 형태 계수를 행 방향으로 스캔하는 수평 스캔이 사용될 수도 있다. 즉, 변환 단위의 크기 및 인트라 예측모드에 따라 지그-재그 스캔, 대각선 스캔, 수직 방향 스캔 및 수평 방향 스캔 중에서 사용될 스캔 방법이 결정될 수도 있다.
엔트로피 부호화부(155)는, CABAC(Context-based Adaptive Binary Arithmetic Code), 지수 골롬(Exponential Golomb) 등의 다양한 부호화 방식을 사용하여, 재정렬부(150)로부터 출력된 1차원의 양자화된 변환 계수들의 시퀀스를 부호화함으로써 비트스트림을 생성한다.
또한, 엔트로피 부호화부(155)는 블록 분할과 관련된 CTU size, CU 분할 플래그, QT 분할 플래그, MTT 분할 타입, MTT 분할 방향 등의 정보를 부호화하여, 영상 복호화 장치가 영상 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다. 또한, 엔트로피 부호화부(155)는 현재블록이 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보를 부호화하고, 예측 타입에 따라 인트라 예측정보(즉, 인트라 예측모드에 대한 정보) 또는 인터 예측정보(참조픽처 및 움직임벡터에 대한 정보)를 부호화한다.
역양자화부(160)는 양자화부(145)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(165)는 역양자화부(160)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.
가산부(170)는 복원된 잔차블록과 예측부(120)에 의해 생성된 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 픽셀들은 다음 순서의 블록을 인트라 예측할 때 참조 픽셀로서 사용된다.
필터부(180)는 블록 기반의 예측 및 변환/양자화로 인해 발생하는 블록킹 아티팩트(blocking artifacts), 링잉 아티팩트(ringing artifacts), 블러링 아티팩트(blurring artifacts) 등을 줄이기 위해 복원된 픽셀들에 대한 필터링을 수행한다. 필터부(180)는 디블록킹 필터(182)와 SAO(Sample Adaptive Offset) 필터(184)를 포함할 수 있다.
디블록킹 필터(180)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 필터링하고, SAO 필터(184)는 디블록킹 필터링된 영상에 대해 추가적인 필터링을 수행한다. SAO 필터(184)는 손실 부호화(lossy coding)로 인해 발생하는 복원된 픽셀과 원본 픽셀 간의 차이를 보상하기 위해 사용되는 필터이다.
디블록킹 필터(182) 및 SAO 필터(184)를 통해 필터링된 복원블록은 메모리(190)에 저장된다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용될 수 있다.
도 4는 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 기능 블록도이다. 이하에서는 도 4를 참조하여 영상 복호화 장치와 이 장치의 하위 구성들에 대하여 설명하도록 한다.
영상 복호화 장치는 엔트로피 복호화부(410), 재정렬부(415), 역양자화부(420), 역변환부(430), 예측부(440), 가산기(450), 필터부(460) 및 메모리(470)를 포함하여 구성될 수 있다.
도 1의 영상 부호화 장치와 마찬가지로, 영상 복호화 장치의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
엔트로피 복호화부(410)는 영상 부호화 장치에 의해 생성된 비트스트림을 복호화하여 블록 분할과 관련된 정보를 추출함으로써 복호화하고자 하는 현재블록을 결정하고, 현재블록을 복원하기 위해 필요한 예측정보와 잔차신호에 대한 정보 등을 추출한다.
엔트로피 복호화부(410)는 SPS(Sequence Parameter Set) 또는 PPS(Picture Parameter Set)로부터 CTU size에 대한 정보를 추출하여 CTU의 크기를 결정하고, 픽처를 결정된 크기의 CTU로 분할한다. 그리고, CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할정보를 추출함으로써 트리 구조를 이용하여 CTU를 분할한다.
예컨대, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, 먼저 QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 MTT의 분할과 관련된 제2 플래그(MTT_split_flag) 및 분할 방향(vertical / horizontal) 및/또는 분할 타입(binary / ternary) 정보를 추출하여 해당 리프 노드를 MTT 구조로 분할한다. 이를 통해 QT의 리프 노드 이하의 각 노드들을 BT 또는 TT 구조로 반복적으로(recursively) 분할한다.
또 다른 예로서, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, 먼저 CU의 분할 여부를 지시하는 CU 분할 플래그(split_cu_flag)를 추출하고, 해당 블록이 분할된 경우, 제1 플래그(QT_split_flag)를 추출할 수도 있다. 분할 과정에서 각 노드는 0번 이상의 반복적인 QT 분할 후에 0번 이상의 반복적인 MTT 분할이 발생할 수 있다. 예컨대, CTU는 바로 MTT 분할이 발생하거나, 반대로 다수 번의 QT 분할만 발생할 수도 있다.
다른 예로서, QTBT 구조를 사용하여 CTU를 분할하는 경우, QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT로 더 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할 방향 정보를 추출한다.
한편, 엔트로피 복호화부(410)는 트리 구조의 분할을 통해 복호화하고자 하는 현재블록을 결정하게 되면, 현재블록이 인트라 예측되었는지 아니면 인터 예측되었는지를 지시하는 예측 타입에 대한 정보를 추출한다. 예측 타입 정보가 인트라 예측을 지시하는 경우, 엔트로피 복호화부(410)는 현재블록의 인트라 예측정보(인트라 예측모드)에 대한 신택스 엘리먼트를 추출한다. 예측 타입 정보가 인터 예측을 지시하는 경우, 엔트로피 복호화부(410)는 인터 예측정보에 대한 신택스 엘리먼트, 즉, 움직임벡터 및 그 움직임벡터가 참조하는 참조픽처를 나타내는 정보를 추출한다.
한편, 엔트로피 복호화부(410)는 잔차블록의 코딩 모드에 관한 정보(예컨대, 잔차블록이 부호화되었는지 잔차블록의 서브블록만이 부호화되었는지 여부에 관한 정보, 잔차블록을 서브블록들로 분할하기 위해 선택된 파티션 타입을 나타내는 정보, 부호화된 잔차 서브블록을 식별하는 정보, 양자화 파라미터 등)를 비트스트림으로부터 추출한다. 또한, 엔트로피 복호화부(410)는 잔차신호에 대한 정보로서 현재블록의 양자화된 변환계수들에 대한 정보를 추출한다.
재정렬부(415)는, 영상 부호화 장치에 의해 수행된 계수 스캐닝 순서의 역순으로, 엔트로피 복호화부(410)에서 엔트로피 복호화된 1차원의 양자화된 변환계수들의 시퀀스를 다시 2차원의 계수 어레이(즉, 블록)로 변경할 수 있다.
역양자화부(420)는 양자화된 변환계수들을 역양자화하고, 역변환부(430)는, 잔차블록의 코딩 모드에 관한 정보를 기초로, 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 현재블록에 대한 복원된 잔차블록을 생성한다.
역변환부(430)는, 잔차블록의 코딩 모드에 관한 정보가 영상 부호화 장치에서 현재블록의 잔차블록이 부호화되었다고 지시하는 경우에, 역양자화된 변환계수들에 대해 현재블록의 사이즈(따라서, 복원될 잔차블록의 사이즈)를 변환 단위로 사용하여 역변환을 수행하여 현재블록에 대한 복원된 잔차블록을 생성한다.
또한, 역변환부(430)는, 잔차블록의 코딩 모드에 관한 정보가 영상 부호화 장치에서 잔차블록의 하나의 서브블록만이 부호화되었다고 지시하는 경우에, 역양자화된 변환계수들에 대해, 변환된 서브블록의 사이즈를 변환 단위로 사용하여, 역변환을 수행하여 변환된 서브블록에 대한 잔차신호들을 복원하고, 비변환된 서브블록에 대한 잔차신호들을 "0" 값으로 채움으로써, 현재블록에 대한 복원된 잔차블록을 생성한다.
예측부(440)는 인트라 예측부(442) 및 인터 예측부(444)를 포함할 수 있다. 인트라 예측부(442)는 현재블록의 예측 타입이 인트라 예측일 때 활성화되고, 인터 예측부(444)는 현재블록의 예측 타입이 인터 예측일 때 활성화된다.
인트라 예측부(442)는 엔트로피 복호화부(410)로부터 추출된 인트라 예측모드에 대한 신택스 엘리먼트로부터 복수의 인트라 예측모드 중 현재블록의 인트라 예측모드를 결정하고, 인트라 예측모드에 따라 현재블록 주변의 참조 픽셀들을 이용하여 현재블록을 예측한다.
인터 예측부(444)는 엔트로피 복호화부(410)로부터 추출된 인트라 예측모드에 대한 신택스 엘리먼트를 이용하여 현재블록의 움직임벡터와 그 움직임벡터가 참조하는 참조픽처를 결정하고, 움직임벡터와 참조픽처를 이용하여 현재블록을 예측한다.
가산기(450)는 역변환부로부터 출력되는 잔차블록과 인터 예측부 또는 인트라 예측부로부터 출력되는 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 픽셀들은 이후에 복호화할 블록을 인트라 예측할 때의 참조픽셀로서 활용된다.
필터부(460)는 디블록킹 필터(462) 및 SAO 필터(464)를 포함할 수 있다. 디블록킹 필터(462)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해, 복원된 블록 간의 경계를 디블록킹 필터링한다. SAO 필터(464)는 손실 부호화(lossy coding)으로 인해 발생하는 복원된 픽셀과 원본 픽셀 간의 차이를 보상하기 위해, 디블록킹 필터링 이후의 복원된 블록에 대해 추가적인 필터링을 수행한다. 디블록킹 필터(462) 및 SAO 필터(464)를 통해 필터링된 복원블록은 메모리(470)에 저장된다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
본 개시의 기술들은 일반적으로 현재블록을 인터 예측 코딩(즉, 부호화 및 복호화)하는 것과 관련되어 있다. 영상 부호화 장치는 블록 기반의 움직임 보상에 따라 얻어진 잔차블록을 효율적으로 부호화하기 위해, 잔차블록을 수평 혹은 수직 방향으로 2개의 잔차 서브블록으로 분할하고, 2개의 잔차 서브블록 중 하나만을 부호화할 수 있다. 즉, 하나의 잔차 서브블록에 대해서만 변환 및 양자화 프로세스가 적용될 수 있다. 부호화가 수행되지 않는 서브블록의 잔차 값들은 '0'으로 간주되거나 무시된다. 이러한 코딩 툴은 잔차블록의 일부 영역에 잔차 값이 존재하지 않거나 거의 존재하지 않을 때, 그러한 잔차블록을 부호화하는 데에 효율적일 수 있다.
영상 부호화 장치는, 잔차블록을 부호화하는 (따라서 예측블록의 사이즈와 동일한 사이즈의 변환 단위로 잔차블록 내의 잔차 신호들을 변환하는) 제 1 모드와 잔차블록을 수평 혹은 수직 방향으로 2개의 서브블록으로 분할하고 하나의 서브블록만을 부호화하는 (따라서 예측블록의 사이즈와는 상이한 사이즈의 변환 단위로 잔차블록 내의 잔차 신호들을 변환하는) 제 2 모드 중에서, 현재블록의 잔차블록에 대한 최적의 코딩 모드를 선택할 수 있다.
이제, 잔차블록의 코딩과 관련된 제 2 모드에 대해 상세히 설명한다. 이하의 설명은 주로 복호화 기술, 즉 영상 복호화 장치의 동작에 초점이 맞춰져 있으며, 부호화 기술들에 대한 설명은, 포괄적으로 설명된 복호화 기술과 반대이므로, 간략화된다. 덧붙여, 용어 "잔차블록의 서브블록(들)"과 "잔차 서브블록(들)"은 상호 호환적으로 사용될 수 있다.
1. 파티션 타입 및 변환 위치
도 5a 내지 도 5d는 잔차블록의 다양한 파티션 타입과 부호화되는 (따라서 변환이 수행되는) 서브블록을 예시한다. 잔차블록은 2 개의 서브블록들로 분할될 수 있다. 예시된 잔차블록들(510~580)에서 변환이 수행되는 서브블록은 음영 표시되고 "A"로 라벨링되어 있다. 잔차블록 내 왼쪽 또는 위쪽에 위치한 서브블록은 잔차블록 내 "위치 0"에 위치한다고 표현될 수 있으며, 잔차블록 내 오른쪽 또는 아래쪽에 위치한 서브블록은 잔차블록 내 "위치 1"에 위치한다고 표현될 수 있다. 변환이 수행되는 서브블록의 잔차블록 내 위치는 "변환 위치(transform position)"라고 지칭될 수 있다. 따라서, 잔차블록 내 왼쪽 또는 위쪽에 위치한 서브블록에 변환이 수행되면 변환 위치는 "위치 0"으로, 잔차블록 내 오른쪽 또는 아래쪽에 위치한 서브블록에 변환이 수행되면 변환 위치는 "위치 1"으로 표현될 수 있다.
분할 방향과 분할 비율에 따라 다양한 파티션 타입이 고려될 수 있다. 예컨대, 가로 방향으로 대칭적으로 분할하는 제 1 타입, 세로 방향으로 대칭적으로 분할하는 제 2 타입, 가로 방향으로 비대칭적으로(예컨대, 1:3 혹은 3:1의 비율로) 분할하는 제 3 타입, 및 비대칭적으로(예컨대, 1:3 혹은 3:1의 비율로) 세로 방향으로 분할하는 제 4 타입이 고려될 수 있다.
블록(510)은 수직 방향으로 왼쪽 서브블록과 오른쪽 서브 블록으로 분할되고, 변환은 오른쪽 서브블록(위치 1)에 대해서는 수행되지 않고 왼쪽 서브 블록(위치 0)에 대해 수행된다. 블록(520)은 수직 방향으로 왼쪽 및 오른쪽 서브 블록으로 분할되고, 변환은 왼쪽 서브블록에 대해서는 수행되지 않고 오른쪽 서브블록(위치 1)에 대해 수행된다. 블록(530)은 수평 방향으로 위쪽 및 아래쪽 서브 블록으로 분할되고, 아래쪽 서브 블록이 아닌 위쪽 서브 블록(위치 0)에 대해 변환이 수행된다. 블록(540)은 수평 방향으로 2개의 서브블록으로 분할되고, 변환은 상단 서브블록이 아닌 하단 서브블록(위치 1)에 대해 수행된다.
블록(550)은 1:3 비율을 가지는 왼쪽 서브블록과 오른쪽 서브 블록으로 수직 방향으로 분할되고, 변환은 오른쪽 서브블록(위치 1)에 대해서는 수행되지 않고 왼쪽 서브 블록(위치 0)에 대해 수행된다. 블록(560)은 3:1 비율을 가지는 왼쪽 및 오른쪽 서브 블록으로 수직 방향으로 분할되고, 변환은 왼쪽 서브블록에 대해서는 수행되지 않고 오른쪽 서브블록(위치 1)에 대해 수행된다. 블록(570)은 1:3 비율을 가지는 위쪽 및 아래쪽 서브 블록으로 수평 방향으로 분할되고, 아래쪽 서브 블록이 아닌 위쪽 서브 블록(위치 0)에 대해 변환이 수행된다. 블록(580)은 수평 방향으로 3:1 비율을 가지는 2개의 서브블록으로 분할되고, 변환은 위쪽 서브블록이 아닌 아래쪽 서브블록(위치 1)에 대해 수행된다.
도 5c 및 도 5d에 예시된 블록들(550~580)과 같이, 잔차블록이 비대칭적으로(예컨대, 1:3 또는 3:1 비율로) 분할될 때, 변환은 항상 작은 서브블록에 대해 수행될 수 있다.
변환이 적용될 서브블록의 높이 또는 너비가 4 픽셀 이상이 될 수 있도록, 잔차블록의 사이즈에 따라 사용가능한 분할 비율과 분할 방향이 제한될 수 있다. 예컨대, 가로 방향으로 대칭적으로 분할하는 제 1 타입은 너비가 8 이상인 잔차블록에 대해 허용될 수 있으며, 세로 방향으로 대칭적으로 분할하는 제 2 타입은 높이가 8 이상인 잔차블록에 대해 허용될 수 있다. 유사하게, 가로 혹은 세로 방향으로 비대칭적으로 분할하는 제 3 타입 및 제 4 타입은 너비 혹은 높이가 16 이상인 잔차블록에 대해 허용될 수 있다.
2. 변환 커널의 선택
잔차블록의 분할 방향(수평 혹은 수직)과 변환 위치(즉, 변환되는 서브블록의 위치)에 의존하여, 그 변환되는 서브블록에 적용되는 수평 및 수직 방향의 변환 커널(horTransform, verTransform)이 선택될 수 있다.
수직 분할이 잔차블록에 적용될 때, 서브블록의 변환에 사용될 커널은 다음과 같이 암시적으로 도출될 수 있다. 블록들(510, 550)과 같이, 변환되는 서브블록이 위치 0에 있으면, (horTransform, verTransform) = (DCT-8, DST-7) 이다. 블록들(520, 560)과 같이, 변환되는 서브블록이 위치 1에 있으면, (horTransform, verTransform) = (DST-7, DST-7) 이다.
수평 분할이 잔차블록에 적용될 때, 서브블록의 변환에 사용될 커널은 다음과 같이 암시적으로 도출될 수 있다. 블록들(530, 570)과 같이, 변환되는 서브블록이 위치 0에 있으면, (horTransform, verTransform) = (DCT-7, DST-8) 이다. 블록들(540, 580)과 같이, 변환되는 서브블록이 위치 1에 있으면(블록 540), (horTransform, verTransform) = (DST-7, DST-7) 이다.
잔차 서브블록의 한쪽 크기가 32 보다 크면, 가로 및 세로 방향 모두에 대해 DCT-2 커널이 적용될 수 있다. 또한, 크로마 성분의 잔차블록에 대해서는, 잔차블록의 분할 방향(가로 혹은 세로)과 변환 위치(즉, 변환되는 서브블록의 위치)에 무관하게, 잔차 서브블록의 변환에 항상 DCT-2 커널이 적용될 수 있다. 일부의 경우에, 수평 및 수직 방향의 변환에 사용된 변환 커널들을 식별하는 정보가 명시적으로 시그널링될 수도 있다.
3. 잔차 코딩 모드의 시그널링
현재블록이 인터 예측 부호화되고 관련된 잔차블록이 적어도 하나의 비제로 계수를 가질 때, 현재블록의 관련된 잔차블록이 변환되는지 아니면 잔차블록의 하나의 서브블록만이 부호화되는지를 나타내기 위한 제 1 플래그가 명시적으로 시그널링될 수 있다.
따라서, 영상 복호화 장치는 인터 예측 부호화된 현재블록의 잔차블록을 복원하고자 할 때, 영상 부호화 장치에 의해 잔차블록이 2개의 서브블록으로 분할되고 그 중 하나의 서브블록만이 부호화되었는지 여부를 결정하기 위해, 비트스트림으로부터 제 1 플래그를 복호화할 수 있다.
일부의 경우에, 현재블록의 너비 혹은 높이(혹은 너비와 높이의 곱, 너비와 높이의 비율, 너비와 높이 중 큰 값)에 따라, 제 1 플래그의 시그널링이 생략될 수도 있다. 예를 들어, 현재블록의 너비와 높이가 8 보다 작을 때, 영상 복호화 장치는, 제 1 플래그의 복호화 없이, 현재블록의 전체 잔차블록이 변환되었다고 추론할 수 있다.
잔차블록의 하나의 서브블록만이 부호화되는 경우에, 잔차 블록의 파티션 타입과 변환 위치가 추가적으로 시그널링될 수 있다. 파티션 타입과 변환 위치에 관한 정보는 다양한 방식들로 영상 부호화 장치에 제공될 수 있다. 예를 들어, 잔차블록의 파티션 타입을 표현하기 위해 하나의 신택스 엘리먼트를 사용되거나 분할 비율과 분할 방향을 표현하기 위해 2개의 플래그가 사용될 수 있다. 또한, 변환 위치(변환되는 서브블록의 위치)를 표현하기 위해 1개의 플래그가 사용될 수 있다. 예컨대, 잔차블록 내 왼쪽 또는 위쪽에 위치한 서브블록에 변환이 적용되는 경우에 변환 위치를 나타내는 플래그는 "0" 값으로 설정되고, 잔차블록 내 오른쪽 또는 아래쪽에 위치한 서브블록에 변환이 적용되는 경우에 변환 위치를 나타내는 플래그는 "1" 값으로 설정될 수 있다.
잔차블록이 1:3 또는 3:1 비율로 분할될 때, 변환은 항상 작은 서브블록에 대해 수행되는 제약이 부가될 수 있으며, 그에 따라, 변환 위치를 나타내는 플래그의 시그널링이 생략될 수도 있다.
또한, 잔차블록의 너비 및 높이(혹은 너비와 높이의 곱, 너비와 높이의 비율, 너비와 높이 중 큰 값)에 의존하여 일부 파티션 타입(혹은, 분할 방향 및/또는 분할 비율)의 사용이 제한될 수 있으며, 따라서 파티션 타입(혹은, 분할 방향 및/또는 분할 비율)을 표현하는 신택스 엘리먼트들의 시그널링이 생략될 수도 있다. 일 예로, 잔차블록의 너비와 높이가 16 보다 작으면, 잔차블록은 "1:3 비율 또는 3:1 비율로" 분할하는 것이 허용되지 않을 수 있다. 따라서, 영상 복호화 장치는 잔차블록의 너비와 높이가 16 보다 작으면, 분할 비율을 나타내는 플래그의 복호화 없이, 분할 비율을 1:1로 추론할 수 있다. 다른 일 예로, 잔차블록의 너비(혹은 높이)가 8 보다 작으면, 잔차블록은 수직 방향(혹은 수평 방향)으로 분할하는 것이 허용되지 않을 수 있다. 따라서, 영상 복호화 장치는 잔차블록의 너비가 8 보다 작으면, 분할 방향을 나타내는 플래그들의 복호화 없이, 수평 방향으로 분할되는 것으로 추론할 수 있다. 유사하게, 영상 복호화 장치는 잔차블록의 높이가 8 보다 작으면, 수직 방향으로 분할되는 것으로 추론할 수도 있다. 또 다른 예시로서, 너비가 높이보다 클 때에는 수직 방향으로, 높이가 너비보다 클 때에는 수평 방향으로 분할되는 것으로 추론될 수도 있다.
루마 성분에 관련된 잔차블록에 대해 잔차 서브블록만이 부호화되는 경우에, 대응되는 크로마 성분에 관련된 잔차블록에 대해서도 잔차 서브블록만이 부호화될 수 있다. 따라서, CU-레벨에서 시그널링되는 제 1 플래그가 루마 성분의 잔차블록과 크로마 성분의 잔차블록들 간에 공유될 수 있다.
루마 성분의 잔차블록에 대해 선택된 잔차 코딩 모드는 루마 성분의 잔차블록과 동일한 위치의 크로마 성분의 잔차블록에도 적용될 수 있다. 다시 말해, 루마 성분의 잔차블록의 하나의 서브블록만이 부호화되는 경우에, 크로마 성분의 잔차블록도 하나의 서브블록만이 부호화될 수 있다. 이 경우, 잔차블록의 파티션 타입과 부호화되는 서브블록의 위치에 관한 정보가 루마 블록과 크로마 블록들 간에 공유될 수도 있다.
일 예로, 단일 트리 구조일 때, 동일한 잔차 코딩 모드가 루마 성분 및 크로마 성분에 대해 적용될 수 있으며, 루마 성분의 잔차블록에 대해 결정된 분할 방향과 부호화되는 서브블록의 위치에 관한 정보가 크로마 성분의 잔차블록에도 적용될 수 있다. 다른 일 예로, 크로마 성분의 잔차블록의 하나의 서브블록만이 부호화되는 경우에, 만약 동일 위치의(co-located) 루마 성분의 잔차블록도 하나의 서브블록만이 부호화되었다면, 루마 성분의 잔차블록에 대해 결정된 분할 방향과 부호화되는 서브블록의 위치에 관한 정보가 크로마 성분의 잔차블록에도 적용될 수 있다.
4. 잔차블록 복원
영상 복호화 장치는 파티션 타입 및 변환 위치를 기초로, 비트스트림으로부터 관련된 변환 계수 정보를 복호화하여야 할 잔차블록 내 서브블록의 위치 및 사이즈를 결정할 수 있다. 영상 복호화 장치는 비트스트림으로부터 변환 계수 정보를 복호화하여 변환 위치에 대응되는 서브블록에 대한 변환 계수들을 복원할 수 있다. 영상 복호화 장치는 복원된 변환 계수들에 역양자화/역변환 프로세스를 적용하여, 변환 위치에 대응되는 서브블록에 대한 잔차 신호들을 생성하고, 비변환 위치에 대응되는 서브블록에 대한 잔차 신호들을 모두 "0"으로 설정함으로써, 현재블록에 대한 잔차블록을 복원할 수 있다.
유사하게, 영상 부호화 장치는, 변환 위치에 대응되는 잔차 서브블록에 대해 변환 및 양자화를 수행하고, 양자화된 변환 계수들을 엔트로피 부호화하며, 양자화된 변환 계수들에 역양자화/역변환 프로세스를 적용하여 변환 위치에 대응되는 잔차 서브블록을 복원하고, 비변환 위치에 대응되는 서브블록에 대한 잔차신호들을 모두 "0"으로 설정하여 현재블록에 대한 잔차블록을 복원할 수 있다.
5. 양자화 파라미터 산출
영상 부호화 장치는 현재블록(CU)에 대한 양자화 파라미터(Quantization Parameter; QP) 값을 결정하고, QP 값 및 QP 예측값에 기초하여 현재블록에 대한 차분 양자화 파라미터(Delta QP; DQP) 값을 결정할 수 있다. 영상 부호화 장치는 DQP 값을 시그널링하고, 결정된 QP 값을 사용하여 현재블록을 양자화하도록 구성될 수 있다. 영상 부호화 장치는 현재블록에 대한 QP 값을 조정함으로써 현재블록에 연관된 계수 블록들에 적용되는 양자화 정도를 조정할 수 있다.
DQP는 현재 QP(즉, 현재블록에 사용된 실제 QP)와 현재 QP의 예측값(즉, QP 예측값) 사이의 차이로서 정의된다. 시그널링된 DQP에 기초하여, 대응하는 현재 QP 값은 DQP를 QP 예측값에 합산함으로써 재구성될 수 있다. 즉, 영상 부호화 장치에서 DQP는 현재블록의 실제 QP로부터 QP 예측값을 감산함으로써 계산되며, 영상 복호화 장치에서 현재블록의 실제 QP는 수신된 DQP를 QP 예측값에 합산함으로써 재구성된다.
일부 실시예에서, 현재블록에 대해 위쪽 블록 및 왼쪽 블록에 대한 실제 QP 값들의 평균값이 현재블록의 QP 예측값으로 결정될 수 있다. 다른 일부 예들에서, 현재블록에 대해 왼쪽 블록, 상좌측 블록, 위쪽 블록에 대한 실제 QP 값들의 대표값(예컨대, 평균값, 중앙값, 중간값 등)이 현재블록의 QP 예측값으로 결정될 수 있다.
일부 실시예에서, 현재블록의 관련된 잔차블록의 하나의 서브블록만 부호화되는 경우에, 잔차블록의 분할 정보, 분할 모양 또는 부호화되는 서브블록의 위치 등에 기초하여 참조할 주변블록을 선택하고, 선택된 주변블록의 실제 QP 값을 현재블록에 대한 QP 예측값으로 사용하거나 선택된 주변블록(들)의 실제 QP 값으로부터 현재블록에 대한 QP 예측값을 유도할 수도 있다.
도 6은 현재블록의 관련된 잔차블록 내 하나의 서브블록만이 부호화되는 경우에, 양자화 파라미터(QP)를 예측하기 위해 참조할 주변 블록들의 위치를 설명하기 위한 도면이다.
잔차블록(610)이 수직 방향으로 분할되고 잔차 신호가 왼쪽 서브블록에만 존재할 경우(즉, 왼쪽 서브블록만 부호화되는 경우), 왼쪽 서브블록에 인접한 주변블록들인 "a, b, d, e" 블록들의 양자화 파라미터 중 적어도 하나의 값을 기초로 현재 블록의 QP 예측값을 산출할 수 있다. 예를 들어, "a" 블록과 "b" 블록의 QP값들의 평균을 현재 블록의 QP 예측값을 산출할 수 있다.
잔차 블록(620)이 수직 방향으로 분할되고 잔차 신호가 오른쪽 서브블록에만 존재할 경우(즉, 오른쪽 서브블록만 부호화되는 경우), 오른쪽 서브블록에 인접한 주변블록인 "c" 블록의 QP값을 현재 블록의 QP 예측값으로 결정할 수 있다.
도 7은 크로마 블록과 그에 대응되는 루마 블록을 도시한 도면이다.
크로마 블록에 대한 QP 값은 대응되는 루마 블록(들)에 대해 결정된 QP 값에 기초하여 결정될 수 있다. 크로마 블록의 QP 예측값은 동일 위치의 루마 블록의 QP값을 기초로 결정될 수도 있다. 일 예로, 현재블록 내 좌상귀에 위치하는 루마 블록 "a"의 QP값이 크로마 성분의 잔차 블록에 대한 QP 예측값으로 사용될 수 있다. 대안적으로, 루마 블록들 "a 내지 i"의 QP값들 중에서 최빈값(most frequent value), 최대값, 최소값, 평균값 혹은 중앙값이 크로마 성분의 잔차 블록에 대한 QP 예측값으로 사용될 수도 있다.
크로마 성분의 잔차블록 내 하나의 서브블록만이 부호화되었을 경우에, 잔차블록의 분할 방향, 부호화되는 서브블록의 위치, 서브블록의 크기, 서브블록의 가로-세로 비율, 또는 서브블록의 너비 혹은 높이 중에서 큰 값(대안적으로, 작은 값)을 기초로 선택된 루마 블록의 QP값이 크로마 블록의 QP 예측값으로 사용될 수 있다. 일 예로, 크로마 성분의 잔차 블록 내 부호화되는 서브블록(A)에 대응되는 루마 블록인 블록 "d"와 블록 "i" 중 하나의 QP값 혹은 이들의 평균값이 크로마 성분의 블록에 대한 QP 예측값으로 사용될 수 있다.
6. 인루프 필터링
영상 부호화 장치와 영상 복호화 장치는 복원된 현재블록에 디블록킹 필터링을 포함하는 인루프 필터링(in-loop filtering)을 수행하고, 필터링된 현재블록을, 이후에 부호화하고자 하는 픽처 내의 블록들을 인터 예측하기 위한 참조 픽처로 사용하기 위해, 버퍼(예컨대, 도 1의 메모리(190)과 도 4의 메모리(470))에 저장할 수 있다.
디블록킹 필터는 복원된 픽쳐에서 블록간의 경계로 인해 생긴 블록화 왜곡(blocking artifact)을 완화하기 위해 블록 경계에 있는 픽셀들에 적용된다. 디블록킹 필터링은 수직 경계와 수평 경계에서 수행되며, 수직 경계에서 먼저 필터링이 수행된 후 수직 경계 필터링의 결과에 대해 수평 경계 필터링이 수행될 수 있다.
도 8은 관련된 잔차블록이 수평 분할이 적용되고 왼쪽 서브블록에 변환이 적용된(즉, 변환 위치가 0인), 복원된 현재블록에 대해, 서브블록간 분할 경계와 디블록 경계를 예시한 도면이다.
영상 부호화 장치 및 영상 복호화 장치는 4×4 단위의 (혹은 8×8 단위의) 디블록 경계와 잔차블록의 서브블록들 간의 경계가 일치하는지 여부를 기초로 현재 블록에 디블록킹 필터링을 적용할지 여부를 판단할 수 있다. 예컨대, 영상 복호화 장치는 수평 및 수직 방향으로 N 샘플 간격으로 그리드(grid)를 설정하고, 현재블록 내의 2개의 서브블록 간의 경계가 그리드의 경계와 일치하는 경우에 한해, 디블록킹 필터링을 수행할 수 있다. 따라서 서브블록 간의 경계들 중 그리드의 경계와 일치하지 않는 경계들은 디블록킹 필터링이 수행되지 않을 수 있다. 여기서, N은 2 n (n은 자연수)로 설정될 수 있다. 대안적으로, 현재블록에 포함된 몇 개의 열 또는 행에 포함된 픽셀을 기초로 현재블록에 디블록킹 필터링을 적용할지 여부를 판단할 수도 있다. 현재 블록이 루마 블록인지 크로마 블록인지에 따라 상이한 단위의 그리드가 사용될 수도 있다. 예를 들어, 루마 블록에 대해 4×4 단위로 그리드가 설정되고, 크로마 블록에 대해 8×8 단위로 그리드가 설정될 수 있다.
일부의 경우에, 복원된 잔차신호 레벨에서 디블록킹 필터링이 수행될 수도 있다. 도 9는 잔차 서브블록들 간의 경계에 대해 잔차신호 레벨에서 수행되는 디블록킹 필터링을 설명하기 위한 도면이다. 도 9에는 수평 분할이 적용되고, 아래쪽 4×4 서브블록에 변환이 적용되는(즉, 변환 위치가 1인) 4×8 잔차블록이 예시되어 있다. 아래쪽 서브블록에 해당되는 잔차신호들이 복원되고, 위쪽 서브블록의 잔차신호들이 "0"으로 채워진 잔차블록이 복원되면, 잔차블록에 대해 디블록킹 필터링이 수행될 수 있다. 도 9의 예시에서는 두 서브블록 간 경계에 대해 [1 2 1]의 파라미터를 가진1차원 평균 필터가 적용되어 있다.
현재블록에 디블록킹 필터를 적용하는 경우, 필요한 디블록킹 필터링 강도에 따라 강한 필터(Strong Filter) 또는 약한 필터(Weak Filter)가 선택될 수 있다. 또한, 평균값 필터, 중앙값 필터, 중간값 필터, 양방향(bilateral) 필터와 같이 일반적인 영상처리 기법에서 사용되는 다양한 필터들의 사용이 고려될 수도 있다.
필터 선택은 영상 복호화 장치는 영상 부호화 장치로부터 사용될 필터의 정보를 전송받아, 잔차 디블록킹 필터링에 사용할 필터를 선택할 수 있다. 예컨대, 미리 정해진 다수 개의 필터들 중에서 사용할 필터의 인덱스가 시그널링될 수도 있다. 대안적으로, 미리 정해진 하나의 필터가 사용될 수도 있다.
필터가 선택되면, 선택된 필터에 해당하는 필터링 파라미터들(즉, 필터의 세기와 화소의 변화에 대한 클리핑(clipping) 값 등을 결정하는 파라미터들)을 산출하고, 이를 기초로 블록 내부의 잔차샘플 경계에 필터링을 수행할 수 있다.
필터 파라미터들은 이전 프레임, 주변 블록, 주변 타일 그룹, 주변 타일 등의 주변 부호화 단위의 위치 정보를 전송받아 해당 위치에 해당하는 복호화 단위의 파라미터를 그대로 사용하거나 또는 주변 파라미터 값과 잔차 값을 전송 받아 필터 파라미터를 복원하여 필터를 사용할 수 있다.
도 10은 본 발명의 일 실시예에 따른 영상 부호화 장치가 영상의 현재블록을 인터 예측 부호화하는 방법을 도시한 흐름도이다.
S1010 단계에서, 영상 부호화 장치는 부호화되고 있는 영상 데이터의 현재블록을 인터 예측하여 예측블록을 생성하고, 영상 데이터의 현재블록으로부터 예측블록을 감산하여 잔차블록을 생성할 수 있다.
S1020 단계에서, 영상 부호화 장치는 현재블록의 잔차블록에 대한 잔차 코딩 모드를 결정할 수 있다. 즉, 영상 부호화 장치는 현재블록의 잔차블록을 부호화할지 아니면 잔차블록의 일부 영역인 하나의 서브블록만을 부호화할지를 선택할 수 있다. 이러한 선택은 율-왜곡 테스트(rate-distortion test)에 기초할 수 있다.
S1030 단계에서, 영상 부호화 장치는 현재블록의 관련된 잔차블록에 대해 선택된 잔차 코딩 모드에 관한 정보를 부호화할 수 있다.
잔차 코딩 모드 정보는 잔차블록이 부호화되는지 아니면 잔차블록의 하나의 서브블록만이 부호화되는지를 여부를 나타내는 제 1 플래그를 포함할 수 있다.
잔차블록의 하나의 서브블록만이 부호화되는 경우에, 영상 부호화 장치는 잔차블록을 2개의 서브블록으로 분할하기 위한 파티션 타입을 나타내는 정보를 추가로 부호화할 수 있다. 분할 방향과 분할 비율에 따라 다양한 파티션 타입이 존재할 수 있다. 예를 들어, 파티션 타입은 가로 방향으로 대칭적으로 두 개의 서브블록으로 분할하는 제 1 타입, 세로 방향으로 대칭적으로 두 개의 서브블록으로 분할하는 제 2 타입, 가로 방향으로 비대칭적으로(예컨대, 1:3 혹은 3:1의 비율을 가지는) 두 개의 서브블록으로 분할하는 제 3 타입, 및 세로 방향으로 비대칭적으로(예컨대, 1:3 혹은 3:1의 비율을 가지는) 두 개의 서브블록으로 분할하는 제 4 타입이 고려될 수 있다. 현재블록의 관련된 잔차블록에 대한 파티션 타입(혹은 분할 방향과 분할 비율)을 시그널링하기 위해 하나 이상의 신택스 엘리먼트들이 사용될 수 있다.
현재블록의 관련된 잔차블록의 너비 및 높이에 의존하여 (따라서 예측블록의 너비 및 높이에 의존하여), 일부 분할 방향, 분할 비율, 및/또는 파티션 타입의 사용이 제한될 수 있으며, 따라서 분할 방향, 분할 비율, 및/또는 파티션 타입을 표현하는 신택스 엘리먼트들의 시그널링은 잔차블록의 너비 및 높이에 의존하여 스킵될 수도 있다.
일 예로, 잔차블록의 너비와 높이가 16 보다 작으면, 잔차블록은 "1:3 비율 또는 3:1 비율로" 분할하는 것이 허용되지 않을 수 있다. 따라서, 잔차블록의 너비와 높이가 16 보다 작으면, 영상 복호화 장치에 의해 분할 비율이 1:1로 추론될 수 있는 바, 영상 부호화 장치는 분할 방향을 나타내는 신택스 엘리먼트(예컨대, 1비트 플래그)의 시그널링을 스킵할 수 있다. 다른 일 예로, 현재블록의 너비가 8 보다 작으면, 현재블록은 수직 방향으로 분할하는 것이 허용되지 않을 수 있으며, 현재블록의 높이가 8 보다 작으면, 현재블록은 수평 방향으로 분할하는 것이 허용되지 않을 수 있다. 따라서, 잔차블록의 너비(혹은 높이)가 8 보다 작으면, 영상 복호화 장치에 의해 현재블록이 1:1의 비율로 수직 방향(혹은 수평 방향)으로 분할되는 것으로 추론될 수 있는 바, 영상 부호화 장치는 분할 방향을 나타내는 신택스 엘리먼트(예컨대, 1비트 플래그)의 시그널링을 스킵할 수 있다.
또한, 영상 부호화 장치는 파티션 타입에 따라 구분되는 두 개의 서브블록 중에서 부호화되는 (따라서 변환이 적용되는) 서브블록을 식별하는 플래그를 명시적으로 시그널링할 수 있다. 일부 실시예에서, 현재 블록의 파티션 타입이 제 3 타입 또는 제 4 타입인 경우(즉, 현재블록이 수평 혹은 수직 방향으로 비대칭적으로 분할되는 경우에), 부호화되는 서브블록을 식별하는 플래그의 시그널링이 생략되고, 2개의 서브블록 중 상대적으로 작은 서브블록이 부호화되는 것으로 간주될 수도 있다.
S1040 ~ S1050 단계에서, 영상 부호화 장치는 현재블록의 관련된 잔차블록에 대해 선택된 잔차 코딩 모드에 따라, 잔차블록 또는 잔차블록의 하나의 서브블록을 부호화한다. 잔차블록을 부호화하기로 선택된 경우에, 영상 부호화 장치는 잔차블록에 대해 잔차블록의 사이즈와 동일한 변환 단위로 변환 및 양자화를 수행하고, 양자화된 변환 계수들을 엔트로피 부호화할 수 있다. 잔차블록의 하나의 서브블록만을 부호화하기로 선택된 경우에, 영상 부호화 장치는 변환 위치에 대응되는 서브블록에 대해 변환 및 양자화를 수행하고, 양자화된 변환 계수들을 엔트로피 부호화할 수 있다. 비변환 위치에 대응되는 다른 서브블록의 잔차신호들은 모두 0으로 간주되며, 따라서 변환 계수 정보가 부호화되지 않는다.
S1060 단계에서, 영상 부호화 장치는 양자화된 변환 계수들에 역양자화/역변환 프로세스를 적용하여 변환 위치에 대응되는 잔차신호들을 복원하고, 비변환 위치에 대응되는 다른 서브블록의 잔차신호들을 모두 0으로 설정하여 현재블록에 대한 잔차블록을 복원할 수 있다. 영상 부호화 장치는 복원된 잔차블록을 예측블록과 합산하여 복원된 현재블록을 생성할 수 있다.
S1070 단계에서, 영상 부호화 장치는 복원된 현재블록에 디블록킹 필터링 등을 수행하고, 필터링된 현재블록을, 이후에 부호화하고자 하는 픽처 내의 블록들을 인터 예측하기 위한 참조 픽처로 사용하기 위해, 버퍼(예컨대, 도 1의 메모리(190))에 저장할 수 있다. 특히, 영상 부호화 장치는 수평 및 수직 방향으로 N 샘플 간격으로 그리드(grid)를 설정하고, 그리드의 경계와 잔차블록의 서브블록들 간의 경계가 일치하는지 여부를 기초로 현재 블록에 디블록킹 필터링을 적용할지 여부를 판단할 수 있다. 영상 부호화 장치는 현재블록 내의 2개의 잔차 서브블록 간의 경계가 그리드의 경계와 일치하는 경우에 한해 디블록킹 필터링을 수행할 수 있다. 즉, 4×4 단위의 (혹은 8×8 단위의) 디블록 경계와 잔차 서브블록 간의 경계가 일치하는 경우에 한해 디블록킹 필터링이 수행될 수 있다.
도 11은 본 발명의 일 실시예에 따른 영상 복호화 장치가 부호화된 영상의 비트스트림으로부터 인터 예측 코딩된 현재블록을 복호화하는 방법을 도시한 흐름도이다.
S1110 단계에서, 영상 복호화 장치(예를 들어, 도 4의 엔트로피 복호화부)는 현재블록의 관련된 잔차블록에 대한 잔차 코딩 모드에 관한 정보를 복호화할 수 있다.
예를 들어, 영상 복호화 장치는 현재블록의 관련된 잔차블록이 부호화되었는지 아니면 잔차블록의 하나의 서브블록만이 부호화되었는지 여부를 나타내는 제 1 플래그를 비트스트림으로부터 복호화할 수 있다. 제 1 값(예컨대, "0")을 가진 제 1 플래그는 잔차블록이 변환되었음을 지시하고, 제 2 값(예컨대, "1")을 가진 제 1 플래그는 잔차블록의 하나의 서브블록만이 변환되었음을 지시할 수 있다.
제 1 플래그가 잔차블록의 하나의 서브블록만이 변환되었다고 가리키면, 영상 복호화 장치는 잔차블록의 파티션 타입(분할 방향 및/또는 분할 비율)을 표현하는 하나 이상의 신택스 엘리먼트들을 비트스트림으로부터 추가로 복호화하고, 복호화된 하나 이상의 신택스 엘리먼트들에 적어도 부분적으로 기초하여 잔차블록의 파티션 타입을 결정할 수 있다. 분할 방향과 분할 비율에 따라 다양한 파티션 타입이 존재할 수 있다. 예컨대, 파티션 타입들은 가로 방향으로 대칭적으로 두 개의 서브블록으로 분할하는 제 1 타입, 세로 방향으로 대칭적으로 두 개의 서브블록으로 분할하는 제 2 타입, 가로 방향으로 비대칭적으로(예컨대, 1:3 혹은 3:1의 비율을 가지는) 두 개의 서브블록으로 분할하는 제 3 타입, 및 세로 방향으로 비대칭적으로(예컨대, 1:3 혹은 3:1의 비율을 가지는) 두 개의 서브블록으로 분할하는 제 4 타입을 포함할 수 있다.
파티션 타입을 결정함에 있어서, 상기 파티션 타입을 나타내는 정보와 함께, 현재블록의 너비 및 높이가 더 고려될 수도 있다. 현재블록의 너비 및 높이에 의존하여 일부 파티션 타입(혹은, 분할 방향 및/또는 분할 비율)의 사용이 제한될 수 있으며, 따라서 파티션 타입(혹은, 분할 방향 및/또는 분할 비율)을 표현하는 신택스 엘리먼트들의 시그널링이 생략될 수도 있다.
일 예로, 현재블록의 너비와 높이가 16 보다 작으면, 현재블록은 "1:3 비율 또는 3:1 비율로" 분할하는 것이 허용되지 않을 수 있다. 따라서, 영상 복호화 장치는 잔차블록의 너비와 높이가 16 보다 작으면, 분할 방향을 나타내는 신택스 엘리먼트(예컨대, 1비트 플래그)의 복호화 없이, 분할 비율을 1:1로 추론할 수 있다.
다른 일 예로, 현재블록의 너비(혹은 높이)가 8 보다 작으면, 현재블록은 수직 방향(혹은 수평 방향)으로 분할하는 것이 허용되지 않을 수 있다. 따라서, 영상 복호화 장치는 잔차블록의 너비가 8 보다 작으면, 분할 방향을 나타내는 신택스 엘리먼트의 복호화 없이, 분할 방향을 수평 방향으로 추론할 수 있으며, 또한, 잔차블록의 높이가 8 보다 작으면, 분할 방향을 나타내는 신택스 엘리먼트의 복호화 없이, 분할 방향을 수직 방향으로 추론할 수 있다.
변환계수 정보를 복호화하여야 할 서브블록을 식별하기 위해, 영상 복호화 장치는, 부호화된 서브블록의 위치(따라서, 영상 부호화 장치에 의해 변환이 수행된 서브블록의 위치)를 나타내는 신택스 엘리먼트(예컨대, 1비트 플래그)를, 비트스트림으로부터 추가로 복호화할 수 있다. 일부 실시예에서, 현재 블록의 파티션 타입이 제 3 타입 또는 제 4 타입인 경우, 변환이 수행된 서브블록의 위치를 나타내는 신택스 엘리먼트의 복호화 없이, 2개의 서브블록 중 상대적으로 작은 서브블록이 변환이 적용된 서브블록(따라서, 변환계수 정보를 복호화하여야 할 서브블록)으로 간주될 수 있다.
S1120 ~ S1130 단계에서, 영상 복호화 장치는 복호화된 잔차 코딩 모드 정보를 기초로 현재블록에 관련된 잔차블록을 복원할 수 있다.
제 1 플래그가 현재블록의 관련된 잔차블록이 부호화되었다고 가리키면, 영상 복호화 장치는 잔차블록에 대한 변환 계수 정보를 비트스트림으로부터 복호화하여 변환계수들을 복원할 수 있다. 그 후 영상 복호화 장치는 변환 계수들을 역양자화하고, 역양자화된 변환 계수들에 대해 잔차블록의 사이즈와 동일한 변환 단위로 변환을 수행하여, 현재블록에 대한 잔차블록을 복원할 수 있다.
제 1 플래그가 잔차블록의 하나의 서브블록만이 부호화되었다고 가리키면, 영상 복호화 장치는 변환 위치에 대응되는 서브블록에 대한 변환 계수 정보를 상기 비트스트림으로부터 복호화하여 변환 계수들을 복원할 수 있다. 그 후, 영상 복호화 장치는 변환 계수들을 역양자화 및 역변환하여 변환 위치에 대응되는 서브블록에 대한 잔차 신호들을 생성하고, 비변환 위치에 대응되는 서브블록의 잔차 신호들을 모두 0으로 설정함으로써, 현재블록에 대한 잔차블록을 복원할 수 있다.
단계 S1140에서, 영상 복호화 장치는 현재블록을 인터 예측하여 예측블록을 생성하고, 예측블록과 잔차블록을 가산하여 현재블록을 복원할 수 있다.
단계 S1150에서, 영상 복호화 장치는 복원된 현재블록에 디블록킹 필터링을 수행하고, 필터링된 현재블록을, 이후에 부호화하고자 하는 픽처 내의 블록들을 인터 예측하기 위한 참조 픽처로 사용하기 위해, 버퍼(예컨대, 도 4의 메모리(470))에 저장할 수 있다. 영상 복호화 장치는 수평 및 수직 방향으로 N 샘플 간격으로 그리드(grid)를 설정하고, 설정된 그리드의 경계를 기초로 현재 블록에 디블록킹 필터링을 적용할지 여부를 판단할 수 있다. 예컨대, 그리드의 경계와 일치하는 현재블록과 이미 복호화된 다른 블록들 간의 경계에 대해 디블록킹 필터링이 적용될 수 있다. 또한, 그리드의 경계와 일치하는 잔차블록의 서브블록들 간의 경계에 대해 디블록킹 필터링이 적용될 수 있다. 현재 블록이 루마 블록인지 크로마 블록인지에 따라 상이한 단위의 그리드가 사용될 수도 있다. 예를 들어, 루마 블록에 대해 4×4 단위로 그리드가 설정되고, 크로마 블록에 대해 8×8 단위로 그리드가 설정될 수 있다.
이상의 설명에서 예시적인 실시예들은 많은 다른 방식으로 구현될 수 있다는 것을 이해해야 한다. 하나 이상의 예시들에서 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 본 명세서에서 설명된 기능적 컴포넌트들은 그들의 구현 독립성을 특히 더 강조하기 위해 "...부(unit)" 로 라벨링되었음을 이해해야 한다.
한편, 본 개시에서 설명된 다양한 기능들 혹은 방법들은 하나 이상의 프로세서에 의해 판독되고 실행될 수 있는 비일시적 기록매체에 저장된 명령어들로 구현될 수도 있다. 비일시적 기록매체는, 예를 들어, 컴퓨터 시스템에 의하여 판독가능한 형태로 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예를 들어, 비일시적 기록매체는 EPROM(erasable programmable read only memory), 플래시 드라이브, 광학 드라이브, 자기 하드 드라이브, 솔리드 스테이트 드라이브(SSD)와 같은 저장매체를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은, 본 명세서에 그 전체가 참고로서 포함되는, 2019년 03월 12일에 한국에 출원한 특허출원번호 제10-2019-0028364호에 대해 우선권을 주장한다.

Claims (15)

  1. 영상 복호화 장치로서,
    비트스트림으로부터 현재블록의 일부 영역에 대응하는 잔차신호만이 부호화되었는지 여부를 나타내는 플래그를 복호화하고, 상기 플래그가 상기 현재블록의 일부 영역에 대응하는 잔차 신호만이 부호화되었다고 지시하면, 상기 현재블록으로부터 분할되는 두 개의 서브블록 중 하나에 대응하는 변환 계수 정보를 상기 비트스트림으로부터 복호화하여 변환 계수들을 복원하는 복호화부;
    상기 현재블록을 예측하여 예측블록을 생성하는 예측부;
    상기 두 개의 서브블록 중 상기 변환 계수 정보가 복호화된 서브블록 내의 상기 변환 계수들을 역양자화 및 역변환하여 상기 현재블록에 대한 잔차블록을 생성하는 역양자화 및 역변환부;
    상기 예측블록과 상기 잔차블록을 가산하여 상기 현재블록을 복원하는 가산부; 및
    가로 및 세로 방향으로 N 샘플 간격으로 그리드(grid)를 설정하고, 상기 그리드의 경계와 일치하는 상기 현재블록 내의 상기 두 개의 서브블록 간의 경계를 디블록킹 필터링하는 필터부
    를 포함하는, 영상 복호화 장치.
  2. 제 1 항에 있어서,
    상기 역양자화 및 역변환부는,
    상기 두 개의 서브블록 중 상기 변환 계수 정보가 복호화된 서브블록 내의 상기 변환 계수들을 역양자화 및 역변환하여 잔차 신호들을 생성하고 다른 서브블록의 잔차 신호들을 0으로 설정함으로써, 상기 현재블록에 대한 잔차블록을 생성하는 것을 특징으로 하는, 영상 복호화 장치.
  3. 제 1 항에 있어서,
    상기 복호화부는,
    상기 현재블록의 파티션 타입을 나타내는 하나 이상의 신택스 엘리먼트들을 상기 비트스트림으로부터 복호화하고, 상기 현재블록의 파티션 타입을 나타내는 하나 이상의 신택스 엘리먼트들 및 상기 현재블록의 폭과 높이에 의존하여, 상기 현재블록을 상기 두 개의 서브블록으로 분할하기 위한 파티션 타입을 결정하고,
    상기 파티션 타입에 따라 결정되는 상기 두 개의 서브블록 중 하나에 대응하는 변환 계수 정보만을 복호화하는, 영상 복호화 장치.
  4. 제 3 항에 있어서,
    상기 파티션 타입은,
    가로 방향으로 대칭적으로 분할하는 제 1 타입, 세로 방향으로 대칭적으로 분할하는 제 2 타입, 가로 방향으로 비대칭적으로 분할하는 제 3 타입, 및 세로 방향으로 비대칭적으로 분할하는 제 4 타입을 포함하는 것으로 특징으로 하는, 영상 복호화 장치.
  5. 제 4 항에 있어서,
    상기 복호화부는,
    상기 파티션 타입이 상기 제 3 타입 또는 상기 제 4 타입인 경우, 상기 두 개의 서브블록 중 상대적으로 크기가 작은 서브블록에 대한 상기 변환 계수 정보만을 복호화하는 것을 특징으로 하는, 영상 복호화 장치.
  6. 제 1 항에 있어서,
    상기 현재블록은 크로마(chroma) 성분으로 이루어진 크로마 블록인 것을 특징으로 하는, 영상 복호화 장치.
  7. 제 1 항에 있어서,
    상기 N은 8인 것을 특징으로 하는, 영상 복호화 장치.
  8. 제 1 항에 있어서,
    상기 역양자화 및 역변환부에 의해 생성된 상기 잔차블록 내에서 상기 두 개의 서브블록 간의 경계를 필터링하는 잔차 필터부를 더 포함하는 것을 특징으로 하는, 영상 복호화 장치.
  9. 제 1 항에 있어서,
    상기 복호화부는,
    상기 현재블록에 대한 차분 양자화 파라미터를 복호화하고;
    상기 역양자화 및 역변환부는,
    상기 변환 계수 정보가 복호화된 서브블록에 인접한 적어도 하나의 주변블록의 양자화 파라미터로부터 양자화 파라미터 예측값을 유도하고,
    상기 양자화 파라미터 예측값과 상기 차분 양자화 파라미터를 이용하여 상기 변환 계수 정보가 복호화된 서브블록 내의 변환 계수들을 역양자화하는 것을 특징으로 하는, 영상 복호화 장치.
  10. 제 6 항에 있어서,
    상기 역양자화 및 역변환부는,
    상기 색차블록의 양자화 파라미터를 상기 색차블록과 동일한 위치의 휘도블록의 양자화 파라미터로부터 유도하고,
    상기 색차블록의 양자화 파라미터를 이용하여 역양자화를 수행하는 것을 특징으로 하는, 영상 복호화 장치.
  11. 영상 복호화 방법으로서,
    비트스트림으로부터 현재블록의 일부 영역에 대응하는 잔차 신호만이 부호화되었는지 여부를 나타내는 플래그를 복호화하는 단계;
    상기 플래그가 상기 현재블록의 일부 영역에 대응하는 잔차 신호만이 부호화되었다고 지시하면, 상기 현재블록으로부터 분할되는 두 개의 서브블록 중 하나에 대응하는 변환 계수 정보를 상기 비트스트림으로부터 복호화하여 변환 계수들을 복원하는 단계;
    상기 현재블록을 예측하여 예측블록을 생성하는 단계;
    상기 두 개의 서브블록 중 상기 변환 계수 정보가 복호화된 서브블록 내의 상기 변환 계수들을 역양자화 및 역변환하여 상기 현재블록에 대한 잔차블록을 생성하는 단계;
    상기 예측블록과 상기 잔차블록을 가산하여 상기 현재블록을 복원하는 단계; 및
    가로 및 세로 방향으로 N 샘플 간격으로 그리드를 설정하고, 상기 그리드의 경계와 일치하는 상기 현재블록 내의 상기 두 개의 서브블록 간의 경계를 디블록킹 필터링하는 단계
    를 포함하는, 영상 복호화 방법.
  12. 제 11 항에 있어서,
    상기 변환 계수들을 복원하는 단계는,
    상기 두 개의 서브블록 중 상기 변환 계수 정보가 복호화된 서브블록 내의 상기 변환 계수들을 역양자화 및 역변환하여 잔차 신호들을 생성하고 다른 서브블록의 잔차 신호들을 0으로 설정하는 단계를 포함하는 것을 특징으로 하는, 영상 복호화 방법.
  13. 제 11 항에 있어서,
    상기 변환 계수들을 복원하는 단계는,
    상기 현재블록의 파티션 타입을 나타내는 적어도 하나의 신택스 엘리먼트를 상기 비트스트림으로부터 복호화하는 단계; 및
    상기 현재블록의 파티션 타입을 나타내는 적어도 하나의 신택스 엘리먼트 및 상기 현재블록의 폭과 높이에 의존하여, 상기 현재블록을 상기 두 개의 서브블록으로 분할하기 위한 파티션 타입을 결정하고, 상기 파티션 타입에 따라 결정되는 상기 두 개의 서브블록 중 하나에 대응하는 변환 계수 정보만을 복호화하는 단계
    를 더 포함하는, 영상 복호화 방법.
  14. 제 13 항에 있어서,
    상기 파티션 타입은,
    가로 방향으로 대칭적으로 분할하는 제 1 타입, 세로 방향으로 대칭적으로 분할하는 제 2 타입, 가로 방향으로 비대칭적으로 분할하는 제 3 타입, 및 세로 방향으로 비대칭적으로 분할하는 제 4 타입을 포함하는 것으로 특징으로 하는, 영상 복호화 방법.
  15. 제 14 항에 있어서,
    상기 복호화부는,
    상기 파티션 타입이 상기 제 3 타입 또는 상기 제 4 타입인 경우, 상기 두 개의 서브블록 중 상대적으로 크기가 작은 서브블록에 대한 상기 변환 계수 정보만을 복호화하는 것을 특징으로 하는, 영상 복호화 방법.
PCT/KR2020/003455 2019-03-12 2020-03-12 잔차블록을 효율적으로 코딩하는 방법 및 장치 WO2020185009A1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN202080020838.0A CN113574877B (zh) 2019-03-12 2020-03-12 用于有效地对残差块解码的方法和装置
US17/438,305 US11973966B2 (en) 2019-03-12 2020-03-12 Method and apparatus for efficiently coding residual blocks
CN202410747113.1A CN118764635A (zh) 2019-03-12 2020-03-12 用于有效地对残差块解码的方法和装置
CN202410746853.3A CN118764632A (zh) 2019-03-12 2020-03-12 用于有效地对残差块解码的方法和装置
CN202410747124.XA CN118764636A (zh) 2019-03-12 2020-03-12 用于有效地对残差块解码的方法和装置
CN202410746872.6A CN118764634A (zh) 2019-03-12 2020-03-12 用于有效地对残差块解码的方法和装置
CN202410746861.8A CN118764633A (zh) 2019-03-12 2020-03-12 用于有效地对残差块解码的方法和装置
US18/620,697 US20240244247A1 (en) 2019-03-12 2024-03-28 Method and apparatus for efficiently coding residual blocks

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190028364 2019-03-12
KR10-2019-0028364 2019-09-12

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/438,305 A-371-Of-International US11973966B2 (en) 2019-03-12 2020-03-12 Method and apparatus for efficiently coding residual blocks
US18/620,697 Continuation US20240244247A1 (en) 2019-03-12 2024-03-28 Method and apparatus for efficiently coding residual blocks

Publications (1)

Publication Number Publication Date
WO2020185009A1 true WO2020185009A1 (ko) 2020-09-17

Family

ID=72426941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/003455 WO2020185009A1 (ko) 2019-03-12 2020-03-12 잔차블록을 효율적으로 코딩하는 방법 및 장치

Country Status (4)

Country Link
US (2) US11973966B2 (ko)
KR (1) KR20200110220A (ko)
CN (6) CN118764636A (ko)
WO (1) WO2020185009A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022206995A1 (en) * 2021-04-02 2022-10-06 Beijing Bytedance Network Technology Co., Ltd. Constraints on partitioning of video blocks

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220032634A (ko) * 2019-08-06 2022-03-15 에이치에프아이 이노베이션 인크. 인트라 예측 모드 매핑을 사용하여 비디오 데이터를 인코딩 또는 디코딩하는 방법 및 장치
US11388401B2 (en) * 2020-06-26 2022-07-12 Google Llc Extended transform partitions for video compression
US11683515B2 (en) * 2021-01-27 2023-06-20 Tencent America LLC Video compression with adaptive iterative intra-prediction
CN115174908B (zh) * 2022-06-30 2023-09-15 北京百度网讯科技有限公司 视频编码的变换量化方法、装置、设备以及存储介质
WO2024091094A1 (ko) * 2022-10-28 2024-05-02 주식회사 케이티 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체
KR20240142301A (ko) * 2023-03-21 2024-09-30 주식회사 케이티 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120118507A (ko) * 2010-02-19 2012-10-26 퀄컴 인코포레이티드 비디오 코딩에서 블록 타입 시그널링
KR20170013274A (ko) * 2014-06-04 2017-02-06 퀄컴 인코포레이티드 블록 적응적 컬러-공간 변환 코딩
KR20180085526A (ko) * 2017-01-19 2018-07-27 가온미디어 주식회사 효율적 변환을 처리하는 영상 복호화 및 부호화 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100723408B1 (ko) * 2004-07-22 2007-05-30 삼성전자주식회사 컬러영상의 변환/역변환 및 양자화/역양자화 방법 및장치와, 이를 이용한 컬러영상의 부호화/복호화 방법 및장치
WO2007032597A1 (en) * 2005-07-20 2007-03-22 Electronics And Telecommunications Research Institute Method of redundant picture coding using polyphase downsampling and the codec using the same
EP2733952A1 (en) * 2005-10-21 2014-05-21 Electronics and Telecommunications Research Institute Method for encoding moving picture using adaptive scanning
KR101366086B1 (ko) * 2007-01-03 2014-02-21 삼성전자주식회사 잔차 블록의 계수들에 대한 부호화 결정 방법, 장치,인코더 및 디코더
US9635368B2 (en) * 2009-06-07 2017-04-25 Lg Electronics Inc. Method and apparatus for decoding a video signal
US20110160526A1 (en) 2009-12-31 2011-06-30 Zunker Maryann Disposable urine incontinence device with cover sheet
WO2011129672A2 (ko) * 2010-04-16 2011-10-20 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
LT2950534T (lt) 2010-04-23 2017-03-10 M&K Holdings Inc. Vaizdo kodavimo įrenginys
KR20210054036A (ko) * 2010-06-10 2021-05-12 인터디지털 브이씨 홀딩스 인코포레이티드 복수의 이웃 양자화 파라미터들로부터 양자화 파라미터 예측 변수들을 결정하기 위한 방법들 및 장치
KR101224141B1 (ko) 2010-08-23 2013-01-18 코리아이앤씨 주식회사 섬유보강 콘크리트 보
JP2014078891A (ja) * 2012-10-11 2014-05-01 Canon Inc 画像処理装置、画像処理方法
AU2013200051B2 (en) * 2013-01-04 2016-02-11 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking video data
CN111988606B (zh) 2014-09-15 2022-09-20 寰发股份有限公司 去区块滤波方法、相应地编码装置和存储介质
EP3349455A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and device for coding a block of video data, method and device for decoding a block of video data
CN116684601A (zh) * 2017-03-31 2023-09-01 松下电器（美国）知识产权公司 图像编码装置、图像解码装置及存储介质
CA3142170C (en) 2017-05-31 2023-07-04 Lg Electronics Inc. Method and device for performing image decoding on basis of intra prediction in image coding system
CN116582682A (zh) * 2017-08-22 2023-08-11 松下电器（美国）知识产权公司 图像编码器、图像解码器及非暂态计算机可读介质
JP2022552338A (ja) * 2019-10-14 2022-12-15 バイトダンス インコーポレイテッド クロマ残差の共同コーディング及びビデオ処理におけるフィルタリング
US11765370B2 (en) * 2021-07-27 2023-09-19 Mediatek Inc. Video residual decoding apparatus using neighbor storage device with smaller storage size to store neighbor data for context selection and associated method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120118507A (ko) * 2010-02-19 2012-10-26 퀄컴 인코포레이티드 비디오 코딩에서 블록 타입 시그널링
KR20170013274A (ko) * 2014-06-04 2017-02-06 퀄컴 인코포레이티드 블록 적응적 컬러-공간 변환 코딩
KR20180085526A (ko) * 2017-01-19 2018-07-27 가온미디어 주식회사 효율적 변환을 처리하는 영상 복호화 및 부호화 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JANG, HYEONGMUN ET AL.: "CE11-related: subblock boundary filter at 8x8 grid", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11. JVET-M0339. 13TH MEETING, 18 January 2019 (2019-01-18), Marrakech, MA, pages 1 - 2, XP030198121, Retrieved from the Internet <URL:http://phenix.int-evry.fr/jvet> [retrieved on 20200529] *
ZHAO, YIN ET AL.: "CE6: Sub-block transform for inter blocks (CE6.4.1", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11. JVET-M0140-V3. 13TH MEETING, 18 January 2019 (2019-01-18), Marrakech, MA, pages 1 - 18, XP030200202, Retrieved from the Internet <URL:http://phenix.int-evry.fr/jvet> [retrieved on 20200529] *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022206995A1 (en) * 2021-04-02 2022-10-06 Beijing Bytedance Network Technology Co., Ltd. Constraints on partitioning of video blocks

Also Published As

Publication number Publication date
CN113574877A (zh) 2021-10-29
CN118764636A (zh) 2024-10-11
CN118764634A (zh) 2024-10-11
US11973966B2 (en) 2024-04-30
CN118764635A (zh) 2024-10-11
US20220191531A1 (en) 2022-06-16
CN113574877B (zh) 2024-06-28
CN118764632A (zh) 2024-10-11
CN118764633A (zh) 2024-10-11
US20240244247A1 (en) 2024-07-18
KR20200110220A (ko) 2020-09-23

Similar Documents

Publication Publication Date Title
WO2020185009A1 (ko) 잔차블록을 효율적으로 코딩하는 방법 및 장치
WO2020185004A1 (ko) 예측 유닛을 서브 유닛들로 분할하여 예측하는 인트라 예측 방법 및 장치
WO2013069932A1 (ko) 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
WO2011019234A2 (en) Method and apparatus for encoding and decoding image by using large transformation unit
WO2012018197A2 (ko) 인트라 예측 복호화 장치
WO2021025478A1 (ko) 동영상 데이터의 인트라 예측 코딩을 위한 방법 및 장치
WO2020231228A1 (ko) 영상 복호화 장치에서 이용하는 역양자화장치 및 방법
WO2022114742A1 (ko) 비디오 부호화 및 복호화를 위한 장치 및 방법
WO2019135630A1 (ko) 변환 계수의 부호 데이터 은닉
WO2020185027A1 (ko) 데이터 블록에 변환 생략 모드를 효율적으로 적용하기 위한 방법 및 장치
WO2020184999A1 (ko) 영상 부호화 및 복호화 방법 및 장치
WO2023038447A1 (ko) 비디오 부호화/복호화 방법 및 장치
WO2022030980A1 (ko) 비디오 데이터의 패치북 기반 부호화 및 복호화를 위한 방법 및 장치
WO2022177380A1 (ko) 인터 예측 기반의 비디오 부호화 및 복호화
WO2021145691A1 (ko) 적응적 색상 변환을 이용하는 비디오 부호화 및 복호화
WO2020231219A1 (ko) 영상 부호화 및 복호화 방법 및 장치
WO2020009460A1 (ko) 잔차신호 재배열 방법 및 영상 복호화 장치
WO2020185058A1 (ko) 차등 부호화를 이용하는 영상 복호화 장치
WO2020101392A1 (ko) 인터 예측 방법 및 이를 이용한 영상 복호화 장치
WO2020076049A1 (ko) 양자화된 변환 계수들의 부호화 및 복호화를 위한 방법 및 장치
WO2020190077A1 (ko) 예측모드 추정에 기반하는 인트라 예측장치 및 방법
WO2019083243A1 (ko) Sao 필터링을 위한 방법 및 장치
WO2019078693A1 (ko) 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2021112544A1 (ko) 차분 변조를 이용하는 비디오 부호화 및 복호화
WO2024112126A1 (ko) 코딩트리유닛의 분할구조를 예측하고 수정하는 비디오 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20769884

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2021127506

Country of ref document: RU

122 Ep: pct application non-entry in european phase

Ref document number: 20769884

Country of ref document: EP

Kind code of ref document: A1