WO2019135628A1 - 영상을 부호화 또는 복호화하는 방법 및 장치 - Google Patents

영상을 부호화 또는 복호화하는 방법 및 장치 Download PDF

Info

Publication number
WO2019135628A1
WO2019135628A1 PCT/KR2019/000136 KR2019000136W WO2019135628A1 WO 2019135628 A1 WO2019135628 A1 WO 2019135628A1 KR 2019000136 W KR2019000136 W KR 2019000136W WO 2019135628 A1 WO2019135628 A1 WO 2019135628A1
Authority
WO
WIPO (PCT)
Prior art keywords
coding unit
cbf
decoding
block
conversion
Prior art date
Application number
PCT/KR2019/000136
Other languages
English (en)
French (fr)
Inventor
이선영
임정연
나태영
이경택
신재섭
손세훈
김효성
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180066664A external-priority patent/KR102524628B1/ko
Priority to CN202210852847.7A priority Critical patent/CN115037930A/zh
Priority to CN201980017079.XA priority patent/CN111869219B/zh
Priority to US16/960,114 priority patent/US11368722B2/en
Priority to CN202210845520.7A priority patent/CN115022631A/zh
Priority to CN202210852844.3A priority patent/CN115002460A/zh
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to CN202210845362.5A priority patent/CN115002459A/zh
Publication of WO2019135628A1 publication Critical patent/WO2019135628A1/ko
Priority to US17/830,477 priority patent/US12096037B2/en
Priority to US17/830,508 priority patent/US11812061B2/en
Priority to US17/830,455 priority patent/US20220295110A1/en
Priority to US17/830,437 priority patent/US11924473B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • the present invention relates to encoding and decoding an image, and in one aspect relates to coding or decoding syntaxes for a coding unit, which is a basic unit of coding.
  • video data Since video data has a larger amount of data than voice data or still image data, it requires a lot of hardware resources including memory to store or transmit the video data itself without processing for compression. Accordingly, when moving picture data is stored or transmitted, the moving picture data is compressed and stored or transmitted using an encoder.
  • the decoder receives compressed moving picture data, decompresses and reproduces the moving picture data.
  • HEVC High Efficiency Video Coding
  • 1 is a diagram for explaining block partitioning in an HEVC.
  • one picture is divided into a plurality of coding tree units (CTUs) each having a square shape, and each CTU is repeatedly arranged in a plurality of coding units (CUs) in a square shape by a quad tree structure is recursively divided.
  • CTUs coding tree units
  • CUs coding units
  • quad tree structure a quad tree structure
  • PU prediction units
  • the division from the CU to the PU is performed by selecting any one of the plurality of division types having a high coding efficiency.
  • the encoding apparatus encodes the prediction syntaxes for each PU so that the decoding apparatus can predict each PU in the same way as itself.
  • the CU is divided into one or more transform units (TU) by a quad tree structure, and the residual signals, which are the differences between the actual pixels and the prediction pixels, are transformed using the size of the TU.
  • the syntax for conversion is encoded in TU units and transmitted to the decoding device.
  • the HEVC has a complicated block partitioning structure such as a division from CTU to CU, division from CU to PU, and division from CU to TU. Accordingly, the CU, PU, and TU may be blocks of different sizes.
  • the related syntaxes must be encoded separately for each PU and TU in the CU, CU.
  • the HEVC first encodes the syntax for the CU. Then, the CU calls each PU to encode the syntaxes for each PU, and also calls each TU in the CU to encode the syntaxes for each TU.
  • one aspect of the present invention proposes a new structure for encoding or decoding the syntax for a coding unit.
  • a method for decoding a video signal comprising: determining a coding unit to be decoded by block partitioning; Decoding the prediction syntax for the coding unit by including a skip flag indicating whether the coding unit is coded in a skip mode; Quantizing skip flag and coding unit cbf after decoding the prediction syntaxes, wherein the transform / quantization skip flag comprises an inverse transform, inverse quantization, and at least some of the inverse transform coefficients for the coding unit
  • the coding unit cbf indicates whether to skip loop filtering (in-loop filtering), and whether the coefficients in the luma block and the chroma blocks constituting the coding unit are both 0 Lt; / RTI > And restoring the coding unit using the prediction syntaxes and the conversion syntaxes.
  • FIG. 1 is a diagram illustrating block partitioning in an HEVC
  • FIG. 2 is an exemplary block diagram of an image encoding apparatus capable of implementing the techniques of the present disclosure
  • FIG. 4 is an exemplary diagram of a plurality of intra prediction modes
  • FIG. 5 is an exemplary view of a neighboring block of a current CU
  • Figure 6 is an exemplary block diagram of an image decoding apparatus capable of implementing the techniques of the present disclosure
  • FIG. 7 is an exemplary diagram illustrating a sequence for decoding CU syntaxes according to the present disclosure
  • FIG. 9 is an exemplary diagram illustrating a process of decoding conversion syntaxes by luminance and chrominance components
  • FIG. 10 is an exemplary diagram showing a method of decoding cbf for three components constituting the CU.
  • FIG. 2 is an exemplary block diagram of an image encoding apparatus capable of implementing the techniques of this disclosure
  • the image encoding apparatus includes a block division unit 210, a prediction unit 220, a subtractor 230, a transform unit 240, a quantization unit 245, an encoding unit 250, an inverse quantization unit 260, 265, an adder 270, an in-loop filter 280, and a memory 290.
  • the image encoding apparatus may be implemented such that each component is implemented as a hardware chip or software, and one or more microprocessors execute the function of the software corresponding to each component.
  • One video is composed of a plurality of pictures. Each picture is divided into a plurality of areas and coding is performed for each area. For example, one picture is divided into one or more slices or / and tiles, and each slice or tile is divided into one or more CTU (Coding Tree Unit). Each CTU is divided into one or more CUs (Coding Units) by a tree structure. The information applied to each CU is encoded as a syntax of the CU, and the information commonly applied to the CUs included in one CTU is encoded as the syntax of the CTU.
  • information that is commonly applied to all blocks in one slice is encoded as a syntax of a slice, and information applied to all blocks constituting one picture is encoded into a picture parameter set (PPS) .
  • PPS picture parameter set
  • information that is commonly referred to by a plurality of pictures is encoded into a sequence parameter set (SPS).
  • SPS sequence parameter set
  • VPS Video Parameter Set
  • the block dividing unit 210 determines the size of the Coding Tree Unit (CTU).
  • the information on the size of the CTU (CTU size) is encoded as the syntax of the SPS or PPS and transmitted to the image decoding apparatus.
  • the block dividing unit 210 divides each picture constituting an image into a plurality of CTUs (Coding Tree Units) having a determined size, and thereafter recursively recursively uses the CTU tree structure. .
  • a leaf node in a tree structure becomes a coding unit (CU) which is a basic unit of coding.
  • CU coding unit
  • a quad tree in which an upper node (or a parent node) is divided into four sub nodes (or child nodes) of the same size, or a binary tree in which an upper node is divided into two lower nodes , BT), or a ternary tree (TT) in which an ancestor node is divided into three subnodes at a ratio of 1: 2: 1, or a structure combining one or more of these QT structures, BT structures and TT structures have.
  • a QuadTree plus BinaryTree (QTBT) structure can be used, or a QuadTree plus BinaryTreeTernaryTree (QTBTTT) structure can be used.
  • FIG. 3 is an exemplary diagram of block partitioning using a QTBT structure.
  • FIG. 3A is an example in which a block is divided by a QTBT structure
  • FIG. 3B is a tree structure.
  • the solid line represents the division by the QT structure
  • the dotted line represents the division by the BT structure.
  • the absence of parentheses indicates a layer of QT
  • the presence of parentheses indicates a layer of BT.
  • the numbers represent the division type information.
  • the CTU can be first divided into the QT structure.
  • the quadtree partitioning can be repeated until the size of the splitting block reaches the minimum block size (MinQTSize) of the leaf node allowed in QT.
  • the first flag (QT_split_flag) indicating whether each node of the QT structure is divided into four nodes of the lower layer is encoded by the encoding unit 250 and signaled to the video decoding apparatus.
  • the leaf node of the QT is not larger than the maximum block size (MaxBTSize) of the root node allowed in BT, it can be further partitioned into a BT structure.
  • BT there may be a plurality of split types. For example, in some examples, there may be two types: a symmetric horizontal splitting and a vertically splitting type (i.e., symmetric vertical splitting) that divides a block of the node into two blocks of equal size horizontally.
  • the second flag (BT_split_flag) indicating whether each node of the BT structure is divided into blocks of the lower layer and the division type information indicating the type to be divided are encoded by the encoding unit 250 and transmitted to the image decoding apparatus.
  • the block of the node may be divided into two rectangular blocks having a size ratio of 1: 3, or the block of the corresponding node may be divided into diagonal directions.
  • the leaf nodes of the QT may be divided into one or more of the BT structure or the TT structure.
  • the TT structure may also have a plurality of split types. For example, when divided, there are two types: a symmetric horizontal splitting (i.e., symmetric vertical splitting) in which a block of the node is horizontally divided into three blocks at a 1: 2: 1 ratio Can exist.
  • a flag indicating whether each node is divided into blocks of a lower layer and whether the BT structure or the TT structure is used in addition to the division type information (or dividing direction information) indicating the divided type Additional information for discrimination can be signaled to the video decoding apparatus.
  • the CU may have various sizes depending on the QTBT or QTBTTT segment from the CTU.
  • the CU is not further subdivided for prediction or conversion. That is, CU, PU, and TU are blocks of the same size existing at the same position.
  • the prediction unit 220 generates a prediction block by predicting the CU.
  • the predicting unit 220 predicts a luma component and a chrominance component (chroma) constituting the CU, respectively.
  • intra-picture CUs can be predictively coded. Prediction of the CU can be generally performed using intra prediction techniques (using data from pictures including CUs) or inter prediction techniques (using data from pictures coded prior to pictures containing CUs) have.
  • the prediction unit 220 includes an intra prediction unit 222 and an inter prediction unit 224.
  • the intra predictor 222 predicts pixels in the CU using pixels (reference pixels) located in the periphery of the CU in the current picture including the CU.
  • pixels reference pixels located in the periphery of the CU in the current picture including the CU.
  • a plurality of intra prediction modes may include a non-directional mode including a planar mode and a DC mode, and 65 directional modes.
  • the neighboring pixels to be used and the calculation expression are defined differently according to each prediction mode.
  • the intra prediction unit 222 can determine an intra prediction mode to be used for coding the CU.
  • the intra-prediction unit 222 may encode the CU using several intra-prediction modes and select an appropriate intra-prediction mode to use from the tested modes.
  • the intra-prediction unit 222 may calculate rate-distortion values using a rate-distortion analysis for various tested intra-prediction modes, and may employ rate- The intra prediction mode may be selected.
  • the intra-prediction unit 222 selects one intra-prediction mode from among a plurality of intra-prediction modes, and predicts the CU using peripheral pixels (reference pixels) determined by the selected intra-prediction mode and an arithmetic expression.
  • the syntaxes for indicating the selected intra prediction mode are encoded by the encoding unit 250 and transmitted to the image decoding apparatus.
  • the intra prediction mode selected to predict the luminance component in the CU can be used to predict the chrominance component.
  • the intra prediction mode selected for the luminance component and the plurality of intra prediction modes for the chrominance component may be configured as candidates, and one of the candidates may be used as the intra prediction mode for the chrominance component.
  • the syntax for the intra-prediction mode corresponding to the chrominance component is separately signaled.
  • the inter-prediction unit 224 generates a prediction block for the CU through the motion compensation process.
  • a block closest to the CU is searched in the reference picture coded and decoded earlier than the current picture, and a prediction block for the CU is generated using the searched block.
  • a motion vector corresponding to the displacement between the CU in the current picture and the prediction block in the reference picture is generated.
  • motion estimation is performed on the luma component, and the motion vector calculated based on the luminance component is used for both the luminance component and the chroma component.
  • the motion information including the information on the reference picture used for predicting the CU and the information on the motion vector is encoded by the encoding unit 250 and transmitted to the video decoding apparatus.
  • the information on the reference picture refers to a reference picture index for identifying a reference picture used for inter prediction of a CU among a plurality of reference pictures
  • information on a motion vector is a difference between an actual motion vector of the CU and a prediction motion vector A difference motion vector which is a difference.
  • the motion information of the current block can be transmitted to the decoding apparatus by encoding information capable of identifying the neighboring block. This method is referred to as a 'merge mode'.
  • the inter prediction unit 224 selects a predetermined number of merge candidate blocks (hereinafter, merge candidates) from the neighboring blocks of the current block. 5, the left block L, the upper block A, the upper right block AR, and the lower left block BL adjacent to the current block in the current picture are used as the neighboring blocks for deriving the merge candidate ), And upper left block AL may be used in whole or in part.
  • a block located in a reference picture (which may be the same as or different from a reference picture used for predicting the current block) rather than the current picture in which the current block is located may be used as the merge candidate.
  • a co-located block co-located with the current block in the reference picture or blocks adjacent to the same co-located block may be further used as merge candidates.
  • the inter-prediction unit 224 constructs a merge list including a predetermined number of merge candidates using these neighboring blocks. Selects merge candidates to be used as the motion information of the current block among merge candidates included in the merge list, and generates merge indexes ( merge_index ) for identifying the selected candidates.
  • merge_index merge indexes
  • the subtracter 230 subtracts the prediction pixels in the prediction block generated by the intra prediction unit 222 or the inter prediction unit 224 from the actual pixels in the CU to generate a residual block.
  • the transform unit 240 transforms the residual signal in the residual block having pixel values in the spatial domain into transform coefficients in the frequency domain.
  • the transforming unit 240 transforms the residual signals in the residual block using the CU-size transform unit.
  • the quantization unit 245 quantizes the transform coefficients output from the transform unit 240 and outputs the quantized transform coefficients to the encoding unit 250.
  • At least one of conversion and quantization may be selectively skipped. For example, only one of the transform and the quantization may be skipped, and both the transform and the quantization may be skipped.
  • the encoding unit 250 encodes information such as a CTU size, a QT division flag, a BT division flag, and a division type associated with the block division so that the image decoding apparatus can divide the block into the same blocks as the image encoding apparatus.
  • the encoding unit 250 encodes the information necessary for the CU to reconstruct the CU, and transmits the encoded information to the image decoding apparatus.
  • the encoding unit 250 first encodes the prediction syntaxes required to predict the CU.
  • the prediction syntaxes encoded by the encoding unit 250 include a skip flag ( skip_flag ) indicating whether the CU is coded in the skip mode.
  • skip_flag a skip flag
  • the skip mode is a special case of the merge mode, which differs from the merge mode in that no information about the CU is encoded after the merge index ( merge_idx ) has been encoded. Therefore, in the skip mode, the conversion syntaxes are not coded and all the coefficients in the CU are set to zero.
  • the video decoding apparatus When the CU is coded in the skip mode, the video decoding apparatus generates a prediction block by using the motion vector of the merge candidate indicated by the merge index and the reference picture as the motion vector of the current CU and the reference picture. Since the residual signal is set to all zeros, the prediction block is restored as a CU.
  • deblocking filtering or SAO filtering for a CU in a skip mode can be determined by syntaxes that are signaled at a higher level than the CU (e.g., CTU, slice, PPS, etc.).
  • slice_sao_flag a syntax indicating whether SAO is applied in units of slices
  • the CUs in a skip mode in the slice are determined to be SAO-applied according to a syntax ( slice_sao_flag ).
  • slice_sao_flag a syntax indicating whether SAO is applied in units of slices
  • the CUs in a skip mode in the slice are determined to be SAO-applied according to a syntax ( slice_sao_flag ).
  • at least some in-loop filtering may be skipped if the CU is in skip mode.
  • the transquant_skip_flag which will be described later, 1, the transform for the CU, the quantization and at least some in-loop filtering may all be skipped.
  • the prediction syntaxes include information ( pred_mode_flag ) about the prediction type indicating whether the CU is coded by intra prediction or inter prediction, (I.e., information on an intra prediction mode) or inter prediction information (information on a reference picture and a motion vector).
  • the inter prediction information includes a merge flag ( merge_flag ) indicating whether a reference picture and a motion vector of the CU are coded in a merge mode, a merge index ( merge_idx ) when the merge flag is 1, Picture information and differential motion vector information.
  • merge_flag merge flag
  • merge_idx merge index
  • prediction motion vector information may be additionally included.
  • the encoding unit 250 encodes the conversion syntaxes required to convert the CU.
  • the transformation syntaxes include information relating to selective skipping of transformations and quantization and information on coefficients in the CU.
  • the conversion syntax includes information indicating the kind of conversion used in the corresponding CU. At this time, the kinds of transformations applied to the horizontal axis direction and the vertical axis direction can be included, respectively.
  • Information relating to selective skipping of the transform and quantization includes a transform / quantization skip flag ( transquant_skip_flag ) indicating whether to skip the transform, the quantization and at least some in-loop filtering for the CU, the luminance and chrominance components constituting the CU And a conversion skip flag ( transform_skip_flag ) indicating whether or not to skip the conversion.
  • the conversion skip flag ( transform_skip_flag ) is encoded separately for each component constituting the CU. However, the present invention is not limited to this, and it may be encoded once for one CU. In this case, if the conversion skip flag ( transform_skip_flag ) is 1, the conversion for the CU, that is, the conversion for both the luminance and chrominance components constituting the CU, is skipped.
  • the information related to the selective skipping of the transform and the quantization may be represented by one syntax ( transquant_idx ).
  • the syntax value may have four values.
  • This syntax can be binarized using a fixed length (FL) binarization method so that the four values are the same bit. For example, it can be binarized as shown in Table 1.
  • this syntax may be binarized using a truncated unary (TU) binarization method such that smaller bits are assigned to higher probability values.
  • TU truncated unary
  • the syntax may be binarized as shown in Table 2, considering that the probability of performing the transform and quantization is usually highest, and the probability of skipping the transform and then performing the quantization only is high.
  • the information on the coefficients in the CU includes cbf (coded block flags) indicating whether there is a non-zero coefficient in the luma component and the chroma component of the CU, Are included.
  • the 'coefficient' may be a quantized transform coefficient (if both transformations and quantization are performed) or a quantized residual signal whose transform is skipped (if the transform is skipped) or a residual signal itself (If both transformation and quantization are skipped).
  • the structure or order in which the encoding unit 250 encodes the prediction and conversion syntax for the CU is the same as the structure or order in which the decoder 610 of the video decoding apparatus described later decodes the encoded prediction and conversion syntaxes . Since the structure or order in which the encoding unit 250 encodes the syntaxes may be obviously understood from the structure or order in which the decoder 610 of the video decoding apparatus to be described later decodes the syntaxes, , The details of the syntax encoding scheme or procedure by the encoding unit 250 will be omitted.
  • the inverse quantization unit 260 dequantizes the quantized transform coefficients output from the quantization unit 245 to generate transform coefficients.
  • the inverse transform unit 265 transforms the transform coefficients output from the inverse quantization unit 260 from the frequency domain to the spatial domain and restores the residual block.
  • the adder 270 adds the reconstructed residual block to the prediction block generated by the prediction unit 220 to reconstruct the CU.
  • the pixels in the restored CU are used as reference pixels when intra prediction of the next block is performed.
  • the in-loop filter 280 may include a deblocking filter 282 and an SAO filter 284.
  • the deblocking filter 282 filters boundaries between reconstructed blocks to remove blocking artifacts caused by block-based encoding / decoding, and the SAO filter 284 adds an additional Perform filtering.
  • the SAO filter 284 is a filter used to compensate for the difference between the reconstructed pixel and the original pixel due to lossy coding.
  • the deblocking filter and SAO are the filtering methods defined in the HEVC standard technology, and thus will not be described in further detail.
  • the restored blocks filtered through the deblocking filter 282 and the SAO filter 284 are stored in the memory 290.
  • the reconstructed picture is used as a reference picture for inter prediction of a block in a picture to be coded later.
  • FIG. 6 is an exemplary block diagram of an image decoding apparatus capable of implementing the techniques of the present disclosure
  • the image decoding apparatus includes a decoder 610 and a reconstructor 600.
  • the reconstructor 600 includes a dequantizer 620, an inverse transformer 630, a predictor 640, A filter 660 and a memory 670. 2, each component may be implemented as a hardware chip, or may be implemented as software, and a microprocessor may be implemented to execute functions of software corresponding to each component.
  • the decoder 610 decodes the bit stream received from the image encoding apparatus and decodes the information related to the block division to determine a decoding target CU.
  • the decoder 610 extracts information on a CTU size from an SPS (Sequence Parameter Set) or a PPS (Picture Parameter Set) to determine a size of the CTU, and divides the picture into CTUs of a predetermined size. Then, the CTU is determined as the top layer of the tree structure, that is, the root node, and the CTU is divided using the tree structure by extracting the partition information for the CTU.
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • the first flag (QT_split_flag) related to the division of the QT is first extracted and each node is divided into four nodes of the lower layer.
  • the second flag (BT_split_flag) and the split type (split direction) information related to the BT split are extracted and the corresponding leaf node is divided into the BT structure.
  • the first flag (QT_split_flag) related to the division of the QT is extracted and each node is divided into four nodes of the lower layer.
  • split_flag split_flag
  • split type or dividing direction
  • the decoder 610 decodes the prediction syntaxes and conversion syntaxes necessary for restoring the CU from the bitstream, and decodes the conversion syntaxes after decoding the prediction syntaxes first.
  • the structure in which the decoder 610 decodes the prediction syntaxes and the conversion syntaxes will be described later with reference to FIG.
  • the inverse quantization unit 620 dequantizes the coefficients calculated from the transform syntaxes and the inverse transform unit 630 generates the residual block for the CU by inversely transforming the dequantized coefficients from the frequency domain to the spatial domain to recover the residual signals .
  • one or more of the inverse quantization or inverse transformation may be skipped depending on the information included in the conversion syntaxes decoded by the decoder and information related to the selective skipping of the quantization.
  • the prediction unit 640 generates a prediction block for the CU using the prediction syntaxes.
  • the prediction unit 640 includes an intra prediction unit 642 and an inter prediction unit 644.
  • the intra prediction unit 642 is activated when the prediction type of the CU is intra prediction
  • the inter prediction unit 644 is activated when the prediction type of the CU is inter prediction.
  • the intra prediction unit 642 determines an intra prediction mode of the CUs from the intra prediction modes extracted from the information about the intra prediction mode extracted from the decoder 610 and uses the reference pixels around the CU according to the intra prediction mode CU is predicted.
  • the inter-prediction unit 644 uses the inter-prediction information extracted from the decoder 610 to determine a motion vector of a CU and a reference picture referred to by the motion vector, and predicts a CU using a motion vector and a reference picture . For example, if the merge flag ( merge_flag ) is 1, a merge index ( merge_idx ) is extracted, and a merged list is constructed in the same manner as the image encoding apparatus. The motion vector and the reference picture are selected as the current CU motion vector and the reference picture. On the other hand, if the merge flag ( merge_flag ) is 0, the reference picture information and the difference motion vector information are extracted to determine the motion vector of the current CU and the reference picture. At this time, the predictive motion vector information may be additionally extracted.
  • the adder 650 adds the residual block output from the inverse transform unit and the prediction block output from the inter prediction unit or intra prediction unit to reconstruct the CU.
  • the pixels in the restored CU are utilized as reference pixels for intra prediction of a block to be decoded later.
  • Each CU is sequentially restored, thereby restoring a picture composed of CTUs and CTUs constituted by CUs.
  • In-loop filter 660 includes deblocking filter 662 and SAO filter 664.
  • the deblocking filter 662 deblocks the boundary between the restored blocks to remove blocking artifacts caused by decoding on a block-by-block basis.
  • the SAO filter 664 performs additional filtering on the reconstructed block after deblocking filtering to compensate for the difference between the reconstructed pixel and the original pixel resulting from lossy coding.
  • the restored block filtered through the deblocking filter 662 and the SAO filter 664 is stored in the memory 670. When all the blocks in one picture are reconstructed, the reconstructed picture is used as a reference picture for inter prediction of a block in a picture to be coded later.
  • the video decoding apparatus first decodes the prediction syntax of the coding unit including the skip flag ( skip_flag ). After decoding all the prediction syntaxes, the image decoding apparatus decodes the conversion syntaxes including the conversion / quantization skip flag ( transquant_skip_flag ) and the coding unit cbf ( cbf_cu ).
  • the coding unit cbf ( cbf_cu ) is a syntax indicating whether all coefficients in one luma block and two chroma blocks constituting a coding unit are zero.
  • the conversion syntaxes are decoded when the skip flag ( skip_flag ) is 0, that is, when the current CU is not the skip mode.
  • FIG. 7 is an exemplary diagram showing a procedure for decoding CU syntaxes according to the present disclosure.
  • the video decoding apparatus first decodes the skip flag ( skip_flag ) among the prediction syntaxes (S702). If the skip flag ( skip_flag ) is 1, as described above, no syntaxes for the coding unit other than the merge index ( merge_idx ) are coded in the bitstream. Therefore, if the skip flag skip_flag is 1 (S704), the video decoding apparatus decodes the merge index merge_idx from the bit stream (S706), and terminates the syntax decoding for the corresponding CU. If the CU is in skip mode, deblocking filtering or SAO filtering for the CU may be applied by syntaxes signaled at a higher level than the CU (e.g., CTU, slice, PPS, etc.). Alternatively, in-loop filtering may be skipped for a CU that is a skip mode. For example, if transquant_skip_flag 1 and thus at least some in-loop filtering may be skipped.
  • the image decoding apparatus decodes the merge flag merge_flag (S714). If the merge flag ( merge_flag ) indicates the merge mode (S716), for example, if the merge flag ( merge_flag ) is 1, the merge index merge_idx is decoded (S718). If the merge flag ( merge_flag ) is not the merge mode (S716), for example, if the merge flag ( merge_flag ) is 0, the predictive syntaxes for normal inter prediction, that is, the reference picture information and the difference motion vector are decoded S720). At this time, the predictive motion vector information may be additionally decoded. After decoding all the prediction syntaxes of the current CU in this manner, the image decoding apparatus decodes the conversion syntax of the current CU.
  • the image decoding apparatus performs a process of decoding a luma block constituting a coding unit and a coding unit cbf ( cbf_cu ) indicating whether all coefficients in two chrominance blocks are 0 do.
  • the coding unit cbf ( cbf_cu ) may be automatically set to 1 (S736) without being decoded from the bitstream if the prediction type of the current CU is intra prediction. If the prediction type of the current CU is the skip mode, it is automatically set to 0. If the prediction mode of the current CU is the merge mode, it may be automatically set to 1 (S732). If the prediction type of the current CU is inter prediction and not merge mode, the decoding is performed from the bitstream (S734).
  • the image decoding apparatus After performing the coding unit cbf ( cbf_cu ) decoding process, the image decoding apparatus decodes the conversion / quantization skip flag ( transquant_skip_flag ) depending on the value of the coding unit cbf ( cbf_cu ). For example, if the coding unit cbf ( cbf_cu ) is 0 (S738), it means that there is no non-zero luminance component and chrominance components in the CU. Therefore, the decoding of the syntax for the CU is terminated without further decoding of the conversion syntaxes do.
  • the conversion / quantization skip flag ( transquant_skip_flag ) is decoded (S740) , And then decodes the transform syntaxes for each of the luminance and chrominance components in the CU (S742).
  • decoding order between the coding unit cbf ( cbf_cu ) and the conversion / quantization skip flag ( transquant_skip_flag ) may be changed.
  • 8 is another exemplary diagram illustrating the order of decoding CU syntaxes according to the present disclosure.
  • steps S802 to S820 for decoding the prediction syntax in FIG. 8 are the same as S702 to S720 for decoding the prediction syntax in FIG. 7, and thus only the process of decoding the CU conversion syntax will be described below.
  • the image decoding apparatus decodes the conversion syntax / quantization skip flag ( transquant_skip_flag ) from the bitstream after decoding the prediction syntaxes (S832).
  • the image decoding apparatus decodes the conversion syntaxes for each of the luminance and chrominance components in the CU (S842).
  • the conversion / quantization skip flag is a syntax indicating whether to skip conversion, quantization and at least some in-loop filtering for the CU.
  • 'at least some in-loop filtering' may include both deblocking filtering and SAO. Alternatively, it may mean in-loop filtering except deblocking filtering.
  • the conversion / quantization skip flag means skipping all of in-loop filtering excluding conversion for CU, quantization and deblocking filtering
  • the video decoding apparatus decodes the conversion / quantization skip flag ( transquant_skip_flag ).
  • the conversion / quantization skip flag ( transquant_skip_flag ) is 1, the conversion to CU, quantization and SAO are skipped. If the conversion / quantization skip flag ( transquant_skip_flag ) is 1, the image decoding apparatus can further decode a deblocking filter flag ( deblocking_filter_flag ) indicating whether to perform deblocking filtering for the CU. In this case, if the deblocking filter flag ( deblocking_filter_flag ) is 0, conversion, quantization, deblocking filtering and SAO are all skipped for the CU. On the other hand, if the deblocking filter flag ( deblocking_filter_flag ) is 1, conversion, quantization, and SAO are skipped and deblocking filtering is performed on the CU.
  • the pixels in the CU are composed of one luma component and two chrominance components (Cb, Cr).
  • a block made up of luminance components is called a luminance block
  • a block made up of chrominance components is called a chrominance block.
  • One CU consists of one luminance block and two color difference blocks.
  • the video decoding apparatus described in this disclosure performs a process of decoding conversion syntaxes for obtaining coefficients in the CU for each luminance and chrominance block constituting the CU. For example, this corresponds to step S742 of FIG. 7 or step S842 of FIG.
  • the component-by-component conversion syntax decoding process does not necessarily have to be performed in conjunction with FIG. 7 or 8, but can also be applied to other CU syntax structures other than FIG. 7 and FIG.
  • FIG. 9 is an exemplary diagram illustrating a process of decoding conversion syntaxes by luminance and chrominance components.
  • the first chroma cbf (for example, cbf_cb ) indicating whether or not at least one non-zero coefficient exists in the first color difference block constituting the CU (for example, a color difference block composed of Cb components)
  • a second chroma cbf (e.g., cbf_cr ) indicating whether there is at least one non-zero coefficient in a second chrominance block (e.g., a chrominance block composed of Cr components), and at least one A luma cbf ( cbf_luma ) indicating whether or not a non-zero coefficient exists is decoded from the bitstream (S902).
  • the order of decoding between the cbfs of the three components is not limited, but may be decoded in the order cbf_cb, cbf_cr, cbf_luma , for example.
  • step S902 If all of the two cbf decoded in step S902 are all 0 (the coefficients in the block corresponding to each cbf are all 0), the last cbf may not be decoded.
  • cbf_cb, cbf_cr, cbf_luma And is decoded when the coding unit cbf ( cbf_cu ) is 1. Therefore, if the cbf of the two components decoded first is 0, the cbf of the other component is necessarily 1.
  • the image decoding apparatus decodes the conversion skip flag ( transform_skip_flag ) indicating whether or not the conversion to the luminance block is performed.
  • the conversion skip flag transform_skip_flag
  • the image decoding apparatus decodes the coefficient values for the luminance component from the bitstream (S910).
  • step S902 decryption of cbf for the three components constituting the CU has been described.
  • a syntax of chroma cbf ( cbf_chroma ) indicating whether all the coefficients in the two color difference blocks constituting the CU are 0 is further defined.
  • FIG. 10 is an exemplary diagram showing a method of decoding cbf for three components constituting the CU.
  • the image decoding apparatus decodes chroma cbf ( cbf_chroma ) indicating whether all the coefficients in the two color difference blocks constituting the CU are 0 (S1002).
  • cbf_chroma When the chroma cbf ( cbf_chroma ) is 0 (S1004), cbf for two color difference blocks, that is, cbf_cb and cbf_cr are both set to 0 (S1006).
  • cbf for the three components is decoded when the coding unit cbf ( cbf_cu ) is 1. Therefore, if chroma cbf ( cbf_chroma ) is 0, cbf_luma is automatically set to 1 (S1006).
  • chroma cbf ( cbf_chroma ) 1 means that there is a non-zero coefficient in at least one of the two color difference blocks, if one of the two color difference blocks is 0, cbf for the other color difference block must be 1 do. Therefore, if the decoded cbf_cb is 0, cbf_cr is automatically set to 1 (S1010, S1014). On the other hand, if cbf_cb is 1, cbf_cr is decoded from the bitstream (S1012).
  • the decoding order between cbf_cb and cbf_cr may be reversed.
  • the image decoding apparatus decodes cbf_luma (S1016).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 복호화 방법에 관한 것으로, 블록 파티셔닝에 의해 복호화할 코딩단위(coding unit)를 결정하는 단계; 상기 코딩단위가 스킵 모드로 부호화되었는지 여부를 지시하는 스킵 플래그를 포함하여 상기 코딩단위에 대한 예측 신택스들을 복호화하는 단계; 상기 예측 신택스들을 복호화한 이후에, 변환/양자화 스킵 플래그 및 코딩단위 cbf를 포함하는 변환 신택스들을 복호화하는 단계, 상기 변환/양자화 스킵 플래그는 상기 코딩단위에 대해 역변환, 역양자화, 및 적어도 일부의 인루프 필터링(in-loop filtering)을 스킵하는지 여부를 지시하고, 상기 코딩단위 cbf는 상기 코딩단위를 구성하는 휘도블록(luma block)과 두 개의 색차블록들(chroma blocks) 내의 계수들이 모두 0인지 여부를 지시함; 및 상기 예측 신택스들 및 상기 변환 신택스들을 이용하여 상기 코딩단위를 복원하는 단계를 포함한다.

Description

영상을 부호화 또는 복호화하는 방법 및 장치
본 발명은 영상의 부호화 및 복호화에 관한 것으로, 한 측면으로서 부호화의 기본 단위인 코딩단위(coding unit)에 대한 신택스들을 부호화 또는 복호화하는 것과 관련된다.
동영상 데이터는 음성 데이터나 정지 영상 데이터 등에 비하여 데이터량이 많기 때문에, 압축을 위한 처리 없이 그 자체를 저장하거나 전송하기 위해서는 메모리를 포함하여 많은 하드웨어 자원을 필요로 한다. 따라서, 통상적으로 동영상 데이터를 저장하거나 전송할 때에는 부호화기를 사용하여 동영상 데이터를 압축하여 저장하거나 전송하며, 복호화기에서는 압축된 동영상 데이터를 수신하여 압축을 해제하고 재생한다. 이러한 동영상 압축 기술로는 H.264/AVC를 비롯하여, H.264/AVC 약 40% 정도의 부호화 효율을 향상시킨 2013년 초에 제정된 HEVC(High Efficiency Video Coding)가 존재한다.
도 1은 HEVC에서의 블록 파티셔닝을 설명하는 도면이다.
HEVC에서 하나의 픽처는 정사각형 모양의 복수의 코딩트리유닛(CTU, coding tree unit)로 분할되고, 각 CTU는 쿼드트리 구조에 의해 정사각형 모양의 복수의 코딩유닛(CU, coding unit)들로 반복적으로(recursively) 분할된다. 부호화의 기본 단위인 CU가 결정되면, 그 CU는 하나 이상의 예측단위(PU, prediction unit)으로 분할되고 각 PU마다 예측된다. CU로부터 PU로의 분할은 복수의 분할 타입 중 부호화 효율이 좋은 어느 하나의 타입을 선택함으로써 수행된다. 부호화 장치는 복호화 장치가 각 PU를 자신과 동일하게 예측할 수 있도록 각 PU마다 예측 신택스들은 부호화한다.
또한, CU는 쿼드트리 구조에 의해 하나 이상의 변환단위(TU, transform unit)로 분할되고, 실제 픽셀들과 예측픽셀들 간의 차이인 잔차신호들을 TU의 크기를 사용하여 변환한다. 변환을 위한 신택스들은 TU 단위로 부호화되어 복호화 장치로 전달된다.
이상에서 설명한 바와 같이, HEVC는 CTU로부터 CU로의 분할, CU로부터 PU로의 분할, 및 CU로부터 TU로의 분할 등 복잡한 블록 파티셔닝 구조를 갖는다. 이에 따라, CU, PU 및 TU는 크기가 서로 다른 블록들일 수 있다. 이러한 HEVC의 블록 파티셔닝 구조에서는 CU, CU 내의 각 PU들 및 TU들에 대해 별도로 관련 신택스들을 부호화해야 한다. HEVC에서는 먼저 CU에 대한 신택스들을 부호화한다. 그리고 CU에서 각 PU를 호출하여 각 PU에 대한 신택스들을 부호화하고, 또한 CU에서 각 TU를 호출하여 각 TU에 대한 신택스들을 부호화한다.
이러한 블록 파티셔닝 구조 및 신택스 구조의 복잡성을 해소하기 위해, CTU가 CU로 분할된 이후에, 각 CU를 PU 및 TU로 사용하는 블록 파티셔닝 기술이 새로이 논의되고 있다. 이 새로운 파티셔닝 구조에서는 CU가 결정되면 별도의 추가적인 분할 없이 CU의 크기로 예측 및 변환이 수행된다. 즉, CU, PU 및 TU가 동일한 블록이다. 새로운 피티셔닝 구조의 도입은 CU에 대한 신택스들을 부호화하기 위한 새로운 구조를 요구한다.
이러한 요구에 부응하기 위해, 본 발명의 일 측면은 코딩단위(coding unit)에 대한 신택스들을 부호화 또는 복호화하는 새로운 구조를 제안한다.
본 발명의 일 측면은, 블록 파티셔닝에 의해 복호화할 코딩단위(coding unit)를 결정하는 단계; 상기 코딩단위가 스킵 모드로 부호화되었는지 여부를 지시하는 스킵 플래그를 포함하여 상기 코딩단위에 대한 예측 신택스들을 복호화하는 단계; 상기 예측 신택스들을 복호화한 이후에, 변환/양자화 스킵 플래그 및 코딩단위 cbf를 포함하는 변환 신택스들을 복호화하는 단계, 상기 변환/양자화 스킵 플래그는 상기 코딩단위에 대해 역변환, 역양자화, 및 적어도 일부의 인루프 필터링(in-loop filtering)을 스킵하는지 여부를 지시하고, 상기 코딩단위 cbf는 상기 코딩단위를 구성하는 휘도블록(luma block)과 두 개의 색차블록들(chroma blocks) 내의 계수들이 모두 0인지 여부를 지시함; 및, 상기 예측 신택스들 및 상기 변환 신택스들을 이용하여 상기 코딩단위를 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
본 발명의 다른 측면은, 블록 파티셔닝에 의해 복호화할 코딩단위(coding unit)를 결정하고, 상기 코딩단위가 스킵 모드로 부호화되었는지 여부를 지시하는 스킵 플래그를 포함하여 상기 코딩단위에 대한 예측 신택스들을 복호화하며, 상기 예측 신택스들을 복호화한 이후에 변환/양자화 스킵 플래그 및 코딩단위 cbf를 포함하는 상기 코딩단위에 대한 변환 신택스들을 복호화하는 복호화부, 상기 변환/양자화 스킵 플래그는 상기 코딩단위에 대해 역변환, 역양자화, 및 적어도 일부의 인루프 필터링(in-loop filtering)을 스킵하는지 여부를 지시하고, 상기 코딩단위 cbf는 상기 코딩단위를 구성하는 휘도블록(luma block)과 두 개의 색차블록들(chroma blocks) 내의 계수들이 모두가 0인지 여부를 지시함; 및, 상기 예측 신택스들 및 상기 변환 신택스들을 이용하여 상기 코딩단위를 복원하는 복원부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
도 1은 HEVC에서의 블록 파티셔닝을 설명하는 도면,
도 2는 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도,
도 3은 QTBT 구조를 이용한 블록 분할의 예시도,
도 4는 복수의 인트라 예측 모드들에 대한 예시도,
도 5는 현재 CU의 주변블록에 대한 예시도,
도 6은 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도,
도 7은 본 개시에 따른 CU 신택스들을 복호화하는 순서를 나타내는 일 예시도,
도 8은 본 개시에 따른 CU 신택스들을 복호화하는 순서를 나타내는 다른 예시도,
도 9는 휘도 및 색차 성분별로 변환 신택스들을 복호화하는 과정을 나타내는 일 예시도,
도 10은 CU 구성하는 세 가지 성분에 대한 cbf를 복호화하는 방법을 나타내는 예시도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 2는 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다.
영상 부호화 장치는 블록 분할부(210), 예측부(220), 감산기(230), 변환부(240), 양자화부(245), 부호화부(250), 역양자화부(260), 역변환부(265), 가산기(270), 인루프 필터(in-loop filter, 280) 및 메모리(290)를 포함한다. 영상 부호화 장치는 각 구성요소가 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 하나 이상의 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
하나의 영상(비디오)는 복수의 픽처들로 구성된다. 각 픽처들은 복수의 영역으로 분할되고 각 영역마다 부호화가 수행된다. 예를 들어, 하나의 픽처는 하나 이상의 슬라이스(slice) 또는/및 타일(Tile)로 분할되고, 각 슬라이스 또는 타일은 하나 이상의 CTU(Coding Tree Unit)로 분할된다. 그리고 각 CTU는 트리 구조에 의해 하나 이상의 CU(Coding Unit)들로 분할된다. 각 CU에 적용되는 정보들은 CU의 신택스로서 부호화되고, 하나의 CTU에 포함된 CU들에 공통적으로 적용되는 정보는 CTU의 신택스로서 부호화된다. 또한, 하나의 슬라이스 내의 모든 블록들에 공통적으로 적용되는 정보는 슬라이스의 신택스로서 부호화되며, 하나의 픽처들을 구성하는 모든 블록들에 적용되는 정보는 픽처 파라미터 셋(PPS, Picture Parameter Set)에 부호화된다. 나아가, 복수의 픽처가 공통으로 참조하는 정보들은 시퀀스 파라미터 셋(SPS, Sequence Parameter Set)에 부호화된다. 그리고 하나 이상의 SPS가 공통으로 참조하는 정보들은 비디오 파라미터 셋(VPS, Video Parameter Set)에 부호화된다.
블록 분할부(210)는 CTU(Coding Tree Unit)의 크기를 결정한다. CTU의 크기에 대한 정보(CTU size)는 SPS 또는 PPS 의 신택스로서 부호화되어 영상 복호화 장치로 전달된다. 블록 분할부(210)는 영상을 구성하는 각 픽처(picture)를 결정된 크기의 복수의 CTU(Coding Tree Unit)로 분할한 이후에, CTU를 트리 구조(tree structure)를 이용하여 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU (coding unit)가 된다. 트리 구조로는 상위 노드(혹은 부모 노드)가 동일한 크기의 네 개의 하위 노드(혹은 자식 노드)로 분할되는 쿼드트리(QuadTree, QT), 또는 상위 노드가 두 개의 하위 노드로 분할되는 바이너리트리(BinaryTree, BT), 또는 상위 노드가 1:2:1 비율로 세 개의 하위 노드로 분할되는 터너리트리(TernaryTree, TT), 또는 이러한 QT 구조, BT 구조 및 TT 구조 중 하나 이상을 혼용한 구조일 수 있다. 예컨대, QTBT (QuadTree plus BinaryTree) 구조가 사용될 수 있고, 또는 QTBTTT (QuadTree plus BinaryTree TernaryTree) 구조가 사용될 수 있다.
도 3은 QTBT 구조를 이용한 블록 분할의 예시도이다. 도 3의 (a)는 QTBT 구조에 의해 블록이 분할되는 예시이고, (b)는 이를 트리구조로 표현한 것이다. 도 3에서 실선은 QT 구조에 의한 분할을, 점선은 BT 구조에 의한 분할을 나타낸다. 또한, 도 3의 (b)에서 layer 표기와 관련하여, 괄호가 없는 것은 QT의 레이어를, 괄호가 있는 것은 BT의 레이어를 나타낸다. 점선으로 표현된 BT 구조에서 숫자는 분할 타입 정보를 나타낸다.
도 3에서 보는 바와 같이, CTU는 먼저 QT 구조로 분할될 수 있다. 쿼드트리 분할은 분할 블록(splitting block)의 크기가 QT에서 허용되는 리프 노드의 최소 블록 크기(MinQTSize)에 도달할 때까지 반복될 수 있다. QT 구조의 각 노드가 하위 레이어의 4개의 노드들로 분할되는지 여부를 지시하는 제1 플래그(QT_split_flag)는 부호화부(250)에 의해 부호화되어 영상 복호화 장치로 시그널링된다.
QT의 리프 노드가 BT에서 허용되는 루트 노드의 최대 블록 크기(MaxBTSize)보다 크지 않은 경우, BT 구조로 더 파티셔닝될 수 있다. BT에서는 복수의 분할 타입이 존재할 수 있다. 예컨대, 일부 예시에서, 해당 노드의 블록을 동일 크기의 두 개 블록으로 가로로 분할하는 타입(즉, symmetric horizontal splitting)과 세로로 분할하는 타입(즉, symmetric vertical splitting) 두 가지가 존재할 수 있다. BT 구조의 각 노드가 하위 레이어의 블록으로 분할되는지 여부를 지시하는 제2 플래그(BT_split_flag) 및 분할되는 타입을 지시하는 분할 타입 정보는 부호화부(250)에 의해 부호화되어 영상 복호화 장치로 전달된다. 한편, 해당 노드의 블록을 서로 비대칭 형태의 두 개의 블록으로 분할하는 타입이 추가로 더 존재할 수도 있다. 비대칭 형태로는 해당 노드의 블록을 1:3의 크기 비율을 가지는 두 개의 직사각형 블록으로 분할하는 형태를 포함할 수 있고, 혹은 해당 노드의 블록을 대각선 방향으로 분할하는 형태를 포함할 수도 있다.
트리 구조의 다른 예시로서 QTBTTT가 사용되는 경우, CTU는 먼저 QT 구조로 분할된 이후에, QT의 리프노드들은 BT 구조 또는 TT 구조 중 어느 하나 이상으로 분할될 수 있다. TT 구조도 복수의 분할 타입이 존재할 수 있다. 예컨대, 분할되는 경우, 해당 노드의 블록을 1:2:1 비율로 세 개 블록으로 가로로 분할하는 타입(즉, symmetric horizontal splitting)과 세로로 분할하는 타입(즉, symmetric vertical splitting) 두 가지가 존재할 수 있다. QTBTTT의 경우, 각 노드가 하위 레이어의 블록으로 분할되는지 여부를 지시하는 플래그 및 분할되는 타입(또는 분할되는 방향)을 지시하는 분할 타입 정보 (또는 분할 방향 정보) 이외에, BT 구조 인지 TT 구조인지를 구분하는 추가 정보가 영상 복호화 장치로 시그널링될 수 있다.
CU는 CTU로부터의 QTBT 또는 QTBTTT 분할에 따라 다양한 크기를 가질 수 있다. 본 개시에서 CU는 예측이나 변환을 위해 추가로 더 분할되지 않는다. 즉, CU, PU, 및 TU가 동일한 위치에 존재하는 동일한 크기의 블록이다.
예측부(220)는 CU를 예측하여 예측블록을 생성한다. 예측부(220)는 CU를 구성하는 휘도(luma) 성분과 색차 성분(chroma)을 각각 예측한다.
일반적으로, 픽처 내 CU들은 각각 예측적으로 코딩될 수 있다. CU의 예측은 (CU를 포함하는 픽처로부터의 데이터를 사용하는) 인트라 예측 기술 또는 (CU를 포함하는 픽처 이전에 코딩된 픽처로부터의 데이터를 사용하는) 인터 예측 기술을 사용하여 일반적으로 수행될 수 있다. 이를 위해, 예측부(220)는 인트라 예측부(222)와 인터 예측부(224)를 포함한다.
인트라 예측부(222)는 CU가 포함된 현재 픽처 내에서 CU의 주변에 위치한 픽셀(참조 픽셀)들을 이용하여 CU 내의 픽셀들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재한다. 예컨대, 도 4에서 보는 바와 같이, 복수의 인트라 예측모드는 planar 모드와 DC 모드를 포함하는 비방향성 모드와 65 개의 방향성 모드를 포함할 수 있다. 각 예측모드에 따라 사용할 주변 픽셀과 연산식이 다르게 정의된다.
인트라 예측부(222)는 CU를 부호화하는데 사용할 인트라 예측 모드를 결정할 수 있다. 일부 예들에서, 인트라 예측부(222)는 여러 인트라 예측 모드들을 사용하여 CU를 인코딩하고, 테스트된 모드들로부터 사용할 적절한 인트라 예측 모드를 선택할 수도 있다. 예를 들어, 인트라 예측부(222)는 여러 테스트된 인트라 예측 모드들에 대한 레이트 왜곡(rate-distortion) 분석을 사용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중 최선의 레이트 왜곡 특징들을 갖는 인트라 예측 모드를 선택할 수도 있다.
인트라 예측부(222)는 복수의 인트라 예측 모드 중에서 하나의 인트라 예측 모드를 선택하고, 선택된 인트라 예측 모드에 따라 결정되는 주변 픽셀(참조 픽셀)과 연산식을 사용하여 CU를 예측한다. 선택된 인트라 예측 모드를 지시하기 위한 신택스들은 부호화부(250)에 의해 부호화되어 영상 복호화 장치로 전달된다. CU 내의 휘도 성분을 예측하기 위해 선택된 인트라 예측 모드는 색차 성분을 예측하기 위해 사용될 수 있다. 다만, 이에 한정되는 것은 아니며, 예컨대, 휘도 성분에 대해 선택된 인트라 예측 모드와 색차 성분을 위한 복수의 인트라 예측 모드를 후보로 구성하여 그 후보 중 하나를 색차 성분에 대한 인트라 예측모드로 사용할 수도 있다. 이 경우, 색차 성분에 대응하는 인트라 예측 모드에 대한 신택스가 별도로 시그널링된다.
인터 예측부(224)는 움직임 보상 과정을 통해 CU에 대한 예측블록을 생성한다. 현재 픽처보다 먼저 부호화 및 복호화된 참조픽처 내에서 CU와 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 CU에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 CU과 참조픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(motion vector)를 생성한다. 일반적으로, 움직임 추정은 휘도(luma) 성분에 대해 수행되고, 휘도 성분에 기초하여 계산된 모션 벡터는 휘도 성분 및 색차(chroma) 성분 모두에 대해 사용된다. CU를 예측하기 위해 사용된 참조픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 부호화부(250)에 의해 부호화되어 영상 복호화 장치로 전달된다. 일반적으로, 참조픽처에 대한 정보는 복수의 참조픽처 중 CU의 인터 예측에 사용된 참조픽처를 식별하기 위한 참조픽처 인덱스를 의미하고, 움직임벡터에 대한 정보는 CU의 실제 움직임벡터와 예측 움직임벡터 간의 차이인 차분움직임 벡터를 의미한다.
한편, 움직임 정보를 부호화하는 데에 소요되는 비트량을 최소화하기 위해 다른 방법이 사용될 수 있다. 예컨대, 현재블록의 참조 픽처와 움직임벡터가 주변블록의 참조 픽처 및 움직임벡터와 동일한 경우에는 그 주변블록을 식별할 수 있는 정보를 부호화함으로써, 현재블록의 움직임 정보를 복호화 장치로 전달할 수 있다. 이러한 방법을 '머지 모드 (merge mode)'라 한다.
머지 모드에서, 인터 예측부(224)는 현재블록의 주변블록들로부터 기 결정된 개수의 머지 후보블록(이하, '머지 후보'라 함)들을 선택한다. 머지 후보를 유도하기 위한 주변블록으로는, 도 5에 도시된 바와 같이, 현재 픽처 내에서 현재블록에 인접한 좌측블록(L), 상단블록(A), 우상단블록(AR), 좌하단블록(BL), 좌상단블록(AL) 중에서 전부 또는 일부가 사용될 수 있다. 또한, 현재블록이 위치한 현재 픽처가 아닌 참조 픽처(현재블록을 예측하기 위해 사용된 참조 픽처와 동일할 수도 있고 다를 수도 있음) 내에 위치한 블록이 머지 후보로서 사용될 수도 있다. 예컨대, 참조 픽처 내에서 현재블록과 동일 위치에 있는 블록(co-located block) 또는 그 동일 위치의 블록에 인접한 블록들이 머지 후보로서 추가로 더 사용될 수 있다. 인터 예측부(224)는 이러한 주변블록들을 이용하여 기 결정된 개수의 머지 후보를 포함하는 머지 리스트를 구성한다. 머지 리스트에 포함된 머지 후보들 중에서 현재블록의 움직임정보로서 사용할 머지 후보를 선택하고 선택된 후보를 식별하기 위한 머지 인덱스(merge_index)를 생성한다. 생성된 머지 인덱스는 부호화부(250)에 의해 부호화되어 복호화 장치로 전달된다.
감산기(230)는 CU 내의 실제픽셀들로부터 인트라 예측부(222) 또는 인터 예측부(224)에 의해 생성된 예측블록 내의 예측픽셀들을 감산하여 잔차 블록을 생성한다.
변환부(240)는 공간 영역의 픽셀 값들을 가지는 잔차 블록 내의 잔차 신호를 주파수 도메인의 변환 계수로 변환한다. 변환부(240)는 잔차 블록 내의 잔차 신호들을 CU 크기의 변환 단위를 사용하여 변환한다. 양자화부(245)는 변환부(240)로부터 출력되는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 부호화부(250)로 출력한다. 여기서는, 잔차 신호에 대한 변환 및 양자화가 항상 수행되는 것으로 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 변환 및 양자화 중 어느 하나 이상이 선택적으로 스킵될 수도 있다. 예컨대, 변환과 양자화 중 어느 하나만이 스킵될 수 있고, 변환과 양자화 모두가 스킵될 수도 있다.
부호화부(250)는 블록 분할과 관련된 CTU size, QT 분할 플래그, BT 분할 플래그, 분할 타입 등의 정보를 부호화하여, 영상 복호화 장치가 영상 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다.
또한, 부호화부(250)는 영상 복호화 장치가 CU를 복원하기 위해 필요한 정보들을 부호화하여 영상 복호화 장치로 전달한다. 본 개시에서 부호화부(250)는 먼저 CU를 예측하기 위해 요구되는 예측 신택스들을 부호화한다. 부호화부(250)가 부호화하는 예측 신택스들은 CU가 스킵 모드로 부호화되었는지 여부를 지시하는 스킵 플래그(skip_flag)를 포함한다. 여기서, 스킵 모드는, 머지 모드의 특별한 케이스로서, 머지 인덱스(merge_idx)가 부호화된 이후에 CU에 대한 어떠한 정보도 부호화되지 않는다는 점에서 머지 모드와 다르다. 따라서, 스킵 모드에서는 변환 신택스들이 부호화되지 않으며 CU 내의 계수들은 모두 0으로 설정된다. 영상 복호화 장치는 CU가 스킵 모드로 부호화된 경우, 머지 인덱스가 지시하는 머지 후보의 움직임벡터와 참조픽처를 현재 CU의 움직임벡터와 참조픽처로 사용하여 예측블록을 생성한다. 잔차신호는 모두 0으로 설정되므로, 예측블록이 CU로서 복원된다. 또한, 스킵 모드인 CU에 대한 디블록킹 필터링 또는 SAO 필터링은 CU보다 상위 레벨(예컨대, CTU, 슬라이스, PPS 등)에서 시그널링되는 신택스들에 의해 적용 여부가 결정될 수 있다. 예컨대, 슬라이스 단위로 SAO 적용여부를 나타내는 신택스(slice_sao_flag)가 시그널링된다면, 그 슬라이스 내에서 스킵 모드인 CU들은 신택스(slice_sao_flag)에 따라 SAO 적용여부가 결정된다. 대안적으로, CU가 스킵 모드인 경우 적어도 일부의 인루프 필터링이 스킵될 수도 있다. 예컨대, 후술하는 transquant_skip_flag가 자동으로 1로 설정되어, CU에 대한 변환, 양자화 및 적어도 일부의 인루프 필터링이 모두 스킵될 수도 있다.
한편, CU가 스킵 모드로 부호화되지 않은 경우, 예측 신택스들은 CU가 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보(pred_mode_flag), 예측 타입에 따라 인트라 예측정보(즉, 인트라 예측 모드에 대한 정보) 또는 인터 예측정보(참조픽처 및 움직임벡터에 대한 정보)를 포함한다. 인터 예측정보는 CU의 참조픽처 및 움직임벡터가 머지 모드(merge mode)로 부호화되는지 여부를 지시하는 머지 플래그(merge_flag), 머지 플래그가 1인 경우 머지 인덱스(merge_idx), 머지 플래그가 0인 경우 참조픽처 정보 및 차분 움직임벡터 정보를 포함한다. 또한, 예측 움직임벡터 정보를 추가적으로 포함할 수도 있다.
부호화부(250)는 예측 신택스들을 부호화한 이후에, CU를 변환하기 위해 요구되는 변환 신택스들을 부호화한다. 변환 신택스들은 변환 및 양자화의 선택적 스킵과 관련된 정보 및 CU 내의 계수들에 대한 정보를 포함한다. 여기서, 변환의 방법이 두 가지 이상인 경우, 변환 신택스에는 해당 CU에 사용된 변환의 종류를 알리는 정보를 포함한다. 이때, 가로축 방향 및 세로축 방향에 적용된 변환의 종류를 각각 포함시킬 수 있다.
변환 및 양자화의 선택적 스킵과 관련된 정보는 CU에 대한 변환, 양자화 및 적어도 일부의 인루프 필터링을 모두 스킵할지 여부를 지시하는 변환/양자화 스킵 플래그(transquant_skip_flag), CU를 구성하는 휘도 및 색차 성분들 각각에 대해 변환을 스킵할지 여부를 지시하는 변환 스킵 플래그(transform_skip_flag) 등을 포함할 수 있다. 변환 스킵 플래그(transform_skip_flag)는 CU를 구성하는 각 성분마다 개별적으로 부호화된다. 다만, 이에 한정되는 것은 아니며, 하나의 CU에 대해 한번만 부호화될 수도 있다. 이 경우 변환 스킵 플래그(transform_skip_flag)가 1이면 CU에 대한 변환, 즉, CU를 구성하는 휘도 및 색차 성분 모두에 대한 변환이 스킵된다.
한편, 변환 및 양자화의 선택적 스킵과 관련된 정보는 하나의 신택스(transquant_idx)로 표현될 수도 있다. 이 경우, 그 신택스 값은 네 가지의 값을 가질 수 있다. 예컨대, transquant_idx=0은 변환과 양자화를 모두 스킵함을 의미하고, transquant_idx=1은 양자화만 수행함을 의미하며, transquant_idx=2는 변환만 수행함을 의미하고, transquant_idx=3은 변환 및 양자화를 모두 수행함으로 의미한다. 이 신택스는 네 가지의 값이 동일 비트가 되도록 FL(fixed length) 이진화(binarization) 방법을 사용하여 이진화될 수 있다. 예컨대, 표 1과 같이 이진화될 수 있다.
transquant_idx Transform Quantization Binarization (FL)
0 off off 00
1 off on 01
2 on off 10
3 on on 11
또는, 이 신택스는 발생 확률이 높은 값에 더 작은 비트가 할당되도록 TU (truncated unary) 이진화 방법을 사용하여 이진화될 수도 있다. 예컨대, 통상적으로 변환 및 양자화를 수행하는 확률이 가장 높고, 그 다음으로 변환을 스킵하고 양자화만 수행하는 확률이 높다는 점을 감안하면, 그 신택스는 표 2와 같이 이진화될 수도 있다.
transquant_idx Transform Quantization Binarization (TU)
0 off off 111
1 off on 10
2 on off 110
3 on on 0
한편, CU 내의 계수들에 대한 정보는, CU의 휘도(luma) 성분과 색차(chroma) 성분에 0이 아닌 계수가 존재하는지 여부를 지시하는 cbf(coded block flag)들, 및 계수의 값을 지시하기 위한 신택스들이 포함된다. 여기서, '계수'는, 양자화된 변환 계수일 수 있고(변환 및 양자화를 모두 수행한 경우), 또는 변환이 스킵된 양자화된 잔차신호일 수도 있으며(변환이 스킵된 경우), 또는 잔차신호 그 자체일 수도 있다(변환 및 양자화가 모두 스킵된 경우).
본 개시에서 부호화부(250)가 CU에 대한 예측 및 변환 신택스들을 부호화하는 구조 또는 순서는 후술할 영상 복호화 장치의 복호화기(610)가 부호화된 예측 및 변환 신택스들을 복호화하는 구조 또는 순서와 동일하다. 부호화부(250)가 그 신택스들을 부호화하는 구조 또는 순서는 후술하게 될 영상 복호화 장치의 복호화기(610)가 그 신택스들을 복호화하는 구조 또는 순서로부터 자명하게 이해될 수 있을 것이므로, 중복 설명을 피하기 위해, 부호화부(250)에 의한 신택스 부호화 구조 또는 순서에 대한 상세는 생략한다.
역양자화부(260)는 양자화부(245)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(265)는 역양자화부(260)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.
가산부(270)는 복원된 잔차블록과 예측부(220)에 의해 생성된 예측블록을 가산하여 CU를 복원한다. 복원된 CU 내의 픽셀들은 다음 순서의 블록을 인트라 예측할 때 참조 픽셀로서 사용된다.
인루프 필터(in-loop filter, 280)는 블록 기반의 예측 및 변환/양자화로 인해 발생하는 블록킹 아티팩트(blocking artifacts), 링잉 아티팩트(ringing artifacts), 블러링 아티팩트(blurring artifacts) 등을 줄이기 위해 복원된 픽셀들에 대한 필터링을 수행한다. 인루프 필터(280)는 디블록킹 필터(282) 및 SAO 필터(284)를 포함할 수 있다. 디블록킹 필터(282)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 필터링하고, SAO 필터(284)는 디블록킹 필터링된 영상에 대해 추가적인 필터링을 수행한다. SAO 필터(284)는 손실 부호화(lossy coding)로 인해 발생하는 복원된 픽셀과 원본 픽셀 간의 차이를 보상하기 위해 사용되는 필터이다. 디블록킹 필터와 SAO는 HEVC 표준기술에서 정의된 필터링 방식이므로, 더 이상의 상세한 설명은 생략한다.
디블록킹 필터(282) 및 SAO 필터(284)를 통해 필터링된 복원 블록은 메모리(290)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
도 6은 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도이다.
영상 복호화 장치는 복호화기(610) 및 복원기(600)을 포함하며, 복원기(600)는 역양자화부(620), 역변환부(630), 예측부(640), 가산기(650) 인루프 필터(660) 및 메모리(670)를 포함한다. 도 2의 영상 부호화 장치와 마찬가지로, 영상 복호화 장치는 각 구성요소가 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
복호화기(610)는 영상 부호화 장치로부터 수신한 비트스트림을 복호화하여 블록 분할과 관련된 정보를 복호화함으로써, 복호화 대상 CU를 결정한다. 복호화기(610)는 SPS (Sequence Parameter Set) 또는 PPS (Picture Parameter Set)로부터 CTU size에 대한 정보를 추출하여 CTU의 크기를 결정하고, 픽처를 결정된 크기의 CTU로 분할한다. 그리고 CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할 정보를 추출함으로써 CTU를 트리 구조를 이용하여 분할한다. 예컨대, QTBT 구조를 사용하여 CTU를 분할하는 경우, 먼저 QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT의 분할과 관련된 제2 플래그(BT_split_flag) 및 분할 타입(분할 방향) 정보를 추출하여 해당 리프 노드를 BT 구조로 분할한다. 다른 예로서, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT 또는 TT로 더 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할 타입(또는 분할 방향) 정보, BT 구조 인지 TT 구조 인지를 구별하는 추가 정보를 추출한다. 이를 통해 QT의 리프 노드 이하의 각 노드들을 BT 또는 TT 구조로 반복적으로(recursively) 분할한다.
또한, 복호화기(610)는 CU를 복원하기 위해 필요한 예측 신택스들과 변환 신택스들을 비트스트림으로부터 복호화하되, 예측 신택스들을 먼저 복호화한 이후에 변환 신택스들을 복호화한다. 복호화기(610)가 예측 신택스들과 변환 신택스들을 복호화하는 구조는 도 7 이하를 참조하여 후술한다.
역양자화부(620)는 변환 신택스들로부터 산출된 계수들을 역양자화하고 역변환부(630)는 역양자화된 계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 CU에 대한 잔차블록을 생성한다. 한편, 복호화기에서 복호화된 변환 신택스들에 포함되는 변환 및 양자화의 선택적 스킵과 관련된 정보에 따라 역양자화 또는 역변환 중 어느 하나 이상은 스킵될 수도 있다.
예측부(640)는 예측 신택스들을 이용하여 CU에 대한 예측블록을 생성한다. 예측부(640)은 인트라 예측부(642) 및 인터 예측부(644)를 포함한다. 인트라 예측부(642)는 CU의 예측 타입이 인트라 예측일 때 활성화되고, 인터 예측부(644)는 CU의 예측 타입이 인터 예측일 때 활성화된다.
인트라 예측부(642)는 복호화기(610)로부터 추출된 인트라 예측 모드에 대한 정보로부터 복수의 인트라 예측 모드 중 CU의 인트라 예측 모드를 결정하고, 인트라 예측 모드에 따라 CU 주변의 참조 픽셀들을 이용하여 CU를 예측한다.
인터 예측부(644)는 복호화기(610)로부터 추출된 인터 예측정보를 이용하여 CU의 움직임벡터와 그 움직임벡터가 참조하는 참조픽처를 결정하고, 움직임벡터와 참조픽처를 이용하여 CU를 예측한다. 예컨대, 머지 플래그(merge_flag)가 1이면, 머지 인덱스(merge_idx)를 추출하고, 영상 부호화 장치와 동일한 방식으로 머지 리스트를 구성한 이후에, 머지 리스트에 포함된 머지 후보 중 머지 인덱스에 의해 지시되는 블록의 움직임벡터와 참조픽처를 현재 CU의 움직임벡터와 참조픽처로 선택한다. 반면, 머지 플래그(merge_flag)가 0이면, 참조픽처 정보와 차분 움직임벡터 정보를 추출하여 현재 CU의 움직임벡터와 참조픽처를 결정한다. 이때, 예측 움직임벡터 정보를 추가적으로 추출할 수도 있다.
가산기(650)는 역변환부로부터 출력되는 잔차블록과 인터 예측부 또는 인트라 예측부로부터 출력되는 예측블록을 가산하여 CU를 복원한다. 복원된 CU 내의 픽셀들은 이후에 복호화할 블록을 인트라 예측할 때의 참조픽셀로서 활용된다.
각각의 CU들이 순차적으로 복원됨으로써, CU들로 구성된 CTU, CTU들로 구성된 픽처가 복원된다.
인루프 필터(660)는 디블록킹 필터(662) 및 SAO 필터(664)를 포함한다. 디블록킹 필터(662)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링한다. SAO 필터(664)는, 손실 부호화(lossy coding)으로 인해 발생하는 복원된 픽셀과 원본 픽셀 간의 차이를 보상하기 위해, 디블록킹 필터링 이후의 복원된 블록에 대해 추가적인 필터링을 수행한다. 디블록킹 필터(662) 및 SAO 필터(664)를 통해 필터링된 복원 블록은 메모리(670)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
이하에서는, 영상 복호화 장치의 복호화부(610)가 CU 신택스들을 복호화하는 구조 또는 순서를 상세히 설명한다.
전술한 바와 같이, 영상 복호화 장치는 스킵 플래그(skip_flag)를 포함하는 코딩단위의 예측 신택스들을 먼저 복호화한다. 예측 신택스들을 모두 복호화한 이후에, 영상 복호화 장치는 변환/양자화 스킵 플래그(transquant_skip_flag) 및 코딩단위 cbf(cbf_cu)를 포함하는 변환 신택스들을 복호화한다. 여기서, 코딩단위 cbf(cbf_cu)는 코딩단위를 구성하는 하나의 휘도블록(luma block)과 두 개의 색차블록들(chroma blocks) 내의 모든 계수들이 0인지 여부를 지시하는 신택스이다. 변환 신택스들은 스킵 플래그(skip_flag)가 0인 경우, 즉, 현재 CU가 스킵 모드가 아닌 경우에 복호화된다.
도 7은 본 개시에 따른 CU 신택스들을 복호화하는 순서를 나타내는 일 예시도이다.
영상 복호화 장치는 예측 신택스들 중 스킵 플래그(skip_flag)를 먼저 복호화한다(S702). 만약 스킵 플래그(skip_flag)가 1이면, 전술한 바와 같이, 비트스트림에는 머지 인덱스(merge_idx) 이외에 해당 코딩단위에 대한 어떠한 신택스들도 부호화되어 있지 않다. 따라서, 스킵 플래그(skip_flag)가 1이면(S704), 영상 복호화 장치는 머지 인덱스(merge_idx)를 비트스트림으로부터 복호화하고(S706), 해당 CU에 대한 신택스 복호화를 종료한다. 해당 CU가 스킵 모드인 경우, CU에 대한 디블록킹 필터링 또는 SAO 필터링은 CU보다 상위 레벨(예컨대, CTU, 슬라이스, PPS 등)에서 시그널링되는 신택스들에 의해 적용 여부가 결정될 수 있다. 대안적으로, 스킵 모드인 CU에 대해서는 인루프 필터링이 스킵될 수도 있다. 예컨대, transquant_skip_flag가 자동으로 1로 설정될 수 있고 이에 따라 적어도 일부의 인루프 필터링이 스킵될 수 있다.
스킵 플래그(skip_flag)가 0이면(S704), 인터 예측 또는 인트라 예측을 위한 예측 신택스들을 복호화한다. 먼저, 영상 복호화 장치는 현재 CU의 예측타입이 인트라 예측인지 아니면 인터 예측인지 여부를 지시하는 예측타입정보(pred_mode_flag)를 복호화한다(S708). 예측타입정보(pred_mode_flag)가 인트라 예측을 지시하는 경우, 예컨대, pred_mode_flag=1이면(S710), 영상 복호화 장치는 현재 CU의 인트라 예측모드를 나타내는 인트라 예측정보를 복호화한다(S712). 반면, 예측타입정보(pred_mode_flag)가 인터 예측을 지시하는 경우, 예컨대, pred_mode_flag=0이면(S710), 영상 복호화 장치는 머지 플래그(merge_flag)를 복호화한다(S714). 그리고, 머지 플래그(merge_flag)가 머지 모드를 지시하면(S716), 예컨대 머지 플래그(merge_flag)가 1이면, 머지 인덱스(merge_idx)를 복호화한다(S718). 머지 플래그(merge_flag)가 머지 모드가 아님을 지시하면(S716), 예컨대 머지 플래그(merge_flag)가 0이면, 통상적인 인터 예측을 위한 예측 신택스들, 즉, 참조픽처 정보 및 차분움직임벡터를 복호화한다(S720). 이때, 예측 움직임벡터 정보를 추가적으로 복호화할 수도 있다. 이와 같은 방식으로 현재 CU의 예측 신택스들을 모두 복호화한 후, 영상 복호화 장치는 현재 CU의 변환 신택스들을 복호화한다.
먼저 영상 복호화 장치는 코딩단위를 구성하는 하나의 휘도블록(luma block)과 두 개의 색차블록들(chroma blocks) 내의 계수들이 모두 0인지 여부를 지시하는 코딩단위 cbf(cbf_cu)를 복호화하는 과정을 수행한다. 다만, 코딩단위 cbf(cbf_cu)는 현재 CU의 예측타입이 인트라 예측인 경우에는 비트스트림으로부터 복호화됨 없이 자동으로 1으로 설정될 수 있다(S736). 또한, 현재 CU의 예측타입이 스킵 모드인 경우에는 자동으로 0으로 설정되고, 머지 모드인 경우에는 자동으로 1로 설정될 수 있다(S732). 현재 CU의 예측타입이 인터 예측이면서 머지 모드가 아닌 경우에 비트스트림으로부터 복호화된다(S734).
코딩단위 cbf(cbf_cu) 복호화 과정을 수행한 이후에, 영상 복호화 장치는 코딩단위 cbf(cbf_cu)의 값에 의존하여 변환/양자화 스킵 플래그(transquant_skip_flag)를 복호화한다. 예컨대, 코딩단위 cbf(cbf_cu)가 0이면(S738), CU 내에 non-zero의 휘도 성분 및 색차 성분들이 존재하지 않는다는 것을 의미하므로, 더 이상의 변환 신택스들에 대한 복호화없이 CU에 대한 신택스 복호화를 종료한다. 만약, 코딩단위 cbf(cbf_cu)가 1이면(S738), CU 내에 non-zero의 값을 가지는 휘도 성분 또는 색차 성분이 존재한다는 것을 의미하므로, 변환/양자화 스킵 플래그(transquant_skip_flag)를 복호화하고(S740), 이어서 CU 내의 휘도 및 색차 성분 각각에 대한 변환 신택스들을 복호화한다(S742).
대안적으로, 코딩단위 cbf(cbf_cu)와 변환/양자화 스킵 플래그(transquant_skip_flag) 간의 복호화 순서는 바뀔 수도 있다. 도 8은 본 개시에 따른 CU 신택스들을 복호화하는 순서를 나타내는 다른 예시도이다.
도 8에서 예측 신택스들을 복호화하는 S802 내지 S820의 과정은 도 7에서 예측 신택스들을 복호화하는 S702 내지 S720과 동일하므로, 이하에서는 CU의 변환 신택스들을 복호화하는 과정만을 설명한다.
현재 CU가 스킵 모드가 아닌 경우, 영상 복호화 장치는 예측 신택스들을 복호화한 이후에 변환/양자화 스킵 플래그(transquant_skip_flag)를 비트스트림으로부터 복호화한다(S832). 코딩단위 cbf(cbf_cu)는 변환/양자화 스킵 플래그(transquant_skip_flag)가 복호화된 이후에 복호화된다. 예컨대, 현재 CU의 예측타입이 인트라 예측(pred_mode_flag = 1)이거나 또는 현재 CU가 머지 모드인 경우(merge_flag = 1)(S834), 코딩단위 cbf(cbf_cu)는 비트스트림으로부터 복호화되지 않고 자동으로 1로 설정된다(S836). 반면, 현재 CU의 예측타입이 인터 예측이고(pred_mode_flag = 0) 현재 CU가 머지 모드가 아닌 경우(merge_flag = 0)(S834), 코딩단위 cbf(cbf_cu)가 비트스트림으로부터 복호화된다(S838).
이후, 영상 복호화 장치는 코딩단위 cbf(cbf_cu)가 1인 경우에 CU 내의 휘도 및 색차 성분 각각에 대한 변환 신택스들을 복호화한다(S842).
이상의 실시예들에서, 변환/양자화 스킵 플래그(transquant_skip_flag)는 CU에 대한 변환, 양자화 및 적어도 일부의 인루프 필터링을 모두 스킵할지 여부를 지시하는 신택스이다. 여기서, '적어도 일부의 인루프 필터링'은 디블록킹 필터링과 SAO를 모두 포함할 수 있다. 또는, 디블록킹 필터링을 제외한 인루프 필터링을 의미할 수도 있다. 변환/양자화 스킵 플래그(transquant_skip_flag)가 CU에 대한 변환, 양자화 및 디블록킹 필터링을 제외한 인루프 필터링을 모두 스킵하는 것을 의미하는 경우, 영상 복호화 장치는 변환/양자화 스킵 플래그(transquant_skip_flag)를 복호화한다. 변환/양자화 스킵 플래그(transquant_skip_flag)가 1이면, CU에 대한 변환, 양자화 및 SAO는 스킵된다. 변환/양자화 스킵 플래그(transquant_skip_flag)가 1이면, 영상 복호화 장치는 CU에 대한 디블록킹 필터링을 수행할지 여부를 지시하는 디블록킹 필터 플래그(deblocking_filter_flag)를 추가로 더 복호화할 수 있다. 이 경우, 디블록킹 필터 플래그(deblocking_filter_flag)가 0이면, CU에 대해 변환, 양자화, 및 디블록킹 필터링과 SAO 모든 과정이 스킵된다. 반면, 디블록킹 필터 플래그(deblocking_filter_flag)가 1이면, CU에 대해 변환, 양자화, 및 SAO는 스킵되고 디블록킹 필터링은 수행된다.
CU 내의 픽셀들은 하나의 휘도(luma) 성분과 두 개의 색차 성분(Cb, Cr)으로 구성된다. 이하에서는, 휘도 성분으로 이루어진 블록을 휘도 블록, 색차 성분으로 이루어진 블록을 색차 블록이라 칭한다. 하나의 CU는 하나의 휘도 블록과 두 개의 색차 블록으로 구성된다. 본 개시가 기술하는 영상 복호화 장치는, CU를 구성하는 휘도 및 색차 블록별로 CU 내의 계수들을 얻기 위한 변환 신택스들을 복호화하는 과정을 수행한다. 예컨대, 도 7의 S742 또는 도 8의 S842 단계가 이에 해당한다. 그러나 성분별 변환 신택스 복호화 과정이 반드시 도 7이나 도 8과 결합되어 수행되어야 하는 것은 아니며, 도 7이나 도 8이 아닌 다른 CU 신택스 구조에도 적용될 수 있음은 자명하다.
도 9는 휘도 및 색차 성분별로 변환 신택스들을 복호화하는 과정을 나타내는 일 예시도이다.
영상 복호화 장치는, 먼저, CU를 구성하는 제1 색차블록(예컨대, Cb 성분으로 구성된 색차블록) 내에 적어도 하나의 0이 아닌 계수가 존재하는지 여부를 지시하는 제1크로마 cbf (예컨대, cbf_cb), 제2 색차블록(예컨대, Cr 성분으로 구성된 색차블록) 내에 적어도 하나의 0이 아닌 계수가 존재하는지 여부를 지시하는 제2크로마 cbf (예컨대, cbf_cr), 및 CU를 구성하는 휘도블록 내에 적어도 하나의 0이 아닌 계수가 존재하는지 여부를 지시하는 루마 cbf(cbf_luma)를 비트스트림으로부터 복호화한다(S902). 세 성분의 cbf들 간의 복호화 순서는 제한이 없으나, 예컨대, cbf_cb, cbf_cr, cbf_luma의 순서로 복호화될 수 있다.
S902에서 먼저 복호화된 두 개의 cbf가 모두 0인 경우(각 cbf에 대응하는 블록 내의 계수가 모두 0인 경우), 마지막 cbf는 복호화되지 않을 수 있다. 도 7 또는 도 8을 참조하면, cbf_cb, cbf_cr, cbf_luma는 코딩단위 cbf(cbf_cu)가 1인 경우에 복호화된다. 따라서, 먼저 복호화한 두 개의 성분의 cbf가 모두 0이라면 나머지 하나의 성분의 cbf는 반드시 1이다.
세 가지 성분의 cbf가 모두 복호화된 이후에, 각 성분마다 S904 내지 S910이 수행된다. 휘도 성분을 예로 들어 설명하면, 영상 복호화 장치는 cbf_luma=1 인지 여부를 판단한다(S904). cbf_luma=0 이면, 휘도블록 내에 0이 아닌 계수들이 존재하지 않는다는 것을 의미하므로, 휘도블록 내의 모든 값들을 0으로 설정한다.
반면, cbf_luma=1 이면, 영상 복호화 장치는 휘도블록에 대한 변환이 수행되는지 여부를 지시하는 변환 스킵 플래그(transform_skip_flag)를 복호화한다. 도 7 또는 도 8를 참조하면, 먼저 복호화된 변환/양자화 스킵 플래그(transquant_skip_flag)가 1인 경우, CU(CU 내의 모든 성분들)에 대한 변환과 양자화가 스킵된다. 따라서, 변환/양자화 스킵 플래그(transquant_skip_flag)가 1인 경우 휘도 성분에 대한 변환 스킵 플래그(transform_skip_flag)의 복호화는 요구되지 않는다. 반면, 변환/양자화 스킵 플래그(transquant_skip_flag)=0은 CU 내의 모든 성분들에 대한 변환 및 양자화가 항상 스킵되는 것이 아님을 의미한다. 따라서, 변환/양자화 스킵 플래그(transquant_skip_flag)가 0이면 영상 복호화 장치는 휘도 성분에 대해 변환이 수행되는지 여부를 지시하는 변환 스킵 플래그(transform_skip_flag)를 복호화한다(S906, S908).
이후, 영상 복호화 장치는 휘도 성분에 대한 계수 값들을 비트스트림으로부터 복호화한다(S910).
S902에서 CU 구성하는 세 가지 성분에 대한 cbf를 복호화하는 것을 설명하였다. 이하에서는 CU 구성하는 세 가지 성분의 cbf를 복호화하는 다른 예시적 실시예를 도 10을 참조하여 설명한다. 본 실시예에서는 CU를 구성하는 두 개의 색차블록 내의 모든 계수들이 0인지 여부를 지시하는 크로마 cbf(cbf_chroma)라는 신택스가 추가로 정의된다.
도 10은 CU 구성하는 세 가지 성분에 대한 cbf를 복호화하는 방법을 나타내는 예시도이다.
영상 복호화 장치는 CU를 구성하는 두 개의 색차블록 내의 모든 계수들이 0인지 여부를 지시하는 크로마 cbf(cbf_chroma)를 복호화한다(S1002).
크로마 cbf(cbf_chroma)가 0인 경우(S1004), 두 색차블록에 대한 cbf, 즉, cbf_cb과 cbf_cr은 모두 0으로 설정된다(S1006). 도 7 또는 도 8을 참조하면, 세 가지 성분에 대한 cbf는 코딩단위 cbf(cbf_cu)가 1일 때 복호화된다. 따라서, 크로마 cbf(cbf_chroma)가 0이면 cbf_luma는 자동적으로 1로 설정된다(S1006).
반면, 크로마 cbf(cbf_chroma)가 1인 경우, 영상 복호화 장치는 cbf_cb를 복호화한다(S1008). 크로마 cbf(cbf_chroma)=1은 두 개의 색차블록 중 적어도 하나에는 0이 아닌 계수가 존재한다는 것을 의미하므로, 두 색차블록 중 어느 하나의 cbf가 0이면 다른 하나의 색차블록에 대한 cbf는 반드시 1이어야 한다. 따라서, 복호화된 cbf_cb가 0이면, cbf_cr은 1로 자동으로 설정된다(S1010, S1014). 반면 cbf_cb가 1이면 cbf_cr을 비트스트림으로부터 복호화한다(S1012). 여기서, cbf_cb와 cbf_cr 간의 복호화 순서는 서로 바뀌어도 무방하다. cbf_cb와 cbf_cr에 대한 복호화가 완료되면, 영상 복호화 장치는 cbf_luma를 복호화한다(S1016).
cbf_cb, cbf_cr 및 cbf_luma 복호화 이후의 과정은 도 9와 동일하다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은, 본 명세서에 그 전체가 참고로서 포함되는, 2018년 01월 05일 한국에 출원한 특허출원번호 제10-2018-0001728호 및 2018년 06월 11일 한국에 출원한 특허출원번호 제10-2018-0066664호에 대해 우선권을 주장한다.

Claims (16)

  1. 영상 복호화 방법에 있어서,
    블록 파티셔닝에 의해 복호화할 코딩단위(coding unit)를 결정하는 단계;
    상기 코딩단위가 스킵 모드로 부호화되었는지 여부를 지시하는 스킵 플래그를 포함하여 상기 코딩단위에 대한 예측 신택스들을 복호화하는 단계;
    상기 예측 신택스들을 복호화한 이후에, 변환/양자화 스킵 플래그 및 코딩단위 cbf를 포함하는 변환 신택스들을 복호화하는 단계, 상기 변환/양자화 스킵 플래그는 상기 코딩단위에 대해 역변환, 역양자화, 및 적어도 일부의 인루프 필터링(in-loop filtering)을 스킵하는지 여부를 지시하고, 상기 코딩단위 cbf는 상기 코딩단위를 구성하는 휘도블록(luma block)과 두 개의 색차블록들(chroma blocks) 내의 계수들이 모두 0인지 여부를 지시함; 및
    상기 예측 신택스들 및 상기 변환 신택스들을 이용하여 상기 코딩단위를 복원하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 코딩단위를 복원하는 단계는,
    상기 코딩단위의 크기를 예측단위 크기로 사용하여, 상기 예측 신택스들로부터 상기 코딩단위에 대한 예측블록을 생성하는 단계;
    상기 코딩단위의 크기 변환단위 크기로 사용하여, 상기 변환 신택스들로부터 상기 코딩단위에 대한 잔차블록을 생성하는 단계; 및
    상기 예측블록과 상기 잔차블록을 가산하여 상기 코딩단위를 복원하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  3. 제1항에 있어서,
    상기 변환 신택스들은, 상기 스킵 플래그가 상기 코딩단위가 스킵 모드로 부호화되지 않았음을 지시할 때, 복호화되는 것을 특징으로 하는 영상 복호화 방법.
  4. 제3항에 있어서,
    상기 변환 신택스들을 복호화하는 단계는,
    상기 코딩단위 cbf를 복호화하는 단계; 및
    상기 코딩단위 cbf가 상기 코딩단위를 구성하는 상기 휘도블록과 상기 두 개의 색차블록들 내의 계수들 중 적어도 하나가 0이 아님을 나타낼 때, 상기 변환/양자화 스킵 플래그를 복호화하는 단계
    를 포함하는 것을 특징으로 영상 복호화 방법.
  5. 제1항에 있어서,
    상기 변환/양자화 스킵 플래그는,
    상기 코딩단위에 대해 역변환, 역양자화, 및 디블록킹 필터링을 제외한 인루프 필터링(in-loop filtering)을 스킵하는지 여부를 나타내는 것을 특징으로 하는 영상 복호화 방법.
  6. 제5항에 있어서,
    상기 변환 신택스들을 복호화하는 단계는,
    상기 변환/양자화 스킵 플래그가 역변환, 역양자화, 및 디블록킹 필터링을 제외한 인루프 필터링(in-loop filtering)을 스킵함을 지시할 때, 상기 복원된 코딩단위에 대해 디블록킹 필터링을 스킵할지 여부를 나타내는 디블록킹 필터 플래그를 복호화하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  7. 제1항에 있어서,
    상기 변환 신택스들을 복호화하는 단계는,
    상기 코딩단위 cbf가 상기 코딩단위를 구성하는 상기 휘도블록과 상기 두 개의 색차블록들 내의 계수들 중 적어도 하나가 0이 아님을 나타낼 때,
    크로마 cbf와 루마 cbf 중 어느 하나의 cbf를 복호화하는 단계;
    상기 복호화된 어느 하나의 cbf의 값에 의존하여, 상기 크로마 cbf와 상기 루마 cbf 중 나머지 하나의 cbf를 복호화하는 단계를 포함하고,
    상기 크로마 cbf는 상기 두 개의 색차블록들 내의 모든 계수들이 0인지 여부를 나타내고, 상기 루마 cbf는 상기 휘도블록 내의 모든 계수들이 0인지 여부를 나타내는 것을 특징으로 하는 영상 복호화 방법.
  8. 제7항에 있어서,
    상기 크로마 cbf가 상기 두 개의 색차블록들 내에 적어도 하나의 0이 아닌 계수가 존재함을 나타낼 때,
    상기 두 개의 색차블록들 중 제1 색채블록 내의 모든 계수가 0인지 여부를 지시하는 제1 서브 크로마 cbf를 복호화하는 단계; 및
    제1 서브 크로마 cbf가 상기 제1 색차블록 내에 적어도 하나의 0이 아닌 계수가 존재함을 나타낼 때, 상기 두 개의 색차블록들 중 제2 색채블록 내의 내의 모든 계수가 0인지 여부를 지시하는 제2 서브 크로마 cbf를 복호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  9. 영상 복호화 장치에 있어서,
    블록 파티셔닝에 의해 복호화할 코딩단위(coding unit)를 결정하고, 상기 코딩단위가 스킵 모드로 부호화되었는지 여부를 지시하는 스킵 플래그를 포함하여 상기 코딩단위에 대한 예측 신택스들을 복호화하며, 상기 예측 신택스들을 복호화한 이후에 변환/양자화 스킵 플래그 및 코딩단위 cbf를 포함하는 상기 코딩단위에 대한 변환 신택스들을 복호화하는 복호화부, 상기 변환/양자화 스킵 플래그는 상기 코딩단위에 대해 역변환, 역양자화, 및 적어도 일부의 인루프 필터링(in-loop filtering)을 스킵하는지 여부를 지시하고, 상기 코딩단위 cbf는 상기 코딩단위를 구성하는 휘도블록(luma block)과 두 개의 색차블록들(chroma blocks) 내의 계수들이 모두가 0인지 여부를 지시함; 및
    상기 예측 신택스들 및 상기 변환 신택스들을 이용하여 상기 코딩단위를 복원하는 복원부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  10. 제9항에 있어서,
    상기 복원부는,
    상기 코딩단위의 크기를 예측단위 크기로 사용하여, 상기 예측 신택스들로부터 상기 코딩단위에 대한 예측블록을 생성하고,
    상기 코딩단위의 크기를 변환단위 크기로 사용하여, 상기 변환 신택스들로부터 상기 코딩단위에 대한 잔차블록을 생성하며,
    상기 예측블록과 상기 잔차블록을 가산하여 상기 코딩단위를 복원하는 것을 특징으로 하는 영상 복호화 장치.
  11. 제9항에 있어서,
    상기 복호화부는, 상기 스킵 플래그가 상기 코딩 단위가 상기 스킵 모드로 부호화되지 않았음을 지시할 때, 상기 변환 신택스들을 복호화하는 것을 특징으로 하는 영상 복호화 장치.
  12. 제11항에 있어서,
    상기 복호화부는,
    상기 코딩단위 cbf가 상기 코딩단위를 구성하는 상기 휘도블록과 상기 색차블록들 내의 계수들 중 적어도 하나가 0이 아님을 나타낼 때, 상기 변환/양자화 스킵 플래그를 복호화하는 것을 특징으로 하는 영상 복호화 장치.
  13. 제9항에 있어서,
    상기 변환/양자화 스킵 플래그는,
    상기 코딩단위에 대해 역변환, 역양자화, 및 디블록킹 필터링을 제외한 인루프 필터링(in-loop filtering)을 스킵하는지 여부를 나타내는 것을 특징으로 하는 영상 복호화 장치.
  14. 제13항에 있어서,
    상기 복호화부는, 상기 변환/양자화 스킵 플래그가 역변환, 역양자화, 및 디블록킹 필터링을 제외한 인루프 필터링(in-loop filtering)을 스킵함을 지시할 때, 상기 복원된 코딩단위에 대해 디블록킹 필터링을 스킵할지 여부를 나타내는 디블록킹 필터 플래그를 복호화하는 것을 특징으로 하는 영상 복호화 장치.
  15. 제9항에 있어서,
    상기 코딩단위 cbf가 상기 코딩단위를 구성하는 상기 휘도블록과 상기 두 개의 색차블록들 내의 계수들 중 적어도 하나가 0이 아님을 나타낼 때, 상기 복호화부는,
    크로마 cbf와 루마 cbf 중 어느 하나의 cbf를 복호화하고,
    상기 복호화된 어느 하나의 cbf의 값에 의존하여, 상기 크로마 cbf와 상기 루마 cbf 중 나머지 하나의 cbf를 복호화하되,
    상기 크로마 cbf는 상기 두 개의 색차블록들 내의 모든 계수들이 0인지 여부를 나타내고, 상기 루마 cbf는 상기 휘도블록 내의 모든 계수들이 0인지 여부를 나타내는 것을 특징으로 하는 영상 복호화 장치.
  16. 제15항에 있어서,
    상기 크로마 cbf가 상기 두 개의 색차블록들 내에 적어도 하나의 0이 아닌 계수가 존재함을 나타낼 때, 상기 복호화부는,
    상기 두 개의 색차블록들 중 제1 색채블록 내의 모든 계수가 0인지 여부를 지시하는 제1 서브 크로마 cbf를 복호화하고,
    제1 서브 크로마 cbf가 상기 제1 색차블록 내에 적어도 하나의 0이 아닌 계수가 존재함을 나타낼 때, 상기 두 개의 색차블록들 중 제2 색채블록 내의 내의 모든 계수가 0인지 여부를 지시하는 제2 서브 크로마 cbf를 복호화하는 것을 특징으로 하는 영상 복호화 장치.
PCT/KR2019/000136 2018-01-05 2019-01-04 영상을 부호화 또는 복호화하는 방법 및 장치 WO2019135628A1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN202210845362.5A CN115002459A (zh) 2018-01-05 2019-01-04 视频解码设备、视频编码设备和非暂时性计算机可读介质
CN201980017079.XA CN111869219B (zh) 2018-01-05 2019-01-04 对图像进行编码或解码的方法和装置
US16/960,114 US11368722B2 (en) 2018-01-05 2019-01-04 Method and device for encoding or decoding video
CN202210845520.7A CN115022631A (zh) 2018-01-05 2019-01-04 对视频进行编码或解码的方法和非暂时性计算机可读介质
CN202210852844.3A CN115002460A (zh) 2018-01-05 2019-01-04 视频解码设备、视频编码设备和非暂时性计算机可读介质
CN202210852847.7A CN115037930A (zh) 2018-01-05 2019-01-04 对视频进行编码或解码的方法和非暂时性计算机可读介质
US17/830,477 US12096037B2 (en) 2018-01-05 2022-06-02 Method and device for encoding or decoding video
US17/830,508 US11812061B2 (en) 2018-01-05 2022-06-02 Method and device for encoding or decoding video
US17/830,455 US20220295110A1 (en) 2018-01-05 2022-06-02 Method and device for encoding or decoding video
US17/830,437 US11924473B2 (en) 2018-01-05 2022-06-02 Method and device for encoding or decoding video

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2018-0001728 2018-01-05
KR20180001728 2018-01-05
KR1020180066664A KR102524628B1 (ko) 2018-01-05 2018-06-11 영상을 부호화 또는 복호화하는 방법 및 장치
KR10-2018-0066664 2018-06-11

Related Child Applications (5)

Application Number Title Priority Date Filing Date
US16/960,114 A-371-Of-International US11368722B2 (en) 2018-01-05 2019-01-04 Method and device for encoding or decoding video
US17/830,477 Continuation US12096037B2 (en) 2018-01-05 2022-06-02 Method and device for encoding or decoding video
US17/830,455 Continuation US20220295110A1 (en) 2018-01-05 2022-06-02 Method and device for encoding or decoding video
US17/830,437 Continuation US11924473B2 (en) 2018-01-05 2022-06-02 Method and device for encoding or decoding video
US17/830,508 Continuation US11812061B2 (en) 2018-01-05 2022-06-02 Method and device for encoding or decoding video

Publications (1)

Publication Number Publication Date
WO2019135628A1 true WO2019135628A1 (ko) 2019-07-11

Family

ID=67144197

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/000136 WO2019135628A1 (ko) 2018-01-05 2019-01-04 영상을 부호화 또는 복호화하는 방법 및 장치

Country Status (4)

Country Link
US (4) US20220295110A1 (ko)
KR (3) KR102715622B1 (ko)
CN (4) CN115037930A (ko)
WO (1) WO2019135628A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709477A (zh) * 2020-06-05 2021-11-26 杭州海康威视数字技术股份有限公司 编码方法、解码方法、装置及机器可读存储介质
CN114731444A (zh) * 2019-09-27 2022-07-08 Sk电信有限公司 用于恢复色度块的残差块的方法及解码设备
CN114930841A (zh) * 2020-01-10 2022-08-19 Lg 电子株式会社 用于亮度分量和色度分量的基于bdpcm的图像解码方法及其装置
CN115209139A (zh) * 2019-09-07 2022-10-18 北京达佳互联信息技术有限公司 视频编解码中的预测模式信令
CN116458159A (zh) * 2021-06-17 2023-07-18 腾讯美国有限责任公司 跳过变换标志编码

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024149293A1 (en) * 2023-01-12 2024-07-18 Mediatek Inc. Methods and apparatus for improvement of transform information coding according to intra chroma cross-component prediction model in video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150048804A (ko) * 2012-11-08 2015-05-07 캐논 가부시끼가이샤 코딩 유닛의 변환 유닛들을 인코딩 및 디코딩하기 위한 방법, 장치 및 시스템
KR101540529B1 (ko) * 2011-01-24 2015-07-29 퀄컴 인코포레이티드 고효율 비디오 코딩 (ｈｅｖｃ) 에서 코딩된 유닛들에 대한 양자화 파라미터 변화들의 시그널링
KR20160037246A (ko) * 2010-11-04 2016-04-05 지이 비디오 컴프레션, 엘엘씨 블록 병합 및 스킵 모드를 지원하는 화상 코딩
KR101621330B1 (ko) * 2011-03-09 2016-05-16 미디어텍 싱가폴 피티이. 엘티디. 복잡도가 감소된 변환 단위 파티션의 방법 및 장치
KR20170069912A (ko) * 2015-12-11 2017-06-21 삼성전자주식회사 인트라 프레임 스킵 모드 정보의 부호화 방법 및 장치, 복호화 방법 및 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101813189B1 (ko) 2010-04-16 2018-01-31 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
EP2645720A4 (en) * 2010-11-23 2015-12-16 Lg Electronics Inc METHOD FOR ENCODING AND DECODING IMAGES, AND DEVICE USING THE SAME
GB2486733A (en) 2010-12-24 2012-06-27 Canon Kk Video encoding using multiple inverse quantizations of the same reference image with different quantization offsets
CN107071439B (zh) 2011-03-10 2021-12-28 夏普株式会社 图像解码装置及方法、以及记录介质
AU2012232992A1 (en) 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9332257B2 (en) 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding
US20140146894A1 (en) 2012-11-28 2014-05-29 General Instrument Corporation Devices and methods for modifications of syntax related to transform skip for high efficiency video coding (hevc)
US9877025B2 (en) 2013-07-12 2018-01-23 British Broadcasting Corporation Video encoding and decoding with prediction at higher precision
CA2942903A1 (en) 2014-03-16 2015-09-24 Vid Scale, Inc. Method and apparatus for the signaling of lossless video coding
US20150264348A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Dictionary coding of video content
GB2531004A (en) 2014-10-06 2016-04-13 Canon Kk Residual colour transform signalled at sequence level for specific coding modes
CN115134607A (zh) 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
WO2017099371A1 (ko) 2015-12-11 2017-06-15 삼성전자 주식회사 인트라 프레임 스킵 모드 정보의 부호화 방법 및 장치, 복호화 방법 및 장치
WO2019013363A1 (ko) * 2017-07-10 2019-01-17 엘지전자 주식회사 영상 코딩 시스템에서 주파수 도메인 잡음 감소 방법 및 장치
KR102524628B1 (ko) * 2018-01-05 2023-04-21 에스케이텔레콤 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160037246A (ko) * 2010-11-04 2016-04-05 지이 비디오 컴프레션, 엘엘씨 블록 병합 및 스킵 모드를 지원하는 화상 코딩
KR101540529B1 (ko) * 2011-01-24 2015-07-29 퀄컴 인코포레이티드 고효율 비디오 코딩 (ｈｅｖｃ) 에서 코딩된 유닛들에 대한 양자화 파라미터 변화들의 시그널링
KR101621330B1 (ko) * 2011-03-09 2016-05-16 미디어텍 싱가폴 피티이. 엘티디. 복잡도가 감소된 변환 단위 파티션의 방법 및 장치
KR20150048804A (ko) * 2012-11-08 2015-05-07 캐논 가부시끼가이샤 코딩 유닛의 변환 유닛들을 인코딩 및 디코딩하기 위한 방법, 장치 및 시스템
KR20170069912A (ko) * 2015-12-11 2017-06-21 삼성전자주식회사 인트라 프레임 스킵 모드 정보의 부호화 방법 및 장치, 복호화 방법 및 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115209139A (zh) * 2019-09-07 2022-10-18 北京达佳互联信息技术有限公司 视频编解码中的预测模式信令
CN115209139B (zh) * 2019-09-07 2023-03-28 北京达佳互联信息技术有限公司 视频编解码中的预测模式信令
CN114731444A (zh) * 2019-09-27 2022-07-08 Sk电信有限公司 用于恢复色度块的残差块的方法及解码设备
US12022082B2 (en) 2019-09-27 2024-06-25 Sk Telecom Co., Ltd. Method for reconstructing residual blocks of chroma blocks, and video decoding apparatus
CN114930841A (zh) * 2020-01-10 2022-08-19 Lg 电子株式会社 用于亮度分量和色度分量的基于bdpcm的图像解码方法及其装置
CN113709477A (zh) * 2020-06-05 2021-11-26 杭州海康威视数字技术股份有限公司 编码方法、解码方法、装置及机器可读存储介质
CN113709476A (zh) * 2020-06-05 2021-11-26 杭州海康威视数字技术股份有限公司 编码方法、解码方法、装置及机器可读存储介质
CN113709476B (zh) * 2020-06-05 2022-12-23 杭州海康威视数字技术股份有限公司 编码方法、解码方法、装置及机器可读存储介质
CN113709477B (zh) * 2020-06-05 2022-12-23 杭州海康威视数字技术股份有限公司 编码方法、解码方法、装置及机器可读存储介质
CN116458159A (zh) * 2021-06-17 2023-07-18 腾讯美国有限责任公司 跳过变换标志编码

Also Published As

Publication number Publication date
US20220295110A1 (en) 2022-09-15
KR102715622B1 (ko) 2024-10-11
US20220295112A1 (en) 2022-09-15
KR20230057318A (ko) 2023-04-28
US11812061B2 (en) 2023-11-07
US12096037B2 (en) 2024-09-17
KR102715607B1 (ko) 2024-10-11
US11924473B2 (en) 2024-03-05
US20220295109A1 (en) 2022-09-15
KR102715613B1 (ko) 2024-10-11
US20220295111A1 (en) 2022-09-15
CN115037930A (zh) 2022-09-09
CN115002459A (zh) 2022-09-02
CN115022631A (zh) 2022-09-06
KR20230058033A (ko) 2023-05-02
KR20230058343A (ko) 2023-05-03
CN115002460A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
KR102524628B1 (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
WO2019135628A1 (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
WO2013069932A1 (ko) 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
WO2012057528A2 (ko) 적응적 화면내 예측 부호화 및 복호화 방법
WO2018128466A1 (ko) 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2020251260A1 (ko) Block dpcm 예측 방법을 사용하는 비디오 신호 처리 방법 및 장치
WO2019198997A1 (ko) 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
WO2018062699A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2019194500A1 (ko) 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
JP2022521911A (ja) イントラ予測ベースのビデオ信号処理方法及び装置
WO2022114742A1 (ko) 비디오 부호화 및 복호화를 위한 장치 및 방법
WO2014073877A1 (ko) 다시점 비디오 신호의 처리 방법 및 이에 대한 장치
WO2018169267A1 (ko) 영상 부호화 또는 복호화하기 위한 장치 및 방법
KR20200136300A (ko) 인트라 모드 후보 구성 방법 및 영상 복호화 장치
WO2020231219A1 (ko) 영상 부호화 및 복호화 방법 및 장치
WO2019135636A1 (ko) Ycbcr간의 상관 관계를 이용한 영상 부호화/복호화 방법 및 장치
WO2018124686A1 (ko) 인트라 예측을 이용한 영상의 부호화 및 복호화
WO2018066874A1 (ko) 비디오 신호의 복호화 방법 및 이의 장치
WO2018128511A1 (ko) 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2019078693A1 (ko) 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2018074616A1 (ko) 블록 분할에 따른 skip 후보 리스트를 사용하는 비디오 코딩 방법 및 장치
WO2019083243A1 (ko) Sao 필터링을 위한 방법 및 장치
WO2018070567A1 (ko) 부호화 유닛의 그룹을 사용하는 비디오 코딩 방법 및 장치
WO2018074617A1 (ko) 화면 내 예측에 대한 참조 모드 리스트를 사용하는 비디오 코딩 방법 및 장치
WO2022114752A1 (ko) 효율적인 예측 및 변환을 위한 블록 분할 구조 및 이를 이용한 비디오 부호화 및 복호화를 위한 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19736274

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19736274

Country of ref document: EP

Kind code of ref document: A1