WO2020050702A1 - 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치 - Google Patents

다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
WO2020050702A1
WO2020050702A1 PCT/KR2019/011621 KR2019011621W WO2020050702A1 WO 2020050702 A1 WO2020050702 A1 WO 2020050702A1 KR 2019011621 W KR2019011621 W KR 2019011621W WO 2020050702 A1 WO2020050702 A1 WO 2020050702A1
Authority
WO
WIPO (PCT)
Prior art keywords
transform
kernel
block
length
transform kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/011621
Other languages
English (en)
French (fr)
Inventor
정재홍
손주형
김동철
고건중
곽진삼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Humax Co Ltd
Wilus Institute of Standards and Technology Inc
Original Assignee
Humax Co Ltd
Wilus Institute of Standards and Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Humax Co Ltd, Wilus Institute of Standards and Technology Inc filed Critical Humax Co Ltd
Priority to KR1020257029637A priority Critical patent/KR20250134730A/ko
Priority to KR1020217005232A priority patent/KR102858206B1/ko
Publication of WO2020050702A1 publication Critical patent/WO2020050702A1/ko
Priority to US17/185,683 priority patent/US11317118B2/en
Anticipated expiration legal-status Critical
Priority to US17/697,811 priority patent/US11570478B2/en
Priority to US18/146,597 priority patent/US11949916B2/en
Priority to US18/352,775 priority patent/US12219176B2/en
Priority to US18/352,796 priority patent/US12192525B2/en
Priority to US18/969,789 priority patent/US20250106434A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to a video signal processing method and apparatus, and more particularly, to a video signal processing method and apparatus for encoding or decoding a video signal.
  • Compression coding refers to a series of signal processing techniques for transmitting digitized information through a communication line or storing it in a form suitable for a storage medium.
  • objects such as voice, video, and text in the object of compression encoding, and a technique for performing compression encoding on an image is called video video compression.
  • Compression coding for a video signal is performed by removing excess information in consideration of spatial correlation, temporal correlation, and stochastic correlation.
  • a more efficient video signal processing method and apparatus is required.
  • An object of the present invention is to improve the coding efficiency of a video signal. Specifically, the present invention has an object to increase coding efficiency by using a transform kernel suitable for a transform block.
  • the present invention provides the following video signal processing apparatus and video signal processing method.
  • obtaining at least one transform block for a residual signal of a current block from a video signal bitstream wherein the transform blocks are two-dimensionally arranged Consisting of transform coefficients of, a horizontal transform kernel for horizontal transform of the transform block, regardless of the length of the second side of the transform block orthogonal to the first side, based on length information of the first side of the transform block Determining, based on length information of the second side, determining a vertical transform kernel for vertical transformation of the transform block regardless of the length of the first side, the horizontal transform kernel and the vertical for the transform block Obtaining a residual signal of the current block by performing an inverse transform using a transform kernel and the obtained residual
  • a video signal processing method comprising reconstructing the current block based on a signal.
  • the processor in the video signal decoding apparatus, the processor, the processor, to obtain at least one transform block for the residual signal of the current block from the video signal bitstream, the transform The block is composed of a plurality of transform coefficients arranged in two dimensions, and based on the length information of the first side of the transform block, regardless of the length of the second side of the transform block orthogonal to the first side, A horizontal transform kernel for horizontal transform is determined, and based on the length information of the second side, a vertical transform kernel for vertical transform of the transform block is determined irrespective of the length of the first side, and for the transform block, The inverse transform using the horizontal transform kernel and the vertical transform kernel is performed to obtain a residual signal of the current block, and A video signal decoding apparatus is provided that reconstructs the current block based on the obtained residual signal.
  • the horizontal transform kernel and the vertical transform kernel may be determined independently of each other according to the length of the first side corresponding to the horizontal direction of the transform block and the length of the second side corresponding to the vertical direction of the transform block.
  • the length of the first side may be the width of the transform block, and the length of the second side may be the height of the transform block.
  • the processor determines the horizontal transform kernel based on whether the length of the first side is within a preset range, and determines the vertical transform kernel based on whether the length of the second side is within a preset range. Can decide.
  • the horizontal transform kernel and the vertical transform kernel may be different from each other.
  • one may be a first transform kernel and the other may be a second transform kernel.
  • the first transform kernel is a discrete cosine transform type 2 (DCT-2) based transform kernel
  • the second transform kernel may not be the DCT-2 based transform kernel
  • the second transform kernel may be a discrete sine transform type 7, DST-7 based transform kernel.
  • the second transform kernel may be either a DST-7 based transform kernel or a discrete cosine transform type 8 (DCT-8) based transform kernel.
  • DCT-8 discrete cosine transform type 8
  • the horizontal transform kernel is the first transform kernel
  • the vertical transform kernel is the second transform kernel
  • the vertical transform kernel is the first transform kernel
  • the horizontal transform kernel is the second transform kernel
  • the preset range may represent a preset length or less. At this time, when the length of any one of the first side and the second side is greater than the preset length, and the length of the other is less than or equal to the preset length, the horizontal transformation kernel and the vertical transformation kernel are mutually can be different.
  • a processor in a video signal encoding apparatus, a processor, the processor, the horizontal transform kernel and the vertical transform kernel for the residual signal corresponding to at least one transform region of the current block Perform a transform to be used to generate a transform block for the residual signal of the current block, wherein the transform block is composed of a plurality of transform coefficients arranged in two dimensions and encodes the generated transform block to generate a bitstream.
  • the horizontal transform kernel is determined regardless of the length of the second side of the transform block orthogonal to the first side based on the length information of the first side of the transform block, and the vertical transform kernel is the length of the second side. Based on the information, a video signal encoding apparatus is provided, which is determined irrespective of the length of the first side.
  • the bitstream includes a plurality of transform coefficients encoded from a residual signal of a current block, wherein the plurality of transforms Coefficients are two-dimensionally arranged in at least one transform block for the residual signal of the current block, and restored to the residual signal through inverse transform using a horizontal transform kernel and a vertical transform kernel, and the horizontal transform kernel is the transform block Based on the length information of the first side of the, it is determined regardless of the length of the second side of the transform block orthogonal to the first side, and the vertical transformation kernel is based on the length information of the second side, the first side A computer-readable recording medium that is determined regardless of length is provided.
  • coding efficiency of a video signal may be increased.
  • a transform kernel suitable for the current transform block may be selected.
  • FIG. 1 is a schematic block diagram of a video signal encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a schematic block diagram of a video signal decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 shows an embodiment in which a coding tree unit is divided into coding units in a picture.
  • FIG. 4 shows an embodiment of a method for signaling a split of a quad tree and a multi-type tree.
  • FIG 5 and 6 more specifically illustrate an intra prediction method according to an embodiment of the present invention.
  • FIG. 7 is a diagram specifically illustrating a method in which an encoder converts a residual signal.
  • FIG. 8 is a diagram specifically showing a method in which an encoder and a decoder obtain a residual signal by inversely transforming a transform coefficient.
  • FIG. 9 is a diagram showing a basis function corresponding to each conversion type.
  • FIG. 10 is a diagram showing the size of signals for each index of the conversion type DCT-II, DCT-V, DCT-VIII, DST-I, DST-VII.
  • 11 is a diagram showing the size of signals for each index for each of the conversion types DST-IV, DCT-IV, DST-VII, and DCT-VIII.
  • FIG. 12 is a diagram showing how a transform candidate set is constructed according to a prediction mode of a current block.
  • FIG. 13 shows a horizontal transform kernel and a vertical transform kernel determined according to the set index.
  • FIG. 14 is a diagram illustrating a method of obtaining conversion-related information.
  • 15 is a diagram illustrating residual coding syntax according to another embodiment of the present invention.
  • 16 is a diagram illustrating a conversion unit syntax according to an embodiment of the present invention.
  • 17 is a view showing a vertical transform kernel and a horizontal transform kernel according to the shape of a transform block.
  • FIG. 18 is a diagram illustrating a method of determining a transform kernel based on the shape of a transform block.
  • 19 is a diagram illustrating a method in which information indicating a combination of a horizontal transform kernel and a vertical transform kernel is signaled.
  • FIG. 20 is a diagram illustrating a method in which a transform kernel set is signaled according to an embodiment of the present invention.
  • 21 is a diagram illustrating a plurality of transform kernel sets according to an embodiment of the present invention.
  • FIG. 22 is a diagram illustrating a method of determining a transform kernel applied to a transform block by a decoder according to an embodiment of the present invention.
  • FIG. 23 is a diagram illustrating a plurality of transform kernel sets according to another embodiment of the present invention.
  • FIG. 24 is a diagram illustrating a method for a decoder to determine a transform kernel applied to a transform block according to the embodiment of FIG. 23.
  • 25 is a diagram illustrating a plurality of transform kernel sets according to another embodiment of the present invention.
  • 26 is a diagram illustrating a method in which a decoder determines a transform kernel applied to a transform block according to the embodiment of FIG. 25.
  • Coding may be interpreted as encoding or decoding in some cases.
  • an apparatus for generating a video signal bitstream by encoding (coding) a video signal is referred to as an encoding apparatus or an encoder, and an apparatus for performing decoding (decoding) of a video signal bitstream to restore a video signal is decoded.
  • a device or decoder referred to as a device or decoder.
  • the video signal processing apparatus is used as a term of a concept including both an encoder and a decoder.
  • Information is a term including all of values, parameters, coefficients, elements, etc. In some cases, the meaning is interpreted differently, so the present invention is not limited thereto.
  • 'Unit' is used to mean a specific location of a basic unit or picture of image processing, and refers to an image region including at least one of a luma component and a chroma component.
  • 'block' refers to an image region including a specific component among luma components and chroma components (ie, Cb and Cr).
  • terms such as 'unit', 'block', 'partition' and 'region' may be used interchangeably.
  • a unit may be used as a concept including all of a coding unit, a prediction unit, and a transformation unit.
  • the picture indicates a field or frame, and according to an embodiment, the terms may be used interchangeably.
  • the encoding apparatus 100 of the present invention includes a transform unit 110, a quantization unit 115, an inverse quantization unit 120, an inverse transform unit 125, a filtering unit 130, and a prediction unit 150 ) And the entropy coding unit 160.
  • the conversion unit 110 obtains a transform coefficient value by converting a residual signal, which is a difference between the input video signal and the prediction signal generated by the prediction unit 150.
  • a discrete cosine transform DCT
  • DST discrete sine transform
  • a wavelet transform can be used.
  • the input picture signal is divided into blocks to perform transformation.
  • coding efficiency may vary according to the distribution and characteristics of values in the transform region.
  • the quantization unit 115 quantizes a transform coefficient value output from the transform unit 110.
  • the predictor 150 predicts a picture using an already coded region, and adds a residual value between the original picture and the predicted picture to the reconstructed picture.
  • the method of obtaining is used.
  • information that can be used in the decoder should be used when performing prediction in the encoder.
  • the encoder performs a process of restoring the encoded current block again.
  • the inverse quantization unit 120 inversely quantizes the transform coefficient value, and the inverse transform unit 125 restores the residual value using the inverse quantized transform coefficient value.
  • the filtering unit 130 performs a filtering operation for improving the quality of the reconstructed picture and improving the encoding efficiency.
  • a deblocking filter For example, a sample adaptive offset (SAO) and an adaptive loop filter may be included.
  • the filtered picture is output or stored in a decoded picture buffer (DPB, 156) for use as a reference picture.
  • DPB decoded picture buffer
  • the predictor 150 predicts a picture using a region that is already coded, and adds a residual value between the original picture and the predicted picture to the reconstructed picture.
  • the method of obtaining is used.
  • the intra prediction unit 152 performs intra-picture prediction within the current picture, and the inter prediction unit 154 predicts the current picture using the reference picture stored in the decoded picture buffer 156.
  • the intra prediction unit 152 performs intra-picture prediction from reconstructed regions in the current picture, and transmits intra-picture encoding information to the entropy coding unit 160.
  • the inter predictor 154 may further include a motion estimator 154a and a motion compensator 154b.
  • the motion estimation unit 154a obtains a motion vector value of the current region by referring to the restored specific region.
  • the motion estimation unit 154a transmits position information (reference frame, motion vector, etc.) of the reference region to the entropy coding unit 160 so that the motion estimation unit 154a may be included in the bitstream.
  • the motion compensation unit 154b performs inter-screen motion compensation by using the motion vector value transmitted from the motion estimation unit 154a.
  • the prediction unit 150 includes an intra prediction unit 152 and an inter prediction unit 154.
  • the intra prediction unit 152 performs intra prediction within the current picture, and the inter prediction unit 154 predicts the inter picture by predicting the current picture using the reference picture stored in the decoded picture buffer 156. To perform.
  • the intra prediction unit 152 performs intra prediction from reconstructed samples in the current picture, and transmits the intra encoding information to the entropy coding unit 160.
  • the intra encoding information may include at least one of an intra prediction mode, a Most Probable Mode (MPM) flag, and an MPM index.
  • the intra encoding information may include information regarding a reference sample.
  • the inter prediction unit 154 may include a motion estimation unit 154a and a motion compensation unit 154b.
  • the motion estimation unit 154a refers to a specific area of the reconstructed reference picture to obtain a motion vector value of the current area.
  • the motion estimation unit 154a transfers a set of motion information (reference picture index, motion vector information, etc.) for the reference area to the entropy coding unit 160.
  • the motion compensation unit 154b performs motion compensation using the motion vector value transmitted from the motion estimation unit 154a.
  • the inter prediction unit 154 transmits inter encoding information including motion information for a reference region to the entropy coding unit 160.
  • the prediction unit 150 may include an intra block copy (BC) prediction unit (not shown).
  • the intra BC prediction unit performs intra BC prediction from reconstructed samples in the current picture, and transmits the intra BC encoding information to the entropy coding unit 160.
  • the intra BC predictor obtains a block vector value indicating a reference region used for prediction of the current region by referring to a specific region in the current picture.
  • the intra BC prediction unit may perform intra BC prediction using the obtained block vector value.
  • the intra BC prediction unit transmits the intra BC encoding information to the entropy coding unit 160.
  • the intra BC encoding information may include block vector information.
  • the transform unit 110 converts a residual value between the original picture and the predicted picture to obtain a transform coefficient value.
  • the transformation may be performed in a specific block unit within a picture, and the size of a specific block may be varied within a preset range.
  • the quantization unit 115 quantizes a transform coefficient value generated by the transform unit 110 and transmits the quantized value to the entropy coding unit 160.
  • the entropy coding unit 160 entropy-codes information indicating quantized transform coefficients, intra-coding information, and inter-coding information to generate a video signal bitstream.
  • a variable length coding (VLC) method converts input symbols into successive codewords, but the length of the codewords may be variable. For example, frequently occurring symbols are expressed as short codewords, and less frequently occurring symbols are expressed as long codewords.
  • VLC variable length coding
  • CAVLC context-based adaptive variable length coding
  • Arithmetic coding converts consecutive data symbols into a single decimal point, and arithmetic coding can obtain the optimal number of decimal bits needed to represent each symbol.
  • Context-based Adaptive Binary Arithmetic Code may be used as the arithmetic coding.
  • CABAC Context-based Adaptive Binary Arithmetic Code
  • the entropy coding unit 160 may binarize information representing quantized transform coefficients. Also, the entropy coding unit 160 may arithmetic code the binarized information to generate a bitstream.
  • the generated bitstream is encapsulated in a network abstraction layer (NAL) unit as a basic unit.
  • NAL network abstraction layer
  • the NAL unit includes an integer number of coded coding tree units.
  • the bitstream In order to decode a bitstream in a video decoder, the bitstream must first be divided into NAL unit units, and then each separated NAL unit must be decoded. Meanwhile, information necessary for decoding a video signal bitstream includes a high-level set such as a picture parameter set (PPS), a sequence parameter set (SPS), and a video parameter set (VPS). It can be transmitted through the RBSP (Raw Byte Sequence Payload).
  • PPS picture parameter set
  • SPS sequence parameter set
  • VPN video parameter set
  • FIG. 1 shows an encoding apparatus 100 according to an embodiment of the present invention, and the separately displayed blocks are logically distinguished elements of the encoding apparatus 100. Accordingly, the elements of the above-described encoding apparatus 100 may be mounted as one chip or as a plurality of chips depending on the design of the device. According to an embodiment, the operation of each element of the above-described encoding apparatus 100 may be performed by a processor (not shown).
  • the decoding apparatus 200 of the present invention includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 225, a filtering unit 230, and a prediction unit 250.
  • the entropy decoding unit 210 entropy decodes the video signal bitstream, and extracts transform coefficient information, intra encoding information, and inter encoding information for each region. For example, the entropy decoding unit 210 may obtain a binarization code for transform coefficient information of a specific region from a video signal bitstream. Also, the entropy decoding unit 210 inversely binarizes the binarization code to obtain quantized transform coefficients. The inverse quantization unit 220 inverse quantizes the quantized transform coefficient, and the inverse transform unit 225 restores a residual value using the inverse quantized transform coefficient. The video signal processing apparatus 200 restores the original pixel value by summing the residual value obtained by the inverse transform unit 225 with the predicted value obtained by the predictor 250.
  • the filtering unit 230 performs filtering on the picture to improve image quality. This may include a deblocking filter for reducing block distortion and / or an adaptive loop filter for removing distortion of the entire picture.
  • the filtered picture is output or stored in a decoded picture buffer (DPB, 256) for use as a reference picture for the next picture.
  • DPB decoded picture buffer
  • the prediction unit 250 includes an intra prediction unit 252 and an inter prediction unit 254.
  • the prediction unit 250 generates a prediction picture by using the encoding type decoded by the entropy decoding unit 210 described above, transformation coefficients for each region, and intra / inter encoding information.
  • a decoded region of the current picture or other pictures including the current block may be used.
  • Intra-picture or I-picture (or tile / slice), intra-prediction, inter-prediction, and intra-BC prediction are used for pictures (or tiles / slices) that use only the current picture for reconstruction, that is, perform intra prediction or intra BC prediction.
  • the picture (or tile / slice) that can be performed is called an inter picture (or tile / slice).
  • a picture (or tile / slice) using at least one motion vector and a reference picture index to predict sample values of each block among inter pictures (or tiles / slices) is a predictive picture or a P picture (or , Tile / slice), and a picture (or tile / slice) using up to two motion vectors and a reference picture index is referred to as a bi-predictive picture or a B picture (or tile / slice).
  • the P picture (or tile / slice) uses up to one set of motion information to predict each block
  • the B picture (or tile / slice) uses up to two motion information to predict each block.
  • the motion information set includes one or more motion vectors and one reference picture index.
  • the intra prediction unit 252 generates a prediction block using intra encoding information and reconstructed samples in the current picture.
  • the intra encoding information may include at least one of an intra prediction mode, a Most Probable Mode (MPM) flag, and an MPM index.
  • MPM Most Probable Mode
  • the intra prediction unit 252 predicts the sample values of the current block by using the reconstructed samples located on the left and / or upper side of the current block as reference samples.
  • reconstructed samples, reference samples, and samples of the current block may represent pixels. Also, sample values may represent pixel values.
  • the reference samples may be samples included in a neighboring block of the current block.
  • the reference samples may be samples adjacent to the left boundary of the current block and / or samples adjacent to the upper boundary.
  • reference samples are located on a line within a predetermined distance from the upper boundary of the current block and / or samples positioned on a predetermined distance from the left boundary of the current block among samples of the neighboring block of the current block.
  • the neighboring blocks of the current block are the left (L) block, the upper (A) block, the lower left (Blow Left, BL) block, the upper right (Above Right, AR) block or the upper left (Above Left,) adjacent to the current block.
  • AL It may include at least one of the blocks.
  • the inter prediction unit 254 generates a prediction block using reference pictures and inter encoding information stored in the decoded picture buffer 256.
  • the inter-coding information may include a set of motion information (reference picture index, motion vector information, etc.) of the current block for the reference block.
  • Inter prediction may include L0 prediction, L1 prediction, and bi-prediction.
  • L0 prediction refers to prediction using one reference picture included in the L0 picture list
  • L1 prediction refers to prediction using one reference picture included in the L1 picture list.
  • one set of motion information eg, motion vector and reference picture index
  • up to two reference regions can be used, and these two reference regions may exist in the same reference picture or may exist in different pictures.
  • two motion vectors may correspond to the same reference picture index or different reference picture indexes. It may correspond.
  • the reference pictures may be displayed (or output) both before and after the current picture in time.
  • two reference regions used may be regions selected from each of the L0 picture list and the L1 picture list.
  • the inter prediction unit 254 may obtain a reference block of the current block using a motion vector and a reference picture index.
  • the reference block is in a reference picture corresponding to a reference picture index.
  • a sample value of a block specified by a motion vector or an interpolated value thereof may be used as a predictor of the current block.
  • an 8-tap interpolation filter for a luma signal and a 4-tap interpolation filter for a chroma signal can be used.
  • the interpolation filter for motion prediction in subpel units is not limited thereto. In this way, the inter prediction unit 254 performs motion compensation to predict the texture of the current unit from the previously reconstructed picture. At this time, the inter prediction unit may use a motion information set.
  • the prediction unit 250 may include an intra BC prediction unit (not shown).
  • the intra BC prediction unit may reconstruct the current region by referring to a specific region including reconstructed samples in the current picture.
  • the intra BC prediction unit obtains intra BC encoding information for the current region from the entropy decoding unit 210.
  • the intra BC prediction unit acquires a block vector value of the current region indicating a specific region in the current picture.
  • the intra BC prediction unit may perform intra BC prediction using the obtained block vector value.
  • the intra BC encoding information may include block vector information.
  • the reconstructed video picture is generated by adding the predicted value output from the intra predictor 252 or the inter predictor 254 and the residual value output from the inverse transform unit 225. That is, the video signal decoding apparatus 200 reconstructs the current block using the prediction block generated by the prediction unit 250 and the residual obtained from the inverse transformation unit 225.
  • FIG. 2 shows the decoding apparatus 200 according to an embodiment of the present invention, and the separately displayed blocks are logically distinguished elements of the decoding apparatus 200. Therefore, the elements of the above-described decoding apparatus 200 may be mounted as one chip or as a plurality of chips depending on the design of the device. According to an embodiment, the operation of each element of the above-described decoding apparatus 200 may be performed by a processor (not shown).
  • FIG. 3 illustrates an embodiment in which a coding tree unit (CTU) is divided into coding units (CUs) in a picture.
  • CTU coding tree unit
  • CUs coding units
  • a picture may be divided into a sequence of coding tree units (CTUs).
  • the coding tree unit consists of an NXN block of luma samples and two blocks of chroma samples corresponding thereto.
  • the coding tree unit may be divided into a plurality of coding units.
  • the coding tree unit is not split and may be a leaf node. In this case, the coding tree unit itself may be a coding unit.
  • the coding unit refers to a basic unit for processing pictures in the process of processing the video signal described above, that is, intra / inter prediction, transform, quantization, and / or entropy coding.
  • the size and shape of the coding unit in one picture may not be constant.
  • the coding unit may have a square or rectangular shape.
  • the rectangular coding unit (or rectangular block) includes a vertical coding unit (or vertical block) and a horizontal coding unit (or horizontal block).
  • the vertical block is a block whose height is greater than the width
  • the horizontal block is a block whose width is greater than the height.
  • a non-square block may refer to a rectangular block, but the present invention is not limited thereto.
  • the coding tree unit is first divided into a quad tree (QT) structure. That is, one node having a size of 2NX2N in a quad tree structure may be divided into four nodes having a size of NXN.
  • the quad tree may also be referred to as a quaternary tree. Quad tree splitting can be performed recursively, and not all nodes need to be split to the same depth.
  • the leaf node of the above-described quad tree may be further divided into a multi-type tree (MTT) structure.
  • MTT multi-type tree
  • one node in a multi-type tree structure, one node may be divided into a binary (binary) or ternary (ternary) tree structure of horizontal or vertical division. That is, in the multi-type tree structure, there are four division structures: vertical binary partitioning, horizontal binary partitioning, vertical ternary partitioning, and horizontal ternary partitioning.
  • the width and height of the nodes may all have powers of 2.
  • a node of size 2NX2N may be divided into two NX2N nodes by vertical binary partitioning, and divided into two 2NXN nodes by horizontal binary partitioning.
  • a 2NX2N sized node is divided into (N / 2) X2N, NX2N, and (N / 2) X2N nodes by vertical ternary splitting, and horizontal binary splitting. It can be divided into 2NX (N / 2), 2NXN and 2NX (N / 2) nodes. This multi-type tree splitting can be performed recursively.
  • the leaf node of the multi-type tree can be a coding unit. If the division for a coding unit is not indicated or the coding unit is not large compared to the maximum transform length, the coding unit is used as a unit of prediction and transformation without further division. On the other hand, at least one of the following parameters in the above-described quad tree and multi-type tree may be predefined or transmitted through an RBSP of a higher level set such as PPS, SPS, VPS, and the like.
  • Preset flags may be used to signal the splitting of the above-described quad tree and multi-type tree.
  • a flag 'qt_split_flag' indicating whether to split the quad tree node
  • a flag 'mtt_split_flag' indicating whether to split the multi-type tree node
  • a flag 'mtt_split_vertical_flag indicating a split direction of the multi-type tree node 'Or at least one of the flags' mtt_split_binary_flag' indicating a split shape of a multi-type tree node
  • the coding tree unit is a root node of a quad tree, and may be first divided into a quad tree structure.
  • 'qt_split_flag' is signaled for each node 'QT_node'.
  • the corresponding node is divided into 4 square nodes.
  • the node becomes a leaf node of the quad tree, 'QT_leaf_node'.
  • Each quad tree leaf node 'QT_leaf_node' may be further divided into a multi-type tree structure.
  • 'mtt_split_flag' is signaled for each node 'MTT_node'.
  • the value of 'mtt_split_flag' is 1, the corresponding node is divided into a plurality of rectangular nodes.
  • the value of 'mtt_split_flag' is 0, the node becomes a leaf node of the multi-type tree, 'MTT_leaf_node'.
  • 'mtt_split_vertical_flag' When the multi-type tree node 'MTT_node' is divided into a plurality of rectangular nodes (that is, when the value of 'mtt_split_flag' is 1), 'mtt_split_vertical_flag' and 'mtt_split_binary_flag' for the node 'MTT_node' are additionally signaled You can.
  • the value of 'mtt_split_vertical_flag' When the value of 'mtt_split_vertical_flag' is 1, vertical division of the node 'MTT_node' is indicated, and when the value of 'mtt_split_vertical_flag' is 0, horizontal division of the node 'MTT_node' is indicated.
  • the node 'MTT_node' is divided into 2 rectangular nodes, and when the value of 'mtt_split_binary_flag' is 0, the node 'MTT_node' is divided into 3 rectangular nodes.
  • Picture prediction (motion compensation) for coding is performed on coding units that are no longer divided (ie, leaf nodes of the coding unit tree).
  • the basic unit for performing such prediction is hereinafter referred to as a prediction unit or a prediction block.
  • the term unit used in the present specification may be used as a term to replace the prediction unit, which is a basic unit for performing prediction.
  • the present invention is not limited to this, and may be more broadly understood as a concept including the coding unit.
  • the intra prediction unit predicts sample values of the current block by using the reconstructed samples located on the left and / or upper side of the current block as reference samples.
  • FIG. 5 shows an embodiment of reference samples used for prediction of a current block in an intra prediction mode.
  • the reference samples may be samples adjacent to the left boundary of the current block and / or samples adjacent to the upper boundary.
  • a maximum of 2W + 2H + 1 located on the left and / or upper side of the current block Reference samples may be set using the dog's surrounding samples.
  • the intra prediction unit may obtain a reference sample by performing a reference sample padding process. Also, the intra prediction unit may perform a reference sample filtering process to reduce errors in intra prediction. That is, the filtered reference samples may be obtained by performing filtering on the reference samples obtained by the neighboring samples and / or the reference sample padding process. The intra prediction unit predicts samples of the current block using the reference samples thus obtained. The intra prediction unit predicts samples of the current block using unfiltered reference samples or filtered reference samples.
  • peripheral samples may include samples on at least one reference line. For example, surrounding samples may include adjacent samples on a line adjacent to the border of the current block.
  • FIG. 6 shows an embodiment of prediction modes used for intra prediction.
  • intra prediction mode information indicating an intra prediction direction may be signaled.
  • the intra prediction mode information indicates one of a plurality of intra prediction modes constituting the intra prediction mode set.
  • the decoder receives intra prediction mode information of the current block from the bitstream.
  • the intra prediction unit of the decoder performs intra prediction on the current block based on the extracted intra prediction mode information.
  • the intra prediction mode set may include all intra prediction modes used for intra prediction (eg, a total of 67 intra prediction modes). More specifically, the intra prediction mode set may include a planar mode, a DC mode, and a plurality of (eg, 65) angular modes (ie, directional modes). Each intra prediction mode may be indicated through a preset index (ie, intra prediction mode index). For example, as shown in FIG. 6, the intra prediction mode index 0 indicates a flat mode, and the intra prediction mode index 1 indicates a DC mode. Also, the intra prediction mode indexes 2 to 66 may indicate different angular modes, respectively. The angle modes respectively indicate different angles within a preset angle range.
  • the angle mode may indicate an angle within an angular range (ie, a first angular range) between 45 degrees and -135 degrees clockwise.
  • the angle mode may be defined based on the 12 o'clock direction.
  • the intra prediction mode index 2 indicates a horizontal diagonal (HDIA) mode
  • the intra prediction mode index 18 indicates a horizontal (Horizontal, HOR) mode
  • the intra prediction mode index 34 indicates a diagonal (Diagonal, DIA).
  • the intra prediction mode index 50 indicates a vertical (VER) mode
  • the intra prediction mode index 66 indicates a vertical diagonal (VDIA) mode.
  • a method of quantizing the transform coefficient value obtained by transforming the residual signal and coding the quantized transform coefficient may be used instead of coding the residual signal as described above.
  • the conversion unit may convert the residual signal to obtain a conversion coefficient value.
  • the residual signal of a specific block may be distributed over all areas of the current block. Accordingly, it is possible to improve coding efficiency by concentrating energy in a low-frequency region through frequency-domain conversion for a residual signal.
  • a method of transforming or inversely transforming a residual signal will be described in detail.
  • the residual signal in the spatial domain may be converted into the frequency domain.
  • the encoder may obtain a transform coefficient by transforming the obtained residual signal.
  • the encoder may acquire at least one residual block including a residual signal for the current block.
  • the residual block may be either the current block or blocks divided from the current block.
  • a residual block may be referred to as a residual array or residual matrix including residual samples of the current block.
  • the residual block may represent a block having the same size as a transform unit or a transform block.
  • the transform kernel used for transform for the residual block may be a transform kernel having separable characteristics of vertical transform and horizontal transform.
  • the transform for the residual block may be performed separately in a vertical transform and a horizontal transform.
  • the encoder may perform a vertical transformation by applying a transformation kernel in the vertical direction of the residual block.
  • the encoder may perform a horizontal transformation by applying a transformation kernel in the horizontal direction of the residual block.
  • the transform kernel may be used as a term referring to a set of parameters used for transforming a residual signal, such as transform matrix, transform array, transform function, and transform.
  • the conversion kernel may be any one of a plurality of available kernels.
  • a transform kernel based on different transform types may be used for each of the vertical transform and horizontal transform. A method of selecting one of a plurality of available conversion kernels will be described later with reference to FIGS. 12 to 26.
  • the encoder may quantize the transformed block converted from the residual block by passing it to a quantization unit.
  • the transform block may include a plurality of transform coefficients.
  • the transform block may be composed of a plurality of transform coefficients arranged in two dimensions.
  • the size of the transform block may be the same as either the current block or a block partitioned from the current block.
  • the transform coefficients transmitted to the quantization unit may be expressed as quantized values.
  • the encoder can perform additional transforms before the transform coefficients are quantized.
  • the above-described transform method may be referred to as a primary transform, and additional transforms may be referred to as a secondary transform.
  • Secondary transform may be optional for each residual block.
  • the encoder may improve coding efficiency by performing a secondary transform on a region in which it is difficult to concentrate energy in a low-frequency region by using only the primary transform.
  • a quadratic transformation may be added to a block in which residual values are large in a direction other than the horizontal or vertical direction of the residual block.
  • the residual values of the intra predicted block may be more likely to change in a direction other than the horizontal or vertical direction compared to the residual values of the inter predicted block.
  • the encoder may additionally perform quadratic transformation on the residual signal of the intra predicted block.
  • the encoder may omit the secondary transform on the residual signal of the inter-predicted block.
  • whether to perform the secondary transform may be determined according to the size of the current block or residual block.
  • conversion kernels having different sizes according to the size of the current block or the residual block may be used.
  • 8X8 quadratic transformation may be applied to a block in which the length of the shorter side among the width or height is shorter than the first preset length.
  • 4X4 quadratic transformation may be applied to a block in which the length of the shorter side among the width or height is longer than the second preset length.
  • the first preset length may be a value greater than the second preset length, but the present disclosure is not limited thereto.
  • the second-order transform may not be performed separately as a vertical transform and a horizontal transform. This quadratic transform may be referred to as a low frequency non-separable transform (LFNST).
  • LFNST low frequency non-separable transform
  • Whether to perform transformation on the residual signal in a specific region may be determined by syntax elements related to transformation in a specific region.
  • the syntax element may include transform skip information.
  • the transform skip information may be a transform skip flag.
  • the above-described conversion-related syntax elements may be information parsed from a video signal bitstream.
  • the decoder may entropy decode the video signal bitstream to obtain transformation related syntax elements.
  • the encoder may entropy code transformation-related syntax elements to generate a video signal bitstream.
  • the inverse transform unit may inverse transform the inverse-quantized transform coefficient to obtain a residual signal.
  • the inverse transform unit may detect whether an inverse transform for a corresponding region is performed from a syntax element related to transform of a specific region. According to an embodiment, when a transform-related syntax element for a specific transform block indicates a transform skip, the transform for the transform block may be omitted.
  • both the primary inverse transform and the secondary inverse transform described above for the transform block may be omitted.
  • the inverse quantized transform coefficient can be used as a residual signal.
  • the decoder may reconstruct the current block using an inverse quantized transform coefficient as a residual signal.
  • a syntax element related to a transform for a specific transform block may not indicate a transform skip.
  • the inverse transform unit may determine whether to perform the second inverse transform on the second transform. For example, when the transform block is a transform block of an intra-predicted block, a secondary inverse transform on the transform block may be performed. Also, a secondary transform kernel used for the transform block may be determined based on an intra prediction mode corresponding to the transform block. As another example, whether to perform the second inverse transform may be determined based on the size of the transform block. The second inverse transform may be performed after the inverse quantization process and before the first inverse transform is performed.
  • the inverse transform unit may perform a first inverse transform on an inverse quantized transform coefficient or a second inverse transform transform coefficient.
  • the first-order inverse transform like the first-order transform, it can be performed separately as a vertical transform and a horizontal transform.
  • the inverse transform unit may obtain a residual block by performing vertical inverse transform and horizontal inverse transform on the transform block.
  • the inverse transform unit may inversely transform the transform block based on the transform kernel used for transform of the transform block.
  • the encoder may explicitly or implicitly signal information indicating a transform kernel applied to a current transform block among a plurality of transform kernels available.
  • the decoder may select a transform kernel to be used for inverse transform of a transform block among a plurality of available transform kernels using information indicating the signaled transform kernel.
  • the inverse transform unit may reconstruct the current block using the residual signal obtained through the inverse transform of the transform coefficients.
  • the distribution of the residual signal of the picture may be different for each region.
  • the residual signal in a specific region may have a different distribution of values according to a prediction method.
  • coding efficiency may vary for each transformation region according to distribution and characteristics of values in the transformation region. Accordingly, when adaptively selecting a transform kernel used for transforming a specific transform block among a plurality of available transform kernels, coding efficiency may be further improved. That is, the encoder and decoder may be configured to additionally use a conversion kernel other than the default conversion kernel when converting a video signal.
  • a method of adaptively selecting a transform kernel may be referred to as adaptive multiple core transform (AMT) or multiple transform selection (MTS).
  • a method for adaptively selecting the transform kernel will be described later with reference to the related drawings.
  • conversion and inverse conversion are collectively referred to as conversion for convenience of description.
  • the transform kernel and the inverse transform kernel are collectively referred to as a transform kernel.
  • the transform kernel may be a kernel derived based on a specific basis function.
  • Each of the plurality of different transform kernels may be obtained based on different basis functions.
  • a plurality of transform kernels may be obtained based on a base function corresponding to each of the different transform types.
  • a transform kernel usable for transforming a video residual signal is a transform kernel based on a discrete cosine transform type-II (DCT-II), a discrete cosine transform type 5 -V, DCT-V) based conversion kernel, discrete cosine transform type 8 (VIII, DCT-VIII) based conversion kernel, discrete sine transform type 1 (discrete sine transform type-I, DST-I) ) And a transform kernel based on discrete sine transform type-II (DST-VII).
  • DCT-II discrete cosine transform type-I
  • DCT-V discrete cosine transform type 5 -V, DCT-V
  • VIII, DCT-VIII discrete cosine transform type 8
  • discrete sine transform type 1 discrete sine transform type-I, DST-I
  • DST-VII discrete sine transform type-I
  • base functions corresponding to the aforementioned conversion types DCT-II, DCT-V, DCT-VIII, DST-I, and DST-VII may be expressed as functions of cosine or sine.
  • the base functions corresponding to each of DCT-II, DCT-V, and DCT-VIII may be cosine functions
  • the base functions corresponding to each of DST-I and DST-VII may be sine functions.
  • the basis function corresponding to a specific conversion type may be represented as a basis function for each frequency bin.
  • the basis function Ti (j) may be a basis function corresponding to the i-th frequency bin. That is, the smaller the value i represents, the more the base function corresponding to the lower frequency. In addition, the larger the value i represents, the higher the frequency corresponds to the base function.
  • j may represent an integer between 0 and N-1.
  • the basis function Ti (j) may be expressed as a two-dimensional matrix representing elements of the j-th column of the i-th row.
  • the transform using transform kernels based on the transform type of FIG. 9 has separable characteristics in performing the transform. That is, for the residual signal, transformation in each of the horizontal direction and the vertical direction may be performed separately.
  • a transform using transform matrix T for residual block X may be represented by matrix operation TXT '.
  • the inverse transform using the transform matrix T for the transform block Y can be represented by T'YT.
  • the values of the transformation matrix defined by the basis function illustrated in FIG. 9 may be in the form of a decimal number rather than an integer. It may be difficult to implement decimal values in hardware in a video encoding device and a decoding device. Therefore, an integer approximated transform kernel from an original transform kernel containing decimal values can be used for encoding and decoding a video signal.
  • An approximate transform kernel containing integer values can be generated through scaling and rounding for a circular transform kernel.
  • the integer value included in the approximated transform kernel may be a value within a range that can be represented by a preset number of bits. The preset number of bits may be 8-bit or 10-bit. Depending on the approximation, the orthonormal nature of DCT and DST may not be maintained. However, since the coding efficiency loss is not large accordingly, it may be advantageous in terms of hardware implementation to approximate the transform kernel to an integer form.
  • 10 is a diagram showing the size of a signal for each index of the conversion type DCT-II, DCT-V, DCT-VIII, DST-I, DST-VII.
  • 10 shows a form of a base function corresponding to the lowest frequency bin among base functions for each frequency bin.
  • 10 shows a basis function corresponding to the 0th frequency bin among the basis functions for each frequency bin.
  • the vertical axis represents the magnitude value of the signal.
  • N represents the number of samples in a specific area to be converted.
  • DST-VII tends to increase the signal size as index j increases. Accordingly, DST-VII transforms a residual block in which the magnitude of the residual signal increases as the distance in the horizontal and vertical directions increases with respect to the upper left corner of the residual block, such as the residual block of the intra predicted block. Can be efficient.
  • DCT-VIII tends to decrease in signal size as index j increases. That is, DCT-VIII satisfies DST-VII and duality characteristics. Therefore, DCT-VIII may be efficient for transforming a residual block in which the size of the residual signal decreases as the distance in the horizontal and vertical directions increases with respect to the upper left end of the residual block.
  • DST-I tends to increase the signal size as the index j in the base function increases, and then decrease the signal size starting from a specific index. Therefore, it may be efficient for transforming a residual block having a large residual signal in a central portion of the residual block.
  • the 0th base function of DCT-II represents DC. Therefore, the signal size distribution in the residual block may be efficient for transforming the uniform block.
  • DCT-V is similar to DCT-II, but has a smaller signal size when index j is 0 than the signal size when index j is not 0. That is, when the index j is 1, it has a signal model of a straight line.
  • transformation in each of the horizontal and vertical directions of the residual block may be performed.
  • the transformation on the residual block may be performed through two two-dimensional matrix multiplication operations.
  • the matrix multiplication operation may be accompanied by a computational amount higher than a predetermined level. Accordingly, when transforming a residual block using a DCT-II based conversion kernel, it is possible to reduce a computation amount using a butterfly structure.
  • the implementation complexity of DST-VII and DCT-VIII is relatively high, which may be difficult to implement in terms of computational complexity. Accordingly, a conversion type having relatively low implementation complexity while having similar characteristics to DST-VII and DCT-VIII may be used.
  • the discrete sine transform type-IV (DST-IV) and the discrete cosine transform type-IV (DCT-IV) are DST-VII and DCT-, respectively. It can replace VIII.
  • 11 is a diagram showing the size of signals for each index for each of the conversion types DST-IV, DCT-IV, DST-VII, and DCT-VIII.
  • 11 (a) shows a base function corresponding to DST-IV and a base function corresponding to DCT-IV.
  • DST-IV and DCT-IV for sample number N can be derived from DCT-II for sample number 2N. That is, the DCT-II partial butterfly structure for sample number 2N includes DCT-IV for sample number N.
  • DST-IV for sample number N can be implemented by ordering the sign inversion operation and the corresponding base function in reverse order from DCT-IV for sample number N.
  • DST-IV shows a signal model similar to DST-VII. Accordingly, DST-IV is effective for transforming a residual block in which the size of the residual signal increases as the distance in the horizontal and vertical directions increases with respect to the upper left corner of the residual block, such as the residual block of the intra predicted block. You can.
  • DCT-IV represents a signal model similar to DCT-VIII. Accordingly, the DCT-IV may be efficient for converting a residual block in which a residual signal has a large size at a specific boundary and a residual signal has a smaller size from the boundary to another boundary.
  • the encoder and decoder can improve coding efficiency by using a transform kernel selected for each region among a plurality of usable transform kernels in transforming a residual signal.
  • a residual signal is converted using a DCT-II-based conversion kernel among the above-mentioned plurality of conversion types, and DST-VII-based conversion is performed only for intra-predicted 4X4 sized blocks.
  • the residual signal was converted using a limited kernel.
  • DCT-II may be suitable for transforming a residual signal of an inter predicted block, but may not be suitable for transforming a residual signal of an intra predicted block. That is, according to the method in which the current block is predicted, the pattern of the residual signal in the residual block may be changed.
  • At least one selected from a plurality of available conversion kernels may be used for conversion of a specific conversion block.
  • the encoder and decoder may select a transform kernel for at least one transform region of the current block based on how the current block is predicted.
  • Such a method may be referred to as adaptive multi-core transformation (AMT) described above.
  • AMT adaptive multi-core transformation
  • the encoder and the decoder may select a transform kernel used for at least one transform region of the current block based on a set of transform candidates corresponding to the current block.
  • the transform candidate set may include a plurality of candidate transform kernels.
  • the set of transform candidates may include different candidate transform kernels according to the prediction mode of the current block.
  • the current block may be a block predicted based on any one of a plurality of intra prediction modes.
  • the pattern of the residual signal of the current block may be changed depending on the intra prediction mode used for prediction of the current block.
  • the intra prediction mode information may indicate an intra prediction direction. Accordingly, the pattern of the residual signal of the current block may be changed according to the prediction direction indicated by the intra prediction mode information of the current block.
  • the encoder and the decoder may improve coding efficiency by using a plurality of sets of transform candidates different according to prediction directions.
  • the encoder and decoder can determine a transform kernel to be used in the transform region of the current block from a set of transform candidates corresponding to the intra prediction mode of the current block.
  • the transform kernel to be used for the transform region may be signaled through a candidate index indicating any one of a plurality of candidate transform kernels included in the transform candidate set.
  • the candidate index indicating the transform kernel used in the transform region may be represented by 1-bit.
  • transform candidate sets may be used for each of the vertical and horizontal directions of the transform region. Due to the characteristics of the intra prediction method predicted based on the directionality, the vertical pattern and the horizontal pattern of the residual signal of the predicted region may be different from each other. Therefore, the vertical transform kernel and the horizontal transform kernel for a block predicted using a specific intra prediction mode can be obtained from separate transform candidate sets.
  • a transform kernel used for vertical transform of a specific transform region may be referred to as a vertical transform kernel.
  • a transform kernel used for horizontal transform of a specific transform region may be referred to as a horizontal transform kernel.
  • 12 (a) shows a transform candidate set corresponding to each of the 67 intra prediction mode indices.
  • V vertical
  • H horizontal
  • V vertical
  • H horizontal transform candidates for the horizontal transform kernel.
  • the first transform candidate set (eg, Transform Set 0 in FIG. 12 (b)) may include a candidate transform kernel based on DST-VII and a candidate transform kernel based on DCT-VIII.
  • the second transform candidate set (eg, Transform Set 1 of FIG. 12 (b)) may include a candidate transform kernel based on DST-VII and a candidate transform kernel based on DST-I.
  • the third transform candidate set (for example, Transform Set 2 in FIG. 12 (b)) may include a candidate transform kernel based on DST-VII and a candidate transform kernel based on DCT-V. 12, the transform candidate set is illustrated as including two candidate transform kernels, but the present disclosure is not limited thereto.
  • the current block may be an inter-predicted block.
  • the transform kernel used in the transform region of the current block may be obtained from a preset transform candidate set.
  • the preset transform candidate set may be any one of the plurality of transform candidate sets described above.
  • 12 (c) shows a set of transform candidates corresponding to the current block when the current block is an inter prediction block.
  • the preset transform candidate set corresponding to the inter prediction block may include a candidate transform kernel based on DCT-VIII and a candidate transform kernel based on DST-VII. That is, the transform kernel used in the transform region of the inter prediction block may be any one of a candidate transform kernel based on DCT-VIII and a candidate transform kernel based on DST-VII.
  • the above-described embodiments may be limitedly applied only to a transform block of luma components.
  • a predetermined default transform kernel may be used for the transform block of the chroma component.
  • the basic conversion kernel may be a DCT-II based conversion kernel.
  • the encoder may not signal the candidate index according to the number of non-zero transform coefficients in the transform region.
  • the decoder can determine the transform kernel by comparing the number of non-zero transform coefficients in the transform region with a preset number. For example, if the number of non-zero transform coefficients is one or two, the candidate index may not be signaled.
  • the inverse transform unit may perform transform using a preset transform kernel for the corresponding region.
  • the preset conversion kernel may be a conversion kernel based on DST-VII.
  • the encoder may signal conversion kernel information indicating a conversion kernel for a specific area residual signal.
  • the decoder may acquire a transform kernel for a corresponding region using signaled transform kernel information.
  • the transform kernel information may include at least one of information representing a horizontal transform kernel of a corresponding region or vertical transform kernel of a corresponding region. This method may be referred to as Multiple Transform Selection (MTS) described above.
  • MTS Multiple Transform Selection
  • the conversion kernel may be indicated by any one of the kernel indexes representing each of a plurality of available conversion kernels.
  • the conversion kernel corresponding to kernel index '0' is a conversion kernel based on DCT-II
  • the conversion kernel corresponding to kernel index '1' is a conversion kernel based on DST-VII
  • kernel index '2 The conversion kernel corresponding to 'may be a conversion kernel based on DCT-VIII.
  • the transform kernel information may be a set index representing a set of transform kernels.
  • the transform kernel set may represent a combination of a transform kernel to be used as a vertical transform kernel and a transform kernel to be used as a horizontal transform kernel.
  • the set index may indicate a combination of a kernel index indicating a horizontal transform kernel and a kernel index indicating a vertical transform kernel.
  • the transform kernel information of a specific region indicates a set index indicating a first transform kernel set (eg, when tu_mts_idx [x0] [y0] in FIG. 13 (a) is 0).
  • the vertical conversion kernel of the corresponding area may be a conversion kernel corresponding to the kernel index '0'.
  • the horizontal conversion kernel of the corresponding area may be a conversion kernel corresponding to the kernel index '0'.
  • the transform kernel corresponding to the first kernel index '0' may indicate a transform kernel based on DCT-II.
  • the conversion kernel corresponding to the second kernel index '1' may indicate a conversion kernel based on DST-VII.
  • the conversion kernel corresponding to the third kernel index '2' may indicate a conversion kernel based on DCT-VIII.
  • the above-described embodiments may be limitedly applied only to the luma block.
  • a preset default conversion kernel may be used for the chroma component.
  • the basic conversion kernel may be a DCT-II based conversion kernel.
  • the aforementioned set index may be signaled in units of transform blocks.
  • information indicating whether the set index is signaled may be signaled through a header of a higher level including the current block.
  • the higher level may indicate a slice / tile, a picture or a sequence including the current block.
  • information indicating whether or not signaling for the set index may be signaled through individual flags for each prediction method. For example, in determining the transform kernel of a block, a flag indicating whether a set index is used may be set independently for each of the intra predicted block and the inter predicted block.
  • the transform kernel when information indicating whether signaling of a high-level set index including a transform block indicates that the set index is not explicitly signaled, the transform kernel may be determined in a different manner for the transform block. .
  • the transform kernel to be applied to the inverse transform of the current transform block may be determined based on information derived from information other than the set index.
  • the decoder may derive information indicating a transform kernel for the current transform block from information signaled in connection with the current transform block. That is, information indicating the vertical transform kernel to be used for the transform block and information indicating the horizontal transform kernel may be signaled implicitly.
  • the decoder converts the transform kernel for the transform block based on the signaled set index. Can be obtained.
  • the encoder may determine whether the set index is signaled according to the number of non-zero transform coefficients in the transform region.
  • the decoder can determine the transform kernel by comparing the number of non-zero transform coefficients in the transform region with a preset number. For example, if the number of non-zero transform coefficients is two or less, the set index may not be signaled.
  • the inverse transform unit may perform transform using a preset transform kernel for the corresponding region.
  • the preset conversion kernel may be a conversion kernel based on DST-VII.
  • the transform of the residual signal of the current block and the inverse transform of the transform coefficient may be performed for each transform block.
  • the current block may be composed of at least one transform block. That is, the transform block may be the current block itself or a block divided from the current block. When the transform block is the current block itself, the size of the transform block may be the same as the size of the current block. According to an embodiment, the current block may be divided into a plurality of transform blocks based on the size of the current block. For example, if the size of the current block is larger than the maximum transform size, the current block may be divided into a plurality of transform blocks. If the size of the current block is less than or equal to the maximum transform size, the transform block may be the current block itself.
  • the maximum transform size may be a value indicating the length of one side.
  • the maximum transform size may be 64-length.
  • the current block may be divided into two (64X32) sized conversion blocks.
  • the maximum transform size is 32 and the size of the current block is 32X32, the transform block is not split from the current block, and may be the same size as the current block.
  • both the width and height of the current block are less than or equal to the maximum transform size, the current block is not divided into a plurality of transform blocks. Accordingly, the upper left coordinate of the current block and the upper left coordinate of the corresponding transform block are the same. On the other hand, if at least one of the width and height of the current block is greater than the maximum transform size, the current block may be divided into a plurality of transform blocks. Accordingly, the upper left coordinate of the current block and the upper left coordinate of the corresponding transform block may be different.
  • the conversion unit syntax represents processing related to conversion and inverse conversion.
  • the transformation unit syntax receives (x0, y0) coordinates of the upper left of the transformation block, and tbWidth, tbHeight, which represents the size in the horizontal and vertical directions of the transformation block, and treeType, which represents the tree type (S1401).
  • the transform related information may include coded block flag (cbf) information (tu_cbf_luma, tu_cbf_cb, tu_cdf_cr) indicating whether the transform block includes at least one non-zero transform coefficient.
  • the cbf information can be obtained separately according to the components of the conversion unit.
  • the transform-related information includes cbf information for the luma component (tu_cbf_luma [x0] [y0]) and cbf information for each of the two chroma components (tu_cbf_cb [x0] [y0], tu_cbf_cr [x0] [y0] ).
  • inverse quantization and inverse transform for the transform block may be performed.
  • the decoder may inverse quantize the quantized transform coefficient using residual coding related information.
  • the decoder may inverse transform the inverse quantized transform coefficient to obtain a residual signal corresponding to the transform block.
  • the decoder may not perform inverse quantization and inverse transform on the transform block. In this case, the decoder can acquire a residual signal without inverse quantization and inverse transformation for the transform block.
  • the cbf information of the transform block may be regarded as the transform block does not contain at least one non-zero coefficient.
  • the encoder may entropy code cbf information through the entropy coding unit described above. Also, the decoder may acquire cbf information from the bitstream through the entropy decoding unit described above.
  • the tree structure for the luma component and the tree structure for the chroma component may be encoded the same or differently. Accordingly, cbf information may be obtained based on information (treeType) indicating the tree type of the transform block (S1402). According to an embodiment, when the treeType of the transform block indicates SINGLE_TREE, the tree structure of the transform block for the luma component of the current block and the tree structure of the transform block for the chroma component of the current block may be the same. In this case, cbf information for the luma component and cbf information for each chroma component may be obtained.
  • the luma component and the chroma component of the current block may be divided into transform blocks having different structures, respectively.
  • the treeType of the transform block indicates DUAL_TREE_LUMA
  • it means that the transform block currently processed is a luma component block.
  • cbf information for the luma component can be obtained.
  • the treeType information of the transform block indicates DUAL_TREE_CHROMA
  • tu_cbf_luma [x0] [y0] is an element indicating whether the luma component transform block includes one or more non-zero coefficients, and if 1, the top left of the block based on the luma component sample position of the picture. It represents that a non-zero coefficient exists in a corresponding transform block with a position of a luma component sample of (x0, y0). If tu_cbf_luma [x0] [y0] does not exist, it can be inferred as 0.
  • tu_cbf_luma [x0] [y0] When tu_cbf_luma [x0] [y0] is 0, it indicates that all coefficients in the corresponding luma transform block are 0, so that the decoder can restore the corresponding residual signal for the luma component without additional parsing, inverse quantization, and inverse transformation.
  • tu_cbf_luma [x0] [y0] When tu_cbf_luma [x0] [y0] is 1, it means that there is one or more non-zero transform coefficients in the corresponding luma transform block. Therefore, parsing and inverse quantization of the transform coefficients is necessary in the residual_coding syntax structure.
  • the residual signal can be restored by applying an inverse transform to the coefficient.
  • tu_cbf_luma [x0] [y0] may be encoded / decoded using CABAC's regular coding engine in consideration of context.
  • tu_cbf_cb [x0] [y0] is an element indicating whether the chroma component Cb transform block includes one or more non-zero coefficients. If 1, there is a non-zero coefficient in the corresponding transform block with the upper left position (x0, y0). Express If tu_cbf_cb [x0] [y0] does not exist, it can be inferred as 0. When tu_cbf_cb [x0] [y0] is 0, it indicates that all coefficients in the corresponding Cb transform block are 0, so the decoder can restore the residual signal for the Cb signal without additional parsing, inverse quantization, and inverse transform processes.
  • tu_cbf_cb [x0] [y0] When tu_cbf_cb [x0] [y0] is 1, it means that there is one or more non-zero transform coefficients in the corresponding Cb transform block. Therefore, parsing and inverse quantization of transform coefficients is necessary in the residual_coding syntax structure.
  • the residual signal can be restored by applying an inverse transform to the coefficient.
  • tu_cbf_cb [x0] [y0] may be coded / decoded using CABAC's regular coding engine in consideration of context.
  • tu_cbf_cr [x0] [y0] is an element indicating whether the chroma component Cr transform block contains one or more non-zero coefficients. If 1, there is a non-zero coefficient in the corresponding transform block with the upper left position (x0, y0). Express If tu_cbf_cr [x0] [y0] does not exist, it can be inferred as 0. When tu_cbf_cr [x0] [y0] is 0, it indicates that all coefficients in the corresponding Cr transform block are 0, so the decoder can restore the residual signal for the Cr signal without additional parsing, inverse quantization, and inverse transform processes.
  • tu_cbf_cr [x0] [y0] When tu_cbf_cr [x0] [y0] is 1, it means that there is one or more non-zero transform coefficients in the corresponding Cr transform block. Therefore, parsing and inverse quantization of the transform coefficients is necessary in the residual_coding syntax structure.
  • the residual signal can be restored by applying an inverse transform to the coefficient.
  • tu_cbf_cr [x0] [y0] may be coded / decoded using CABAC's regular coding engine in consideration of context.
  • the encoder and the decoder may check conditions for parsing MTS information (cu_mts_flag) indicating whether the MTS method is used in the current transform block (S1403).
  • cu_mts_flag MTS information
  • conditions for parsing cu_mts_flag will be described.
  • whether to parse cu_mts_flag may be determined based on high-level MTS information (sps_mts_intra_enabled_flag and sps_mts_inter_enabled_flag) signaled through the high-level header of the current transform block.
  • the high-level MTS information may be information indicating whether a transform kernel other than the default transform kernel can be used.
  • sps_mts_intra_enabled_flag when sps_mts_intra_enabled_flag is 0, it may represent that there is no cu_mts_flag corresponding to the intra predicted block belonging to the corresponding SPS. In this case, cu_mts_flag is not parsed. Conversely, when sps_mts_intra_enabled_flag is 1, it may indicate that cu_mts_flag corresponding to an intra predicted block belonging to the corresponding SPS exists. In this case, cu_mts_flag may be signaled and parsed.
  • sps_mts_inter_enabled_flag when sps_mts_inter_enabled_flag is 0, it may indicate that cu_mts_flag corresponding to the inter-predicted block belonging to the corresponding SPS does not exist. In this case, cu_mts_flag is not parsed. Conversely, when sps_mts_inter_enabled_flag is 1, it may indicate that cu_mts_flag corresponding to the inter-predicted block belonging to the corresponding SPS exists. In this case, cu_mts_flag may be signaled and parsed. High-level MTS information may be signaled by being included in a high level syntax, such as through a header of a sequence, picture, or slice / tile.
  • CuPredMode [x0] [y0] is a variable indicating whether the transform block having the position of the upper left luma component sample (x0, y0) is predicted in the intra prediction mode or the inter prediction mode based on the upper left coordinates of the luma component of the picture.
  • CuPredMode [x0] [y0] is MODE_INTRA, it indicates that the corresponding block is encoded in intra prediction mode.
  • MODE_INTER it indicates that the corresponding block is encoded in the inter prediction mode.
  • whether to parse cu_mts_flag may be determined based on tu_cbf_luma [x0] [y0]. If tu_cbf_luma [x0] [y0] indicates that all coefficients of the luma component of the corresponding transform block are 0, it is because inverse transform is not necessary. According to a further embodiment, only a transform kernel based on DCT-II may be used for transforming the chroma component. Also, whether to parse cu_mts_flag may be determined based on whether the height (tbHeight) and width (tbWidth) of the transform block are equal to or less than a preset length. The above conditions are summarized as follows.
  • the decoder may parse cu_mts_flag. Also, the encoder may signal cu_mts_flag by entropy coding. When cu_mts_flag [x0] [y0] is 1, it may mean that the MTS method is applied to the current transform block. Conversely, when cu_mts_flag [x0] [y0] is 0, it may indicate that the MTS method is not applied to the current transform block. In this case, inverse transformation may be performed using a basic kernel such as a DCT-II-based transformation kernel. When cu_mts_flag [x0] [y0] does not exist, cu_mts_flag [x0] [y0] may be inferred as '0'.
  • a transform kernel used for transform of a transform block may be signaled stepwise through a higher level header of a current block and a header of a transform block.
  • information indicating whether a transform kernel other than the default transform kernel can be used in a sequence, picture, or slice / tile including the current block may be signaled through a high-level header.
  • the corresponding information may be signaled separately for each of intra prediction and inter prediction.
  • sps_mts_intra_enabled_flag and sps_mts_inter_enabled_flag may be signaled through a header of a sequence, picture, or slice / tile.
  • sps_mts_intra_enabled_flag may be information indicating whether a transform kernel other than the default transform kernel can be used in the transformation of the intra predicted block.
  • sps_mts_inter_enabled_flag may be information indicating whether a transform kernel other than the default transform kernel can be used in the transformation of the inter-predicted block.
  • sps_mts_intra_enabled_flag indicates that the use of a transform kernel other than the default transform kernel is not allowed, and if the current block is an intra predicted block, information related to the transform kernel of the transform block obtained from the current block will not be additionally parsed. You can. In this case, the corresponding transform block can be transformed based on the basic transform kernel.
  • sps_mts_inter_enabled_flag indicates that use of a transform kernel other than the default transform kernel is not allowed, and if the current block is an inter-predicted block, information related to the transform kernel of the transform block obtained from the current block may not be additionally parsed. You can. In this case, the corresponding transform block can be transformed based on the basic transform kernel.
  • the information signaled through the high-level header indicates that a transform kernel other than the base transform kernel can be used
  • additional information related to the transform kernel of the corresponding transform block may be signaled through the transform unit syntax. For example, in the conversion of the transform block, information indicating whether a transform kernel other than the default transform kernel is used may be signaled through the corresponding transform unit syntax.
  • the use of a transform kernel other than the default transform kernel for the transform block may be limited according to the size of the transform block.
  • the size of a transform block is larger than a preset size
  • use of a transform kernel other than the default transform kernel may be limited in transforming the corresponding transform block.
  • the preset length may be 32. Referring to FIG. 14 (a), when the width of the transform block is 32 or less and the height is 32 or less, cu_mts_flag [x0] [y0] signaled through the above-described transform unit syntax may be parsed.
  • residual coding for the transform block may be performed (S1404 to S1406) ).
  • the decoder may perform residual coding to obtain quantized transform coefficients.
  • residual coding on the luma component of the transform block may be performed. That is, residual coding syntax (residual_coding ()) receiving a specific input parameter may be performed.
  • residual_coding () is the coordinate of the upper left sample of the transform block (x0, y0), the logarithm of the logarithm of the base of the logarithm of the base of the transform block (log2 (tbWidth)), and the logarithm of the base of the transform block of the base You can receive a value (log2 (tbHeight)) as an input parameter. Also, residual_coding () may receive a color index (cdIdx) as an input parameter.
  • the value of cdIdx means luma component luma in case of '0', means first chroma component Cb in case of '1', and represents second chroma component Cr in case of '2'.
  • residual coding for the first chroma component may be performed.
  • residual_coding () may receive the coordinates (x0, y0) of the upper left sample of the transform block as an input parameter.
  • the size of the chroma component block of the transform block is the luma component block size
  • the size of the chroma component block of the transform block is luma. It can be the same as the component block size.
  • residual_coding () is the logarithm of the logarithmic base of the transform block (log2 (tbWidth)) and the logarithm of the logarithm of the logarithmic block (2). log2 (tbHeight)) can be received as an input parameter.
  • residual coding for the second chroma component may be performed.
  • residual_coding () may receive the coordinates (x0, y0) of the upper left sample of the transform block as an input parameter.
  • the size of the chroma component block of the transform block may be half the size of the luma component block.
  • residual_coding () is a value obtained by taking a logarithm of base 2 with a width of the chroma component block (tbWidth / 2) (log2 (tbWidth / 2)) and a height of the chroma component block (tbHeight / 2) with 2 base.
  • Logged value log2 (tbHeight / 2)
  • the size of the chroma component block of the transform block may be the same as the size of the luma component block.
  • residual_coding () is the logarithm of the logarithmic base of the transform block (log2 (tbWidth)) and the logarithm of the logarithm of the logarithmic block (2). log2 (tbHeight)) can be received as an input parameter.
  • the decoder may perform inverse quantization and inverse transformation on a corresponding transform block based on the aforementioned transform-related information.
  • the decoder may perform inverse quantization and inverse transformation to obtain a residual signal corresponding to the change block.
  • the decoder may acquire the quantized transform coefficients of the transform block through the residual coding syntax (residual_coding ()) of FIG. 14B.
  • the decoder can recover the residual signal from the quantized transform coefficients.
  • the residual_coding () of FIG. 14 (b) is a value obtained by taking a logarithm of base 2 of the transform block obtained from the current block, the logarithm of the base of the transform block obtained from the current block, based on the left upper coordinates of the picture including the current block, the transform block Takes the logarithm of base 2 at the height of and the color index (cIdx). Also, the residual coding syntax may obtain quantized transform coefficients based on transform-related information.
  • the decoder may determine whether to parse the transform skip flag (transform_skip_flag) of the current transform block (S1407).
  • transform_skip_flag transform skip flag
  • transform_skip_enabled_flag When transform_skip_enabled_flag, which is a 1-bit flag included in High level syntax is 1 (on): transform_skip_enabled_flag may be included in any one of sequence parameter set (SPS), picture parameter set (PSS), slice header, and transform_skip_enabled_flag When 1 is 1, it indicates that transform_skip_flag exists in residual coding syntax, and when it is 0, it does not exist.
  • SPS sequence parameter set
  • PSS picture parameter set
  • slice header When 1 is 1, it indicates that transform_skip_flag exists in residual coding syntax, and when it is 0, it does not exist.
  • transform_skip_flag [x0] [y0] [cIdx] may be determined according to the above-described conditions.
  • transform_skip_flag [x0] [y0] [cIdx] is 1, the decoder may not perform the transform.
  • transform_skip_flag [x0] [y0] [cIdx] is 0, the decoder may determine whether to transform the current transform block by referring to other syntax elements.
  • the decoder may obtain quantized transform coefficients through the residual_coding () portion omitted in FIG. 14B.
  • the decoder may perform a process of inverse quantizing and transforming the obtained transform coefficients. Through this, the decoder can acquire a residual signal.
  • the decoder may determine whether to parse the set index (mts_idx) (S1408).
  • the conditions for parsing mts_idx are as follows.
  • the preset transform kernel when the number of non-zero coefficients present in the transform block is 2 or less (1 or 2), the preset transform kernel without signaling / parsing mts_idx [x0] [y0] for the current transform block Conversion using can be performed.
  • the preset conversion kernel may be a conversion kernel based on DST-VII, and a conversion kernel based on DST-IV may be used instead of the conversion kernel based on DST-VII.
  • FIG. 15 is a diagram illustrating residual coding syntax according to another embodiment of the present invention.
  • the set index (mts_idx) can be parsed only when certain conditions are satisfied.
  • mts_idx may be parsed only when the first condition and the second condition are satisfied.
  • the first condition may be a case in which cu_mts_flag of the current transform block indicates that use of a transform kernel other than the default transform kernel is allowed.
  • the second condition may be a case where the aforementioned transform_skip_flag does not indicate a transform skip.
  • the second condition may be omitted by the first condition.
  • transform_skip_flag is not parsed.
  • transform_skip_flag it may be determined as '0'.
  • the decoder may determine that the transform skip information does not indicate a transform skip.
  • the second condition for parsing mts_idx may be omitted. That is, referring to S1502 of FIG. 15, the condition of “! Transform_skip_flag [x0] [y0] [cIdx]” ” ”may be omitted from the conditions for parsing mts_idx in S1408 of FIG. 14.
  • FIG. 16 is a diagram illustrating a conversion unit syntax according to an embodiment of the present invention.
  • syntax elements overlapping with FIG. 14 (a) may follow the description related to FIG. 14 (a).
  • the preset range may indicate a preset length. For example, if at least one of the width and height of the transform block is less than or equal to a preset length, a transform kernel other than the default transform kernel may be used in the transform of the transform block.
  • cu_mts_flag when at least one of the width (tbWidth) and the height (tbHeight) of the transform block is equal to or less than a predetermined length, cu_mts_flag may be parsed. That is, when the tbWidth of the transform block is less than or equal to the preset length, or tbHeight is less than or equal to the preset length, a transform kernel other than the default transform kernel may be used. At this time, the preset length may be 32. However, the present disclosure is not limited thereto. For example, the preset length may be 16 or 64.
  • a transform kernel other than the default transform kernel can be used for a transform block having a width of 16 or less or 16 or less.
  • a transform block other than the default transform kernel may be used for a transform block having a width of 64 or less or a height of 64 or less.
  • the preset length may be set differently according to the prediction mode.
  • the preset length may be determined according to information (log2_mts_max_size_intra_minus2) indicating the maximum size of the transform kernel usable for the intra predicted block. Specifically, a value obtained by subtracting 2 from a logarithm of base 2 to the maximum size of the available conversion kernel may be signaled.
  • the preset length may be determined according to information (log2_mts_max_size_inter_minus2) indicating the maximum size of a transform kernel usable for the inter-prediction block.
  • the block 1601 of FIG. 16 may be replaced with the following conditions.
  • the transform kernels used for each of the vertical transform and the horizontal transform may be determined independently of each other.
  • a transform kernel other than the default transform kernel may be used for either the horizontal transform or the vertical transform. Accordingly, the vertical transform kernel and the horizontal transform kernel of the transform block can be obtained based on the lengths of different sides of the transform block, respectively.
  • the encoder and the decoder may acquire each of the vertical transform kernel and the horizontal transform kernel of the transform block based on the lengths of different sides of the transform block.
  • the decoder may acquire at least one transform block for the residual signal of the current block.
  • the transform block may be composed of a plurality of transform coefficients arranged in two dimensions.
  • the plurality of transform coefficients may include at least one of a non-zero transform coefficient or a zero transform coefficient.
  • the transform block may be a block composed of a plurality of sides.
  • the transform block may be a block composed of a first side and a second side orthogonal to the first side.
  • the shape of the transform block can be square or rectangular.
  • the shape of the transform block may be a triangle.
  • the first side and the second side orthogonal to each other may correspond to the bottom side and height of the triangle, respectively.
  • the first side and the second side may be two sides each forming a triangle.
  • a horizontal transform kernel for horizontal transform of a transform block may be determined based on length information of a first side of the transform block.
  • the encoder and decoder may determine the horizontal transform kernel regardless of the length of the second side of the transform block based on the length information of the first side of the transform block.
  • the second side may be a side orthogonal to the first side.
  • a vertical transformation kernel for vertical transformation of a transformation block may be determined based on length information of a second side of the transformation block.
  • the encoder and decoder can determine the vertical transform kernel regardless of the length of the first side based on the length information of the second side of the transform block. That is, the horizontal transform kernel and the vertical transform kernel of the transform block may be determined individually. Further, the conditions used for the determination of the horizontal transform kernel and the vertical transform kernel of the transform block may be independent of each other.
  • the length of the first side may correspond to the width of the transform block
  • the length of the second side may correspond to the height of the transform block. That is, the horizontal transform kernel can be determined based on the width of the transform block.
  • the vertical transform kernel can be determined based on the height of the transform block. The horizontal transform kernel and the vertical transform kernel of the transform block may be determined independently of each other according to the length of the first side corresponding to the horizontal direction of the transform block and the length of the second side corresponding to the vertical direction of the transform block.
  • the encoder and the decoder may determine the horizontal transform kernel of the transform block based on whether the length of the first side of the transform block is within a first preset range. Also, the encoder and the decoder may determine the vertical transform kernel of the transform block based on whether the length of the second side is within a second preset range.
  • the first preset range and the second preset range may be the same range.
  • the first preset range and the second preset range are a single preset range will be described as an example.
  • the present disclosure is not limited thereto, and each of the first preset range and the second preset range may be individually set through a method described below. Also, different preset ranges may be used depending on the shape of the transform block.
  • each of the horizontal transform kernel and the vertical transform kernel may be a transform kernel selected from a plurality of available transform kernels.
  • the shape of the transform block may be a rectangular shape. That is, the length of the first side and the length of the second side of the transform block may be different from each other. Also, one of the length of the first side and the length of the second side of the transform block may be a value outside a preset range, and the other may be a value within a preset range.
  • the horizontal transform kernel and the vertical transform kernel may be different transform kernels.
  • the plurality of usable transform kernels may include a first transform kernel and a second transform kernel.
  • Each of the plurality of available conversion kernels can be indicated by a different kernel index.
  • one of the length of the first side and the length of the second side of the transform block is a value outside a preset range, and the other is a value within a preset range
  • one of the horizontal transform kernel and the vertical transform kernel is first transformed.
  • the kernel the other may be a second conversion kernel.
  • the length of the first side may be a value outside a preset range
  • the length of the second side may be a value within a preset range.
  • the horizontal transform kernel may be the first transform kernel
  • the vertical transform kernel may be the second transform kernel.
  • the length of the second side may be a value outside a preset range
  • the length of the first side may be a value within a preset range.
  • the vertical transform kernel may be the first transform kernel
  • the horizontal transform kernel may be the second transform kernel. That is, among the horizontal conversion kernel and the vertical conversion kernel, a conversion kernel corresponding to a side of a length outside a preset range may be the first conversion kernel. Further, among the horizontal conversion kernel and the vertical conversion kernel, a conversion kernel corresponding to a side of a length in a preset range may be a second conversion kernel.
  • the first conversion kernel is a basic conversion kernel
  • the second conversion kernel may be any one of the available conversion kernels other than the default conversion kernel.
  • the first conversion kernel may be an available conversion kernel indicated by the smallest kernel index among kernel indexes indicating each of the plurality of available conversion kernels.
  • the first conversion kernel may be a basic conversion kernel.
  • the first conversion kernel may be a DCT-II based conversion kernel
  • the second conversion kernel may not be a DCT-II based conversion kernel. That is, the second transform kernel may be a non-DCT-II (non-DCT-II) based transform kernel.
  • the non-DCT-II based conversion kernel may be any one of a conversion kernel based on DST-VII and a conversion kernel based on DCT-VIII.
  • the second conversion kernel may be a DST-VII based conversion kernel.
  • the above-described embodiment may be applied to an intra prediction block.
  • the encoder and decoder may determine whether to use the above-described method according to whether the prediction mode corresponding to the transform block is an intra prediction mode. Specifically, when the prediction mode corresponding to the transform block is the intra prediction mode, the encoder and the decoder determine each of the horizontal transform kernel and the vertical transform kernel of the transform block based on the length information of the first side and the length information of the second side, respectively. You can. Conversely, when the prediction mode corresponding to the transform block is the inter prediction mode, the encoder and the decoder may determine horizontal transform kernels and vertical transform kernels of the corresponding transform block using different methods.
  • the preset range may indicate a preset first length value or less.
  • the length of any one of the first side and the second side may be greater than the first length value, and the other length may be less than or equal to the first length value.
  • the horizontal transform kernel and the vertical transform kernel may be different.
  • the preset range may represent more than a preset second length value.
  • the preset range may represent a first length value or less and a second length value or more. In this case, the second length value may be smaller than the first length value.
  • the preset range may represent a preset first length value or less.
  • the preset range may be a range set according to the maximum size of the available conversion kernel.
  • the aforementioned first length value may be determined according to the maximum size of each of the available conversion kernels.
  • the first length value may be determined based on a maximum size of a specific transform kernel excluding a basic transform kernel among a plurality of available transform kernels.
  • the maximum size of the basic conversion kernel is 32
  • the maximum size of the specific conversion kernel may be a value smaller than 32.
  • the first length value may be set to a value less than 32. Specifically, when the maximum size of a specific conversion kernel is 16, the first length value may be 16. On the other hand, when the maximum size of a specific available conversion kernel is 32, the first length value may be 32.
  • the maximum size of the available conversion kernel may be signaled through a high-level header including the current block. For example, it may be signaled through a header of a sequence, picture or slice / tile. Specifically, a value obtained by subtracting 2 from a logarithm of base 2 to the maximum size of the available conversion kernel may be signaled. Also, the maximum size of the transform kernel that can be used may vary depending on the prediction mode. In this case, information indicating the maximum size of the transform kernel usable for the intra predicted block and information indicating the maximum size of the transform kernel usable for the inter predicted block may be individually signaled.
  • the above-described second length value may be a value set according to the minimum size of the available conversion kernel.
  • each of the horizontal conversion kernel and the vertical conversion kernel may be a conversion kernel selected from a plurality of available conversion kernels.
  • the minimum size of each of the plurality of available conversion kernels may be different.
  • the plurality of usable transform kernels may include a first transform kernel and a second transform kernel.
  • the minimum size of the first transform kernel may be 2X2, and the minimum size of the second transform kernel may be 4X4.
  • the second length value may be 4.
  • 17 is a view showing a vertical transform kernel and a horizontal transform kernel according to the shape of a transform block.
  • the preset first length may be 32.
  • 17 (a) shows a horizontal transform kernel (trHor) and a vertical transform kernel (trVer) of a transform block in which both width and height are within a preset range. That is, the width and height of the transform block may be 32 or less.
  • available transform kernels other than the default transform kernel can be used for both the horizontal transform kernel and the vertical transform kernel.
  • an indicator indicating one of a plurality of available conversion kernels may be signaled.
  • the encoder may signal an indicator indicating a vertical transform kernel or a horizontal transform kernel to be used for a transform block among a plurality of available transform kernels.
  • the decoder can determine the vertical transform kernel and the horizontal transform kernel used in the transform block based on the signaled indicator.
  • both the width and height of the transform block are less than or equal to the first length
  • individual indicators may be signaled for each of the horizontal transform block and the vertical transform block.
  • information indicating a combination of a horizontal transform kernel and a vertical transform kernel used for transform of a transform block may be signaled.
  • other available conversion kernels other than the default conversion kernel may include a third conversion kernel based on DST-VII and a fourth conversion kernel based on DCT-VIII.
  • first information indicating that the horizontal transform kernel and the vertical transform kernel are both third transform kernels may be signaled.
  • second information indicating that the horizontal transform kernel is the third transform kernel and the vertical transform kernel is the fourth transform kernel may be signaled.
  • Third information indicating that the horizontal transform kernel is the fourth transform kernel and the vertical transform kernel is the third transform kernel may be signaled.
  • the fourth information indicating that the horizontal transform kernel and the vertical transform kernel are both fourth transform kernels may be signaled. At this time, each of the first to fourth information may be indicated through different index values.
  • the horizontal transform kernel and the vertical transform kernel may be different.
  • the encoder and decoder may use the first transform kernel as a horizontal transform kernel.
  • the encoder and decoder may use the second transform kernel as the vertical transform kernel.
  • the encoder and decoder may use the second transform kernel as the horizontal transform kernel.
  • the encoder and decoder may use the first transform kernel as the vertical transform kernel.
  • the preset rule may be to use any one indicated for a corresponding transform block among a plurality of available transform kernels.
  • the plurality of available conversion kernels may include a first conversion kernel and a second conversion kernel.
  • the first transform kernel is a DCT-II based transform kernel
  • the second transform kernel can be any of non-DCT-II based transform kernels.
  • the preset rule may be to use any one indicated for a corresponding transform block among a plurality of available transform kernels except the first transform kernel. That is, the encoder and the decoder may perform the conversion using any one of the plurality of available conversion kernels except the first conversion kernel indicated for the current conversion block.
  • a plurality of usable transform kernels other than the first transform kernel may include a transform kernel based on DST-VII and a transform kernel based on DCT-VIII.
  • the preset rule may be to use a preset transform kernel for transform corresponding to a side of a length within a preset range. At this time, the preset conversion kernel may be a conversion kernel based on DST-VII.
  • the encoder and decoder can determine the horizontal transform kernel based on whether the width of the transform block is less than or equal to the first length.
  • the horizontal transform kernel when the width of the transform block is greater than the first length, the horizontal transform kernel may be the first transform kernel.
  • the horizontal transform kernel when the width of the transform block is equal to or less than the first length, the horizontal transform kernel may be the second transform kernel.
  • the horizontal conversion kernel may be a conversion kernel based on DST-VII.
  • the encoder and the decoder may determine the vertical transform kernel based on whether the height of the transform block is less than or equal to the first length.
  • the vertical transform kernel when the height of the transform block is less than or equal to the first length, the vertical transform kernel may be a second transform kernel.
  • the vertical conversion kernel may be a conversion kernel based on DST-VII.
  • the horizontal transform kernel when the height of the transform block is greater than the first length, the horizontal transform kernel may be the first transform kernel.
  • a basic transform kernel may be used for both vertical transform and horizontal transform of the transform block.
  • the basic conversion kernel may be a DCT-II based conversion kernel.
  • the encoder and decoder can perform vertical transformation and horizontal transformation using the basic transformation kernel.
  • the basic conversion kernel may be a DCT-II based conversion kernel.
  • the horizontal transform kernel and the vertical transform kernel for the transform block may be determined based on at least one of the size or shape of the transform block. For example, the energy distribution of the residual signal may be correlated with the shape of the block. If the current block is a rectangular block rather than a square block, the energy distribution may be different. Accordingly, the transformation kernel can be adaptively applied in consideration of the shape of the block. Through this, the residual signal can be efficiently compressed.
  • the horizontal transform kernel and the vertical transform kernel for a transform block may be determined based on a method in which a coding block including the transform block is predicted.
  • both the horizontal transform kernel and the vertical transform kernel of the transform block may be DCT-II based transform kernels.
  • the encoder and decoder may acquire a horizontal transform kernel and a vertical transform kernel used for transform of the transform block according to the shape of the transform block.
  • a basic transform kernel may be used for horizontal transform and vertical transform.
  • the basic conversion kernel may be the first conversion kernel described above.
  • the basic conversion kernel may be a DCT-II based conversion kernel.
  • the vertical transform kernel and the horizontal transform kernel may be different.
  • the default transform kernel can be used for transforms corresponding to the long sides of the transform block.
  • a non-DCT-II based conversion kernel may be used for conversion corresponding to a short side of the conversion block.
  • a DCT-II based transform kernel may be used as a vertical transform kernel
  • a non-DCT-II based transform kernel may be used as a horizontal transform kernel.
  • a DCT-II based transform kernel may be used as a horizontal transform kernel, and a non-DCT-II based transform kernel may be used as a vertical transform kernel.
  • the non-DCT-II based conversion kernel may be a DST-VII based conversion kernel.
  • the non-DCT-II based conversion kernel may be a conversion kernel indicated by an indicator indicating any one of a plurality of non-DCT-II based conversion kernels.
  • the transformation corresponding to the short side (for example, vertical transformation when the short side is high, horizontal transformation when the short side is wide)
  • DCT-II based conversion kernel can also be used.
  • the maximum size of the DST-VII based conversion kernel may be 32x32.
  • the horizontal transform kernel of the first transform block having a size of 64x32 may be a DCT-II based transform kernel
  • the vertical transform kernel may be a DST-VII based transform kernel.
  • the horizontal transform kernel and the vertical transform kernel of the second transform block having a size of 128x64 may be a DCT-II based transform kernel.
  • using a DCT-II based transform kernel than a DST-VII based transform kernel may incur a smaller rate-distortion cost. Accordingly, it is possible to configure to use a DCT-II based conversion kernel for conversion corresponding to a short side through additional signaling. At this time, additional signaling may be performed through a 1-bit or flag.
  • a DST-IV based conversion kernel may be used for a transformation corresponding to a short side of a transform block (for example, a vertical transformation when the short side is high and a horizontal transformation when the short side is wide).
  • the pattern of the low-frequency base function may be replaced with a similar DST-IV-based transform kernel.
  • a transform kernel that is replaced only for a transform block corresponding to a preset size may be used. For example, when the size of the transform kernel used for the transform block is 4x4 or 8x8, the corresponding DST-VII based transform kernel may be replaced with a DST-IV based transform kernel.
  • the coding block including the corresponding transform block including the corresponding transform block
  • the transform kernel determined according to the intra prediction mode may be used.
  • the transform kernel used for transform corresponding to the short side of the transform block may be a DCT-II based transform kernel.
  • the transform block may be a horizontal rectangle whose width is longer than its height.
  • a DCT-II based transform kernel for a transform ie, a vertical transform
  • a short side ie, height
  • the horizontal direction mode may represent an intra prediction mode that is equal to or greater than the horizontal diagonal mode or less than or equal to the diagonal mode.
  • the intra prediction mode of a coding block including a transform block is a vertical direction mode
  • DST-VII-based transform ie, vertical transform
  • a short side ie, height
  • the vertical direction mode may indicate an intra prediction mode larger than the diagonal mode and smaller than or equal to the vertical diagonal mode.
  • the transform block may be a vertical rectangle whose height is longer than its width.
  • a DST-VII-based transform kernel for a transform ie, a horizontal transform
  • a short side ie, a width
  • DCT-II based on a transform (ie, horizontal transform) corresponding to a short side (ie, width) of a transform block that is a vertical rectangle.
  • a conversion kernel can be used.
  • information indicating a combination of a horizontal transform kernel and a vertical transform kernel of a transform block may be signaled.
  • Information indicating a combination of a horizontal transform kernel and a vertical transform kernel may be signaled through a set index.
  • the information indicated by the specific set index may vary depending on at least one of the size or shape of the transform block.
  • the set index mts_idx [xTbY] [yTbY] may indicate a transform kernel applied to a transform block having coordinates of the upper left luma component of the transform block (xTbY, yTbY) based on the upper left coordinates of the luma component of the picture.
  • the most significant bit (MSB) of mts_idx can indicate the kernel index of the transform kernel used for vertical transform.
  • the least significant bit (LSB) of mts_idx may indicate the kernel index of the transform kernel used for horizontal transform.
  • mts_idx may be signaled through a fixed length 2-bit.
  • mts_idx may be signaled through a variable-length bit string such as truncated binary.
  • the conversion kernel corresponding to the kernel index '0' may indicate a conversion kernel based on DCT-II.
  • the conversion kernel corresponding to the kernel index '1' may be a conversion kernel based on DST-VII
  • the conversion kernel corresponding to the kernel index '2' may be a conversion kernel based on DCT-VIII.
  • FIG. 19 (a) is a diagram illustrating information indicated by a set index (mts_idx) when both the width and height of the transform block are 32 or less.
  • mts_idx a set index
  • the horizontal transform kernel and the vertical transform kernel according to mts_idx can be interpreted as follows.
  • 19 (b) is a diagram showing information indicated by a set index when the width of the transform block is greater than 32 and the height is 32 or less.
  • the horizontal transform kernel and the vertical transform kernel according to mts_idx can be interpreted as follows.
  • 19 (c) is a view showing information indicated by a set index when the width of the transform block is 32 or less and the height is larger than 32.
  • the horizontal transform kernel and the vertical transform kernel according to mts_idx can be interpreted as follows.
  • both the horizontal conversion kernel and the vertical conversion kernel according to mts_idx may be DCT-II based conversion kernels.
  • a conversion kernel based on DST-VII may be replaced with a conversion kernel based on DST-IV.
  • the conversion kernel based on DCT-VIII can be replaced with a conversion kernel based on DCT-IV.
  • a transform kernel that is replaced only for a transform block corresponding to a preset size may be used. For example, when the size of the transform kernel used for the transform block is 4x4 or 8x8, the corresponding DST-VII or DCT-VIII based transform kernel may be replaced with a DST-IV or DCT-IV based transform kernel. . Through this, it is possible to prevent the coding efficiency from being lowered.
  • the transform kernel set may be signaled based on a preset maximum size of the transform kernel.
  • the preset conversion kernel may be a conversion kernel other than the default kernel.
  • the preset conversion kernel may be a non-DCT-II based conversion kernel.
  • the maximum size of the DST-VII based conversion kernel and the DCT-VIII based conversion kernel may be the same.
  • the maximum size of the DCT-II based conversion kernel may be different from the maximum size of the non-DCT-II based conversion kernel.
  • MaxMtsSize may be signaled through a header of a sequence, picture, or slice / tile. Also, MaxMtsSize may be set to different values depending on whether intra prediction or inter prediction.
  • the transform of the transform block when at least one of the width and height of the transform block is less than or equal to MaxMtsSize, in the transform of the transform block, it may be possible to use a transform kernel other than the default transform kernel.
  • 20 (a) shows how the transform kernel set is signaled when the width of the transform block is MaxMtsSize or less and the height is MaxMtsSize or less.
  • a first bit indicating whether to use a conversion kernel other than the default conversion kernel may be signaled. For example, when the first bit indicates that the use of another transform kernel is not possible, both the vertical transform kernel and the horizontal transform kernel of the transform block may be DCT-II based transform kernels. If the first bit indicates that a different conversion kernel can be used, additional information can be signaled.
  • the additional information may consist of two bits.
  • both the vertical transform kernel and the horizontal transform kernel of the transform block may be a DST-VII based transform kernel. If the first bit of the additional information indicates 1, the set of transform kernels can be determined by the next bit.
  • the horizontal transform kernel may be a DST-VII based transform kernel
  • the vertical transform kernel may be a DCT-II based transform kernel.
  • the horizontal transform kernel may be a DCT-II based transform kernel
  • the vertical transform kernel may be a DST-VII based transform kernel.
  • a first bit indicating whether to use a conversion kernel other than the default conversion kernel may be signaled.
  • both the vertical transform kernel and the horizontal transform kernel of the transform block may be DCT-II based transform kernels.
  • the vertical transform kernel of the transform block may be a DST-VII based transform kernel
  • the horizontal transform kernel may be a DCT-II based transform kernel.
  • a first bit indicating whether to use a conversion kernel other than the default conversion kernel may be signaled.
  • both the vertical transform kernel and the horizontal transform kernel of the transform block may be DCT-II based transform kernels.
  • the horizontal transform kernel of the transform block may be a DST-VII based transform kernel, and the vertical transform kernels may all be DCT-II based transform kernels.
  • both the vertical transform kernel and the horizontal transform kernel of the transform block may be determined as a DCT-II based transform kernel without separate signaling.
  • FIG. 21 is a diagram illustrating a plurality of transform kernel sets according to an embodiment of the present invention.
  • the set index (mts_idx) can be considered to represent '-1'.
  • both the horizontal transform kernel and the vertical transform kernel of the corresponding transform block may be DCT-II based transform kernels.
  • a set of transform kernels indicated by the same kernel index is configured differently according to whether the current block is an intra predicted block or an inter predicted block.
  • the present disclosure is not limited thereto, and the same set index (mts_idx) may be set to indicate the same transform kernel set regardless of whether the prediction mode of the current block is intra prediction or inter prediction.
  • the decoder may parse the first bit (cu_mts_flag) indicating whether or not to use a transform kernel other than the basic transform kernel from the received bitstream (S2201).
  • cu_mts_flag indicates whether or not to use a transform kernel other than the basic transform kernel from the received bitstream (S2201).
  • the decoder may consider that the set index (mts_idx) represents '-1' (S2203). In this case, the decoder may perform inverse transform on the transform block using a DCT-II based transform kernel.
  • the decoder may determine whether a coding block including a transform block is an intra predicted block (S2205). If the corresponding coding block is an inter-predicted block rather than intra-prediction, the decoder may parse the set index (mts_idx) of the transform block obtained from the coding block from the bitstream (S2207). In this case, the decoder may perform inverse transform on the transform block based on the transform kernel set indicated by the parsed set index (mts_idx).
  • the decoder may determine whether the number of non-zero transform coefficients of the corresponding transform block is 2 or less (S2209). When the number of non-zero transform coefficients of the transform block is 2 or less, the decoder may consider that the set index (mts_idx) represents '-1' (S2211). That is, the decoder may not parse the set index (mts_idx). In this case, the decoder may perform inverse transform on the transform block using a DCT-II based transform kernel.
  • the decoder may parse the set index (mts_idx) from the bitstream (S2207). In this case, the decoder may perform inverse transform on the transform block based on the transform kernel set indicated by the parsed set index (mts_idx).
  • the decoder sets the transform block as in the case where cu_mts_flag is 0 It can be regarded that the index (mts_idx) represents '-1'.
  • the decoder may perform vertical inverse transform and horizontal inverse transform on a transform block using a DCT-II based transform kernel. However, this may reduce coding efficiency.
  • the transform kernel set may be different from the transform kernel set when cu_mts_flag is 0.
  • the first bit (cu_mts_flag) indicating whether or not to use a different transform kernel than the default transform kernel indicates that the use of another transform kernel is not possible, and the set index (mts_idx) for the transform block is not signaled. Otherwise, it may be considered that the set index (mts_idx) indicates '-1'. Also, the set index (mts_idx) may be determined based on the color index (cIdx) of the corresponding transform block. For example, the decoder may determine whether the corresponding transform block is a luma block or a chroma block.
  • the set index (mts_idx) may be considered to indicate '0'.
  • both the horizontal transform kernel and the vertical transform kernel of the corresponding transform block may be a DST-VII based transform kernel.
  • the transform block when the transform block is a chroma block (cIdx> 0), it may be considered that the set index (mts_idx) represents '-1'.
  • both the horizontal transform kernel and the vertical transform kernel of the corresponding transform block may be DCT-II based transform kernels.
  • the set index (mts_idx) may be considered to indicate '0'.
  • both the horizontal transform kernel and the vertical transform kernel of the corresponding transform block may be a DST-VII based transform kernel.
  • the decoder may parse the first bit (cu_mts_flag) indicating whether or not to use a transform kernel other than the basic transform kernel from the received bitstream (S2401).
  • cu_mts_flag indicates whether or not to use a transform kernel other than the basic transform kernel from the received bitstream (S2401).
  • the decoder may consider that the set index indicates '-1' (S2403). In this case, the decoder may perform inverse transform on the transform block using a DCT-II based transform kernel.
  • the decoder may determine whether a coding block including a transform block is an intra predicted block (S2405). If the corresponding coding block is an inter-predicted block rather than intra-prediction, the decoder may parse the set index of the transform block obtained from the coding block from the bitstream (S2407). In this case, the decoder can perform inverse transform on the transform block based on the transform kernel set indicated by the parsed set index.
  • the decoder may determine whether the number of non-zero transform coefficients of the corresponding transform block is 2 or less (S2409). When the number of non-zero transform coefficients of the transform block is 2 or less, the decoder may consider that the set index represents '0' (S2411). That is, the decoder may not parse the set index. In this case, the decoder can perform vertical inverse transform and horizontal inverse transform on the transform block using a DST-VII based transform kernel. On the other hand, if the number of non-zero transform coefficients in the corresponding transform block is 3 or more, the decoder may parse the set index from the bitstream (S2407). In this case, the decoder can perform inverse transform on the transform block based on the transform kernel set indicated by the parsed set index.
  • the first bit (cu_mts_flag) indicating whether or not to use a different transform kernel than the default transform kernel indicates that the use of another transform kernel is not possible, and the set index (mts_idx) for the transform block is not signaled. Otherwise, it may be considered that the set index (mts_idx) indicates '-1'.
  • the set index (mts_idx) is set to '-2'. It can be considered as indicating.
  • both the horizontal transform kernel and the vertical transform kernel of the corresponding transform block may be a DST-VII based transform kernel.
  • the set indexes are -1, 0, 1, 2, and 3 separate conversion kernel sets may be set using index values that do not overlap with them.
  • 26 is a diagram illustrating a method in which a decoder determines a transform kernel applied to a transform block according to the embodiment of FIG. 25.
  • the decoder may parse the first bit (cu_mts_flag) indicating whether or not to use a transform kernel other than the basic transform kernel from the received bitstream (S2601).
  • cu_mts_flag indicates whether or not to use a transform kernel other than the basic transform kernel from the received bitstream (S2601).
  • the decoder may consider that the set index indicates '-1' (S2603). In this case, the decoder may perform inverse transform on the transform block using a DCT-II based transform kernel.
  • the decoder may determine whether a coding block including a transform block is an intra predicted block (S2605). If the corresponding coding block is an inter-predicted block rather than intra-prediction, the decoder may parse the set index of the transform block obtained from the coding block from the bitstream (S2607). In this case, the decoder can perform inverse transform on the transform block based on the transform kernel set indicated by the parsed set index.
  • the decoder may determine whether the number of non-zero transform coefficients of the corresponding transform block is 2 or less (S2609). When the number of non-zero transform coefficients of the transform block is 2 or less, the decoder may consider that the set index indicates '-2' (S2611). That is, the decoder may not parse the set index. In this case, the decoder can perform vertical inverse transform and horizontal inverse transform on the transform block using a DST-VII based transform kernel. On the other hand, if the number of non-zero transform coefficients in the corresponding transform block is 3 or more, the decoder may parse the set index from the bitstream (S2607). In this case, the decoder can perform inverse transform on the transform block based on the transform kernel set indicated by the parsed set index.
  • embodiments of the present invention can be implemented through various means.
  • embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
  • the method according to embodiments of the present invention includes one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs) , Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, and the like.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • processors controllers, microcontrollers, microprocessors, and the like.
  • the method according to embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above.
  • the software code can be stored in memory and driven by a processor.
  • the memory may be located inside or outside the processor, and may exchange data with the processor by various means known in the art.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically include computer readable instructions, data structures or other data in a modulated data signal, such as a program module, or other transport mechanism, and includes any information delivery media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치가 개시된다. 더욱 구체적으로, 비디오 신호 비트스트림으로부터 현재 블록의 레지듀얼 신호에 대한 적어도 하나의 변환 블록을 획득하는 단계, 상기 변환 블록은 2차원 배열된 복수의 변환 계수들로 구성됨, 상기 변환 블록의 제1 변의 길이 정보에 기초하여, 상기 제1 변과 직교하는 상기 변환 블록의 제2 변의 길이와 무관하게 상기 변환 블록의 수평 변환을 위한 수평 변환 커널을 결정하는 단계, 상기 제2 변의 길이 정보에 기초하여, 상기 제1 변의 길이와 무관하게 상기 변환 블록의 수직 변환을 위한 수직 변환 커널을 결정하는 단계, 상기 변환 블록에 대해 상기 수평 변환 커널 및 상기 수직 변환 커널을 이용하는 역변환을 수행하여 상기 현재 블록의 레지듀얼 신호를 획득하는 단계 및 상기 획득된 레지듀얼 신호에 기초하여 상기 현재 블록을 복원하는 단계를 포함하는, 비디오 신호 처리 방법 및 이를 수행하는 비디오 신호 처리 장치가 개시된다.

Description

다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
본 발명은 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 신호에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다. 그러나 최근의 다양한 미디어 및 데이터 전송 매체의 발전으로 인해, 더욱 고효율의 비디오 신호 처리 방법 및 장치가 요구되고 있다.
본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다. 구체적으로, 본 발명은 변환 블록에 적합한 변환 커널을 사용하여 코딩 효율을 높이기 위한 목적을 가지고 있다.
상기와 같은 과제를 해결하기 위해, 본 발명은 다음과 같은 비디오 신호 처리 장치 및 비디오 신호 처리 방법을 제공한다.
먼저 본 발명의 일 실시예에 따르면, 비디오 신호의 처리 방법에 있어서, 비디오 신호 비트스트림으로부터 현재 블록의 레지듀얼 신호에 대한 적어도 하나의 변환 블록을 획득하는 단계, 상기 변환 블록은 2차원 배열된 복수의 변환 계수들로 구성됨, 상기 변환 블록의 제1 변의 길이 정보에 기초하여, 상기 제1 변과 직교하는 상기 변환 블록의 제2 변의 길이와 무관하게 상기 변환 블록의 수평 변환을 위한 수평 변환 커널을 결정하는 단계, 상기 제2 변의 길이 정보에 기초하여, 상기 제1 변의 길이와 무관하게 상기 변환 블록의 수직 변환을 위한 수직 변환 커널을 결정하는 단계, 상기 변환 블록에 대해 상기 수평 변환 커널 및 상기 수직 변환 커널을 이용하는 역변환을 수행하여 상기 현재 블록의 레지듀얼 신호를 획득하는 단계 및 상기 획득된 레지듀얼 신호에 기초하여 상기 현재 블록을 복원하는 단계를 포함하는, 비디오 신호 처리 방법이 제공된다.
또한, 본 발명의 실시예에 따르면, 비디오 신호 디코딩 장치에 있어서, 프로세서를 포함하고, 상기 프로세서는, 비디오 신호 비트스트림으로부터 현재 블록의 레지듀얼 신호에 대한 적어도 하나의 변환 블록을 획득하되, 상기 변환 블록은 2차원 배열된 복수의 변환 계수들로 구성되고, 상기 변환 블록의 제1 변의 길이 정보에 기초하여, 상기 제1 변과 직교하는 상기 변환 블록의 제2 변의 길이와 무관하게 상기 변환 블록의 수평 변환을 위한 수평 변환 커널을 결정하고, 상기 제2 변의 길이 정보에 기초하여, 상기 제1 변의 길이와 무관하게 상기 변환 블록의 수직 변환을 위한 수직 변환 커널을 결정하고, 상기 변환 블록에 대해 상기 수평 변환 커널 및 상기 수직 변환 커널을 이용하는 역변환을 수행하여 상기 현재 블록의 레지듀얼 신호를 획득하고, 상기 획득된 레지듀얼 신호에 기초하여 상기 현재 블록을 복원하는, 비디오 신호 디코딩 장치가 제공된다.
상기 수평 변환 커널 및 상기 수직 변환 커널은 각각 상기 변환 블록의 수평 방향에 대응하는 상기 제1 변의 길이 및 상기 변환 블록의 수직 방향에 대응하는 상기 제2 변의 길이에 따라 서로 독립적으로 결정될 수 있다.
상기 제1 변의 길이는 상기 변환 블록의 너비이고, 상기 제2 변의 길이는 상기 변환 블록의 높이일 수 있다.
상기 프로세서는, 상기 제1 변의 길이가 기 설정된 범위 내의 값인지에 기초하여, 상기 수평 변환 커널을 결정하고, 상기 제2 변의 길이가 상기 기 설정된 범위 내의 값인지에 기초하여, 상기 수직 변환 커널을 결정할 수 있다.
상기 제1 변의 길이 및 상기 제2 변의 길이 중 어느 하나가 상기 기 설정된 범위 밖의 값이고, 다른 하나가 상기 기 설정된 범위 내의 값인 경우, 상기 수평 변환 커널과 상기 수직 변환 커널은 서로 다를 수 있다.
상기 수평 변환 커널과 상기 수직 변환 커널 중에서, 어느 하나는 제1 변환 커널이고, 다른 하나는 제2 변환 커널일 수 있다.
상기 제1 변환 커널은 이산 코사인 변환 타입 2(discrete cosine transform type 2, DCT-2) 기반의 변환 커널이고, 상기 제2 변환 커널은 상기 DCT-2 기반의 변환 커널이 아닐 수 있다.
상기 제2 변환 커널은 이산 사인 변환 타입 7(discrete sine transform type 7, DST-7) 기반의 변환 커널일 수 있다.
상기 제2 변환 커널은 DST-7 기반의 변환 커널 또는 이산 코사인 변환 타입 8(discrete cosine transform type 8, DCT-8) 기반의 변환 커널 중 어느 하나일 수 있다.
상기 제1 변의 길이가 상기 기 설정된 범위 밖의 값이고, 상기 제2 변의 길이가 상기 기 설정된 범위 내의 값인 경우, 상기 수평 변환 커널은 상기 제1 변환 커널이고, 상기 수직 변환 커널은 상기 제2 변환 커널일 수 있다.
상기 제2 변의 길이가 상기 기 설정된 범위 밖의 값이고, 상기 제1 변의 길이가 상기 기 설정된 범위 내의 값인 경우, 상기 수직 변환 커널은 상기 제1 변환 커널이고, 상기 수평 변환 커널은 상기 제2 변환 커널일 수 있다.
상기 기 설정된 범위는 기 설정된 길이 이하를 나타낼 수 있다. 이때, 상기 제1 변 및 상기 제2 변 중 어느 하나의 길이가 상기 기 설정된 길이 보다 크고, 다른 하나의 길이가 상기 기 설정된 길이 보다 작거나 같은 경우, 상기 수평 변환 커널과 상기 수직 변환 커널은 서로 다를 수 있다.
또한, 본 발명의 실시예에 따르면, 비디오 신호 인코딩 장치에 있어서, 프로세서를 포함하고, 상기 프로세서는, 현재 블록의 적어도 하나의 변환 영역에 대응하는 레지듀얼 신호에 대해 수평 변환 커널 및 수직 변환 커널을 이용하는 변환을 수행하여, 상기 현재 블록의 레지듀얼 신호에 대한 변환 블록을 생성하되, 상기 변환 블록은 2차원 배열된 복수의 변환 계수들로 구성되고 상기 생성된 변환 블록을 인코딩하여 비트스트림을 생성하되, 상기 수평 변환 커널은 상기 변환 블록의 제1 변의 길이 정보에 기초하여, 상기 제1 변과 직교하는 상기 변환 블록의 제2 변의 길이와 무관하게 결정되고, 상기 수직 변환 커널은 상기 제2 변의 길이 정보에 기초하여, 상기 제1 변의 길이와 무관하게 결정되는, 비디오 신호 인코딩 장치가 제공된다.
또한, 본 발명의 실시예에 따르면, 비트스트림을 저장하는 컴퓨터로 판독 가능한 기록 매체에 있어서, 상기 비트스트림은, 현재 블록의 레지듀얼 신호로부터 인코딩된 복수의 변환 계수들을 포함하되, 상기 복수의 변환 계수들은 상기 현재 블록의 레지듀얼 신호에 대한 적어도 하나의 변환 블록에서 2차원 배열되고, 수평 변환 커널 및 수직 변환 커널을 이용하는 역변환을 통해 상기 레지듀얼 신호로 복원되며, 상기 수평 변환 커널은 상기 변환 블록의 제1 변의 길이 정보에 기초하여, 상기 제1 변과 직교하는 상기 변환 블록의 제2 변의 길이와 무관하게 결정되고, 상기 수직 변환 커널은 상기 제2 변의 길이 정보에 기초하여, 상기 제1 변의 길이와 무관하게 결정되는, 컴퓨터로 판독 가능한 기록 매체가 제공된다.
본 발명의 실시예에 따르면, 비디오 신호의 코딩 효율이 높아질 수 있다. 또한, 본 발명의 일 실시예에 따르면, 현재 변환 블록에 적합한 변환 커널이 선택될 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치의 개략적인 블록도이다.
도 3은 픽쳐 내에서 코딩 트리 유닛이 코딩 유닛들로 분할되는 실시예를 도시한다.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다.
도 5 및 도 6은 본 발명의 실시예에 따른 인트라 예측 방법을 더욱 구체적으로 도시한다.
도 7은 인코더가 레지듀얼 신호를 변환하는 방법을 구체적으로 나타내는 도면이다.
도 8은 인코더 및 디코더가 변환 계수를 역변환하여 레지듀얼 신호를 획득하는 방법을 구체적으로 나타내는 도면이다.
도 9는 변환 타입 각각에 대응하는 기저 함수를 나타내는 도면이다.
도 10은 은 변환 타입 DCT-II, DCT-V, DCT-VIII, DST-I, DST-VII 각각의 인덱스 별 신호의 크기를 나타내는 도면이다.
도 11은 변환 타입 DST-IV, DCT-IV, DST-VII 및 DCT-VIII 각각에 대한 인덱스 별 신호의 크기를 나타내는 도면이다.
도 12는 현재 블록의 예측 모드에 따라 변환 후보 세트가 구성되는 방법을 나타내는 도면이다.
도 13은 세트 인덱스에 따라 결정된 수평 변환 커널 및 수직 변환 커널을 나타낸다.
도 14는 변환 관련 정보가 획득되는 방법을 나타내는 도면이다.
도 15는 본 발명의 다른 일 실시예에 따른 레지듀얼 코딩 신택스를 나타내는 도면이다.
도 16은 본 발명의 일 실시예에 따른 변환 유닛 신택스를 나타내는 도면이다.
도 17은 변환 블록의 모양에 따른 수직 변환 커널 및 수평 변환 커널을 나타내는 도면이다.
도 18은 변환 블록의 모양에 기초하여 변환 커널이 결정되는 방법을 나타내는 도면이다.
도 19는 수평 변환 커널 및 수직 변환 커널의 조합을 나타내는 정보가 시그널링되는 방법을 나타내는 도면이다.
도 20은 본 발명의 일 실시예에 따라 변환 커널 세트가 시그널링되는 방법을 나타내는 도면이다.
도 21은 본 발명의 일 실시예에 따른 복수의 변환 커널 세트들을 나타내는 도면이다.
도 22는 본 발명의 일 실시예에 따른 디코더가 변환 블록에 적용되는 변환 커널을 결정하는 방법을 나타내는 도면이다.
도 23은 본 발명의 다른 일 실시예에 따른 복수의 변환 커널 세트들을 나타내는 도면이다.
도 24는 디코더가 도 23의 실시예에 따라 변환 블록에 적용되는 변환 커널을 결정하는 방법을 나타내는 도면이다.
도 25는 본 발명의 다른 일 실시예에 따른 복수의 변환 커널 세트들을 나타내는 도면이다.
도 26은 디코더가 도 25의 실시예에 따라 변환 블록에 적용되는 변환 커널을 결정하는 방법을 나타내는 도면이다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 일부 용어들은 다음과 같이 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있다. 본 명세서에서 비디오 신호의 인코딩(부호화)을 수행하여 비디오 신호 비트스트림을 생성하는 장치는 인코딩 장치 혹은 인코더로 지칭되며, 비디오 신호 비트스트림의 디코딩(복호화)을 수행하여 비디오 신호를 복원하는 장치는 디코딩 장치 혹은 디코더로 지칭된다. 또한, 본 명세서에서 비디오 신호 처리 장치는 인코더 및 디코더를 모두 포함하는 개념의 용어로 사용된다. 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 의미는 달리 해석될 수 있으므로 본 발명은 이에 한정되지 아니한다. '유닛'은 영상 처리의 기본 단위 또는 픽쳐의 특정 위치를 지칭하는 의미로 사용되며, 루마(luma) 성분 및 크로마(chroma) 성분 중 적어도 하나를 포함하는 이미지 영역을 가리킨다. 또한, ‘블록’은 루마 성분 및 크로마 성분들(즉, Cb 및 Cr) 중 특정 성분을 포함하는 이미지 영역을 가리킨다. 다만, 실시예에 따라서 ‘유닛’, '블록', '파티션' 및 '영역' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 유닛은 코딩 유닛, 예측 유닛, 변환 유닛을 모두 포함하는 개념으로 사용될 수 있다. 픽쳐는 필드 혹은 프레임을 가리키며, 실시예에 따라 상기 용어들은 서로 혼용하여 사용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치(100)의 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 인코딩 장치(100)는 변환부(110), 양자화부(115), 역양자화부(120), 역변환부(125), 필터링부(130), 예측부(150) 및 엔트로피 코딩부(160)를 포함한다.
변환부(110)는 입력 받은 비디오 신호와 예측부(150)에서 생성된 예측 신호의 차이인 레지듀얼 신호를 변환하여 변환 계수 값을 획득한다. 예를 들어, 이산 코사인 변환(Discrete Cosine Transform, DCT), 이산 사인 변환(Discrete Sine Transform, DST) 또는 웨이블릿 변환(Wavelet Transform) 등이 사용될 수 있다. 이산 코사인 변환 및 이산 사인 변환은 입력된 픽쳐 신호를 블록 형태로 나누어 변환을 수행하게 된다. 변환에 있어서 변환 영역 내의 값들의 분포와 특성에 따라서 코딩 효율이 달라질 수 있다. 양자화부(115)는 변환부(110)에서 출력된 변환 계수 값을 양자화한다.
코딩 효율을 높이기 위하여 픽쳐 신호를 그대로 코딩하는 것이 아니라, 예측부(150)를 통해 이미 코딩된 영역을 이용하여 픽쳐를 예측하고, 예측된 픽쳐에 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 더하여 복원 픽쳐를 획득하는 방법이 사용된다. 인코더와 디코더에서 미스매치가 발생되지 않도록 하기 위해, 인코더에서 예측을 수행할 때에는 디코더에서도 사용 가능한 정보를 사용해야 한다. 이를 위해, 인코더에서는 부호화한 현재 블록을 다시 복원하는 과정을 수행한다. 역양자화부(120)에서는 변환 계수 값을 역양자화하고, 역변환부(125)에서는 역양자화된 변환 계수값을 이용하여 레지듀얼 값을 복원한다. 한편, 필터링부(130)는 복원된 픽쳐의 품질 개선 및 부호화 효율 향상을 위한 필터링 연산을 수행한다. 예를 들어, 디블록킹 필터, 샘플 적응적 오프셋(Sample Adaptive Offset, SAO) 및 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(Decoded Picture Buffer, DPB, 156)에 저장된다.
코딩 효율을 높이기 위하여 픽쳐 신호를 그대로 코딩하는 것이 아니라, 예측부(150)를 통해 이미 코딩된 영역을 이용하여 픽쳐를 예측하고, 예측된 픽쳐에 원 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 더하여 복원 픽쳐를 획득하는 방법이 사용된다. 인트라 예측부(152)에서는 현재 픽쳐 내에서 화면내 예측을 수행하며, 인터 예측부(154)에서는 복호 픽쳐 버퍼(156)에 저장된 참조 픽쳐를 이용하여 현재 픽쳐를 예측한다. 인트라 예측부(152)는 현재 픽쳐 내의 복원된 영역들로부터 화면내 예측을 수행하여, 화면내 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인터 예측부(154)는 다시 모션 추정부(154a) 및 모션 보상부(154b)를 포함하여 구성될 수 있다. 모션 추정부(154a)에서는 복원된 특정 영역을 참조하여 현재 영역의 모션 벡터값을 획득한다. 모션 추정부(154a)에서는 참조 영역의 위치 정보(참조 프레임, 모션 벡터 등) 등을 엔트로피 코딩부(160)로 전달하여 비트스트림에 포함될 수 있도록 한다. 모션 추정부(154a)에서 전달된 모션 벡터값을 이용하여 모션 보상부(154b)에서는 화면간 모션 보상을 수행한다.
예측부(150)는 인트라 예측부(152)와 인터 예측부(154)를 포함한다. 인트라 예측부(152)는 현재 픽쳐 내에서 인트라(intra) 예측을 수행하며, 인터 예측부(154)는 복호 픽쳐 버퍼(156)에 저장된 참조 픽쳐를 이용하여 현재 픽쳐를 예측하는 인터(inter) 예측을 수행한다. 인트라 예측부(152)는 현재 픽쳐 내의 복원된 샘플들로부터 인트라 예측을 수행하여, 인트라 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스 중 적어도 하나를 포함할 수 있다. 인트라 부호화 정보는 참조 샘플에 관한 정보를 포함할 수 있다. 인터 예측부(154)는 모션 추정부(154a) 및 모션 보상부(154b)를 포함하여 구성될 수 있다. 모션 추정부(154a)는 복원된 참조 픽쳐의 특정 영역을 참조하여 현재 영역의 모션 벡터값을 획득한다. 모션 추정부(154a)는 참조 영역에 대한 모션 정보 세트(참조 픽쳐 인덱스, 모션 벡터 정보 등)를 엔트로피 코딩부(160)로 전달한다. 모션 보상부(154b)는 모션 추정부(154a)에서 전달된 모션 벡터값을 이용하여 모션 보상을 수행한다. 인터 예측부(154)는 참조 영역에 대한 모션 정보를 포함하는 인터 부호화 정보를 엔트로피 코딩부(160)에 전달한다.
추가적인 실시예에 따라, 예측부(150)는 인트라 블록 카피(block copy, BC) 예측부(미도시)를 포함할 수 있다. 인트라 BC 예측부는 현재 픽쳐 내의 복원된 샘플들로부터 인트라 BC 예측을 수행하여, 인트라 BC 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인트라 BC 예측부는 현재 픽쳐 내의 특정 영역을 참조하여 현재 영역의 예측에 이용되는 참조 영역을 나타내는 블록 벡터값을 획득한다. 인트라 BC 예측부는 획득된 블록 벡터값을 이용하여 인트라 BC 예측을 수행할 수 있다. 인트라 BC 예측부는 인트라 BC 부호화 정보를 엔트로피 코딩부(160)로 전달한다. 인트라 BC 부호화 정보는 블록 벡터 정보를 포함할 수 있다.
위와 같은 픽쳐 예측이 수행될 경우, 변환부(110)는 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 변환하여 변환 계수 값을 획득한다. 이때, 변환은 픽쳐 내에서 특정 블록 단위로 수행될 수 있으며, 특정 블록의 크기는 기 설정된 범위 내에서 가변할 수 있다. 양자화부(115)는 변환부(110)에서 생성된 변환 계수 값을 양자화하여 엔트로피 코딩부(160)로 전달한다.
엔트로피 코딩부(160)는 양자화된 변환 계수를 나타내는 정보, 인트라 부호화 정보, 및 인터 부호화 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다. 엔트로피 코딩부(160)에서는 가변 길이 코딩(Variable Length Coding, VLC) 방식과 산술 코딩(arithmetic coding) 방식 등이 사용될 수 있다. 가변 길이 코딩(VLC) 방식은 입력되는 심볼들을 연속적인 코드워드로 변환하는데, 코드워드의 길이는 가변적일 수 있다. 예를 들어, 자주 발생하는 심볼들을 짧은 코드워드로, 자주 발생하지 않은 심볼들은 긴 코드워드로 표현하는 것이다. 가변 길이 코딩 방식으로서 컨텍스트 기반 적응형 가변 길이 코딩(Context-based Adaptive Variable Length Coding, CAVLC) 방식이 사용될 수 있다. 산술 코딩은 연속적인 데이터 심볼들을 하나의 소수로 변환하는데, 산술 코딩은 각 심볼을 표현하기 위하여 필요한 최적의 소수 비트를 얻을 수 있다. 산술 코딩으로서 컨텍스트 기반 적응형 산술 부호화(Context-based Adaptive Binary Arithmetic Code, CABAC)가 이용될 수 있다. 예를 들어, 엔트로피 코딩부(160)는 양자화된 변환 계수를 나타내는 정보를 이진화할 수 있다. 또한, 엔트로피 코딩부(160)는 이진화된 정보를 산술 코딩하여 비트스트림을 생성할 수 있다.
상기 생성된 비트스트림은 NAL(Network Abstraction Layer) 유닛을 기본 단위로 캡슐화 된다. NAL 유닛은 부호화된 정수 개의 코딩 트리 유닛(coding tree unit)을 포함한다. 비디오 디코더에서 비트스트림을 복호화하기 위해서는 먼저 비트스트림을 NAL 유닛 단위로 분리한 후, 분리된 각각의 NAL 유닛을 복호화해야 한다. 한편, 비디오 신호 비트스트림의 복호화를 위해 필요한 정보들은 픽쳐 파라미터 세트(Picture Parameter Set, PPS), 시퀀스 파라미터 세트(Sequence Parameter Set, SPS), 비디오 파라미터 세트(Video Parameter Set, VPS) 등과 같은 상위 레벨 세트의 RBSP(Raw Byte Sequence Payload)를 통해 전송될 수 있다.
한편, 도 1의 블록도는 본 발명의 일 실시예에 따른 인코딩 장치(100)를 나타낸 것으로서, 분리하여 표시된 블록들은 인코딩 장치(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 인코딩 장치(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 인코딩 장치(100)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치(200)의 개략적인 블록도이다. 도 2를 참조하면 본 발명의 디코딩 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230) 및 예측부(250)를 포함한다.
엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여, 각 영역에 대한 변환 계수 정보, 인트라 부호화 정보, 인터 부호화 정보 등을 추출한다. 예를 들어, 엔트로피 디코딩부(210)는 비디오 신호 비트스트림으로부터 특정 영역의 변환 계수 정보에 대한 이진화 코드를 획득할 수 있다. 또한, 엔트로피 디코딩부(210)는 이진화 코드를 역 이진화하여 양자화된 변환 계수를 획득한다. 역양자화부(220)는 양자화된 변환 계수를 역양자화하고, 역변환부(225)는 역양자화된 변환 계수를 이용하여 레지듀얼 값을 복원한다. 비디오 신호 처리 장치(200)는 역변환부(225)에서 획득된 레지듀얼 값을 예측부(250)에서 획득된 예측값과 합산하여 원래의 화소값을 복원한다.
한편, 필터링부(230)는 픽쳐에 대한 필터링을 수행하여 화질을 향상시킨다. 여기에는 블록 왜곡 현상을 감소시키기 위한 디블록킹 필터 및/또는 픽쳐 전체의 왜곡 제거를 위한 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 다음 픽쳐에 대한 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(DPB, 256)에 저장된다.
예측부(250)는 인트라 예측부(252) 및 인터 예측부(254)를 포함한다. 예측부(250)는 전술한 엔트로피 디코딩부(210)를 통해 복호화된 부호화 타입, 각 영역에 대한 변환 계수, 인트라/인터 부호화 정보 등을 활용하여 예측 픽쳐를 생성한다. 복호화가 수행되는 현재 블록을 복원하기 위해서, 현재 블록이 포함된 현재 픽쳐 또는 다른 픽쳐들의 복호화된 영역이 이용될 수 있다. 복원에 현재 픽쳐만을 이용하는, 즉 인트라 예측 또는 인트라 BC 예측을 수행하는 픽쳐(또는, 타일/슬라이스)를 인트라 픽쳐 또는 I 픽쳐(또는, 타일/슬라이스), 인트라 예측, 인터 예측 및 인트라 BC 예측을 모두 수행할 수 있는 픽쳐(또는, 타일/슬라이스)를 인터 픽쳐(또는, 타일/슬라이스)라고 한다. 인터 픽쳐(또는, 타일/슬라이스) 중 각 블록의 샘플값들을 예측하기 위하여 최대 하나의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 예측 픽쳐(predictive picture) 또는 P 픽쳐(또는, 타일/슬라이스)라고 하며, 최대 두 개의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 쌍예측 픽쳐(Bi-predictive picture) 또는 B 픽쳐(또는, 타일/슬라이스) 라고 한다. 다시 말해서, P 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 하나의 모션 정보 세트를 이용하고, B 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 두 개의 모션 정보 세트를 이용한다. 여기서, 모션 정보 세트는 하나 이상의 모션 벡터와 하나의 참조 픽쳐 인덱스를 포함한다 .
인트라 예측부(252)는 인트라 부호화 정보 및 현재 픽쳐 내의 복원된 샘플들을 이용하여 예측 블록을 생성한다. 전술한 바와 같이, 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스 중 적어도 하나를 포함할 수 있다. 인트라 예측부(252)는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다. 본 개시에서, 복원된 샘플들, 참조 샘플들 및 현재 블록의 샘플들은 픽셀들을 나타낼 수 있다. 또한, 샘플 값(sample value)들은 픽셀 값들을 나타낼 수 있다.
일 실시예에 따르면, 참조 샘플들은 현재 블록의 주변 블록에 포함된 샘플들일 수 있다. 예를 들어, 참조 샘플들은 현재 블록의 좌측 경계에 인접한 샘플들 및/또는 상측 경계에 인접한 샘플들일 수 있다. 또한, 참조 샘플들은 현재 블록의 주변 블록의 샘플들 중 현재 블록의 좌측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들 및/또는 현재 블록의 상측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들일 수 있다. 이때, 현재 블록의 주변 블록은 현재 블록에 인접한 좌측(L) 블록, 상측(A) 블록, 하좌측(Below Left, BL) 블록, 상우측(Above Right, AR) 블록 또는 상좌측(Above Left, AL) 블록 중 적어도 하나를 포함할 수 있다.
인터 예측부(254)는 복호 픽쳐 버퍼(256)에 저장된 참조 픽쳐 및 인터 부호화 정보를 이용하여 예측 블록을 생성한다. 인터 부호화 정보는 참조 블록에 대한 현재 블록의 모션 정보 세트(참조 픽쳐 인덱스, 모션 벡터 정보 등)를 포함할 수 있다. 인터 예측에는 L0 예측, L1 예측 및 쌍예측(Bi-prediction)이 있을 수 있다. L0 예측은 L0 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측이고, L1 예측은 L1 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측을 의미한다. 이를 위해서는 1세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 필요할 수 있다. 쌍예측 방식에서는 최대 2개의 참조 영역을 이용할 수 있는데, 이 2개의 참조 영역은 동일한 참조 픽쳐에 존재할 수도 있고, 서로 다른 픽쳐에 각각 존재할 수도 있다. 즉, 쌍예측 방식에서는 최대 2세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 이용될 수 있는데, 2개의 모션 벡터가 동일한 참조 픽쳐 인덱스에 대응될 수도 있고 서로 다른 참조 픽쳐 인덱스에 대응될 수도 있다. 이때, 참조 픽쳐들은 시간적으로 현재 픽쳐 이전이나 이후 모두에 표시(또는 출력)될 수 있다. 일 실시예에 따라, 쌍예측 방식에서는 사용되는 2개의 참조 영역은 L0 픽쳐 리스트 및 L1 픽쳐 리스트 각각에서 선택된 영역일 수 있다.
인터 예측부(254)는 모션 벡터 및 참조 픽쳐 인덱스를 이용하여 현재 블록의 참조 블록을 획득할 수 있다. 상기 참조 블록은 참조 픽쳐 인덱스에 대응하는 참조 픽쳐 내에 존재한다. 또한, 모션 벡터에 의해서 특정된 블록의 샘플 값 또는 이의 보간(interpolation)된 값이 현재 블록의 예측자(predictor)로 이용될 수 있다. 서브펠(sub-pel) 단위의 픽셀 정확도를 갖는 모션 예측을 위하여 이를 테면, 루마 신호에 대하여 8-탭 보간 필터가, 크로마 신호에 대하여 4-탭 보간 필터가 사용될 수 있다. 다만, 서브펠 단위의 모션 예측을 위한 보간 필터는 이에 한정되지 않는다. 이와 같이 인터 예측부(254)는 이전에 복원된 픽쳐로부터 현재 유닛의 텍스쳐를 예측하는 모션 보상(motion compensation)을 수행한다. 이때, 인터 예측부는 모션 정보 세트를 이용할 수 있다.
추가적인 실시예에 따라, 예측부(250)는 인트라 BC 예측부(미도시)를 포함할 수 있다. 인트라 BC 예측부는 현재 픽쳐 내의 복원된 샘플들을 포함하는 특정 영역을 참조하여 현재 영역을 복원할 수 있다. 인트라 BC 예측부는 엔트로피 디코딩부(210)로부터 현재 영역에 대한 인트라 BC 부호화 정보를 획득한다. 인트라 BC 예측부는 현재 픽쳐 내의 특정 영역을 지시하는 현재 영역의 블록 벡터값을 획득한다. 인트라 BC 예측부는 획득된 블록 벡터값을 이용하여 인트라 BC 예측을 수행할 수 있다. 인트라 BC 부호화 정보는 블록 벡터 정보를 포함할 수 있다.
상기 인트라 예측부(252) 또는 인터 예측부(254)로부터 출력된 예측값, 및 역변환부(225)로부터 출력된 레지듀얼 값이 더해져서 복원된 비디오 픽쳐가 생성된다. 즉, 비디오 신호 디코딩 장치(200)는 예측부(250)에서 생성된 예측 블록과 역변환부(225)로부터 획득된 레지듀얼을 이용하여 현재 블록을 복원한다.
한편, 도 2의 블록도는 본 발명의 일 실시예에 따른 디코딩 장치(200)를 나타낸 것으로서, 분리하여 표시된 블록들은 디코딩 장치(200)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 디코딩 장치(200)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 디코딩 장치(200)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.
도 3은 픽쳐 내에서 코딩 트리 유닛(Coding Tree Unit, CTU)이 코딩 유닛들(Coding Units, CUs)로 분할되는 실시예를 도시한다. 비디오 신호의 코딩 과정에서, 픽쳐는 코딩 트리 유닛(CTU)들의 시퀀스로 분할될 수 있다. 코딩 트리 유닛은 루마(luma) 샘플들의 NXN 블록과, 이에 대응하는 크로마(chroma) 샘플들의 2개의 블록들로 구성된다. 코딩 트리 유닛은 복수의 코딩 유닛들로 분할될 수 있다. 코딩 트리 유닛은 분할되지 않고 리프 노드가 될 수도 있다. 이 경우, 코딩 트리 유닛 자체가 코딩 유닛이 될 수 있다. 코딩 유닛은 상기에서 설명한 비디오 신호의 처리 과정, 즉 인트라/인터 예측, 변환, 양자화 및/또는 엔트로피 코딩 등의 과정에서 픽쳐를 처리하기 위한 기본 단위를 가리킨다. 하나의 픽쳐 내에서 코딩 유닛의 크기 및 모양은 일정하지 않을 수 있다. 코딩 유닛은 정사각형 혹은 직사각형의 모양을 가질 수 있다. 직사각형 코딩 유닛(혹은, 직사각형 블록)은 수직 코딩 유닛(혹은, 수직 블록)과 수평 코딩 유닛(혹은, 수평 블록)을 포함한다. 본 명세서에서, 수직 블록은 높이가 너비보다 큰 블록이며, 수평 블록은 너비가 높이보다 큰 블록이다. 또한, 본 명세서에서 정사각형이 아닌(non-square) 블록은 직사각형 블록을 가리킬 수 있지만, 본 발명은 이에 한정되지 않는다.
도 3을 참조하면, 코딩 트리 유닛은 먼저 쿼드 트리(Quad Tree, QT) 구조로 분할된다. 즉, 쿼드 트리 구조에서 2NX2N 크기를 가지는 하나의 노드는 NXN 크기를 가지는 네 개의 노드들로 분할될 수 있다. 본 명세서에서 쿼드 트리는 4진(quaternary) 트리로도 지칭될 수 있다. 쿼드 트리 분할은 재귀적으로 수행될 수 있으며, 모든 노드들이 동일한 깊이로 분할될 필요는 없다.
한편, 전술한 쿼드 트리의 리프 노드(leaf node)는 멀티-타입 트리(Multi-Type Tree, MTT) 구조로 더욱 분할될 수 있다. 본 발명의 실시예에 따르면, 멀티 타입 트리 구조에서는 하나의 노드가 수평 혹은 수직 분할의 2진(binary, 바이너리) 혹은 3진(ternary, 터너리) 트리 구조로 분할될 수 있다. 즉, 멀티-타입 트리 구조에는 수직 바이너리 분할, 수평 바이너리 분할, 수직 터너리 분할 및 수평 터너리 분할의 4가지 분할 구조가 존재한다. 본 발명의 실시예에 따르면, 상기 각 트리 구조에서 노드의 너비 및 높이는 모두 2의 거듭제곱 값을 가질 수 있다. 예를 들어, 바이너리 트리(Binary Tree, BT) 구조에서, 2NX2N 크기의 노드는 수직 바이너리 분할에 의해 2개의 NX2N 노드들로 분할되고, 수평 바이너리 분할에 의해 2개의 2NXN 노드들로 분할될 수 있다. 또한, 터너리 트리(Ternary Tree, TT) 구조에서, 2NX2N 크기의 노드는 수직 터너리 분할에 의해 (N/2)X2N, NX2N 및 (N/2)X2N의 노드들로 분할되고, 수평 바이너리 분할에 의해 2NX(N/2), 2NXN 및 2NX(N/2)의 노드들로 분할될 수 있다. 이러한 멀티-타입 트리 분할은 재귀적으로 수행될 수 있다.
멀티-타입 트리의 리프 노드는 코딩 유닛이 될 수 있다. 코딩 유닛에 대한 분할이 지시되지 않거나 코딩 유닛이 최대 변환 길이에 비해 크지 않은 경우, 해당 코딩 유닛은 더 이상의 분할 없이 예측 및 변환의 단위로 사용된다. 한편, 전술한 쿼드 트리 및 멀티-타입 트리에서 다음의 파라메터들 중 적어도 하나가 사전에 정의되거나 PPS, SPS, VPS 등과 같은 상위 레벨 세트의 RBSP를 통해 전송될 수 있다. 1) CTU 크기: 쿼드 트리의 루트 노드(root node) 크기, 2) 최소 QT 크기(MinQtSize): 허용된 최소 QT 리프 노드 크기, 3) 최대 BT 크기(MaxBtSize): 허용된 최대 BT 루트 노드 크기, 4) 최대 TT 크기(MaxTtSize): 허용된 최대 TT 루트 노드 크기, 5) 최대 MTT 깊이(MaxMttDepth): QT의 리프 노드로부터의 MTT 분할의 최대 허용 깊이, 6) 최소 BT 크기(MinBtSize): 허용된 최소 BT 리프 노드 크기, 7) 최소 TT 크기(MinTtSize): 허용된 최소 TT 리프 노드 크기.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다. 전술한 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하기 위해 기 설정된 플래그들이 사용될 수 있다. 도 4를 참조하면, 쿼드 트리 노드의 분할 여부를 지시하는 플래그 'qt_split_flag', 멀티-타입 트리 노드의 분할 여부를 지시하는 플래그 'mtt_split_flag', 멀티-타입 트리 노드의 분할 방향을 지시하는 플래그 'mtt_split_vertical_flag' 또는 멀티-타입 트리 노드의 분할 모양을 지시하는 플래그 'mtt_split_binary_flag' 중 적어도 하나가 사용될 수 있다.
본 발명의 실시예에 따르면, 코딩 트리 유닛은 쿼드 트리의 루트 노드이며, 쿼드 트리 구조로 우선 분할될 수 있다. 쿼드 트리 구조에서는 각각의 노드 'QT_node' 별로 'qt_split_flag'가 시그널링된다. 'qt_split_flag'의 값이 1일 경우 해당 노드는 4개의 정사각형 노드들로 분할되며, 'qt_split_flag'의 값이 0일 경우 해당 노드는 쿼드 트리의 리프 노드 'QT_leaf_node'가 된다.
각각의 쿼드 트리 리프 노드 'QT_leaf_node'는 멀티-타입 트리 구조로 더 분할될 수 있다. 멀티-타입 트리 구조에서는 각각의 노드 'MTT_node' 별로 'mtt_split_flag'가 시그널링된다. 'mtt_split_flag'의 값이 1일 경우 해당 노드는 복수의 직사각형 노드들로 분할되며, 'mtt_split_flag'의 값이 0일 경우 해당 노드는 멀티-타입 트리의 리프 노드 'MTT_leaf_node'가 된다. 멀티-타입 트리 노드 'MTT_node'가 복수의 직사각형 노드들로 분할될 경우(즉, 'mtt_split_flag'의 값이 1일 경우), 노드 'MTT_node'를 위한 'mtt_split_vertical_flag' 및 'mtt_split_binary_flag'가 추가로 시그널링될 수 있다. 'mtt_split_vertical_flag'의 값이 1일 경우 노드 'MTT_node'의 수직 분할이 지시되며, 'mtt_split_vertical_flag'의 값이 0일 경우 노드 'MTT_node'의 수평 분할이 지시된다. 또한, 'mtt_split_binary_flag'의 값이 1일 경우 노드 'MTT_node'는 2개의 직사각형 노드들로 분할되며, 'mtt_split_binary_flag'의 값이 0일 경우 노드 'MTT_node'는 3개의 직사각형 노드들로 분할된다.
코딩을 위한 픽쳐 예측(모션 보상)은 더 이상 나누어지지 않는 코딩 유닛(즉 코딩 유닛 트리의 리프 노드)을 대상으로 이루어진다. 이러한 예측을 수행하는 기본 단위를 이하에서는 예측 유닛(prediction unit) 또는 예측 블록(prediction block)이라고 한다.
이하, 본 명세서에서 사용되는 유닛이라는 용어는 예측을 수행하는 기본 단위인 상기 예측 유닛을 대체하는 용어로 사용될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 더욱 광의적으로는 상기 코딩 유닛을 포함하는 개념으로 이해될 수 있다.
도 5 및 도 6은 본 발명의 실시예에 따른 인트라 예측 방법을 더욱 구체적으로 도시한다. 전술한 바와 같이, 인트라 예측부는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다.
먼저, 도 5는 인트라 예측 모드에서 현재 블록의 예측을 위해 사용되는 참조 샘플들의 일 실시예를 도시한다. 일 실시예에 따르면, 참조 샘플들은 현재 블록의 좌측 경계에 인접한 샘플들 및/또는 상측 경계에 인접한 샘플들일 수 있다. 도 5에 도시된 바와 같이, 현재 블록의 크기가 WXH이고 현재 블록에 인접한 단일 참조 라인(line)의 샘플들이 인트라 예측에 사용될 경우, 현재 블록의 좌측 및/또는 상측에 위치한 최대 2W+2H+1개의 주변 샘플들을 사용하여 참조 샘플들이 설정될 수 있다.
또한, 참조 샘플로 사용될 적어도 일부의 샘플이 아직 복원되지 않은 경우, 인트라 예측부는 참조 샘플 패딩 과정을 수행하여 참조 샘플을 획득할 수 있다. 또한, 인트라 예측부는 인트라 예측의 오차를 줄이기 위해 참조 샘플 필터링 과정을 수행할 수 있다. 즉, 주변 샘플들 및/또는 참조 샘플 패딩 과정에 의해 획득된 참조 샘플들에 필터링을 수행하여 필터링된 참조 샘플들을 획득할 수 있다. 인트라 예측부는 이와 같이 획득된 참조 샘플들을 이용하여 현재 블록의 샘플들을 예측한다. 인트라 예측부는 필터링되지 않은 참조 샘플들 또는 필터링된 참조 샘플들을 이용하여 현재 블록의 샘플들을 예측한다. 본 개시에서, 주변 샘플들은 적어도 하나의 참조 라인 상의 샘플들을 포함할 수 있다. 예를 들어, 주변 샘플들은 현재 블록의 경계에 인접한 라인 상의 인접 샘플들을 포함할 수 있다.
다음으로, 도 6은 인트라 예측에 사용되는 예측 모드들의 일 실시예를 도시한다. 인트라 예측을 위해, 인트라 예측 방향을 지시하는 인트라 예측 모드 정보가 시그널링될 수 있다. 인트라 예측 모드 정보는 인트라 예측 모드 세트를 구성하는 복수의 인트라 예측 모드들 중 어느 하나를 지시한다. 현재 블록이 인트라 예측 블록일 경우, 디코더는 비트스트림으로부터 현재 블록의 인트라 예측 모드 정보를 수신한다. 디코더의 인트라 예측부는 추출된 인트라 예측 모드 정보에 기초하여 현재 블록에 대한 인트라 예측을 수행한다.
본 발명의 실시예에 따르면, 인트라 예측 모드 세트는 인트라 예측에 사용되는 모든 인트라 예측 모드들(예, 총 67개의 인트라 예측 모드들)을 포함할 수 있다. 더욱 구체적으로, 인트라 예측 모드 세트는 평면 모드, DC 모드 및 복수의(예, 65개의) 각도 모드들(즉, 방향 모드들)을 포함할 수 있다. 각각의 인트라 예측 모드는 기 설정된 인덱스(즉, 인트라 예측 모드 인덱스)를 통해 지시될 수 있다. 예를 들어, 도 6에 도시된 바와 같이 인트라 예측 모드 인덱스 0은 평면 모드를 지시하고, 인트라 예측 모드 인덱스 1은 DC 모드를 지시한다. 또한, 인트라 예측 모드 인덱스 2 내지 66은 서로 다른 각도 모드들을 각각 지시할 수 있다. 각도 모드들은 기 설정된 각도 범위 이내의 서로 다른 각도들을 각각 지시한다. 예를 들어, 각도 모드는 시계 방향으로 45도에서 -135도 사이의 각도 범위(즉, 제1 각도 범위) 이내의 각도를 지시할 수 있다. 상기 각도 모드는 12시 방향을 기준으로 정의될 수 있다. 이때, 인트라 예측 모드 인덱스 2는 수평 대각(Horizontal Diagonal, HDIA) 모드를 지시하고, 인트라 예측 모드 인덱스 18은 수평(Horizontal, HOR) 모드를 지시하고, 인트라 예측 모드 인덱스 34는 대각(Diagonal, DIA) 모드를 지시하고, 인트라 예측 모드 인덱스 50은 수직(Vertical, VER) 모드를 지시하며, 인트라 예측 모드 인덱스 66은 수직 대각(Vertical Diagonal, VDIA) 모드를 지시한다.
한편, 코딩 효율을 높이기 위하여 전술한 레지듀얼 신호를 그대로 코딩하는 것이 아니라, 레지듀얼 신호를 변환하여 획득된 변환 계수 값을 양자화하고, 양자화된 변환 계수를 코딩하는 방법이 사용될 수 있다. 전술한 바와 같이, 변환부는 레지듀얼 신호를 변환하여 변환 계수 값을 획득할 수 있다. 이때, 특정 블록의 레지듀얼 신호는 현재 블록의 전 영역에 분산되어 있을 수 있다. 이에 따라, 레지듀얼 신호에 대한 주파수 영역 변환을 통해 저주파 영역에 에너지를 집중시켜 코딩 효율을 향상시킬 수 있다. 이하에서는, 레지듀얼 신호가 변환 또는 역변환되는 방법에 대해 구체적으로 설명하도록 한다.
도 7은 인코더가 레지듀얼 신호를 변환하는 방법을 구체적으로 나타내는 도면이다. 전술한 바와 같이, 공간 영역의 레지듀얼 신호는 주파수 영역으로 변환될 수 있다. 인코더는 획득된 레지듀얼 신호를 변환하여 변환 계수를 획득할 수 있다. 먼저, 인코더는 현재 블록에 대한 레지듀얼 신호를 포함하는 적어도 하나의 레지듀얼 블록을 획득할 수 있다. 레지듀얼 블록은 현재 블록 또는 현재 블록으로부터 분할된 블록들 중 어느 하나일 수 있다. 본 개시에서, 레지듀얼 블록은 현재 블록의 레지듀얼 샘플들을 포함하는 레지듀얼 어레이(array) 또는 레지듀얼 매트릭스(matrix)로 지칭될 수 있다. 또한, 본 개시에서 레지듀얼 블록은 변환 유닛 또는 변환 블록의 크기와 동일한 크기의 블록을 나타낼 수 있다.
다음으로, 인코더는 변환 커널을 사용하여 레지듀얼 블록을 변환할 수 있다. 레지듀얼 블록에 대한 변환에 사용되는 변환 커널은 수직 변환 및 수평 변환의 분리 가능한 특성을 가지는 변환 커널일 수 있다. 이 경우, 레지듀얼 블록에 대한 변환은 수직 변환 및 수평 변환으로 분리되어 수행될 수 있다. 예를 들어, 인코더는 레지듀얼 블록의 수직 방향으로 변환 커널을 적용하여 수직 변환을 수행할 수 있다. 또한, 인코더는 레지듀얼 블록의 수평 방향으로 변환 커널을 적용하여 수평 변환을 수행할 수 있다. 본 개시에서, 변환 커널은 변환 매트릭스, 변환 어레이, 변환 함수, 변환과 같이 레지듀얼 신호의 변환에 사용되는 파라미터 세트를 지칭하는 용어로 사용될 수 있다. 일 실시예에 따라, 변환 커널은 복수의 사용 가능한 커널들 중 어느 하나일 수 있다. 또한, 수직 변환 및 수평 변환 각각에 대해 서로 다른 변환 타입에 기반한 변환 커널이 사용될 수도 있다. 복수의 사용 가능한 변환 커널들 중 어느 하나가 선택되는 방법에 대해서는 도 12 내지 도 26을 통해 후술하도록 한다.
인코더는 레지듀얼 블록으로부터 변환된 변환 블록을 양자화부로 전달하여 양자화할 수 있다. 이때, 변환 블록은 복수의 변환 계수들을 포함할 수 있다. 구체적으로, 변환 블록은 2차원 배열된 복수의 변환 계수들로 구성될 수 있다. 변환 블록의 크기는 레지듀얼 블록과 마찬가지로 현재 블록 또는 현재 블록으로부터 분할된 블록 중 어느 하나와 동일할 수 있다. 양자화부로 전달된 변환 계수들은 양자화된 값으로 표현될 수 있다.
또한, 인코더는 변환 계수가 양자화되기 전에 추가적인 변환을 수행할 수 있다. 도 7에 도시된 바와 같이, 전술한 변환 방법은 1차 변환(primary transform)으로 지칭되고, 추가적인 변환은 2차 변환(secondary transform)으로 지칭될 수 있다. 2차 변환은 레지듀얼 블록 별로 선택적일 수 있다. 일 실시예에 따라, 인코더는 1차 변환만으로 저주파 영역에 에너지를 집중시키기 어려운 영역에 대해 2차 변환을 수행하여 코딩 효율을 향상시킬 수 있다. 예를 들어, 레지듀얼 값들이 레지듀얼 블록의 수평 또는 수직 방향 이외의 방향에서 크게 나타나는 블록에 대해 2차 변환이 추가될 수 있다. 인트라 예측된 블록의 레지듀얼 값들은 인터 예측된 블록의 레지듀얼 값들에 비해 수평 또는 수직 방향 이외의 방향으로 변화할 확률이 높을 수 있다. 이에 따라, 인코더는 인트라 예측된 블록의 레지듀얼 신호에 대해 2차 변환을 추가적으로 수행할 수 있다. 또한, 인코더는 인터 예측된 블록의 레지듀얼 신호에 대해 2차 변환을 생략할 수 있다.
다른 예로, 현재 블록 또는 레지듀얼 블록의 크기에 따라, 2차 변환 수행 여부가 결정될 수 있다. 또한, 현재 블록 또는 레지듀얼 블록의 크기에 따라 크기가 서로 다른 변환 커널이 사용될 수 있다. 예를 들어, 너비 또는 높이 중 짧은 변의 길이가 제1 기 설정된 길이 보다 짧은 블록에 대해서는 8X8 2차 변환이 적용될 수 있다. 또한, 너비 또는 높이 중 짧은 변의 길이가 제2 기 설정된 길이 보다 긴 블록에 대해서는 4X4 2차 변환이 적용될 수 있다. 이때, 제1 기 설정된 길이는 제2 기 설정된 길이 보다 큰 값일 수 있으나, 본 개시가 이에 제한되는 것은 아니다. 또한, 2차 변환은 1차 변환과 달리 수직 변환 및 수평 변환으로 분리되어 수행되지 않을 수 있다. 이러한 2차 변환은 저대역 비-분리 변환(Low Frequency Non-Separable Transform, LFNST)으로 지칭될 수 있다.
또한, 특정 영역의 비디오 신호의 경우, 급격한 밝기 변화로 인해 주파수 변환을 수행하여도 고주파 대역 에너지가 줄어들지 않을 수 있다. 이에 따라, 양자화에 의한 압축 성능이 저하될 수 있다. 또한, 레지듀얼 값이 드물게 존재하는 영역에 대해 변환을 수행하는 경우, 인코딩 시간 및 디코딩 시간이 불필요하게 증가할 수 있다. 이에 따라, 특정 영역의 레지듀얼 신호에 대한 변환은 생략될 수 있다. 특정 영역의 레지듀얼 신호에 대한 변환 수행 여부는 특정 영역의 변환과 관련된 신택스 요소에 의해 결정될 수 있다. 예를 들어, 상기 신택스 요소는 변환 스킵 정보(transform skip information)를 포함할 수 있다. 변환 스킵 정보는 변환 스킵 플래그(transform skip flag)일 수 있다. 레지듀얼 블록에 대한 변환 스킵 정보가 변환 스킵을 나타내는 경우, 해당 레지듀얼 블록에 대한 변환이 수행되지 않는다. 이 경우, 인코더는 해당 영역의 변환이 수행되지 않은 레지듀얼 신호를 곧바로 양자화할 수 있다. 도 7을 참조하여 설명된 인코더의 동작들은 도 1의 변환부를 통해 수행될 수 있다.
전술한 변환 관련 신택스 요소들은 비디오 신호 비트스트림으로부터 파싱된 정보일 수 있다. 디코더는 비디오 신호 비트스트림을 엔트로피 디코딩하여 변환 관련 신택스 요소들을 획득할 수 있다. 또한, 인코더는 변환 관련 신택스 요소들을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성할 수 있다.
도 8은 인코더 및 디코더가 변환 계수를 역변환하여 레지듀얼 신호를 획득하는 방법을 구체적으로 나타내는 도면이다. 이하 설명의 편의를 위해, 인코더 및 디코더 각각의 역변환부를 통해 역변환 동작이 수행되는 것으로 설명한다. 역변환부는 역양자화된 변환 계수를 역변환하여 레지듀얼 신호를 획득할 수 있다. 먼저, 역변환부는 특정 영역의 변환 관련 신택스 요소로부터 해당 영역에 대한 역변환이 수행되는지 검출할 수 있다. 일 실시예에 따라, 특정 변환 블록에 대한 변환 관련 신택스 요소가 변환 스킵을 나타내는 경우, 해당 변환 블록에 대한 변환이 생략될 수 있다. 이 경우, 변환 블록에 대해 전술한 1차 역변환 및 2차 역변환이 모두 생략될 수 있다. 또한, 역양자화된 변환 계수는 레지듀얼 신호로 사용될 수 있다. 예를 들어, 디코더는 역양자화된 변환 계수를 레지듀얼 신호로 사용하여 현재 블록을 복원할 수 있다.
다른 일 실시예에 따라, 특정 변환 블록에 대한 변환 관련 신택스 요소가 변환 스킵을 나타내지 않을 수 있다. 이 경우, 역변환부는 2차 변환에 대한 2차 역변환 수행 여부를 결정할 수 있다. 예를 들어, 변환 블록이 인트라 예측된 블록의 변환 블록인 경우, 변환 블록에 대한 2차 역변환이 수행될 수 있다. 또한, 변환 블록에 대응하는 인트라 예측 모드에 기초하여 해당 변환 블록에 사용되는 2차 변환 커널이 결정될 수 있다. 다른 예로, 변환 블록의 크기에 기초하여 2차 역변환 수행 여부가 결정될 수도 있다. 2차 역변환은 역양자화 과정 이후 1차 역변환이 수행되기 전에 수행될 수 있다.
역변환부는 역양자화된 변환 계수 또는 2차 역변환된 변환 계수에 대한 1차 역변환을 수행할 수 있다. 1차 역변환의 경우, 1차 변환과 마찬가지로 수직 변환 및 수평 변환으로 분리되어 수행될 수 있다. 예를 들어, 역변환부는 변환 블록에 대한 수직 역변환 및 수평 역변환을 수행하여 레지듀얼 블록을 획득할 수 있다. 역변환부는 변환 블록의 변환에 사용된 변환 커널에 기초하여 변환 블록을 역변환할 수 있다. 예를 들어, 인코더는 복수의 사용 가능한 변환 커널들 중 현재 변환 블록에 적용된 변환 커널을 지시하는 정보를 명시적 또는 묵시적으로 시그널링할 수 있다. 디코더는 시그널링된 변환 커널을 나타내는 정보를 이용하여 복수의 사용 가능한 변환 커널들 중 변환 블록의 역변환에 사용될 변환 커널을 선택할 수 있다. 역변환부는 변환 계수에 대한 역변환을 통해 획득된 레지듀얼 신호를 이용하여 현재 블록을 복원할 수 있다.
한편, 픽쳐의 레지듀얼 신호의 분포는 영역 별로 다를 수 있다. 예를 들어, 특정 영역 내의 레지듀얼 신호는 예측 방법에 따라 값의 분포가 달라질 수 있다. 복수의 서로 다른 변환 영역들에 대해 동일한 변환 커널을 사용하여 변환을 수행하는 경우, 변환 영역 내의 값들의 분포와 특성에 따라 변환 영역 별로 코딩 효율이 달라질 수 있다. 이에 따라, 복수의 사용 가능한 변환 커널 중 특정 변환 블록의 변환에 사용되는 변환 커널을 적응적으로 선택하는 경우 코딩 효율이 추가적으로 향상될 수 있다. 즉, 인코더 및 디코더는 비디오 신호의 변환에 있어서, 기본 변환 커널 이외의 변환 커널을 추가적으로 사용 가능하도록 설정할 수 있다. 변환 커널을 적응적으로 선택하는 방법은 적응적 다중 코어 변환(adaptive multiple core transform, AMT) 또는 다중 변환 선택(multiple transform selection, MTS)으로 지칭될 수 있다. 변환 커널을 적응적으로 선택하는 방법에 대해서는 관련 도면을 참조하여 후술하도록 한다. 본 개시에서는 설명의 편의를 위해 변환 및 역변환을 통틀어 변환이라 지칭한다. 또한, 변환 커널 및 역변환 커널을 통틀어 변환 커널이라 지칭한다.
이하에서는, 도 9를 참조하여 비디오 신호의 변환에 사용될 수 있는 복수의 변환 커널들에 대해 설명하도록 한다. 본 발명의 일 실시예에 따라, 변환 커널은 특정 기저 함수를 기반으로 도출된 커널일 수 있다. 복수의 서로 다른 변환 커널들 각각은 서로 다른 기저 함수에 기반하여 획득될 수 있다. 복수의 변환 커널들은 서로 다른 변환 타입 각각에 대응하는 기저 함수에 기초하여 획득될 수 있다.
도 9는 변환 타입 각각에 대응하는 기저 함수(basis function)를 나타내는 도면이다. 일 실시예에 따라, 비디오 레지듀얼 신호의 변환에 사용 가능한 변환 커널은 이산 코사인 변환 타입 2(discrete cosine transform type-II, DCT-II)에 기반한 변환 커널, 이산 코사인 변환 타입 5(discrete cosine transform type-V, DCT-V)에 기반한 변환 커널, 이산 코사인 변환 타입 8(discrete cosine transform type-VIII, DCT-VIII)에 기반한 변환 커널, 이산 사인 변환 타입 1(discrete sine transform type-I, DST-I)에 기반한 변환 커널, 및 이산 사인 변환 타입 7(discrete sine transform type-II, DST-VII)에 기반한 변환 커널 중 적어도 하나를 포함할 수 있다.
도 9를 참조하면, 전술한 변환 타입 DCT-II, DCT-V, DCT-VIII, DST-I, DST-VII 각각에 대응하는 기저 함수들은 코사인 또는 사인의 함수로 표현될 수 있다. 예를 들어, DCT-II, DCT-V, DCT-VIII 각각에 대응하는 기저 함수들은 코사인 형태의 함수이고, DST-I, DST-VII 각각에 대응하는 기저 함수들은 사인 형태의 함수일 수 있다. 또한, 특정 변환 타입에 대응하는 기저 함수는 주파수 빈 별 기저 함수 형태로 나타낼 수 있다. 예를 들어, 기저 함수 Ti(j)는 i번째 주파수 빈에 대응하는 기저 함수일 수 있다. 즉, i가 나타내는 값이 작을 수록 낮은 주파수에 대응하는 기저 함수를 나타낸다. 또한, i가 나타내는 값이 클 수록 높은 주파수에 대응하는 기저 함수를 나타낸다. 도 9에서, j는 0 부터 N-1 사이의 정수를 나타낼 수 있다.
기저 함수 Ti(j)는 i 번째 행의 j 번째 열의 요소를 나타내는 2차원 행렬로 표현될 수 있다. 이 경우, 도 9의 변환 타입에 기초한 변환 커널들을 이용하는 변환은 변환을 수행하는데 있어 분리 가능한 특성을 가진다. 즉, 레지듀얼 신호에 대하여 수평 방향과 수직 방향 각각에 대한 변환이 분리되어 수행될 수 있다. 예를 들어, 레지듀얼 블록 X에 대한 변환 매트릭스 T를 이용하는 변환은 매트릭스 연산 TXT'로 나타낼 수 있다. 이때, T'는 변환 매트릭스 T의 전치(transpose) 매트릭스를 의미한다. 또한, 변환 블록 Y에 대한 변환 매트릭스 T를 이용하는 역변환은 T'YT로 나타낼 수 있다.
도 9에 도시된 기저 함수에 의해 정의되는 변환 매트릭스의 값들은 정수 형태가 아닌 소수 형태일 수 있다. 비디오 인코딩 장치 및 디코딩 장치에 하드웨어적으로 소수 형태의 값들을 구현하기 어려울 수 있다. 따라서 소수 형태의 값들을 포함하는 원형(original) 변환 커널로부터 정수 근사화된 변환 커널이 비디오 신호의 인코딩 및 디코딩에 사용될 수 있다. 정수 형태의 값들을 포함하는 근사화된 변환 커널은 원형 변형 커널에 대한 스케일링 및 라운딩을 통해 생성될 수 있다. 근사화된 변환 커널이 포함하는 정수 값은 기 설정된 개수의 비트로 표현 가능한 범위 내의 값일 수 있다. 기 설정된 개수의 비트는 8-bit 또는 10-bit일 수 있다. 근사화에 따라 DCT와 DST의 정규 직교 (orthonormal) 성질은 유지되지 않을 수 있다. 그러나, 이에 따른 부호화 효율 손실이 크지 않으므로, 변환 커널을 정수 형태로 근사화 시키는 것이 하드웨어적 구현 측면에서 유리할 수 있다.
도 10은 변환 타입 DCT-II, DCT-V, DCT-VIII, DST-I, DST-VII 각각의 인덱스 별 신호의 크기를 나타내는 도면이다. 도 10은 주파수 빈 별 기저 함수들 중에서 가장 낮은 주파수 빈에 대응하는 기저 함수의 형태를 도시한다. 도 10은 주파수 빈 별 기저 함수들 중에서 0번째 주파수 빈에 대응하는 기저 함수를 나타낸다. 도 10에서, 가로축은 기저 함수 내의 인덱스 j (j=0, 1, …N-1)를 나타내며, 세로축은 신호의 크기 값을 나타낸다. N은 변환의 대상이 되는 특정 영역 내의 샘플 수를 나타낸다.
도 10에 도시된 바와 같이, DST-VII은 인덱스 j가 증가할수록 신호의 크기가 증가하는 경향을 보인다. 따라서, DST-VII은 인트라 예측된 블록의 레지듀얼 블록과 같이, 레지듀얼 블록의 좌상단을 기준으로 수평, 수직 방향으로의 거리가 멀어질수록 레지듀얼 신호의 크기가 증가하는 레지듀얼 블록에 대한 변환에 효율적일 수 있다.
반면, DCT-VIII은 인덱스 j가 증가할수록 신호의 크기가 감소하는 경향을 보인다. 즉, DCT-VIII은 DST-VII와 듀얼리티 특성을 만족한다. 따라서, DCT-VIII은 레지듀얼 블록의 좌상단을 기준으로 수평, 수직 방향으로의 거리가 멀어질수록 레지듀얼 신호의 크기가 감소하는 레지듀얼 블록에 대한 변환에 효율적일 수 있다.
DST-I는 기저 함수 내의 인덱스 j가 증가할수록 신호의 크기가 증가하다가 특정 인덱스를 기점으로 신호의 크기가 감소하는 경향을 보인다. 따라서 레지듀얼 블록의 중심 부분의 레지듀얼 신호의 크기가 큰 레지듀얼 블록에 대한 변환에 효율적일 수 있다.
DCT-II의 0 번째 기저 함수는 DC를 나타낸다. 따라서, 레지듀얼 블록 내의 신호 크기 분포가 균일한 레지듀얼 블록에 대한 변환에 효율적일 수 있다.
DCT-V은 DCT-II와 유사하지만 인덱스 j가 0일 때의 신호의 크기가 인덱스 j가 0이 아닐 때의 신호의 크기보다 작은 값을 가진다. 즉, 인덱스 j가 1일 때 직선이 꺾이는 형태의 신호 모형을 가진다.
한편, 전술한 바와 같이 분리 가능한 특성을 가지는 변환 커널을 사용하는 경우, 레지듀얼 블록의 수평 방향과 수직 방향 각각에 대한 변환이 수행될 수 있다. 구체적으로, 두 차례의 2차원 매트릭스 곱하기 연산을 통해 레지듀얼 블록에 대한 변환이 수행될 수 있다. 매트릭스 곱하기 연산에는 기 설정된 수준 이상의 연산량이 수반될 수 있다. 이에 따라, DCT-II에 기반한 변환 커널을 사용하여 레지듀얼 블록을 변환하는 경우, 버터플라이 구조(butterfly structure)를 사용하여 연산량을 감소시킬 수 있다. 그러나 DST-VII 및 DCT-VIII은 구현 복잡도는 상대적으로 높아 연산량 측면에 있어 구현이 어려울 수 있다. 이에 따라, DST-VII 및 DCT-VIII 각각과 유사한 특성을 가지면서 상대적으로 구현 복잡도가 낮은 변환 타입이 사용될 수 있다.
일 실시예에 따라, 이산 사인 변환 타입 IV(discrete sine transform type-IV, DST-IV) 및 이산 코사인 변환 타입-IV(discrete cosine transform type-IV, DCT-IV)은 각각 DST-VII 및 DCT-VIII을 대체할 수 있다. 도 11은 변환 타입 DST-IV, DCT-IV, DST-VII 및 DCT-VIII 각각에 대한 인덱스 별 신호의 크기를 나타내는 도면이다. 도 11(a)는 DST-IV에 대응하는 기저 함수 및 DCT-IV에 대응하는 기저 함수를 나타낸다. 샘플 수 N에 대한 DST-IV 및 DCT-IV는 샘플 수 2N에 대한 DCT-II로부터 도출될 수 있다. 즉, 샘플 수 2N에 대한 DCT-II 부분 버터플라이 구조(partial butterfly structure)는 샘플 수 N에 대한 DCT-IV를 포함한다. 또한, 샘플 수 N에 대한 DST-IV은 샘플 수 N에 대한 DCT-IV로부터 부호 반전 연산 및 해당 기저 함수를 역순으로 정렬함으로써 구현될 수 있다.
도 11(b)에 도시된 바와 같이, DST-IV는 DST-VII과 유사한 신호 모형을 나타낸다. 이에 따라, DST-IV는 인트라 예측된 블록의 레지듀얼 블록과 같이, 레지듀얼 블록의 좌상단을 기준으로 수평, 수직 방향으로의 거리가 클수록 레지듀얼 신호의 크기가 증가하는 레지듀얼 블록의 변환에 효율적일 수 있다. 또한, DCT-IV는 DCT-VIII과 유사한 신호 모형을 나타낸다. 이에 따라, DCT-IV는 특정 경계에서 레지듀얼 신호의 크기가 크고, 해당 경계로부터 다른 경계로 갈수록 레지듀얼 신호의 크기가 감소하는 레지듀얼 블록의 변환에 효율적일 수 있다.
전술한 변환 타입들 중 어느 하나에 기반한 변환 커널만이 비디오 신호의 변환을 위해 사용되는 경우, 원본 신호 자체의 특성 및 예측 모드에 따라 달라지는 레지듀얼 신호의 패턴에 따라 적응적인 변환이 수행되기 어렵다. 따라서, 본 발명의 일 실시예에 따른 인코더 및 디코더는 레지듀얼 신호의 변환에 있어 복수의 사용 가능한 변환 커널들 중에서 영역 별로 선택된 변환 커널을 사용하여 코딩 효율을 향상시킬 수 있다.
기존 HEVC(High Efficiency Video Coding) 표준에서는 전술한 복수의 변환 타입들 중 DCT-II에 기반한 변환 커널을 사용하여 레지듀얼 신호를 변환하고, 인트라 예측된 4X4 크기의 블록에 대해서만 DST-VII에 기반한 변환 커널을 한정적으로 사용하여 레지듀얼 신호를 변환하였다. 전술한 바와 같이, DCT-II는 인터 예측된 블록의 레지듀얼 신호에 대한 변환에 적합할 수 있으나, 인트라 예측된 블록의 레지듀얼 신호에 대한 변환에는 적합하지 않을 수 있다. 즉, 현재 블록이 예측된 방법에 따라, 레지듀얼 블록 내에서 레지듀얼 신호의 패턴이 달라질 수 있다.
이에 따라, 복수의 사용 가능한 변환 커널들 중 선택된 적어도 하나가 특정 변환 블록의 변환에 사용될 수 있다. 일 실시예에 따라, 인코더 및 디코더는 현재 블록이 예측된 방법에 기초하여 현재 블록의 적어도 하나의 변환 영역을 위한 변환 커널을 선택할 수 있다. 이러한 방법은 전술한 적응적 다중 코어 변환(AMT)으로 지칭될 수 있다. 특정 영역의 예측 방법에 따라 결정된 변환 커널이 해당 영역의 변환에 사용되는 경우, 모든 영역에 대해 DCT-II에 기반한 변환 커널을 사용하여 변환이 수행되는 경우 보다 코딩 효율을 향상시킬 수 있다.
도 12는 현재 블록의 예측 모드에 따라 변환 후보 세트가 구성되는 방법을 나타내는 도면이다. 본 발명의 일 실시예에 따라, 인코더 및 디코더는 현재 블록에 대응하는 변환 후보 세트에 기초하여 현재 블록의 적어도 하나의 변환 영역에 사용되는 변환 커널을 선택할 수 있다. 변환 후보 세트는 복수의 후보 변환 커널들을 포함할 수 있다. 또한, 변환 후보 세트는 현재 블록의 예측 모드에 따라 서로 다른 후보 변환 커널을 포함할 수 있다.
일 실시예에 따라, 현재 블록은 복수의 인트라 예측 모드들 중 어느 하나에 기초하여 예측된 블록일 수 있다. 이 경우, 현재 블록의 예측에 사용된 인트라 예측 모드에 따라, 현재 블록의 레지듀얼 신호의 패턴이 달라질 수 있다. 전술한 바와 같이, 인트라 예측 모드 정보는 인트라 예측 방향을 지시할 수 있다. 이에 따라, 현재 블록의 인트라 예측 모드 정보가 지시하는 예측 방향에 따라, 현재 블록의 레지듀얼 신호의 패턴이 달라질 수 있다. 인코더 및 디코더는 예측 방향에 따라 서로 다른 복수의 변환 후보 세트를 사용하여 코딩 효율을 향상시킬 수 있다.
이에 따라, 인코더 및 디코더는 현재 블록의 인트라 예측 모드에 대응하는 변환 후보 세트로부터 현재 블록의 변환 영역에 사용될 변환 커널을 결정할 수 있다. 예를 들어, 변환 영역에 사용될 변환 커널은 변환 후보 세트가 포함하는 복수의 후보 변환 커널 중 어느 하나를 나타내는 후보 인덱스를 통해 시그널링될 수 있다. 현재 블록의 인트라 예측 모드에 대응하는 변환 후보 세트가 2개의 후보 변환 커널로 구성된 경우, 변환 영역에 사용된 변환 커널을 나타내는 후보 인덱스는 1-bit로 표현될 수 있다.
또한, 변환 영역의 수직 방향 및 수평 방향 각각에 대해서 서로 다른 변환 후보 세트가 사용될 수도 있다. 방향성에 기초하여 예측되는 인트라 예측 방법의 특성으로 인해, 예측된 영역의 레지듀얼 신호의 수직 방향 패턴과 수평 방향 패턴이 서로 다를 수 있다. 따라서 특정 인트라 예측 모드를 사용하여 예측된 블록에 대한 수직 변환 커널과 수평 변환 커널은 개별적인 변환 후보 세트로부터 획득될 수 있다. 본 개시에서, 특정 변환 영역의 수직 변환에 사용되는 변환 커널은 수직 변환 커널로 지칭될 수 있다. 또한, 특정 변환 영역의 수평 변환에 사용되는 변환 커널은 수평 변환 커널로 지칭될 수 있다. 도 12(a)는 67개의 인트라 예측 모드 인덱스 각각에 대응하는 변환 후보 세트를 나타낸다. 도 12(a)에서, V (vertical)는 수직 변환 커널을 위한 변환 후보 세트를 나타낸다. 또한, H (horizontal)는 수평 변환 커널을 위한 변환 후보 세트를 나타낸다.
도 12(b)는 변환 후보 세트에 따라 정의되는 후보 변환 커널을 나타낸다. 일 실시예에 따라, 제1 변환 후보 세트(예를 들어, 도 12(b)의 Transform Set 0)는 DST-VII에 기반한 후보 변환 커널 및 DCT-VIII에 기반한 후보 변환 커널을 포함할 수 있다. 또한, 제2 변환 후보 세트(예를 들어, 도 12(b)의 Transform Set 1)는 DST-VII에 기반한 후보 변환 커널 및 DST-I에 기반한 후보 변환 커널을 포함할 수 있다. 제3 변환 후보 세트(예를 들어, 도 12(b)의 Transform Set 2)는 DST-VII에 기반한 후보 변환 커널 및 DCT-V에 기반한 후보 변환 커널을 포함할 수 있다. 도 12에서는 변환 후보 세트가 2개의 후보 변환 커널을 포함하는 것으로 도시하고 있으나, 본 개시가 이에 제한되는 것은 아니다.
다른 일 실시예에 따라, 현재 블록은 인터 예측된 블록일 수 있다. 이 경우, 현재 블록의 변환 영역에 사용되는 변환 커널은 기 설정된 변환 후보 세트로부터 획득될 수 있다. 예를 들어, 기 설정된 변환 후보 세트는 전술한 복수의 변환 후보 세트들 중 어느 하나일 수 있다. 도 12(c)는 현재 블록이 인터 예측 블록인 경우, 현재 블록에 대응하는 변환 후보 세트를 나타낸다. 예를 들어, 인터 예측 블록에 대응하는 기 설정된 변환 후보 세트는 DCT-VIII에 기반한 후보 변환 커널 및 DST-VII에 기반한 후보 변환 커널을 포함할 수 있다. 즉, 인터 예측 블록의 변환 영역에 사용되는 변환 커널은 DCT-VIII에 기반한 후보 변환 커널 및 DST-VII에 기반한 후보 변환 커널들 중 어느 하나일 수 있다.
추가적인 실시예에 따라, 전술한 실시예들은 루마 성분의 변환 블록에 대해서만 제한적으로 적용될 수도 있다. 이 경우, 크로마 성분의 변환 블록에 대해서는 기 설정된 기본 변환 커널이 사용될 수 있다. 예를 들어, 기본 변환 커널은 DCT-II에 기반한 변환 커널일 수 있다.
추가적인 실시예에 따라, 인코더는 변환 영역의 논-제로(non-zero) 변환 계수의 개수에 따라 후보 인덱스를 시그널링하지 않을 수도 있다. 이 경우, 디코더는 변환 영역의 논-제로 변환 계수의 개수를 기 설정된 개수와 비교하여 변환 커널을 결정할 수 있다. 예를 들어, 논-제로 변환 계수의 개수가 하나 또는 둘인 경우 후보 인덱스는 시그널링되지 않을 수 있다. 이 경우, 역변환부는 해당 영역에 대해 기 설정된 변환 커널을 사용하여 변환을 수행할 수 있다. 기 설정된 변환 커널은 DST-VII에 기반한 변환 커널일 수 있다.
도 13은 세트 인덱스에 따라 결정된 수평 변환 커널 및 수직 변환 커널을 나타낸다. 본 발명의 일 실시예에 따라, 복수의 사용 가능한 변환 커널들 중에서 특정 영역의 레지듀얼 신호를 위한 변환 커널을 나타내는 정보가 시그널링될 수 있다. 이 경우, 해당 영역에 대응하는 예측 모드와 관계 없이 복수의 사용 가능한 변환 커널들 중에서 어느 하나를 지시하는 정보가 시그널링될 수 있다. 예를 들어, 인코더는 특정 영역의 레지듀얼 신호를 위한 변환 커널을 나타내는 변환 커널 정보를 시그널링할 수 있다. 디코더는 시그널링된 변환 커널 정보를 사용하여 해당 영역을 위한 변환 커널을 획득할 수 있다. 이때, 변환 커널 정보는 해당 영역의 수평 변환 커널을 나타내는 정보 또는 해당 영역의 수직 변환 커널을 나타내는 정보 중 적어도 하나를 포함할 수 있다. 이러한 방법은 전술한 다중 변환 선택(MTS)으로 지칭될 수 있다.
변환 커널은 복수의 사용 가능한 변환 커널들 각각을 나타내는 커널 인덱스 중 어느 하나에 의해 지시될 수 있다. 일 실시예에 따라, 커널 인덱스 '0'에 대응하는 변환 커널은 DCT-II에 기반한 변환 커널이고, 커널 인덱스 '1'에 대응하는 변환 커널은 DST-VII에 기반한 변환 커널이고, 커널 인덱스 '2'에 대응하는 변환 커널은 DCT-VIII에 기반한 변환 커널일 수 있다.
일 실시예에 따라, 변환 커널 정보는 변환 커널 세트를 나타내는 세트 인덱스일 수 있다. 변환 커널 세트는 수직 변환 커널로 사용될 변환 커널 및 수평 변환 커널로 사용될 변환 커널의 조합을 나타낼 수 있다. 또한, 세트 인덱스는 수평 변환 커널을 지시하는 커널 인덱스와 수직 변환 커널을 지시하는 커널 인덱스의 조합을 지시할 수 있다. 도 13(a)를 참조하면, 특정 영역의 변환 커널 정보가 제1 변환 커널 세트(예를 들어, 도 13(a)의 tu_mts_idx[x0][y0]가 0인 경우)를 나타내는 세트 인덱스를 지시하는 경우, 해당 영역의 수직 변환 커널은 커널 인덱스 '0'에 대응하는 변환 커널일 수 있다. 또한, 해당 영역의 수평 변환 커널은 커널 인덱스 '0'에 대응하는 변환 커널일 수 있다.
또한, 도 13(b)는 커널 인덱스에 대응하는 변환 커널을 나타낸다. 도 13(b)를 참조하면, 제1 커널 인덱스 '0'에 대응하는 변환 커널은 DCT-II에 기반한 변환 커널을 나타낼 수 있다. 또한, 제2 커널 인덱스 '1'에 대응하는 변환 커널은 DST-VII에 기반한 변환 커널을 나타낼 수 있다. 또한, 제3 커널 인덱스 '2'에 대응하는 변환 커널은 DCT-VIII에 기반한 변환 커널을 나타낼 수 있다.
추가적인 실시예에 따라, 전술한 실시예들은 루마 블록에 대해서만 제한적으로 적용될 수도 있다. 이 경우, 크로마 성분에 대해서는 기 설정된 기본 변환 커널이 사용될 수 있다. 예를 들어, 기본 변환 커널은 DCT-II에 기반한 변환 커널일 수 있다. 또한, 전술한 세트 인덱스는 변환 블록 단위로 시그널링될 수 있다.
또한, 세트 인덱스의 시그널링 여부를 나타내는 정보는 현재 블록을 포함하는 상위 레벨의 헤더를 통해 시그널링될 수 있다. 여기에서, 상위 레벨은 현재 블록을 포함하는 슬라이스/타일, 픽쳐 또는 시퀀스를 나타낼 수 있다. 또한, 세트 인덱스에 대한 시그널링 여부를 나타내는 정보는 예측 방법 별로 개별적인 플래그를 통해 시그널링될 수 있다. 예를 들어, 블록의 변환 커널을 결정하는데 있어서, 세트 인덱스가 사용되는지 여부를 나타내는 플래그는 인트라 예측된 블록과 인터 예측된 블록 각각에 대해 독립적으로 설정될 수 있다.
일 실시예에 따라, 변환 블록을 포함하는 상위 레벨의 세트 인덱스의 시그널링 여부를 나타내는 정보가 세트 인덱스가 명시적으로 시그널링되지 않음을 나타내는 경우, 해당 변환 블록에 대해서는 다른 방식으로 변환 커널이 결정될 수 있다. 예를 들어, 현재 변환 블록의 역변환에 적용될 변환 커널은 세트 인덱스가 아닌 다른 정보로부터 유도된 정보에 기초하여 결정될 수 있다. 구체적으로, 디코더는 현재 변환 블록과 관련하여 시그널링된 정보로부터 현재 변환 블록을 위한 변환 커널을 지시하는 정보를 유도할 수 있다. 즉, 변환 블록에 사용될 수직 변환 커널을 나타내는 정보 및 수평 변환 커널을 나타내는 정보는 묵시적으로 시그널링될 수도 있다. 다른 일 실시예에 따라, 변환 블록을 포함하는 상위 레벨의 세트 인덱스의 시그널링 여부를 나타내는 정보가 세트 인덱스가 명시적으로 시그널링됨을 나타내는 경우, 디코더는 시그널링된 세트 인덱스에 기초하여 변환 블록을 위한 변환 커널을 획득할 수 있다.
추가적인 실시예에 따라, 인코더는 세트 인덱스의 시그널링 여부는 변환 영역의 논-제로 변환 계수의 개수에 따라 결정될 수도 있다. 이 경우, 디코더는 변환 영역의 논-제로 변환 계수의 개수를 기 설정된 개수와 비교하여 변환 커널을 결정할 수 있다. 예를 들어, 논-제로 변환 계수의 개수가 두개 이하인 경우, 세트 인덱스는 시그널링되지 않을 수 있다. 이 경우, 역변환부는 해당 영역에 대해 기 설정된 변환 커널을 사용하여 변환을 수행할 수 있다. 기 설정된 변환 커널은 DST-VII에 기반한 변환 커널일 수 있다.
도 14는 변환 관련 정보가 획득되는 방법을 나타내는 도면이다. 현재 블록의 레지듀얼 신호에 대한 변환 및 변환 계수에 대한 역변환은 변환 블록 별로 수행될 수 있다. 현재 블록은 적어도 하나의 변환 블록으로 구성될 수 있다. 즉, 변환 블록은 현재 블록 자체이거나, 현재 블록으로부터 분할된 블록일 수 있다. 변환 블록이 현재 블록 자체인 경우, 변환 블록의 크기는 현재 블록의 크기와 동일할 수 있다. 일 실시예에 따라, 현재 블록은 현재 블록의 크기에 기초하여 복수의 변환 블록들로 분할될 수 있다. 예를 들어, 현재 블록의 크기가 최대 변환 크기 보다 큰 경우, 현재 블록은 복수의 변환 블록들로 분할될 수 있다. 현재 블록의 크기가 최대 변환 크기 이하인 경우, 변환 블록은 현재 블록 자체일 수 있다.
일 실시예에 따라, 최대 변환 크기는 한 변의 길이를 나타내는 값일 수 있다. 예를 들어, 최대 변환 크기는 64-length일 수 있다. 이 경우, 현재 블록의 크기(너비X높이)가 (128X32)인 경우, 현재 블록은 두개의 (64X32) 크기의 변환 블록으로 분할될 수 있다. 최대 변환 크기가 32이고 현재 블록의 크기가 32X32인 경우, 변환 블록은 현재 블록으로부터 분할되지 않고, 현재 블록과 동일한 크기일 수 있다.
현재 블록의 너비 및 높이가 모두 최대 변환 크기보다 작거나 같은 경우, 현재 블록은 복수의 변환 블록으로 분할되지 않는다. 이에 따라, 현재 블록의 좌상단 좌표와 해당 변환 블록의 좌상단 좌표는 동일하다. 반면, 현재 블록의 너비 및 높이 중 적어도 하나가 최대 변환 크기보다 큰 경우, 현재 블록은 복수의 변환 블록들로 분할될 수 있다. 이에 따라, 현재 블록의 좌상단 좌표와 해당 변환 블록들의 좌상단 좌표는 다를 수 있다.
도 14(a)는 변환 유닛 신택스를 나타낸다. 변환 유닛 신택스는 변환 및 역변환과 관련된 처리를 나타낸다. 변환 유닛 신택스는 변환 블록의 좌상단 좌표인 (x0, y0)와 변환 블록의 가로, 세로 방향으로의 크기를 나타내는 tbWidth, tbHeight, 트리 유형을 나타내는 treeType을 인자로 받는다(S1401).
일 실시예에 따라, 변환 관련 정보는 변환 블록이 논-제로 변환 계수를 적어도 하나 포함하는지를 나타내는 코딩된 블록 플래그(coded block flag, cbf) 정보(tu_cbf_luma, tu_cbf_cb, tu_cdf_cr)를 포함할 수 있다. cbf 정보는 변환 유닛의 성분에 따라 별도로 획득될 수 있다. 예를 들어, 변환 관련 정보는 루마 성분에 대한 cbf 정보(tu_cbf_luma[ x0 ][ y0 ]) 및 2개의 크로마 성분 각각에 대한 cbf 정보들(tu_cbf_cb[ x0 ][ y0 ], tu_cbf_cr[ x0 ][ y0 ]) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따라, 변환 블록의 cbf 정보가 변환 블록이 적어도 하나의 논-제로 변환계수를 포함함을 나타내는 경우, 해당 변환 블록에 대한 역양자화 및 역변환이 수행될 수 있다. 이 경우, 디코더는 레지듀얼 코딩 관련 정보를 사용하여 양자화된 변환 계수를 역양자화할 수 있다. 또한, 디코더는 역양자화된 변환 계수를 역변환하여 변환 블록에 대응하는 레지듀얼 신호를 획득할 수 있다. 반대로, 해당 변환 블록의 cbf 정보가 변환 블록이 적어도 하나의 0이 아닌 계수를 포함하지 않음을 나타내는 경우, 디코더는 해당 변환 블록에 대해서는 역양자화 및 역변환을 수행하지 않을 수 있다. 이 경우, 디코더는 변환 블록에 대한 역양자화 및 역변환 과정 없이 레지듀얼 신호를 획득할 수 있다. 변환 블록의 cbf 정보가 존재하지 않는 경우, cbf 정보는 변환 블록이 적어도 하나의 0이 아닌 계수를 포함하지 않는 것으로 간주될 수 있다. 인코더는 전술한 엔트로피 코딩부를 통해 cbf 정보를 엔트로피 코딩할 수 있다. 또한, 디코더는 전술한 엔트로피 디코딩부를 통해 비트스트림으로부터 cbf 정보를 획득할 수 있다.
루마 성분에 대한 트리 구조와 크로마 성분에 대한 트리 구조가 같거나 다르게 인코딩될 수 있다. 따라서, cbf 정보는 변환 블록의 트리 타입을 나타내는 정보(treeType)에 기초하여 획득될 수 있다(S1402). 일 실시예에 따라, 변환 블록의 treeType이 SINGLE_TREE를 나타내는 경우, 현재 블록의 루마 성분을 위한 변환 블록의 트리 구조와 현재 블록의 크로마 성분을 위한 변환 블록의 트리 구조가 동일할 수 있다. 이 경우, 루마 성분에 대한 cbf 정보, 및 크로마 성분 각각에 대한 cbf 정보들이 획득될 수 있다. 다른 일 실시예에 따라, 변환 블록의 treeType이 DUAL_TREE_LUMA 또는 DUAL_TREE_CHROMA를 나타내는 경우, 현재 블록의 루마 성분과 크로마 성분이 각각 서로 다른 구조의 변환 블록들로 분할될 수 있다. 변환 블록의 treeType이 DUAL_TREE_LUMA를 나타내는 경우, 현재 처리되는 변환 블록이 루마 성분 블록임을 의미한다. 이에 따라, 루마 성분에 대한 cbf 정보가 획득될 수 있다. 또한, 변환 블록의 treeType 정보가 DUAL_TREE_CHROMA를 나타내는 경우, 현재 처리되는 변환 블록이 크로마 성분 블록임을 의미한다. 이에 따라, 크로마 성분에 대한 cbf 정보가 획득될 수 있다.
도 14(a)에서, tu_cbf_luma[ x0 ][ y0 ]는 루마 성분 변환 블록이 0이 아닌 계수를 하나 이상 포함하는지를 지시하는 요소로, 1일 경우 픽쳐의 좌상단 루마 성분 샘플 위치를 기준으로 블록의 좌상단 루마 성분 샘플의 위치가 (x0, y0)인 해당 변환 블록 내에 0이 아닌 계수가 존재함을 표현한다. tu_cbf_luma[ x0 ][ y0 ]가 존재하지 않을 경우, 0으로 추론할 수 있다. tu_cbf_luma[ x0 ][ y0 ]가 0인 경우, 해당 루마 변환 블록 내의 모든 계수가 0임을 나타내므로 복호화기에서는 추가적인 파싱과 역양자화, 역변환을 거치지 않고 루마 성분에 대한 해당 잔차 신호를 복원할 수 있다. tu_cbf_luma[ x0 ][ y0 ]가 1인 경우, 해당 루마 변환 블록 내에 하나 이상의 0이 아닌 변환 계수가 존재함을 의미하므로, residual_coding 신택스 구조에서 변환 계수의 파싱과 역양자화 과정이 필요하며, 역양자화된 계수에 대하여 역변환을 적용함으로써 잔차 신호를 복원할 수 있다. tu_cbf_luma[ x0 ][ y0 ]는 문맥(context)를 고려하여 CABAC의 정규 코딩 엔진(regular coding engine)을 사용하여 부호화/복호화될 수 있다.
tu_cbf_cb[ x0 ][ y0 ]는 크로마 성분 Cb 변환 블록이 0이 아닌 계수를 하나 이상 포함하는지를 지시하는 요소로, 1일 경우 좌상단 위치가 (x0, y0)인 해당 변환 블록 내에 0이 아닌 계수가 존재함을 표현한다. tu_cbf_cb[ x0 ][ y0 ]가 존재하지 않을 경우, 0으로 추론할 수 있다. tu_cbf_cb[ x0 ][ y0 ]가 0인 경우, 해당 Cb 변환 블록 내의 모든 계수가 0임을 나타내므로 복호화기에서는 추가적인 파싱과 역양자화, 역변환 과정 없이 Cb 신호에 대한 잔차 신호를 복원할 수 있다. tu_cbf_cb[ x0 ][ y0 ]가 1인 경우, 해당 Cb 변환 블록 내에 하나 이상의 0이 아닌 변환 계수가 존재함을 의미하므로, residual_coding 신택스 구조에서 변환 계수의 파싱과 역양자화 과정이 필요하며, 역양자화된 계수에 대하여 역변환을 적용함으로써 잔차 신호를 복원할 수 있다. tu_cbf_cb[ x0 ][ y0 ]는 문맥(context)를 고려하여 CABAC의 정규 코딩 엔진(regular coding engine)을 사용하여 부호화/복호화될 수 있다.
tu_cbf_cr[ x0 ][ y0 ]는 크로마 성분 Cr 변환 블록이 0이 아닌 계수를 하나 이상 포함하는지를 지시하는 요소로, 1일 경우 좌상단 위치가 (x0, y0)인 해당 변환 블록 내에 0이 아닌 계수가 존재함을 표현한다. tu_cbf_cr[ x0 ][ y0 ]가 존재하지 않을 경우, 0으로 추론할 수 있다. tu_cbf_cr[ x0 ][ y0 ]가 0인 경우, 해당 Cr 변환 블록 내의 모든 계수가 0임을 나타내므로 복호화기에서는 추가적인 파싱과 역양자화, 역변환 과정 없이 Cr 신호에 대한 잔차 신호를 복원할 수 있다. tu_cbf_cr[ x0 ][ y0 ]가 1인 경우, 해당 Cr 변환 블록 내에 하나 이상의 0이 아닌 변환 계수가 존재함을 의미하므로, residual_coding 신택스 구조에서 변환 계수의 파싱과 역양자화 과정이 필요하며, 역양자화된 계수에 대하여 역변환을 적용함으로써 잔차 신호를 복원할 수 있다. tu_cbf_cr[ x0 ][ y0 ]는 문맥(context)를 고려하여 CABAC의 정규 코딩 엔진(regular coding engine)을 사용하여 부호화/복호화될 수 있다.
다음으로, 인코더 및 디코더는 현재 변환 블록에서 MTS 방법이 사용되는지를 나타내는 MTS 정보(cu_mts_flag)를 파싱하기 위한 조건을 확인할 수 있다(S1403). 이하에서는 cu_mts_flag를 파싱하기 위한 조건들에 대해 설명하도록 한다. 먼저, 현재 변환 블록의 상위 레벨 헤더를 통해 시그널링된 상위 레벨 MTS 정보(sps_mts_intra_enabled_flag 및 sps_mts_inter_enabled_flag)에 기초하여 cu_mts_flag의 파싱 여부가 결정될 수 있다. 상위 레벨 MTS 정보는 기본 변환 커널 이외의 다른 변환 커널이 사용될 수 있는지를 나타내는 정보일 수 있다. 일 실시예에 따라, sps_mts_intra_enabled_flag가 0인 경우, 해당 SPS에 속한 인트라 예측된 블록에 대응하는 cu_mts_flag가 존재하지 않음을 나타낼 수 있다. 이 경우, cu_mts_flag가 파싱되지 않는다. 반대로, sps_mts_intra_enabled_flag가 1인 경우, 해당 SPS에 속한 인트라 예측된 블록에 대응하는 cu_mts_flag 존재함을 나타낼 수 있다. 이 경우, cu_mts_flag가 시그널링 및 파싱될 수 있다.
마찬가지로, sps_mts_inter_enabled_flag가 0인 경우, 해당 SPS에 속한 인터 예측된 블록에 대응하는 cu_mts_flag가 존재하지 않음을 나타낼 수 있다. 이 경우, cu_mts_flag가 파싱되지 않는다. 반대로, sps_mts_inter_enabled_flag가 1인 경우, 해당 SPS에 속한 인터 예측된 블록에 대응하는 cu_mts_flag 존재함을 나타낼 수 있다. 이 경우, cu_mts_flag가 시그널링 및 파싱될 수 있다. 상위 레벨 MTS 정보는 시퀀스, 픽쳐 또는 슬라이스/타일의 헤더를 통해와 같은 하이 레벨 신택스(high level syntax)에 포함되어 시그널링될 수 있다.
또한, CuPredMode[ x0 ][ y0 ]는 픽쳐의 루마 성분 좌상단 좌표를 기준으로 좌상단 루마 성분 샘플의 위치가 (x0, y0)인 변환 블록이 인트라 예측 모드 또는 인터 예측 모드로 예측되었는지를 나타내는 변수이다. CuPredMode[ x0 ][ y0 ]가 MODE_INTRA인 경우, 해당 블록은 인트라 예측 모드로 부호화되었음을 나타낸다. 또한, MODE_INTER일 경우, 해당 블록은 인터 예측 모드로 부호화되었음을 나타낸다. 즉, S1403에서, (CuPredMode[　x0　][　y0　] =　= MODE_INTRA) && sps_mts_intra_enabled_flag)는 현재 변환 블록이 인트라 예측으로 부호화되었을 경우 MTS를 적용할 수 있는지를 검사한다. 또한, S1403에서, (CuPredMode[　x0　][　y0　] =　= MODE_INTER) && sps_mts_inter_enabled_flag)는 현재 변환 블록이 인터 예측으로 부호화되었을 경우 MTS를 적용할 수 있는지를 검사한다.
또한, tu_cbf_luma[ x0 ][ y0 ]에 기초하여 cu_mts_flag의 파싱 여부가 결정될 수 있다. tu_cbf_luma[ x0 ][ y0 ]이 해당 변환 블록의 루마 성분의 모든 계수가 0인 것을 나타내는 경우, 역변환을 수행할 필요가 없기 때문이다. 추가적인 실시예에 따라, 크로마 성분에 대한 변환에 있어서는 DCT-II에 기반한 변환 커널만이 사용될 수 있다. 또한, cu_mts_flag의 파싱 여부는, 변환 블록의 높이(tbHeight) 및 너비(tbWidth)가 기 설정된 길이 이하인지에 기초하여 결정될 수 있다. 전술한 조건들을 정리하면 다음과 같다.
조건 i) sps_mts_intra_enabled_flag == 1 이고, CuPredMode[ x0 ][ y0 ] == MODE_INTRA 또는 sps_mts_inter_enabled_flag == 1 이고, CuPredMode[ x0 ][ y0 ] == MODE_INTER,
조건 ii) tu_cbf_luma[ x0 ][ y0 ] == 1,
조건 iii) treeType != DUAL_TREE_CHROMA,
조건 iv) tbWidth <= 32이고, tbHeight <= 32.
전술한 네 개의 조건을 모두 만족하는 경우, 디코더는 cu_mts_flag를 파싱할 수 있다. 또한, 인코더는 cu_mts_flag를 엔트로피 코딩하여 시그널링할 수 있다. cu_mts_flag[ x0 ][ y0 ]가 1인 경우, 현재 변환 블록에 MTS 방법이 적용됨을 의미할 수 있다. 반대로, cu_mts_flag[ x0 ][ y0 ]가 0인 경우, 현재 변환 블록에 MTS 방법이 적용되지 않음을 나타낼 수 있다. 이 경우, DCT-II에 기반한 변환 커널과 같은 기본 커널을 사용하여 역변환이 수행될 수 있다. cu_mts_flag[ x0 ][ y0 ]가 존재하지 않을 경우, cu_mts_flag[ x0 ][ y0 ]는 '0'으로 추론될 수 있다.
본 발명의 일 실시예에 따라, 변환 블록의 변환에 사용되는 변환 커널은 현재 블록의 상위 레벨 헤더 및 변환 블록의 헤더를 통해 단계적으로 시그널링될 수 있다. 먼저, 현재 블록을 포함하는 시퀀스, 픽쳐 또는 슬라이스/타일에서 기본 변환 커널 이외의 다른 변환 커널이 사용될 수 있는지를 나타내는 정보가 상위 레벨 헤더를 통해 시그널링될 수 있다. 또한, 해당 정보는 인트라 예측 및 인터 예측 각각에 대해서 개별적으로 시그널링될 수 있다. 구체적인 실시예에 따라, 시퀀스, 픽쳐 또는 슬라이스/타일의 헤더를 통해 sps_mts_intra_enabled_flag 및 sps_mts_inter_enabled_flag가 시그널링될 수 있다. sps_mts_intra_enabled_flag는 인트라 예측된 블록의 변환에 있어서, 기본 변환 커널 이외의 다른 변환 커널이 사용될 수 있는지를 나타내는 정보일 수 있다. 또한, sps_mts_inter_enabled_flag는 인터 예측된 블록의 변환에 있어서, 기본 변환 커널 이외의 다른 변환 커널이 사용될 수 있는지를 나타내는 정보일 수 있다.
즉, sps_mts_intra_enabled_flag가 기본 변환 커널 이외의 다른 변환 커널에 대한 사용이 허용되지 않음을 나타내고, 현재 블록이 인트라 예측된 블록인 경우, 현재 블록으로부터 획득된 변환 블록의 변환 커널과 관련된 정보는 추가적으로 파싱되지 않을 수 있다. 이 경우, 해당 변환 블록은 기본 변환 커널에 기초하여 변환될 수 있다. 또한, sps_mts_inter_enabled_flag가 기본 변환 커널 이외의 다른 변환 커널에 대한 사용이 허용되지 않음을 나타내고, 현재 블록이 인터 예측된 블록인 경우, 현재 블록으로부터 획득된 변환 블록의 변환 커널과 관련된 정보는 추가적으로 파싱되지 않을 수 있다. 이 경우, 해당 변환 블록은 기본 변환 커널에 기초하여 변환될 수 있다.
반면, 상위 레벨 헤더를 통해 시그널링된 정보가 기본 변환 커널 이외의 다른 변환 커널이 사용될 수 있음을 나타내는 경우, 변환 유닛 신택스를 통해 해당 변환 블록의 변환 커널과 관련된 추가적인 정보가 시그널링될 수 있다. 예를 들어, 변환 블록의 변환에 있어서, 기본 변환 커널이 아닌 다른 변환 커널이 사용되는지를 나타내는 정보가 해당 변환 유닛 신택스를 통해 시그널링될 수 있다.
본 발명의 일 실시예에 따라, 변환 블록에 대한 기본 변환 커널 이외의 다른 변환 커널의 사용은 해당 변환 블록의 크기에 따라 제한될 수 있다. 예를 들어, 변환 블록의 크기가 기 설정된 크기 보다 큰 경우, 해당 변환 블록에 대한 변환에 있어서 기본 변환 커널 이외의 다른 변환 커널에 대한 사용이 제한될 수 있다. 일 실시예에 따라, 변환 블록의 높이 또는 너비 중 적어도 하나가 기 설정된 길이 보다 긴 경우, 해당 변환 블록에 대한 변환에 있어서 기본 변환 커널 이외의 다른 변환 커널에 대한 사용이 허용되지 않을 수 있다. 예를 들어, 기 설정된 길이는 32일 수 있다. 도 14(a)를 참조하면, 변환 블록의 너비가 32 이하이고, 높이가 32이 이하인 경우 전술한 변환 유닛 신택스를 통해 시그널링되는 cu_mts_flag[ x0 ][ y0 ]가 파싱될 수 있다.
도 14(a)에 도시된 바와 같이, 전술한 cbf 정보가 변환 블록이 0이 아닌 변환 계수를 적어도 하나 포함함을 나타내는 경우, 해당 변환 블록에 대한 레지듀얼 코딩이 수행될 수 있다(S1404 내지 S1406). 예를 들어, 디코더는 레지듀얼 코딩을 수행하여 양자화된 변환 계수들을 획득할 수 있다. S1404에서, tu_cbf_luma[　x0　][　y0　] == 1인 경우, 변환 블록의 루마 성분에 대한 레지듀얼 코딩이 수행될 수 있다. 즉, 특정 입력 인자를 받는 레지듀얼 코딩 신택스(residual_coding())가 수행될 수 있다. 구체적으로, residual_coding()는 변환 블록의 좌상단 샘플의 좌표( x0, y0), 변환 블록의 너비에 밑이 2인 로그를 취한 값(log2(tbWidth)) 및 변환 블록의 높이에 밑이 2인 로그를 취한 값(log2(tbHeight))을 입력 인자로 받을 수 있다. 또한, residual_coding()는 컬러 인덱스(cdIdx)를 입력 인자로 받을 수 있다. cdIdx의 값은 '0'인 경우 루마 성분 luma를 의미하며, '1'인 경우 제1 크로마 성분 Cb를 의미하며, '2'인 경우 제2 크로마 성분 Cr을 나타낸다.
S1404에서, tu_cbf_cb[　x0　][　y0　] == 1인 경우, 제1 크로마 성분에 대한 레지듀얼 코딩이 수행될 수 있다. 구체적으로, residual_coding()는 변환 블록의 좌상단 샘플의 좌표(x0, y0)를 입력 인자로 받을 수 있다. 컬러 포맷 YCbCr 이 4:2:0인 경우, 변환 블록의 크로마 성분 블록의 크기는 루마 성분 블록 크기의 한편, 컬러 포맷 YCbCr 이 4:4:4인 경우, 변환 블록의 크로마 성분 블록의 크기는 루마 성분 블록 크기와 동일할 수 있다. 이 경우, residual_coding()은 루마 성분에 대한 레지듀얼 코딩과 마찬가지로 변환 블록의 너비에 밑이 2인 로그를 취한 값(log2(tbWidth)) 및 변환 블록의 높이에 밑이 2인 로그를 취한 값(log2(tbHeight))을 입력 인자로 받을 수 있다.
S1405에서, tu_cbf_cr[　x0　][　y0　] == 1인 경우, 제2 크로마 성분에 대한 레지듀얼 코딩이 수행될 수 있다. 구체적으로, residual_coding()는 변환 블록의 좌상단 샘플의 좌표(x0, y0)를 입력 인자로 받을 수 있다. 컬러 포맷 YCbCr 이 4:2:0인 경우, 변환 블록의 크로마 성분 블록의 크기는 루마 성분 블록 크기의 절반일 수 있다. 이에 따라, residual_coding()은 크로마 성분 블록의 너비(tbWidth/2)에 밑이 2인 로그를 취한 값(log2(tbWidth/2)) 및 크로마 성분 블록의 높이(tbHeight/2)에 밑이 2인 로그를 취한 값(log2(tbHeight/2))을 입력 인자로 받을 수 있다. 한편, 컬러 포맷 YCbCr 이 4:4:4인 경우, 변환 블록의 크로마 성분 블록의 크기는 루마 성분 블록 크기와 동일할 수 있다. 이 경우, residual_coding()은 루마 성분에 대한 레지듀얼 코딩과 마찬가지로 변환 블록의 너비에 밑이 2인 로그를 취한 값(log2(tbWidth)) 및 변환 블록의 높이에 밑이 2인 로그를 취한 값(log2(tbHeight))을 입력 인자로 받을 수 있다.
디코더는 전술한 변환 관련 정보들에 기초하여 해당 변환 블록에 대한 역양자화 및 역변환을 수행할 수 있다. 디코더는 역양자화 및 역변환을 수행하여 변화 블록에 대응하는 레지듀얼 신호를 획득할 수 있다. 구체적으로, 디코더는 도 14(b)의 레지듀얼 코딩 신택스(residual_coding())를 통해 변환 블록의 양자화된 변환 계수 획득할 수 있다. 또한, 디코더는 양자화된 변환 계수로부터 레지듀얼 신호를 복원할 수 있다.
도 14(b)의 residual_coding()은 현재 블록을 포함하는 픽쳐의 좌상단 좌표를 기준으로, 현재 블록으로부터 획득된 변환 블록의 좌상단 좌표, 변환 블록의 너비에 밑이 2인 로그를 취한 값, 변환 블록의 높이에 밑이 2인 로그를 취한 값 및 컬러 인덱스(cIdx)를 인자로 받는다. 또한, 레지듀얼 코딩 신택스는 변환 관련 정보에 기초하여 양자화된 변환 계수를 획득할 수 있다.
일 실시예에 따라, 디코더는 현재 변환 블록의 변환 스킵 플래그(transform_skip_flag)에 대한 파싱 여부를 결정할 수 있다(S1407). transform_skip_flag를 파싱하기 위한 조건들은 다음과 같다.
조건 i) High level syntax에 포함된 1-bit flag인 transform_skip_enabled_flag가 1 (on)인 경우: transform_skip_enabled_flag는 SPS (sequence parameter set), PPS (picture parameter set), slice header 중 어느 하나에 포함될 수 있으며, transform_skip_enabled_flag가 1인 경우, residual coding syntax에서 transform_skip_flag가 존재함을 나타내며, 0인 경우에는 존재하지 않음을 나타낸다.
조건 ii) 루마 성분 변환 블록이 아니거나 (cIdx != 0), MTS를 적용하지 않는 경우 (cu_mts_flag[ x0 ][ y0 ] == 0): 변환 생략은 루마 성분과 크로마 성분 모두에 적용이 가능하다. 루마 성분 변환 블록에 대해 MTS를 적용하는 경우 (cIdx == 0 && cu_mts_flag[ x0 ][ y0 ] == 1), 변환을 수행하는 것이 명백하므로 trnasform_skip_flag[ x0 ][ y0 ][ cIdx]를 부호화/복호화할 필요가 없다.
조건 iii) 변환 블록의 너비가 4 이하이고 (log2TbWidth <= 2), 높이가 4이하인 (log2TbHeight <= 2) 경우
상기 기술한 조건에 따라 transform_skip_flag[ x0 ][ y0 ][ cIdx ]의 파싱 여부가 결정될 수 있다. transform_skip_flag[ x0 ][ y0 ][ cIdx ]가 1인 경우, 디코더는 변환을 수행하지 않을 수 있다. transform_skip_flag[ x0 ][ y0 ][ cIdx ]가 0인 경우, 디코더는 다른 신택스 요소들을 참조하여 현재 변환 블록에 대한 변환 여부를 판단할 수 있다. 도 14(b)에서 생략된 residual_coding() 부분을 통해 디코더는 양자화된 변환 계수를 획득할 수 있다. 또한, 디코더는 획득한 변환 계수를 역양자화하고, 변환하는 과정을 수행할 수 있다. 이를 통해, 디코더는 레지듀얼 신호를 획득할 수 있다.
다음으로, 디코더는 세트 인덱스(mts_idx)의 파싱 여부를 결정할 수 있다(S1408). mts_idx를 파싱하기 위한 조건들은 다음과 같다.
i) cu_mts_flag[ x0 ][ y0 ] == 1 이고, 루마 성분 변환 블록인 경우 (cIdx == 0)
ii) transform_skip_flag[ x0 ][ y0 ] == 0: transform_skip_flag[ x0 ][ y0 ]가 1인 경우, 변환 생략이 적용됨을 지시하므로 어떤 변환 커널이 사용되는지를 결정할 필요가 없다.
iii) 현재 변환 블록이 인트라 예측된 블록의 적어도 일부이고 (CuPredMode[ x0 ][ y0 ] == MODE_INTRA) 해당 블록 내에 0이 아닌 계수가 3개 이상이거나 (numSigCoeff > 2), 현재 변환 블록이 인터 예측된 블록의 적어도 일부((CuPredMode[ x0 ][ y0 ] == MODE_INTER) (여기에서, numSigCoeff 변수는 변환 블록 내에 존재하는 0이 아닌 계수의 개수를 나타냄.)
조건 iii)과 관련하여, 변환 블록 내에 존재하는 0이 아닌 계수의 개수가 2개 이하인 경우 (1 또는 2), 현재 변환 블록에 대해 mts_idx[ x0 ][ y0 ]의 시그널링/파싱 없이 기 설정된 변환 커널을 사용하는 변환이 수행될 수 있다. 이때, 기 설정된 변환 커널은 DST-VII에 기반한 변환 커널일 수 있으며, 또한 DST-VII에 기반한 변환 커널 대신 DST-IV에 기반한 변환 커널을 사용할 수도 있다.
도 15는 본 발명의 다른 일 실시예에 따른 레지듀얼 코딩 신택스를 나타내는 도면이다. 도 15의 신택스 요소들 중 도 14(a)와 중복되는 신택스 요소들은 도 14(a)와 관련된 기재를 따를 수 있다. 도 14(b)에서 세트 인덱스(mts_idx)는 특정 조건들을 만족하는 경우에만 파싱될 수 있다. 예를 들어, 제1 조건 및 제2 조건을 만족하는 경우에만 mts_idx가 파싱될 수 있다. 제1 조건은 현재 변환 블록의 cu_mts_flag가 기본 변환 커널 이외의 다른 변환 커널에 대한 사용이 허용됨을 나타내는 경우일 수 있다. 또한, 제2 조건은 전술한 transform_skip_flag가 변환 스킵을 나타내지 않는 경우일 수 있다. 그러나 제2 조건은 제1 조건에 의해 생략될 수 있다. 구체적으로, 도 15의 S1501을 참조하면 제1 조건(cu_mts_flag==1)이 참인 경우, transform_skip_flag가 파싱되지 않는다. 또한, transform_skip_flag가 파싱되지 않는 경우, '0'으로 결정될 수 있다. 이 경우, 디코더는 변환 스킵 정보가 변환 스킵을 나타내지 않는 것으로 판단할 수 있다. 이에 따라, mts_idx의 파싱을 위한 제2 조건은 생략될 수 있다. 즉, 도 15의 S1502를 참조하면, 도 14의 S1408에서 mts_idx의 파싱을 위한 조건 중 “!transform_skip_flag[　x0　][　y0　][　cIdx　]” 조건이 생략될 수 있다.
한편, 도 14(a)에 따르면, 변환 블록의 높이 및 너비 모두가 기 설정된 범위 내의 값인 경우에만, 변환 블록의 변환에 있어서 기본 변환 커널 이외의 다른 변환 커널에 대한 사용이 허용될 수 있다. 그러나 변환 블록의 높이와 너비가 서로 다른 경우, 너비와 높이 중 어느 하나는 기 설정된 범위 내의 값이고, 다른 어느 하나는 기 설정된 범위 밖의 값일 수 있다. 이 경우, 기 설정된 범위 내의 길이를 가지는 변에 대응하는 변환에 있어서 기본 변환 커널 이외의 다른 변환 커널을 사용하는 것이 유리할 수 있다. 즉, 변환 블록의 너비 및 높이 중에서 어느 하나가 기 설정된 범위 내인 경우, 수직 변환 또는 수평 변환 중 어느 하나에 대해서는 기본 변환 커널 이외의 다른 변환 커널을 사용하는 것이 유리할 수 있다. 따라서, 변환 블록의 높이 및 너비 중 어느 하나가 기 설정된 범위 내인 경우에도, 해당 변환 블록의 변환에 있어서 기본 변환 커널 이외의 다른 변환 커널이 사용될 수 있다.
도 16은 본 발명의 일 실시예에 따른 변환 유닛 신택스를 나타내는 도면이다. 도 16의 신택스 요소들 중 도 14(a)와 중복되는 신택스 요소들은 도 14(a)와 관련된 기재를 따를 수 있다. 일 실시예에 따라, 변환 블록의 너비 또는 높이 중 적어도 하나가 기 설정된 범위 내의 값인 경우, 수평 변환 커널 또는 수직 변환 커널 중 적어도 하나는 기본 변환 커널 이외의 다른 변환 커널일 수 있다. 따라서, 변환 블록의 너비 또는 높이 중 적어도 하나가 기 설정된 범위 내의 값인 경우, 전술한 MTS 정보가 파싱될 수 있다. 일 실시예에 따라, 기 설정된 범위는 기 설정된 길이를 나타낼 수 있다. 예를 들어, 변환 블록의 너비 및 높이 중 적어도 하나가 기 설정된 길이 보다 작거나 같은 경우, 해당 변환 블록의 변환에 있어서 기본 변환 커널 이외의 다른 변환 커널이 사용될 수 있다.
도 16의 블록(1601)을 참조하면, 변환 블록의 너비(tbWidth) 및 높이(tbHeight) 중 적어도 하나가 기 설정된 길이 이하인 경우, cu_mts_flag가 파싱될 수 있다. 즉, 변환 블록의 tbWidth가 기 설정된 길이 이하이거나, tbHeight가 기 설정된 길이 이하인 경우, 기본 변환 커널 이외의 다른 변환 커널이 사용될 수 있다. 이때, 기 설정된 길이는 32일 수 있다. 그러나 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 기 설정된 길이는 16 또는 64일 수 있다. 기 설정된 길이가 16인 경우, 변환 블록의 너비가 16 이하이거나 높이가 16 이하인 변환 블록에 대해 기본 변환 커널 이외의 다른 변환 커널을 사용할 수 있다. 또한, 기 설정된 길이가 64인 경우, 변환 블록의 너비가 64 이하이거나 높이가 64 이하인 변환 블록에 대해 기본 변환 커널 이외의 다른 변환 커널을 사용할 수 있다. 도 14(a)의 S1403의 조건들 중 “tbWidth <= 32이고, tbHeight <= 32”는 “tbWidth <= 32 또는 tbHeight <= 32”로 대체될 수 있다.
추가적인 실시예에 따라, 기 설정된 길이는 예측 모드에 따라 다르게 설정될 수 있다. 예를 들어, 현재 변환 블록이 인트라 예측된 블록인 경우, 기 설정된 길이는 인트라 예측 블록에 대해 사용 가능한 변환 커널의 최대 크기를 나타내는 정보(log2_mts_max_size_intra_minus2)에 따라 결정될 수 있다. 구체적으로, 사용 가능한 변환 커널의 최대 크기에 밑이 2인 로그를 취한 값에서 2를 뺀 값이 시그널링될 수 있다. 마찬가지로, 현재 변환 블록이 인터 예측된 블록인 경우, 기 설정된 길이는 인터 예측 블록에 대해 사용 가능한 변환 커널의 최대 크기를 나타내는 정보(log2_mts_max_size_inter_minus2)에 따라 결정될 수 있다. 이 경우, 도 16의 블록(1601)은 아래의 조건으로 대체될 수 있다.
&& ( ( CuPredMode[ x0 ][ y0 ] == MODE_INTRA ) && ( ( log2(tbWidth) <= log2_mts_max_size_intra_minus2 + 2 ) | | ( log2(tbHeight) <= log2_mts_max_size_intra_minus2 + 2 ) ) ) | | ( ( CuPredMode[ x0 ][ y0 ] = = MODE_INTER ) && ( ( log2(tbWidth) <= log2_mts_max_size_inter_minus2 + 2 ) | | ( log2(tbHeight) <= log2_mts_max_size_inter_minus2 + 2 ) ) )
한편, 변환 블록에 대한 변환에 있어서, 수직 변환 및 수평 변환 각각에 사용되는 변환 커널은 서로 독립적으로 결정될 수 있다. 또한, 전술한 바와 같이 현재 변환 블록의 높이 및 너비 중에서 어느 하나가 기 설정된 범위 내인 경우, 수평 변환 및 수직 변환 중 어느 하나에 대해 기본 변환 커널 이외의 다른 변환 커널이 사용될 수 있다. 이에 따라, 변환 블록의 수직 변환 커널 및 수평 변환 커널은 각각 변환 블록의 서로 다른 변의 길이에 기초하여 획득될 수 있다. 본 발명의 일 실시예에 따라, 인코더 및 디코더는 변환 블록의 서로 다른 변의 길이에 기초하여 변환 블록의 수직 변환 커널 및 수평 변환 커널 각각을 획득할 수 있다.
먼저, 디코더는 현재 블록의 레지듀얼 신호에 대한 적어도 하나의 변환 블록을 획득할 수 있다. 변환 블록은 2차원 배열된 복수의 변환 계수들로 구성될 수 있다. 이때, 복수의 변환 계수들은 논-제로 변환 계수(non-zero transform coefficient) 또는 제로 변환 계수(zero transform coefficient) 중 적어도 하나를 포함할 수 있다. 또한, 변환 블록은 복수의 변으로 구성된 블록일 수 있다. 예를 들어, 변환 블록은 제1 변, 및 제1 변과 직교하는 제2 변으로 구성된 블록일 수 있다. 예를 들어, 변환 블록의 모양은 정사각형 또는 직사각형일 수 있다. 또는 변환 블록의 모양은 삼각형일 수도 있다. 이 경우, 서로 직교하는 제1 변 및 제2 변은 각각 삼각형의 밑 변 및 높이에 대응할 수 있다. 또는 제1 변 및 제2 변은 각각 삼각형을 이루는 두 개의 변일 수도 있다.
일 실시예에 따라, 변환 블록의 수평 변환을 위한 수평 변환 커널은 변환 블록의 제1 변의 길이 정보에 기초하여 결정될 수 있다. 예를 들어, 인코더 및 디코더는 변환 블록의 제1 변의 길이 정보에 기초하여 변환 블록의 제2 변의 길이와 무관하게 수평 변환 커널을 결정할 수 있다. 이때, 제2 변은 제1 변과 직교하는 변일 수 있다. 또한, 변환 블록의 수직 변환을 위한 수직 변환 커널은 변환 블록의 제2 변의 길이 정보에 기초하여 결정될 수 있다. 인코더 및 디코더는 변환 블록의 제2 변의 길이 정보에 기초하여 제1 변의 길이와 무관하게 수직 변환 커널을 결정할 수 있다. 즉, 변환 블록의 수평 변환 커널 및 수직 변환 커널은 각각 개별적으로 결정될 수 있다. 또한, 변환 블록의 수평 변환 커널 및 수직 변환 커널의 결정에 사용되는 조건은 서로 독립적일 수 있다.
일 실시예에 따라, 제1 변의 길이는 변환 블록의 너비에 대응하고, 제2 변의 길이는 변환 블록의 높이에 대응할 수 있다. 즉, 수평 변환 커널은 변환 블록의 너비에 기초하여 결정될 수 있다. 또한, 수직 변환 커널은 변환 블록의 높이에 기초하여 결정될 수 있다. 변환 블록의 수평 변환 커널 및 수직 변환 커널은 각각 변환 블록의 수평 방향에 대응하는 제1 변의 길이 및 변환 블록의 수직 방향에 대응하는 제2 변의 길이에 따라 서로 독립적으로 결정될 수 있다.
구체적으로, 인코더 및 디코더는 변환 블록의 제1 변의 길이가 제1 기 설정된 범위 내의 값인지에 기초하여 변환 블록의 수평 변환 커널을 결정할 수 있다. 또한, 인코더 및 디코더는 제2 변의 길이가 제2 기 설정된 범위 내의 값인지에 기초하여 변환 블록의 수직 변환 커널을 결정할 수 있다. 이때, 제1 기 설정된 범위 및 제2 기 설정된 범위는 동일한 범위일 수 있다. 이하에서는, 제1 기 설정된 범위 및 제2 기 설정된 범위가 단일의 기 설정된 범위인 경우를 예로 들어 설명하도록 한다. 그러나 본 개시가 이에 제한되는 것은 아니며, 제1 기 설정된 범위 및 제2 기 설정된 범위 각각은 후술하는 방법을 통해 개별적으로 설정된 범위일 수도 있다. 또한, 변환 블록의 모양에 따라, 서로 다른 기 설정된 범위가 사용될 수도 있다.
본 발명의 일 실시예에 따라, 수평 변환 커널 및 수직 변환 커널 각각은 복수의 사용 가능한 변환 커널들 중에서 선택된 변환 커널일 수 있다. 일 실시예에 따라, 변환 블록의 모양은 직사각형 모양일 수 있다. 즉, 변환 블록의 제1 변의 길이와 제2 변의 길이는 서로 다를 수 있다. 또한, 변환 블록의 제1 변의 길이 및 제2 변의 길이 중 어느 하나는 기 설정된 범위 밖의 값이고, 다른 하나는 기 설정된 범위 내의 값일 수 있다. 이 경우, 수평 변환 커널 및 수직 변환 커널은 서로 다른 변환 커널일 수 있다.
구체적인 실시예에 따라, 복수의 사용 가능한 변환 커널은 제1 변환 커널 및 제2 변환 커널을 포함할 수 있다. 복수의 사용 가능한 변환 커널들 각각은 서로 다른 커널 인덱스에 의해 지시될 수 있다. 또한, 변환 블록의 제1 변의 길이 및 제2 변의 길이 중 어느 하나는 기 설정된 범위 밖의 값이고, 다른 하나는 기 설정된 범위 내의 값인 경우, 수평 변환 커널과 수직 변환 커널 중에서, 어느 하나는 제1 변환 커널이고, 다른 하나는 제2 변환 커널일 수 있다. 예를 들어, 제1 변의 길이가 기 설정된 범위 밖의 값이고, 제2 변의 길이가 기 설정된 범위 내의 값일 수 있다. 이 경우, 수평 변환 커널은 상기 제1 변환 커널이고, 수직 변환 커널은 상기 제2 변환 커널일 수 있다. 반대로, 제2 변의 길이가 기 설정된 범위 밖의 값이고, 제1 변의 길이가 기 설정된 범위 내의 값일 수 있다. 이 경우, 수직 변환 커널은 상기 제1 변환 커널이고, 수평 변환 커널은 상기 제2 변환 커널일 수 있다. 즉, 수평 변환 커널과 수직 변환 커널 중에서, 기 설정된 범위 밖의 길이의 변에 대응하는 변환 커널은 제1 변환 커널일 수 있다. 또한, 수평 변환 커널과 수직 변환 커널 중에서, 기 설정된 범위 내의 길이의 변에 대응하는 변환 커널은 제2 변환 커널일 수 있다.
이때, 제1 변환 커널은 기본 변환 커널이고, 제2 변환 커널은 기본 변환 커널 이외의 다른 사용 가능한 변환 커널들 중 어느 하나일 수 있다. 또한, 제1 변환 커널은 복수의 사용 가능한 변환 커널들 각각을 지시하는 커널 인덱스들 중에서 가장 작은 커널 인덱스에 의해 지시되는 사용 가능한 변환 커널일 수 있다. 제1 변환 커널은 기본 변환 커널일 수 있다. 일 실시예에 따라, 제1 변환 커널은 DCT-II 기반의 변환 커널이고, 제2 변환 커널은 DCT-II 기반의 변환 커널이 아닐 수 있다. 즉, 제2 변환 커널은 비-DCT-II(non-DCT-II) 기반의 변환 커널일 수 있다. 이때, non-DCT-II 기반의 변환 커널은 DST-VII에 기반한 변환 커널 및 DCT-VIII에 기반한 변환 커널 중 어느 하나일 수 있다. 예를 들어, 제2 변환 커널은 DST-VII 기반의 변환 커널일 수 있다.
추가적인 실시예에 따라, 전술한 실시예는 인트라 예측 블록에 대해 적용될 수 있다. 예를 들어, 인코더 및 디코더는 변환 블록에 대응하는 예측 모드가 인트라 예측 모드인지에 따라, 전술한 방법을 사용할지 결정할 수 있다. 구체적으로, 변환 블록에 대응하는 예측 모드가 인트라 예측 모드인 경우, 인코더 및 디코더는 제1 변의 길이 정보 및 제2 변의 길이 정보 각각에 기초하여 해당 변환 블록의 수평 변환 커널 및 수직 변환 커널 각각을 결정할 수 있다. 반대로, 변환 블록에 대응하는 예측 모드가 인터 예측 모드인 경우, 인코더 및 디코더는 다른 방법을 사용하여 해당 변환 블록의 수평 변환 커널 및 수직 변환 커널 각각을 결정할 수 있다.
일 실시예에 따라, 기 설정된 범위는 기 설정된 제1 길이 값 이하를 나타낼 수 있다. 예를 들어, 제1 변 및 제2 변 중 어느 하나의 길이가 제1 길이 값 보다 크고, 다른 하나의 길이는 제1 길이 값 보다 작거나 같을 수 있다. 이 경우, 수평 변환 커널과 수직 변환 커널은 서로 다를 수 있다. 또한, 기 설정된 범위는 기 설정된 제2 길이 값 이상을 나타낼 수 있다. 예를 들어, 인트라 서브 파티션(intra sub-partition, ISP) 모드가 사용되는 경우, 기 설정된 범위는 제1 길이 값 이하 및 제2 길이 값 이상을 나타낼 수 있다. 이때, 제2 길이 값은 제1 길이 값 보다 작은 값일 수 있다. 반대로, ISP 모드가 사용되지 않는 경우, 기 설정된 범위는 기 설정된 제1 길이 값 이하를 나타낼 수 있다.
일 실시예에 따라, 기 설정된 범위는 사용 가능한 변환 커널의 최대 크기에 따라 설정된 범위일 수 있다. 예를 들어, 전술한 제1 길이 값은 사용 가능한 변환 커널들 각각의 최대 크기에 따라 결정될 수 있다. 제1 길이 값은 복수의 사용 가능한 변환 커널들 중 기본 변환 커널을 제외한 특정 변환 커널의 최대 크기에 기초하여 결정될 수 있다. 일 실시예에 따라, 기본 변환 커널의 최대 크기는 32이고, 특정 변환 커널의 최대 크기는 32보다 작은 값일 수 있다. 이 경우, 제1 길이 값은 32보다 작은 값으로 설정될 수 있다. 구체적으로, 특정 변환 커널의 최대 크기가 16인 경우, 제1 길이 값은 16일 수 있다. 반면, 특정 사용 가능한 변환 커널의 최대 크기가 32인 경우, 제1 길이 값은 32일 수도 있다.
이때, 사용 가능한 변환 커널의 최대 크기는 현재 블록을 포함하는 상위 레벨 헤더를 통해 시그널링될 수 있다. 예를 들어, 시퀀스, 픽쳐 또는 슬라이스/타일의 헤더를 통해 시그널링될 수 있다. 구체적으로, 사용 가능한 변환 커널의 최대 크기에 밑이 2인 로그를 취한 값에서 2를 뺀 값이 시그널링될 수 있다. 또한, 사용 가능한 변환 커널의 최대 크기는 예측 모드에 따라 다를 수 있다. 이 경우, 인트라 예측된 블록에 사용 가능한 변환 커널의 최대 크기를 나타내는 정보 및 인터 예측된 블록에 사용 가능한 변환 커널의 최대 크기를 나타내는 정보 각각은 개별적으로 시그널링될 수 있다.
또한, 전술한 제2 길이 값은 사용 가능한 변환 커널의 최소 크기에 따라 설정된 값일 수 있다. 전술한 바와 같이, 수평 변환 커널 및 수직 변환 커널 각각은 복수의 사용 가능한 변환 커널들 중에서 선택된 변환 커널 수 있다. 이때, 복수의 사용 가능한 변환 커널들 각각의 최소 크기는 서로 다를 수 있다. 구체적인 실시예에 따라, 복수의 사용 가능한 변환 커널은 제1 변환 커널 및 제2 변환 커널을 포함할 수 있다. 제1 변환 커널의 최소 크기는 2X2이고, 제2 변환 커널의 최소 크기는 4X4일 수 있다. 이 경우, 제2 길이 값은 4일 수 있다.
도 17은 변환 블록의 모양에 따른 수직 변환 커널 및 수평 변환 커널을 나타내는 도면이다. 도 17에서는 기 설정된 제1 길이가 32인 경우를 예로 들어 설명하고 있으나, 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 기 설정된 제1 길이는 16일 있다. 도 17(a)는 너비 및 높이가 모두 기 설정된 범위 내인 변환 블록의 수평 변환 커널(trHor) 및 수직 변환 커널(trVer)을 나타낸다. 즉, 변환 블록의 너비 및 높이가 32 이하의 값일 수 있다. 이 경우, 수평 변환 커널 및 수직 변환 커널 모두에 대해 기본 변환 커널 이외의 다른 사용 가능한 변환 커널이 사용될 수 있다.
일 실시예에 따라, 기본 변환 커널 이외의 다른 사용 가능한 변환 커널은 복수일 수 있다. 이 경우, 복수의 사용 가능한 변환 커널들 중 어느 하나를 지시하는 지시자가 시그널링될 수 있다. 예를 들어, 인코더는 복수의 사용 가능한 변환 커널들 중에서 변환 블록에 사용될 수직 변환 커널 또는 수평 변환 커널을 나타내는 지시자를 시그널링할 수 있다. 또한, 디코더는 시그널링된 지시자에 기초하여 변환 블록에 사용되는 수직 변환 커널 및 수평 변환 커널을 결정할 수 있다.
도 17(a)와 같이, 변환 블록의 너비 및 높이가 모두 제1 길이 이하인 경우, 수평 변환 블록 및 수직 변환 블록 각각에 대해 개별적인 지시자가 시그널링될 수 있다. 또는 변환 블록의 변환에 사용되는 수평 변환 커널 및 수직 변환 커널의 조합을 나타내는 정보가 시그널링될 수도 있다. 예를 들어, 기본 변환 커널 이외의 다른 사용 가능한 변환 커널은 DST-VII에 기반한 제3 변환 커널 및 DCT-VIII에 기반한 제4 변환 커널을 포함할 수 있다. 이 경우, 수평 변환 커널 및 수직 변환 커널이 모두 제3 변환 커널임을 나타내는 제1 정보가 시그널링될 수 있다. 또한, 수평 변환 커널이 제3 변환 커널이고, 수직 변환 커널이 제4 변환 커널임을 나타내는 제2 정보가 시그널링될 수 있다. 수평 변환 커널이 제4 변환 커널이고, 수직 변환 커널이 제3 변환 커널임을 나타내는 제3 정보가 시그널링될 수 있다. 수평 변환 커널 및 수직 변환 커널이 모두 제4 변환 커널임을 나타내는 제4 정보가 시그널링될 수 있다. 이때, 제1 내지 제4 정보들 각각은 서로 다른 인덱스 값을 통해 지시될 수 있다.
도 17(b) 및 도 17(c)는 변환 블록의 너비 또는 높이 중 어느 하나가 기 설정된 범위 밖의 값이고, 다른 하나가 기 설정된 범위 내의 값인 경우, 해당 변환 블록의 수평 변환 커널(trHor) 및 수직 변환 커널(trVer)을 나타낸다. 이 경우, 수평 변환 커널 및 수직 변환 커널은 서로 다를 수 있다. 현재 변환 블록의 너비가 기 설정된 범위 밖의 값이고, 높이가 기 설정된 범위 내의 값인 경우, 인코더 및 디코더는 수평 변환 커널로 제1 변환 커널을 사용할 수 있다. 이 경우, 인코더 및 디코더는 수직 변환 커널로 제2 변환 커널을 사용할 수 있다.
반대로, 현재 변환 블록의 너비가 기 설정된 범위 내의 값이고, 높이가 기 설정된 범위 밖의 값인 경우, 인코더 및 디코더는 수평 변환 커널로 제2 변환 커널을 사용할 수 있다. 이 경우, 인코더 및 디코더는 수직 변환 커널로 제1 변환 커널을 사용할 수 있다.
일 실시예에 따라, 기 설정된 규칙은 복수의 사용 가능한 변환 커널들 중 해당 변환 블록을 위해 지시되는 어느 하나를 사용하는 것일 수 있다. 이때, 복수의 사용 가능한 변환 커널들은 제1 변환 커널 및 제2 변환 커널을 포함할 수 있다. 전술한 바와 같이, 제1 변환 커널은 DCT-II에 기반한 변환 커널이고, 제2 변환 커널은 non-DCT-II 기반의 변환 커널들 중 어느 하나일 수 있다.
다른 일 실시예에 따라, 기 설정된 규칙은 제1 변환 커널을 제외한 복수의 사용 가능한 변환 커널들 중 해당 변환 블록을 위해 지시되는 어느 하나를 사용하는 것일 수 있다. 즉, 인코더 및 디코더는 제1 변환 커널을 제외한 복수의 사용 가능한 변환 커널들 중 현재 변환 블록을 위해 지시되는 어느 하나를 사용하여 변환을 수행할 수 있다. 제1 변환 커널을 제외한 복수의 사용 가능한 변환 커널은 DST-VII에 기반한 변환 커널 및 DCT-VIII에 기반한 변환 커널을 포함할 수 있다. 또한, 기 설정된 규칙은 기 설정된 범위 내의 길이의 변에 대응하는 변환에 있어 기 설정된 변환 커널을 사용하는 것일 수도 있다. 이때, 기 설정된 변환 커널은 DST-VII에 기반한 변환 커널일 수 있다.
예를 들어, 인코더 및 디코더는 변환 블록의 너비가 제1 길이 이하인지에 기초하여 수평 변환 커널을 결정할 수 있다. 도 17(b)와 같이, 변환 블록의 너비가 제1 길이 보다 큰 경우, 수평 변환 커널은 제1 변환 커널일 수 있다. 도 17(c)와 같이, 변환 블록의 너비가 제1 길이 이하인 경우, 수평 변환 커널은 제2 변환 커널일 수 있다. 수평 변환 커널은 DST-VII에 기반한 변환 커널일 수 있다.
또한, 인코더 및 디코더는 변환 블록의 높이가 제1 길이 이하인지에 기초하여 수직 변환 커널을 결정할 수 있다. 도 17(b)와 같이, 변환 블록의 높이가 제1 길이 이하인 경우, 수직 변환 커널은 제2 변환 커널일 수 있다. 수직 변환 커널은 DST-VII에 기반한 변환 커널일 수 있다. 도 17(c)와 같이, 변환 블록의 높이가 제1 길이 보다 큰 경우, 수평 변환 커널은 제1 변환 커널일 수 있다. 추가적인 실시예에 따라, 현재 블록이 기 설정된 개수 이상의 변환 블록들로 분할되는 경우, 해당 변환 블록의 수직 변환 및 수평 변환 모두에 대해 기본 변환 커널이 사용될 수 있다. 기본 변환 커널은 DCT-II에 기반한 변환 커널일 수 있다.
도 17(d)는 변환 블록의 너비 및 높이가 모두 기 설정된 범위 밖인 경우, 해당 변환 블록의 수평 변환 커널(trHor) 및 수직 변환 커널(trVer)을 나타낸다. 즉, 변환 블록의 너비 및 높이가 제1 길이 보다 큰 값일 수 있다. 이 경우, 인코더 및 디코더는 기본 변환 커널을 사용하여 수직 변환 및 수평 변환을 수행할 수 있다. 예를 들어, 기본 변환 커널은 DCT-II에 기반한 변환 커널일 수 있다.
변환 블록의 변환에 사용되는 수평 변환 커널 및 수직 변환 커널의 조합을 나타내는 정보는 명시적으로 시그널링되지 않을 수 있다. 이 경우, 변환 블록을 위한 수평 변환 커널 및 수직 변환 커널은 해당 변환 블록의 크기 또는 모양 중 적어도 하나에 기초하여 결정될 수 있다. 예를 들어, 레지듀얼 신호의 에너지 분포는 블록의 모양과 상관 관계가 있을 수 있다. 현재 블록이 정사각형 블록이 아닌 직사각형 블록인 경우, 에너지 분포가 다를 수 있다. 이에 따라, 블록의 모양을 고려하여 변환 커널을 적응적으로 적용할 수 있다. 이를 통해, 레지듀얼 신호를 효율적으로 압축할 수 있다. 또한, 변환 블록을 위한 수평 변환 커널 및 수직 변환 커널은 해당 변환 블록을 포함하는 코딩 블록이 예측된 방법에 기초하여 결정될 수 있다.
도 18은 변환 블록의 모양에 기초하여 변환 커널이 결정되는 방법을 나타내는 도면이다. 도 18을 참조하면 변환 블록을 포함하는 코딩 블록이 인터 예측된 블록인 경우, 변환 블록의 수평 변환 커널 및 수직 변환 커널은 모두 DCT-II 기반의 변환 커널일 수 있다. 반면, 변환 블록을 포함하는 코딩 블록이 인트라 예측된 블록인 경우, 인코더 및 디코더는 변환 블록의 모양에 따라 해당 변환 블록의 변환에 사용되는 수평 변환 커널 및 수직 변환 커널을 획득할 수 있다. 일 실시예에 따라, 변환 블록의 모양이 정사각형인 경우, 수평 변환 및 수직 변환에 대해 기본 변환 커널이 사용될 수 있다. 이때, 기본 변환 커널은 전술한 제1 변환 커널일 수 있다. 기본 변환 커널은 DCT-II에 기반한 변환 커널이 수 있다.
다른 일 실시예에 따라, 변환 블록의 모양이 직사각형인 경우, 수직 변환 커널 및 수평 변환 커널은 서로 다를 수 있다. 변환 블록의 긴 변에 대응하는 변환에 대해 기본 변환 커널이 사용될 수 있다. 또한, 변환 블록의 짧은 변에 대응하는 변환에 대해 non-DCT-II 기반의 변환 커널이 사용될 수 있다. 예를 들어, 변환 블록의 너비가 높이보다 짧은 경우, 수직 변환 커널로 DCT-II 기반의 변환 커널이 사용되고, 수평 변환 커널로 non-DCT-II 기반의 변환 커널이 사용될 수 있다. 반대로, 변환 블록의 너비가 높이보다 긴 경우, 수평 변환 커널로 DCT-II 기반의 변환 커널이 사용되고, 수직 변환 커널로 non-DCT-II 기반의 변환 커널이 사용될 수 있다. 이때, non-DCT-II 기반의 변환 커널은 DST-VII 기반의 변환 커널일 수 있다. 또한, non-DCT-II 기반의 변환 커널은 복수의 non-DCT-II 기반의 변환 커널들 중 어느 하나를 지시하는 지시자에 의해 지시된 변환 커널일 수 있다.
이때, 변환 블록의 짧은 변의 길이가 DST-VII 기반의 변환 커널의 최대 크기 보다 큰 경우, 짧은 변에 대응하는 변환(예를 들어, 짧은 변이 높이인 경우 수직 변환, 짧은 변이 너비인 경우 수평 변환)에 대해서도 DCT-II 기반의 변환 커널이 사용될 수 있다. 구체적인 예로, DST-VII 기반의 변환 커널의 최대 크기가 32x32일 수 있다. 이 경우, 크기가 64x32인 제1 변환 블록의 수평 변환 커널은 DCT-II 기반의 변환 커널이고, 수직 변환 커널은 DST-VII 기반의 변환 커널이 수 있다. 반면, 크기가 128x64인 제2 변환 블록의 수평 변환 커널 및 수직 변환 커널은 모두 DCT-II 기반의 변환 커널이 수 있다.
추가적인 실시예에 따라, 변환 블록의 짧은 변에 대응하는 변환에 대해서도 DST-VII 기반의 변환 커널 보다 DCT-II 기반의 변환 커널을 사용하는 것이 더 작은 율-왜곡 비용을 발생시킬 수도 있다. 따라서, 추가적인 시그널링을 통해, 짧은 변에 대응하는 변환에 대해 DCT-II에 기반한 변환 커널을 사용하도록 설정할 수 있다. 이때, 추가적인 시그널링은 1-bit 또는 플래그를 통해 수행될 수 있다.
다른 일 실시예에 따라, 변환 블록의 짧은 변에 대응하는 변환(예를 들어, 짧은 변이 높이인 경우 수직 변환, 짧은 변이 너비인 경우 수평 변환)에 대해 DST-IV 기반의 변환 커널이 사용될 수도 있다. 도 11에서 전술한 바와 같이, DST-VII 기반의 변환 커널은 구현 복잡도가 높은 편이므로 저주파 기저 함수의 패턴이 유사한 DST-IV 기반의 변환 커널로 대체될 수 있다. 추가적인 실시예에 따라, 기 설정된 크기에 대응하는 변환 블록에 대해서만 대체된 변환 커널이 사용될 수도 있다. 예를 들어, 변환 블록을 위해 사용되는 변환 커널의 크기가 4x4 또는 8x8인 경우, 해당 DST-VII 기반의 변환 커널은 DST-IV 기반의 변환 커널로 대체될 수 있다.
또 다른 일 실시예에 따라, 변환 블록의 짧은 변에 대응하는 변환(예를 들어, 짧은 변이 높이인 경우 수직 변환, 짧은 변이 너비인 경우 수평 변환)에 대해, 해당 변환 블록을 포함하는 코딩 블록의 인트라 예측 모드에 따라 결정된 변환 커널이 사용될 수 있다. 예를 들어, 코딩 블록의 인트라 예측 모드가 DC 모드 또는 평면 모드인 경우, 해당 변환 블록의 짧은 변에 대응하는 변환에 사용되는 변환 커널은 DCT-II 기반의 변환 커널일 수 있다.
다른 예로, 변환 블록은 너비가 높이보다 긴 수평 직사각형일 수 있다. 변환 블록을 포함하는 코딩 블록의 인트라 예측 모드가 수평 방향 모드인 경우, 수평 직사각형인 변환 블록의 짧은 변(즉, 높이)에 대응하는 변환(즉, 수직 변환)에 대해 DCT-II 기반의 변환 커널이 사용될 수 있다. 여기에서, 수평 방향 모드는 수평 대각 모드보다 같거나 크고 대각 모드보다 작거나 같은 인트라 예측 모드를 나타낼 수 있다. 반면, 변환 블록을 포함하는 코딩 블록의 인트라 예측 모드가 수직 방향 모드인 경우, 수평 직사각형인 변환 블록의 짧은 변(즉, 높이)에 대응하는 변환(즉, 수직 변환)에 대해 DST-VII 기반의 변환 커널이 사용될 수 있다. 여기에서, 수직 방향 모드는 대각 모드보다 크고 수직 대각 모드보다 작거나 같은 인트라 예측 모드를 나타낼 수 있다.
반대로, 변환 블록은 높이가 너비보다 긴 수직 직사각형일 수 있다. 변환 블록을 포함하는 코딩 블록의 인트라 예측 모드가 수평 방향 모드인 경우, 수직 직사각형인 변환 블록의 짧은 변(즉, 너비)에 대응하는 변환(즉, 수평 변환)에 대해 DST-VII 기반의 변환 커널이 사용될 수 있다. 반면, 변환 블록을 포함하는 코딩 블록의 인트라 예측 모드가 수직 방향 모드인 경우, 수직 직사각형인 변환 블록의 짧은 변(즉, 너비)에 대응하는 변환(즉, 수평 변환)에 대해 DCT-II 기반의 변환 커널이 사용될 수 있다.
이하에서는, 변환 블록의 변환 커널이 명시적으로 시그널링되는 방법에 대해 설명하도록 한다. 예를 들어, 변환 블록의 수평 변환 커널 및 수직 변환 커널의 조합을 나타내는 정보가 시그널링될 수 있다. 수평 변환 커널 및 수직 변환 커널의 조합을 나타내는 정보는 세트 인덱스를 통해 시그널링될 수 있다. 또한, 특정 세트 인덱스에 의해 지시되는 상기 정보는 변환 블록의 크기 또는 모양 중 적어도 하나에 따라 달라질 수 있다.
도 19는 수평 변환 커널 및 수직 변환 커널의 조합을 나타내는 정보가 시그널링되는 방법을 나타내는 도면이다. 도 19에서, 세트 인덱스 mts_idx[ xTbY ][ yTbY ]는 픽쳐의 루마 성분 좌상단 좌표를 기준으로 변환 블록의 좌상단 루마 성분 좌표가 (xTbY, yTbY)인 변환 블록에 적용되는 변환 커널을 지시할 수 있다. mts_idx의 최상위비트(most significant bit, MSB)는 수직 변환에 사용되는 변환 커널의 커널 인덱스를 지시할 수 있다. 또한, mts_idx의 최하위비트(least significant bit, LSB)는 수평 변환에 사용되는 변환 커널의 커널 인덱스를 지시할 수 있다. 일 실시예에 따라, mts_idx는 고정 길이의 2-bit를 통해 시그널링될 수 있다. 다른 일 실시예에 따라, mts_idx는 절삭형 이진화(truncated binary)와 같은 가변 길이의 비트열을 통해 시그널링될 수도 있다.
일 실시예에 따라, 커널 인덱스 '0'에 대응하는 변환 커널은 DCT-II에 기반한 변환 커널을 나타낼 수 있다. 또한, 커널 인덱스 '1'에 대응하는 변환 커널은 DST-VII에 기반한 변환 커널이고, 커널 인덱스 '2'에 대응하는 변환 커널은 DCT-VIII에 기반한 변환 커널일 수 있다.
도 19(a)는 변환 블록의 너비 및 높이 모두가 32 이하인 경우, 세트 인덱스(mts_idx)에 의해 지시되는 정보를 나타내는 도면이다. 이 경우, mts_idx에 따른 수평 변환 커널 및 수직 변환 커널은 다음과 같이 해석할 수 있다.
　i) mts_idx가 -1인 경우: 수평 - DCT-II, 수직 - DCT-II
ii) mts_idx가 0인 경우: 수평 - DST-VII, 수직 - DST-VII
iii) mts_idx가 1인 경우: 수평 - DCT-VIII, 수직 - DST-VII
iv) mts_idx가 2인 경우: 수평 - DST-VII, 수직 - DCT-VIII
v) mts_idx가 3인 경우: 수평 - DCT-VIII, 수직 - DCT-VIII
도 19(b)는 변환 블록의 너비가 32보다 크고, 높이가 32 이하인 경우, 세트 인덱스에 의해 지시되는 정보를 나타내는 도면이다. 이 경우, mts_idx에 따른 수평 변환 커널 및 수직 변환 커널은 다음과 같이 해석할 수 있다.
i) mts_idx가 -1인 경우: 수평 - DCT-II, 수직 - DCT-II
ii) mts_idx가 0인 경우: 수평 - DCT-II, 수직 - DST-VII
iii) mts_idx가 1인 경우: 수평 - DCT-II, 수직 - DCT-VIII
도 19(c)는 변환 블록의 너비가 32 이하이고, 높이가 32보다 큰 경우, 세트 인덱스에 의해 지시되는 정보를 나타내는 도면이다. 이 경우, mts_idx에 따른 수평 변환 커널 및 수직 변환 커널은 다음과 같이 해석할 수 있다.
i) mts_idx가 -1인 경우: 수평 - DCT-II, 수직 - DCT-II
ii) mts_idx가 0인 경우: 수평 - DST-VII, 수직 - DCT-II
iii) mts_idx가 1인 경우: 수평 - DCT-VIII, 수직 - DCT-II
도 19(d)는 변환 블록의 너비 및 높이가 모두 32보다 큰 경우, 세트 인덱스(mts_idx)에 의해 지시되는 정보를 나타내는 도면이다. 이 경우, mts_idx에 따른 수평 변환 커널 및 수직 변환 커널은 모두 DCT-II에 기반한 변환 커널일 수 있다.
한편, 도 11을 통해 전술한 바와 같이, DST-VII에 기반한 변환 커널은 DST-IV에 기반한 변환 커널로 대체될 수 있다. 또한, DCT-VIII에 기반한 변환 커널은 DCT-IV에 기반한 변환 커널로 대체될 수 있다. 추가적인 실시예에 따라, 기 설정된 크기에 대응하는 변환 블록에 대해서만 대체된 변환 커널이 사용될 수도 있다. 예를 들어, 변환 블록을 위해 사용되는 변환 커널의 크기가 4x4 또는 8x8인 경우, 해당 DST-VII 또는 DCT-VIII 기반의 변환 커널은 DST-IV 또는 DCT-IV기반의 변환 커널로 대체될 수 있다. 이를 통해, 코딩 효율이 저하되는 것을 방지할 수 있다.
도 20은 본 발명의 일 실시예에 따라 변환 커널 세트가 시그널링되는 방법을 나타내는 도면이다. 일 실시예에 따라, 변환 커널 세트는 기 설정된 변환 커널의 최대 크기에 기초하여 시그널링될 수 있다. 이때, 기 설정된 변환 커널은 기본 커널 이외의 다른 변환 커널일 수 있다. 기 설정된 변환 커널은 non-DCT-II 기반의 변환 커널일 수 있다. 예를 들어, DST-VII 기반의 변환 커널 및 DCT-VIII 기반의 변환 커널의 최대 크기는 서로 동일할 수 있다. 반면, DCT-II 기반의 변환 커널의 최대 크기는 non-DCT-II 기반의 변환 커널의 최대 크기와 상이할 수 있다. 이하에서, 기 설정된 변환 커널의 최대 크기는 MaxMtsSize로 지칭될 수 있다. MaxMtsSize는 시퀀스, 픽쳐, 또는 슬라이스/타일의 헤더를 통해 시그널링될 수 있다. 또한, MaxMtsSize는 인트라 예측 또는 인터 예측인지에 따라 다른 값으로 설정될 수도 있다.
일 실시예에 따라, 변환 블록의 너비 및 높이 중 적어도 하나가 MaxMtsSize 이하인 경우, 해당 변환 블록의 변환에 있어서, 기본 변환 커널 이외의 다른 변환 커널에 대한 사용이 가능할 수 있다. 도 20(a)는 변환 블록의 너비가 MaxMtsSize 이하이고, 높이가 MaxMtsSize 이하인 경우 변환 커널 세트가 시그널링되는 방법을 나타낸다. 먼저, 기본 변환 커널 이외의 다른 변환 커널의 사용 가부를 나타내는 제1 비트가 시그널링될 수 있다. 예를 들어, 제1 비트가 다른 변환 커널의 사용이 가능하지 않음을 나타내는 경우, 변환 블록의 수직 변환 커널 및 수평 변환 커널은 모두 DCT-II 기반의 변환 커널일 수 있다. 제1 비트가 다른 변환 커널의 사용이 가능함을 나타내는 경우, 추가적인 정보가 시그널링될 수 있다.
일 실시예에 따라, 추가적인 정보는 2개의 비트로 구성될 수 있다. 추가적인 정보의 첫번째 비트가 0을 나타내는 경우, 변환 블록의 수직 변환 커널 및 수평 변환 커널은 모두 DST-VII 기반의 변환 커널일 수 있다. 추가적인 정보의 첫번째 비트가 1을 나타내는 경우, 다음 비트에 의해 변환 커널 세트가 결정될 수 있다. 예를 들어, 추가적인 정보의 두번째 비트가 0을 나타내는 경우, 수평 변환 커널은 DST-VII 기반의 변환 커널이고, 수직 변환 커널은 DCT-II 기반의 변환 커널일 수 있다. 추가적인 정보의 두번째 비트가 1을 나타내는 경우, 수평 변환 커널은 DCT-II 기반의 변환 커널이고, 수직 변환 커널은 DST-VII 기반의 변환 커널일 수 있다.
도 20(b)는 변환 블록의 너비가 MaxMtsSize보다 크고, 높이가 MaxMtsSize 이하인 경우 변환 커널 세트가 시그널링되는 방법을 나타낸다. 먼저, 기본 변환 커널 이외의 다른 변환 커널의 사용 가부를 나타내는 제1 비트가 시그널링될 수 있다. 전술한 바와 같이, 제1 비트가 다른 변환 커널의 사용이 가능하지 않음을 나타내는 경우, 변환 블록의 수직 변환 커널 및 수평 변환 커널은 모두 DCT-II 기반의 변환 커널일 수 있다. 제1 비트가 다른 변환 커널의 사용이 가능함을 나타내는 경우, 변환 블록의 수직 변환 커널은 DST-VII 기반의 변환 커널이고, 수평 변환 커널은 DCT-II 기반의 변환 커널일 수 있다.
도 20(c)는 변환 블록의 너비가 MaxMtsSize 이하이고, 높이가 MaxMtsSize보다 큰 경우, 변환 커널 세트가 시그널링되는 방법을 나타낸다. 먼저, 기본 변환 커널 이외의 다른 변환 커널의 사용 가부를 나타내는 제1 비트가 시그널링될 수 있다. 제1 비트가 다른 변환 커널의 사용이 가능하지 않음을 나타내는 경우, 변환 블록의 수직 변환 커널 및 수평 변환 커널은 모두 DCT-II 기반의 변환 커널일 수 있다. 제1 비트가 다른 변환 커널의 사용이 가능함을 나타내는 경우, 변환 블록의 수평 변환 커널은 DST-VII 기반의 변환 커널이고, 수직 변환 커널은 모두 DCT-II 기반의 변환 커널일 수 있다. 또한, 변환 블록의 너비가 MaxMtsSize보다 크고, 높이가 MaxMtsSize보다 큰 경우, 별도의 시그널링 없이 변환 블록의 수직 변환 커널 및 수평 변환 커널은 모두 DCT-II 기반의 변환 커널로 결정될 수 있다.
도 21은 본 발명의 일 실시예에 따른 복수의 변환 커널 세트들을 나타내는 도면이다. 일 실시예에 따라, 기본 변환 커널 이외의 다른 변환 커널의 사용 가부를 나타내는 제1 비트가 다른 변환 커널의 사용 가능을 나타내고, 변환 블록을 위한 세트 인덱스(mts_idx)가 시그널링되지 않은 경우, 세트 인덱스(mts_idx)가 '-1'을 나타내는 것으로 간주될 수 있다. 이 경우, 해당 변환 블록의 수평 변환 커널 및 수직 변환 커널은 모두 DCT-II 기반의 변환 커널일 수 있다. 도 21의 실시예에서는 현재 블록이 인트라 예측된 블록인지 또는 인터 예측된 블록인지에 따라, 동일한 커널 인덱스가 지시하는 변환 커널 세트가 서로 다르게 구성되는 것으로 기술하였다. 그러나, 본 개시가 이에 제한되는 것은 아니며, 현재 블록의 예측 모드가 인트라 예측인지 또는 인터 예측인지와 무관하게 동일한 세트 인덱스(mts_idx)가 동일한 변환 커널 세트를 지시하도록 설정될 수도 있다.
도 22는 본 발명의 일 실시예에 따른 디코더가 변환 블록에 적용되는 변환 커널을 결정하는 방법을 나타내는 도면이다. 먼저, 디코더는 수신된 비트스트림으로부터 기본 변환 커널 이외의 다른 변환 커널의 사용 가부를 나타내는 제1 비트(cu_mts_flag)를 파싱할 수 있다(S2201). 다음으로, cu_mts_flag가 0인 경우, 디코더는 세트 인덱스(mts_idx)가 '-1'을 나타내는 것으로 간주할 수 있다(S2203). 이 경우, 디코더는 변환 블록에 대해 DCT-II 기반의 변환 커널을 이용하여 역변환을 수행할 수 있다.
cu_mts_flag가 1인 경우, 디코더는 변환 블록을 포함하는 코딩 블록이 인트라 예측된 블록인지 판단할 수 있다(S2205). 해당 코딩 블록이 인트라 예측이 아닌 인터 예측된 블록인 경우, 디코더는 코딩 블록으로부터 획득된 변환 블록의 세트 인덱스(mts_idx)를 비트스트림으로부터 파싱할 수 있다(S2207). 이 경우, 디코더는 파싱된 세트 인덱스(mts_idx)에 의해 지시되는 변환 커널 세트에 기초하여 변환 블록에 대한 역변환을 수행할 수 있다.
반면, 해당 코딩 블록이 인트라 예측된 블록인 경우, 디코더는 해당 변환 블록의 0이 아닌 변환 계수의 개수가 2 이하인지 판단할 수 있다(S2209). 변환 블록의 0이 아닌 변환 계수의 개수가 2 이하인 경우, 디코더는 세트 인덱스(mts_idx)가 '-1'을 나타내는 것으로 간주할 수 있다(S2211). 즉, 디코더는 세트 인덱스(mts_idx)를 파싱하지 않을 수 있다. 이 경우, 디코더는 변환 블록에 대해 DCT-II 기반의 변환 커널을 이용하여 역변환을 수행할 수 있다. 반면, 해당 변환 블록 내의 0이 아닌 변환 계수의 개수가 3 이상인 경우, 디코더는 비트스트림으로부터 세트 인덱스(mts_idx)를 파싱할 수 있다(S2207). 이 경우, 디코더는 파싱된 세트 인덱스(mts_idx)에 의해 지시되는 변환 커널 세트에 기초하여 변환 블록에 대한 역변환을 수행할 수 있다.
도 22에 도시된 바와 같이, 인트라 예측된 블록의 변환 블록이 2 개 이하의 0이 아닌 변환 계수를 가지고, 변환 블록의 cu_mts_flag가 1인 경우, 디코더는 cu_mts_flag가 0인 경우와 마찬가지로 변환 블록의 세트 인덱스(mts_idx)가 '-1'을 나타내는 것으로 간주할 수 있다. 또한, 디코더는 DCT-II 기반의 변환 커널을 사용하여 변환 블록에 대한 수직 역변환 및 수평 역변환을 수행할 수 있다. 그러나 이로 인해 코딩 효율이 저하될 수 있다. 따라서, 인트라 예측된 블록의 변환 블록이 2 개 이하의 0이 아닌 변환 계수를 가지고, 변환 블록의 cu_mts_flag가 1인 경우, 변환 커널 세트는 cu_mts_flag가 0인 경우의 변환 커널 세트와 다를 수 있다.
도 23은 본 발명의 다른 일 실시예에 따른 복수의 변환 커널 세트들을 나타내는 도면이다. 일 실시예에 따라, 기본 변환 커널 이외의 다른 변환 커널의 사용 가부를 나타내는 제1 비트(cu_mts_flag)가 다른 변환 커널의 사용이 가능하지 않음을 나타내고, 변환 블록을 위한 세트 인덱스(mts_idx)가 시그널링되지 않는 경우, 세트 인덱스(mts_idx)가 '-1'을 나타내는 것으로 간주될 수 있다. 또한, 세트 인덱스(mts_idx)는 해당 변환 블록의 컬러 인덱스(cIdx)에 기초하여 결정될 수 있다. 예를 들어, 디코더는 해당 변환 블록이 루마 블록인지 또는 크로마 블록인지를 판단할 수 있다. 변환 블록이 루마 블록인 경우(cIdx==0), 세트 인덱스(mts_idx)가 '0'을 나타내는 것으로 간주될 수 있다. 이 경우, 해당 변환 블록의 수평 변환 커널 및 수직 변환 커널은 모두 DST-VII 기반의 변환 커널일 수 있다. 반면, 변환 블록이 크로마 블록인 경우(cIdx>0), 세트 인덱스(mts_idx)가 '-1'을 나타내는 것으로 간주될 수 있다. 이 경우, 해당 변환 블록의 수평 변환 커널 및 수직 변환 커널은 모두 DCT-II 기반의 변환 커널일 수 있다.
또한, 현재 변환 블록의 cu_mts_flag가 다른 변환 커널의 사용이 가능함을 나타내고, 해당 변환 블록을 위한 세트 인덱스(mts_idx)가 시그널링되지 않는 경우, 세트 인덱스(mts_idx)가 '0'을 나타내는 것으로 간주될 수 있다. 이 경우, 해당 변환 블록의 수평 변환 커널 및 수직 변환 커널은 모두 DST-VII 기반의 변환 커널일 수 있다.
도 24는 디코더가 도 23의 실시예에 따라 변환 블록에 적용되는 변환 커널을 결정하는 방법을 나타내는 도면이다. 먼저, 디코더는 수신된 비트스트림으로부터 기본 변환 커널 이외의 다른 변환 커널의 사용 가부를 나타내는 제1 비트(cu_mts_flag)를 파싱할 수 있다(S2401). 다음으로, cu_mts_flag가 0인 경우, 디코더는 세트 인덱스가 '-1'을 나타내는 것으로 간주할 수 있다(S2403). 이 경우, 디코더는 변환 블록에 대해 DCT-II 기반의 변환 커널을 이용하여 역변환을 수행할 수 있다.
cu_mts_flag가 1인 경우, 디코더는 변환 블록을 포함하는 코딩 블록이 인트라 예측된 블록인지 판단할 수 있다(S2405). 해당 코딩 블록이 인트라 예측이 아닌 인터 예측된 블록인 경우, 디코더는 코딩 블록으로부터 획득된 변환 블록의 세트 인덱스를 비트스트림으로부터 파싱할 수 있다(S2407). 이 경우, 디코더는 파싱된 세트 인덱스에 의해 지시되는 변환 커널 세트에 기초하여 변환 블록에 대한 역변환을 수행할 수 있다.
반면, 해당 코딩 블록이 인트라 예측된 블록인 경우, 디코더는 해당 변환 블록의 0이 아닌 변환 계수의 개수가 2 이하인지 판단할 수 있다(S2409). 변환 블록의 0이 아닌 변환 계수의 개수가 2 이하인 경우, 디코더는 세트 인덱스가 '0'을 나타내는 것으로 간주할 수 있다(S2411). 즉, 디코더는 세트 인덱스를 파싱하지 않을 수 있다. 이 경우, 디코더는 DST-VII 기반의 변환 커널을 이용하여 변환 블록에 대한 수직 역변환 및 수평 역변환을 수행할 수 있다. 반면, 해당 변환 블록 내의 0이 아닌 변환 계수의 개수가 3 이상인 경우, 디코더는 비트스트림으로부터 세트 인덱스를 파싱할 수 있다(S2407). 이 경우, 디코더는 파싱된 세트 인덱스에 의해 지시되는 변환 커널 세트에 기초하여 변환 블록에 대한 역변환을 수행할 수 있다.
도 25는 본 발명의 또 다른 일 실시예에 따른 복수의 변환 커널 세트들을 나타내는 도면이다. 일 실시예에 따라, 기본 변환 커널 이외의 다른 변환 커널의 사용 가부를 나타내는 제1 비트(cu_mts_flag)가 다른 변환 커널의 사용이 가능하지 않음을 나타내고, 변환 블록을 위한 세트 인덱스(mts_idx)가 시그널링되지 않는 경우, 세트 인덱스(mts_idx)가 '-1'을 나타내는 것으로 간주될 수 있다. 또한, 세트 인덱스(mts_idx)는 해당 변환 블록의 컬러 인덱스(cIdx)에 기초하여 결정될 수 있다. 예를 들어, 디코더는 해당 변환 블록이 루마 블록인지 또는 크로마 블록인지를 판단할 수 있다. 변환 블록이 루마 블록인 경우(cIdx==0), 세트 인덱스(mts_idx)가 '-1'을 나타내는 것으로 간주될 수 있다.
또한, 현재 변환 블록의 cu_mts_flag가 기본 변환 커널 이외의 다른 변환 커널의 사용이 가능함을 나타내고, 해당 변환 블록을 위한 세트 인덱스(mts_idx)가 시그널링되지 않는 경우, 세트 인덱스(mts_idx)가 '-2'을 나타내는 것으로 간주될 수 있다. 이 경우, 해당 변환 블록의 수평 변환 커널 및 수직 변환 커널은 모두 DST-VII 기반의 변환 커널일 수 있다. 도 25에서 세트 인덱스는 -1, 0, 1, 2 및 3이므로 이들과 중복되지 않는 인덱스 값을 사용하여 별도의 변환 커널 세트가 설정될 수 있다.
도 26은 디코더가 도 25의 실시예에 따라 변환 블록에 적용되는 변환 커널을 결정하는 방법을 나타내는 도면이다. 먼저, 디코더는 수신된 비트스트림으로부터 기본 변환 커널 이외의 다른 변환 커널의 사용 가부를 나타내는 제1 비트(cu_mts_flag)를 파싱할 수 있다(S2601). 다음으로, cu_mts_flag가 0인 경우, 디코더는 세트 인덱스가 '-1'을 나타내는 것으로 간주할 수 있다(S2603). 이 경우, 디코더는 변환 블록에 대해 DCT-II 기반의 변환 커널을 이용하여 역변환을 수행할 수 있다.
cu_mts_flag가 1인 경우, 디코더는 변환 블록을 포함하는 코딩 블록이 인트라 예측된 블록인지 판단할 수 있다(S2605). 해당 코딩 블록이 인트라 예측이 아닌 인터 예측된 블록인 경우, 디코더는 코딩 블록으로부터 획득된 변환 블록의 세트 인덱스를 비트스트림으로부터 파싱할 수 있다(S2607). 이 경우, 디코더는 파싱된 세트 인덱스에 의해 지시되는 변환 커널 세트에 기초하여 변환 블록에 대한 역변환을 수행할 수 있다.
반면, 해당 코딩 블록이 인트라 예측된 블록인 경우, 디코더는 해당 변환 블록의 0이 아닌 변환 계수의 개수가 2 이하인지 판단할 수 있다(S2609). 변환 블록의 0이 아닌 변환 계수의 개수가 2 이하인 경우, 디코더는 세트 인덱스가 '-2'를 나타내는 것으로 간주할 수 있다(S2611). 즉, 디코더는 세트 인덱스를 파싱하지 않을 수 있다. 이 경우, 디코더는 DST-VII 기반의 변환 커널을 이용하여 변환 블록에 대한 수직 역변환 및 수평 역변환을 수행할 수 있다. 반면, 해당 변환 블록 내의 0이 아닌 변환 계수의 개수가 3 이상인 경우, 디코더는 비트스트림으로부터 세트 인덱스를 파싱할 수 있다(S2607). 이 경우, 디코더는 파싱된 세트 인덱스에 의해 지시되는 변환 커널 세트에 기초하여 변환 블록에 대한 역변환을 수행할 수 있다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 프로세서의 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아는 것으로 해석해야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (25)

  1. 비디오 신호 처리 방법에 있어서,
    비디오 신호 비트스트림으로부터 현재 블록의 레지듀얼 신호에 대한 적어도 하나의 변환 블록을 획득하는 단계, 상기 변환 블록은 2차원 배열된 복수의 변환 계수들로 구성됨;
    상기 변환 블록의 제1 변의 길이 정보에 기초하여, 상기 제1 변과 직교하는 상기 변환 블록의 제2 변의 길이와 무관하게 상기 변환 블록의 수평 변환을 위한 수평 변환 커널을 결정하는 단계;
    상기 제2 변의 길이 정보에 기초하여, 상기 제1 변의 길이와 무관하게 상기 변환 블록의 수직 변환을 위한 수직 변환 커널을 결정하는 단계;
    상기 변환 블록에 대해 상기 수평 변환 커널 및 상기 수직 변환 커널을 이용하는 역변환을 수행하여 상기 현재 블록의 레지듀얼 신호를 획득하는 단계; 및
    상기 획득된 레지듀얼 신호에 기초하여 상기 현재 블록을 복원하는 단계를 포함하는, 비디오 신호 처리 방법.
  2. 제1 항에 있어서,
    상기 수평 변환 커널 및 상기 수직 변환 커널은 각각 상기 변환 블록의 수평 방향에 대응하는 상기 제1 변의 길이 및 상기 변환 블록의 수직 방향에 대응하는 상기 제2 변의 길이에 따라 서로 독립적으로 결정되는, 비디오 신호 처리 방법.
  3. 제2 항에 있어서,
    상기 제1 변의 길이는 상기 변환 블록의 너비이고, 상기 제2 변의 길이는 상기 변환 블록의 높이인, 비디오 신호 처리 방법.
  4. 제2 항에 있어서,
    상기 수평 변환 커널을 결정하는 단계는,
    상기 제1 변의 길이가 기 설정된 범위 내의 값인지에 기초하여, 상기 수평 변환 커널을 결정하고,
    상기 수직 변환 커널을 획득하는 단계는,
    상기 제2 변의 길이가 상기 기 설정된 범위 내의 값인지에 기초하여, 상기 수직 변환 커널을 결정하는, 비디오 신호 처리 방법.
  5. 제4 항에 있어서,
    상기 제1 변의 길이 및 상기 제2 변의 길이 중 어느 하나가 상기 기 설정된 범위 밖의 값이고, 다른 하나가 상기 기 설정된 범위 내의 값인 경우, 상기 수평 변환 커널과 상기 수직 변환 커널은 서로 다른, 비디오 신호 처리 방법.
  6. 제5 항에 있어서,
    상기 수평 변환 커널과 상기 수직 변환 커널 중에서 어느 하나는 제1 변환 커널이고, 다른 하나는 제2 변환 커널인, 비디오 신호 처리 방법.
  7. 제6 항에 있어서,
    상기 제1 변환 커널은 이산 코사인 변환 타입 2(discrete cosine transform type 2, DCT-2) 기반의 변환 커널이고,
    상기 제2 변환 커널은 상기 DCT-2 기반의 변환 커널이 아닌, 비디오 신호 처리 방법.
  8. 제7 항에 있어서,
    상기 제2 변환 커널은 이산 사인 변환 타입 7(discrete sine transform type 7, DST-7) 기반의 변환 커널 또는 이산 코사인 변환 타입 8(discrete cosine transform type 8, DCT-8) 기반의 변환 커널 중 어느 하나인, 비디오 신호 처리 방법.
  9. 제7 항에 있어서,
    상기 제1 변의 길이가 상기 기 설정된 범위 밖의 값이고, 상기 제2 변의 길이가 상기 기 설정된 범위 내의 값인 경우, 상기 수평 변환 커널은 상기 제1 변환 커널이고, 상기 수직 변환 커널은 상기 제2 변환 커널인, 비디오 신호 처리 방법.
  10. 제7 항에 있어서,
    상기 제2 변의 길이가 상기 기 설정된 범위 밖의 값이고, 상기 제1 변의 길이가 상기 기 설정된 범위 내의 값인 경우, 상기 수직 변환 커널은 상기 제1 변환 커널이고, 상기 수평 변환 커널은 상기 제2 변환 커널인, 비디오 신호 처리 방법.
  11. 제6 항에 있어서,
    상기 제1 변환 커널은 복수의 사용 가능한 변환 커널들 각각을 지시하는 인덱스들 중에서 가장 작은 인덱스에 의해 지시되는 사용 가능한 변환 커널인, 비디오 신호 처리 방법.
  12. 제5 항에 있어서,
    상기 기 설정된 범위는 기 설정된 길이 이하를 나타내고,
    상기 제1 변 및 상기 제2 변 중 어느 하나의 길이가 상기 기 설정된 길이 보다 크고, 다른 하나의 길이가 상기 기 설정된 길이 보다 작거나 같은 경우, 상기 수평 변환 커널과 상기 수직 변환 커널은 서로 다른, 비디오 신호 처리 방법.
  13. 비디오 신호 디코딩 장치에 있어서,
    프로세서를 포함하고,
    상기 프로세서는,
    비디오 신호 비트스트림으로부터 현재 블록의 레지듀얼 신호에 대한 적어도 하나의 변환 블록을 획득하되, 상기 변환 블록은 2차원 배열된 복수의 변환 계수들로 구성되고,
    상기 변환 블록의 제1 변의 길이 정보에 기초하여, 상기 제1 변과 직교하는 상기 변환 블록의 제2 변의 길이와 무관하게 상기 변환 블록의 수평 변환을 위한 수평 변환 커널을 결정하고,
    상기 제2 변의 길이 정보에 기초하여, 상기 제1 변의 길이와 무관하게 상기 변환 블록의 수직 변환을 위한 수직 변환 커널을 결정하고,
    상기 변환 블록에 대해 상기 수평 변환 커널 및 상기 수직 변환 커널을 이용하는 역변환을 수행하여 상기 현재 블록의 레지듀얼 신호를 획득하고,
    상기 획득된 레지듀얼 신호에 기초하여 상기 현재 블록을 복원하는, 비디오 신호 디코딩 장치.
  14. 제13 항에 있어서,
    상기 수평 변환 커널 및 상기 수직 변환 커널은 각각 상기 변환 블록의 수평 방향에 대응하는 상기 제1 변의 길이 및 상기 변환 블록의 수직 방향에 대응하는 상기 제2 변의 길이에 따라 서로 독립적으로 결정되는, 비디오 신호 디코딩 장치.
  15. 제14 항에 있어서,
    상기 제1 변의 길이는 상기 변환 블록의 너비이고, 상기 제2 변의 길이는 상기 변환 블록의 높이인, 비디오 신호 디코딩 장치.
  16. 제14 항에 있어서,
    상기 프로세서는,
    상기 제1 변의 길이가 기 설정된 범위 내의 값인지에 기초하여, 상기 수평 변환 커널을 결정하고,
    상기 제2 변의 길이가 상기 기 설정된 범위 내의 값인지에 기초하여, 상기 수직 변환 커널을 결정하는, 비디오 신호 디코딩 장치.
  17. 제16 항에 있어서,
    상기 제1 변의 길이 및 상기 제2 변의 길이 중 어느 하나가 상기 기 설정된 범위 밖의 값이고, 다른 하나가 상기 기 설정된 범위 내의 값인 경우, 상기 수평 변환 커널과 상기 수직 변환 커널은 서로 다른, 비디오 신호 디코딩 장치.
  18. 제17 항에 있어서,
    상기 수평 변환 커널과 상기 수직 변환 커널 중에서, 어느 하나는 제1 변환 커널이고, 다른 하나는 제2 변환 커널인, 비디오 신호 디코딩 장치.
  19. 제18 항에 있어서,
    상기 제1 변환 커널은 이산 코사인 변환 타입 2(discrete cosine transform type 2, DCT-2) 기반의 변환 커널이고,
    상기 제2 변환 커널은 상기 DCT-2 기반의 변환 커널이 아닌, 비디오 신호 디코딩 장치.
  20. 제19 항에 있어서,
    상기 제2 변환 커널은 이산 사인 변환 타입 7(discrete sine transform type 7, DST-7) 기반의 변환 커널 또는 이산 코사인 변환 타입 8(discrete cosine transform type 8, DCT-8) 기반의 변환 커널 중 어느 하나인, 비디오 신호 디코딩 장치.
  21. 제19 항에 있어서,
    상기 제1 변의 길이가 상기 기 설정된 범위 밖의 값이고, 상기 제2 변의 길이가 상기 기 설정된 범위 내의 값인 경우, 상기 수평 변환 커널은 상기 제1 변환 커널이고, 상기 수직 변환 커널은 상기 제2 변환 커널인, 비디오 신호 디코딩 장치.
  22. 제19 항에 있어서,
    상기 제2 변의 길이가 상기 기 설정된 범위 밖의 값이고, 상기 제1 변의 길이가 상기 기 설정된 범위 내의 값인 경우, 상기 수직 변환 커널은 상기 제1 변환 커널이고, 상기 수평 변환 커널은 상기 제2 변환 커널인, 비디오 신호 디코딩 장치.
  23. 제17 항에 있어서,
    상기 기 설정된 범위는 기 설정된 길이 이하를 나타내고,
    상기 제1 변 및 상기 제2 변 중 어느 하나의 길이가 상기 기 설정된 길이 보다 크고, 다른 하나의 길이가 상기 기 설정된 길이 보다 작거나 같은 경우, 상기 수평 변환 커널과 상기 수직 변환 커널은 서로 다른, 비디오 신호 디코딩 장치.
  24. 비디오 신호 인코딩 장치에 있어서,
    프로세서를 포함하고,
    상기 프로세서는,
    현재 블록의 적어도 하나의 변환 영역에 대응하는 레지듀얼 신호에 대해 수평 변환 커널 및 수직 변환 커널을 이용하는 변환을 수행하여, 상기 현재 블록의 레지듀얼 신호에 대한 변환 블록을 생성하되, 상기 변환 블록은 2차원 배열된 복수의 변환 계수들로 구성되고
    상기 생성된 변환 블록을 인코딩하여 비트스트림을 생성하되,
    상기 수평 변환 커널은 상기 변환 블록의 제1 변의 길이 정보에 기초하여, 상기 제1 변과 직교하는 상기 변환 블록의 제2 변의 길이와 무관하게 결정되고, 상기 수직 변환 커널은 상기 제2 변의 길이 정보에 기초하여, 상기 제1 변의 길이와 무관하게 결정되는, 비디오 신호 인코딩 장치.
  25. 비트스트림을 저장하는 컴퓨터로 판독 가능한 기록 매체에 있어서,
    상기 비트스트림은 현재 블록의 레지듀얼 신호로부터 인코딩된 복수의 변환 계수들을 포함하되,
    상기 복수의 변환 계수들은 상기 현재 블록의 레지듀얼 신호에 대한 적어도 하나의 변환 블록에서 2차원 배열되고, 수평 변환 커널 및 수직 변환 커널을 이용하는 역변환을 통해 상기 레지듀얼 신호로 복원되며,
    상기 수평 변환 커널은 상기 변환 블록의 제1 변의 길이 정보에 기초하여, 상기 제1 변과 직교하는 상기 변환 블록의 제2 변의 길이와 무관하게 결정되고, 상기 수직 변환 커널은 상기 제2 변의 길이 정보에 기초하여, 상기 제1 변의 길이와 무관하게 결정되는, 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2019/011621 2018-09-07 2019-09-09 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치 Ceased WO2020050702A1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020257029637A KR20250134730A (ko) 2018-09-07 2019-09-09 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
KR1020217005232A KR102858206B1 (ko) 2018-09-07 2019-09-09 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
US17/185,683 US11317118B2 (en) 2018-09-07 2021-02-25 Video signal processing method and apparatus using multiple transform kernels
US17/697,811 US11570478B2 (en) 2018-09-07 2022-03-17 Video signal processing method and apparatus using multiple transform kernels
US18/146,597 US11949916B2 (en) 2018-09-07 2022-12-27 Method and apparatus for encoding and decoding video signals using multiple transform kernels
US18/352,775 US12219176B2 (en) 2018-09-07 2023-07-14 Video signal processing method and apparatus using multiple transform kernels
US18/352,796 US12192525B2 (en) 2018-09-07 2023-07-14 Video signal processing method and apparatus using multiple transform kernels
US18/969,789 US20250106434A1 (en) 2018-09-07 2024-12-05 Video signal processing method and apparatus using multiple transform kernels

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2018-0107430 2018-09-07
KR20180107430 2018-09-07
KR10-2018-0119444 2018-10-06
KR20180119444 2018-10-06
KR10-2018-0121515 2018-10-12
KR20180121515 2018-10-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/185,683 Continuation US11317118B2 (en) 2018-09-07 2021-02-25 Video signal processing method and apparatus using multiple transform kernels

Publications (1)

Publication Number Publication Date
WO2020050702A1 true WO2020050702A1 (ko) 2020-03-12

Family

ID=69722942

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/011621 Ceased WO2020050702A1 (ko) 2018-09-07 2019-09-09 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치

Country Status (3)

Country Link
US (6) US11317118B2 (ko)
KR (2) KR20250134730A (ko)
WO (1) WO2020050702A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114556943A (zh) * 2020-04-03 2022-05-27 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质
US20220377334A1 (en) * 2019-09-16 2022-11-24 lnterDigital VC Holdings France, SAS Secondary transform for fast video encoder
EP4113997A4 (en) * 2020-10-16 2023-09-13 Tencent Technology (Shenzhen) Company Limited VIDEO CODING METHOD, VIDEO CODING METHOD AND ASSOCIATED APPARATUS

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020032632A1 (ko) * 2018-08-08 2020-02-13 엘지전자 주식회사 영상의 부호화/복호화 방법 및 이를 위한 장치
US11445203B2 (en) * 2019-01-04 2022-09-13 Qualcomm Incorporated Sub-partition intra prediction in video coding
ES3001382T3 (en) * 2019-01-11 2025-03-05 Huawei Tech Co Ltd Encoder, decoder and corresponding methods using dct2 enabled high level flag
CN113365054B (zh) * 2019-03-09 2022-08-05 杭州海康威视数字技术股份有限公司 进行编码和解码的方法、解码端、编码端和系统
US11172211B2 (en) * 2019-04-04 2021-11-09 Tencent America LLC Method and apparatus for video coding
CN118714309A (zh) * 2019-09-19 2024-09-27 数码士有限公司 使用缩放处理的视频信号处理方法及装置
KR20230140450A (ko) * 2021-02-03 2023-10-06 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 디코딩 프로세스의 에너지 소비를 나타내는 정보를 시그널링하기 위한 메타데이터
US20240171781A1 (en) * 2021-03-18 2024-05-23 Interdigital Vc Holdings France, Sas A method or an apparatus for generating film grain parameters, a method or an apparatus for generating a block of pixels with film grain pattern
EP4325854A4 (en) * 2021-04-12 2025-03-12 LG Electronics Inc. IMAGE CODING METHOD AND ASSOCIATED APPARATUS
WO2023101525A1 (ko) * 2021-12-02 2023-06-08 현대자동차주식회사 다중 변환 선택에서 다중 변환 선택 후보의 개수를 조정하는 비디오 부호화/복호화 방법 및 장치
WO2025147924A1 (zh) * 2024-01-10 2025-07-17 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8531544B2 (en) * 2008-09-05 2013-09-10 Commissariat A L'energie Atomique Et Aux Energies Alternatives Method for block-encoding of a raster image of pixels, corresponding computer program and image capture device
WO2017023152A1 (ko) * 2015-08-06 2017-02-09 엘지전자(주) 싱글톤 계수 업데이트를 이용하여 변환을 수행하는 방법 및 장치
KR101805531B1 (ko) * 2009-06-07 2018-01-10 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
WO2018128323A1 (ko) * 2017-01-03 2018-07-12 엘지전자(주) 이차 변환을 이용한 비디오 신호의 인코딩/디코딩 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117412044A (zh) * 2016-07-13 2024-01-16 韩国电子通信研究院 图像编码/解码方法和装置
WO2018101288A1 (ja) * 2016-12-01 2018-06-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、符号化方法、復号装置および復号方法
CN114449272B (zh) * 2017-07-04 2023-09-26 三星电子株式会社 使用多核变换的视频解码/编码方法和设备
US11166045B2 (en) * 2017-10-11 2021-11-02 Lg Electronics Inc. Method for image coding on basis of separable transform and apparatus therefor
WO2019117634A1 (ko) * 2017-12-15 2019-06-20 엘지전자 주식회사 2차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2019203569A1 (ko) * 2018-04-17 2019-10-24 엘지전자 주식회사 전처리/후처리 행렬에 기초하는 근사 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
ES3030533T3 (en) * 2018-06-03 2025-06-30 Lg Electronics Inc Method and device for processing video signal by using reduced transform

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8531544B2 (en) * 2008-09-05 2013-09-10 Commissariat A L'energie Atomique Et Aux Energies Alternatives Method for block-encoding of a raster image of pixels, corresponding computer program and image capture device
KR101805531B1 (ko) * 2009-06-07 2018-01-10 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
WO2017023152A1 (ko) * 2015-08-06 2017-02-09 엘지전자(주) 싱글톤 계수 업데이트를 이용하여 변환을 수행하는 방법 및 장치
WO2018128323A1 (ko) * 2017-01-03 2018-07-12 엘지전자(주) 이차 변환을 이용한 비디오 신호의 인코딩/디코딩 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN O: "Algorithm description for Versatile Video Coding and Test Model 2 (VTM 2", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVET-K1002-V2, 18 July 2018 (2018-07-18), pages 1 - 21, XP030194252 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220377334A1 (en) * 2019-09-16 2022-11-24 lnterDigital VC Holdings France, SAS Secondary transform for fast video encoder
CN114556943A (zh) * 2020-04-03 2022-05-27 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质
EP4113997A4 (en) * 2020-10-16 2023-09-13 Tencent Technology (Shenzhen) Company Limited VIDEO CODING METHOD, VIDEO CODING METHOD AND ASSOCIATED APPARATUS
US12231640B2 (en) 2020-10-16 2025-02-18 Tencent Technology (Shenzhen) Company Limited Video decoding method, video encoding method, and related apparatuses

Also Published As

Publication number Publication date
US12219176B2 (en) 2025-02-04
US20230362411A1 (en) 2023-11-09
US12192525B2 (en) 2025-01-07
KR20210046002A (ko) 2021-04-27
US20240015330A1 (en) 2024-01-11
US20230138352A1 (en) 2023-05-04
US11949916B2 (en) 2024-04-02
US11570478B2 (en) 2023-01-31
KR102858206B1 (ko) 2025-09-11
US11317118B2 (en) 2022-04-26
US20210185358A1 (en) 2021-06-17
KR20250134730A (ko) 2025-09-11
US20250106434A1 (en) 2025-03-27
US20220210474A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
WO2020050702A1 (ko) 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
WO2020162737A1 (ko) 이차 변환을 이용하는 비디오 신호 처리 방법 및 장치
WO2019125093A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020222484A1 (ko) 인트라 예측 기반 비디오 신호 처리 방법 및 장치
WO2019117634A1 (ko) 2차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2023277535A1 (ko) 인트라 예측을 이용한 비디오 신호 처리 방법 및 이를 위한 장치
WO2014007524A1 (ko) 비디오의 엔트로피 부호화 방법 및 장치, 비디오의 엔트로피 복호화 방법 및 장치
WO2014171713A1 (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
WO2016143991A1 (ko) 저 복잡도 변환에 기반한 영상 부호화 및 복호화 방법 및 이를 이용하는 장치
WO2023033617A1 (ko) Lic(local illumination compensation) 모드를 이용한 비디오 신호 처리 방법 및 이를 위한 장치
WO2020130600A1 (ko) 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
WO2017082443A1 (ko) 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치
WO2019147087A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018044089A1 (ko) 비디오 신호 처리 방법 및 장치
WO2017159901A1 (ko) 비디오 코딩 시스템에서 블록 구조 도출 방법 및 장치
WO2019221472A1 (ko) 참조 샘플을 이용하는 비디오 신호 처리 방법 및 장치
WO2019143103A1 (ko) 다양한 변환 기술을 사용하는 비디오 코딩 방법 및 장치
WO2023132660A1 (ko) 종속 양자화를 이용한 비디오 신호 처리 방법 및 이를 위한 장치
WO2023096472A1 (ko) 비디오 신호 처리 방법 및 이를 위한 장치
WO2024058637A1 (ko) 비디오 신호 처리 방법 및 이를 위한 장치
WO2023043296A1 (ko) Obmc를 이용한 비디오 신호 처리 방법 및 이를 위한 장치
WO2023055220A1 (ko) 참조 픽쳐를 기초로 인트라 예측 모드를 결정하는 비디오 신호 처리 방법 및 이를 위한 장치
WO2020076142A1 (ko) 교차성분 선형 모델을 이용한 비디오 신호 처리 방법 및 장치
WO2024053987A1 (ko) 기하학적 분할을 이용하는 비디오 신호 처리 방법 및 이를 위한 장치
WO2021060801A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19856953

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217005232

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19856953

Country of ref document: EP

Kind code of ref document: A1