WO2020050668A1 - 영상 신호를 처리하기 위한 방법 및 장치 - Google Patents

영상 신호를 처리하기 위한 방법 및 장치 Download PDF

Info

Publication number
WO2020050668A1
WO2020050668A1 PCT/KR2019/011517 KR2019011517W WO2020050668A1 WO 2020050668 A1 WO2020050668 A1 WO 2020050668A1 KR 2019011517 W KR2019011517 W KR 2019011517W WO 2020050668 A1 WO2020050668 A1 WO 2020050668A1
Authority
WO
WIPO (PCT)
Prior art keywords
transform
nsst
block
current block
unit
Prior art date
Application number
PCT/KR2019/011517
Other languages
English (en)
French (fr)
Inventor
구문모
살레후메디
김승환
임재현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020227031341A priority Critical patent/KR102557256B1/ko
Priority to KR1020207017920A priority patent/KR102443501B1/ko
Priority to CN202310078267.1A priority patent/CN116055719A/zh
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP19858300.7A priority patent/EP3723374A4/en
Priority to JP2020537505A priority patent/JP7106652B2/ja
Priority to CN202310080184.6A priority patent/CN116074508A/zh
Priority to CN202310072429.0A priority patent/CN116055718A/zh
Priority to KR1020237024123A priority patent/KR20230112741A/ko
Priority to CN201980014843.8A priority patent/CN111771378B/zh
Publication of WO2020050668A1 publication Critical patent/WO2020050668A1/ko
Priority to US16/901,818 priority patent/US11082694B2/en
Priority to US17/360,164 priority patent/US11589051B2/en
Priority to JP2022112263A priority patent/JP7328414B2/ja
Priority to US18/097,775 priority patent/US11818352B2/en
Priority to JP2023126442A priority patent/JP7508664B2/ja
Priority to US18/369,493 priority patent/US20240031573A1/en
Priority to JP2024098614A priority patent/JP2024120019A/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to a method and apparatus for processing a video signal, and more particularly, to a method and apparatus for encoding or decoding a video signal by performing transformation.
  • Compression coding refers to a series of signal processing techniques for transmitting digitized information through a communication line or storing it in a form suitable for a storage medium.
  • Media such as video, image, and audio may be the subject of compression encoding, and a technique for performing compression encoding on an image is referred to as video image compression.
  • Next-generation video content will have the characteristics of high spatial resolution, high frame rate and high dimensionality of scene representation. In order to process such content, a huge increase in terms of memory storage, memory access rate and processing power will be produced.
  • the video codec standard after the high efficiency video coding (HEVC) standard requires an efficient conversion technique to convert a video signal in a spatial domain into a frequency domain along with a prediction technique having higher accuracy.
  • Embodiments of the present invention are to provide a video signal processing method and apparatus that applies a transform having high coding efficiency and low complexity.
  • Decoding method of a video signal determining the input length and output length of the non-separated transform based on the height and width of the current block, and the input of the non-separated transform Determining a non-separation transformation matrix corresponding to a length and an output length, and applying the non-separation transformation matrix to the number of coefficients corresponding to the input length in the current block, and If the height and width are greater than or equal to 8, and the height and width of the current block are 8 respectively, the input length of the non-separated transform is determined as 8.
  • the input length of the non-separated transform may be determined as 16.
  • the output length may be determined to be 48 or 64.
  • the step of applying the non-separation transformation matrix to the current block may include the non-separation transformation matrix when the product of the width and height is less than a threshold value when the height and the width are 8 respectively. It may include the step of applying to the upper left 4x4 area of the current block.
  • the determining of the non-separated transform matrix may include determining a non-separated transform set index based on the intra prediction mode of the current block, and a ratio within the non-separated transform set included in the non-separated transform set index.
  • the method may include determining a non-separated transform kernel corresponding to a separated transform index, and determining the non-separated transform matrix from the non-separated transform kernel based on the input length and the output length.
  • An image signal processing apparatus includes a memory for storing the image signal and a processor coupled with the memory, wherein the processor is configured to determine the height and width of the current block. Determine an input length and an output length of the non-separated transform based on the non-separated transform matrix corresponding to the input length and the output length of the non-separated transform, and the non-separated transform matrix to the input length in the current block.
  • the input length of the non-separated transform is 8
  • the output length is determined to be greater than the input length and less than or equal to 64.
  • FIG. 1 is an embodiment to which the present invention is applied, and shows a schematic block diagram of an encoding device in which encoding of a video / image signal is performed.
  • FIG. 2 is an embodiment to which the present invention is applied, and shows a schematic block diagram of a decoding apparatus in which decoding of a video signal is performed.
  • Figure 3 is an embodiment to which the present invention can be applied,
  • Figure 3a is a QT (quadtree, QT)
  • Figure 3b is a BT (binary tree, BT)
  • Figure 3c is a TT (ternary tree, TT)
  • Figure 3d is AT (asymmetric tree, AT).
  • FIG. 4 and 5 are embodiments to which the present invention is applied, and FIG. 4 shows a schematic block diagram of a transform and quantization unit, an inverse quantization and an inverse transform unit in the encoding apparatus of FIG. 1, and FIG. 5 is an inverse quantization and A schematic block diagram of an inverse transform section is shown.
  • FIG. 6 is an embodiment to which the present invention is applied, and shows a flowchart for encoding a video signal through primary and secondary transforms.
  • FIG. 7 is an embodiment to which the present invention is applied, and shows a flowchart for decoding a video signal through secondary inverse transform and primary inverse transform.
  • FIG 8 shows an example of a transform configuration group to which an adaptive multiple transform (AMT) is applied according to an embodiment of the present invention.
  • AMT adaptive multiple transform
  • FIG. 9 shows an example of an encoding flowchart to which AMT is applied according to an embodiment of the present invention.
  • FIG. 10 shows an example of a decoding flowchart to which AMT is applied according to an embodiment of the present invention.
  • FIG. 11 shows an example of a flowchart for encoding an AMT flag and an AMT index according to an embodiment of the present invention.
  • FIG. 12 shows an example of a decoding flowchart for performing transformation based on the AMT flag and AMT index.
  • FIG. 13 and 14 is an embodiment to which the present invention is applied, FIG. 13 shows a diagram for explaining Givens rotation, and FIG. 14 shows 4x4 NSST (non) composed of a Givens rotation layer and permutations -separable secondary transform).
  • FIG. 15 shows an example of a configuration of a non-separated transform set for each intra prediction mode according to an embodiment of the present invention.
  • FIG. 16 shows three forward scan sequences for transform coefficients or transform coefficient blocks applied in a high efficiency video coding (HEVC) standard, (a) is a diagonal scan, (b) is a horizontal scan, (c) shows a vertical scan.
  • HEVC high efficiency video coding
  • FIG. 17 and 18 are embodiments to which the present invention is applied, and FIG. 17 shows positions of transform coefficients when a forward diagonal scan is applied when 4x4 RST is applied to 4x8 blocks, and FIG. 18 shows two 4x4 blocks An example of a case in which valid transform coefficients of is merged into one block is shown.
  • 19 is an embodiment to which the present invention is applied, and shows an example of a method of configuring a mixed NSST set for each intra prediction mode.
  • 20 is an embodiment to which the present invention is applied, and shows an example of a method of selecting an NSST set (or kernel) in consideration of an intra prediction mode and a transform block size.
  • 21A and 21B show forward and reverse reduced transforms as an embodiment to which the present invention is applied.
  • FIG. 22 shows an example of a decoding flowchart using a reduced transform according to an embodiment of the present invention.
  • FIG. 23 shows an example of a flow chart for application of a conditional reduced transform according to an embodiment of the present invention.
  • FIG. 24 shows an example of a decoding flowchart for a second inverse transform to which a conditional reduced transform according to an embodiment of the present invention is applied.
  • 25A, 25B, 26A, and 26B show examples of reduced transform and reduced inverse transform according to an embodiment of the present invention.
  • FIG. 27 shows an example of a region to which a reduced quadratic transformation is applied according to an embodiment of the present invention.
  • 29 is an embodiment to which the present invention is applied, and shows an example of an encoding flowchart for performing transformation.
  • FIG. 30 is an embodiment to which the present invention is applied, and shows an example of a decoding flowchart for performing transformation.
  • 31 is an embodiment to which the present invention is applied, and shows an example of a detailed block diagram of a conversion unit in an encoding device.
  • 32 is an embodiment to which the present invention is applied, and shows an example of a detailed block diagram of an inverse transform unit in a decoding apparatus.
  • 34 is an embodiment to which the present invention is applied and shows an example of a block diagram of an apparatus for processing a video signal.
  • 35 shows an example of a video coding system as an embodiment to which the present invention is applied.
  • 36 is an embodiment to which the present invention is applied, and is a structural diagram of a content streaming system.
  • the term 'processing unit' in the present specification means a unit in which encoding / decoding processing processes such as prediction, transformation, and / or quantization are performed.
  • the processing unit may be interpreted to include a unit for a luminance component and a unit for a chroma component.
  • the processing unit may correspond to a block, a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
  • the processing unit may be interpreted as a unit for a luminance component or a unit for a color difference component.
  • the processing unit may correspond to a coding tree block (CTB), a coding block (CB), a PU or a transform block (TB) for the luminance component.
  • the processing unit may correspond to CTB, CB, PU or TB for the color difference component.
  • the present invention is not limited thereto, and the processing unit may be interpreted to include a unit for a luminance component and a unit for a color difference component.
  • processing unit is not necessarily limited to square blocks, and may be configured in a polygonal shape having three or more vertices.
  • a pixel, a pixel, or a coefficient transformation coefficient or transformation coefficient that has undergone first-order transformation
  • a sample a pixel value, a pixel value, or a coefficient (a transform coefficient or a transform coefficient that has undergone first-order transformation) is used.
  • Embodiments of the present invention provide an image and video compression method and apparatus.
  • the compressed data has the form of a bitstream, and the bitstream may be stored in various types of storage or streamed through a network and delivered to a terminal having a decoder.
  • the decoded image may be displayed by the display device or simply bitstream data may be stored.
  • the method and apparatus proposed in the embodiment of the present invention can be applied to both an encoder and a decoder, to a device that generates a bitstream or to a device that accepts a bitstream, and correlates with whether the terminal outputs through a display device. Can be applied without.
  • the video compression device is largely composed of a prediction unit, a transform and quantization unit, and an entropy coding unit, and schematic block diagrams of the encoding device and the decoding device are shown in FIGS. 1 and 2.
  • the transform and quantization unit converts the residual signal obtained by subtracting the prediction signal from the original signal into a frequency domain signal through a transform such as a DCT (discrete cosine transform) -2, and then applies quantization to significantly reduce the number of non-zero signals.
  • a transform such as a DCT (discrete cosine transform) -2
  • FIG. 1 is an embodiment to which the present invention is applied, and shows a schematic block diagram of an encoding device in which encoding of a video / image signal is performed.
  • the image splitter 110 may divide the input image (or picture, frame) input to the encoding apparatus 100 into one or more processing units.
  • the processing unit may be referred to as a coding unit (CU).
  • the coding unit may be recursively divided according to a quad-tree binary-tree (QTBT) structure from a coding tree unit (CTU) or a largest coding unit (LCU).
  • QTBT quad-tree binary-tree
  • CTU coding tree unit
  • LCU largest coding unit
  • one coding unit may be divided into a plurality of coding units of a deeper depth based on a quad tree structure and / or a binary tree structure.
  • a quad tree structure may be applied first, and a binary tree structure may be applied later.
  • a binary tree structure may be applied first.
  • the coding procedure according to the present invention can be performed based on the final coding unit that is no longer split.
  • the maximum coding unit may be directly used as a final coding unit based on coding efficiency according to image characteristics, or the coding unit may be recursively divided into coding units having a lower depth than optimal if necessary.
  • the coding unit of the size of can be used as the final coding unit.
  • the coding procedure may include procedures such as prediction, transformation, and reconstruction, which will be described later.
  • the processing unit may further include a prediction unit (PU) or a transformation unit (TU).
  • the prediction unit and the transform unit may be partitioned or partitioned from the above-described final coding unit, respectively.
  • the prediction unit may be a unit of sample prediction
  • the transformation unit may be a unit for deriving a transform coefficient and / or a unit for deriving a residual signal from the transform coefficient.
  • the unit may be used interchangeably with terms such as a block or area depending on the case.
  • the MxN block may represent samples of M columns and N rows or a set of transform coefficients.
  • the sample may generally represent a pixel or a pixel value, and may indicate only a pixel / pixel value of a luma component or only a pixel / pixel value of a saturation component.
  • the sample may be used as a term for one picture (or image) corresponding to a pixel or pel.
  • the encoding apparatus 100 subtracts a prediction signal (a predicted block, a prediction sample array) output from the inter prediction unit 180 or the intra prediction unit 185 from the input image signal (original block, original sample array)
  • a signal residual signal, residual block, residual sample array
  • a unit that subtracts a prediction signal (a prediction block, a prediction sample array) from an input image signal (original block, original sample array) in the encoder 100 may be referred to as a subtraction unit 115.
  • the prediction unit may perform prediction on a block to be processed (hereinafter referred to as a current block), and generate a predicted block including prediction samples for the current block.
  • the prediction unit may determine whether intra prediction or inter prediction is applied in units of a current block or CU. As described later in the description of each prediction mode, the prediction unit may generate various information regarding prediction, such as prediction mode information, and transmit it to the entropy encoding unit 190.
  • the prediction information may be encoded by the entropy encoding unit 190 and output in the form of a bitstream.
  • the intra prediction unit 185 may predict the current block by referring to samples in the current picture.
  • the referenced samples may be located in the neighborhood of the current block or may be located apart depending on a prediction mode.
  • prediction modes may include a plurality of non-directional modes and a plurality of directional modes.
  • the non-directional mode may include, for example, a DC mode and a planar mode (Planar mode).
  • the directional mode may include, for example, 33 directional prediction modes or 65 directional prediction modes depending on the degree of detail of the prediction direction. However, this is an example, and more or less directional prediction modes may be used depending on the setting.
  • the intra prediction unit 185 may determine a prediction mode applied to the current block using a prediction mode applied to neighboring blocks.
  • the inter prediction unit 180 may derive a predicted block for the current block based on a reference block (reference sample array) specified by a motion vector on the reference picture.
  • motion information may be predicted in units of blocks, subblocks, or samples based on the correlation of motion information between a neighboring block and a current block.
  • the motion information may include a motion vector and a reference picture index.
  • the motion information may further include inter prediction direction (L0 prediction, L1 prediction, Bi prediction, etc.) information.
  • the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block present in the reference picture.
  • the reference picture including the reference block and the reference picture including the temporal neighboring block may be the same or different.
  • the temporal neighboring block may be referred to by a name such as a collocated reference block or a colCU, and a reference picture including a temporal neighboring block may also be called a collocated picture (colPic).
  • the inter prediction unit 180 constructs a motion information candidate list based on neighboring blocks, and provides information indicating which candidate is used to derive the motion vector and / or reference picture index of the current block. Can be created. Inter prediction may be performed based on various prediction modes. For example, in the case of the skip mode and the merge mode, the inter prediction unit 180 may use motion information of neighboring blocks as motion information of the current block.
  • the residual signal may not be transmitted.
  • a motion vector of a current block is obtained by using a motion vector of a neighboring block as a motion vector predictor and signaling a motion vector difference. I can order.
  • the prediction signal generated by the inter prediction unit 180 or the intra prediction unit 185 may be used to generate a reconstructed signal or may be used to generate a residual signal.
  • the transform unit 120 may generate transform coefficients by applying a transform technique to the residual signal.
  • the transform technique may include at least one of DCT, Discrete Sine Transform (DST), Karhunen-Loeve Transform (KLT), Graph-Based Transform (GBT), or Conditionally Non-linear Transform (CNT).
  • DCT Discrete Sine Transform
  • KLT Karhunen-Loeve Transform
  • GBT Graph-Based Transform
  • CNT Conditionally Non-linear Transform
  • GBT refers to a transformation obtained from this graph when it is said that the relationship information between pixels is graphically represented.
  • CNT means a transform obtained by generating a predictive signal using all previously reconstructed pixels and based on it.
  • the transform process may be applied to pixel blocks having the same size of a square, or may be applied to blocks of variable sizes other than squares.
  • the quantization unit 130 quantizes the transform coefficients and transmits them to the entropy encoding unit 190, and the entropy encoding unit 190 encodes a quantized signal (information about quantized transform coefficients) and outputs it as a bitstream. have.
  • Information about the quantized transform coefficients may be referred to as residual information.
  • the quantization unit 130 may rearrange block-type quantized transform coefficients into a one-dimensional vector form based on a coefficient scan order, and the quantized transform based on the one-dimensional vector form quantized transform coefficients Information about coefficients may be generated.
  • the entropy encoding unit 190 may perform various encoding methods such as exponential Golomb (CAVLC), context-adaptive variable length coding (CAVLC), and context-adaptive binary arithmetic coding (CABAC).
  • the entropy encoding unit 190 may encode information necessary for video / image reconstruction (eg, values of syntax elements, etc.) together with the quantized transform coefficients together or separately.
  • the encoded information (eg, video / video information) may be transmitted or stored in the unit of a network abstraction layer (NAL) unit in the form of a bitstream.
  • NAL network abstraction layer
  • the bitstream can be transmitted over a network or stored on a digital storage medium.
  • the network may include a broadcasting network and / or a communication network
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD.
  • the signal output from the entropy encoding unit 190 may be configured as an internal / external element of the encoding apparatus 100 by a transmitting unit (not shown) and / or a storing unit (not shown) for storing, or the transmitting unit It may be a component of the entropy encoding unit 190.
  • the quantized transform coefficients output from the quantization unit 130 may be used to generate a prediction signal.
  • the residual signal may be reconstructed by applying inverse quantization and inverse transform to the quantized transform coefficients through the inverse quantization unit 140 and the inverse transform unit 150 in the loop.
  • the adder 155 adds the reconstructed residual signal to the predicted signal output from the inter predictor 180 or the intra predictor 185, so that the reconstructed signal (restored picture, reconstructed block, reconstructed sample array) Can be created. If there is no residual for the block to be processed, such as when the skip mode is applied, the predicted block may be used as a reconstructed block.
  • the adding unit 155 may be called a restoration unit or a restoration block generation unit.
  • the generated reconstructed signal may be used for intra prediction of the next processing target block in the current picture, or may be used for inter prediction of the next picture through filtering as described below.
  • the filtering unit 160 may apply subjective filtering to the reconstructed signal to improve subjective / objective image quality.
  • the filtering unit 160 may generate a modified reconstructed picture by applying various filtering methods to the reconstructed picture, and may transmit the modified reconstructed picture to the decoded picture buffer 170.
  • Various filtering methods may include, for example, deblocking filtering, sample adaptive offset, adaptive loop filter, bilateral filter, and the like.
  • the filtering unit 160 may generate various information regarding filtering as described later in the description of each filtering method and transmit it to the entropy encoding unit 190.
  • the filtering information may be encoded by the entropy encoding unit 190 and output in the form of a bitstream.
  • the modified reconstructed picture transmitted to the decoded picture buffer 170 may be used as a reference picture in the inter prediction unit 180.
  • inter prediction is applied through the encoding apparatus 100, prediction mismatch between the encoding apparatus 100 and the decoding apparatus can be avoided, and encoding efficiency can be improved.
  • the decoded picture buffer 170 may store the corrected reconstructed picture for use as a reference picture in the inter prediction unit 180.
  • FIG. 2 is an embodiment to which the present invention is applied, and shows a schematic block diagram of a decoding apparatus in which decoding of a video signal is performed.
  • the decoding apparatus 200 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an adding unit 235, a filtering unit 240, and a decoded picture buffer (DPB). 250, an inter prediction unit 260, and an intra prediction unit 265.
  • the inter prediction unit 260 and the intra prediction unit 265 may be collectively called a prediction unit. That is, the prediction unit may include an inter prediction unit 180 and an intra prediction unit 185.
  • the inverse quantization unit 220 and the inverse conversion unit 230 may be collectively referred to as a residual processing unit. That is, the residual processing unit may include an inverse quantization unit 220 and an inverse conversion unit 230.
  • the entropy decoding unit 210, the inverse quantization unit 220, the inverse transform unit 230, the addition unit 235, the filtering unit 240, the inter prediction unit 260, and the intra prediction unit 265 described above are embodiments. It may be configured by one hardware component (for example, a decoder or processor). Also, the decoded picture buffer 250 may be implemented by one hardware component (eg, a memory or digital storage medium) according to an embodiment.
  • the decoding apparatus 200 may restore an image in response to a process in which the video / image information is processed by the encoding apparatus 100 of FIG. 2.
  • the decoding apparatus 200 may perform decoding using a processing unit applied by the encoding apparatus 100.
  • the processing unit of decoding may be, for example, a coding unit, and the coding unit may be divided along a quad tree structure and / or a binary tree structure from a coding tree unit or a largest coding unit. Then, the decoded video signal decoded and output through the decoding apparatus 200 may be reproduced through the reproduction apparatus.
  • the decoding apparatus 200 may receive the signal output from the encoding apparatus 100 of FIG. 2 in the form of a bitstream, and the received signal may be decoded through the entropy decoding unit 210.
  • the entropy decoding unit 210 may parse the bitstream to derive information (eg, video / image information) necessary for image reconstruction (or picture reconstruction).
  • the entropy decoding unit 210 decodes information in a bitstream based on a coding method such as exponential Golomb coding, CAVLC, or CABAC, and quantizes a value of a syntax element required for image reconstruction and a transform coefficient for residual.
  • the CABAC entropy decoding method receives bins corresponding to each syntax element in the bitstream, and decodes the syntax element information to be decoded and decoding information of neighboring and decoding target blocks or information of symbols / bins decoded in the previous step.
  • the context model is determined by using, and the probability of occurrence of the bin is predicted according to the determined context model, and arithmetic decoding of the bin is performed to generate a symbol corresponding to the value of each syntax element. have.
  • the CABAC entropy decoding method may update the context model using the decoded symbol / bin information for the next symbol / bin context model after determining the context model.
  • a prediction unit inter prediction unit 260 and intra prediction unit 265
  • the entropy decoding unit 210 performs entropy decoding.
  • the dual value that is, quantized transform coefficients and related parameter information may be input to the inverse quantization unit 220.
  • information related to filtering among information decoded by the entropy decoding unit 210 may be provided to the filtering unit 240.
  • a receiving unit (not shown) receiving a signal output from the encoding apparatus 100 may be further configured as an internal / external element of the decoding apparatus 200, or the receiving unit may be a component of the entropy decoding unit 210. It might be.
  • the inverse quantization unit 220 may inverse quantize the quantized transform coefficients to output transform coefficients.
  • the inverse quantization unit 220 may rearrange the quantized transform coefficients in a two-dimensional block form. In this case, reordering may be performed based on the coefficient scan order performed by the encoding apparatus 100.
  • the inverse quantization unit 220 may perform inverse quantization on quantized transform coefficients by using a quantization parameter (for example, quantization step size information), and obtain transform coefficients.
  • a quantization parameter for example, quantization step size information
  • the inverse transform unit 230 obtains a residual signal (residual block, residual sample array) by inverse transforming the transform coefficients.
  • the prediction unit may perform prediction on the current block and generate a predicted block including prediction samples for the current block.
  • the prediction unit may determine whether intra prediction or inter prediction is applied to the current block based on the information on the prediction output from the entropy decoding unit 210, and may determine a specific intra / inter prediction mode.
  • the intra prediction unit 265 may predict the current block by referring to a sample in the current picture.
  • the referenced sample may be located in the neighborhood of the current block or spaced apart depending on the prediction mode.
  • prediction modes may include a plurality of non-directional modes and a plurality of directional modes.
  • the intra prediction unit 265 may determine a prediction mode applied to the current block using a prediction mode applied to neighboring blocks.
  • the inter prediction unit 260 may derive the predicted block for the current block based on the reference block (reference sample array) specified by the motion vector on the reference picture.
  • motion information may be predicted in units of blocks, subblocks, or samples based on the correlation of motion information between neighboring blocks and the current block.
  • the motion information may include a motion vector and a reference picture index.
  • the motion information may further include inter prediction direction (L0 prediction, L1 prediction, Bi prediction, etc.) information.
  • the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block present in the reference picture.
  • the inter prediction unit 260 configures a motion information candidate list based on information related to prediction of neighboring blocks, and derives a motion vector and / or reference picture index of the current block based on the received candidate selection information. can do.
  • Inter prediction may be performed based on various prediction modes, and information regarding prediction may include information indicating a mode of inter prediction for a current block.
  • the adding unit 235 adds the obtained residual signal to the prediction signal (predicted block, prediction sample array) output from the inter prediction unit 260 or the intra prediction unit 265, thereby restoring signals (restored pictures, reconstructed blocks). , A reconstructed sample array). If there is no residual for the block to be processed, such as when the skip mode is applied, the predicted block may be used as a reconstructed block.
  • the adding unit 235 may be referred to as a restoration unit or a restoration block generation unit.
  • the generated reconstructed signal may be used for intra prediction of the next processing target block in the current picture, or may be used for inter prediction of the next picture through filtering as described below.
  • the filtering unit 240 may improve subjective / objective image quality by applying filtering to the reconstructed signal. For example, the filtering unit 240 may generate a modified reconstructed picture by applying various filtering methods to the reconstructed picture, and may transmit the modified reconstructed picture to the decoded picture buffer 250.
  • Various filtering methods may include, for example, deblocking filtering, sample adaptive offset (SAO), adaptive loop filter (ALF), bilateral filter.
  • the corrected reconstructed picture transmitted to the decoded picture buffer 250 may be used as a reference picture by the inter prediction unit 260.
  • the embodiments described in the filtering unit 160, the inter prediction unit 180, and the intra prediction unit 185 of the encoding device 100 are respectively the filtering unit 240 and the inter of the decoding device 200. The same may be applied to the prediction unit 260 and the intra prediction unit 265.
  • Figure 3 is an embodiment to which the present invention can be applied,
  • Figure 3a is a QT (quadtree, QT)
  • Figure 3b is a BT (binary tree, BT)
  • Figure 3c is a TT (ternary tree, TT)
  • Figure 3d is AT (asymmetric tree, AT).
  • one block can be divided based on QT.
  • one subblock divided by QT may be further divided recursively using QT.
  • a leaf block that is no longer QT split may be split by at least one of BT, TT, or AT.
  • BT may have two types of splitting: horizontal BT (2NxN, 2NxN) and vertical BT (Nx2N, Nx2N).
  • the TT may have two types of splitting: horizontal TT (2Nx1 / 2N, 2NxN, 2Nx1 / 2N) and vertical TT (1 / 2Nx2N, Nx2N, 1 / 2Nx2N).
  • AT is horizontal-up AT (2Nx1 / 2N, 2Nx3 / 2N), horizontal-down AT (2Nx3 / 2N, 2Nx1 / 2N), vertical-left AT ( It can have four types of partitioning: 1 / 2Nx2N, 3 / 2Nx2N), and vertical-right AT (3 / 2Nx2N, 1 / 2Nx2N).
  • Each BT, TT, AT can be further divided recursively using BT, TT, AT.
  • Block A can be divided into four sub-blocks (A0, A1, A2, A3) by QT.
  • the sub-block A1 may be divided into four sub-blocks (B0, B1, B2, and B3) again by QT.
  • Block B3 which is no longer divided by QT, may be divided into vertical BT (C0, C1) or horizontal BT (D0, D1). Each sub-block, such as block C0, may be further divided recursively, such as in the form of horizontal BT (E0, E1) or vertical BT (F0, F1).
  • Block B3C shows an example of TT segmentation.
  • Block B3 which is no longer divided by QT, may be divided into vertical TT (C0, C1, C2) or horizontal TT (D0, D1, D2).
  • each sub-block may be further divided recursively in the form of a horizontal TT (E0, E1, E2) or a vertical TT (F0, F1, F2).
  • Block B3 which is no longer divided by QT, may be divided into vertical AT (C0, C1) or horizontal AT (D0, D1). As in block C1, each sub-block may be further recursively divided in the form of horizontal AT (E0, E1) or vertical TT (F0, F1).
  • BT, TT, AT partitioning can be used together.
  • sub-blocks divided by BT can be divided by TT or AT.
  • sub-blocks divided by TT can be divided by BT or AT.
  • the sub-block divided by AT can be divided by BT or TT.
  • each sub-block may be divided into vertical BTs, or after vertical BT splitting, each sub-block may be divided into horizontal BTs. In this case, the order of division is different, but the shape of the final division is the same.
  • a sequence of searching for blocks may be variously defined.
  • a search is performed from left to right and from top to bottom, and searching for blocks means an order of determining whether to divide additional blocks of each divided sub-block, or when each block is no longer divided It may mean a coding order of blocks or a search order when sub-blocks refer to information of other neighboring blocks.
  • transformation may be performed for each processing unit (or transformation block) divided by a partitioning structure, and in particular, a transformation matrix may be applied by being divided by row and column directions.
  • a transformation matrix may be applied by being divided by row and column directions.
  • other conversion types may be used depending on the length of the processing unit (or conversion block) in the row direction or the column direction.
  • FIG. 4 is a schematic diagram of a transformation and quantization unit 120/130, an inverse quantization and an inverse transformation unit 140/150 in the encoding apparatus 100 of FIG. 5 shows a block diagram of the inverse quantization and inverse transform unit 220/230 in the decoding apparatus 200.
  • the transform and quantization unit 120/130 may include a primary transform unit 121, a secondary transform unit 122, and a quantization unit 130. have.
  • the inverse quantization and inverse transform unit 140/150 includes an inverse quantization unit 140, an inverse secondary transform unit 151, and an inverse primary transform unit 152. You can.
  • the inverse quantization and inverse transform unit 220/230 includes an inverse quantization unit 220, an inverse secondary transform unit 231, and an inverse primary transform unit ( 232).
  • the primary transform when performing the conversion, it is possible to perform the conversion through a plurality of steps.
  • two stages of a primary transform and a secondary transform may be applied, or further transform stages may be used according to an algorithm.
  • the primary transform may be referred to as a core transform.
  • the primary transform unit 121 may apply a primary transform to the residual signal, where the primary transform may be defined as a table in the encoder and / or decoder.
  • the second-order transform unit 122 may apply a second-order transform to the first-converted signal, where the second-order transform may be defined as an table in the encoder and / or decoder.
  • a non-separable secondary transform may be applied conditionally as a secondary transform.
  • NSST is applied only in the case of an intra prediction block, and may have a transform set applicable to each prediction mode group.
  • the prediction mode group may be set based on symmetry with respect to the prediction direction. For example, since prediction mode 52 and prediction mode 16 are symmetric based on prediction mode 34 (diagonal direction), the same transform set may be applied by forming a group. At this time, when applying the transform for the prediction mode 52, the input data is transposed and applied, because the transform set is the same as the prediction mode 16.
  • each has a set of transformations, and the set of transformations may be composed of two transformations.
  • the set of transformations may be composed of 3 transforms per transform set.
  • the quantization unit 130 may perform quantization on the second-converted signal.
  • the inverse quantization and inverse transformation unit 140/150 performs the above-described process in reverse, and redundant description is omitted.
  • FIG. 5 shows a schematic block diagram of an inverse quantization and inverse transform unit 220/230 in the decoding apparatus 200.
  • the inverse quantization and inverse transform unit 220/230 includes an inverse quantization unit 220, an inverse secondary transform unit 231, and an inverse primary transform unit. (232).
  • the inverse quantization unit 220 obtains a transform coefficient from an entropy decoded signal using quantization step size information.
  • the inverse quadratic transform unit 231 performs an inverse quadratic transform on the transform coefficients.
  • the inverse quadratic transform represents the inverse transform of the quadratic transform described in FIG. 4.
  • the inverse primary transform unit 232 performs an inverse primary transform on the inverse quadratic transformed signal (or block), and obtains a residual signal.
  • the inverse primary transform represents the inverse transform of the primary transform described in FIG. 4.
  • FIG. 6 is an embodiment to which the present invention is applied, and shows a flowchart for encoding a video signal through primary and secondary transforms. Each operation illustrated in FIG. 6 may be performed by the conversion unit 120 of the encoding device 100.
  • the encoding apparatus 100 may determine (or select) a forward secondary transform based on at least one of a prediction mode, a block shape, and / or a block size of the current block (S610).
  • the encoding apparatus 100 may determine an optimal forward secondary transform through RD optimization (rate-distortion optimization).
  • the optimal forward quadratic transform may correspond to one of a plurality of transform combinations, and the plurality of transform combinations may be defined by a transform index.
  • the encoding apparatus 100 may compare the results of all of the forward secondary transform, quantization, and residual coding for each candidate.
  • the encoding apparatus 100 may signal a secondary transform index corresponding to an optimal forward secondary transform (S620).
  • S620 optimal forward secondary transform
  • other embodiments described in the specification may be applied to the secondary transform index.
  • the encoding apparatus 100 may perform forward primary transform on the current block (residual block) (S630).
  • the encoding apparatus 100 may perform forward secondary transform on the current block using an optimal forward secondary transform (S640). Meanwhile, the forward quadratic transformation may be RST described below.
  • RST means a transformation in which N residual data (Nx1 residual vector) is input and R (R ⁇ N) transform coefficient data (Rx1 transform coefficient vector) are output.
  • RST may be applied to a specific area of the current block.
  • a specific region may mean an upper left N / 2xN / 2 region.
  • the present invention is not limited to this, and may be set differently according to at least one of a prediction mode, a block shape, or a block size.
  • a specific region may mean an upper left MxM region (M ⁇ N).
  • the encoding apparatus 100 may generate a transform coefficient block by performing quantization on the current block (S650).
  • the encoding apparatus 100 may generate an bitstream by performing entropy encoding on the transform coefficient block.
  • FIG. 7 is an embodiment to which the present invention is applied, and shows a flowchart for decoding a video signal through secondary inverse transform and primary inverse transform. Each operation illustrated in FIG. 7 may be performed by the inverse transform unit 230 of the decoding apparatus 200.
  • the decoding apparatus 200 may obtain a secondary transform index from the bitstream (S710).
  • the decoding apparatus 200 may derive a secondary transform corresponding to the secondary transform index (S720).
  • steps S710 and S720 are examples, and the present invention is not limited thereto.
  • the decoding apparatus 200 may derive a secondary transform based on at least one of a prediction mode, a block shape, and / or a block size of the current block without obtaining a secondary transform index.
  • the decoder 200 may entropy decode a bitstream to obtain a transform coefficient block, and perform inverse quantization on the transform coefficient block (S730).
  • the decoder 200 may perform an inverse quadratic transform on the inverse quantized transform coefficient block (S740).
  • the reverse quadratic transformation may be reverse RST.
  • the reverse RST is a transpose matrix of RST described in FIG. 6, which means a transform in which R transform coefficient data (Rx1 transform coefficient vectors) are input and N residual data (Nx1 residual vector) are output. .
  • the reduced secondary transform may be applied to a specific area of the current block.
  • a specific region may mean an upper left N / 2xN / 2 region.
  • the present invention is not limited to this, and may be set differently according to at least one of a prediction mode, a block shape, or a block size.
  • the decoder 200 may perform a reverse primary transform on the result of the reverse secondary transform (S750).
  • the decoder 200 generates a residual block through step S750, and generates a reconstructed block by adding the residual block and the prediction block.
  • FIG 8 shows an example of a transform configuration group to which an adaptive multiple transform (AMT) is applied according to an embodiment of the present invention.
  • AMT adaptive multiple transform
  • the transform setting group is determined based on the prediction mode, and the number of groups may be six (G0 to G5) in total.
  • G0 to G4 correspond to a case where intra prediction is applied
  • G5 indicates transformation combinations (or transformation sets, transformation combination sets) applied to a residual block generated by inter prediction.
  • One transform combination is a horizontal transform (or row transform) applied to the rows of the corresponding 2D block and a vertical transform (or column) applied to the columns. It may be composed of (column transform).
  • each of all transform setting groups may include four transform combination candidates.
  • the four transform combination candidates may be selected or determined through a transform combination index of 0 to 3, and a transform combination index from the encoding apparatus 100 to the decoding apparatus 200 may be transmitted through an encoding procedure.
  • statistical characteristics of residual data (or residual signals) obtained through intra prediction may be different according to intra prediction modes. Therefore, as shown in FIG. 8, other transforms than the normal cosine transform may be applied for each intra prediction mode.
  • the conversion type may be expressed, for example, DCT-Type 2, DCT-II, DCT-2.
  • a transform set configuration for a case where 35 intra prediction modes are used and a case where 67 intra prediction modes are used is illustrated, respectively.
  • a plurality of transform combinations may be applied to each transform setup group classified in the intra prediction mode column.
  • the plurality of transformation combinations may be composed of four combinations. More specifically, in group 0, since DST-7 and DCT-5 can be applied to both the row (horizontal) direction and the column (vertical) direction, four combinations are possible.
  • the transform combination index may be referred to as an AMT index (AMT index), and may be expressed as amt_idx.
  • DCT-2 may be optimal for both the row direction and the column direction due to the characteristics of a residual signal. Therefore, transformation can be performed adaptively by defining an AMT flag for each coding unit. Here, if the AMT flag is 0, DCT-2 is applied to both the row direction and the column direction, and if the AMT flag is 1, one of four combinations can be selected or determined through the AMT index.
  • the transform kernels of FIG. 8 are not applied and DST-7 may be applied to both the row direction and the column direction. .
  • the amount of additional information may be reduced by applying DST-7 without parsing the AMT index.
  • AMT can be applied only when both the width and height of the conversion unit are 32 or less.
  • FIG. 8 may be set in advance through off-line training.
  • the AMT index may be defined by one index that can simultaneously indicate a combination of horizontal and vertical transformations.
  • the AMT index may be separately defined by a horizontal transform index and a vertical transform index.
  • the technique of applying a transform selected from a plurality of transform kernels may be referred to as multiple transform selection (MTS) or enhanced multiple transform (EMT).
  • AMT index may be referred to as an MTS index.
  • FIG. 9 shows an example of an encoding flowchart to which AMT is applied according to an embodiment of the present invention.
  • the operations illustrated in FIG. 9 may be performed by the conversion unit 120 of the encoding device 100.
  • This document basically describes an embodiment in which transforms are applied separately in the horizontal direction and the vertical direction, but the combination of transforms may be configured as non-separable transforms.
  • it may also consist of a mixture of separable transforms and non-separable transforms.
  • non-separation transformation selection of transformation by row / column or selection by horizontal / vertical direction becomes unnecessary, and the transformation of FIG. 8 is performed only when separable transformation is selected. Combinations can be used.
  • the schemes proposed in the present specification can be applied regardless of a first order transform or a second order transform. That is, there is no restriction that it should be applied to either one, and both can be applied.
  • the first transform may mean a transform for transforming the residual block at the beginning
  • the second transform may mean a transform for applying a transform to a block generated as a result of the first transform.
  • the encoding apparatus 100 may determine a transform setting group corresponding to the current block (S910).
  • the conversion setting group may be composed of combinations as shown in FIG. 8.
  • the encoding apparatus 100 may perform transformation on candidate transformation combinations available in the transformation setup group (S920).
  • the encoding apparatus 100 may determine or select a transformation combination having the lowest rate distortion (RD) cost (S930).
  • RD rate distortion
  • the encoding apparatus 100 may encode a transform combination index corresponding to the selected transform combination (S940).
  • FIG. 10 shows an example of a decoding flowchart to which AMT is applied according to an embodiment of the present invention.
  • the operations illustrated in FIG. 10 may be performed by the inverse transform unit 230 of the decoding apparatus 200.
  • the decoding apparatus 200 may determine a transform setting group for the current block (S1010).
  • the decoding apparatus 200 may parse (or acquire) a transform combination index from a video signal, where the transform combination index may correspond to any one of a plurality of transform combinations in a transform setup group (S1020).
  • the conversion setting group may include DCT-2, DST-7, or DCT-8.
  • the decoding apparatus 200 may derive a transform combination corresponding to the transform combination index (S1030).
  • the transform combination is composed of horizontal transform and vertical transform, and may include at least one of DCT-2, DST-7, or DCT-8.
  • the transform combination described in FIG. 8 may be used as the transform combination.
  • the decoding apparatus 200 may perform an inverse transform on the current block based on the derived transform combination (S1040). If the transform combination is composed of a row (horizontal) transform and a column (vertical) transform, the row (horizontal) transform can be applied first, followed by the column (vertical) transform. However, the present invention is not limited to this, and may be applied on the contrary, or when the non-separation transformations are configured, the non-separation transformation may be directly applied.
  • the inverse transform of DST-7 or the inverse transform of DCT-8 may be applied for each column and then for each row.
  • different transformations may be applied to the vertical transformation or the horizontal transformation for each row and / or for each column.
  • the transform combination index may be obtained based on the AMT flag indicating whether AMT is performed. That is, the transform combination index can be obtained only when AMT is performed according to the AMT flag. Also, the decoding apparatus 200 may determine whether the number of non-zero coefficients is greater than a threshold value. At this time, the transform combination index may be parsed only when the number of non-zero transform coefficients is greater than a threshold value.
  • the AMT flag or AMT index is a sequence, picture, slice, block, coding unit, transform unit, or prediction unit. ).
  • step S1010 may be preset and omitted in the encoding device 100 and / or the decoding device 200.
  • FIG. 11 shows an example of a flowchart for encoding an AMT flag and an AMT index according to an embodiment of the present invention.
  • the operations of FIG. 11 may be performed by the conversion unit 120 of the encoding device 100.
  • the encoding apparatus 100 may determine whether AMT is applied to the current block (S1110).
  • the encoding apparatus 100 may determine the AMT index based on at least one of a prediction mode, a horizontal transform, and a vertical transform of the current block (S1130).
  • the AMT index indicates an index indicating any one of a plurality of transform combinations for each intra prediction mode, and the AMT index may be transmitted for each transform unit.
  • the encoding apparatus 100 may encode the AMT index (S1140).
  • FIG. 12 shows an example of a decoding flowchart for performing transformation based on the AMT flag and AMT index.
  • the decoding apparatus 200 may parse the AMT flag from the bitstream (S1210).
  • the AMT flag may indicate whether AMT is applied to the current block.
  • the decoding apparatus 200 may check whether AMT is applied to the current block based on the AMT flag (S1220). For example, it is possible to check whether the AMT flag is 1.
  • the decoding apparatus 200 may parse the AMT index (S1230).
  • the AMT index refers to an index indicating any one of a plurality of transform combinations for each intra prediction mode, and the AMT index may be transmitted for each transform unit.
  • the AMT index may refer to an index indicating any one of the conversion combinations defined in the preset conversion combination table, where the preset conversion combination table may refer to FIG. 8, but the present invention is not limited thereto.
  • the decoding apparatus 200 may derive or determine a horizontal transform and a vertical transform based on at least one of the AMT index or prediction mode (S1240).
  • the decoding apparatus 200 may derive a transform combination corresponding to the AMT index.
  • the decoding apparatus 200 may derive or determine a horizontal transform and a vertical transform corresponding to the AMT index.
  • the decoding apparatus 200 may apply a preset vertical inverse transformation for each column (S1250).
  • the vertical inverse transform may be an inverse transform of DCT-2.
  • the decoding apparatus 200 may apply a predetermined horizontal inverse transform for each row (S1260).
  • the horizontal inverse transform may be an inverse transform of DCT-2. That is, when the AMT flag is 0, a conversion kernel preset in the encoding device 100 or the decoding device 200 may be used. For example, it is not defined in the conversion combination table as shown in FIG. 8, but a commonly used conversion kernel may be used.
  • Secondary transform refers to applying the transform kernel once again with the result of applying the primary transform as input.
  • the primary transform may include DCT-2, DST-7 in HEVC, or AMT described above.
  • the non-separable transform does not apply the NxN transform kernel sequentially for the row direction and column direction, but considers the NxN 2-dimensional residual block as an N 2 x1 vector and then transforms the N 2 xN 2 for this vector. Points to applying the kernel only once.
  • NSST may refer to a non-separated square matrix applied to a vector composed of coefficients of a transform block.
  • the embodiments of the present document mainly describe NSST as an example of non-separation transformation applied to the upper left region (low frequency region) determined according to the size of the block, but the embodiment of the present invention is limited to the terms of NSST It is not, and any type of non-separation transformation can be applied to the embodiments of the present invention.
  • the non-separation transform applied to the upper left region (low frequency region) determined according to the size of the block may be referred to as a low frequency non-separable transform (LFNST).
  • MxN transformation or transformation matrix refers to a matrix of M rows and N columns.
  • NSST the 2D block data obtained by applying the first transform is divided into MxM blocks, and then an M 2 xM 2 non-separation transform is applied to each MxM block.
  • M can be 4 or 8.
  • NSST is not applied to all regions of the 2D block obtained by the first transform, but only to some regions. For example, NSST can be applied only to a top-left 8x8 block.
  • 64x64 non-separation transformation can be applied to the upper left 8x8 area only when the width and height of the 2D block obtained through the primary transformation are both 8 or higher, and for the rest of the cases, the corresponding 16x16 ratio is divided into 4x4 blocks. Separation transformation can be applied.
  • the M 2 xM 2 non-separation transform may be applied in the form of a matrix product, but may be approximated by combinations of Givens rotation layers and permutation layers to reduce computational and memory requirements.
  • 13 shows one Givens rotation. It can be described by one angle of one Givens rotation as shown in FIG. 13.
  • FIG. 13 and 14 is an embodiment to which the present invention is applied, FIG. 13 shows a diagram for explaining Givens rotation, and FIG. 14 shows a 4x4 NSST composed of a Givens rotation layer and permutations. It shows the composition of one round.
  • Both 8x8 NSST and 4x4 NSST can be configured in a hierarchical combination of Givens rotations.
  • the matrix corresponding to one Givens rotation is as shown in Equation 1, and the matrix product is represented in FIG. 13.
  • t m and t n output by the Givens rotation may be calculated as in Equation 2.
  • one more substitution is finally performed on the data output through the Givens rotation layers, and information about the substitution is separately stored for each transformation.
  • the permutation is performed at the end of the forward NSST, and the inverse permutation is first applied to the inverse NSST.
  • the reverse NSST performs the Gibbons rotation layers and permutations applied in the forward NSST in reverse order, and rotates by taking a minus (-) value for each Gibbons rotation angle.
  • FIG. 15 shows an example of a configuration of a non-separated transform set for each intra prediction mode according to an embodiment of the present invention.
  • Intra prediction modes to which the same NSST or NSST set is applied may form a group.
  • FIG. 15 classifies 67 intra prediction modes into 35 groups.
  • the 20th mode and the 48th mode belong to the 20th group (hereinafter, a mode group).
  • a plurality of NSSTs instead of one NSST may be configured as a set.
  • Each set may include cases where NSST is not applied.
  • NSST is not applied.
  • three different NSSTs can be applied to one mode group, it can be configured to select one of four cases, including when no NSST is applied.
  • an index may be transmitted in TU units to distinguish one of the four cases.
  • the number of NSSTs may be configured differently for each mode group. For example, mode groups 0 and 1 may signal to select one of three cases, respectively, including the case where NSST is not applied.
  • Embodiment 1 RST applicable to 4x4 block
  • a non-separable transform that can be applied to one 4x4 block is a 16x16 transform. That is, if the data elements constituting the corresponding 4x4 block are arranged in a row in a row-first or column-first order, a 16x1 vector is obtained, and a corresponding non-separation transformation can be applied to the 16x1 vector. have.
  • the forward 16x16 transform is composed of 16 directional transform basis vectors, and when an inner product is taken for the 16x1 vector and each transform base vector, a transform coefficient for the transform base vector is obtained. do.
  • the process of obtaining the corresponding transform coefficients for all 16 transform base vectors is the same as multiplying the 16x16 non-separation transform matrix and the input 16x1 vector.
  • the transform coefficients obtained by matrix multiplication have a 16x1 vector form, and statistical characteristics may be different for each transform coefficient. For example, when the 16x1 transform coefficient vector is composed of 0th to 15th elements, the variance of the 0th element may be greater than that of the 15th element. That is, the larger the element located in front, the larger the corresponding variance value and the larger the energy value.
  • the original 4x4 block signal can be restored.
  • the forward 16x16 non-separated transform is an orthonormal transform
  • the corresponding backward 16x16 transform can be obtained by transposing the matrix for the forward 16x16 transform. For simplicity, multiplying the inverse 16x16 non-separated transform matrix by a 16x1 transform coefficient vector yields data in the form of a 16x1 vector, and the 4x4 block signal can be restored by arranging it in the row-first or column-first order.
  • elements constituting the 16x1 transform coefficient vector may have different statistical characteristics.
  • the original transform may be applied to some transform coefficients that appear first without using all transform coefficients. It is possible to restore a signal that is very close to the signal.
  • the inverse 16x16 non-separated transform is composed of 16 column base vectors, only L column base vectors are left to construct a 16xL matrix, and only L transform coefficients, which are more important among transform coefficients, are left (Lx1).
  • Example 2 Setting the application area of 4x4 RST and arranging the transform coefficients
  • 4x4 RST may be applied as a secondary transform, and at this time, may be applied secondary to a block to which a primary transform such as DCT-type 2 is applied.
  • a primary transform such as DCT-type 2
  • 4x4 RST may be applied to each divided block.
  • the above methods 1) and 2) can be mixed and applied. For example, after dividing into 4x4 blocks only for the upper left MxM area, 4x4 RST may be applied.
  • the second transform is applied only to the upper left 8x8 region, when the NxN block is equal to or greater than 8x8, 8x8 RST is applied, and when the NxN block is smaller than 8x8 (4x4, 8x4, 4x8), the 2 After dividing into 4x4 blocks as shown in), each 4x4 RST can be applied.
  • FIG. 16 shows three forward scan sequences for transform coefficients or transform coefficient blocks applied in the HEVC standard, (a) is a diagonal scan, (b) is a horizontal scan, and (c) is a vertical scan. (vertical scan).
  • FIG. 16 shows three forward scan orders for a transform coefficient or transform coefficient block (4x4 block, Coefficient Group (CG)) applied in the HEVC standard, and the residual coding is (a), (b), or ( It is performed in the reverse order of the scan order of c) (ie, coded in the order of 16 to 1).
  • the three scan orders shown in (a), (b), and (c) are selected according to the intra-prediction mode, so that the L transform coefficients are determined to determine the scan order according to the intra-prediction mode. Can be configured.
  • FIG. 17 and 18 are embodiments to which the present invention is applied, and FIG. 17 shows positions of transform coefficients when a forward diagonal scan is applied when 4x4 RST is applied to 4x8 blocks, and FIG. 18 shows two 4x4 blocks An example of a case in which valid transform coefficients of is merged into one block is shown.
  • L transform coefficients arranged in two 4x4 blocks may be configured as one block.
  • L value is 8
  • a flag (coded_sub_block_flag) indicating whether residual coding of a corresponding block is applied may be coded as 0.
  • the combination method for the positions of the transform coefficients of two 4x4 blocks may vary. For example, the positions may be combined in any order, but the following method may also be applied.
  • the transform coefficients for the first 4x4 block may be arranged first, and then the transform coefficients for the second 4x4 block may be arranged.
  • It can be arranged by connecting as follows. naturally, You can also change the order like so:
  • Example 3 Method of coding a non-separable secondary transform (NSST) index for 4x4 RST
  • a value of 0 may be filled from the L + 1th position to the 16th position according to the transform coefficient scan order for each 4x4 block. Therefore, if any one of the two 4x4 blocks has a non-zero value from the L + 1th position to the 16th position, it is derived that 4x4 RST is not applied. If the 4x4 RST has a structure that applies a transform selected from a transform set prepared as a joint expoloration model (JEM) NSST, an index (hereinafter referred to as an NSST index) to which the transform is applied may be signaled. have.
  • JEM joint expoloration model
  • the NSST index can be known through bitstream parsing, and bitstream parsing can be performed after residual coding. In this case, if a non-zero transform coefficient exists between the L + 1th position and the 16th position by residual decoding, the decoder may not parse the NSST index because it is certain that 4x4 RST is not applied. Therefore, the signaling cost can be reduced by selectively parsing the NSST index only when necessary.
  • 4x4 RST When 4x4 RST is applied to a plurality of 4x4 blocks in a specific area as shown in FIG. 17 (in this case, all the same 4x4 RST may be applied, or different 4x4 RST may be applied), all 4x4 blocks through one NSST index
  • the 4x4 RST to be applied (same or different) can be specified. Whether or not to apply 4x4 RST and 4x4 RST to all 4x4 blocks is determined by one NSST index. Therefore, it is determined whether non-zero transform coefficients exist at positions L + 1 through 16 for all 4x4 blocks. As a result of investigation during the dual decoding process, if a non-zero transform coefficient exists in a position not allowed in the 4x4 block (L + 1 to 16), the encoding apparatus 100 may be set not to code the NSST index. .
  • the encoding apparatus 100 may signal each NSST index separately for a luminance block and a chrominance block, or may signal separate NSST indexes for a Cb component and a Cr component, respectively, in the case of a chrominance block.
  • one common NSST index can be used.
  • signaling of the NSST index is also performed only once.
  • 4x4 RST indicated by the same NSST index may be applied. In this case, the 4x4 RST itself for the Cb component and the Cr component may be the same, and the NSST index is the same. Separate 4x4 RSTs can be set for the Cb component and the Cr component.
  • the L + 1 position to the 16th position are non-zero transform coefficients for the conditional signaling described above. It is checked whether is present, and when a non-zero transform coefficient is found in the L + 1th position to the 16th position, signaling for the NSST index may be omitted.
  • the encoding apparatus 100 has a non-zero transform coefficient at a position where there is no valid transform coefficient. After checking whether or not signaling for the NSST index can be determined. In particular, when the L value is 8 as shown in FIG. 18, when 4x4 RST is applied, there are no valid transform coefficients in one 4x4 block (block indicated by X in FIG. 18 (b)), whether or not residual coding of the corresponding block is performed. The flag for (coded_sub_block_flag) is checked, and if it is 1, the NSST index may be set not to be signaled.
  • NSST is mainly described as an example of non-separation transformation, but other known terms (eg, LFNST) may be used for non-separation transformation.
  • the NSST set (NSST set) and the NSST index may be used by replacing the LFNST set and the LFNST index.
  • the RST described in this document is a reduced input length in a square non-separated transformation matrix applied to at least a portion of the transform block (the left 4x4, 8x8 region, or the rest of the 8x8 block except the right-bottom 4x4 region).
  • RST may also be replaced with LFNST and used.
  • Example 4 Optimization method for coding 4x4 index before residual coding
  • whether to apply 4x4 RST may be configured to be determined through the NSST index value (for example, if the NSST index is 0, so that 4x4 RST is not applied), or a separate syntax element (eg, NSST flag) ) May be signaled whether to apply 4x4 RST.
  • a separate syntax component is an NSST flag
  • the decoding apparatus 200 first determines whether to apply 4x4 RST by parsing the NSST flag, and if the NSST flag value is 1, a valid conversion coefficient may exist as described above. Residual coding (decoding) may be omitted for missing positions.
  • coding is performed at the last non-zero coefficient position in the TU first when performing residual coding. If the coding for the NSST index is performed after coding for the position of the last non-zero coefficient, and the position of the last non-zero coefficient is a position where a non-zero coefficient cannot exist when assuming application of 4x4 RST,
  • the decoding apparatus 200 may be configured not to code the NSST index and not apply 4x4 RST. For example, in the case of positions indicated by X in FIG.
  • the decoding apparatus 200 may omit coding for the NSST index. If the last non-zero coefficient is not located in the area indicated by X, the decoding apparatus 200 may perform coding for the NSST index.
  • the remaining residual coding part can be processed in the following two ways. .
  • coding of the NSST index is omitted when the x position (Px) and y position (Py) of the last nonzero coefficient are less than Tx and Ty respectively
  • 4x4 RST may not be applied.
  • NSST index coding is omitted.
  • the method of determining whether to encode the NSST index through comparison with the threshold may be differently applied to the luminance component and the chrominance component, for example, different Tx and Ty may be applied to the luminance component and the chrominance component, respectively.
  • a threshold value may be applied to the component, and a threshold value may not be applied to the color difference component. Conversely, a threshold value may be applied to the color difference component and a threshold value may not be applied to the luminance component.
  • NST index coding is omitted when the last non-zero coefficient is located in a region where a valid transform coefficient does not exist, NSST when the X and Y coordinates for the last non-zero coefficient are less than the threshold respectively
  • Index coding omitted). For example, you can perform a threshold check for the position coordinates of the last nonzero coefficient first, and then check whether the last nonzero coefficient is located in a region where a valid transform coefficient does not exist. The order can be changed.
  • Example 4 The methods presented in Example 4) can also be applied to 8x8 RST. That is, if the last non-zero coefficient is located in a region other than 4x4 in the upper left in the upper 8x8 region, coding for the NSST index may be omitted, otherwise coding for the NSST index may be performed. In addition, if the X and Y coordinate values for the position of the last non-zero coefficient are less than a certain threshold, coding for the NSST index may be omitted. Both methods can be applied simultaneously.
  • Example 5 When applying RST, different NSST index coding and residual coding schemes are applied to luminance components and color difference components, respectively.
  • Embodiments 3 and 4 can be applied differently to luminance components and color difference components, respectively. That is, NSST index coding and residual coding may be applied differently to luminance components and color difference components.
  • the method described in Example 4 may be applied to the luminance component
  • the method described in Example 3 may be applied to the color difference component.
  • the conditional NSST index coding proposed in Example 3 or 4 is applied to the luminance component, and the conditional NSST index coding may not be applied to the luminance component, and the opposite (conditional NSST index is applied to the color difference component) It is possible to apply coding and not apply to luminance components).
  • a mixed NSST transform set for applying various NSST conditions in a process of applying NSST and a method of configuring the corresponding MNTS are provided.
  • the 4x4 NSST set includes only 4x4 kernels and the 8x8 NSST set includes only 8x8 kernels according to the size of the pre-selected sub-block.
  • the embodiment of the present invention further proposes a method of configuring the mixed NSST set as follows.
  • -NSST kernels available in the NSST set are not fixed, and NSST kernels having one or more variable sizes may be included in the NSST set (eg, 4x4 NSST kernels and 8x8 NSST kernels are included in one NSST set).
  • the number of NSST kernels available in the NSST set may be fixed and variable (eg, the first set includes 3 kernels, and the second set includes 4 kernels).
  • NSST kernels 1, 2, and 3 in the first set are mapped to NSST indexes 1, 2, and 3, respectively, but the second set
  • NSST kernels 3, 2 and 1 map to NSST indexes 1, 2 and 3 respectively.
  • the priority of NSST kernels available in the NSST transform set may be determined according to the size of the NSST kernel (eg, 4x4 NSST and 8x8 NSST).
  • the 8x8 NSST kernel may be more important than the 4x4 NSST kernel, so a low value NSST index is assigned to the 8x8 NSST kernel.
  • the priority of NSST kernels available in the NSST transformation set may be determined according to the order of the NSST kernels.
  • a given 4x4 NSST first kernel may take precedence over a 4x4 NSST second kernel.
  • the NSST index can be signaled with a smaller number of bits by assigning a higher priority (smaller index) to the frequently occurring NSST kernel.
  • Table 1 and Table 2 below show examples of the mixed NSST set proposed in this embodiment.
  • a method of determining an NSST set is proposed in consideration of an intra prediction mode and a block size in the process of determining a secondary transform set.
  • the proposed method in this embodiment is configured to configure a transform set suitable for the intra prediction mode in conjunction with the sixth embodiment to configure kernels of various sizes to be applied to blocks.
  • 19 is an embodiment to which the present invention is applied, and shows an example of a method of configuring a mixed NSST set for each intra prediction mode.
  • Example 19 is an example of a table according to a method of applying the method proposed in Example 2 in connection with Example 6. That is, as shown in FIG. 19, an index ('Mixed Type') indicating whether to follow the existing method of configuring the NSST set or the other method of configuring the NSST set may be defined for each intra prediction mode.
  • the NSST set is configured using the NSST set configuration method defined in the system instead of following the JEM NSST set configuration method. It is composed.
  • the method of configuring the NSST set defined in the system may refer to the mixed NSST set proposed in Example 6.
  • the table of FIG. 19 is a method of constructing two types of transform sets based on mixed type information (flags) related to the intra prediction mode (JEM-based NSST set configuration, in an embodiment of the present invention
  • mixed type information flags
  • JEM-based NSST set configuration JEM-based NSST set configuration
  • the proposed mixed type NSST set configuration method is described, but the mixed type NSST configuration method may be one or more, and at this time, the mixed type information may be represented by various values of N (N> 2).
  • 20 is an embodiment to which the present invention is applied, and shows an example of a method of selecting an NSST set (or kernel) in consideration of an intra prediction mode and a transform block size.
  • the decoding apparatus 200 may determine the used NSST kernel using NSST index information.
  • the NSST index is efficiently considered by considering a change in a statistical distribution of NSST index values transmitted after encoding. It provides a method for encoding.
  • An embodiment of the present invention provides a method of selecting a kernel to be applied using a syntax indicating a kernel size.
  • Table 3 shows a method of binarizing NSST index values, and since the number of NSS kernels available for each transform set is different, the NSST index can be binarized according to the maximum NSST index value.
  • Reductions that can be applied to core transformations (e.g. DCT, DST, etc.) and quadratic transformations (e.g. NSST) due to complexity issues in transformation (e.g. large block transformation or non-separation transformation) Provides a transform.
  • the main idea of a reduced transform is to map an N-dimensional vector to an R-dimensional vector in another space, where R / N (R ⁇ N) is the reduction factor.
  • the reduced transform is an RxN matrix as in Equation 3 below.
  • Equation 1 the R rows of the transform are R bases of the new N-dimensional space.
  • the reason why it is referred to as a reduced transform is that the number of elements of the vector output by the transform is smaller than the number of elements of the input vector (R ⁇ N).
  • the inverse transform matrix for the reduced transform is the transpose of the forward transform. The reduced transforms in the forward and reverse directions will be described with reference to FIGS. 21A and 21B.
  • 21A and 21B show forward and reverse reduced transforms as an embodiment to which the present invention is applied.
  • the number of elements of the reduced transform is RxN pieces, which is R / N smaller than the size of the complete matrix (NxN), which means that the required memory is R / N of the complete matrix.
  • the number of multiplications required is also RxN less than the original NxN by R / N.
  • R coefficients are obtained after applying the reduced transform, which means that only R values need to be transmitted in place of the original N coefficients.
  • FIG. 22 shows an example of a decoding flowchart using a reduced transform according to an embodiment of the present invention.
  • the proposed reduced transform (inverse transform in the decoder) can be applied to coefficients (inverse quantized coefficients) as shown in FIG.
  • a predetermined reduction factor R, or R / N
  • a conversion kernel to perform the conversion may be required.
  • the transform kernel may be determined based on available information such as block size (width, height), intra prediction mode, and Cidx. If the current coding block is a luma block, CIdx is equal to 0. Otherwise (Cb or Cr block) CIdx will be a non-zero value such as 1.
  • FIG. 23 shows an example of a flow chart for application of a conditional reduced transform according to an embodiment of the present invention.
  • the operations of FIG. 23 may be performed by the inverse quantization unit 140 and the inverse transformation unit 150 of the decoding apparatus 200.
  • a reduced transform may be used if certain conditions are met.
  • the reduced transform can be applied to blocks larger than a certain size as shown below.
  • TH is a predefined value (eg 4)
  • the reduced transformation is applied when the width of the current block is greater than the predefined value TH and the height of the current block is greater than the predefined value TH, as in the above conditions. You can. Alternatively, if the product of the width and height of the current block is greater than a predefined value (K) and a smaller value among the width and height of the current block is greater than a predefined value (TH), a reduced transformation may be applied.
  • the reduced transform can be applied to a group of predetermined blocks as follows.
  • a reduced transformation may be applied.
  • the normal transform may be a predefined and usable transform in a video coding system. Examples of common transformations are:
  • the reduced transform condition is an index (Transform_idx) indicating which transform (eg, DCT-4, DST-1) is used or which kernel is applied (when multiple kernels are available).
  • Transform_idx may be transmitted twice.
  • One is an index indicating a horizontal transform (Transform_idx_h) and the other is an index indicating a vertical transform (Transform_idx_v).
  • the decoding apparatus 200 performs inverse quantization on the input bitstream (S2305). Thereafter, the decoding apparatus 200 determines whether to apply the transform (S2310). The decoding apparatus 200 may determine whether to apply the transform through a flag indicating whether to skip the transform.
  • the decoding apparatus 200 parses the transform index (Transform_idx) indicating the transform to be applied (S2315). Also, the decoding apparatus 200 may select a transform kernel (S2330). For example, the decoding apparatus 200 may select a transform kernel corresponding to the transform index (Transform_idx). Also, the decoding apparatus 200 may select a transform kernel in consideration of block size (width, height), intra prediction mode, and CIdx (luma, chroma).
  • the decoding apparatus 200 determines whether a condition for applying the reduced transform is satisfied (S2320).
  • the conditions for the application of the reduced transform may include conditions as described above.
  • the decoding apparatus 200 may apply a normal inverse transform (S2325).
  • the decoding apparatus 200 may determine an inverse transform matrix from the transform kernel selected in step S2330, and apply the determined inverse transform matrix to a current block including transform coefficients.
  • the decoding apparatus 200 may apply the reduced inverse transform (S2335).
  • the decoding apparatus 200 may determine a reduced inverse transform matrix in consideration of a reduction factor from the transform kernel selected in step S2330, and apply the reduced inverse transform matrix to a current block including transform coefficients.
  • FIG. 24 shows an example of a decoding flowchart for a second inverse transform to which a conditional reduced transform according to an embodiment of the present invention is applied.
  • the operations of FIG. 24 may be performed by the inverse transform unit 230 of the decoding apparatus 200.
  • the reduced transform may be applied to a quadratic transform as shown in FIG. 24.
  • a reduced inverse transform may be applied.
  • the decoding apparatus 200 performs inverse quantization (S2405). For transform coefficients generated through inverse quantization, the decoding apparatus 200 determines whether to apply NSST (S2410). That is, the decoding apparatus 200 determines whether parsing of the NSST index (NSST_idx) is necessary according to whether NSST is applied.
  • the decoding apparatus 200 parses the NSST index (S2415) and determines whether the NSST index is greater than 0 (S2420).
  • the NSST index can be restored by a technique such as CABAC by the entropy decoding unit 210.
  • the decoding apparatus 200 may omit the secondary inverse transform and apply a core inverse transform or a primary inverse transform (S2445).
  • the decoding apparatus 200 selects a transform kernel for the second inverse transform (S2435). For example, the decoding apparatus 200 may select a transform kernel corresponding to the NSST index (NSST_idx). Also, the decoding apparatus 200 may select a transform kernel in consideration of block size (width, height), intra prediction mode, and CIdx (luma, chroma).
  • the decoding apparatus 200 determines whether a condition for applying the reduced transform is satisfied (S2425).
  • the conditions for the application of the reduced transform may include conditions as described above.
  • the decoding apparatus 200 may apply a normal secondary inverse transform (S2430). For example, the decoding apparatus 200 may determine a secondary inverse transform matrix from the transform kernel selected in step S2435, and apply the determined secondary inverse transform matrix to the current block including the transform coefficients.
  • the decoding apparatus 200 may apply the reduced second-order inverse transform (S2440). For example, the decoding apparatus 200 may determine a reduced inverse transform matrix by considering a reduction factor from the transform kernel selected in step S2335, and apply the reduced inverse transform matrix to a current block including transform coefficients. Thereafter, the decoding apparatus 200 applies a core inverse transform or a first inverse transform (S2445).
  • Example 10 Reduced Transform as a Secondary Transform with Different Block Size
  • 25A, 25B, 26A, and 26B show examples of reduced transform and reduced inverse transform according to an embodiment of the present invention.
  • a reduced transform in a video codec for different block sizes such as 4x4, 8x8, 16x16, etc. may be used as a secondary transform and a secondary inverse transform.
  • the 8x8 block size and the reduction factor R 16
  • the second order transform and the second order inverse transform may be set as shown in FIGS. 25A and 25B.
  • the pseudocode of the reduced transform and the reduced inverse transform may be set as shown in FIG. 26.
  • Example 11 Reduced Transform as a Secondary Transform with Non-Rectangular Shape
  • FIG. 27 shows an example of a region to which a reduced quadratic transformation is applied according to an embodiment of the present invention.
  • the quadratic transform can be applied to 4x4 and 8x8 corners.
  • the reduced transform can also be applied to non-squares.
  • RST may be applied only to a partial area (hatched area) of the block.
  • Each square in FIG. 27 represents a 4x4 area, and RST may be applied to 10 4x4 pixels (ie, 160 pixels).
  • RST 16 pixels
  • the entire RST matrix is a 16x16 matrix, which may be an acceptable amount of computation.
  • Non-separated transform can be applied only to three 4x4 blocks (a total of 48 transform coefficients).
  • Changing the reduction factor can change memory and multiplication complexity.
  • SPS sequence parameter set
  • Reduced_transform_enabled_flag 1 indicates that reduced transformation is possible and applied. Reduced_transform_enabled_flag is 0 indicates that reduced transformation is not possible. If Reduced_transform_enabled_flag does not exist, it is inferred to be 0. ( Reduced_transform_enabled_flag equals to 1 specifies that reduced transform is enabled and applied.When Reduced_transform_enabled_flag is not present, it is inferred to be equal to 0).
  • Reduced_transform_factor represents the number of reduced dimensions to keep for the reduced transform. If Reduced_transform_factor does not exist, it is inferred to be the same as R. ( Reduced_transform_factor specifies that the number of reduced dimensions to keep for reduced transform.When Reduced_transform_factor is not present, it is inferred to be equal to R).
  • min_reduced_transform_size represents the minimum transform size for applying a reduced transform. If min_reduced_transform_size does not exist, it is inferred as 0. ( min_reduced_transform_size specifies that the minimum transform size to apply reduced transform.When min_reduced_transform_size is not present, it is inferred to be equal to 0).
  • max_reduced_transform_size represents the maximum transform size for applying a reduced transform. If max_reduced_transform_size does not exist, it is inferred as 0.
  • reduced_transform_size represents the number of reduced dimensions to keep for the reduced transform. If reduced_transform_size does not exist, it is inferred as 0. ( reduced_transform_size specifies that the number of reduced dimensions to keep for reduced transform.When Reduced_transform_factor is not present, it is inferred to be equal to 0.)
  • the non-separated quadratic transform (4x4 NSST) that can be applied to a 4x4 block is a 16x16 transform.
  • 4x4 NSST is applied secondary to a block to which a primary transform such as DCT-2, DST-7, or DCT-8 is applied.
  • a primary transform such as DCT-2, DST-7, or DCT-8 is applied.
  • NxM the size of the block to which the first transform is applied
  • the 4x4 NSST is applied to the NxM block, the following method may be considered.
  • 4x4 NSST is applied to the NxM area, but may be applied to only some areas.
  • 4x4 NSST may be applied only to the upper left KxJ region. The conditions for this case are as a) and b) below.
  • 4x4 NSST may be applied to each divided block.
  • the computational complexity of the 4x4 NSST is a very important consideration factor of the encoder and decoder, so we will analyze it in detail.
  • the 16x16 quadratic transform is composed of 16 row-direction transform base vectors, and when a dot product is obtained for the 16x1 vector and each transform base vector, transform coefficients for the transform base vector are obtained.
  • the process of obtaining all transform coefficients for the 16 transform base vectors is the same as multiplying the input 16x1 vector with a 16x16 non-separated transform matrix. Therefore, the total number of multiplications required for 4x4 forward NSST is 256.
  • the coefficient of the original 4x4 primary transform block can be restored.
  • multiplying the inverse 16x16 non-separation transform matrix by a 16x1 transform coefficient vector obtains data in the form of a 16x1 vector, and by arranging the data in the row-first or column-first order that was applied first, a 4x4 block signal (first-order transform. Coefficient) can be restored. Therefore, the total number of multiplications required for 4x4 reverse NSST is 256.
  • the number of multiplications required in sample units is 16. This is the number obtained when dividing the total number of multiplications obtained in the inner product process of the 16x1 vector, which is a 4x4 NSST execution process, and each transform base vector, by 256, the total number of samples. In the case of the forward 4x4 NSST and the reverse 4x4 NSST, the same multiplication number is 16.
  • the number of multiplication per sample required when 4x4 NSST is applied is determined as follows according to the area to which 4x4 NSST is applied.
  • a range in which 4x4 NSST is applied may be reduced to reduce the number of worst-case multiplications required for each sample stage.
  • a method for reducing worst case complexity may be as follows.
  • the Lx16 transform matrix is constructed by selecting L row transform vectors from the forward 16 ⁇ 16 non-separated transform matrix, and L transform coefficients are obtained by multiplying the L ⁇ 16 transform matrix and the 16 ⁇ 1 input vector.
  • Table 7 The worst case multiplication number per sample in a 4x4 block according to the L value conversion is shown in Table 7 below.
  • 4x4 NSST and 4x4 RST may be used in combination to reduce multiplication complexity in the worst case.
  • the example below describes the conditions for applying 4x4 NSST and 4x4 RST under conditions for applying 4x4 NSST (that is, when the width and height of the current block are both greater than or equal to 4)).
  • 4x4 NSST for a 4x4 block is a square (16x16) transformation matrix that receives 16 data and outputs 16 data
  • 4x4 RST receives 16 data based on the encoder side and R less than 16
  • 4x4 RST receives 16 data based on the encoder side and R less than 16
  • 4x4 RST receives 16 data based on the encoder side and R less than 16
  • 4x4 RST receives 16 data based on the encoder side and R less than 16
  • 4x4 RST means a non-square (16x8) transformation matrix that receives R data (eg, 8) smaller than 16 and outputs 16 data.
  • a 4x4 RST based on an 8x16 matrix is applied to the current block, otherwise (if either the width or height of the current block is not 4) 4x4 NSST may be applied to the upper left 4x4 area of the current block. More specifically, when the size of the current block is 4x4, a non-separated transform having an input length of 16 and an output length of 8 may be applied. In the case of the inverse non-separation transform, a non-separation transform having an input length of 8 and an output length of 16 may be applied.
  • 4x4 NSST and 4x4 RST may be used in combination as shown in Table 11 below to reduce multiplication complexity in the worst case.
  • Table 11 describes the conditions for applying 4x4 NSST and 4x4 RST under conditions for applying 4x4 NSST (that is, when the width and height of the current block are both greater than or equal to 4)).
  • 4x4 RST based on an 8x16 matrix
  • 4x4 NSST is the current block If applied to the upper left 4x4 area, and the width of the current block is greater than or equal to the height
  • 4x4 NSST is applied to the upper left 4x4 area of the current block and the 4x4 area located to the right of the upper left 4x4 area, and in the rest (current If the product of the width and height of the block is greater than or equal to the threshold and the width of the current block is less than the height)
  • 4x4 NSST is applied to the 4x4 area located below the upper left 4x4 area and the upper left 4x4 area of the current block.
  • 4x4 RST (e.g., 8x16 matrix) can be applied to 4x4 block instead of 4x4 NSST to reduce the computational complexity of multiplication in the worst case.
  • the non-separated quadratic transform (8x8 NSST) that can be applied to an 8x8 block is a 64x64 transform.
  • 8x8 NSST is applied secondarily to a block to which a primary transform such as DCT-2, DST-7, or DCT-8 is applied.
  • NxM the size of the block to which the first transform is applied
  • the 8x8 NSST is applied to the NxM block, the following method may be considered.
  • 8x8 NSST is applied to the NxM area, but may be applied only to some areas.
  • 8x8 NSST may be applied only to the upper left KxJ region. The conditions for this case are as follows c) and d).
  • 8x8 NSST may be applied to each divided block.
  • the computational complexity of the 8x8 NSST is a very important consideration factor of the encoder and decoder, so we will analyze it in detail.
  • the computational complexity of 8x8 NSST is analyzed based on the number of multiplications.
  • the 64x64 non-separated quadratic transform consists of 64 row-direction transform base vectors, and when a dot product is obtained for the 64x1 vector and each transform base vector, transform coefficients for the transform base vector are obtained.
  • the process of obtaining all transform coefficients for 64 transform base vectors is equivalent to multiplying the input 64x1 vector with a 64x64 non-separated transform matrix. Therefore, the total number of multiplications required for 8x8 forward NSST is 4096.
  • the coefficient of the original 8x8 primary transform block can be restored.
  • multiplying the inverse 64x64 non-separated transform matrix by a 64x1 transform coefficient vector yields data in the form of a 64x1 vector, and if you arrange the data in the row-first or column-first order that was applied first, an 8x8 block signal (1st transform) Coefficient) can be restored. Therefore, the total number of multiplications required for 8x8 reverse NSST is 4096.
  • the number of multiplications required in sample units is 64. This is the number obtained when dividing the total number of multiplications obtained from the dot product process of the 64x1 vector, which is an 8x8 NSST process, and the transform base vectors, by 4096 from the total number of samples. In the case of the forward 8x8 NSST and the reverse 8x8 NSST, the same multiplication number is 64.
  • the number of multiplications per sample required when 8x8 NSST is applied is determined as follows according to the area to which 8x8 NSST is applied.
  • the range of applying 8x8 NSST to reduce the number of worst-case multiplications required for each sample may be reduced.
  • RST is not applied to all of the 64 transform coefficients included in the 8x8 block, and RST is applied to some areas (eg, the area except the lower-right 4x4 area in the 8x8 block). Can be applied.
  • the Lx64 transform matrix is constructed by selecting L row transform vectors from the forward 64x64 non-separated transform matrix, and L transform coefficients are obtained by multiplying the Lx64 transform matrix and the 64x1 input vector.
  • Table 10 The worst case multiplication number per sample in the 8x8 block according to the change of the L value is shown in Table 10 below.
  • 8x8 RSTs having different L values may be used in combination as shown in Table 13 below to reduce multiplication complexity in the worst case.
  • Table 13 describes the condition for applying 8x8 RST under conditions for applying 8x8 NSST (that is, when the width and height of the current block are both greater than or equal to 8)).
  • 8x8 RST based on the 8x64 matrix is applied to the current block, otherwise (if either the width or height of the current block is not 8) 8x8 RST based on 16x64 matrix may be applied to the current block. More specifically, if the size of the current block is 8x8, a non-separated transform having an input length of 64 and an output length of 8 may be applied, otherwise a non-separated transform having an input length of 64 and an output length of 16 Can be applied.
  • a non-separated transform having an input length of 8 and an output length of 64 may be applied, otherwise a non-separated transform having an input length of 16 and an output length of 64 Can be applied.
  • RST since RST is not applied to the entire 8x8 block, but can be applied to only some areas, for example, when RST is applied to the remaining areas except the lower right 4x4 area of the 8x8 block, 8x48 Alternatively, 8x8 RST based on a 16x18 matrix may be applied. That is, if the width and height of the current block correspond to 8 respectively, 8x8 RST based on the 8x48 matrix is applied, and if not (when the width or height of the current block is not 8) 8x8 RST based on the 16x48 matrix is applied. You can.
  • a non-separated transform having an input length of 48 and an output length of 8 may be applied, otherwise a non-separated transform having an input length of 48 and an output length of 16 Can be applied.
  • a non-separated transform having an input length of 8 and an output length of 48 may be applied, otherwise a non-separated transform having an input length of 16 and an output length of 48 Can be applied.
  • RST when RST is applied to a block larger than 8x8 based on the decoder side, if the block height and width correspond to 8, an input length less than 64 (eg 8) and an output length less than or equal to 64 (eg : Non-separated transformation matrix (48x8 or 64x8 matrix) with 48 or 64) can be applied, and if the height or width of the block does not correspond to 8, input length less than 64 (e.g. 16) and output less than or equal to 64 A non-separated transformation matrix (48x16 or 64x16 matrix) having a length (eg, 48 or 64) may be applied.
  • Table 12 is an example of application of various 8x8 RSTs under conditions for applying 8x8 NSST (ie, when the width and height of the current block is greater than or equal to 8).
  • an 8x8 RST based on an 8x64 matrix (or 8x48 matrix) is applied, and if the product of the width and height of the current block is less than the threshold (TH), An 8x8 RST based on a 16x64 matrix (or 16x48 matrix) is applied to the upper left 8x8 region of the current block, and in the rest (the width or height of the current block is not 8, the product of the width and height of the current block is greater than the threshold) 8x8 RST based on a 32x64 matrix (or 32x48 matrix) is applied to the upper left 8x8 area of the current block.
  • TH threshold
  • 29 is an embodiment to which the present invention is applied, and shows an example of an encoding flowchart for performing transformation.
  • the encoding apparatus 100 performs a primary transformation on the residual block (S2910).
  • the first order transformation may be referred to as a core transformation.
  • the encoding apparatus 100 may perform primary transformation using the above-described MTS.
  • the encoding apparatus 100 may transmit an MTS index indicating a specific MTS among MTS candidates to the decoding apparatus 200.
  • the MTS candidate may be configured based on the intra prediction mode of the current block.
  • the encoding apparatus 100 determines whether to apply the secondary transform (S2920). For example, the encoding apparatus 100 may determine whether to apply the secondary transform based on the primary transformed residual transform coefficient.
  • the quadratic transformation can be NSST or RST.
  • the encoding apparatus 100 determines a secondary transform (S2930). At this time, the encoding apparatus 100 may determine the secondary transform based on the specified NSST (or RST) transform set according to the intra prediction mode.
  • the encoding apparatus 100 may determine an area to which the second transform is applied based on the size of the current block prior to step S2930.
  • the encoding apparatus 100 performs a secondary transform using the secondary transform determined in step S2930 (S2940).
  • FIG. 30 is an embodiment to which the present invention is applied, and shows an example of a decoding flowchart for performing transformation.
  • the decoding apparatus 200 determines whether to apply the second inverse transform (S3010).
  • the second inverse transform may be NSST or RST.
  • the decoding apparatus 200 may determine whether to apply the second inverse transform based on the second transform flag received from the encoding apparatus 100.
  • the decoding apparatus 200 determines a second inverse transform (S3020). At this time, the decoding apparatus 200 may determine the second inverse transform applied to the current block based on the specified NSST (or RST) transform set according to the intra prediction mode.
  • the decoding apparatus 200 may determine an area to which the second inverse transform is applied based on the size of the current block prior to step S3020.
  • the decoding apparatus 200 performs secondary inverse transform on the inverse quantized residual block using the secondary inverse transform determined in step S3020 (S3030).
  • the decoding apparatus 200 performs a primary inverse transform on the secondary inverse transformed residual block (S3040).
  • the first inverse transform may be referred to as core inverse transform.
  • the decoding apparatus 200 may perform primary inverse transform using the above-described MTS.
  • the decoding apparatus 200 may determine whether MTS is applied to the current block prior to step S3040. In this case, a step of determining whether MTS is applied to the decoding flowchart of FIG. 30 may be further included.
  • the decoding apparatus 200 may configure the MTS candidate based on the intra prediction mode of the current block. In this case, configuring the MTS candidate may be further included in the decoding flowchart of FIG. 30. Then, the decoding apparatus 200 may determine a primary inverse transform applied to the current block using mts_idx indicating a specific MTS among the configured MTS candidates.
  • FIG. 31 is an embodiment to which the present invention is applied, and shows an example of a detailed block diagram of a transform unit 120 in the encoding device 100.
  • the encoding apparatus 100 to which the embodiment of the present invention is applied includes a primary transform unit 3110, a secondary transform determining unit 3120, a secondary transform determining unit 3130, and a secondary transform unit 3140. It can contain.
  • the primary transform unit 3110 may perform a primary transform on the residual block.
  • the first order transformation may be referred to as a core transformation.
  • the primary transform unit 3110 may perform primary transform using the above-described MTS.
  • the primary transform unit 3110 may transmit an MTS index indicating a specific MTS among MTS candidates to the decoding apparatus 200. At this time, the MTS candidate may be configured based on the intra prediction mode of the current block.
  • the secondary transform application determining unit 3120 may determine whether to apply the secondary transform.
  • the secondary transform application determining unit 3120 may determine whether to apply the secondary transform based on the transform coefficient of the primary transformed residual block.
  • the quadratic transformation can be NSST or RST.
  • the secondary transform determining unit 3130 determines a secondary transform. At this time, the secondary transform determining unit 3130 may determine the secondary transform based on the specified NSST (or RST) transform set according to the intra prediction mode as described above.
  • the secondary transform determining unit 3130 may determine an area to which the secondary transform is applied based on the size of the current block.
  • the secondary transform unit 3140 may perform a secondary transform using the determined secondary transform.
  • 32 is an embodiment to which the present invention is applied, and shows an example of a detailed block diagram of an inverse transform unit 230 in the decoding apparatus 200.
  • the decoding apparatus 200 to which the present invention is applied includes a second inverse transform determination unit 3210, a second inverse transform determination unit 3220, a second inverse transform unit 3230, and a first inverse transform unit 3240. .
  • the second inverse transform application determining unit 3210 may determine whether to apply the second inverse transform.
  • the second inverse transform may be NSST or RST.
  • the second inverse transform application determining unit 3210 may determine whether to apply the second inverse transform based on the second transform flag received from the encoding apparatus 100.
  • the second inverse transform application unit 3210 may determine whether to apply the second inverse transform based on the transform coefficient of the residual block.
  • the second inverse transform determining unit 3220 may determine a second inverse transform.
  • the secondary inverse transform determiner 3220 may determine a secondary inverse transform applied to the current block based on the set of NSST (or RST) transforms specified according to the intra prediction mode.
  • the secondary inverse transform determining unit 3220 may determine an area to which the secondary inverse transform is applied based on the size of the current block.
  • the secondary inverse transform unit 3230 may perform a secondary inverse transform on an inverse quantized residual block using the determined secondary inverse transform.
  • the primary inverse transform unit 3240 may perform a primary inverse transform on the secondary inverse transformed residual block. As an embodiment, the primary inverse transform unit 3240 may perform the primary transform using the above-described MTS. Further, as an example, the primary inverse transform unit 3240 may determine whether MTS is applied to the current block.
  • the primary inverse transform unit 3240 may configure the MTS candidate based on the intra prediction mode of the current block. Then, the primary inverse transform unit 3240 may determine a primary transform applied to the current block using mts_idx indicating a specific MTS among the configured MTS candidates.
  • FIG. 33 shows an example of a decoding flowchart to which transformation is applied according to an embodiment of the present invention.
  • the operations of FIG. 33 may be performed by the inverse transform unit 230 of the decoding apparatus 100.
  • step S3305 the decoding apparatus 200 determines the input length and output length of the non-separated transform based on the height and width of the current block.
  • the input length of the non-separated transform is 8 and the output length may be determined to be greater than the input length and less than or equal to 64 (eg, 48 or 64).
  • the output length is determined to be 64, and some of the transform coefficients of the 8x8 block (eg, the right-bottom 4x4 region of the 8x8 block) In the case where non-separation transformation is applied to the part except for), the output length may be determined as 48.
  • the decoding apparatus 200 determines a non-separation transformation matrix corresponding to an input length and an output length of the non-separation transformation. For example, if the input length of the non-separated transform is 8 and the output length is 48 or 64 (when the size of the current block is 4x4), a 48x8 or 64x8 matrix derived from the transform kernel is determined as the non-separated transform, If the input length of the non-separated transform is 16 and the output length is 48 or 64 (eg, the current block is less than 8x8 and not 4x4), the 48x16 or 64x16 transform kernel may be determined as the non-separated transform.
  • the decoding apparatus 200 determines a non-separated transform set index (eg, NSST index) based on the intra prediction mode of the current block, and the non-separated transform set included in the non-separated transform set index
  • a non-separated transform kernel corresponding to the non-separated transform index may be determined, and a non-separated transform matrix may be determined from the non-separated transform kernel based on the input length and the output length determined in step S3305.
  • step S3315 the decoding apparatus 200 applies the non-separated transform matrix determined in the current block to coefficients equal to the input length (8 or 16) determined in the current block. For example, if the input length of the non-separated transform is 8 and the output length is 48 or 64, a 48x8 or 64x8 matrix derived from the transform kernel is applied to the 8 coefficients included in the current block, and the When the input length is 16 and the output length is 48 or 64, a 48x16 or 64x16 matrix derived from the transform kernel can be applied to the coefficients of the 16 upper left 4x4 regions of the current block.
  • the coefficients to which the non-separation transform is applied are applied to the input length (eg 8 or 16) according to the scan order determined from the DC position of the current block (eg (a), (b), or (c) of FIG. 16). These are coefficients up to the corresponding position.
  • the decoding apparatus 200 may display the upper left 4x4 area of the current block.
  • 64 transformed data (transformed coefficients) to which the non-separation transformation is applied are arranged in an 8x8 block by application of the non-separation transformation matrix.
  • 48 transformed data (transformed coefficients) to which non-separation transformation is applied are arranged in the remaining regions except the lower right 4x4 region.
  • the video signal processing apparatus 3400 of FIG. 34 may correspond to the encoding apparatus 100 of FIG. 1 or the decoding apparatus 200 of FIG. 2.
  • the image processing apparatus 3400 for processing the image signal includes a memory 3420 for storing the image signal, and a processor 3410 for processing the image signal while being combined with the memory.
  • the processor 3410 may include at least one processing circuit for processing a video signal, and may process a video signal by executing instructions for encoding or decoding the video signal. That is, the processor 3410 may encode the original image data or decode the encoded image signal by executing the above-described encoding or decoding methods.
  • 35 shows an example of a video coding system as an embodiment to which the present invention is applied.
  • the video coding system may include a source device and a receiving device.
  • the source device may deliver the encoded video / video information or data to a receiving device through a digital storage medium or network in the form of a file or streaming.
  • the source device may include a video source, an encoding device, and a transmitter.
  • the receiving device can include a receiver, a decoding apparatus and a renderer.
  • the encoding device may be referred to as a video / video encoding device, and the decoding device may be referred to as a video / video decoding device.
  • the transmitter can be included in the encoding device.
  • the receiver may be included in the decoding device.
  • the renderer may include a display unit, and the display unit may be configured as a separate device or an external component.
  • the video source may acquire a video / image through a capture, synthesis, or generation process of the video / image.
  • the video source may include a video / image capture device and / or a video / image generation device.
  • the video / image capture device may include, for example, one or more cameras, a video / image archive including previously captured video / images, and the like.
  • the video / image generating device may include, for example, a computer, a tablet and a smart phone, and the like (electronically) to generate the video / image.
  • a virtual video / image may be generated through a computer or the like, and in this case, the video / image capture process may be replaced by a process in which related data is generated.
  • the encoding device can encode the input video / video.
  • the encoding apparatus may perform a series of procedures such as prediction, transformation, and quantization for compression and coding efficiency.
  • the encoded data (encoded video / video information) may be output in the form of a bitstream.
  • the transmitting unit may transmit the encoded video / video information or data output in the form of a bitstream to a receiving unit of a receiving device through a digital storage medium or a network in a file or streaming format.
  • the digital storage media may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD.
  • the transmission unit may include an element for generating a media file through a predetermined file format, and may include an element for transmission through a broadcast / communication network.
  • the receiver can extract the bitstream and deliver it to the decoding device.
  • the decoding apparatus may decode a video / image by performing a series of procedures such as inverse quantization, inverse transformation, and prediction corresponding to the operation of the encoding apparatus.
  • the renderer can render the decoded video / image.
  • the rendered video / image may be displayed through the display unit.
  • 36 is an embodiment to which the present invention is applied, and is a structural diagram of a content streaming system.
  • the content streaming system to which the present invention is applied may largely include an encoding server, a streaming server, a web server, a media storage, a user device, and a multimedia input device.
  • the encoding server plays a role of compressing the content input from multimedia input devices such as a smartphone, a camera, and a camcorder into digital data to generate a bitstream and transmit it to a streaming server.
  • multimedia input devices such as a smartphone, camera, and camcorder directly generate a bitstream
  • the encoding server may be omitted.
  • the bitstream may be generated by an encoding method or a bitstream generation method to which the present invention is applied, and the streaming server may temporarily store the bitstream in the process of transmitting or receiving the bitstream.
  • the streaming server transmits multimedia data to the user device based on a user request through the web server, and the web server serves as a medium for informing the user of the service.
  • the web server delivers it to the streaming server, and the streaming server transmits multimedia data to the user.
  • the content streaming system may include a separate control server, in which case the control server serves to control commands / responses between devices in the content streaming system.
  • the streaming server can receive content from the media storage and / or encoding server. For example, when content is received from an encoding server, the content may be received in real time. In this case, in order to provide a smooth streaming service, the streaming server may store the bitstream for a certain period of time.
  • Examples of user devices include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation, slate PCs, and tablets.
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • slate PCs slate PCs
  • tablets tablet PC
  • wearable device e.g., watch type (smartwatch), glass type (smart glass), head mounted display (HMD), digital TV, desktop computer , Digital signage, and the like.
  • Each server in the content streaming system can be operated as a distributed server, and in this case, data received from each server can be distributed.
  • the processing method to which the present invention is applied can be produced in the form of a computer-implemented program, and can be stored in a computer-readable recording medium.
  • Multimedia data having a data structure according to the present invention can also be stored in a computer-readable recording medium.
  • the computer-readable recording medium includes all kinds of storage devices and distributed storage devices in which computer-readable data is stored.
  • the computer-readable recording medium includes, for example, Blu-ray Disc (BD), Universal Serial Bus (USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, magnetic tape, floppy disk and optical. It may include a data storage device.
  • the computer-readable recording medium includes media implemented in the form of a carrier wave (for example, transmission via the Internet).
  • the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted through a wired or wireless communication network.
  • an embodiment of the present invention may be implemented as a computer program product by program code, and the program code may be executed on a computer by an embodiment of the present invention.
  • the program code can be stored on a computer readable carrier.
  • the embodiments described in the present invention may be implemented and implemented on a processor, microprocessor, controller, or chip.
  • the functional units illustrated in each drawing may be implemented and implemented on a computer, processor, microprocessor, controller, or chip.
  • the decoder and encoder to which the present invention is applied are a multimedia broadcast transmission / reception device, a mobile communication terminal, a home cinema video device, a digital cinema video device, a surveillance camera, a video communication device, a real-time communication device such as video communication, a mobile streaming device, Storage media, camcorders, video-on-demand (VoD) service providers, OTT video (Over the top video) devices, Internet streaming service providers, three-dimensional (3D) video devices, video telephony video devices, and medical video devices. And can be used to process video signals or data signals.
  • the OTT video (Over the top video) device may include a game console, a Blu-ray player, an Internet-connected TV, a home theater system, a smartphone, a tablet PC, and a digital video recorder (DVR).
  • the processing method to which the present invention is applied can be produced in the form of a computer-implemented program, and can be stored in a computer-readable recording medium.
  • Multimedia data having a data structure according to the present invention can also be stored in a computer-readable recording medium.
  • the computer-readable recording medium includes all kinds of storage devices and distributed storage devices in which computer-readable data is stored.
  • the computer-readable recording medium includes, for example, Blu-ray Disc (BD), Universal Serial Bus (USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, magnetic tape, floppy disk and optical. It may include a data storage device.
  • the computer-readable recording medium includes media implemented in the form of a carrier wave (for example, transmission via the Internet).
  • the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted through a wired or wireless communication network.
  • an embodiment of the present invention may be implemented as a computer program product by program code, and the program code may be executed on a computer by an embodiment of the present invention.
  • the program code can be stored on a computer readable carrier.
  • Embodiments according to the present invention may be implemented by various means, for example, hardware, firmware, software, or a combination thereof.
  • one embodiment of the invention includes one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), FPGAs ( field programmable gate arrays), processors, controllers, microcontrollers, microprocessors, and the like.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, microcontrollers, microprocessors, and the like.
  • an embodiment of the present invention may be implemented in the form of a module, procedure, function, etc. that performs the functions or operations described above.
  • the software code can be stored in memory and driven by a processor.
  • the memory is located inside or outside the processor, and can exchange data with the processor by various means already known.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 실시예들은 비디오 신호 처리 방법 및 장치를 제공한다. 본 발명의 실시예에 따른 영상 신호의 디코딩 방법은, 현재 블록의 높이(height)와 너비(width)에 기반하여 비분리 변환의 입력 길이 및 출력 길이를 결정하는 단계와, 상기 비분리 변환의 입력 길이 및 출력 길이에 대응하는 비분리 변환 행렬을 결정하는 단계와, 상기 비분리 변환 행렬을 상기 현재 블록에서 상기 입력 길이에 해당하는 개수만큼의 계수들에 적용하는 단계를 포함하고, 상기 현재 블록의 높이와 너비는 8보다 크거나 같고, 상기 현재 블록의 높이와 너비가 각각 8인 경우, 상기 비분리 변환의 입력 길이는 8로 결정된다.

Description

영상 신호를 처리하기 위한 방법 및 장치
본 발명은 영상 신호를 처리하기 위한 방법 및 장치에 관한 것으로서, 특히 변환을 수행함으로써 영상 신호를 인코딩 또는 디코딩하기 위한 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 영상, 이미지, 음성 등의 미디어가 압축 부호화의 대상이 될 수 있으며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다.
차세대 비디오 컨텐츠는 고해상도(high spatial resolution), 고프레임율(high frame rate) 및 영상 표현의 고차원화(high dimensionality of scene representation)라는 특징을 갖게 될 것이다. 그러한 컨텐츠를 처리하기 위해서는 메모리 저장(memory storage), 메모리 액세스율(memory access rate) 및 처리 전력(processing power) 측면에서 엄청난 증가를 가져올 것이다.
따라서, 차세대 영상 컨텐츠를 보다 효율적으로 처리하기 위한 코딩 툴을 디자인할 필요가 있다. 특히, HEVC(high efficiency video coding) 표준 이후의 비디오 코덱 표준은 보다 높은 정확도를 갖는 예측 기술과 함께 공간 영역(spatial domain)의 비디오 신호를 주파수 영역(frequency domain)으로 변환시키기 위한 효율적인 변환 기술을 필요로 한다.
본 발명의 실시예들은, 높은 코딩 효율을 가지면서 저복잡도를 갖는 변환을 적용하는 영상 신호 처리 방법 및 장치를 제공하고자 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 영상 신호의 디코딩 방법은, 현재 블록의 높이(height)와 너비(width)에 기반하여 비분리 변환의 입력 길이 및 출력 길이를 결정하는 단계와, 상기 비분리 변환의 입력 길이 및 출력 길이에 대응하는 비분리 변환 행렬을 결정하는 단계와, 상기 비분리 변환 행렬을 상기 현재 블록에서 상기 입력 길이에 해당하는 개수만큼의 계수들에 적용하는 단계를 포함하고, 상기 현재 블록의 높이와 너비는 8보다 크거나 같고, 상기 현재 블록의 높이와 너비가 각각 8인 경우, 상기 비분리 변환의 입력 길이는 8로 결정된다.
또한, 상기 현재 블록의 높이와 너비가 8인 경우에 해당하지 않으면, 상기 비분리 변환의 입력 길이는 16으로 결정될 수 있다.
또한, 상기 출력 길이는 48 또는 64로 결정될 수 있다.
또한, 상기 비분리 변환 행렬을 상기 현재 블록에 적용하는 단계는, 상기 높이와 너비가 각각 8인 경우에 해당하지 않으면서 상기 너비와 높이의 곱이 임계값보다 작으면, 상기 비분리 변환 행렬을 상기 현재 블록의 좌상측 4x4 영역에 적용하는 단계를 포함할 수 있다.
또한, 상기 비분리 변환 행렬을 결정하는 단계는, 상기 현재 블록의 인트라 예측 모드에 기반하여 비분리 변환 집합 인덱스를 결정하는 단계와, 상기 비분리 변환 집합 인덱스에 포함된 비분리 변환 집합 내에서 비분리 변환 인덱스에 대응하는 비분리 변환 커널을 결정하는 단계와, 상기 입력 길이 및 출력 길이에 기반하여 상기 비분리 변환 커널로부터 상기 비분리 변환 행렬을 결정하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 영상 신호 처리 장치는, 상기 영상 신호를 저장하는 메모리와, 상기 메모리와 결합된 프로세서를 포함하고, 상기 프로세서는, 현재 블록의 높이(height)와 너비(width)에 기반하여 비분리 변환의 입력 길이 및 출력 길이를 결정하고, 상기 비분리 변환의 입력 길이 및 출력 길이에 대응하는 비분리 변환 행렬을 결정하고, 상기 비분리 변환 행렬을 상기 현재 블록에서 상기 입력 길이에 해당하는 개수만큼의 계수들에 적용하도록 설정되고, 상기 현재 블록의 높이와 너비는 8보다 크거나 같고, 상기 현재 블록의 높이와 너비가 각각 8인 경우, 상기 비분리 변환의 입력 길이는 8, 출력 길이는 상기 입력 길이보다 크고 64보다 작거나 같은 값으로 결정된다.
본 발명의 실시예에 따르면, 현재 블록의 사이즈에 기반하여 변환을 적용함으로써 높은 코딩 효율을 가지면서 저복잡도를 갖는 비디오 코딩 방법 및 장치를 제공할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명이 적용되는 실시예로서, 비디오/이미지 신호의 인코딩이 수행되는 인코딩 장치의 개략적인 블록도를 나타낸다.
도 2는 본 발명이 적용되는 실시예로서, 영상 신호의 디코딩이 수행되는 디코딩 장치의 개략적인 블록도를 나타낸다.
도 3은 본 발명이 적용될 수 있는 실시예들로서, 도 3a는 QT(quadtree, QT), 도 3b는 BT(binary tree, BT), 도 3c는 TT(ternary tree, TT) 도 3d는 AT(asymmetric tree, AT)에 의한 블록 분할 구조들을 설명하기 위한 도면이다.
도 4 및 도 5는 본 발명이 적용되는 실시예들로서, 도 4는 도 1의 인코딩 장치 내의 변환 및 양자화부, 역양자화 및 역변환부의 개략적인 블록도를 나타내고, 도 5는 디코딩 장치 내의 역양자화 및 역변환부의 개략적인 블록도를 나타낸다.
도 6은 본 발명이 적용되는 실시예로서, 1차 변환 및 2차 변환을 통해 비디오 신호를 인코딩하는 흐름도를 나타낸다.
도 7은 본 발명이 적용되는 실시예로서, 2차 역변환 및 1차 역변환을 통해 비디오 신호를 디코딩하는 흐름도를 나타낸다.
도 8은 본 발명의 실시예에 따른 AMT(adaptive multiple transform)가 적용되는 변환 설정 그룹(transform configuration group)의 예를 도시한다.
도 9는 본 발명의 실시예에 따른 AMT가 적용되는 인코딩 흐름도의 예를 도시한다.
도 10은 본 발명의 실시예에 따른 AMT가 적용되는 디코딩 흐름도의 예를 도시한다.
도 11은 본 발명의 실시예에 따른 AMT 플래그 및 AMT 인덱스를 인코딩하기 위한 흐름도의 예를 도시한다.
도 12는 AMT 플래그 및 AMT 인덱스에 기초한 변환을 수행하기 위한 디코딩 흐름도의 예를 도시한다.
도 13 및 도 14는 본 발명이 적용되는 실시예로서, 도 13은 기븐스 회전(Givens rotation)을 설명하기 위한 다이어그램을 나타내고, 도 14는 기븐스 회전 레이어와 치환(permutation)들로 구성된 4x4 NSST(non-separable secondary transform)에서의 한 라운드(round)의 구성을 나타낸다.
도 15는 본 발명의 실시예에 따른 인트라 예측 모드별 비분리 변환 집합의 구성의 예를 도시한다.
도 16은 HEVC(high efficiency video coding) 표준에서 적용된 변환 계수 또는 변환 계수 블록에 대한 3가지 순방향 스캔 순서로서, (a)는 대각 스캔(diagonal scan), (b)는 수평 스캔(horizontal scan), (c)는 수직 스캔(vertical scan)을 나타낸다.
도 17와 도 18은 본 발명이 적용되는 실시예로서, 도 17은 4x8 블록에 대한 4x4 RST의 적용시 순방향 대각 스캔이 적용되는 경우에서 변환 계수의 위치를 도시하고, 도 18은 2개의 4x4 블록의 유효한 변환 계수들을 하나의 블록으로 병합하는 경우의 예를 도시한다.
도 19는 본 발명이 적용되는 실시예로서, 인트라 예측 모드별 혼합된 NSST 집합의 구성 방법의 예를 도시한다.
도 20은 본 발명이 적용되는 실시예로서, 인트라 예측 모드와 변환 블록 크기를 고려하여 NSST 집합(또는 커널)을 선택하는 방법의 예를 도시한다.
도 21a 및 도 21b는 본 발명이 적용되는 실시예로서 순방향 및 역방향 축소된 변환을 도시한다.
도 22는 본 발명의 실시예에 따른 축소된 변환을 사용한 디코딩 흐름도의 예를 도시한다.
도 23은 본 발명의 실시예에 따른 조건적 축소된 변환의 적용을 위한 흐름도의 예를 도시한다.
도 24는 본 발명의 실시예에 따른 조건적 축소된 변환이 적용되는 2차 역변환을 위한 디코딩 흐름도의 예를 도시한다.
도 25a, 도 25b, 도 26a, 및 도 26b는 본 발명의 실시예에 따른 축소된 변환 및 축소된 역변환의 예를 도시한다.
도 27은 본 발명의 실시예에 따른 축소된 2차 변환이 적용되는 영역의 예를 도시한다.
도 28은 본 발명의 실시예에 따른 축소 인자에 따른 축소된 변환을 도시한다.
도 29는 본 발명이 적용되는 실시예로서, 변환을 수행하는 인코딩 흐름도의 예를 도시한다.
도 30은 본 발명이 적용되는 실시예로서, 변환을 수행하는 디코딩 흐름도의 예를 도시한다.
도 31은 본 발명이 적용되는 실시예로서, 인코딩 장치 내 변환부의 세부 블록도의 예를 도시한다.
도 32는 본 발명이 적용되는 실시예로서, 디코딩 장치 내 역변환부의 세부 블록도의 예를 도시한다.
도 33은 본 발명의 실시예에 따른 변환이 적용되는 디코딩 흐름도의 예를 도시한다.
도 34는 본 발명이 적용되는 실시예로서, 비디오 신호를 처리하기 위한 장치의 블록도의 예를 도시한다.
도 35는 본 발명이 적용되는 실시예로서 영상 코딩 시스템의 예를 도시한다.
도 36은 본 발명이 적용되는 실시예로서, 컨텐츠 스트리밍 시스템의 구조도이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어를 사용하여 설명한다. 그러한 경우에는 해당 부분의 상세 설명에서 그 의미를 명확히 기재하므로, 본 발명의 설명에서 사용된 용어의 명칭만으로 단순 해석되어서는 안 될 것이며 그 해당 용어의 의미까지 파악하여 해석되어야 함을 밝혀두고자 한다.
이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다. 예를 들어, 신호, 데이터, 샘플, 픽처, 프레임, 블록 등의 경우 각 코딩 과정에서 적절하게 대체되어 해석될 수 있을 것이다.
이하 본 명세서에서 '처리 유닛'은 예측, 변환 및/또는 양자화 등과 같은 인코딩/디코딩의 처리 과정이 수행되는 단위를 의미한다. 또한, 처리 유닛은 휘도(luma) 성분에 대한 단위와 색차(chroma) 성분에 대한 단위를 포함하는 의미로 해석될 수 있다. 예를 들어, 처리 유닛은 블록(block), 코딩 유닛(coding unit, CU), 예측 유닛(prediction unit, PU) 또는 변환 블록(transform unit, TU)에 해당될 수 있다.
또한, 처리 유닛은 휘도 성분에 대한 단위 또는 색차 성분에 대한 단위로 해석될 수 있다. 예를 들어, 처리 유닛은 휘도 성분에 대한 CTB(coding tree block), CB(coding block), PU 또는 TB(transform block)에 해당될 수 있다. 또는, 처리 유닛은 색차 성분에 대한 CTB, CB, PU 또는 TB에 해당할 수 있다. 또한, 이에 한정되는 것은 아니며 처리 유닛은 휘도 성분에 대한 단위와 색차 성분에 대한 단위를 포함하는 의미로 해석될 수도 있다.
또한, 처리 유닛은 반드시 정사각형의 블록으로 한정되는 것은 아니며, 3개 이상의 꼭지점을 가지는 다각형 형태로 구성될 수도 있다.
또한, 이하 본 명세서에서 픽셀, 화소, 또는 계수(변환 계수 또는 1차 변환을 거친 변환 계수) 등을 샘플로 통칭한다. 그리고, 샘플을 이용한다는 것은 픽셀 값, 화소 값, 또는 계수(변환 계수 또는 1차 변환을 거친 변환 계수) 등을 이용한다는 것을 의미할 수 있다.
이하, 정지 영상 또는 동영상 인코딩/디코딩 방법에 관한 것으로서, 최악의 경우(worst case)의 계산적 복잡도를 고려한 축소된 2차 변환(reduced secondary transform, RST)의 설계 및 적용방법에 대해 설명한다.
본 발명의 실시예들은 영상 및 비디오 압축 방법 및 장치를 제공한다. 압축된 데이터는 비트스트림의 형태를 가지며, 비트스트림은 여러 형태의 스토리지(storage)에 저장될 수도 있고 네트워크를 통해 스트리밍되어 디코더를 가진 단말기로 전달될 수도 있다. 단말기에서는 디스플레이 장치를 장착한 경우 디스플레이 장치로 복호된 영상을 디스플레이할 수도 있고 단순히 비트스트림 데이터를 저장할 수도 있다. 본 발명의 실시예에서 제안되는 방법 및 장치는 인코더와 디코더에 모두 적용될 수 있고 비트스트림을 생성하는 장치 또는 비트스트림을 받아들이는 장치에 모두 적용될 수 있으며 단말기에서 디스플레이 장치를 통해 출력하는지의 여부와 상관없이 적용될 수 있다.
영상 압축 장치는 크게 예측부, 변환 및 양자화부, 엔트로피 코딩부로 구성되며 인코딩 장치와 디코딩 장치의 개략적인 블록도는 도 1 및 도 2와 같다. 그 중에서 변환 및 양자화부에서는 원본 신호에서 예측 신호를 뺀 잔차 신호를 DCT(discrete cosine transform)-2와 같은 변환을 통해 주파수 도메인 신호로 변환한 후 양자화를 적용하여 0이 아닌 신호의 수를 대폭 줄여 영상 압축을 가능하게 한다.
도 1은 본 발명이 적용되는 실시예로서, 비디오/이미지 신호의 인코딩이 수행되는 인코딩 장치의 개략적인 블록도를 나타낸다.
영상 분할부(110)는 인코딩 장치(100)에 입력된 입력 영상(또는, 픽쳐, 프레임)를 하나 이상의 처리 유닛(processing unit)으로 분할할 수 있다. 일 예로, 상기 처리 유닛은 코딩 유닛(CU)이라고 불릴 수 있다. 이 경우 코딩 유닛은 코딩 트리 유닛(coding tree unit, CTU) 또는 최대 코딩 유닛(largest coding unit, LCU)으로부터 QTBT (Quad-tree binary-tree) 구조에 따라 재귀적으로(recursively) 분할될 수 있다. 예를 들어, 하나의 코딩 유닛은 쿼드 트리 구조 및/또는 바이너리 트리 구조를 기반으로 하위(deeper) 뎁스의 복수의 코딩 유닛들로 분할될 수 있다. 이 경우 예를 들어 쿼드 트리 구조가 먼저 적용되고 바이너리 트리 구조가 나중에 적용될 수 있다. 또는 바이너리 트리 구조가 먼저 적용될 수도 있다. 더 이상 분할되지 않는 최종 코딩 유닛을 기반으로 본 발명에 따른 코딩 절차가 수행될 수 있다. 이 경우 영상 특성에 따른 코딩 효율 등을 기반으로, 최대 코딩 유닛이 바로 최종 코딩 유닛으로 사용될 수 있고, 또는 필요에 따라 코딩 유닛은 재귀적으로(recursively) 보다 하위 뎁스의 코딩 유닛들로 분할되어 최적의 사이즈의 코딩 유닛이 최종 코딩 유닛으로 사용될 수 있다. 여기서 코딩 절차라 함은 후술하는 예측, 변환, 및 복원 등의 절차를 포함할 수 있다. 다른 예로, 상기 처리 유닛은 예측 유닛(PU) 또는 변환 유닛(TU)을 더 포함할 수 있다. 이 경우 상기 예측 유닛 및 상기 변환 유닛은 각각 상술한 최종 코딩 유닛으로부터 분할 또는 파티셔닝될 수 있다. 상기 예측 유닛은 샘플 예측의 단위일 수 있고, 상기 변환 유닛은 변환 계수를 유도하는 단위 및/또는 변환 계수로부터 레지듀얼 신호(residual signal)를 유도하는 단위일 수 있다.
유닛은 경우에 따라서 블록(block) 또는 영역(area) 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타낼 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 휘도(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 채도(chroma) 성분의 픽셀/픽셀 값만을 나타낼 수도 있다. 샘플은 하나의 픽처(또는 영상)을 픽셀(pixel) 또는 펠(pel)에 대응하는 용어로서 사용될 수 있다.
인코딩 장치(100)는 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)를 감산하여 레지듀얼 신호(residual signal, 잔여 블록, 잔여 샘플 어레이)를 생성할 수 있고, 생성된 레지듀얼 신호는 변환부(120)로 전송된다. 이 경우 도시된 바와 같이 인코더(100) 내에서 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 예측 신호(예측 블록, 예측 샘플 어레이)를 감산하는 유닛은 감산부(115)라고 불릴 수 있다. 예측부는 처리 대상 블록(이하, 현재 블록이라 함)에 대한 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부는 현재 블록 또는 CU 단위로 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있다. 예측부는 각 예측모드에 대한 설명에서 후술하는 바와 같이 예측 모드 정보 등 예측에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(190)로 전달할 수 있다. 예측에 관한 정보는 엔트로피 인코딩부(190)에서 인코딩되어 비트스트림 형태로 출력될 수 있다.
인트라 예측부(185)는 현재 픽처 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 참조되는 샘플들은 예측 모드에 따라 상기 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 떨어져서 위치할 수도 있다. 인트라 예측에서 예측 모드들은 복수의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 비방향성 모드는 예를 들어 DC 모드 및 플래너 모드(Planar 모드)를 포함할 수 있다. 방향성 모드는 예측 방향의 세밀한 정도에 따라 예를 들어 33개의 방향성 예측 모드 또는 65개의 방향성 예측 모드를 포함할 수 있다. 다만, 이는 예시로서 설정에 따라 그 이상 또는 그 이하의 개수의 방향성 예측 모드들이 사용될 수 있다. 인트라 예측부(185)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측부(180)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측 등) 정보를 더 포함할 수 있다. 인터 예측의 경우에, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 참조 블록을 포함하는 참조 픽처와 시간적 주변 블록을 포함하는 참조 픽처는 동일할 수도 있고, 다를 수도 있다. 상기 시간적 주변 블록은 동일 위치 참조 블록(collocated reference block), 동일 위치 CU(colCU) 등의 이름으로 불릴 수 있으며, 시간적 주변 블록을 포함하는 참조 픽처는 동일 위치 픽처(collocated picture, colPic)라고 불릴 수도 있다. 예를 들어, 인터 예측부(180)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 상기 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출하기 위하여 어떤 후보가 사용되는지를 지시하는 정보를 생성할 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 예를 들어 스킵 모드와 머지 모드의 경우에, 인터 예측부(180)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 레지듀얼 신호가 전송되지 않을 수 있다. 움직임 정보 예측(motion vector prediction, MVP) 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하고, 움직임 벡터 차분(motion vector difference)을 시그널링함으로써 현재 블록의 움직임 벡터를 지시할 수 있다.
인터 예측부(180) 또는 인트라 예측부(185)를 통해 생성된 예측 신호는 복원 신호를 생성하기 위해 이용되거나 레지듀얼 신호를 생성하기 위해 이용될 수 있다.
변환부(120)는 레지듀얼 신호에 변환 기법을 적용하여 변환 계수들(transform coefficients)를 생성할 수 있다. 예를 들어, 변환 기법은 DCT, DST(Discrete Sine Transform), KLT(Karhunen-Loeve Transform), GBT(Graph-Based Transform), 또는 CNT(Conditionally Non-linear Transform) 중 적어도 하나를 포함할 수 있다. 여기서, GBT는 픽셀 간의 관계 정보를 그래프로 표현한다고 할 때 이 그래프로부터 얻어진 변환을 의미한다. CNT는 이전에 복원된 모든 픽셀(all previously reconstructed pixel)를 이용하여 예측 신호를 생성하고 그에 기초하여 획득되는 변환을 의미한다. 또한, 변환 과정은 정사각형의 동일한 크기를 갖는 픽셀 블록에 적용될 수도 있고, 정사각형이 아닌 가변 크기의 블록에도 적용될 수 있다.
양자화부(130)는 변환 계수들을 양자화하여 엔트로피 인코딩부(190)로 전송되고, 엔트로피 인코딩부(190)는 양자화된 신호(양자화된 변환 계수들에 관한 정보)를 인코딩하여 비트스트림으로 출력할 수 있다. 양자화된 변환 계수들에 관한 정보는 레지듀얼 정보라고 불릴 수 있다. 양자화부(130)는 계수 스캔 순서(scan order)를 기반으로 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있고, 1차원 벡터 형태의 양자화된 변환 계수들을 기반으로 상기 양자화된 변환 계수들에 관한 정보를 생성할 수도 있다. 엔트로피 인코딩부(190)는 예를 들어 지수 골롬(exponential Golomb), CAVLC(context-adaptive variable length coding), CABAC(context-adaptive binary arithmetic coding) 등과 같은 다양한 인코딩 방법을 수행할 수 있다. 엔트로피 인코딩부(190)는 양자화된 변환 계수들 외 비디오/이미지 복원에 필요한 정보들(예컨대 신택스 요소들(syntax elements)의 값 등)을 함께 또는 별도로 인코딩할 수도 있다. 인코딩된 정보(예: 비디오/영상 정보)는 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다. 상기 비트스트림은 네트워크를 통하여 전송될 수 있고, 또는 디지털 저장매체에 저장될 수 있다. 여기서 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다. 엔트로피 인코딩부(190)로부터 출력된 신호는 전송하는 전송부(미도시) 및/또는 저장하는 저장부(미도시)가 인코딩 장치(100)의 내/외부 엘리먼트로서 구성될 수 있고, 또는 전송부는 엔트로피 인코딩부(190)의 구성요소일 수도 있다.
양자화부(130)로부터 출력된 양자화된 변환 계수들은 예측 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 양자화된 변환 계수들은에 루프 내의 역양자화부(140) 및 역변환부(150)를 통해 역양자화 및 역변환을 적용함으로써 레지듀얼 신호를 복원할 수 있다. 가산부(155)는 복원된 레지듀얼 신호를 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호에 더함으로써 복원(reconstructed) 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)가 생성될 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다. 가산부(155)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽처의 인터 예측을 위하여 사용될 수도 있다.
필터링부(160)는 복원 신호에 필터링을 적용하여 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어 필터링부(160)은 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 수정된 복원 픽처를 복호 픽쳐 버퍼(170)에 전송할 수 있다. 다양한 필터링 방법은 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset), 적응적 루프 필터(adaptive loop filter), 양방향 필터(bilateral filter) 등을 포함할 수 있다. 필터링부(160)은 각 필터링 방법에 대한 설명에서 후술하는 바와 같이 필터링에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(190)로 전달할 수 있다. 필터링 관한 정보는 엔트로피 인코딩부(190)에서 인코딩되어 비트스트림 형태로 출력될 수 있다.
복호 픽처 버퍼(170)에 전송된 수정된 복원 픽처는 인터 예측부(180)에서 참조 픽처로 사용될 수 있다. 인코딩 장치(100)는 이를 통하여 인터 예측이 적용되는 경우, 인코딩 장치(100)와 디코딩 장치에서의 예측 미스매치를 피할 수 있고, 부호화 효율도 향상시킬 수 있다.
복호 픽처 버퍼(170)는 수정된 복원 픽처를 인터 예측부(180)에서의 참조 픽처로 사용하기 위해 저장할 수 있다.
도 2는 본 발명이 적용되는 실시예로서, 영상 신호의 디코딩이 수행되는 디코딩 장치의 개략적인 블록도를 나타낸다.
도 2를 참조하면, 디코딩 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 가산부(235), 필터링부(240), 복호 픽쳐 버퍼(DPB)(250), 인터 예측부(260) 및 인트라 예측부(265)를 포함하여 구성될 수 있다. 인터 예측부(260) 및 인트라 예측부(265)를 합쳐서 예측부라고 불릴 수 있다. 즉, 예측부는 인터 예측부(180) 및 인트라 예측부(185)를 포함할 수 있다. 역양자화부(220), 역변환부(230)를 합쳐서 레지듀얼 처리부라고 불릴 수 있다. 즉, 레지듀얼 처리부는 역양자화부(220), 역변환부(230)을 포함할 수 있다. 상술한 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 가산부(235), 필터링부(240), 인터 예측부(260) 및 인트라 예측부(265)는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 디코더 또는 프로세서)에 의하여 구성될 수 있다. 또한 복호 픽처 버퍼(250)은 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 메모리 또는 디지털 저장 매체)에 의하여 구행될 수 있다.
비디오/이미지 정보를 포함하는 비트스트림이 입력되면, 디코딩 장치(200)는 도 2의 인코딩 장치(100)에서 비디오/이미지 정보가 처리된 프로세스에 대응하여 영상을 복원할 수 있다. 예를 들어, 디코딩 장치(200)는 인코딩 장치(100)에서 적용된 처리 유닛을 이용하여 디코딩을 수행할 수 있다. 따라서 디코딩의 처리 유닛은 예를 들어 코딩 유닛일 수 있고, 코딩 유닛은 코딩 트리 유닛 또는 최대 코딩 유닛으로부터 쿼드 트리 구조 및/또는 바이너리 트리 구조를 따라서 분할될 수 있다. 그리고, 디코딩 장치(200)를 통해 디코딩 및 출력된 복원 영상 신호는 재생 장치를 통해 재생될 수 있다.
디코딩 장치(200)는 도 2의 인코딩 장치(100)로부터 출력된 신호를 비트스트림 형태로 수신할 수 있고, 수신된 신호는 엔트로피 디코딩부(210)를 통해 디코딩될 수 있다. 예를 들어, 엔트로피 디코딩부(210)는 비트스트림을 파싱하여 영상 복원(또는 픽처 복원)에 필요한 정보(예: 비디오/영상 정보)를 도출할 수 있다. 예컨대, 엔트로피 디코딩부(210)는 지수 골롬 부호화, CAVLC 또는 CABAC 등의 코딩 방법을 기초로 비트스트림 내 정보를 디코딩하고, 영상 복원에 필요한 신택스 엘리먼트의 값, 레지듀얼에 관한 변환 계수의 양자화된 값 들을 출력할 수 있다. 보다 상세하게, CABAC 엔트로피 디코딩 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈을 수신하고, 디코딩 대상 구문 요소 정보와 주변 및 디코딩 대상 블록의 디코딩 정보 혹은 이전 단계에서 디코딩된 심볼/빈의 정보를 이용하여 문맥(context) 모델을 결정하고, 결정된 문맥 모델에 따라 빈(bin)의 발생 확률을 예측하여 빈의 산술 디코딩(arithmetic decoding)를 수행하여 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 디코딩 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 디코딩된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다. 엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측에 관한 정보는 예측부(인터 예측부(260) 및 인트라 예측부(265))로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수들 및 관련 파라미터 정보는 역양자화부(220)로 입력될 수 있다. 또한, 엔트로피 디코딩부(210)에서 디코딩된 정보 중 필터링에 관한 정보는 필터링부(240)로 제공될 수 있다. 한편, 인코딩 장치(100)로부터 출력된 신호를 수신하는 수신부(미도시)가 디코딩 장치(200)의 내/외부 엘리먼트로서 더 구성될 수 있고, 또는 수신부는 엔트로피 디코딩부(210)의 구성요소일 수도 있다.
역양자화부(220)에서는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 출력할 수 있다. 역양자화부(220)는 양자화된 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 이 경우 인코딩 장치(100)에서 수행된 계수 스캔 순서에 기반하여 재정렬이 수행될 수 있다. 역양자화부(220)는 양자화 파라미터(예를 들어 양자화 스텝 사이즈 정보)를 이용하여 양자화된 변환 계수들에 대한 역양자화를 수행하고, 변환 계수들(transform coefficients)을 획득할 수 있다.
역변환부(230)는 변환 계수들을 역변환함으로써 레지듀얼 신호(레지듀얼 블록, 레지듀얼 샘플 어레이)를 획득하게 된다.
예측부는 현재 블록에 대한 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부는 엔트로피 디코딩부(210)로부터 출력된 상기 예측에 관한 정보에 기반하여 현재 블록에 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있고, 구체적인 인트라/인터 예측 모드를 결정할 수 있다.
인트라 예측부(265)는 현재 픽처 내의 샘플을 참조하여 현재 블록을 예측할 수 있다. 참조되는 샘플은 예측 모드에 따라 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 이격되어 위치할 수도 있다. 인트라 예측에서 예측 모드들은 복수의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 인트라 예측부(265)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측부(260)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)에 기반하여, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 감소시키기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측 등) 정보를 더 포함할 수 있다. 인터 예측의 경우, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 예를 들어, 인터 예측부(260)는 주변 블록들의 예측과 관련된 정보에 기반하여 움직임 정보 후보 리스트를 구성하고, 수신된 후보 선택 정보에 기반하여 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출할 수 있다. 다양한 예측 모드에 기반하여 인터 예측이 수행될 수 있으며, 예측에 관한 정보는 현재 블록에 대한 인터 예측의 모드를 지시하는 정보를 포함할 수 있다.
가산부(235)는 획득된 레지듀얼 신호를 인터 예측부(260) 또는 인트라 예측부(265)로부터 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)에 더함으로써 복원 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)를 생성할 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다.
가산부(235)는 복원부 또는 복원 블록 생성부로 지칭될 수 있다. 생성된 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽처의 인터 예측을 위하여 사용될 수도 있다.
필터링부(240)는 복원 신호에 필터링을 적용함으로써 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어 필터링부(240)는 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 수정된 복원 픽처를 복호 픽쳐 버퍼(250)에 전송할 수 있다. 다양한 필터링 방법은 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset, SAO), 적응적 루프 필터(adaptive loop filter, ALF), 양방향 필터(bilateral filter)를 포함할 수 있다.
복호 픽쳐 버퍼(250)에 전송된 수정된 복원 픽처는 인터 예측부(260)에 의해 참조 픽쳐로 사용될 수 있다.
본 문서에서, 인코딩 장치(100)의 필터링부(160), 인터 예측부(180), 및 인트라 예측부(185)에서 설명된 실시예들은 각각 디코딩 장치(200)의 필터링부(240), 인터 예측부(260) 및 인트라 예측부(265)에도 동일 또는 대응되도록 적용될 수 있다.
도 3은 본 발명이 적용될 수 있는 실시예들로서, 도 3a는 QT(quadtree, QT), 도 3b는 BT(binary tree, BT), 도 3c는 TT(ternary tree, TT) 도 3d는 AT(asymmetric tree, AT)에 의한 블록 분할 구조들을 설명하기 위한 도면이다.
비디오 코딩에서 하나의 블록은 QT 기반으로 분할될 수 있다. 또한, QT에 의해서 분할된 하나의 서브 블록(subblock)은 QT를 사용하여 재귀적으로 더 분할될 수 있다. 더 이상 QT 분할되지 않는 리프 블록(leaf block)은 BT, TT 또는 AT 중 적어도 하나의 방식에 의해서 분할될 수 있다. BT는 수평(horizontal) BT(2NxN, 2NxN)과 수직(vertical) BT (Nx2N, Nx2N)의 두 가지 형태의 분할을 가질 수 있다. TT는 수평 TT(2Nx1/2N, 2NxN, 2Nx1/2N)와 수직 TT(1/2Nx2N, Nx2N, 1/2Nx2N)의 두 가지 형태의 분할을 가질 수 있다. AT는 수평-상향(horizontal-up) AT(2Nx1/2N, 2Nx3/2N), 수평-하향(horizontal-down) AT (2Nx3/2N, 2Nx1/2N), 수직-좌측(vertical-left) AT (1/2Nx2N, 3/2Nx2N), 수직-우측(vertical-right) AT(3/2Nx2N, 1/2Nx2N)의 네 가지 형태의 분할을 가질 수 있다. 각각의 BT, TT, AT는 BT, TT, AT를 사용하여 재귀적으로 더 분할될 수 있다.
도 3a는 QT 분할의 예를 보여준다. 블록 A는 QT에 의해서 4개의 서브 블록 (A0, A1, A2, A3)으로 분할될 수 있다. 서브 블록 A1은 다시 QT에 의해서 4개의 서브 블록 (B0, B1, B2, B3)로 분할될 수 있다.
도 3b는 BT 분할의 예를 보여준다. QT에 의해서 더 이상 분할되지 않는 블록 B3은 수직 BT(C0, C1) 또는 수평 BT(D0, D1)로 분할될 수 있다. 블록 C0와 같이 각각의 서브 블록은 수평 BT(E0, E1) 또는 수직 BT (F0, F1)의 형태와 같이 재귀적으로 더 분할될 수 있다.
도 3c는 TT 분할의 예를 보여준다. QT에 의해서 더 이상 분할되지 않는 블록 B3은 수직 TT (C0, C1, C2) 또는 수평 TT (D0, D1, D2)으로 분할될 수 있다. 블록 C1와 같이 각각의 서브 블록은 수평 TT (E0, E1, E2) 또는 수직 TT (F0, F1, F2)의 형태와 같이 재귀적으로 더 분할될 수 있다.
도 3d는 AT 분할의 예를 보여준다. QT에 의해서 더 이상 분할되지 않는 블록 B3은 수직 AT(C0, C1) 또는 수평 AT(D0, D1)로 분할 될 수 있다. 블록 C1와 같이 각각의 서브 블록은 수평 AT(E0, E1) 또는 수직 TT (F0, F1)의 형태와 같이 재귀적으로 더 분할 될 수 있다.
한편, BT, TT, AT 분할은 함께 사용될 수 있다. 예를 들어, BT에 의해 분할된 서브 블록은 TT 또는 AT에 의한 분할이 가능하다. 또한, TT에 의해 분할된 서브 블록은 BT 또는 AT에 의한 분할이 가능하다. AT에 의해 분할된 서브 블록은 BT 또는 TT에 의한 분할이 가능하다. 예를 들어, 수평 BT 분할 이후, 각각의 서브 블록이 수직 BT로 분할될 수 있고, 또는 수직 BT 분할 이후, 각각의 서브 블록이 수평 BT로 분할될 수도 있다. 이 경우 분할 순서는 다르지만 최종적으로 분할되는 모양은 동일하다.
또한, 블록이 분할되면 블록을 탐색하는 순서를 다양하게 정의될 수 있다. 일반적으로, 좌측에서 우측으로, 상단에서 하단으로 탐색이 수행되며, 블록을 탐색한다는 것은 각 분할된 서브 블록의 추가적인 블록 분할 여부를 결정하는 순서를 의미하거나, 블록이 더 이상 분할되지 않을 경우 각 서브 블록의 부호화 순서를 의미하거나, 또는 서브 블록에서 다른 이웃 블록의 정보를 참조할 때의 탐색 순서를 의미할 수 있다.
도 3a 내지 3d과 같은 분할 구조에 의해 분할된 처리 유닛(또는, 변환 블록) 별로 변환이 수행될 수 있으며, 특히, 행(row) 방향과 열(column) 방향 별로 분할되어 변환 행렬이 적용될 수 있다. 본 발명의 실시예에 따르면, 처리 유닛(또는 변환 블록)의 행 방향 또는 열 방향의 길이에 따라 다른 변환 타입이 사용될 수 있다.
도 4 및 도 5는 본 발명이 적용되는 실시예들로서, 도 4는 도 1의 인코딩 장치(100) 내의 변환 및 양자화부(120/130), 역양자화 및 역변환부(140/150)의 개략적인 블록도를 나타내고, 도 5는 디코딩 장치(200) 내의 역양자화 및 역변환부 (220/230)의 개략적인 블록도를 나타낸다.
도 4를 살펴보면, 변환 및 양자화부(120/130)는 1차 변환부(primary transform unit)(121), 2차 변환부(secondary transform unit)(122) 및 양자화부(130)를 포함할 수 있다. 역양자화 및 역변환부 (140/150)는 역양자화부(140), 역 2차 변환부(inverse secondary transform unit)(151) 및 역 1차 변환부(inverse primary transform unit)(152)를 포함할 수 있다.
도 5을 살펴보면, 역양자화 및 역변환부 (220/230)는 역양자화부(220), 역 2차 변환부(inverse secondary transform unit)(231) 및 역 1차 변환부(inverse primary transform unit)(232)를 포함할 수 있다.
본 발명에서, 변환을 수행할 때 복수의 단계를 통해 변환을 수행할 수 있다. 예를 들어, 도 4에서와 같이 1차 변환(primary transform), 2차 변환(secondary transform)의 2단계를 적용할 수 있고, 또는 알고리즘에 따라 그 이상의 변환 단계가 이용될 수도 있다. 여기서, 1차 변환은 코어 변환(core transform)으로 지칭될 수 있다.
1차 변환부(121)는 레지듀얼 신호에 대해 1차 변환을 적용할 수 있으며, 여기서 1차 변환은 인코더 및/또는 디코더에서 테이블로 기정의될 수 있다.
2차 변환부(122)는 1차 변환된 신호에 대해 2차 변환을 적용할 수 있으며, 여기서 2차 변환은 인코더 및/또는 디코더에서 테이블로 기정의될 수 있다.
일 실시예에서, 2차 변환으로서 비분리 2차 변환(non-separable secondary transform)(NSST)이 조건적으로 적용될 수 있다. 예를 들어, NSST는 화면내 예측 블록일 경우에만 적용되며, 예측 모드 그룹마다 적용 가능한 변환 셋을 가질 수 있다.
여기서, 예측 모드 그룹은 예측 방향에 대한 대칭성에 기초하여 설정될 수 있다. 예를 들어, 예측 모드 52와 예측 모드 16은 예측 모드 34 (대각 방향)를 기준으로 대칭이므로, 하나의 그룹을 형성하여 동일한 변환 셋(transform set)이 적용될 수 있다. 이때, 예측 모드 52에 대한 변환을 적용할 때 입력 데이터를 전치(transpose)한 후 적용하며, 이는 예측 모드 16과 변환 셋이 동일하기 때문이다.
한편, 플래너 모드(Planar mode)와 DC 모드(DC mode)의 경우 방향에 대한 대칭성이 존재하지 않으므로 각자의 변환 셋을 가지며, 해당 변환 셋은 2개의 변환들로 구성될 수 있다. 나머지 방향성 모드에 대해서는 변환 셋마다 3개의 변환들로 구성될 수 있다.
양자화부(130)는 2차 변환된 신호에 대해 양자화를 수행할 수 있다.
역양자화 및 역변환부 (140/150)는 앞서 설명된 과정을 역으로 수행하며, 중복되는 설명은 생략하도록 한다.
도 5는 디코딩 장치(200) 내의 역양자화 및 역변환부(220/230)의 개략적인 블록도를 나타낸다.
도 5를 참조하면, 역양자화 및 역변환부(220/230)는 역양자화부(220), 역 2차 변환부(inverse secondary transform unit)(231) 및 역 1차 변환부(inverse primary transform unit)(232)를 포함할 수 있다.
역양자화부(220)는 양자화 스텝 사이즈 정보를 이용하여 엔트로피 디코딩된 신호로부터 변환 계수를 획득한다.
역 2차 변환부(231)에서는 변환 계수에 대해 역 2차 변환을 수행한다. 여기서, 역 2차 변환은 도 4에서 설명한 2차 변환의 역변환을 나타낸다.
역 1차 변환부(232)는 역 2차 변환된 신호(또는 블록)에 대해 역 1차 변환을 수행하고, 잔차 신호(residual signal)를 획득하게 된다. 여기서, 역 1차 변환은 도 4에서 설명한 상기 1차 변환(primary transform)의 역변환을 나타낸다.
도 6은 본 발명이 적용되는 실시예로서, 1차 변환 및 2차 변환을 통해 비디오 신호를 인코딩하는 흐름도를 나타낸다. 도 6에 도시된 각 동작들은 인코딩 장치(100)의 변환부(120)에 의해 수행될 수 있다.
인코딩 장치(100)는 현재 블록의 예측 모드, 블록 모양 및/또는 블록 크기 중 적어도 하나에 기초하여 순방향 2차 변환을 결정(또는 선택)할 수 있다(S610).
인코딩 장치(100)는 RD 최적화(rate-distortion optimization)를 통해 최적의 순방향 2차 변환을 결정할 수 있다. 최적의 순방향 2차 변환은 복수개의 변환 조합 중 하나에 대응될 수 있고, 복수개의 변환 조합은 변환 인덱스에 의해 정의될 수 있다. 예를 들어, RD 최적화를 위해, 인코딩 장치(100)는 각 후보들에 대해 순방향 2차 변환, 양자화, 레지듀얼 코딩 등을 모두 수행한 결과를 비교할 수 있다.
인코딩 장치(100)는 최적의 순방향 2차 변환에 대응되는 2차 변환 인덱스를 시그널링할 수 있다(S620). 여기서, 2차 변환 인덱스는 본 명세서에서 설명한 다른 실시예들이 적용될 수 있다.
한편, 인코딩 장치(100)는 현재 블록(레지듀얼 블록)에 대해 순방향 1차 변환을 수행할 수 있다(S630).
인코딩 장치(100)는 최적의 순방향 2차 변환을 이용하여 현재 블록에 대해 순방향 2차 변환을 수행할 수 있다(S640). 한편, 순방향 2차 변환은 이하 설명되는 RST일 수 있다. RST는 N개의 레지듀얼 데이터(Nx1 레지듀얼 벡터)가 입력되어 R개(R < N)의 변환 계수 데이터(Rx1 변환 계수 벡터)가 출력되는 변환을 의미한다.
일실시예로, RST는 현재 블록의 특정 영역에 적용될 수 있다. 예를 들어, 현재 블록이 NxN 일때, 특정 영역은 좌상측 N/2xN/2 영역을 의미할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 예측 모드, 블록 모양, 또는 블록 크기 중 적어도 하나에 따라 다르게 설정될 수 있다. 예를 들어, 현재 블록이 NxN 일때, 특정 영역은 좌상측 MxM 영역(M≤N)을 의미할 수 있다.
한편, 인코딩 장치(100)는, 현재 블록에 대해 양자화를 수행함으로써, 변환 계수 블록을 생성할 수 있다(S650).
인코딩 장치(100)는, 변환 계수 블록에 대해 엔트로피 인코딩을 수행하여, 비트스트림을 생성할 수 있다.
도 7은 본 발명이 적용되는 실시예로서, 2차 역변환 및 1차 역변환을 통해 비디오 신호를 디코딩하는 흐름도를 나타낸다. 도 7에 도시된 각 동작들은 디코딩 장치(200)의 역변환부(230)에 의해 수행될 수 있다.
디코딩 장치(200)는 비트스트림으로부터 2차 변환 인덱스를 획득할 수 있다(S710).
디코딩 장치(200)는 2차 변환 인덱스에 대응되는 2차 변환을 유도할 수 있다(S720).
다만, S710 및 S720 단계는 일 실시예이며, 본 발명은 이에 한정되지 않는다. 예를 들어, 디코딩 장치(200)는 2차 변환 인덱스를 획득하지 않고, 현재 블록의 예측 모드, 블록 모양 및/또는 블록 크기 중 적어도 하나에 기초하여 2차 변환을 유도할 수 있다.
한편, 디코더(200)는 비트스트림을 엔트로피 디코딩하여 변환 계수 블록을 획득하고, 상기 변환 계수 블록에 대해 역양자화를 수행할 수 있다(S730).
디코더(200)는 역양자화된 변환 계수 블록에 대해 역방향 2차 변환을 수행할 수 있다(S740). 예를 들어, 역방향 2차 변환은 역방향 RST일 수 있다. 역방향 RST는 도 6에서 설명된 RST의 전치(transpose) 행렬로서, R개의 변환 계수 데이터(Rx1 변환 계수 벡터)가 입력되고, N개의 레지듀얼 데이터(Nx1 레지듀얼 벡터)가 출력되는 변환을 의미한다.
일실시예로, 축소된 2차 변환은 현재 블록의 특정 영역에 적용될 수 있다. 예를 들어, 현재 블록이 NxN 일때, 특정 영역은 좌상측 N/2xN/2 영역을 의미할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 예측 모드, 블록 모양, 또는 블록 크기 중 적어도 하나에 따라 다르게 설정될 수 있다. 예를 들어, 현재 블록이 NxN 일 때, 특정 영역은 좌상측 MxM 영역(M <= N) 또는 MxL (M <= N, L <= N)을 의미할 수 있다.
그리고, 디코더(200)는 역방향 2차 변환된 결과에 대해 역방향 1차 변환을 수행할 수 있다(S750).
디코더(200)는 S750 단계를 통해 레지듀얼 블록을 생성하고, 레지듀얼 블록과 예측 블록을 더함으로써 복원 블록을 생성한다.
도 8은 본 발명의 실시예에 따른 AMT(adaptive multiple transform)가 적용되는 변환 설정 그룹(transform configuration group)의 예를 도시한다.
도 8에 따르면, 변환 설정 그룹은 예측 모드에 기초하여 결정되고 그룹의 개수는 총 6개(G0~G5)일 수 있다. 그리고, G0~G4는 인트라 예측이 적용되는 경우에 해당하고 G5는 인터 예측에 의해 생성된 잔차(residual) 블록에 적용되는 변환 조합들(또는 변환 셋, 변환 조합 셋)을 나타낸다.
하나의 변환 조합은 해당 2차원 블록의 행(row)들에 적용되는 수평 변환(horizontal transform)(또는 행 변환(row transform))과 열(column)들에 적용되는 수직 변환(vertical transform(또는 열 변환(column transform))으로 구성될 수 있다.
여기서, 모든 변환 설정 그룹들 각각은 4개의 변환 조합 후보들을 포함할 수 있다. 4개의 변환 조합 후보들은 0~3의 변환 조합 인덱스를 통해 선택 또는 결정될 수 있으며, 인코딩 장치(100)로부터 디코딩 장치(200)로 변환 조합 인덱스가 인코딩 절차를 통해 전송될 수 있다.
일 실시예로, 인트라 예측을 통해 획득된 잔차 데이터(또는 잔차 신호)는 인트라 예측 모드에 따라 통계적 특성이 각각 상이할 수 있다. 따라서, 도 8과 같이 인트라 예측 모드별로 일반적인 코사인 변환이 아닌 다른 변환들이 적용될 수 있다. 본 문서에서, 변환 타입은, 예를 들어, DCT-Type 2, DCT-II, DCT-2와 같이 표현될 수 있다.
도 8을 참조하면, 35개의 인트라 예측 모드가 사용되는 경우와 67개의 인트라 예측 모드가 사용되는 경우에 대한 변환 집합 구성이 각각 도시된다. 인트라 예측 모드 열에서 구분되는 변환 설정 그룹별로 복수개의 변환 조합들이 적용될 수 있다. 예를 들어, 복수개의 변환 조합들(행 방향 변환, 열 방향 변환)은 4개의 조합으로 구성될 수 있다. 보다 구체적으로, 그룹 0에서 행(수평) 방향과 열(수직) 방향 모두 DST-7과 DCT-5가 적용될 수 있으므로 4개의 조합이 가능하다.
각 인트라 예측 모드에 대해 총 4개의 변환 커널 조합이 적용될 수 있으므로, 그 중 하나를 선택하기 위한 변환 조합 인덱스가 변환 단위(transform unit)마다 전송될 수 있다. 본 문서에서, 변환 조합 인덱스는 AMT 인덱스(AMT index)로 지칭될 수 있으며, amt_idx로 표현될 수 있다.
또한, 도 8에서 제시된 변환 커널을 외에도, 잔차 신호(residual signal)의 특성상 행 방향과 열 방향 모두에 대해 DCT-2가 최적인 경우가 있다. 따라서, 코딩 유닛(coding unit)마다 AMT 플래그를 정의함으로써 적응적으로 변환을 수행할 수 있다. 여기서, AMT 플래그가 0이면 행 방향과 열 방향 모두에 대해 DCT-2를 적용하고, AMT 플래그가 1이면 AMT 인덱스를 통해 4개의 조합 중 하나를 선택 또는 결정할 수 있다.
일 실시예로, AMT 플래그가 0인 경우 하나의 변환 단위에 대해 변환 계수의 개수가 3보다 작으면 도 8의 변환 커널들이 적용되지 않고 행 방향과 열 방향에 대해 모두 DST-7이 적용될 수 있다.
일 실시예로, 변환 계수 값들을 먼저 파싱하여 변환 계수의 개수가 3보다 작으면, AMT 인덱스를 파싱하지 않고 DST-7을 적용함으로써 부가 정보의 전송량을 감소시킬 수 있다.
일 실시예로, AMT는 변환 단위의 너비와 높이가 모두 32 이하인 경우에만 적용될 수 있다.
일 실시예로, 도 8은 오프라인 트레이닝(off-line training)을 통해 사전에 설정될 수 있다.
일 실시예로, AMT 인덱스는 수평 변환과 수직 변환의 조합을 동시에 지시할 수 있는 하나의 인덱스에 의해 정의될 수 있다. 또는, AMT 인덱스는 수평 변환 인덱스와 수직 변환 인덱스에 의해 별도로 정의될 수 있다.
상술한 AMT와 같이 복수의 변환 커널들(예: DCT-2, DST-7, DCT-8) 중에서 선택된 변환을 적용하는 기법은 MTS(multiple transform selection) 또는 EMT(enhanced multiple transform)로 지칭될 수 있으며, AMT 인덱스는 MTS 인덱스로 지칭될 수 있다.
도 9는 본 발명의 실시예에 따른 AMT가 적용되는 인코딩 흐름도의 예를 도시한다. 도 9에 도시된 동작들은 인코딩 장치(100)의 변환부(120)에 의해 수행될 수 있다.
본 문서는 기본적으로 수평 방향과 수직 방향에 대해 분리해서 변환을 적용하는 실시예를 설명하나, 변환 조합은 비분리 변환(non-separable transform)들로도 구성이 가능하다.
또는, 분리가능한 변환들과 비분리 변환들의 혼합으로도 구성될 수 있다. 이 경우, 비분리 변환이 이용되면 행/열(row/column)별 변환 선택이나 수평/수직(horizontal/vertical) 방향별 선택은 불필요해지며, 분리가능한 변환이 선택되는 경우에만 상기 도 8의 변환 조합들이 이용될 수 있다.
또한, 본 명세서에서 제안하는 방식들은 1차 변환이나 2차 변환에 관계없이 적용할 수 있다. 즉, 둘 중 어느 한쪽에만 적용되어야 한다는 제약이 없으며, 둘 다 적용될 수 있다. 여기서, 1차 변환은 잔차 블록을 맨 처음에 변환하기 위한 변환을 의미할 수 있고, 2차 변환은 상기 1차 변환의 결과로 생성된 블록에 대해 변환을 적용하기 위한 변환을 의미할 수 있다.
먼저, 인코딩 장치(100)는 현재 블록에 대응되는 변환 설정 그룹을 결정할 수 있다(S910). 여기서, 변환 설정 그룹은 도 8과 같은 조합들로 구성될 수도 있다.
인코딩 장치(100)는 변환 설정 그룹 내 이용가능한 후보 변환 조합들에 대해 변환을 수행할 수 있다(S920).
변환 수행 결과, 인코딩 장치(100)는 RD(rate distortion) 비용이 가장 작은 변환 조합을 결정 또는 선택할 수 있다(S930).
인코딩 장치(100)는 선택된 변환 조합에 대응되는 변환 조합 인덱스를 인코딩할 수 있다(S940).
도 10은 본 발명의 실시예에 따른 AMT가 적용되는 디코딩 흐름도의 예를 도시한다. 도 10에 도시된 동작들은 디코딩 장치(200)의 역변환부(230)에 의해 수행될 수 있다.
먼저, 디코딩 장치(200)는 현재 블록을 위한 변환 설정 그룹을 결정할 수 있다(S1010). 디코딩 장치(200)는 비디오 신호로부터 변환 조합 인덱스를 파싱(또는 획득)할 수 있으며, 여기서 변환 조합 인덱스는 변환 설정 그룹 내 복수개의 변환 조합들 중 어느 하나에 대응될 수 있다(S1020). 예를 들어, 변환 설정 그룹은 DCT-2, DST-7 또는 DCT-8을 포함할 수 있다.
디코딩 장치(200)는 변환 조합 인덱스에 대응되는 변환 조합을 유도할 수 있다(S1030). 여기서, 변환 조합은 수평 변환 및 수직 변환으로 구성되고, DCT-2, DST-7 또는 DCT-8중 적어도 하나를 포함할 수 있다. 또한, 변환 조합은 도 8에서 설명된 변환 조합이 사용될 수 있다.
디코딩 장치(200)는 유도된 변환 조합에 기초하여 현재 블록에 대해 역변환을 수행할 수 있다(S1040). 변환 조합이 행(수평) 변환과 열(수직) 변환으로 구성된 경우, 행(수평) 변환을 먼저 적용한 후 열(수직) 변환을 적용할 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 반대로 적용되거나, 또는 비분리 변환들로 구성된 경우에는 바로 비분리 변환이 적용될 수 있다.
일 실시예에서, 수직 변환 또는 수평 변환이 DST-7 또는 DCT-8인 경우, DST-7의 역변환 또는 DCT-8의 역변환을 열마다 적용하고 난 이후 행마다 적용할 수 있다. 또한, 수직 변환 또는 수평 변환은, 각 행마다 및/또는 각 열마다 다른 변환이 적용될 수 있다.
일 실시예에서, 변환 조합 인덱스는 AMT가 수행되는지 여부를 나타내는 AMT 플래그에 기초하여 획득될 수 있다. 즉, 변환 조합 인덱스는 AMT 플래그에 따라 AMT가 수행되는 경우 한하여 획득될 수 있다. 또한, 디코딩 장치(200)는 0이 아닌 변환 계수(non-zero coefficient)의 개수가 임계값보다 큰지 여부를 확인할 수 있다. 이때, 변환 조합 인덱스는 0이 아닌 변환 계수의 개수가 임계값보다 큰 경우에 한하여 파싱될 수 있다.
일 실시예에서, AMT 플래그 또는 AMT 인덱스는 시퀀스(sequence), 픽처(picture), 슬라이스(slice), 블록(block), 코딩 유닛(coding unit), 변환 유닛(transform unit), 또는 예측 유닛(prediction) 중 적어도 하나의 레벨에서 정의될 수 있다.
한편, 다른 실시예로, 변환 설정 그룹을 결정하는 과정과 변환 조합 인덱스를 파싱하는 과정은 동시에 수행될 수 있다. 또는 S1010 단계는 인코딩 장치(100) 및/또는 디코딩 장치(200)에서 기설정되어 생략될 수 있다.
도 11은 본 발명의 실시예에 따른 AMT 플래그 및 AMT 인덱스를 인코딩하기 위한 흐름도의 예를 도시한다. 도 11의 동작들은 인코딩 장치(100)의 변환부(120)에 의해 수행될 수 있다.
인코딩 장치(100)는 현재 블록에 대해 AMT가 적용되는지 여부를 결정할 수 있다(S1110).
만약, AMT가 적용되는 경우, 인코딩 장치(100)는 AMT 플래그 = 1로 인코딩 할 수 있다(S1120).
그리고, 인코딩 장치(100)는 현재 블록의 예측 모드, 수평 변환, 수직 변환 중 적어도 하나에 기초하여 AMT 인덱스를 결정할 수 있다(S1130). 여기서, AMT 인덱스는 각 인트라 예측 모드에 대해 복수개의 변환 조합들 중 어느 하나를 가리키는 인덱스를 나타내며, AMT 인덱스는 변환 단위마다 전송될 수 있다.
AMT 인덱스가 결정되면, 인코딩 장치(100)는 AMT 인덱스를 인코딩할 수 있다(S1140).
한편, AMT가 적용되지 않는 경우, 인코딩 장치(100)는 AMT 플래그 = 0으로 인코딩할 수 있다(S1150).
도 12는 AMT 플래그 및 AMT 인덱스에 기초한 변환을 수행하기 위한 디코딩 흐름도의 예를 도시한다.
디코딩 장치(200)는 비트스트림으로부터 AMT 플래그를 파싱할 수 있다(S1210). 여기서, AMT 플래그는 현재 블록에 대해 AMT가 적용되는지 여부를 나타낼 수 있다.
디코딩 장치(200)는 AMT 플래그에 기초하여 현재 블록에 대해 AMT가 적용되는지 여부를 확인할 수 있다(S1220). 예를 들어, AMT 플래그가 1인지 여부를 확인할 수 있다.
만약, AMT 플래그가 1인 경우, 디코딩 장치(200)는 AMT 인덱스를 파싱할 수 있다(S1230). 여기서, AMT 인덱스는 각 인트라 예측 모드에 대해 복수개의 변환 조합들 중 어느 하나를 가리키는 인덱스를 의미하며, AMT 인덱스는 변환 단위마다 전송될 수 있다. 또는, AMT 인덱스는 기설정된 변환 조합 테이블에 정의된 어느 하나의 변환 조합을 가리키는 인덱스를 의미할 수 있으며, 여기서 기설정된 변환 조합 테이블을 도 8을 의미할 수 있으나, 본 발명은 이에 한정되지 않는다.
디코딩 장치(200)는 AMT 인덱스 또는 예측 모드 중 적어도 하나에 기초하여 수평 변환 및 수직 변환을 유도 또는 결정할 수 있다(S1240).
또는, 디코딩 장치(200)는 AMT 인덱스에 대응되는 변환 조합을 유도할 수 있다. 예를 들어, 디코딩 장치(200)는 AMT 인덱스에 대응되는 수평 변환 및 수직 변환을 유도 또는 결정할 수 있다.
한편, AMT 플래그가 0인 경우, 디코딩 장치(200)는 기설정된 수직 역변환을 열마다 적용할 수 있다(S1250). 예를 들어, 수직 역변환은 DCT-2의 역변환일 수 있다.
그리고, 디코딩 장치(200)는 기설정된 수평 역변환을 행마다 적용할 수 있다(S1260). 예를 들어, 수평 역변환은 DCT-2의 역변환일 수 있다. 즉, AMT 플래그가 0인 경우 인코딩 장치(100) 또는 디코딩 장치(200)에서 기설정된 변환 커널이 이용될 수 있다. 예를 들어, 도 8과 같은 변환 조합 테이블에서 정의되는 것이 아니라, 많이 이용되는 변환 커널이 이용될 수 있다.
NSST (non-separable secondary transform)
2차 변환은 1차 변환이 적용된 결과를 입력으로 하여 다시 한번 변환 커널을 적용하는 것을 지칭한다. 1차 변환은 HEVC에서의 DCT-2, DST-7이나 앞서 설명한 AMT 등을 포함할 수 있다. 비분리 변환(non-separable transform)은 행 방향과 열 방향에 대해 순차적으로 NxN 변환 커널을 적용하는 것이 아니라 NxN 2차원 잔차 블록을 N 2x1 벡터로 간주한 후 이 벡터에 대해 N 2xN 2 변환 커널을 한번만 적용하는 것을 가리킨다.
즉, NSST는 변환 블록의 계수들로 구성된 벡터에 적용되는 비분리 정방형 행렬을 지칭할 수 있다. 또한, 본 문서의 실시예들은 블록의 사이즈에 따라 결정되는 좌상측 영역(저주파수 영역)에 적용되는 비분리 변환의 예로서 NSST를 중심으로 설명하나, 본 발명의 실시예는 NSST의 용어에 한정되는 것이 아니며 어떠한 타입의 비분리 변환도 본 발명의 실시예들에 적용될 수 있다. 예를 들어, 블록의 사이즈에 따라 결정되는 좌상측 영역(저주파수 영역)에 적용되는 비분리 변환은 LFNST(low frequency non-separable transform)로 지칭될 수 있다. 본 문서에서, MxN 변환(또는 변환 행렬)은 M개의 행과 N개의 열로 구성된 행렬을 의미한다.
NSST에서, 1차 변환을 적용함으로써 획득된 2차원 블록 데이터를 MxM 블록들로 분할한 후, 각 MxM 블록에 대해 M 2xM 2 비분리 변환을 적용한다. M의 값은 4 또는 8일 수 있다. 1차 변환에 의해 획득된 2차원 블록의 모든 영역에 대해 NSST를 적용하는 것이 아니라 일부 영역에 대해서만 적용하는 것도 가능한데, 예를 들어 좌상단(top-left) 8x8 블록에 대해서만 NSST를 적용할 수 있다. 또한, 1차 변환을 통해 획득된 2차원 블록의 너비와 높이가 모두 8이상인 경우에만 좌상단 8x8 영역에 대해 64x64 비분리 변환를 적용할 수 있으며, 나머지의 경우에 대해서는 4x4 블록들로 나누어 각각 해당 16x16 비분리 변환을 적용할 수 있다.
M 2xM 2 비분리 변환은 행렬 곱의 형태로 적용할 수도 있지만, 계산량과 메모리 요구량 저감을 위해 기븐스 회전 레이어(Givens rotation layer)들과 치환 레이어(permutation layer)들의 조합들로 근사될 수 있다. 도 13은 하나의 기븐스 회전을 도시한다. 도 13과 같이 하나의 기븐스 회전의 하나의 각도에 의해 설명될 수 있다.
도 13 및 도 14는 본 발명이 적용되는 실시예로서, 도 13은 기븐스 회전(Givens rotation)을 설명하기 위한 다이어그램을 나타내고, 도 14는 기븐스 회전 레이어와 치환(permutation)들로 구성된 4x4 NSST에서의 한 라운드(round)의 구성을 나타낸다.
8x8 NSST와 4x4 NSST 모두 기븐스 회전들의 계층적 조합으로 구성될 수 있다. 하나의 기븐스 회전에 해당하는 행렬은 수학식 1과 같으며 행렬 곱을 다이어그램으로 표현하면 도 13과 같다.
Figure PCTKR2019011517-appb-img-000001
도 13에서, 기븐스 회전에 의해 출력되는 t m과 t n은 수학식 2와 같이 계산될 수 있다.
Figure PCTKR2019011517-appb-img-000002
도 13과 같이 하나의 기븐스 회전은 2개의 데이터를 회전시키는 것이기 때문에 64개의 데이터(8x8 NSST의 경우) 또는 16개의 데이터(4x4 NSST의 경우)의 처리를 위하여 각각 32개 또는 8개의 기븐스 회전이 필요하다. 따라서, 32개 또는 8개의 기븐스 회전의 묶음이 기븐스 회전 레이어(Given rotation layer)를 형성할 수 있다. 도 15와 같이 하나의 기븐스 회전 레이어에 대한 출력 데이터가 치환(셔플링)을 통해 다음 기븐스 회전 레이어에 대한 입력 데이터로 전달된다. 도 15와 같이 치환되는 패턴은 규칙적으로 정의되며, 4x4 NSST의 경우 4개의 기븐스 회전 레이어 및 대응하는 치환들이 하나의 라운드를 형성한다. 4x4 NSST는 2번의 라운드에 의해 수행되고, 8x8 NSST는 4번의 라운드에 의해 수행된다. 서로 다른 라운드들은 동일한 치환 패턴을 사용하지만 적용되는 기븐스 회전 각도들은 각각 다른다. 따라서, 각 변환을 구성하는 모든 기븐스 회전에 대한 각도 데이터의 저장이 필요하다.
마지막 단계로 기븐스 회전 레이어들을 거쳐 출력된 데이터에 대해 최종적으로 한번의 치환이 더 수행되며, 해당 치환에 대한 정보는 변환마다 별도로 저장된다. 순방향(forward) NSST의 맨 마지막에 해당 치환이 수행되며, 역방향(inverse) NSST는 최초에 해당 역방향 치환이 적용된다.
역방향 NSST는 순방향 NSST에서 적용되었던 기븐스 회전 레이어들과 치환들을 역순으로 수행하고, 각 기븐스 회전의 각도에 대해서도 마이너스(-)의 값을 취함으로써 회전시킨다.
도 15는 본 발명의 실시예에 따른 인트라 예측 모드별 비분리 변환 집합의 구성의 예를 도시한다.
같은 NSST 또는 NSST 집합이 적용되는 인트라 예측 모드들이 그룹을 형성할 수 있다. 도 15는 67개의 인트라 예측 모드들을 35개의 그룹들로 분류하고 있는데, 예를 들어 20번 모드와 48번 모드는 모두 20번 그룹(이하, 모드 그룹)에 속한다.
각 모드 그룹 별로 하나의 NSST가 아닌 복수개의 NSST를 집합으로 구성할 수 있다. 각 집합은 NSST를 적용하지 않는 경우를 포함할 수 있다. 예를 들어, 한 모드 그룹에 대해 3개의 다른 NSST를 적용할 수 있는 경우, NSST를 적용하지 않는 경우를 포함하여 4가지 경우 중 하나를 선택하도록 구성될 수 있다. 이때, 4가지 경우 중 하나를 구분하기 위해 인덱스를 TU 단위로 전송할 수 있다. 모드 그룹마다 NSST의 개수를 다르게 구성할 수도 있는데, 예를 들어, 0번과 1번 모드 그룹은 NSST를 적용하지 않는 경우를 포함하여 각각 3가지 경우 중 하나를 선택하도록 시그널링 할 수 있다.
실시예 1: 4x4 블록에 적용될 수 있는 RST
한 4x4 블록에 적용될 수 있는 비분리 변환(non-separable transform)은 16x16 변환이다. 즉, 해당 4x4 블록을 구성하는 데이터 요소들이 행-우선(row-first) 또는 열-우선(column-first) 순서로 일렬로 정렬되면 16x1 벡터가 되고, 16x1 벡터에 대하여 해당 비분리 변환이 적용될 수 있다. 순방향 16x16 변환은 16개의 향 방향 변환 기저 벡터(transform basis vector)들로 구성되며, 상기 16x1 벡터와 각 변환 기저 벡터에 대해 내적(inner product)을 취하게 되면 해당 변환 기저 벡터에 대한 변환 계수가 획득된다. 16개의 변환 기저 벡터들에 대해 모두 해당 변환 계수를 얻는 과정은, 16x16 비분리 변환 행렬과 입력 16x1 벡터를 곱하는 것과 같다. 행렬 곱으로 얻어지는 변환 계수들은 16x1 벡터 형태를 가지는데, 변환 계수 별로 통계적 특성이 다를 수 있다. 예를 들어, 16x1 변환 계수 벡터가 0번째 요소부터 15번째 요소로 이루어졌다고 했을 때, 0번째 요소의 분산은 15번째 요소의 분산보다 클 수 있다. 즉, 앞에 위치한 요소일수록 해당 분산 값이 커서 큰 에너지 값을 가질 수 있다.
16x1 변환 계수로부터 역방향 16x16 비분리 변환을 적용하게 되면 (양자화나 정수화 계산 등의 효과를 무시했을 때) 원래의 4x4 블록 신호를 복원할 수 있다. 순방향 16x16 비분리 변환이 직교정규 변환(orthonormal transform)이라면 해당 역방향 16x16 변환은, 순방향 16x16 변환에 대한 행렬의 전치를 취해 구할 수 있다. 단순하게는 역방향 16x16 비분리 변환 행렬을 16x1 변환 계수 벡터에 곱해주게 되면 16x1 벡터 형태의 데이터를 얻게 되고 처음 적용했었던 행-우선 또는 열-우선 순서로 배열해 주면 4x4 블록 신호를 복원할 수 있다.
상술하였듯이 16x1 변환 계수 벡터를 이루는 요소들은 각기 통계적 특성이 다를 수 있다. 앞선 예시에서와 같이 앞쪽에 배치된 (0번째 요소와 가까운) 변환 계수들이 보다 큰 에너지를 가진다면, 모든 변환 계수들을 사용하지 않고 먼저 등장하는 일부의 변환 계수들에 역방향 변환을 적용하여도 원래의 신호와 상당히 가까운 신호를 복원할 수 있다. 예를 들어, 역방향 16x16 비분리 변환이 16개의 열 기저 벡터들로 구성된다고 했을 때, L개의 열 기저 벡터만 남겨 16xL 행렬을 구성하고 변환 계수들 중에서도 보다 중요한 L개의 변환 계수들만을 남긴 후(Lx1 벡터, 앞선 예시에서와 같이 먼저 등장할 수 있다), 16xL 행렬과 Lx1 벡터를 곱하게 되면 원래의 입력 16x1 벡터 데이터와 오차가 크지 않은 16x1 벡터를 복원할 수 있다. 결과적으로 L개의 계수들만이 데이터 복원에 개입하기 때문에, 변환 계수를 얻을 때도 16x1 변환 계수 벡터가 아니라 Lx1 변환 계수 벡터를 구하면 된다. 즉, 순방향 16x16 비분리 변환 행렬에서 L개의 해당 행 방향 변환 벡터들을 골라서 Lx16 변환을 구성한 후 16x1 입력 벡터와 곱하게 되면 L개의 중요 변환 계수들을 얻을 수 있다.
실시예 2: 4x4 RST의 적용 영역 설정과 변환 계수의 배치
4x4 RST는 2차 변환으로 적용될 수 있으며, 이때 DCT-type 2 등의 1차 변환이 적용된 블록에 대해 2차적으로 적용될 수 있다. 1차 변환이 적용된 블록의 크기를 NxN으로 두었을 때 보통은 4x4보다는 크게 된다. 따라서, 4x4 RST를 NxN 블록에 적용할 때는 다음과 같은 두 가지 방법을 생각해 볼 수 있다.
1) NxN 영역에 대해 모두 4x4 RST를 적용하는 것이 아니라 일부 영역에만 적용할 수 있다. 예를 들어, 좌상측(top-left) MxM 영역에 대해만 적용할 수 있다 (M <= N).
2) 2차 변환이 적용될 영역을 4x4 블록들로 분할한 후 각 분할된 블록에 대해 4x4 RST를 적용할 수 있다.
상기 방법 1)과 2)를 혼합하여 적용할 수 있다. 예를 들어, 좌상측 MxM 영역에 대해만 4x4 블록들로 분할한 후 4x4 RST를 적용할 수 있다.
구체적인 실시 예로, 좌상측 8x8 영역에 대해서만 2차 변환을 적용하고, NxN 블록이 8x8보다 같거나 큰 경우에는 8x8 RST를 적용하며, NxN 블록이 8x8보다 작은 경우에는 (4x4, 8x4, 4x8) 상기 2)번과 같이 4x4 블록들로 나눈 후 각기 4x4 RST를 적용할 수 있다.
4x4 RST를 적용한 후 L개의 변환 계수(1 <= L < 16)가 생성되었다고 했을 때, L개의 변환 계수를 어떻게 배치할지에 대한 자유도가 생긴다. 하지만, 레지듀얼 코딩(residual coding) 파트에서 변환 계수를 읽어서 처리할 때 정해진 순서가 존재할 것이므로, 상기 L개의 변환 계수를 2차원(2-dimensional) 블록에 어떻게 배치하는가에 따라 코딩 성능이 달라질 수 있다. HEVC(high efficiency video coding) 규격에서의 레지듀얼 코딩은 DC 위치에서 가장 멀리 떨어진 위치에서부터 코딩을 시작하는데, 이는 DC 위치에서 멀리 떨어질수록 양자화를 거친 계수 값이 0이거나 0에 가깝다는 사실을 이용하여 코딩 성능을 높이기 위해서이다. 따라서, L개의 변환 계수들에 대해서도 높은 에너지를 가지면서 보다 중요한 계수를 레지듀얼 코딩의 순서상 나중에 코딩되도록 배치하는 것이 코딩 성능 면에서 유리할 수 있다.
도 16은 HEVC 표준에서 적용된 변환 계수 또는 변환 계수 블록에 대한 3가지 순방향 스캔 순서로서, (a)는 대각 스캔(diagonal scan), (b)는 수평 스캔(horizontal scan), (c)는 수직 스캔(vertical scan)을 나타낸다.
도 16은 HEVC 표준에서 적용되고 있는 변환 계수 또는 변환 계수 블록(4x4 블록, Coefficient Group (CG))에 대한 3가지 순방향 스캔 순서를 도시하며, 레지듀얼 코딩은 (a), (b), 또는 (c)의 스캔 순서의 역순에 의해 수행된다(즉, 16부터 1의 순서로 코딩됨). (a), (b), 및 (c)에 도시된 3가지 스캔 순서는 intra-prediction 모드에 따라 선택되므로, 상기 L개의 변환 계수들에 대해서도 동일하게 intra-prediction 모드에 따라 scan 순서를 결정하도록 구성할 수 있다.
L 값은 1 <= L < 16의 범위를 갖게 되며 일반적으로는 16개의 변환 기저 벡터들 중에 임의의 방법으로 L개를 선택할 수 있으나, 부호화와 복호화 관점에서는 앞서 제시된 예시와 같이 신호의 에너지 측면에서 중요도가 높은 변환 기저 벡터들을 선택하는 것이 부호화 효율 관점에서 유리할 수 있다.
도 17와 도 18은 본 발명이 적용되는 실시예로서, 도 17은 4x8 블록에 대한 4x4 RST의 적용시 순방향 대각 스캔이 적용되는 경우에서 변환 계수의 위치를 도시하고, 도 18은 2개의 4x4 블록의 유효한 변환 계수들을 하나의 블록으로 병합하는 경우의 예를 도시한다.
(a)의 대각 스캔 순서에 따라 좌상측 4x8 블록을 4x4 블록들로 각각 분할하여 4x4 RST를 적용할 때, L 값이 8이라면(즉, 16개 중에 8개의 변환 계수만을 남긴다면) 도 17과 같이 변환 계수들이 위치할 수 있는데, 각 4x4 블록의 절반만이 변환 계수를 가질 수 있으며, X가 표시된 위치들에 디폴트(default)로 0의 값이 채워질 수 있다. 따라서, (a)에서 제시된 스캔 순서를 따라 L개의 변환 계수를 각 4x4 블록에 대해 배치시키고, 각 4x4 블록의 남은 (16 - L)개의 위치들에 대해서는 0으로 채워진다는 것을 가정하고 해당 레지듀얼 코딩(예: HEVC에서의 레지듀얼 코딩)을 적용할 수 있다.
또한, 도 18과 같이 2개의 4x4 블록에 배치되었던 L개의 변환 계수들을 하나의 블록으로 구성할 수 있다. 특히, L 값이 8인 경우 2개의 4x4 블록의 변환 계수들이 하나의 4x4 블록을 완전히 채우므로 다른 블록에는 변환 계수가 남지 않는다. 따라서, 변환 계수가 비워진 4x4 블록에 대해서는 레지듀얼 코딩이 불필요하므로, HEVC의 경우 해당 블록의 레지듀얼 코딩 적용여부를 나타내는 플래그(coded_sub_block_flag)가 0으로 코딩될 수 있다. 2개의 4x4 블록의 변환 계수들의 위치에 대한 조합 방식은 다양할 수 있다. 예를 들어, 임의의 순서를 따라 위치가 조합될 수 있지만, 아래와 같은 방법도 적용될 수 있다.
1) 두 4x4 블록의 변환 계수를 스캔 순서대로 번갈아가면서 조합한다. 즉, 도 8a, 도 8b, 도 8c에서 상위 블록(upper block)에 대한 변환 계수를
Figure PCTKR2019011517-appb-img-000003
라 하고, 하위 블록(lower block)의 변환 계수를
Figure PCTKR2019011517-appb-img-000004
라 할 때,
Figure PCTKR2019011517-appb-img-000005
와 같이 하나씩 번갈아가며 조합할 수 있다. 또한,
Figure PCTKR2019011517-appb-img-000006
와
Figure PCTKR2019011517-appb-img-000007
의 순서를 바꿀 수 있다(즉,
Figure PCTKR2019011517-appb-img-000008
이 먼저 나오도록 설정할 수 있다).
2) 첫번째 4x4 블록에 대한 변환 계수들을 먼저 배치하고 이후 두번째 4x4 블록에 대한 변환 계수들을 배치할 수 있다. 즉,
Figure PCTKR2019011517-appb-img-000009
과 같이 연결하여 배치할 수 있다. 당연히,
Figure PCTKR2019011517-appb-img-000010
와 같이 순서를 바꿀 수도 있다.
실시예 3: 4x4 RST에 대한 NSST(non-separable secondary transform) 인덱스를 코딩하는 방법
도 17과 같이 4x4 RST가 적용되면 각 4x4 블록에 대한 변환 계수 스캔 순서에 따라 L+1번째 위치부터 16번째 위치까지는 0의 값이 채워질 수 있다. 따라서, 만약 두 4x4 블록 중 하나라도 L+1번째 위치부터 16번째 위치 중 0이 아닌 값이 존재하면, 4x4 RST가 적용되지 않는 경우임이 도출된다. 4x4 RST가 JEM(joint expoloration model) NSST와 같이 준비된 변환 집합(transform set) 중에서 선택된 변환을 적용하는 구조를 가지면, 어떤 변환을 적용할지에 대한 인덱스(이하, NSST 인덱스로 지칭됨)가 시그널링될 수 있다.
어떤 디코더에서 NSST 인덱스를 비트스트림 파싱(bitstream parsing)을 통해 알 수 있고, 비트스트림 파싱이 레지듀얼 코딩 이후에 수행될 수 있다. 이 경우, 레지듀얼 디코딩에 의해 L+1번째 위치부터 16번째 위치 사이에 0이 아닌 변환 계수가 존재하면, 해당 디코더는 4x4 RST가 적용되지 않는 것이 확실하므로 NSST 인덱스를 파싱하지 않을 수 있다. 따라서, 필요한 경우에만 NSST 인덱스를 선택적으로 파싱함으로써 시그널링 비용(signaling cost)이 감소될 수 있다.
도 17과 같이 특정 영역 내 복수개의 4x4 블록들에 대해 4x4 RST가 적용되면(이때 모두 동일한 4x4 RST가 적용될 수도 있고 각각 다른 4x4 RST가 적용될 수도 있다), 하나의 NSST 인덱스를 통해 모든 4x4 블록들에 적용되는(동일한 혹은 서로 다른) 4x4 RST가 지정될 수 있다. 하나의 NSST 인덱스에 의해 모든 4x4 블록들에 대한 4x4 RST 및 4x4 RST의 적용 여부가 결정되므로, 모든 4x4 블록들에 대해 L+1번째부터 16번째까지의 위치에서 0이 아닌 변환 계수가 존재하는지를 레지듀얼 디코딩 과정 중에 조사한 결과 4x4 블록에서 허용되지 않는 위치에(L+1번째 위치부터 16번째 위치) 0이 아닌 변환 계수가 존재하게 되면 인코딩 장치(100)는 NSST 인덱스를 코딩하지 않도록 설정될 수 있다.
인코딩 장치(100)는 휘도(luminance) 블록과 색차(chrominance) 블록에 대해 각각의 NSST 인덱스를 별도로 시그널링할 수도 있고, 색차 블록의 경우 Cb 성분과 Cr 성분에 대해 각각 별도의 NSST 인덱스를 시그널링할 수도 있으며, 하나의 공통된 NSST 인덱스를 사용할 수 있다. 하나의 NSST 인덱스가 사용되는 경우 NSST 인덱스의 시그널링 또한 한번만 수행된다. Cb 성분과 Cr 성분에 대해 하나의 NSST 인덱스가 공유되는 경우 동일한 NSST 인덱스가 지시하는 4x4 RST가 적용될 수 있으며, 이 경우 Cb 성분과 Cr 성분에 대한 4x4 RST 자체가 동일할 수도 있고, NSST 인덱스는 같으나 Cb 성분과 Cr 성분에 대해 개별적인 4x4 RST가 설정될 수 있다. Cb 성분과 Cr 성분에 대해 공유되는 NSST 인덱스가 사용되는 경우 상술한 조건적 시그널링을 위하여 Cb 성분과 Cr 성분에 대한 모든 4x4 블록들에 대해 L+1번째 위치부터 16번째 위치까지 0이 아닌 변환 계수가 존재하는지를 체크하고, L+1번째 위치부터 16번째 위치에서 0이 아닌 변환 계수가 발견되면 NSST 인덱스에 대한 시그널링이 생략될 수 있다.
도 18과 같이 두 4x4 블록에 대한 변환 계수들이 하나의 4x4 블록에 병합되는 경우에도, 인코딩 장치(100)는 4x4 RST가 적용되었을 때 유효한 변환 계수가 존재하지 않는 위치에 0이 아닌 변환 계수가 등장하는지 체크한 후 NSST 인덱스에 대한 시그널링 여부를 결정할 수 있다. 특히, 도 18과 같이 L 값이 8이어서 4x4 RST 적용 시 하나의 4x4 블록에 유효한 변환 계수들이 존재하지 않는 경우(도 18의 (b)에서 X로 표시된 블록), 해당 블록의 레지듀얼 코딩 여부에 대한 플래그(coded_sub_block_flag)를 체크하고, 1이면 NSST 인덱스가 시그널링되지 않도록 설정될 수 있다. 앞서 설명한 바와 같이 이하 설명에서는 비분리 변환의 예로서 NSST를 중심으로 설명하나, 비분리 변환에 대하여 다른 알려진 용어들(예: LFNST)이 사용될 수 있다. 예를 들어, NSST 집합(NSST Set), NSST 인덱스는 LFNST 집합, LFNST 인덱스로 대체되어 사용될 수 있다. 또한, 본 문서에서 설명되는 RST는 변환 블록의 적어도 일부 영역(좌상측 4x4, 8x8 영역 또는 8x8 블록에서 우-하측 4x4 영역을 제외한 나머지 영역)에 적용되는 정방형 비분리 변환 행렬에서 축소된 입력 길이 및/또는 축소된 출력 길이를 갖는 비정방형의 변환 행렬을 사용하는 비분리 변환(예: LFNST)의 예로서, RST 또한 LFNST로 대체되어 사용될 수 있다.
실시예 4: 4x4 인덱스에 대한 코딩을 레지듀얼 코딩 이전에 수행하는 경우에 대한 최적화 방법
NSST 인덱스에 대한 코딩이 레지듀얼 코딩 이전에 수행되는 경우, 4x4 RST의 적용 여부가 미리 결정되므로 변환 계수가 0으로 채워지는 위치들에 대한 레지듀얼 코딩이 생략될 수 있다. 여기서, 4x4 RST 적용 여부는 NSST 인덱스 값을 통해 결정될 수 있도록(예를 들어, NSST 인덱스가 0이면 4x4 RST 적용하지 않도록) 구성할 수도 있고, 아니면 별도의 신택스 성분(syntax element)(예: NSST 플래그)를 통해 4x4 RST의 적용여부가 시그널링될 수도 있다. 예를 들어, 별도의 신택스 성분이 NSST 플래그라고 하면 디코딩 장치(200)는 NSST 플래그를 먼저 파싱함으로써 4x4 RST 적용 여부를 결정한 후, 만약 NSST 플래그 값이 1이면 상술한 바와 같이 유효한 변환 계수가 존재할 수 없는 위치들에 대하여 레지듀얼 코딩(디코딩)을 생략할 수 있다.
HEVC의 경우 레지듀얼 코딩 수행 시 첫번째로 TU에서의 마지막 0이 아닌 계수(last non-zero coefficient) 위치에서 코딩이 수행된다. 만약, NSST 인덱스에 대한 코딩은 마지막 0이 아닌 계수의 위치에 대한 코딩 이후에 수행되고, 마지막 0이 아닌 계수의 위치가 4x4 RST의 적용을 가정했을 때 0이 아닌 계수가 존재할 수 없는 위치이면, 디코딩 장치(200)는 NSST 인덱스를 코딩하지 않고 4x4 RST를 적용하지 않도록 설정될 수 있다. 예를 들어, 도 17에서 X로 표시된 위치들의 경우 4x4 RST가 적용되었을 때 유효한 변환 계수들이 위치하지 않으므로(0의 값이 채워질 수 있음), X로 표시된 영역에 마지막 0이 아닌 계수가 위치하게 되면 디코딩 장치(200)는 NSST 인덱스에 대한 코딩을 생략할 수 있다. 만약 X로 표시된 영역에 마지막 0이 아닌 계수가 위치하지 않는다면, 디코딩 장치(200)는 NSST 인덱스에 대한 코딩을 수행할 수 있다.
0이 아닌 계수의 위치에 대한 코딩 이후에 조건적으로 NSST 인덱스를 코딩함으로써 4x4 RST의 적용 여부를 알게 된 경우, 이하 나머지 레지듀얼 코딩이 수행될 부분은 다음과 같은 두 가지 방식으로 처리될 수 있다.
1) 4x4 RST가 적용하지 않는 경우, 일반적인 레지듀얼 코딩이 수행된다. 즉, 마지막 0이 아닌 계수의 위치부터 DC까지 어떤 위치도 0이 아닌 변환 계수가 존재할 수 있다는 가정 하에서 코딩이 수행된다.
2) 4x4 RST가 적용되는 경우, 특정 위치 또는 특정 4x4 블록(예를 들어, 도 17의 X 위치)에 대하여 해당 변환 계수가 존재하지 않으므로(디폴트로 0으로 채워짐), 해당 위치 또는 블록에 대해서는 레지듀얼 코딩이 생략될 수 있다. 예를 들어, 도 17에서 스캔 순서에 따라 스캔하면서 X로 표시된 위치에 도달하는 경우, HEVC 표준에서 해당 위치에 0이 아닌 계수가 존재하는지 여부에 대한 플래그(sig_coeff_flag)에 대한 코딩은 생략될 수 있으며, 도 18과 같이 두 블록의 변환 계수가 하나의 블록으로 병합되는 경우 0으로 채워진 4x4 블록의 레지듀얼 코딩 여부를 지시하는 플래그(예: HEVC 표준의 coded_sub_block_flag)에 대한 코딩이 생략되고 해당 값은 0으로 유도할 수 있으며, 해당 4x4 블록에 대해서는 별도 코딩 없이 모두 0 값으로 채워질 수 있다.
마지막 0이 아닌 계수의 위치에 대한 코딩 이후에 NSST 인덱스를 코딩하는 경우, 마지막 0이 아닌 계수의 x 위치(Px)와 y 위치(Py)가 각기 Tx, Ty보다 작은 경우 NSST 인덱스의 코딩이 생략되고 4x4 RST가 적용되지 않도록 설정될 수 있다. 예를 들어, Tx = 1, Ty = 1이고 마지막 0이 아닌 계수가 DC 위치에 존재하는 경우 NSST 인덱스 코딩은 생략된다. 이와 같은 임계값과의 비교를 통해 NSST 인덱스 코딩 여부를 결정하는 방식은 휘도 성분과 색차 성분에 각기 달리 적용될 수 있는데, 예를 들어 휘도 성분과 색차 성분에 대해 각각 다른 Tx, Ty가 적용될 수도 있고 휘도 성분에는 임계값이 적용되고 색차 성분에는 임계값이 적용되지 않을 수도 있다. 반대로, 색차 성분에는 임계값이 적용되고 휘도 성분에는 임계값이 적용되지 않을 수도 있다.
상술한 두 가지 방법이(마지막 0이 아닌 계수가 유효한 변환 계수가 존재하지 않는 영역에 위치하는 경우 NSST 인덱스 코딩 생략, 마지막 0이 아닌 계수에 대한 X 좌표와 Y 좌표가 각기 임계값보다 작을 때 NSST 인덱스 코딩 생략) 동시에 적용될 수도 있다. 예를 들어, 마지막 0이 아닌 계수의 위치 좌표에 대한 임계값 확인을 먼저 수행한 후, 마지막 0이 아닌 계수가 유효한 변환 계수가 존재하지 않는 영역에 위치하는지 여부를 체크할 수 있으며, 두 방법의 순서는 변경될 수 있다.
실시예 4)에서 제시된 방법들은 8x8 RST에 대해서도 적용될 수 있다. 즉, 마지막 0이 아닌 계수가 좌상측 8x8 영역 내에서 좌상측 4x4가 아닌 영역에 위치하게 된다면 NSST 인덱스에 대한 코딩은 생략될 수 있으며, 그렇지 않다면 NSST 인덱스에 대한 코딩이 수행될 수 있다. 또한, 마지막 0이 아닌 계수의 위치에 대한 X, Y 좌표 값이 모두 어떤 임계값 미만이면 NSST 인덱스에 대한 코딩은 생략될 수 있다. 두 방법은 동시에 적용될 수도 있다.
실시예 5: RST 적용시 휘도 성분과 색차 성분에 대해 각각 다른 NSST 인덱스 코딩 및 레지듀얼 코딩 방식 적용
실시예 3과 실시예 4에서 설명된 방식들이 휘도 성분과 색차 성분에 대해 각각 다르게 적용될 수 있다. 즉, NSST 인덱스 코딩 및 레지듀얼 코딩 방식이 휘도 성분과 색차 성분에 대하여 다르게 적용될 수 있다. 예를 들어, 휘도 성분에 대하여 실시예 4에서 설명된 방식이 적용되고, 색차 성분에 대하여 실시예 3에서 설명된 방식이 적용될 수 있다. 또한, 휘도 성분에 대하여 실시예 3 또는 실시예 4에서 제안되는 조건적 NSST 인덱스 코딩이 적용되고, 휘도 성분에 대하여 조건적 NSST 인덱스 코딩이 적용되지 않을 수 있으며, 반대(색차 성분에는 조건적 NSST 인덱스 코딩 적용, 휘도 성분에는 미적용)도 가능하다.
실시예 6
본 발명의 일 실시에는 NSST를 적용하는 과정에서 다양한 NSST 조건들을 적용하기 위한 혼합된 NSST 변환 집합(mixed NSST transform set, MNTS)과 해당 MNTS의 구성 방법을 제공한다.
JEM에 따르면, 미리 선택된 하위 블록의 크기에 따라 4x4 NSST 집합은 4x4 커널(kernel)만을 포함하고 8x8 NSST 집합은 8x8 커널만을 포함한다. 본 발명의 실시예는 아래와 같이 혼합된 NSST 집합의 구성방법을 추가적으로 제안한다.
- NSST 집합에서 이용가능한 NSST 커널의 사이즈가 고정되지 않고 하나 이상의 가변적인 사이즈를 갖는 NSST 커널들이 NSST 집합에 포함될 수 있다 (예: 하나의 NSST 집합에 4x4 NSST 커널과 8x8 NSST 커널이 모두 포함됨).
- NSST 집합 내 이용가능한 NSST 커널의 수가 고정되지 않고 가변적일 수 있다(예: 제1 집합은 3개의 커널들, 제2 집합은 4개의 커널들을 포함).
- NSST 커널의 순서가 고정되지 않고 NSST 집합에 따라 순서가 다르게 정의될 수 있다(예: 제1 집합에서 NSST 커널 1, 2, 3이 NSST 인덱스 1, 2, 3으로 각각 매핑되나, 제2 집합에서 NSST 커널 3, 2, 1이 NSST 인덱스 1, 2, 3으로 각각 매핑).
보다 상세하게 혼합된 NSST 변환 집합 구성방법의 예는 다음과 같다.
- NSST 변환 집합에서 사용가능한 NSST 커널들의 우선순위는 NSST 커널의 크기(예: 4x4 NSST 및 8x8 NSST)에 따라 결정될 수 있다.
예를 들어, 블록이 큰 경우 8x8 NSST 커널이 4x4 NSST 커널보다 더 중요할 수 있으므로 8x8 NSST 커널에 낮은 값을 갖는 NSST 인덱스를 할당한다.
- NSST 변환 집합에서 사용가능한 NSST 커널들의 우선순위는 NSST 커널의 순서에 따라 결정될 수 있다.
예를 들어, 주어진 4x4 NSST 제1 커널이 4x4 NSST 제2 커널보다 우선할 수 있다.
NSST 인덱스가 부호화 되어 전송되므로 자주 발생하는 NSST 커널에 더 높은 우선권(더 작은 인덱스)을 할당함으로써 더 적은 비트수로 NSST 인덱스를 시그널링할 수 있다.
아래의 표 1과 표 2는 본 실시예에서 제안하는 혼합된 NSST 집합의 예를 나타낸다.
Figure PCTKR2019011517-appb-img-000011
Figure PCTKR2019011517-appb-img-000012
실시예 7
본 발명의 일 실시에는 2차 변환 집합을 결정하는 과정에서 인트라 예측 모드와 블록의 크기를 고려하여 NSST 집합을 결정하는 방법을 제안한다.
본 실시예에서 제안되는 방법은 실시예 6과 연계하여 인트라 예측 모드에 적합한 변환 집합을 구성하여 다양한 크기의 커널을 구성하여 블록에 적용할 수 있도록 한다.
도 19는 본 발명이 적용되는 실시예로서, 인트라 예측 모드별 혼합된 NSST 집합의 구성 방법의 예를 도시한다.
도 19는 실시예 2에서 제안하는 방법을 실시예 6과 연계하여 적용하는 방법에 따른 테이블의 예이다. 즉, 도 19에서 도시된 것과 같이 각 인트라 예측 모드마다 기존의 NSST 집합 구성 방법을 따를 것인지 아니면 다른 방법의 NSST 집합 구성 방법을 따를 것인지를 나타내는 인덱스('Mixed Type')가 정의될 수 있다.
보다 구체적으로, 도 19에서 인덱스('Mixed Type')가 '1'로 정의된 인트라 예측 모드의 경우, JEM의 NSST 집합 구성방법을 따르지 않고 시스템에서 정의된 NSST 집합 구성 방법을 사용하여 NSST 집합이 구성된다. 여기서 시스템에서 정의된 NSST 집합 구성 방법은 실시예 6에서 제안된 혼합된 NSST 집합을 의미할 수 있다.
또 다른 실시예로, 도 19의 테이블은 인트라 예측 모드와 관련된 혼합된 타입(mixed type) 정보(플래그)에 기반한 두 종류의 변환 집합 구성 방법(JEM 기반의 NSST 집합 구성, 본 발명의 실시예에서 제안하는 혼합된 타입 NSST 집합 구성 방법)이 설명되나, 혼합된 타입 NSST 구성 방법은 한 가지 이상일 수 있으며, 이때 혼합된 타입 정보가 N(N > 2)가지의 다양한 값으로 표현될 수 있다.
또 다른 실시예로, 인트라 예측 모드와 변환 블록의 크기를 함께 고려하여 현재 블록에 적합한 변환 집합을 혼합된 타입으로 구성할 것인지 여부를 결정할 수 있다. 예를 들어, 인트라 예측 모드에 해당하는 모드 타입이 0이면 JEM의 NSST 집합 설정을 따르며 그렇지 않으면(Mode Type == 1) 변환 블록의 크기에 따라서 다양한 혼합된 타입의 NSST 집합이 결정될 수 있다.
도 20은 본 발명이 적용되는 실시예로서, 인트라 예측 모드와 변환 블록 크기를 고려하여 NSST 집합(또는 커널)을 선택하는 방법의 예를 도시한다.
디코딩 장치(200)는 변환 집합이 결정되면 NSST 인덱스 정보를 이용하여 사용된 NSST 커널을 결정할 수 있다.
실시예 8
본 발명의 일 실시에는 2차 변환을 적용하는 과정에서 인트라 예측 모드와 블록의 사이즈를 고려하여 변환 집합을 구성할 경우, 인코딩 후 전송되는 NSST 인덱스 값의 통계적 분포의 변화를 고려함으로써 NSST 인덱스를 효율적으로 인코딩하기 위한 방법을 제공한다. 본 발명의 실시예는 커널 사이즈를 지시하는 신택스를 사용하여 적용될 커널을 선택하는 방법을 제공한다.
또한, 본 발명의 실시예는 변환 집합마다 사용가능한 NSST 커널의 수가 상이하므로 효율적인 이진화 방법을 위하여 해당 집합 별로 사용가능한 최대 NSST 인덱스 값에 따라 아래의 표 3과 같이 절단된 유너리(truncated unary) 이진화 방법을 제공한다.
Figure PCTKR2019011517-appb-img-000013
표 3은 NSST 인덱스 값의 이진화 방법을 나타내며, 각 변환 집합마다 이용가능한 NSS 커널의 수가 상이하므로 NSST 인덱스는 최대 NSST 인덱스 값에 따라 이진화될 수 있다.
실시예 9: 축소된 변환(Reduced Transform)
변환에서의 복잡도 이슈들(complexity issues)로 인하여(예를 들어, 큰 블록 변환 또는 비분리 변환), 코어 변환(예: DCT, DST 등) 및 2차 변환(예: NSST)에 적용될 수 있는 축소된 변환을 제공한다.
축소된 변환의 주요 아이디어는 N 차원 벡터를 다른 공간에서 R 차원 벡터로 맵핑하는 것이며, 여기서 R/N(R < N)이 축소 인자(reduction factor)이다. 축소된 변환은 아래의 수학식 3과 같은 RxN 행렬이다.
Figure PCTKR2019011517-appb-img-000014
수학식 1에서 변환의 R개의 행들은 신규 N 차원 공간의 R개의 베이스들이다. 그리하여 축소된 변환으로 지칭되는 이유는 변환에 의해 출력되는 벡터의 엘레먼트의 개수가 입력되는 벡터의 엘레먼트의 개수보다 작기 때문이다(R < N). 축소된 변환에 대한 역방향 변환 행렬(inverse transform matrix)은 순방향 변환의 전치이다. 순방향 및 역방향 축소된 변환에 대하여 도 21a 및 도 21b를 참조하여 설명하도록 한다.
도 21a 및 도 21b는 본 발명이 적용되는 실시예로서 순방향 및 역방향 축소된 변환을 도시한다.
축소된 변환의 엘레먼트들의 개수는, 완전한 행렬(NxN)의 사이즈보다 R/N만큼 작은, RxN개이며, 이는 요구되는 메모리가 완전한 행렬의 R/N임을 의미한다.
또한 요구되는 곱셈의 개수 또한 원래의 NxN보다 R/N만큼 적은 RxN이다.
만약 X가 N 차원의 벡터이면, 축소된 변환을 적용한 이후 R개의 계수들이 획득되는데, 이는 원래의 N개의 계수들을 대신하여 R개의 값들 만을 전달하면 됨을 의미한다.
도 22는 본 발명의 실시예에 따른 축소된 변환을 사용한 디코딩 흐름도의 예를 도시한다.
제안된 축소된 변환(디코더에서 역변환)은 도 21에 도시된 것과 같이 계수들(역양자화된 계수들)에 적용될 수 있다. 미리 결정된 축소 인자(R, 또는 R/N)와 변환을 수행하기 위한 변환 커널이 요구될 수 있다. 여기서, 변환 커널은 블록 사이즈(너비, 높이), 인트라 예측 모드, Cidx와 같이 사용가능한 정보에 기반하여 결정될 수 있다. 현재 코딩 블록이 루마 블록이면 CIdx는 0과 같다. 그렇지 않으면(Cb 또는 Cr 블록) CIdx는 1과 같이 0이 아닌 값이 된다.
이하 본 문서에서 사용되는 연산자들은 아래의 표 4 및 표 5와 같이 정의된다.
Figure PCTKR2019011517-appb-img-000015
Figure PCTKR2019011517-appb-img-000016
도 23은 본 발명의 실시예에 따른 조건적 축소된 변환의 적용을 위한 흐름도의 예를 도시한다. 도 23의 동작들은 디코딩 장치(200)의 역양자화부(140) 및 역변환부(150)에 의해 수행될 수 있다.
일 실시예에서, 축소된 변환은 특정 조건이 만족되면 사용될 수 있다. 예를 들어 축소된 변환은 아래와 같이 일정 사이즈보다 큰 블록들에 대하여 적용될 수 있다.
- Width > TH && Height > HT (여기서, TH는 사전에 정의된 값(예: 4))
또는
- Width * Height > K && MIN (width, height) > TH (K 및 TH는 미리 정의된 값)
즉, 위 조건들과 같이 현재 블록의 너비(width)가 사전에 정의된 값(TH)보다 크고 현재 블록의 높이(height)가 사전에 정의된 값(TH)보다 큰 경우에 축소된 변환이 적용될 수 있다. 또는, 현재 블록의 너비와 높이의 곱이 사전에 정의된 값(K)보다 크고 현재 블록의 너비와 높이 중 작은 값이 사전에 정의된 값(TH)보다 큰 경우 축소된 변환이 적용될 수 있다.
축소된 변환은 아래와 같이 사전에 결정된 블록들이 그룹에 대하여 적용될 수 있다.
- Width == TH && Height == TH
또는
- Width == Height
즉, 현재 블록의 너비와 높이가 각각 사전에 결정된 값(TH)와 동일하거나 현재 블록의 너비와 높이가 동일한 경우(현재 블록이 정방형 블록인 경우) 축소된 변환이 적용될 수 있다.
축소된 변환의 사용을 위한 조건이 만족되지 않으면 보통의(regular) 변환이 적용될 수 있다. 보통의 변환은 비디오 코딩 시스템에서 미리 정의되고 사용가능한 변환일 수 있다. 보통의 변환의 예시들은 아래와 같다.
- DCT-2, DCT-4, DCT-5, DCT-7, DCT-8
또는
- DST-1, DST-4, DST-7
또는
- 비분리 변환
또는
-JEM-NSST (HyGT)
도 23에 도시된 것과 같이, 축소된 변환 조건은 어느 변환(예: DCT-4, DST-1)이 사용될지 또는 어느 커널이 적용될지(복수의 커널들이 이용 가능할 때)를 지시하는 인덱스(Transform_idx)에 의존할 수 있다. 특히, Transform_idx는 2번 전송될 수 있다. 하나는 수평 변환을 지시하는 인덱스이고(Transform_idx_h) 다른 하나는 수직 변환을 지시하는 인덱스이다(Transform_idx_v).
보다 구체적으로 도 23을 참조하면, 디코딩 장치(200)는 입력된 비트스트림에 대한 역양자화를 수행한다(S2305). 이후, 디코딩 장치(200)는 변환의 적용여부를 결정한다(S2310). 디코딩 장치(200)는 변환 스킵 여부를 지시하는 플래그를 통해 변환의 적용여부를 결정할 수 있다.
변환이 적용되는 경우, 디코딩 장치(200)는 적용될 변환을 지시하는 변환 인덱스(Transform_idx)를 파싱한다(S2315). 또한, 디코딩 장치(200)는 변환 커널을 선택할 수 있다(S2330). 예를 들어, 디코딩 장치(200)는 변환 인덱스(Transform_idx)에 대응하는 변환 커널을 선택할 수 있다. 또한, 디코딩 장치(200)는 블록 사이즈(너비, 높이), 인트라 예측 모드, CIdx(루마, 크로마)를 고려하여 변환 커널을 선택할 수 있다.
디코딩 장치(200)는 축소된 변환의 적용을 위한 조건이 만족되는지 여부를 결정한다(S2320). 축소된 변환의 적용을 위한 조건은 상술한 것과 같은 조건들을 포함할 수 있다. 축소된 변환이 적용되지 않는 경우, 디코딩 장치(200)는 보통의 역변환을 적용할 수 있다(S2325). 예를 들어, 디코딩 장치(200)는 S2330 단계에서 선택된 변환 커널로부터 역변환 행렬을 결정하고, 결정된 역변환 행렬을 변환 계수들을 포함하는 현재 블록에 적용할 수 있다.
축소된 변환이 적용되는 경우, 디코딩 장치(200)는 축소된 역변환을 적용할 수 있다(S2335). 예를 들어, 디코딩 장치(200)는 S2330 단계에서 선택된 변환 커널로부터 축소 인자를 고려하여 축소된 역변환 행렬을 결정하고, 축소된 역변환 행렬을 변환 계수들을 포함하는 현재 블록에 적용할 수 있다.
도 24는 본 발명의 실시예에 따른 조건적 축소된 변환이 적용되는 2차 역변환을 위한 디코딩 흐름도의 예를 도시한다. 도 24의 동작들은 디코딩 장치(200)의 역변환부(230)에 의해 수행될 수 있다.
일 실시예에서, 축소된 변환은 도 24와 같이 2차 변환에 적용될 수 있다. NSST 인덱스가 파싱되면, 축소된 역변환이 적용될 수 있다.
도 24를 참조하면, 디코딩 장치(200)는 역양자화를 수행한다(S2405). 역양자화를 통해 생성된 변환 계수들에 대하여, 디코딩 장치(200)는 NSST의 적용 여부를 결정한다(S2410). 즉, 디코딩 장치(200)는 NSST의 적용 여부에 따라 NSST 인덱스(NSST_idx)의 파싱이 필요한지 여부를 결정한다.
NSST가 적용되는 경우, 디코딩 장치(200)는 NSST 인덱스를 파싱하고(S2415), NSST 인덱스가 0보다 큰 지 여부를 결정한다(S2420). NSST 인덱스는 엔트로피 디코딩부(210)에 의해 CABAC과 같은 기법을 통해 복원될 수 있다. NSST 인덱스가 0인 경우, 디코딩 장치(200)는 2차 역변환을 생략하고 코어 역변환 또는 1차 역변환을 적용할 수 있다(S2445).
또한, NSST가 적용되는 경우, 디코딩 장치(200)는 2차 역변환을 위한 변환 커널을 선택한다(S2435). 예를 들어, 디코딩 장치(200)는 NSST 인덱스(NSST_idx)에 대응하는 변환 커널을 선택할 수 있다. 또한, 디코딩 장치(200)는 블록 사이즈(너비, 높이), 인트라 예측 모드, CIdx(루마, 크로마)를 고려하여 변환 커널을 선택할 수 있다.
NSST 인덱스가 0보다 큰 경우, 디코딩 장치(200)는 축소된 변환의 적용을 위한 조건이 만족되는지 여부를 결정한다(S2425). 축소된 변환의 적용을 위한 조건은 상술한 것과 같은 조건들을 포함할 수 있다. 축소된 변환이 적용되지 않는 경우, 디코딩 장치(200)는 보통의 2차 역변환을 적용할 수 있다(S2430). 예를 들어, 디코딩 장치(200)는 S2435 단계에서 선택된 변환 커널로부터 2차 역변환 행렬을 결정하고, 결정된 2차 역변환 행렬을 변환 계수들을 포함하는 현재 블록에 적용할 수 있다.
축소된 변환이 적용되는 경우, 디코딩 장치(200)는 축소된 2차 역변환을 적용할 수 있다(S2440). 예를 들어, 디코딩 장치(200)는 S2335 단계에서 선택된 변환 커널로부터 축소 인자를 고려하여 축소된 역변환 행렬을 결정하고, 축소된 역변환 행렬을 변환 계수들을 포함하는 현재 블록에 적용할 수 있다. 이후, 디코딩 장치(200)는 코어 역변환 또는 1차 역변환을 적용한다(S2445)
실시예 10: 상이한 블록 사이즈에 대한 2차 변환으로서의 축소된 변환(Reduced Transform as a Secondary Transform with Different Block Size)
도 25a, 도 25b, 도 26a, 및 도 26b는 본 발명의 실시예에 따른 축소된 변환 및 축소된 역변환의 예를 도시한다.
본 발명의 일 실시예에서, 4x4, 8x8, 16x16 등 상이한 블록 사이즈에 대한 비디오 코덱에서 축소된 변환이 2차 변환 및 2차 역변환으로서 사용될 수 있다. 8x8 블록 사이즈 및 축소 인자 R = 16에 대한 예로서 2차 변환 및 2차 역변환이 도 25a 및 도 25b와 같이 설정될 수 있다.
축소된 변환 및 축소된 역변환의 의사코드(pseudocode)는 도 26과 같이 설정될 수 있다.
실시예 11: 비정방형의 2차 변환으로서 축소된 변환(Reduced Transform as a Secondary Transform with Non-Rectangular Shape)
도 27은 본 발명의 실시예에 따른 축소된 2차 변환이 적용되는 영역의 예를 도시한다.
상술한 바와 같이, 2차 변환에서의 복잡도 이슈로 인하여, 2차 변환은 4x4 및 8x8 코너에 적용될 수 있다. 축소된 변환은 비정방형에도 적용될 수 있다.
도 27에 도시된 것과 같이, RST는 블록의 일부 영역(빗금친 영역)에만 적용될 수 있다. 도 27에서 각 사각형은 4x4 영역을 나타내며, 10개의 4x4 픽셀(즉, 160개의 픽셀들)에 RST가 적용될 수 있다. 축소 인자 R = 16인 경우, 전체 RST 행렬은 16x16 행렬이며, 이는 수용 가능한 계산량일 수 있다.
또 다른 예에서, 8x8 블록에 대하여 RST가 적용되는 경우, 우하측(bottom-right) 4x4 블록을 제외한 나머지 좌상측(top-left), 우상측(top-right), 우하측(bottom-left) 3개의 4x4 블록들(총 48개의 변환 계수들)에 대하여만 비분리 변환(RST)이 적용될 수 있다.
실시예 12: 축소 인자(Reduction Factor)
도 28은 본 발명의 실시예에 따른 축소 인자에 따른 축소된 변환을 도시한다.
축소 인자의 변경은 메모리와 곱셈 복잡도를 변경시킬 수 있다. 상술한 바와 같이 축소 인자 변경에 의해 인자(factor) R/N 만큼 메모리와 곱셈 복잡도가 감소할 수 있다. 예를 들어 8x8 NSST에 대하여 R = 16인 경우, 메모리와 곱셈 복잡도는 1/4만큼 감소될 수 있다.
실시예 13: 상위 레벨 신택스(High Level Syntax)
아래의 표 6과 같은 신택스 엘레먼트들이 비디오 코딩에서 RST를 처리하기 위해 사용될 수 있다. 축소된 변환과 관련된 시맨틱스(semantics)는 SPS(sequence parameter set) 또는 슬라이스 헤더(slice header)에 존재할 수 있다.
Reduced_transform_enabled_flag가 1임은 축소된 변환이 가능하고 적용됨을 나타낸다. Reduced_transform_enabled_flag가 0임은 축소된 변환이 가능하지 않음을 나타낸다. Reduced_transform_enabled_flag가 존재하지 않는 경우, 0인 것으로 추론된다. ( Reduced_transform_enabled_flag equals to 1 specifies that reduced transform is enabled and applied. Reduced_transform_enabled_flag equal to 0 specifies that reduced transform is not enabled. When Reduced_transform_enabled_flag is not present, it is inferred to be equal to 0).
Reduced_transform_factor는 축소된 변환을 위해 유지할 축소된 차원들의 개수를 나타낸다. Reduced_transform_factor가 존재하지 않으면, R과 같은 것으로 추론된다. ( Reduced_transform_factor specifies that the number of reduced dimensions to keep for reduced transform. When Reduced_transform_factor is not present, it is inferred to be equal to R).
min_reduced_transform_size는 축소된 변환을 적용하기 위한 최소의 변환 사이즈를 나타낸다. min_reduced_transform_size가 존재하지 않으면, 0으로 추론된다. ( min_reduced_transform_size specifies that the minimum transform size to apply reduced transform. When min_reduced_transform_size is not present, it is inferred to be equal to 0).
max_reduced_transform_size는 축소된 변환을 적용하기 위한 최대의 변환 사이즈를 나타낸다. max_reduced_transform_size가 존재하지 않으면, 0으로 추론된다.
reduced_transform_size는 축소된 변환을 위해 유지할 축소된 차원들의 개수를 나타낸다. reduced_transform_size가 존재하지 않으면, 0으로 추론된다. ( reduced_transform_size specifies that the number of reduced dimensions to keep for reduced transform. When Reduced_transform_factor is not present, it is inferred to be equal to 0.)
Figure PCTKR2019011517-appb-img-000017
실시예 14: 최악의 경우 핸들링(Worst case handling)을 위한 4x4 RST의 조건적 적용
4x4 블록에 적용될 수 있는 비분리 2차 변환(4x4 NSST)은 16x16 변환이다. 4x4 NSST는 DCT-2, DST-7, 또는 DCT-8 등의 1차 변환이 적용된 블록에 대해 2차적으로 적용된다. 1차 변환이 적용된 블록의 크기를 NxM이라 할 때, 4x4 NSST를 NxM 블록에 적용할 때 아래와 같은 방법이 고려될 수 있다.
1) NxM 영역에 대해 4x4 NSST를 적용하기 위한 조건은 아래의 a), b)와 같다
a) N >= 4
b) M >= 4
2) NxM 영역에 대해 모두 4x4 NSST가 적용되는 것이 아니라 일부 영역에만 적용될 수 있다. 예를 들어, 좌상측 KxJ 영역에 대하여만 4x4 NSST가 적용될 수 있다. 이 경우를 위한 조건은 아래의 a), b)와 같다.
a) K >= 4
b) J >= 4
3) 2차 변환이 적용될 영역을 4x4 블록들로 분할한 후 각 분할된 블록에 대해 4x4 NSST가 적용될 수 있다.
4x4 NSST의 계산 복잡도는 인코더와 디코더의 매우 중요한 고려 요소이므로, 이에 대해 상세히 분석하도록 한다. 특히 곱셈 수를 기준으로 4x4 NSST의 계산적 복잡도를 분석한다. 순방향 NSST의 경우 16x16 2차 변환은 16개의 행 방향 변환 기저 벡터들로 구성되며, 16x1 벡터와 각 변환 기저 벡터에 대해 내적을 취하면 해당 변환 기저 벡터에 대한 변환 계수가 획득된다. 16개의 변환 기저 벡터들에 대한 모든 변환 계수를 얻는 과정은 16x16 비분리 변환 행렬과 입력 16x1 벡터를 곱하는 것과 같다. 따라서 4x4 순방향 NSST에 요구되는 총 곱셈 수는 256이다.
디코더에서, 16x1 변환 계수에 대하여 역방향 16x16 비분리 변환 적용하면(양자화나 정수화 계산 등의 효과를 무시했을 때) 원래의 4x4 1차 변환 블록의 계수가 복원될 수 있다. 다시 말해, 역방향 16x16 비분리 변환 행렬을 16x1 변환 계수 벡터에 곱하면 16x1 벡터 형태의 데이터가 획득되고 최초에 적용했었던 행-우선 또는 열-우선 순서에 따라 데이터를 배열하면 4x4 블록 신호(1차 변환 계수)가 복원될 수 있다. 따라서 4x4 역방향 NSST에 요구되는 총 곱셈 수는 256이다.
상술한 바와 같이 4x4 NSST가 적용되는 경우 샘플 단위로 요구되는 곱셈 개수는 16이다. 이는 4x4 NSST 수행과정인 16x1 벡터와 각 변환 기저 벡터들의 내적 과정에서 획득되는 곱셈의 총 개수 256에서 총 샘플의 개수 16으로 나누었을 때 얻어지는 수이다. 순방향 4x4 NSST와 역방향 4x4 NSST의 경우에 대해 모두 동일하게 요구되는 곱셈수는 16이다.
만약 8x8 블록의 경우 4x4 NSST를 적용했을 때 요구되는 샘플 당 곱셈의 개수는 4x4 NSST를 적용한 영역에 따라 아래와 같이 결정된다.
1. 4x4 NSST를 좌상측 4x4 영역에만 적용한 경우: 256(4x4 NSST 과정에서 필요한 곱셈수) / 64(8x8 블록 내 총 샘플의 수) = 4 곱셈수 / 샘플
2. 4x4 NSST를 좌상측 4x4 영역과 우상측 4x4 영역에 적용한 경우: 512(2개의 4x4 NSST 과정에서 필요한 곱셈수) / 64(8x8 블록 내 총 샘플의 개수) = 8 곱셈수 / 샘플
3. 4x4 NSST를 8x8 블록의 모든 4x4 영역에 적용한 경우: 1024(4개의 4x4 NSST 과정에서 필요한 곱셈수) / 64(8x8 블록 내 총 샘플의 개수) = 16 곱셈수 / 샘플
상술한 바와 같이 블록의 크기가 큰 경우 각 샘플단 요구되는 최악의 경우 곱셈의 수를 감소시키기 위해 4x4 NSST를 적용하는 범위를 감소시킬 수 있다.
따라서, 4x4 NSST를 사용하는 경우 TU의 크기가 4x4인 경우 최악의 경우가 된다. 이 경우, 최악의 경우 복잡도(worst case complexity)를 감소시키기 위한 방법은 아래와 같을 수 있다.
방법 1. 작은 TU(즉, 4x4 TU)에 대하여 4x4 NSST를 적용하지 않는다.
방법 2. 4x4 블록(4x4 TU)의 경우, 4x4 NSST 대신 4x4 RST를 적용한다.
방법 1의 경우, 4x4 NSST를 적용하지 않음으로써 부호화 성능에 많은 저하가 초래됨이 실험을 통해 관찰되었다. 방법 2의 경우, 16x1 변환 계수 벡터를 구성하는 요소들의 통계적 특성에 따라 모든 변환 계수를 사용하지 않고도 앞쪽에 위치한 일부의 변환 계수들에 대한 역변환을 적용함으로써 원래의 신호와 상당히 가까운 신호를 복원할 수 있고 대부분의 부호화 성능을 유지할 수 있음이 밝혀졌다.
구체적으로 4x4 RST의 경우, 역방향(또는 순방향) 16x16 비분리 변환이 16개의 열 기저 벡터(column basis vector)들로 구성된다고 할 때, L개의 열 기저 벡터만이 남겨져 16xL 행렬이 구성된다. 변환 계수들 중에서 보다 중요한 L개의 변환 계수들만을 남김으로써 16xL 행렬와 Lx1 벡터를 곱하면 원래의 16x1 벡터 데이터와 오차가 크지 않은 16x1 벡터가 복원될 수 있다.
결과적으로 L개의 계수들만이 데이터 복원에 개입하기 때문에, 변환 계수를 획득하기 위하여 16x1 변환 계수 벡터가 아니라 Lx1 변환 계수 벡터를 구하면 된다. 즉, 순방향 16x16 비분리 변환 행렬에서 L개의 행 방향 변환 벡터들을 선택함으로써 Lx16 변환 행렬이 구성되고, Lx16 변환 행렬과 16x1 입력 벡터를 곱하면 L개의 변환 계수들이 획득된다.
L 값은 1 <= L < 16의 범위를 갖게 되며 일반적으로는 16개의 변환 기저 벡터들 중 임의의 방법으로 L개가 선택될 수 있으나, 상술한 바와 같이 부호화와 복호화 측면에서 신호의 에너지 중요도가 높은 변환 기저 벡터들을 선택하는 것이 부호화 효율 관점에서 유리할 수 있다. L 값의 변환에 따를 4x4 블록에서의 샘플당 최악의 경우 곱셈 수는 아래의 표 7와 같다.
Figure PCTKR2019011517-appb-img-000018
상술한 바와 같이 최악의 경우 곱셈 복잡도 감소를 위해 아래의 표 8과 같이 4x4 NSST와 4x4 RST를 복합적으로 사용할 수 있다. (단, 아래의 예는 4x4 NSST를 적용하기 위한 조건(즉, 현재 블록의 너비와 높이가 모두 4보다 크거나 같은 경우) 하에 4x4 NSST와 4x4 RST를 적용하는 조건을 설명한다).
상술한 바와 같이, 4x4 블록에 대한 4x4 NSST는 16개의 데이터를 입력받아 16개의 데이터를 출력하는 정방형(16x16) 변환 행렬이며, 4x4 RST는 인코더측을 기준으로 16개의 데이터를 입력받아 16보다 작은 R개(예: 8개)의 데이터를 출력하는 비정방형(8x16) 변환 행렬을 의미한다. 디코더측을 기준으로 4x4 RST는 16보다 작은 R개(예: 8개)의 데이터를 입력받아 16개의 데이터를 출력하는 비정방형(16x8) 변환 행렬을 의미한다.
Figure PCTKR2019011517-appb-img-000019
표 8을 참조하면, 현재 블록의 너비와 높이가 각각 4인 경우, 현재 블록에 대해 8x16 행렬에 기반한 4x4 RST가 적용되고, 그렇지 않으면(현재 블록의 너비 또는 높이 중 어느 하나가 4가 아닌 경우) 현재 블록의 좌상측 4x4 영역에 대해 4x4 NSST가 적용될 수 있다. 보다 구체적으로, 현재 블록의 사이즈가 4x4인 경우, 16의 입력 길이와 8의 출력 길이를 갖는 비분리 변환이 적용될 수 있다. 역방향 비분리 변환의 경우, 반대로 8의 입력 길이와 16의 출력 길이를 갖는 비분리 변환이 적용될 수 있다.
상술한 바와 같이, 최악의 경우 곱셈 복잡도 감소를 위해 아래의 표 11과 같이 4x4 NSST와 4x4 RST를 조합하여 사용할 수 있다. (단, 아래의 예는 4x4 NSST를 적용하기 위한 조건(즉, 현재 블록의 너비와 높이가 모두 4보다 크거나 같은 경우) 하에 4x4 NSST와 4x4 RST를 적용하는 조건을 설명한다).
Figure PCTKR2019011517-appb-img-000020
표 9를 참조하면, 현재 블록의 너비와 높이가 각각 4인 경우, 8x16 행렬에 기반한 4x4 RST가 적용되고, 현재 블록의 너비와 높이의 곱이 임계값(TH)보다 작으면, 4x4 NSST가 현재 블록의 좌상측 4x4 영역에 적용되고, 현재 블록의 너비가 높이보다 크거나 같으면, 4x4 NSST가 현재 블록의 좌상측 4x4 영역 및 좌상측 4x4 영역의 우측에 위치한 4x4 영역에 적용되고, 나머지의 경우(현재 블록의 너비와 높이의 곱이 임계값보다 크거나 같고 현재 블록의 너비가 높이보다 작은 경우) 4x4 NSST가 현재 블록의 좌상측 4x4 영역 및 좌상측 4x4 영역의 아래에 위치한 4x4 영역에 적용된다.
결론적으로, 최악의 경우 곱셈의 계산적 복잡도 감소를 위하여 4x4 블록에 대해 4x4 NSST 대신 4x4 RST(예를 들어, 8x16 행렬)가 적용될 수 있다.
실시예 15: 최악의 경우 핸들링(Worst case handling)을 위한 8x8 RST의 조건적 적용
8x8 블록에 적용될 수 있는 비분리 2차 변환(8x8 NSST)은 64x64 변환이다. 8x8 NSST는 DCT-2, DST-7, 또는 DCT-8 등의 1차 변환이 적용된 블록에 대해 2차적으로 적용된다. 1차 변환이 적용된 블록의 크기를 NxM이라 할 때, 8x8 NSST를 NxM 블록에 적용할 때 아래와 같은 방법이 고려될 수 있다.
1) NxM 영역에 대해 8x8 NSST를 적용하기 위한 조건은 아래의 c), d)와 같다
c) N >= 8
d) M >= 8
2) NxM 영역에 대해 모두 8x8 NSST가 적용되는 것이 아니라 일부 영역에만 적용될 수 있다. 예를 들어, 좌상측 KxJ 영역에 대하여만 8x8 NSST가 적용될 수 있다. 이 경우를 위한 조건은 아래의 c), d)와 같다.
c) K >= 8
d) J >= 8
3) 2차 변환이 적용될 영역을 8x8 블록들로 분할한 후 각 분할된 블록에 대해 8x8 NSST가 적용될 수 있다.
8x8 NSST의 계산 복잡도는 인코더와 디코더의 매우 중요한 고려 요소이므로, 이에 대해 상세히 분석하도록 한다. 특히 곱셈 수를 기준으로 8x8 NSST의 계산적 복잡도를 분석한다. 순방향 NSST의 경우 64x64 비분리 2차 변환은 64개의 행 방향 변환 기저 벡터들로 구성되며, 64x1 벡터와 각 변환 기저 벡터에 대해 내적을 취하면 해당 변환 기저 벡터에 대한 변환 계수가 획득된다. 64개의 변환 기저 벡터들에 대한 모든 변환 계수를 얻는 과정은 64x64 비분리 변환 행렬과 입력 64x1 벡터를 곱하는 것과 같다. 따라서 8x8 순방향 NSST에 요구되는 총 곱셈 수는 4096이다.
디코더에서, 64x1 변환 계수에 대하여 역방향 64x64 비분리 변환을 적용하면(양자화나 정수화 계산 등의 효과를 무시했을 때) 원래의 8x8 1차 변환 블록의 계수가 복원될 수 있다. 다시 말해, 역방향 64x64 비분리 변환 행렬을 64x1 변환 계수 벡터에 곱하면 64x1 벡터 형태의 데이터가 획득되고 최초에 적용했었던 행-우선 또는 열-우선 순서에 따라 데이터를 배열하면 8x8 블록 신호(1차 변환 계수)가 복원될 수 있다. 따라서 8x8 역방향 NSST에 요구되는 총 곱셈 수는 4096이다.
상술한 바와 같이 8x8 NSST가 적용되는 경우 샘플 단위로 요구되는 곱셈 개수는 64이다. 이는 8x8 NSST 수행과정인 64x1 벡터와 각 변환 기저 벡터들의 내적 과정에서 획득되는 곱셈의 총 개수 4096에서 총 샘플의 개수 64으로 나누었을 때 얻어지는 수이다. 순방향 8x8 NSST와 역방향 8x8 NSST의 경우에 대해 모두 동일하게 요구되는 곱셈수는 64이다.
만약 16x16 블록의 경우 8x8 NSST를 적용했을 때 요구되는 샘플 당 곱셈의 개수는 8x8 NSST를 적용한 영역에 따라 아래와 같이 결정된다.
1. 8x8 NSST를 좌상측 8x8 영역에만 적용한 경우: 4096(8x8 NSST 과정에서 필요한 곱셈수) / 256(16x16 블록 내 총 샘플의 수) = 16 곱셈수 / 샘플
2. 8x8 NSST를 좌상측 8x8 영역과 우상측 8x8 영역에 적용한 경우: 8192(2개의 8x8 NSST 과정에서 필요한 곱셈수) / 256(16x16 블록 내 총 샘플의 개수) = 32 곱셈수 / 샘플
3. 8x8 NSST를 16x16 블록의 모든 8x8 영역에 적용한 경우: 16384(4개의 8x8 NSST 과정에서 필요한 곱셈수) / 256(16x16 블록 내 총 샘플의 개수) = 64 곱셈수 / 샘플
상술한 바와 같이 블록의 크기가 큰 경우 각 샘플당 요구되는 최악의 경우 곱셈의 수를 감소시키기 위해 8x8 NSST를 적용하는 범위를 감소시킬 수 있다.
8x8 NSST가 적용되는 경우, 8x8 블록이 8x8 NSST가 적용될 수 있는 가장 작은 TU이기 때문에, 샘플당 요구되는 곱셈수의 관점에서 TU의 크기가 8x8인 경우 최악의 경우에 해당한다. 이 경우, 최악의 경우 복잡도(worst case complexity)를 감소시키기 위한 방법은 아래와 같을 수 있다.
방법 1. 작은 TU(즉, 8x8 TU)에 대하여 8x8 NSST를 적용하지 않는다.
방법 2. 8x8 블록(8x8 TU)의 경우, 8x8 NSST 대신 8x8 RST를 적용한다.
방법 1의 경우, 8x8 NSST를 적용하지 않음으로써 부호화 성능에 많은 저하가 초래됨이 실험을 통해 관찰되었다. 방법 2의 경우, 64x1 변환 계수 벡터를 구성하는 요소들의 통계적 특성에 따라 모든 변환 계수를 사용하지 않고도 앞쪽에 위치한 일부의 변환 계수들에 대한 역변환을 적용함으로써 원래의 신호와 상당히 가까운 신호를 복원할 수 있고 대부분의 부호화 성능을 유지할 수 있음이 밝혀졌다.
구체적으로 8x8 RST의 경우, 역방향(또는 순방향) 64x64 비분리 변환이 16개의 열 기저 벡터(column basis vector)들로 구성된다고 할 때, L개의 열 기저 벡터만이 남겨져 64xL 행렬이 구성된다. 변환 계수들 중에서 보다 중요한 L개의 변환 계수들만을 남김으로써 64xL 행렬와 Lx1 벡터를 곱하면 원래의 64x1 벡터 데이터와 오차가 크지 않은 64x1 벡터가 복원될 수 있다.
또한, 실시예 11에서 설명된 바와 같이, 8x8 블록에 포함된 64개의 변환 계수들 전체에 대해 RST가 적용되지 않고, 일부 영역(예: 8x8 블록에서 우하측 4x4 영역을 제외한 나머지 영역)에 RST가 적용될 수 있다.
결과적으로 L개의 계수들만이 데이터 복원에 개입하기 때문에, 변환 계수를 획득하기 위하여 64x1 변환 계수 벡터가 아니라 Lx1 변환 계수 벡터를 구하면 된다. 즉, 순방향 64x64 비분리 변환 행렬에서 L개의 행 방향 변환 벡터들을 선택함으로써 Lx64 변환 행렬이 구성되고, Lx64 변환 행렬과 64x1 입력 벡터를 곱하면 L개의 변환 계수들이 획득된다.
L 값은 1 <= L < 64의 범위를 갖게 되며 일반적으로는 64개의 변환 기저 벡터들 중 임의의 방법으로 L개가 선택될 수 있으나, 상술한 바와 같이 부호화와 복호화 측면에서 신호의 에너지 중요도가 높은 변환 기저 벡터들을 선택하는 것이 부호화 효율 관점에서 유리할 수 있다. L 값의 변화에 따른 8x8 블록에서의 샘플당 최악의 경우 곱셈 수는 아래의 표 10과 같다.
Figure PCTKR2019011517-appb-img-000021
상술한 바와 같이 최악의 경우 곱셈 복잡도 감소를 위해 아래의 표 13과 같이 서로 다른 L 값을 가진 8x8 RST를 복합적으로 사용할 수 있다. (단, 아래의 예는 8x8 NSST를 적용하기 위한 조건(즉, 현재 블록의 너비와 높이가 모두 8보다 크거나 같은 경우) 하에 8x8 RST를 적용하는 조건을 설명한다).
Figure PCTKR2019011517-appb-img-000022
표 11을 참조하면, 현재 블록의 너비와 높이가 각각 8인 경우, 현재 블록에 대해 8x64 행렬에 기반한 8x8 RST가 적용되고, 그렇지 않으면(현재 블록의 너비 또는 높이 중 어느 하나가 8가 아닌 경우) 현재 블록에 대해 16x64 행렬에 기반한 8x8 RST가 적용될 수 있다. 보다 구체적으로, 현재 블록의 사이즈가 8x8인 경우, 64의 입력 길이와 8의 출력 길이를 갖는 비분리 변환이 적용될 수 있고, 그렇지 않은 경우 64의 입력 길이와 16의 출력 길이를 갖는 비분리 변환이 적용될 수 있다. 역방향 비분리 변환의 경우, 현재 블록이 8x8인 경우 8의 입력 길이와 64의 출력 길이를 갖는 비분리 변환이 적용될 수 있고, 그렇지 않은 경우 16의 입력 길이와 64의 출력 길이를 갖는 비분리 변환이 적용될 수 있다.
또한, 실시예 11에서 설명된 바와 같이, RST는 8x8 블록 전체에 대하여 적용되지 않고 일부 영역에만 적용될 수 있으므로, 예를 들어 8x8 블록의 우하측 4x4 영역을 제외한 나머지 영역에 RST가 적용되는 경우, 8x48 또는 16x18 행렬에 기반한 8x8 RST가 적용될 수 있다. 즉, 현재 블록의 너비와 높이가 각각 8에 해당하는 경우, 8x48 행렬에 기반한 8x8 RST가 적용되고, 그렇지 않는 경우(현재 블록의 너비 또는 높이가 8이 아닌 경우) 16x48 행렬에 기반한 8x8 RST가 적용될 수 있다.
순방향 비분리 변환의 경우, 현재 블록이 8x8인 경우 48의 입력 길이와 8의 출력 길이를 갖는 비분리 변환이 적용될 수 있고, 그렇지 않은 경우 48의 입력 길이와 16의 출력 길이를 갖는 비분리 변환이 적용될 수 있다.
역방향 비분리 변환의 경우, 현재 블록이 8x8인 경우 8의 입력 길이와 48의 출력 길이를 갖는 비분리 변환이 적용될 수 있고, 그렇지 않은 경우 16의 입력 길이와 48의 출력 길이를 갖는 비분리 변환이 적용될 수 있다.
결론적으로, 8x8 보다 큰 블록에 대하여 RST가 적용되는 경우, 인코더측을 기준으로, 블록의 높이와 너비가 각각 8에 해당하면 64보다 작거나 같은 입력 길이(예: 48 또는 64)와 64보다 작은 출력 길이(예: 8)를 갖는 비분리 변환 행렬(8x48 또는 8x64 행렬)이 적용될 수 있으며, 블록의 높이 또는 너비가 8에 해당하지 않으면 64보다 작거나 같은 입력 길이(예: 48 또는 64)와 64보다 작은 출력 길이(예: 16)를 갖는 비분리 변환 행렬(16x48 또는 16x64 행렬)이 적용될 수 있다.
또한, 디코더 측을 기준으로 8x8 보다 큰 블록에 대하여 RST가 적용되는 경우, 블록의 높이와 너비가 각각 8에 해당하면 64보다 작은 입력 길이(예: 8)와 64보다 작거나 같은 출력 길이(예: 48 또는 64)를 갖는 비분리 변환 행렬(48x8 또는 64x8 행렬)이 적용될 수 있으며, 블록의 높이 또는 너비가 8에 해당하지 않으면 64보다 작은 입력 길이(예: 16)와 64보다 작거나 같은 출력 길이(예: 48 또는 64)를 갖는 비분리 변환 행렬(48x16 또는 64x16 행렬)이 적용될 수 있다.
표 12는 8x8 NSST를 적용하기 위한 조건(즉, 현재 블록의 너비와 높이가 8보다 크거나 같은 경우) 하에 다양한 8x8 RST의 적용에 관한 예이다.
Figure PCTKR2019011517-appb-img-000023
표 12를 참조하면, 현재 블록의 너비와 높이가 각각 8인 경우, 8x64 행렬(또는 8x48 행렬)에 기반한 8x8 RST가 적용되고, 현재 블록의 너비와 높이의 곱이 임계값(TH)보다 작으면, 16x64 행렬(또는 16x48 행렬)에 기반한 8x8 RST가 현재 블록의 좌상측 8x8 영역에 적용되고, 나머지의 경우(현재 블록의 너비 또는 높이가 8이 아니고, 현재 블록의 너비와 높이의 곱이 임계값보다 크거나 같은 경우) 32x64 행렬(또는 32x48 행렬)에 기반한 8x8 RST가 현재 블록의 좌상측 8x8 영역에 적용된다.
도 29는 본 발명이 적용되는 실시예로서, 변환을 수행하는 인코딩 흐름도의 예를 도시한다.
인코딩 장치(100)는 레지듀얼 블록에 대하여 1차 변환을 수행한다(S2910). 1차 변환은 코어 변환으로 지칭될 수 있다. 실시예로서, 인코딩 장치(100)는 전술한 MTS를 이용하여 1차 변환을 수행할 수 있다. 또한, 인코딩 장치(100)는 MTS 후보들 중에서 특정 MTS를 지시하는 MTS 인덱스를 디코딩 장치(200)로 전송할 수 있다. 이때, MTS 후보는 현재 블록의 인트라 예측 모드에 기반하여 구성될 수 있다.
인코딩 장치(100)는 2차 변환의 적용 여부를 결정한다(S2920). 일 예로, 인코딩 장치(100)는 1차 변환된 레지듀얼 변환 계수에 기초하여 2차 변환의 적용 여부를 결정할 수 있다. 예를 들어, 2차 변환은 NSST 또는 RST일 수 있다.
인코딩 장치(100)는 2차 변환을 결정한다(S2930). 이때, 인코딩 장치(100)는 인트라 예측 모드에 따라 지정된 NSST(또는 RST) 변환 집합에 기초하여 2차 변환을 결정할 수 있다.
또한, 일 예로, 인코딩 장치(100)는 S2930 단계에 앞서 현재 블록의 크기에 기초하여 2차 변환이 적용되는 영역을 결정할 수 있다.
인코딩 장치(100)는 S2930 단계에서 결정된 2차 변환을 이용하여 2차 변환을 수행한다(S2940).
도 30은 본 발명이 적용되는 실시예로서, 변환을 수행하는 디코딩 흐름도의 예를 도시한다.
디코딩 장치(200)는 2차 역변환의 적용여부를 결정한다(S3010). 예를 들어, 2차 역변환은 NSST 또는 RST일 수 있다. 일 예로, 디코딩 장치(200)는 인코딩 장치(100)로부터 수신된 2차 변환 플래그에 기초하여 2차 역변환의 적용 여부를 결정할 수 있다.
디코딩 장치(200)는 2차 역변환을 결정한다(S3020). 이때, 디코딩 장치(200)는 상술한 인트라 예측 모드에 따라 지정된 NSST(또는 RST) 변환 집합에 기초하여 현재 블록에 적용되는 2차 역변환을 결정할 수 있다.
또한, 일 예로, 디코딩 장치(200)는 S3020 단계에 앞서 현재 블록의 크기에 기초하여 2차 역변환이 적용되는 영역을 결정할 수 있다.
디코딩 장치(200)는 S3020 단계에서 결정된 2차 역변환을 이용하여 역양자화된 레지듀얼 블록에 대해 2차 역변환을 수행한다(S3030).
디코딩 장치(200)는 2차 역변환된 레지듀얼 블록에 대하여 1차 역변환을 수행한다(S3040). 1차 역변환은 코어 역변환으로 지칭될 수 있다. 실시예로서, 디코딩 장치(200)는 상술한 MTS를 이용하여 1차 역변환을 수행할 수 있다. 또한, 일 예로, 디코딩 장치(200)는 S3040 단계에 앞서 현재 블록에 MTS가 적용되는지 여부를 결정할 수 있다. 이 경우, 도 30의 디코딩 흐름도에 MTS가 적용되는지 여부를 결정하는 단계가 더 포함될 수 있다.
일 예로, 현재 블록에 MTS가 적용되는 경우(즉, cu_mts_flag = 1), 디코딩 장치(200)는 현재 블록의 인트라 예측 모드에 기초하여 MTS 후보를 구성할 수 있다. 이 경우, 도 30의 디코딩 흐름도에 MTS 후보를 구성하는 단계가 더 포함될 수 있다. 그리고, 디코딩 장치(200)는 구성된 MTS 후보들 중에서 특정 MTS를 지시하는 mts_idx를 이용하여 현재 블록에 적용되는 1차 역변환을 결정할 수 있다.
도 31은 본 발명이 적용되는 실시예로서, 인코딩 장치(100) 내 변환부(120)의 세부 블록도의 예를 도시한다.
본 발명의 실시예가 적용되는 인코딩 장치(100)는, 1차 변환부(3110), 2차 변환 적용여부 결정부(3120), 2차 변환 결정부(3130), 2차 변환부(3140)를 포함할 수 있다.
1차 변환부(3110)는 레지듀얼 블록에 대하여 1차 변환을 수행할 수 있다. 1차 변환은 코어 변환으로 지칭될 수 있다. 실시예로서, 1차 변환부(3110)는 전술한 MTS를 이용하여 1차 변환을 수행할 수 있다. 또한, 1차 변환부(3110)는 MTS 후보들 중에서 특정 MTS를 지시하는 MTS 인덱스를 디코딩 장치(200)로 전송할 수 있다. 이때, MTS 후보는 현재 블록의 인트라 예측 모드에 기반하여 구성될 수 있다.
2차 변환 적용 여부 결정부(3120)는 2차 변환의 적용 여부를 결정할 수 있다. 일 예로, 2차 변환 적용 여부 결정부(3120)는 1차 변환된 레지듀얼 블록의 변환 계수에 기초하여 2차 변환의 적용 여부를 결정할 수 있다. 예를 들어, 2차 변환은 NSST 또는 RST일 수 있다.
2차 변환 결정부(3130)는 2차 변환을 결정한다. 이때, 2차 변환 결정부(3130)는 상술한 바와 같이 인트라 예측 모드에 따라 지정된 NSST(또는 RST) 변환 집합에 기초하여 2차 변환을 결정할 수 있다.
또한, 일 예로, 2차 변환 결정부(3130)는 현재 블록의 크기에 기초하여 2차 변환이 적용되는 영역을 결정할 수도 있다.
2차 변환부(3140)는 결정된 2차 변환을 이용하여 2차 변환을 수행할 수 있다.
도 32는 본 발명이 적용되는 실시예로서, 디코딩 장치(200) 내 역변환부(230)의 세부 블록도의 예를 도시한다.
본 발명이 적용되는 디코딩 장치(200)는, 2차 역변환 적용여부 결정부(3210), 2차 역변환 결정부(3220), 2차 역변환부(3230), 1차 역변환부(3240)를 포함한다.
2차 역변환 적용여부 결정부(3210)는 2차 역변환의 적용 여부를 결정할 수 있다. 예를 들어, 2차 역변환은 NSST 또는 RST일 수 있다. 일 예로, 2차 역변환 적용 여부 결정부(3210)는 인코딩 장치(100)로부터 수신된 2차 변환 플래그에 기초하여 2차 역변환의 적용여부를 결정할 수 있다. 다른 일 예로, 2차 역변환 적용 여부 결정부(3210)는 레지듀얼 블록의 변환 계수에 기초하여 2차 역변환의 적용 여부를 결정할 수도 있다.
2차 역변환 결정부(3220)는 2차 역변환을 결정할 수 있다. 이때, 2차 역변환 결정부(3220)는 인트라 예측 모드에 따라 지정된 NSST(또는 RST) 변환 집합에 기초하여 현재 블록에 적용되는 2차 역변환을 결정할 수 있다.
또한, 일 예로, 2차 역변환 결정부(3220)는 현재 블록의 크기에 기초하여 2차 역변환이 적용되는 영역을 결정할 수 있다.
또한, 일 예로, 2차 역변환부(3230)는 결정된 2차 역변환을 이용하여 역양자화된 레지듀얼 블록에 대하여 2차 역변환을 수행할 수 있다.
1차 역변환부(3240)는 2차 역변환된 레지듀얼 블록에 대하여 1차 역변환을 수행할 수 있다. 실시예로서, 1차 역변환부(3240)는 상술한 MTS를 이용하여 1차 변환을 수행할 수 있다. 또한, 일 예로, 1차 역변환부(3240)는 현재 블록에 MTS가 적용되는지 여부를 결정할 수 있다.
일 예로, 현재 블록에 MTS가 적용되는 경우(즉, cu_mts_flag = 1), 1차 역변환부(3240)는 현재 블록의 인트라 예측 모드에 기초하여 MTS 후보를 구성할 수 있다. 그리고, 1차 역변환부(3240)는 구성된 MTS 후보들 중에서 특정 MTS를 지시하는 mts_idx를 이용하여 현재 블록에 적용되는 1차 변환을 결정할 수 있다.
도 33은 본 발명의 실시예에 따른 변환이 적용되는 디코딩 흐름도의 예를 도시한다. 도 33의 동작들은 디코딩 장치(100)의 역변환부(230)에 의해 수행될 수 있다.
S3305 단계에서, 디코딩 장치(200)는 현재 블록의 높이와 너비에 기반하여 비분리 변환의 입력 길이 및 출력 길이를 결정한다. 여기서, 현재 블록의 높이와 너비가 각각 8인 경우, 비분리 변환의 입력 길이는 8, 출력 길이는 상기 입력 길이보다 크고 64보다 작거나 같은 값(예: 48 또는 64)으로 결정될 수 있다. 예를 들어, 인코더 측에서 8x8 블록의 변환 계수들 전체에 대하여 비분리 변환이 적용된 경우, 출력 길이는 64로 결정되고, 8x8 블록의 변환 계수들 중 일부(예: 8x8 블록 중 우-하단 4x4 영역을 제외한 부분)에 대하여 비분리 변환이 적용된 경우 출력 길이는 48로 결정될 수 있다.
S3310 단계에서, 디코딩 장치(200)는 비분리 변환의 입력 길이 및 출력 길이에 대응하는 비분리 변환 행렬을 결정한다. 예를 들어, 비분리 변환의 입력 길이가 8이고, 출력 길이가 48 또는 64인 경우(현재 블록의 사이즈가 4x4인 경우), 변환 커널로부터 도출된 48x8 또는 64x8 행렬이 비분리 변환으로서 결정되고, 비분리 변환의 입력 길이가 16이고, 출력 길이가 48 또는 64인 경우(예: 현재 블록이 8x8 보다 작으면서 4x4가 아닌 경우), 48x16 또는 64x16 변환 커널이 비분리 변환으로서 결정될 수 있다.
본 발명의 실시예에 따르면, 디코딩 장치(200)는 현재 블록의 인트라 예측 모드에 기반하여 비분리 변환 집합 인덱스(예: NSST 인덱스)를 결정하고, 비분리 변환 집합 인덱스에 포함된 비분리 변환 집합 내에서 비분리 변환 인덱스에 대응하는 비분리 변환 커널을 결정하고, S3305 단계에서 결정된 입력 길이 및 출력 길이에 기반하여 비분리 변환 커널로부터 비분리 변환 행렬을 결정할 수 있다.
S3315 단계에서, 디코딩 장치(200)는 현재 블록에 결정된 비분리 변환 행렬을 상기 현재 블록에서 결정된 입력 길이(8 또는 16) 만큼의 계수들에 적용한다. 예를 들어, 비분리 변환의 입력 길이가 8이고, 출력 길이가 48 또는 64인 경우, 변환 커널로부터 도출된 48x8 또는 64x8 행렬을 현재 블록에 포함된 8개의 계수들에 적용하고, 비분리 변환의 입력 길이가 16이고, 출력 길이가 48 또는 64인 경우, 변환 커널로부터 도출된 48x16 또는 64x16 행렬을 현재 블록의 좌상측 4x4 영역 16개의 계수들에 적용할 수 있다. 여기서, 비분리 변환이 적용되는 계수들은 현재 블록의 DC 위치로부터 정해진 스캔 순서(예: 도 16의 (a), (b), 또는 (c))에 따라 입력 길이(예: 8 또는 16)에 해당하는 위치까지의 계수들이다.
또한, 현재 블록의 높이와 너비가 각각 8인 경우에 해당하지 않는 경우에 대하여, 디코딩 장치(200)는, 현재 블록의 너비와 높이의 곱이 임계값보다 작으면, 현재 블록에서 좌상측 4x4 영역의 16개의 계수들을 입력으로 하여 출력 길이(예: 48 또는 64) 만큼의 변환된 계수들을 출력하는 비분리 변환 행렬(48x16 또는 64x16 행렬)을 적용하고, 현재 블록의 너비와 높이의 곱이 임계값보다 크거나 같으면, 현재 블록에서 32개의 계수들을 입력으로 하여 출력 길이(예: 48 또는 64) 만큼의 변환된 계수들을 출력하는 비분리 변환 행렬(48x32 또는 64x32 행렬)을 적용할 수 있다.
출력 길이가 64인 경우, 비분리 변환 행렬의 적용에 의하여 8x8 블록에 비분리 변환이 적용된 64개의 변환된 데이터(변환된 계수)들이 배치되고, 출력 길이가 48인 경우, 비분리 변환 행렬의 적용에 의하여 8x8 블록에서 우하단 4x4 영역을 제외한 나머지 영역에 비분리 변환이 적용된 48개의 변환된 데이터(변환된 계수)들이 배치된다.
도 34는 본 발명이 적용되는 실시예로서, 비디오 신호를 처리하기 위한 장치의 블록도의 예를 도시한다. 도 34의 비디오 신호 처리 장치(3400)는 도 1의 인코딩 장치(100) 또는 도 2의 디코딩 장치(200)에 해당할 수 있다.
영상 신호를 처리하는 영상 처리 장치(3400)는, 영상 신호를 저장하는 메모리(3420)와, 상기 메모리와 결합되면서 영상 신호를 처리하는 프로세서(3410)를 포함한다.
본 발명의 실시예에 따른 프로세서(3410)는 영상 신호의 처리를 위한 적어도 하나의 프로세싱 회로로 구성될 수 있으며, 영상 신호를 인코딩 또는 디코딩을 위한 명령어들을 실행함으로써 영상 신호를 처리할 수 있다. 즉, 프로세서(3410)는 상술한 인코딩 또는 디코딩 방법들을 실행함으로써 원본 영상 데이터를 인코딩하거나 인코딩된 영상 신호를 디코딩할 수 있다.
도 35는 본 발명이 적용되는 실시예로서 영상 코딩 시스템의 예를 도시한다.
영상 코딩 시스템은 소스 디바이스 및 수신 디바이스를 포함할 수 있다. 소스 디바이스는 인코딩된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스로 전달할 수 있다.
소스 디바이스는 비디오 소스, 인코딩 장치, 송신기를 포함할 수 있다. 수신 디바이스는 수신기, 디코딩 장치 및 렌더러를 포함할 수 있다. 인코딩 장치는 비디오/영상 인코딩 장치라고 불릴 수 있고, 디코딩 장치는 비디오/영상 디코딩 장치라고 불릴 수 있다. 송신기는 인코딩 장치에 포함될 수 있다. 수신기는 디코딩 장치에 포함될 수 있다. 렌더러는 디스플레이부를 포함할 수도 있고, 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다.
비디오 소스는 비디오/영상의 캡쳐, 합성 또는 생성 과정 등을 통하여 비디오/영상을 획득할 수 있다. 비디오 소스는 비디오/영상 캡쳐 디바이스 및/또는 비디오/영상 생성 디바이스를 포함할 수 있다. 비디오/영상 캡쳐 디바이스는 예를 들어, 하나 이상의 카메라, 이전에 캡쳐된 비디오/영상을 포함하는 비디오/영상 아카이브 등을 포함할 수 있다. 비디오/영상 생성 디바이스는 예를 들어 컴퓨터, 타블렛 및 스마트폰 등을 포함할 수 있으며 (전자적으로) 비디오/영상을 생성할 수 있다. 예를 들어, 컴퓨터 등을 통하여 가상의 비디오/영상이 생성될 수 있으며, 이 경우 관련 데이터가 생성되는 과정으로 비디오/영상 캡쳐 과정이 갈음될 수 있다.
인코딩 장치는 입력 비디오/영상을 인코딩할 수 있다. 인코딩 장치는 압축 및 코딩 효율을 위하여 예측, 변환, 양자화 등 일련의 절차를 수행할 수 있다. 인코딩된 데이터(인코딩된 비디오/영상 정보)는 비트스트림(bitstream) 형태로 출력될 수 있다.
전송부는 비트스트림 형태로 출력된 인코딩된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스의 수신부로 전달할 수 있다. 디지털 저장 매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장 매체를 포함할 수 있다. 전송부는 미리 정해진 파일 포멧을 통하여 미디어 파일을 생성하기 위한 엘레먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘레멘트를 포함할 수 있다. 수신기는 비트스트림을 추출하여 디코딩 장치로 전달할 수 있다.
디코딩 장치는 인코딩 장치의 동작에 대응하는 역양자화, 역변환, 예측 등 일련의 절차를 수행하여 비디오/영상을 디코딩할 수 있다.
렌더러는 디코딩된 비디오/영상을 렌더링할 수 있다. 렌더링된 비디오/영상은 디스플레이부를 통하여 디스플레이될 수 있다.
도 36은 본 발명이 적용되는 실시예로서, 컨텐츠 스트리밍 시스템의 구조도이다.
본 발명이 적용되는 컨텐츠 스트리밍 시스템은 크게 인코딩 서버, 스트리밍 서버, 웹 서버, 미디어 저장소, 사용자 장치, 및 멀티미디어 입력 장치를 포함할 수 있다.
인코딩 서버는 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고 이를 스트리밍 서버로 전송하는 역할을 한다. 다른 예로, 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들이 비트스트림을 직접 생성하는 경우, 인코딩 서버는 생략될 수 있다.
비트스트림은 본 발명이 적용되는 인코딩 방법 또는 비트스트림 생성 방법에 의해 생성될 수 있고, 스트리밍 서버는 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 비트스트림을 저장할 수 있다.
스트리밍 서버는 웹 서버를 통한 사용자 요청에 기초하여 멀티미디어 데이터를 사용자 장치에 전송하고, 웹 서버는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 한다. 사용자가 웹 서버에 원하는 서비스를 요청하면, 웹 서버는 이를 스트리밍 서버에 전달하고, 스트리밍 서버는 사용자에게 멀티미디어 데이터를 전송한다. 이때, 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 제어 서버는 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 한다.
스트리밍 서버는 미디어 저장소 및/또는 인코딩 서버로부터 컨텐츠를 수신할 수 있다. 예를 들어, 인코딩 서버로부터 컨텐츠를 수신하게 되는 경우, 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 스트리밍 서버는 비트스트림을 일정 시간동안 저장할 수 있다.
사용자 장치의 예로는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등이 있을 수 있다.
컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.
또한, 본 발명이 적용되는 처리 방법은 컴퓨터로 실행되는 프로그램의 형태로 생산될 수 있으며, 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 또한 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 판독할 수 있는 기록 매체는 컴퓨터로 읽을 수 있는 데이터가 저장되는 모든 종류의 저장 장치 및 분산 저장 장치를 포함한다. 상기 컴퓨터가 판독할 수 있는 기록 매체는, 예를 들어, 블루레이 디스크(BD), 범용 직렬 버스(USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광학적 데이터 저장 장치를 포함할 수 있다. 또한, 상기 컴퓨터가 판독할 수 있는 기록 매체는 반송파(예를 들어, 인터넷을 통한 전송)의 형태로 구현된 미디어를 포함한다. 또한, 인코딩 방법으로 생성된 비트스트림이 컴퓨터가 판독할 수 있는 기록 매체에 저장되거나 유무선 통신 네트워크를 통해 전송될 수 있다.
또한, 본 발명의 실시예는 프로그램 코드에 의한 컴퓨터 프로그램 제품으로 구현될 수 있고, 상기 프로그램 코드는 본 발명의 실시예에 의해 컴퓨터에서 수행될 수 있다. 상기 프로그램 코드는 컴퓨터에 의해 판독가능한 캐리어 상에 저장될 수 있다.
상기 기술된 것과 같이, 본 발명에서 설명한 실시예들은 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 예를 들어, 각 도면에서 도시한 기능 유닛들은 컴퓨터, 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다.
또한, 본 발명이 적용되는 디코더 및 인코더는 멀티미디어 방송 송수신 장치, 모바일 통신 단말, 홈 시네마 비디오 장치, 디지털 시네마 비디오 장치, 감시용 카메라, 비디오 대화 장치, 비디오 통신과 같은 실시간 통신 장치, 모바일 스트리밍 장치, 저장 매체, 캠코더, 주문형 비디오(VoD) 서비스 제공 장치, OTT 비디오(Over the top video) 장치, 인터넷 스트리밍 서비스 제공 장치, 3차원(3D) 비디오 장치, 화상 전화 비디오 장치, 및 의료용 비디오 장치 등에 포함될 수 있으며, 비디오 신호 또는 데이터 신호를 처리하기 위해 사용될 수 있다. 예를 들어, OTT 비디오(Over the top video) 장치로는 게임 콘솔, 블루레이 플레이어, 인터넷 접속 TV, 홈시어터 시스템, 스마트폰, 태블릿 PC, DVR(Digital Video Recoder) 등을 포함할 수 있다.
또한, 본 발명이 적용되는 처리 방법은 컴퓨터로 실행되는 프로그램의 형태로 생산될 수 있으며, 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 또한 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 판독할 수 있는 기록 매체는 컴퓨터로 읽을 수 있는 데이터가 저장되는 모든 종류의 저장 장치 및 분산 저장 장치를 포함한다. 상기 컴퓨터가 판독할 수 있는 기록 매체는, 예를 들어, 블루레이 디스크(BD), 범용 직렬 버스(USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광학적 데이터 저장 장치를 포함할 수 있다. 또한, 상기 컴퓨터가 판독할 수 있는 기록 매체는 반송파(예를 들어, 인터넷을 통한 전송)의 형태로 구현된 미디어를 포함한다. 또한, 인코딩 방법으로 생성된 비트스트림이 컴퓨터가 판독할 수 있는 기록 매체에 저장되거나 유무선 통신 네트워크를 통해 전송될 수 있다.
또한, 본 발명의 실시예는 프로그램 코드에 의한 컴퓨터 프로그램 제품으로 구현될 수 있고, 상기 프로그램 코드는 본 발명의 실시예에 의해 컴퓨터에서 수행될 수 있다. 상기 프로그램 코드는 컴퓨터에 의해 판독가능한 캐리어 상에 저장될 수 있다.
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고받을 수 있다.
본 발명은 본 발명의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

Claims (10)

  1. 영상 신호를 디코딩하기 위한 방법에 있어서,
    현재 블록의 높이(height)와 너비(width)에 기반하여 비분리 변환의 입력 길이 및 출력 길이를 결정하는 단계;
    상기 비분리 변환의 입력 길이 및 출력 길이에 대응하는 비분리 변환 행렬을 결정하는 단계; 및
    상기 비분리 변환 행렬을 상기 현재 블록에서 상기 입력 길이에 해당하는 개수만큼의 계수들에 적용하는 단계를 포함하고,
    상기 현재 블록의 높이와 너비는 8보다 크거나 같고,
    상기 현재 블록의 높이와 너비가 각각 8인 경우, 상기 비분리 변환의 입력 길이는 8로 결정되는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 현재 블록의 높이와 너비가 8인 경우에 해당하지 않으면, 상기 비분리 변환의 입력 길이는 16으로 결정되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 출력 길이는,
    48 또는 64로 결정되는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 비분리 변환 행렬을 상기 현재 블록에 적용하는 단계는,
    상기 높이와 너비가 각각 8인 경우에 해당하지 않으면서 상기 너비와 높이의 곱이 임계값보다 작으면, 상기 비분리 변환 행렬을 상기 현재 블록의 좌상측 4x4 영역에 적용하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 비분리 변환 행렬을 결정하는 단계는,
    상기 현재 블록의 인트라 예측 모드에 기반하여 비분리 변환 집합 인덱스를 결정하는 단계;
    상기 비분리 변환 집합 인덱스에 포함된 비분리 변환 집합 내에서 비분리 변환 인덱스에 대응하는 비분리 변환 커널을 결정하는 단계; 및
    상기 입력 길이 및 출력 길이에 기반하여 상기 비분리 변환 커널로부터 상기 비분리 변환 행렬을 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 영상 신호를 디코딩하기 위한 장치에 있어서,
    상기 영상 신호를 저장하는 메모리; 및
    상기 메모리와 결합된 프로세서를 포함하고,
    상기 프로세서는,
    현재 블록의 높이(height)와 너비(width)에 기반하여 비분리 변환의 입력 길이 및 출력 길이를 결정하고,
    상기 비분리 변환의 입력 길이 및 출력 길이에 대응하는 비분리 변환 행렬을 결정하고,
    상기 비분리 변환 행렬을 상기 현재 블록에서 상기 입력 길이에 해당하는 개수만큼의 계수들에 적용하도록 설정되고,
    상기 현재 블록의 높이와 너비는 8보다 크거나 같고,
    상기 현재 블록의 높이와 너비가 각각 8인 경우, 상기 비분리 변환의 입력 길이는 8, 출력 길이는 상기 입력 길이보다 크고 64보다 작거나 같은 값으로 결정되는 것을 특징으로 하는 장치.
  7. 제6항에 있어서,
    상기 현재 블록의 높이와 너비가 8인 경우에 해당하지 않으면, 상기 비분리 변환의 입력 길이는 16, 출력 길이는 상기 입력 길이보다 크고 64보다 작거나 같은 값으로 결정되는 것을 특징으로 하는 장치.
  8. 제6항에 있어서,
    상기 출력 길이는,
    48로 결정되는 것을 특징으로 하는 장치.
  9. 제6항에 있어서,
    상기 프로세서는,
    상기 높이와 너비가 각각 8인 경우에 해당하지 않으면서 상기 너비와 높이의 곱이 임계값보다 작으면, 상기 비분리 변환 행렬을 상기 현재 블록의 좌상측 4x4 영역에 적용하는 단계를 포함하는 것을 특징으로 하는 장치.
  10. 제10항에 있어서,
    상기 프로세서는,
    상기 현재 블록의 인트라 예측 모드에 기반하여 비분리 변환 집합 인덱스를 결정하고,
    상기 비분리 변환 집합 인덱스에 포함된 비분리 변환 집합 내에서 비분리 변환 인덱스에 대응하는 비분리 변환 커널을 결정하고,
    상기 입력 길이 및 출력 길이에 기반하여 상기 비분리 변환 커널로부터 상기 비분리 변환 행렬을 결정하도록 설정되는 것을 특징으로 하는 장치.
PCT/KR2019/011517 2018-09-05 2019-09-05 영상 신호를 처리하기 위한 방법 및 장치 WO2020050668A1 (ko)

Priority Applications (16)

Application Number Priority Date Filing Date Title
CN201980014843.8A CN111771378B (zh) 2018-09-05 2019-09-05 由设备对图像信号进行编码/解码的方法及比特流发送方法
KR1020207017920A KR102443501B1 (ko) 2018-09-05 2019-09-05 영상 신호를 처리하기 위한 방법 및 장치
KR1020237024123A KR20230112741A (ko) 2018-09-05 2019-09-05 영상 신호를 처리하기 위한 방법 및 장치
EP19858300.7A EP3723374A4 (en) 2018-09-05 2019-09-05 METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL
JP2020537505A JP7106652B2 (ja) 2018-09-05 2019-09-05 映像信号を処理するための方法及び装置
CN202310080184.6A CN116074508A (zh) 2018-09-05 2019-09-05 对图像信号进行编码/解码的设备及发送图像信号的设备
CN202310072429.0A CN116055718A (zh) 2018-09-05 2019-09-05 设备对图像信号进行编码/解码的方法及比特流发送方法
KR1020227031341A KR102557256B1 (ko) 2018-09-05 2019-09-05 영상 신호를 처리하기 위한 방법 및 장치
CN202310078267.1A CN116055719A (zh) 2018-09-05 2019-09-05 对图像信号进行编码/解码的设备及发送图像信号的设备
US16/901,818 US11082694B2 (en) 2018-09-05 2020-06-15 Method and apparatus for processing image signal
US17/360,164 US11589051B2 (en) 2018-09-05 2021-06-28 Method and apparatus for processing image signal
JP2022112263A JP7328414B2 (ja) 2018-09-05 2022-07-13 映像信号を処理するための方法及び装置
US18/097,775 US11818352B2 (en) 2018-09-05 2023-01-17 Method and apparatus for processing image signal
JP2023126442A JP7508664B2 (ja) 2018-09-05 2023-08-02 映像信号を処理するための方法及び装置
US18/369,493 US20240031573A1 (en) 2018-09-05 2023-09-18 Method and apparatus for processing image signal
JP2024098614A JP2024120019A (ja) 2018-09-05 2024-06-19 映像信号を処理するための方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862727526P 2018-09-05 2018-09-05
US62/727,526 2018-09-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/901,818 Continuation US11082694B2 (en) 2018-09-05 2020-06-15 Method and apparatus for processing image signal

Publications (1)

Publication Number Publication Date
WO2020050668A1 true WO2020050668A1 (ko) 2020-03-12

Family

ID=69723094

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/011517 WO2020050668A1 (ko) 2018-09-05 2019-09-05 영상 신호를 처리하기 위한 방법 및 장치

Country Status (6)

Country Link
US (4) US11082694B2 (ko)
EP (1) EP3723374A4 (ko)
JP (4) JP7106652B2 (ko)
KR (3) KR20230112741A (ko)
CN (4) CN116055719A (ko)
WO (1) WO2020050668A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022546895A (ja) * 2019-09-17 2022-11-10 キヤノン株式会社 ビデオサンプルのブロックを符号化並びに復号するための方法、装置、及びシステム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116055719A (zh) * 2018-09-05 2023-05-02 Lg电子株式会社 对图像信号进行编码/解码的设备及发送图像信号的设备
CN113365052B (zh) * 2019-03-09 2022-03-25 杭州海康威视数字技术股份有限公司 进行编码和解码的方法、解码端、编码端和系统
CN117354521A (zh) 2019-06-07 2024-01-05 北京字节跳动网络技术有限公司 视频比特流中的简化二次变换的有条件信令
EP3790275A4 (en) * 2019-06-25 2022-03-16 Wilus Institute of Standards and Technology Inc. VIDEO SIGNAL PROCESSING METHOD AND APPARATUS USING SECONDARY TRANSFORMATION
EP3994887A4 (en) 2019-08-03 2022-09-28 Beijing Bytedance Network Technology Co., Ltd. MATRIX SELECTION FOR A REDUCED SECONDARY TRANSFORM IN VIDEO CODING
WO2024123148A1 (ko) * 2022-12-09 2024-06-13 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024136471A1 (ko) * 2022-12-20 2024-06-27 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017019649A1 (en) * 2015-07-28 2017-02-02 Microsoft Technology Licensing, Llc Reduced size inverse transform for video decoding and encoding
US20170094313A1 (en) * 2015-09-29 2017-03-30 Qualcomm Incorporated Non-separable secondary transform for video coding
KR20180014655A (ko) * 2016-08-01 2018-02-09 한국전자통신연구원 영상 부호화/복호화 방법
KR20180085526A (ko) * 2017-01-19 2018-07-27 가온미디어 주식회사 효율적 변환을 처리하는 영상 복호화 및 부호화 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8483285B2 (en) * 2008-10-03 2013-07-09 Qualcomm Incorporated Video coding using transforms bigger than 4×4 and 8×8
US10448053B2 (en) * 2016-02-15 2019-10-15 Qualcomm Incorporated Multi-pass non-separable transforms for video coding
WO2017191782A1 (en) * 2016-05-04 2017-11-09 Sharp Kabushiki Kaisha Systems and methods for coding transform data
US11758136B2 (en) * 2016-06-24 2023-09-12 Electronics And Telecommunications Research Institute Method and apparatus for transform-based image encoding/decoding
WO2018012830A1 (ko) * 2016-07-13 2018-01-18 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
US11095893B2 (en) * 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
WO2018097691A2 (ko) * 2016-11-28 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US20180288439A1 (en) * 2017-03-31 2018-10-04 Mediatek Inc. Multiple Transform Prediction
US10855997B2 (en) * 2017-04-14 2020-12-01 Mediatek Inc. Secondary transform kernel size selection
US11134272B2 (en) * 2017-06-29 2021-09-28 Qualcomm Incorporated Memory reduction for non-separable transforms
TWI794129B (zh) * 2017-07-13 2023-02-21 美商松下電器（美國）知識產權公司 編碼裝置、編碼方法、解碼裝置、解碼方法及電腦可讀取之非暫時性媒體
US10516885B1 (en) * 2018-07-11 2019-12-24 Tencent America LLC Method and apparatus for video coding
US11259052B2 (en) * 2018-07-16 2022-02-22 Qualcomm Incorporated Transform variations of multiple separable transform selection
PL3723373T3 (pl) * 2018-09-02 2023-11-06 Lg Electronics Inc. Sposób dekodowania sygnału obrazu, sposób kodowania sygnału obrazu i nośnik danych
CN116055719A (zh) * 2018-09-05 2023-05-02 Lg电子株式会社 对图像信号进行编码/解码的设备及发送图像信号的设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017019649A1 (en) * 2015-07-28 2017-02-02 Microsoft Technology Licensing, Llc Reduced size inverse transform for video decoding and encoding
US20170094313A1 (en) * 2015-09-29 2017-03-30 Qualcomm Incorporated Non-separable secondary transform for video coding
KR20180014655A (ko) * 2016-08-01 2018-02-09 한국전자통신연구원 영상 부호화/복호화 방법
KR20180085526A (ko) * 2017-01-19 2018-07-27 가온미디어 주식회사 효율적 변환을 처리하는 영상 복호화 및 부호화 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KOO, MOONMO ET AL.: "Description of SDR video coding technology proposal by LG Electronics", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11. 10TH MEETING, no. JVET-J0017-v1, 11 April 2018 (2018-04-11), San Diego , CA, pages 1 - 67, XP030151178 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022546895A (ja) * 2019-09-17 2022-11-10 キヤノン株式会社 ビデオサンプルのブロックを符号化並びに復号するための方法、装置、及びシステム
JP7394875B2 (ja) 2019-09-17 2023-12-08 キヤノン株式会社 ビデオサンプルのブロックを符号化並びに復号するための方法、装置、及びシステム

Also Published As

Publication number Publication date
JP2023133520A (ja) 2023-09-22
JP7328414B2 (ja) 2023-08-16
US20200314425A1 (en) 2020-10-01
US11082694B2 (en) 2021-08-03
US20240031573A1 (en) 2024-01-25
JP2021510253A (ja) 2021-04-15
EP3723374A1 (en) 2020-10-14
CN111771378B (zh) 2023-02-17
KR20200086733A (ko) 2020-07-17
CN116055718A (zh) 2023-05-02
CN116055719A (zh) 2023-05-02
US20230164319A1 (en) 2023-05-25
US11589051B2 (en) 2023-02-21
JP2024120019A (ja) 2024-09-03
US20210337201A1 (en) 2021-10-28
CN116074508A (zh) 2023-05-05
US11818352B2 (en) 2023-11-14
CN111771378A (zh) 2020-10-13
JP7508664B2 (ja) 2024-07-01
JP7106652B2 (ja) 2022-07-26
JP2022132405A (ja) 2022-09-08
EP3723374A4 (en) 2021-02-24
KR102443501B1 (ko) 2022-09-14
KR20230112741A (ko) 2023-07-27
KR20220127389A (ko) 2022-09-19
KR102557256B1 (ko) 2023-07-18

Similar Documents

Publication Publication Date Title
WO2020060364A1 (ko) 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치
WO2020050665A1 (ko) 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치
WO2019235797A1 (ko) 축소된 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2021054796A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020050668A1 (ko) 영상 신호를 처리하기 위한 방법 및 장치
WO2020046086A1 (ko) 영상 신호를 처리하기 위한 방법 및 장치
WO2019235887A1 (ko) 인트라 예측 모드에 기초하여 변환 인덱스 코딩을 수행하는 방법 및 이를 위한 장치
WO2020009434A1 (ko) 이차 변환을 기반으로 비디오 신호를 처리하는 방법 및 장치
WO2020162690A1 (ko) 축소된 변환을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2020046092A1 (ko) 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치
WO2021206445A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020162732A1 (ko) 비디오 신호를 처리하기 위한 방법 및 장치
WO2020166977A1 (ko) 비디오 신호를 처리하기 위한 방법 및 장치
WO2020050651A1 (ko) 다중 변환 선택에 기반한 영상 코딩 방법 및 그 장치
WO2020013541A1 (ko) 비디오 신호를 처리하기 위한 방법 및 장치
WO2021066598A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020036390A1 (ko) 영상 신호를 처리하기 위한 방법 및 장치
WO2021096290A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020071736A1 (ko) 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치
WO2021054798A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021167421A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021096295A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021060905A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2019194515A1 (ko) 영상의 처리 방법 및 이를 위한 장치
WO2021201649A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19858300

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20207017920

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020537505

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019858300

Country of ref document: EP

Effective date: 20200710

NENP Non-entry into the national phase

Ref country code: DE