WO2011096662A2 - 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치 - Google Patents

율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
WO2011096662A2
WO2011096662A2 PCT/KR2011/000499 KR2011000499W WO2011096662A2 WO 2011096662 A2 WO2011096662 A2 WO 2011096662A2 KR 2011000499 W KR2011000499 W KR 2011000499W WO 2011096662 A2 WO2011096662 A2 WO 2011096662A2
Authority
WO
WIPO (PCT)
Prior art keywords
prediction block
transform
residual prediction
block
residual
Prior art date
Application number
PCT/KR2011/000499
Other languages
English (en)
French (fr)
Other versions
WO2011096662A3 (ko
Inventor
이충구
김민성
박준성
이을호
Original Assignee
(주)휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴맥스 filed Critical (주)휴맥스
Priority to US13/576,598 priority Critical patent/US8792740B2/en
Priority to CN2011800117433A priority patent/CN103250412A/zh
Priority to EP11739958A priority patent/EP2533539A2/en
Publication of WO2011096662A2 publication Critical patent/WO2011096662A2/ko
Priority to KR20110089163A priority patent/KR20120086232A/ko
Publication of WO2011096662A3 publication Critical patent/WO2011096662A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Definitions

  • the present invention relates to encoding and decoding of an image, and more particularly, to an image encoding / decoding method for rate-distortion optimization and an apparatus for performing the same.
  • an image compression method performs encoding by dividing one picture into a plurality of blocks having a predetermined size.
  • inter prediction and intra prediction techniques that remove redundancy of pictures are used to increase compression efficiency.
  • An image encoding method using inter prediction is a method of compressing an image by removing temporal redundancy among pictures, and a motion compensation prediction encoding method is a typical method.
  • the motion compensation predictive encoding generates a motion vector (MV) by searching a region similar to the block currently encoded in at least one reference picture located before and / or after the currently encoded picture, and generates the motion vector.
  • MV motion vector
  • DCT Discrete Cosine Transform
  • blocks having various sizes such as 16 ⁇ 16, 8 ⁇ 16, and 8 ⁇ 8 pixels are used for the motion compensation prediction, and blocks having 8 ⁇ 8 or 4 ⁇ 4 pixels are used for transform and quantization. do.
  • Intra-picture prediction is a method of compressing an image by removing spatial redundancy by using pixel correlation between blocks in a picture, and generating a prediction value of the current block from encoded pixels adjacent to the current block to be encoded. After that, the generated prediction value and the residual value of the pixel of the current block are compressed.
  • the size of blocks used for intra prediction is 4x4, 8x8, or 16x16 pixels, and for each block having a size of 4x4 or 8x8 pixels, nine screens are used.
  • Intra-prediction is performed using the intra prediction mode, and intra-prediction is performed using four intra-prediction modes for blocks having a size of 16 ⁇ 16 pixels.
  • the residual value generated through the intra prediction is subjected to a transform and quantization process.
  • An object of the present invention is to provide an image encoding and decoding method for rate-distortion optimization that can maximize the conversion performance.
  • Another object of the present invention is to provide an image encoding apparatus and a decoding apparatus that execute the above-described conversion method.
  • a method of encoding an image comprising: receiving a coding unit to be encoded, and executing any one of inter-screen prediction and intra-screen prediction with respect to the coding unit.
  • Generating a prediction block generating a residual prediction block based on the generated prediction block and the provided coding unit, and transforming having the best coding efficiency among a plurality of predetermined transformation matrices for the generated residual prediction block. Transforming the residual prediction block by applying a matrix.
  • a bitstream encoded by applying a transform matrix having the highest coding efficiency among a plurality of predetermined transform matrices for the residual prediction block Extracting at least one of a motion vector, a quantized residual prediction block, a motion vector, an intra prediction mode, and a transform matrix by entropy decoding the bitstream, and decoding the bitstream.
  • original coding by adding the reconstructed residual prediction block and the generated prediction block. Restoring the unit.
  • a plurality of transformations predetermined according to the size of a block transformed with respect to a residual prediction block generated through inter-screen prediction or intra-picture prediction After applying all of the matrices and transforming them, the rate-distortion can be optimized and the image quality can be improved by transforming the residual prediction blocks by applying the transform matrix having the best coding efficiency.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus using weight prediction according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an image encoding method using weight prediction, according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a configuration of an image decoding apparatus using weight prediction according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an image decoding method using weight prediction according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • Residual values generated by intra prediction are transformed and quantized.
  • one transform matrix is applied to all blocks to be transformed or corresponds to the selected intra prediction mode.
  • the transformation may be performed by applying a predetermined transformation matrix.
  • the residual value generated after the intra prediction is performed (that is, the prediction error block)
  • the energy of the prediction error block is compressed in the frequency domain using a basis vector designed based on the Karhunen-Loeve Transform (KLT) according to the direction of the intra prediction method.
  • KLT Karhunen-Loeve Transform
  • an extended macro block refers to a block having a size of 32 ⁇ 32 pixels or 64 ⁇ 64 pixels or more.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • the encoding apparatus 100 may include an encoding controller 101, a motion predictor 103, a motion compensator 105, an intra prediction unit 107, and a first image.
  • the encoding controller 101 determines the encoding mode of the input coding unit as one of the inter prediction and the intra prediction, and based on the determined encoding mode, the motion compensator 105 and the intra prediction unit 107. ) Is connected to the first adder 109 and the second adder 119.
  • the encoding control unit 101 provides encoding-related overhead information including the transformation matrix used for the transformation to the entropy encoding unit 125 and controls the operation of the components included in the encoding apparatus.
  • the input coding unit may have a square shape, and each coding unit CU may have a variable size of 2N ⁇ 2N (unit pixel).
  • Inter prediction (or inter prediction), intra prediction (or intra prediction), transformation, quantization, and entropy encoding may be performed in units of the coding unit (CU).
  • the coding unit (CU) may comprise a maximum coding unit (LCU), a minimum coding unit (SCU), the size of the maximum coding unit (LCU), the minimum coding unit (SCU) is a power of two having a size of 8 or more. Can be represented by a value.
  • the input coding unit may be an extended macro block having a size of 16 ⁇ 16 pixels or less or a size of 32 ⁇ 32 or 64 ⁇ 64 pixels or more.
  • the extended macroblock may have a size of 32x32 pixels or more, that is, 64x64 pixels, 128x128 pixels or more, so as to be suitable for a high resolution having an ultra high definition (HD) or higher resolution.
  • the extended macro block may be limited to a maximum size of 64x64 pixels or less in consideration of encoder and decoder complexity in the case of a high resolution having a resolution of Ultra HD (Ultra High Definition) level or more.
  • the coding unit CU may have a circular tree structure.
  • the recursive structure can be represented through a series of flags. For example, when a flag value of a coding unit CUk having a layer level or a layer depth k is 0, the coding for the coding unit CUk is a current layer level. for a level or layer depth, and if the flag value is 1, the coding unit CUk with the current layer level or layer depth k is 4 independent.
  • the coding unit CUk + 1 is divided into a coding unit CUk + 1, and the divided coding unit CUk + 1 has a hierarchical level or layer depth k + 1 and a size Nk + 1 X Nk + 1. .
  • the coding unit CUk + 1 may be represented as a sub coding unit of the coding unit CUk.
  • the coding unit CUk + 1 is cyclically cycled until the hierarchical level or hierarchical depth of the coding unit CUk + 1 reaches the maximum allowable hierarchical level or hierarchical depth. (recursive) can be processed. If the hierarchical level or hierarchical depth of the coding unit CUk + 1 is equal to the maximum allowable hierarchical level or hierarchical depth, no further division is allowed.
  • the size of the largest coding unit (LCU) and the size of the minimum coding unit (SCU) may be included in a sequence parameter set (SPS).
  • the sequence parameter set (SPS) may comprise the maximum allowable layer level or layer depth of the maximum coding unit (LCU). For example, if the maximum allowable layer level or layer depth is 5 and the size of one side of the maximum coding unit (LCU) is 128 (unit pixel), 128 X 128 (LCU), 64 X Five types of coding unit sizes are possible: 64, 32 X 32, 16 X 16 and 8 X 8 (SCU). That is, the size of the allowable coding unit may be determined given the size of the largest coding unit (LCU) and the maximum allowable layer level or layer depth.
  • the size of the coding unit may be limited to a maximum of 64x64 pixels or less in consideration of encoder and decoder complexity in the case of a high resolution having a resolution of Ultra HD (Ultra High Definition) or higher.
  • the large coding unit may display the image region of interest with fewer symbols than if using several small blocks.
  • the codec can be easily optimized for various contents, applications and devices by supporting a maximum coding unit (LCU) having any of various sizes as compared to using fixed size macroblocks. That is, by appropriately selecting the maximum coding unit (LCU) size and the maximum hierarchical level or maximum hierarchical depth, the hierarchical block structure can be further optimized for the target application.
  • LCU maximum coding unit
  • a multilevel hierarchical structure can be defined as a maximum coding unit (LCU) size, a maximum hierarchical level ( It can be represented very simply using level (or maximum layer depth) and a series of flags.
  • LCU maximum coding unit
  • the maximum value of the hierarchical level may have a random value and may have a larger value than that allowed in the existing H.264 / AVC coding scheme.
  • Size independent syntax representation can be used to specify all syntax elements in a manner consistent with the size of the coding unit (CU) independent of.
  • the splitting process for the coding unit (CU) can be specified circularly, and other syntax elements for the leaf coding unit-the last coding unit at the layer level-are independent of the coding unit size. Can be defined to be the same size.
  • Such a representation is very effective in reducing parsing complexity, and the clarity of the representation can be improved when a large hierarchical level or hierarchical depth is allowed.
  • inter prediction or intra prediction may be performed on end nodes of the coding unit hierarchical tree without further splitting, and the end coding unit is a prediction unit in which the end coding unit is a basic unit of inter prediction or intra prediction. Used as (Prediction Unit; PU).
  • Partition splitting is performed on the end coding unit for inter prediction or intra prediction.
  • partition partitioning is performed on the prediction unit (PU).
  • the prediction unit (PU) refers to a basic unit for inter prediction or intra prediction, and may be an existing macro block unit or sub-macro block unit, and an extended macro block unit or coding unit of 32 ⁇ 32 pixels or more. It can also be a unit.
  • Partitioning for the inter prediction or intra prediction may be performed by asymmetric partitioning, or by geometrical partitioning having an arbitrary shape other than square. It may also be achieved by partitioning.
  • the motion predictor 103 performs inter-screen prediction on the basis of the input coding unit and the plurality of reference pictures stored in the buffer 121 to reconstruct the motion vector. Create Here, the generated motion vector is provided to the motion compensator 105 and the entropy encoder 125.
  • the motion compensator 105 applies the motion vector provided from the motion predictor 103 to a reference block of the corresponding reference picture stored in the buffer 121 to generate a prediction block on which motion compensation is performed.
  • the intra prediction unit 107 generates a prediction value of the current block from the encoded pixels adjacent to the input coding unit.
  • the intra prediction unit 107 may divide the input coding unit into blocks having a size of 4 ⁇ 4, 8 ⁇ 8, or 16 ⁇ 16 pixels, and generate a prediction block from each of the divided blocks and adjacent pixels.
  • an intra prediction may be performed by applying any one of the 9 intra prediction modes of H.264 / AVC.
  • An intra prediction may be applied to a block having a size of 16 ⁇ 16 pixels by applying any one of four intra prediction modes.
  • the inter prediction between the motion predictor 103 and the motion compensator 105 and the intra prediction using the intra prediction unit 107 are performed by the encoding controller 101. Only one prediction mode may be performed according to the control of the control panel), and when one of the prediction modes of the inter prediction and the intra prediction is selected, the encoding controller 101 outputs the motion compensation unit 105 and the intra prediction. The connection path is switched so that an output corresponding to the selected prediction mode among the outputs of the unit 107 can be provided to the first adder 109 and the second adder 119.
  • the first adder 109 When inter prediction encoding is performed, the first adder 109 generates a residual value or a residual prediction block by calculating a prediction block provided from the input coding unit and the motion compensator 105, and in-screen. When prediction encoding is performed, a residual value is generated by calculating the input coding unit and the prediction block provided from the intra prediction unit 107.
  • the transform unit 111 may determine a plurality of transform matrices that are predetermined in consideration of the size and encoding efficiency of each residual prediction block for which the transform is performed on the residual prediction block (ie, the residual value) provided from the first adder 109. transform matrices) using one of the transform matrices.
  • the transform unit 111 performs a predetermined number (for example, nine) for each transform block when the intra prediction encoding is performed and the size of the transform block is 4 ⁇ 4 pixels or 8 ⁇ 8 pixels. After all of the transformation matrices are applied, encoding may be performed by applying the transformation matrix having the most coding efficiency. If intrablock predictive encoding is performed and the size of the transformed block is 16 ⁇ 16 pixels, for each transform block, After all of the predetermined number of transform matrices (eg, four) are applied, encoding may be performed by applying the most efficient transform matrix.
  • the predetermined number of transform matrices may use a transform matrix defined in a mode dependent directional transform (MDDT).
  • the MDDT applies transforms according to intra-coding specific directions-for example, the intra mode (or intra coding direction) used in encoding. For example, when 4x4 blocks are intra coded in a horizontal direction mode among 9 intra modes, the transformation may be performed along the horizontal direction.
  • the size of the transformed block may have 4 ⁇ 4 blocks, 8 ⁇ 8 blocks, 16 ⁇ 16 blocks, or 32 ⁇ 32 blocks.
  • the block used for the transform may be implemented as a transform unit (TU), and the transform unit may have a recursive tree structure (hierarchical structured transform).
  • the transform unit may have a two-level tree structure. For example, if a flag value of a transform unit whose hierarchy level or hierarchy depth is k is 0, the transform for the transform unit is the current hierarchy level or hierarchy depth. When the flag value is 1, the coding unit CUk having the current layer level or the layer depth k is divided into four independent coding units CUk + 1.
  • the divided coding unit CUk + 1 may have a layer level or a layer depth of k + 1 and a size of Nk + 1 ⁇ Nk + 1.
  • the transform unit 111 applies all of the predetermined number of transformation matrices corresponding to the inter prediction encoding, and then the most encoding efficiency.
  • the coding can be performed by applying this good transformation matrix.
  • the information of the transform matrix used for transform among the plurality of transform matrices may be provided to the entropy encoder 125 to be entropy encoded, and then provided to the decoding apparatus to be used for decoding.
  • the quantization unit 113 quantizes the transformed data provided from the transformation unit 111 and then provides the inverse quantization unit 115 and the entropy encoding unit 125.
  • the inverse quantization unit 115 inversely quantizes the quantized data provided from the quantization unit 113 and then provides the inverse transform unit 117 to the inverse transform unit 117. Inversely transform the inverse quantized data by using to recover the residual prediction block is provided to the second adder 119.
  • the second adder 119 reconstructs the coding unit by adding the prediction block provided from the motion compensator 105 or the intra prediction unit 107 and the prediction block provided from the inverse transform unit 117 and stores the coding unit in the buffer 121. .
  • Pictures that are a set of reconstructed coding units may be stored in the buffer 121, and a plurality of pictures stored in the buffer 121 are used as reference pictures for motion prediction and compensation.
  • the entropy encoder 125 generates a bit stream by entropy encoding a quantized residual prediction block, motion vector information used for inter prediction, prediction mode information used for intra prediction, and transformation matrix information used for transformation. do.
  • FIG. 2 is a flowchart illustrating an image encoding method according to an embodiment of the present invention.
  • the encoding apparatus selects a prediction encoding mode among inter prediction and intra prediction (step 203).
  • the input coding unit may be an extended macro block having a size of 16 ⁇ 16 pixels or less or a size of 32 ⁇ 32 or 64 ⁇ 64 pixels or more.
  • the input coding unit may have the above-described cyclic coding unit structure.
  • a motion vector is generated by performing motion prediction based on the input coding unit and the reconstruction completed and stored in the buffer (step 205), and the generated motion.
  • a prediction block corresponding to the current block is generated (step 207).
  • a prediction value of the current block is generated from the encoded pixels adjacent to the input coding unit (step 209).
  • the intra prediction may divide the input coding unit into blocks having a size of 4 ⁇ 4, 8 ⁇ 8, or 16 ⁇ 16 pixels, and apply the intra prediction mode to each of the divided blocks and adjacent pixels. Can be generated.
  • intra prediction may be performed by applying any one of the nine intra prediction modes of H.264 / AVC.
  • intra prediction may be performed by applying any one of 4 intra prediction modes.
  • the encoding apparatus generates a residual prediction block by calculating a prediction block generated through inter prediction or intra prediction and an input coding unit (step 211).
  • the encoding apparatus transforms the generated residual prediction block using any one of a plurality of predetermined transformation matrices in consideration of the size and encoding efficiency of the residual prediction block (step 213).
  • the intra prediction is performed and the size of the transformed block is 4x4 pixels or 8x8 pixels
  • Encoding may be performed by applying a transform matrix having the most encoding efficiency, and if the size of a block to which intra-prediction encoding is performed and the transform is 16 ⁇ 16 pixels is a predetermined number (for example, After applying all four transformation matrices, encoding may be performed by applying the most efficient transformation matrix.
  • the predetermined number of transformation matrices may use a transformation matrix defined in MDDT.
  • the encoding apparatus applies all the predetermined number of transformation matrices corresponding to the inter prediction encoding, and then has the most efficient transformation matrix. Encoding may be performed by applying.
  • the encoding apparatus performs quantization on the transformed data (step 215), and generates a bit stream by entropy encoding the quantized data (step 217).
  • the entropy-encoded information may include a quantized residual prediction block, motion vector information used for inter prediction, prediction mode information used for intra prediction, transform matrix information used for transformation, and the like.
  • a plurality of transforms predetermined according to the size of a block transformed with respect to the residual prediction block generated through inter-screen prediction or intra-screen prediction After applying and transforming all the matrices, the coding efficiency can be improved by transforming the residual prediction blocks by applying the transform matrix having the best coding efficiency.
  • FIG. 3 is a block diagram illustrating a configuration of a decoding apparatus according to an embodiment of the present invention, and illustrates a configuration of a decoding apparatus for decoding an image encoded by the encoding apparatus illustrated in FIG. 1.
  • the decoding apparatus 300 may include an entropy decoder 301, an inverse quantizer 303, an inverse transform unit 305, a motion compensator 307, and an intra prediction.
  • the unit 309 includes a buffer 311 and a third adder 313.
  • the entropy decoding unit 301 entropy decodes the bit stream provided from the encoding apparatus to determine a quantized residual prediction block, a motion vector used for inter prediction, prediction mode information used for intra prediction, a transform matrix used for transformation, and the like. Extract.
  • the inverse quantizer 303 inverse quantizes the quantized residual prediction block provided from the entropy decoder 301, and the inverse transformer 305 inversely transforms the data provided from the inverse quantizer 303.
  • the inverse transform unit 305 reconstructs the residual prediction block by performing inverse transform on the basis of the transform matrix information provided from the entropy decoding unit 301.
  • the motion compensation unit 307 generates a prediction block by applying the motion vector provided from the entropy decoding unit 301 to the reference block of the reference picture stored in the buffer 311.
  • the intra prediction unit 309 generates a prediction value of the current block from pixels adjacent to the block to be currently decoded based on the intra prediction mode provided from the entropy decoding unit 301.
  • the intra prediction unit 309 divides the current block to be decoded into blocks of 4 ⁇ 4, 8 ⁇ 8, or 16 ⁇ 16 pixel size, and pixels adjacent to each of the divided blocks using intra prediction mode information. From the prediction block can be generated.
  • a prediction block generated by the motion compensator 307 and the intra prediction unit 309 is based on the selection information extracted by the entropy decoder 301. Only one may be generated, and only one of the motion compensator 307 and the intra prediction unit 309 may be connected to the third adder 313 through path switching. That is, the decoding apparatus 300 may perform only one prediction operation of inter prediction and intra prediction according to the encoding mode performed by the encoding apparatus.
  • the buffer 311 stores a reconstructed image and is used as a reference picture.
  • the third adder 313 reconstructs the original block by adding the prediction block provided from the motion compensator 307 or the intra prediction unit 309 and the residual prediction block provided from the inverse transform unit 305.
  • FIG. 4 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • the decoding device when an encoded bit stream is input from an encoding device (step 401), the decoding device performs entropy decoding on the bit stream to quantize residual prediction blocks, motion vectors, transformation matrices, and intra prediction picture information. Is extracted (step 403).
  • the intra prediction mode may be extracted only when the intra prediction is performed by the encoding apparatus, and the entropy decoded data may include encoding mode information (inter prediction or intra prediction).
  • the decoding apparatus inversely quantizes the entropy decoded residual value (step 405), and then inversely transforms the dequantized data using the extracted transform matrix information to restore the residual prediction block (step 407).
  • the decoding apparatus determines a decoding mode based on the encoding mode included in the entropy-decoded information (step 409). If the decoding mode is determined as motion compensation, the decoding apparatus performs motion compensation using the extracted motion vector to predict the prediction block. Generate a step 411.
  • the decoding apparatus when the decoding mode is determined as intra picture prediction, the decoding apparatus generates a prediction block by applying the intra picture prediction mode extracted to a pixel adjacent to the current block to be decoded (step 413).
  • the decoding apparatus reconstructs the original block, that is, the coding unit, by adding the reconstructed residual prediction block and the prediction block generated in step 411 or step 413 (step 415).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치가 개시된다. 부호화할 마크로 블록을 제공받고, 화면간 예측 및 화면내 예측 중 어느 하나를 실행하여 예측 마크로 블록을 생성하고, 생성된 예측 마크로 블록 및 제공된 마크로 블록에 기초하여 잔여 예측 블록을 생성한 후 생성된 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 부호화 효율이 가장 우수한 변환 행렬을 적용하여 잔여 예측 블록을 변환한다. 따라서, 율-왜곡을 최적화할 수 있고 영상의 품질을 향상시킬 수 있다.

Description

율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
본 발명은 영상의 부호화 및 복호화에 관한 것으로, 더욱 상세하게는 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치에 관한 것이다.
일반적으로 영상 압축 방법에서는 하나의 픽처(picture)를 소정 크기를 가지는 복수의 블록(block)으로 구분하여 부호화를 수행한다. 또한, 압축 효율을 높이기 위해 픽쳐들의 중복도를 제거하는 화면간 예측(inter prediction) 및 화면내 예측(intra prediction) 기술을 이용한다.
화면간 예측을 이용해 영상을 부호화하는 방법은 픽처들 사이의 시간적인 중복성(spatial redundancy)을 제거하여 영상을 압축하는 방법으로서 대표적으로 움직임 보상 예측 부호화 방법이 있다.
움직임 보상 예측 부호화는 현재 부호화되는 픽처의 앞 및/또는 뒤에 위치하는 적어도 하나의 참조 픽처에서 현재 부호화되는 블록과 유사한 영역을 검색하여 움직임 벡터(MV: Motion Vector)를 생성하고, 생성된 움직임 벡터를 이용하여 움직임 보상을 수행하여 얻어지는 예측 블록과 현재 블록의 잔여값(residue)을 DCT(Discrete Cosine Transform)변환하고 양자화한 후 엔트로피 부호화하여 전송한다.
일반적으로 움직임 보상 예측에 사용되는 블록은 16×16, 8×16, 8×8 픽셀 등의 다양한 크기를 가지는 블록이 사용되고, 변환 및 양자화에는 8×8 또는 4×4 픽셀 크기를 가지는 블록이 사용된다.
화면내 예측은 하나의 픽쳐 내에서 블록간의 화소 상관도를 이용하여 공간적 중복성(spatial redundancy)을 제거하여 영상을 압축하는 방법으로, 부호화할 현재 블록과 인접한 부호화된 화소들로부터 현재 블록의 예측값을 생성한 후 생성된 예측값과 현재 블록의 화소의 잔여값을 압축하는 방식이다. H.264/AVC에서는, 화면내 예측에 사용되는 블록의 크기는 4×4, 8×8 또는 16×16 픽셀이고, 4×4 또는 8×8 픽셀 크기를 가지는 블록에 대해서는 각각 9가지의 화면내 예측 모드를 이용하여 화면내 예측을 수행하고, 16×16 픽셀 크기의 블록에 대해서는 4가지 화면내 예측 모드를 이용하여 화면내 예측을 수행한다.
상술한 바와 같이 화면내 예측을 통해 생성된 잔여값은 변환(transform) 및 양자화 과정을 거친다.
그러나, 종래의 변환 방법들은 블록 각각의 특성을 고려하지 않음으로써 율-왜곡 관점에서 변환 성능을 극대화 할 수 없는 단점이 있다.
본 발명의 목적은 변환 성능을 극대화할 수 있는 율-왜곡 최적화를 위한 영상 부호화 및 복호화 방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 상기한 변환 방법을 실행하는 영상 부호화 장치 및 복호화 장치를 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 부호화 방법은, 부호화할 코딩 유닛을 제공받는 단계와, 상기 코딩 유닛에 대하여 화면간 예측 및 화면내 예측 중 어느 하나를 실행하여 예측 블록을 생성하는 단계와, 생성된 상기 예측 블록 및 상기 제공된 코딩 유닛에 기초하여 잔여 예측 블록을 생성하는 단계 및 생성된 상기 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 부호화 효율이 가장 우수한 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 단계를 포함한다.
또한, 상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 복호화 방법은, 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 부호화 효율이 가장 우수한 변환 행렬을 적용하여 부호화된 비트스트림을 복호화하는 영상 복호화에서, 상기 비트스트림을 엔트로피 복호화하여 움직임 벡터, 양자화된 잔여 예측 블록, 움직임 벡터, 화면내 예측 모드 및 변환 행렬 중 적어도 하나의 정보를 추출하는 단계와, 상기 양자화된 잔여 예측 블록을 역양자화하는 단계와, 역양자화된 잔여 예측 블록에 대해 상기 변환 행렬을 적용하여 역변환하여 잔여 예측 블록을 복원하는 단계와, 움직임 보상 및 화면내 예측 중 어느 하나를 실행하여 예측 블록을 생성하는 단계 및 상기 복원된 잔여 예측 블록과 상기 생성된 예측 블록을 더하여 원래 코딩 유닛을 복원하는 단계를 포함한다.
상술한 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치에 따르면, 화면간 예측 또는 화면내 예측을 통해 생성된 잔여 예측 블록에 대해 변환되는 블록의 크기에 상응하여 미리 정해진 복수의 변환 매트릭스를 모두 적용하여 변환한 후 부호화 효율이 가장 우수한 변환 매트릭스를 적용하여 잔여 예측 블록을 변환함으로써 율-왜곡을 최적화할 수 있고, 영상의 품질을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 가중치 예측을 이용한 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 가중치 예측을 이용한 영상 부호화 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 가중치 예측을 이용한 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 가중치 예측을 이용한 영상 복호화 방법을 나타내는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
화면내 예측을 통해 생성된 잔여값은 변환(transform) 및 양자화 과정을 거치는데, 변환 과정에서는 하나의 변환 행렬(transform matrices)을 모든 블록에 동일하게 적용하여 변환하거나, 선택된 화면내 예측 모드에 상응하여 미리 정해진 변환 행렬을 적용하여 변환을 수행할 수 있다.
예를 들어, 화면내 예측을 통해 생성된 잔여값(residue)을 감소시키기 위해 MDDT(Mode-Dependent Directional Transform)의 경우 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)에 대해서 화면내 예측 방법의 방향성에 따라 KLT(Karhunen-Loeve Transform)을 기반으로 설계된 기저 벡터(basis vector)를 이용하여 예측 오차 블록의 에너지를 주파수 영역에서 압축한다. MDDT 기술은 화면내 예측 모드에 따라 변환 부호화를 적용하기 때문에 양자화 후에 생성되는 양자화된 변환 계수들의 특성 역시 방향성에 따라 다른 형태로 나타날 수 있고, 이러한 계수들을 보다 효율적으로 부호화 하기 위해서 적응형 스캐닝(adaptive scanning)을 이용한다.
이하, 본 발명의 실시예에서 확장 마크로 블록(Extended Macro Block)은 32×32 픽셀 또는 64×64 픽셀 이상의 크기를 가지는 블록을 의미한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 부호화 장치(100)는 부호화 제어부(101), 움직임 예측부(103), 움직임 보상부(105), 화면내 예측부(107), 제1 가산기(109), 변환부(111), 양자화부(113), 역양자화부(115), 역변환부(117), 제2 가산기(119), 버퍼(121) 및 엔트로피 부호화부(125)를 포함한다.
부호화 제어부(101)는 입력된 코딩 유닛의 부호화 모드를 화면간 예측 및 화면내 예측 중 어느 하나의 부호화 모드로 결정하고, 결정된 부호화 모드에 기초하여 움직임 보상부(105) 및 화면내 예측부(107) 중 어느 하나를 제1 가산기(109) 및 제2 가산기(119)와 연결한다. 또한, 부호화 제어부(101)는 변환에 사용된 변환 매트릭스 등을 포함하는 부호화 관련 오버헤드 정보들을 엔트로피 부호화부(125)에 제공하고, 부호화 장치에 포함된 구성요소들의 동작을 제어한다.
여기서, 상기 입력된 코딩 유닛(coding unit)은 정사각형 모양을 가지며, 각 코딩 유닛(CU)은 2N X 2N(단위 pixel) 크기의 가변적인 크기를 가질 수 있다. 화면간 예측(또는 인터 예측), 화면내 예측(또는 인트라 예측), 변환, 양자화 및 엔트로피 부호화는 상기 코딩 유닛(CU) 단위로 이루어질 수 있다. 코딩 유닛(CU)은 최대 코딩 유닛(LCU), 최소 코딩 유닛(SCU)를 포함할 수 있으며, 최대 코딩 유닛(LCU), 최소 코딩 유닛(SCU)의 크기는 8이상의 크기를 가지는 2의 거듭제곱 값으로 나타낼 수 있다. 예를 들어, 상기 입력된 코딩 유닛은 16×16 픽셀 이하의 크기를 가지거나 32×32 또는 64×64 픽셀 이상의 크기를 가지는 확장 마크로 블록일 수 있다. 상기 확장 마크로 블록은 울트라 HD(Ultra High Definition)급 이상의 해상도를 가지는 고해상도에 적합하도록 32x32 픽셀 이상의 크기, 즉 64x64 픽셀, 128x128 픽셀 또는 그 이상의 크기를 가질 수 있다. 상기 확장 마크로 블록은 울트라 HD(Ultra High Definition)급 이상의 해상도를 가지는 고해상도의 경우 인코더 및 디코더 복잡도를 고려하여 최대 64x64 픽셀 크기 이하로 제한될 수도 있다.
상기 코딩 유닛(CU)은 순환적인 트리 구조를 가질 수 있다. 순환적인 구조는 일련의 플래그(flag)를 통하여 표현될 수 있다. 예를들어, 계층 레벨(level) 또는 계층 깊이(depth)가 k인 코딩 유닛(CUk)의 플래그(flag)값이 0인 경우, 코딩 유닛(CUk)에 대한 코딩(coding)은 현재의 계층 레벨(level) 또는 계층 깊이(depth)에 대해 이루어지며, 플래그(flag)값이 1인 경우, 현재의 계층 레벨(level) 또는 계층 깊이(depth)가 k인 코딩 유닛(CUk)은 4개의 독립적인 코딩 유닛(CUk+1)으로 분할되며, 분할된 코딩 유닛(CUk+1)은 계층 레벨(level) 또는 계층 깊이(depth)가 k+1이 되며, 크기는 Nk+1 X Nk+1가 된다. 이 경우 코딩 유닛(CUk+1)은 코딩 유닛(CUk)의 서브 코딩 유닛으로 나타낼 수 있다. 코딩 유닛(CUk+1)의 계층 레벨(level) 또는 계층 깊이(depth)가 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)에 도달할 때까지 코딩 유닛(CUk+1)은 순환적으로(recursive) 처리될 수 있다. 코딩 유닛(CUk+1)의 계층 레벨(level) 또는 계층 깊이(depth)가 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)과 동일한 경우에는 더 이상의 분할은 허용되지 않는다.
최대 코딩 유닛(LCU)의 크기 및 최소 코딩 유닛(SCU)의 크기는 시퀀스 파라미터 셋(Sequence Parameter Set; SPS)에 포함될 수 있다. 시퀀스 파라미터 셋(SPS)는 최대 코딩 유닛(LCU)의 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)를 포함할 수 있다. 예를 들어, 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)는 5이고, 최대 코딩 유닛(LCU)의 한변의 크기가 128(단위 pixel)인 경우, 128 X 128(LCU), 64 X 64, 32 X 32, 16 X 16 및 8 X 8(SCU)의 5가지 종류의 코딩 유닛 크기가 가능하다. 즉, 최대 코딩 유닛(LCU)의 크기 및 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)가 주어지면 허용가능한 코딩 유닛의 크기가 결정될 수 있다.
상기 코딩 유닛의 크기는 울트라 HD(Ultra High Definition)급 이상의 해상도를 가지는 고해상도의 경우 인코더 및 디코더 복잡도를 고려하여 최대 64x64 픽셀 크기 이하로 제한될 수도 있다.
상기와 같은 순환적 코딩 유닛 구조를 사용할 경우의 장점은 다음과 같다.
첫째, 기존의 16 X 16 매크로블록보다 큰 사이즈를 지원할 수 있다. 만약 관심 이미지 영역이 균일(homogeneous)하다면, 큰 코딩 유닛(LCU)은 여러 개의 작은 블록들을 사용하는 경우보다 관심 이미지 영역을 더 적은 개수의 심볼들로 표시할 수 있다.
둘째, 고정된 크기의 매크로블록을 사용하는 경우에 비하여 임의의 다양한 크기를 가지는 최대 코딩 유닛(LCU)을 지원함으로써 코덱은 다양한 콘텐츠, 애플리케이션 및 장치에 용이하게 최적화될 수 있다. 즉, 최대 코딩 유닛(LCU) 크기 및 최대 계층 레벨(level) 또는 최대 계층 깊이(depth)를 적절히 선택함으로써, 상기 계층적 블록 구조는 목표로 하는 애플리케이션에 보다 더 최적화 될 수 있다.
셋째, 매크로블록, 서브-매크로블록, 확장 매크로 블록을 구분하지 않고 코딩 유닛(LCU)이라는 한 개의 단일 유닛 형태를 사용함으로써, 멀티레벨 계층적 구조를 최대 코딩 유닛(LCU) 크기, 최대 계층 레벨(level)(또는 최대 계층 깊이(depth)) 및 일련의 플래그를 이용하여 매우 간단하게 나타낼 수 있다. 크기 독립적(size-independent)인 신택스 표현(syntax representation)과 함께 사용될 경우 나머지 코딩 툴들에 대한 하나의 일반화된 크기의 신택스 아이템을 명시하는데 충분하게 되며, 이러한 일관성이 실제 파싱 과정등을 단순화 시킬 수 있다. 계층 레벨(level)(또는 최대 계층 깊이(depth))의 최대값은 임의값을 가질 수 있으며 기존의 H.264/AVC 부호화 방식에서 혀용된 값보다 더 큰 값을 가질 수 있다. 크기 독립적 신택스 표현을 사용하여 코딩 유닛(CU)의 크기에 독립적으로 일관된 방식으로 모든 신택스 엘리먼트(syntax elements)를 명시할 수 있다. 코딩 유닛(CU)에 대한 분할 과정(splitting process)은 순환적으로 명시될 수 있고, 말단 코딩 유닛(leaf coding unit)-계층 레벨의 마지막 코딩 유닛-에 대한 다른 신택스 엘리먼트들은 코딩 유닛 크기에 무관하게 동일한 크기로 정의될 수 있다. 상기와 같은 표현법은 파싱 복잡도를 줄이는 데 매우 효과적이며, 큰 계층 레벨 또는 계층 깊이가 허용되는 경우 표현의 명료성이 향상될 수 있다.
상기와 같은 계층적인 분할 과정이 완료되면 더 이상의 분할 없이 코딩 유닛 계층 트리의 말단 노드에 대해 인터 예측 또는 인트라 예측을 수행할 수 있으며, 이러한 말단 코딩 유닛이 인터 예측 또는 인트라 예측의 기본 단위인 예측 유닛(Prediction Unit; PU)으로 사용된다.
인터 예측 또는 인트라 예측을 위하여 상기 말단 코딩 유닛에 대해 파티션(partition) 분할이 수행 된다. 즉, 파티션 분할은 예측 유닛(PU)에 대해 수행된다. 여기서, 에측 유닛(PU)는 인터 예측 또는 인트라 예측을 위한 기본 단위의 의미이며, 기존의 매크로 블록 단위 또는 서브-매크로 블록 단위가 될 수도 있고, 32 X 32 픽셀 크기 이상의 확장 매크로 블록 단위 또는 코딩 유닛 단위가 될 수도 있다.
상기 인터 예측 또는 인트라 예측을 위한 파티션 분할은 비대칭적 파티션 분할(asymmetric partitioning) 방식으로 이루어질 수도 있고, 정사각형이외의 임의의 모양을 가지는 기하학적 파티션 분할(geometrical partitioning) 방식으로 이루어질 수도 있고, 에지 방향에 따른 파티션 분할 방식으로 이루어질 수도 있다.
다시, 도 1을 참조하면, 움직임 예측부(103)는 입력된 코딩 유닛과 복원이 완료되어 버퍼(121)에 저장된 복수의 참조 픽처에 기초하여 화면간 예측을 수행하여 움직임 벡터(Motion Vector)를 생성한다. 여기서, 생성된 움직임 벡터는 움직임 보상부(105) 및 엔트로피 부호화부(125)에 제공된다.
움직임 보상부(105)는 움직임 예측부(103)로부터 제공된 움직임 벡터를 버퍼(121)에 저장된 해당 참조 픽쳐의 참조 블록에 적용하여 움직임 보상이 수행된 예측 블록을 생성한다.
화면내 예측부(107)는 입력된 코딩 유닛과 인접한 부호화된 화소들로부터 현재 블록의 예측값을 생성한다. 여기서, 화면내 예측부(107)는 입력된 코딩 유닛을 4×4, 8×8 또는 16×16 픽셀 크기의 블록으로 구분하고, 구분된 각 블록과 인접한 화소들로부터 예측 블록을 생성할 수 있고, 4×4 또는 8×8 픽셀 크기를 가지는 블록의 화면내 예측을 수행하는 경우에는 H.264/AVC의 9가지의 화면내 예측 모드 중 어느 하나의 모드를 적용하여 화면내 예측을 수행할 수 있고, 16×16 픽셀 크기의 블록에 대해서는 4가지 화면내 예측 모드 중 어느 하나의 모드를 적용하여 화면내 예측을 수행할 수 있다.
본 발명의 일 실시예에 따른 부호화 장치(100)에서 움직임 예측부(103) 및 움직임 보상부(105)를 통한 화면간 예측 및 화면내 예측부(107)를 통한 화면내 예측은 부호화 제어부(101)의 제어에 따라 어느 하나의 예측 모드만 수행될 수 있고, 화면간 예측 및 화면내 예측 중 어느 하나의 예측 모드가 선택된 경우 부호화 제어부(101)는 움직임 보상부(105)의 출력 및 화면내 예측부(107)의 출력 중 선택된 예측 모드에 상응하는 출력이 제1 가산기(109) 및 제2 가산기(119)에 제공될 수 있도록 연결 경로를 스위칭한다.
제1 가산기(109)는 화면간 예측 부호화가 수행되는 경우에는 입력된 코딩 유닛과 움직임 보상부(105)로부터 제공된 예측 블록을 연산하여 잔여값(residue, 또는 잔여 예측 블록)을 생성하고, 화면내 예측 부호화가 수행되는 경우에는 입력된 코딩 유닛과 화면내 예측부(107)로부터 제공된 예측 블록을 연산하여 잔여값을 생성한다.
변환부(111)는 제1 가산부(109)로부터 제공된 잔여 예측 블록(즉, 잔여값)에 대해 변환이 수행되는 각각의 잔여 예측 블록의 크기 및 부호화 효율을 고려하여 미리 정해진 복수의 변환 행렬(transform matrices) 중 어느 하나의 변환 행렬을 이용하여 변환을 수행한다.
구체적으로, 변환부(111)는 화면내 예측 부호화가 수행되고 변환되는 블록의 크기가 4×4 픽셀 또는 8×8 픽셀인 경우에는 각 변환 블록에 대해 미리 정해진 개수(예를 들면, 9개)의 변환 행렬을 모두 적용한 후, 가장 부호화 효율이 좋은 변환 행렬을 적용하여 부호화를 수행할 수 있고, 화면내 예측 부호화가 수행되고 변환되는 블록의 크기가 16×16 픽셀인 경우에는 각 변환 블록에 대해 미리 정해진 개수(예를 들면, 4개)의 변환 행렬을 모두 적용한 후 가장 부호화 효율이 좋은 변환 행렬을 적용하여 부호화를 수행할 수 있다. 여기서, 상기 미리 정해진 개수의 변환 행렬은 MDDT(Mode dependent Directional Transform)에서 정의된 변환 행렬을 사용할 수도 있다.
MDDT는 인트라 코딩(Intra-coding) 특정 방향-예를 들어 부호화시 사용한 인트라 모드(또는 인트라 코딩 방향)-을 따라서 변환을 적용한다. 예를 들어 4X4 블록에 대해 9가지 인트라 모드 중 수평 방향 모드로 인트라 코딩이 된 경우 변환시 상기 수평 방향을 따라서 변환을 수행할 수 있다.
상기 변환되는 블록의 크기는 4×4 블록, 8×8 블록, 16×16블록 또는 32×32블록을 가질 수 있다.
변환에 사용되는 블록은 변환 유닛(TU; Transform Unit)으로 구현될 수 있으며, 상기 변환 유닛은 순환적인 트리 구조를 가질 수 있다(hierarchical structured transform). 예를 들어, 상기 변환 유닛은 2-레벨 트리 구조를 가질 수 있다. 예를들어, 계층 레벨(level) 또는 계층 깊이(depth)가 k인 변환 유닛의 플래그(flag)값이 0인 경우, 변환 유닛에 대한 변환은 현재의 계층 레벨(level) 또는 계층 깊이(depth)에 대해 이루어지며, 플래그(flag)값이 1인 경우, 현재의 계층 레벨(level) 또는 계층 깊이(depth)가 k인 코딩 유닛(CUk)은 4개의 독립적인 코딩 유닛(CUk+1)으로 분할되며, 분할된 코딩 유닛(CUk+1)은 계층 레벨(level) 또는 계층 깊이(depth)가 k+1이 되며, 크기는 Nk+1 X Nk+1가 될 수 있다.
또는, 변환부(111)는 화면간 예측 부호화가 수행되고 변환되는 블록의 크기가 32×32 픽셀 이상인 경우에도, 화면간 예측 부호화에 상응하여 미리 정해진 개수의 변환 행렬을 모두 적용한 후, 가장 부호화 효율이 좋은 변환 행렬을 적용하여 부호화를 수행할 수 있다.
상술한 바와 같이 복수의 변환 행렬 중 변환에 이용된 변환 행렬의 정보는 엔트로피 부호화부(125)에 제공되어 엔트로피 부호화된 후 복호화 장치에 제공되어 복호화에 이용될 수 있다.
양자화부(113)는 변환부(111)로부터 제공된 변환된 데이터를 양자화한 후 역양자화부(115) 및 엔트로피 부호화부(125)에 제공한다.
역양자화부(115)는 양자화부(113)로부터 제공된 양자화된 데이터를 역양자화한 후 역변환부(117)에 제공하고, 역변환부(117)는 변환부(111)에서 변환에 사용된 변환 행렬 정보를 이용하여 역양자화된 데이터를 역변환함으로써 잔여 예측 블록을 복원한 후 제2 가산기(119)에 제공한다.
제2 가산기(119)는 움직임 보상부(105) 또는 화면내 예측부(107)로부터 제공된 예측 블록과 역변환부(117)로부터 제공된 예측 블록을 더하여 코딩 유닛을 복원한 후 버퍼(121)에 저장한다.
버퍼(121)에는 복원된 코딩 유닛의 집합인 픽처들이 저장될 수 있고, 버퍼(121)에 저장된 복수의 픽처들은 움직임 예측 및 보상을 위한 참조 픽처로 사용된다.
엔트로피 부호화부(125)는 양자화된 잔여 예측 블록과, 화면간 예측에 사용된 움직임 벡터 정보, 화면내 예측에 사용된 예측 모드 정보, 변환에 사용된 변환 행렬 정보 등을 엔트로피 부호화하여 비트 스트림을 생성한다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 방법을 나타내는 흐름도이다.
도 2를 참조하면, 먼저 부호화 장치에 코딩 유닛이 입력되면(단계 201), 부호화 장치는 화면간 예측 및 화면내 예측 중 예측 부호화 모드를 선택한다(단계 203). 상기 입력된 코딩 유닛은 16×16 픽셀 이하의 크기를 가지거나 32×32 또는 64×64 픽셀 이상의 크기를 가지는 확장 마크로 블록일 수 있다. 상기 입력된 코딩 유닛은 전술한 순환적 코딩 유닛 구조를 가질 수 있다.
화면간 예측을 수행하는 경우에는, 입력된 코딩 유닛과 복원이 완료되어 버퍼에 저장된 복수의 참조 픽처에 기초하여 움직임 예측을 수행하여 움직임 벡터(Motion Vector)를 생성하고(단계 205), 생성된 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 현재 블록에 상응하는 예측 블록을 생성한다(단계 207).
또는, 화면내 예측을 수행하는 경우에는, 입력된 코딩 유닛과 인접한 부호화된 화소들로부터 현재 블록의 예측값을 생성한다(단계 209). 여기서, 화면내 예측은 입력된 코딩 유닛을 4×4, 8×8 또는 16×16 픽셀 크기의 블록으로 구분하고, 구분된 각 블록과 인접한 화소들에 대해 화면내 예측 모드를 적용하여 예측 블록을 생성할 수 있다. 4×4 또는 8×8 픽셀 크기를 가지는 블록의 화면내 예측을 수행하는 경우에는 H.264/AVC의 9가지의 화면내 예측 모드 중 어느 하나의 모드를 적용하여 화면내 예측을 수행할 수 있고, 16×16 픽셀 크기의 블록에 대해서는 4가지 화면내 예측 모드 중 어느 하나의 모드를 적용하여 화면내 예측을 수행할 수 있다.
이후, 부호화 장치는 화면간 예측 또는 화면내 예측을 통해 생성된 예측 블록과 입력된 코딩 유닛을 연산하여 잔여 예측 블록을 생성한 후(단계 211),
이후, 부호화 장치는 생성된 잔여 예측 블록에 대해 잔여 예측 블록의 크기 및 부호화 효율을 고려하여 미리 정해진 복수의 변환 행렬(transform matrices) 중 어느 하나의 변환 행렬을 이용하여 변환을 수행한다(단계 213). 즉, 화면내 예측이 수행되고 변환되는 블록의 크기가 4×4 픽셀 또는 8×8 픽셀인 경우에는 각 변환 블록에 대해 미리 정해진 개수(예를 들면, 9개)의 변환 행렬을 모두 적용한 후, 가장 부호화 효율이 좋은 변환 행렬을 적용하여 부호화를 수행할 수 있고, 화면내 예측 부호화가 수행되고 변환되는 블록의 크기가 16×16 픽셀인 경우에는 각 변환 블록에 대해 미리 정해진 개수(예를 들면, 4개)의 변환 행렬을 모두 적용한 후 가장 부호화 효율이 좋은 변환 행렬을 적용하여 부호화를 수행할 수 있다. 여기서, 상기 미리 정해진 개수의 변환 행렬은 MDDT에서 정의된 변환 행렬을 사용할 수도 있다.
또는, 부호화 장치는 화면간 예측 부호화가 수행되고 변환되는 블록의 크기가 32×32 픽셀 이상인 경우, 화면간 예측 부호화에 상응하여 미리 정해진 개수의 변환 행렬을 모두 적용한 후, 가장 부호화 효율이 좋은 변환 행렬을 적용하여 부호화를 수행할 수 있다.
이후, 부호화 장치는 변환된 데이터에 대해 양자화를 수행하고(단계 215), 양자화된 데이터는 엔트로피 부호화하여 비트 스트림을 생성한다(단계 217). 여기서, 엔트로피 부호화되는 정보는 양자화된 잔여 예측 블록과, 화면간 예측에 사용된 움직임 벡터 정보, 화면내 예측에 사용된 예측 모드 정보, 변환에 사용된 변환 행렬 정보 등을 포함할 수 있다.
도 1 및 도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 부호화 방법에서는 화면간 예측 또는 화면내 예측을 통해 생성된 잔여 예측 블록에 대해 변환되는 블록의 크기에 상응하여 미리 정해진 복수의 변환 매트릭스를 모두 적용하여 변환한 후 부호화 효율이 가장 우수한 변환 매트릭스를 적용하여 잔여 예측 블록을 변환함으로써 부호화 효율을 향상시킬 수 있다.
도 3은 본 발명의 일 실시예에 따른 복호화 장치의 구성을 나타내는 블록도로서, 도 1에 도시된 부호화 장치를 통해 부호화된 영상을 복호화하는 복호화 장치의 구성을 나타낸다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 복호화 장치(300)는 엔트로피 복호화부(301), 역양자화부(303), 역변환부(305), 움직임 보상부(307), 화면내 예측부(309), 버퍼(311) 및 제3가산기(313)를 포함한다.
엔트로피 복호화부(301)는 부호화 장치로부터 제공된 비트 스트림을 엔트로피 복호화하여 양자화된 잔여 예측 블록, 화면간 예측에 사용된 움직임 벡터, 화면내 예측에 사용된 예측 모드 정보, 변환에 사용된 변환 행렬 등을 추출한다.
역양자화부(303)는 엔트로피 복호화부(301)로부터 제공된 양자화된 잔여 예측 블록을 역양자화하고, 역변환부(305)는 역양자화부(303)로부터 제공된 데이터를 역변환한다. 여기서 역변환부(305)는 엔트로피 복호화부(301)로부터 제공된 변환 행렬 정보에 기초하여 역변환함으로써 잔여 예측 블록을 복원한다.
움직임 보상부(307)는 엔트로피 복호화부(301)로부터 제공된 움직임 벡터를 버퍼(311)에 저장된 참조 픽쳐의 참조 블록에 적용하여 예측 블록을 생성한다.
화면내 예측부(309)는 엔트로피 복호화부(301)로부터 제공된 화면내 예측 모드에 기초하여 현재 복호화할 블록과 인접한 화소들로부터 현재 블록의 예측값을 생성한다. 여기서, 화면내 예측부(309)는 현재 복호화할 블록을 4×4, 8×8 또는 16×16 픽셀 크기의 블록으로 구분하고, 화면내 예측 모드 정보를 이용하여 구분된 각 블록과 인접한 화소들로부터 예측 블록을 생성할 수 있다.
본 발명의 일 실시예에 따른 복호화 장치(300)에서 움직임 보상부(307) 및 화면내 예측부(309)를 통해 생성되는 예측 블록은 엔트로피 복호화부(301)에서 추출된 선택 정보에 기초하여 어느 하나만 생성될 수 있고, 경로 스위칭을 통해 움직임 보상부(307) 및 화면내 예측부(309) 중 어느 하나만 제3 가산기(313)와 연결될 수 있다. 즉, 복호화 장치(300)에서는 부호화 장치에서 수행된 부호화 모드에 상응하여 화면간 예측 및 화면내 예측 중 어느 하나의 예측 동작만 수행될 수 있다.
버퍼(311)는 복원이 완료된 영상이 저장되어 참조 픽처로 이용된다.
제3가산기(313)는 움직임 보상부(307) 또는 화면내 예측부(309)로부터 제공된 예측 블록과 역변환부(305)로부터 제공된 잔여 예측 블록을 더하여 원래 블록을 복원한다.
도 4는 본 발명의 일 실시예에 따른 영상 복호화 방법을 나타내는 흐름도이다.
도 4를 참조하면, 부호화 장치로부터 부호화된 비트 스트림이 입력되면(단계 401), 복호화 장치는 비트 스트림에 대해 엔트로피 복호화를 수행하여 양자화된 잔여 예측 블록, 움직임 벡터, 변환 행렬, 화면내 예측 모드 정보를 추출한다(단계 403). 여기서, 화면내 예측 모드는 부호화 장치에서 화면내 예측을 수행한 경우에만 추출될 수 있고, 상기 엔트로피 복호화된 데이터는 부호화 모드 정보(화면간 예측 또는 화면내 예측)를 포함할 수 있다.
이후, 복호화 장치는 엔트로피 복호화된 잔여값을 역양자화한 후(단계 405), 추출된 변환 행렬 정보를 이용하여 역양자화된 데이터를 역변환함으로써 잔여 예측 블록을 복원한다(단계 407).
또한, 복호화 장치는 엔트로피 복호화한 정보에 포함된 부호화 모드에 기초하여 복호화 모드를 결정하고(단계 409), 복호화 모드가 움직임 보상으로 결정된 경우에는 추출된 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다(단계 411).
또는, 복호화 장치는 복호화 모드가 화면내 예측으로 결정된 경우에는 복호화할 현재 블록과 인접한 화소에 추출된 화면내 예측 모드를 적용하여 예측 블록을 생성한다(단계 413).
이후, 복호화 장치는 복원된 잔여 예측 블록과 단계 411 또는 단계 413에서 생성된 예측 블록을 더하여 원래 블록-즉, 코딩 유닛-을 복원한다(단계 415).
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (16)

  1. 부호화할 코딩 유닛을 제공받는 단계;
    상기 코딩 유닛에 대하여 화면간 예측 및 화면내 예측 중 어느 하나를 실행하여 예측 블록을 생성하는 단계;
    생성된 상기 예측 블록 및 상기 코딩 유닛에 기초하여 잔여 예측 블록을 생성하는 단계; 및
    생성된 상기 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 부호화 효율이 가장 우수한 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 단계를 포함하는 영상 부호화 방법.
  2. 제1항에 있어서, 상기 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 부호화 효율이 가장 우수한 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 단계는
    상기 화면내 예측이 수행되고 변환되는 상기 잔여 예측 블록의 크기가 4×4 픽셀 또는 8×8 픽셀 크기를 가지는 경우에는 각 잔여 예측 블록에 대해 9개의 변환 행렬을 모두 적용한 후, 가장 부호화 효율이 좋은 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 것을 특징으로 하는 영상 부호화 방법.
  3. 제1항에 있어서, 상기 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 부호화 효율이 가장 우수한 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 단계는
    상기 화면내 예측이 수행되고 변환되는 상기 잔여 예측 블록의 크기가 16×16 픽셀 크기를 가지는 경우에는 각 잔여 예측 블록에 대해 4개의 변환 행렬을 모두 적용한 후, 가장 부호화 효율이 좋은 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 것을 특징으로 하는 영상 부호화 방법.
  4. 제1항에 있어서, 상기 미리 정해진 복수의 변환 행렬은 MDDT(Mode dependent Directional Transform)에서 정의된 변환 행렬을 사용하는 것을 특징으로 하는 영상 부호화 방법.
  5. 제1항에 있어서, 상기 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 부호화 효율이 가장 우수한 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 단계는
    화면내 예측의 특정 방향을 따라서 상기 미리 정해진 복수의 변환 행렬을 이용하여 변환을 수행하는 것을 특징으로 하는 영상 부호화 방법.
  6. 제1항에 있어서, 상기 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 부호화 효율이 가장 우수한 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 단계는 상기 잔여 예측 블록이 4X4 픽셀 크기를 가지는 경우 9가지 화면내 예측 모드 중 수평 방향 모드로 화면내 예측이 실행된 경우 변환시 상기 수평 방향을 따라서 상기 미리 정해진 복수의 변환 행렬을 이용하여 변환을 수행하는 것을 특징으로 하는 영상 부호화 방법.
  7. 제1항에 있어서, 상기 변환에 사용되는 잔여 예측 블록은 변환 유닛(TU; Transform Unit)으로 구현되고, 상기 변환 유닛은 순환적인 트리 구조를 가지는 것을 특징으로 하는 영상 부호화 방법.
  8. 제1항에 있어서, 상기 예측 유닛은 32×32 픽셀 이상의 크기를 가지는 확장 마크로 블록인 것을 특징으로 하는 영상 부호화 방법.
  9. 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 부호화 효율이 가장 우수한 변환 행렬을 적용하여 부호화된 비트스트림을 복호화하는 영상 복호화 방법에 있어서,
    상기 비트스트림을 엔트로피 복호화하여 움직임 벡터, 양자화된 잔여 예측 블록, 움직임 벡터, 화면내 예측 모드 및 변환 행렬 중 적어도 하나의 정보를 추출하는 단계;
    상기 양자화된 잔여 예측 블록을 역양자화하는 단계;
    역양자화된 잔여 예측 블록에 대해 상기 변환 행렬을 적용하여 역변환하여 잔여 예측 블록을 복원하는 단계;
    움직임 보상 및 화면내 예측 중 어느 하나를 실행하여 예측 블록을 생성하는 단계; 및
    상기 복원된 잔여 예측 블록과 상기 생성된 예측 블록을 더하여 원래 코딩 유닛을 복원하는 단계를 포함하는 영상 복호화 방법.
  10. 제9항에 있어서, 상기 변환 행렬은
    상기 화면내 예측이 수행되고 변환되는 상기 잔여 예측 블록의 크기가 4×4 픽셀 또는 8×8 픽셀 크기를 가지는 경우에는 각 잔여 예측 블록에 대해 9개의 변환 행렬을 모두 적용한 후 가장 부호화 효율이 좋은 변환 행렬을 사용하는 것을 특징으로 하는 영상 복호화 방법.
  11. 제9항에 있어서, 상기 변환 행렬은
    상기 화면내 예측이 수행되고 변환되는 상기 잔여 예측 블록의 크기가 16×16 픽셀 크기를 가지는 경우에는 각 잔여 예측 블록에 대해 4개의 변환 행렬을 모두 적용한 후 가장 부호화 효율이 좋은 변환 행렬을 사용하는 것을 특징으로 하는 영상 복호화 방법.
  12. 제9항에 있어서, 상기 변환 행렬은 MDDT(Mode dependent Directional Transform)에서 정의된 변환 행렬을 사용하는 것을 특징으로 하는 영상 복호화 방법.
  13. 제9항에 있어서, 상기 역양자화된 잔여 예측 블록에 대해 상기 변환 행렬을 적용하여 역변환하여 잔여 예측 블록을 복원하는 단계는
    상기 화면내 예측 모드에 기초하여 상기 변환 행렬을 이용하여 역변환을 수행하는 것을 특징으로 하는 영상 복호화 방법.
  14. 제9항에 있어서, 상기 역양자화된 잔여 예측 블록에 대해 상기 변환 행렬을 적용하여 역변환하여 잔여 예측 블록을 복원하는 단계는
    상기 잔여 예측 블록이 4X4 픽셀 크기를 가지는 경우 9가지 화면내 예측 모드 중 수평 방향 모드로 화면내 예측이 실행된 경우 변환시 상기 수평 방향을 따라서 상기 변환 행렬을 이용하여 역변환을 수행하는 것을 특징으로 하는 영상 복호화 방법.
  15. 제9항에 있어서, 상기 변환에 사용되는 잔여 예측 블록은 변환 유닛(TU; Transform Unit)으로 구현되고, 상기 변환 유닛은 순환적인 트리 구조를 가지는 것을 특징으로 하는 영상 복호화 방법.
  16. 제9항에 있어서, 상기 코딩 유닛은 32×32 픽셀 이상의 크기를 가지는 확장 마크로 블록인 것을 특징으로 하는 영상 복호화 방법.
PCT/KR2011/000499 2010-02-02 2011-01-25 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치 WO2011096662A2 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/576,598 US8792740B2 (en) 2010-02-02 2011-01-25 Image encoding/decoding method for rate-distortion optimization and apparatus for performing same
CN2011800117433A CN103250412A (zh) 2010-02-02 2011-01-25 用于率失真优化的图像编码/解码方法和用于执行该方法的装置
EP11739958A EP2533539A2 (en) 2010-02-02 2011-01-25 Image encoding/decoding method for rate-distortion optimization and apparatus for performing same
KR20110089163A KR20120086232A (ko) 2011-01-25 2011-09-02 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100009359 2010-02-02
KR10-2010-0009359 2010-02-02

Publications (2)

Publication Number Publication Date
WO2011096662A2 true WO2011096662A2 (ko) 2011-08-11
WO2011096662A3 WO2011096662A3 (ko) 2011-12-22

Family

ID=44355916

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/000499 WO2011096662A2 (ko) 2010-02-02 2011-01-25 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치

Country Status (5)

Country Link
US (1) US8792740B2 (ko)
EP (1) EP2533539A2 (ko)
KR (1) KR20110090781A (ko)
CN (1) CN103250412A (ko)
WO (1) WO2011096662A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014052425A1 (en) * 2012-09-26 2014-04-03 Magnum Semiconductor, Inc. Apparatuses and methods for optimizing rate-distortion of syntax elements
CN103782600A (zh) * 2011-09-02 2014-05-07 数码士有限公司 速率失真优化的图像编码/解码方法和执行该方法的设备

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011096662A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
CN106067982A (zh) * 2010-06-07 2016-11-02 数码士有限公司 解码高分辨率图像的方法和装置
JP2011259205A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
KR101956284B1 (ko) * 2011-06-30 2019-03-08 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
GB2559226B (en) * 2011-09-09 2018-11-28 Kt Corp Method for deriving a temporal predictive motion vector
KR101549913B1 (ko) 2011-10-17 2015-09-03 주식회사 케이티 화면 내 예측 모드에 기초한 적응적인 변환 방법 및 이러한 방법을 사용하는 장치
CN107835414B (zh) 2011-10-18 2020-11-06 株式会社Kt 视频信号解码方法
WO2013062175A1 (ko) * 2011-10-24 2013-05-02 한국항공대학교산학협력단 향상 계층에 대한 스케일러블 코딩 방법 및 장치
WO2013162272A1 (ko) * 2012-04-24 2013-10-31 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
FI2869557T3 (fi) 2012-06-29 2023-11-02 Electronics & Telecommunications Res Inst Menetelmä ja laite kuvien koodaamiseksi/dekoodaamiseksi
US10277907B2 (en) 2012-10-25 2019-04-30 Integrated Device Technology, Inc. Rate-distortion optimizers and optimization techniques including joint optimization of multiple color components
US9311721B1 (en) * 2013-04-04 2016-04-12 Sandia Corporation Graphics processing unit-assisted lossless decompression
WO2019004749A1 (ko) * 2017-06-28 2019-01-03 엘지전자 주식회사 비디오 압축을 위한 변환 커널의 저복잡도 연산을 수행하는 방법 및 장치
KR20230008911A (ko) * 2017-12-15 2023-01-16 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
WO2019148320A1 (en) * 2018-01-30 2019-08-08 SZ DJI Technology Co., Ltd. Video data encoding
WO2020092137A1 (en) * 2018-11-01 2020-05-07 Interdigital Vc Holdings, Inc. Video encoding and decoding using multiple transform selection
CN109495745B (zh) * 2018-11-20 2021-03-30 北京工业大学 一种基于逆量化/逆变换的无损压缩解码方法
CN113438481B (zh) 2020-03-23 2024-04-12 富士通株式会社 训练方法、图像编码方法、图像解码方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010017941A1 (en) * 1997-03-14 2001-08-30 Navin Chaddha Method and apparatus for table-based compression with embedded coding
KR100497753B1 (ko) * 2003-02-14 2005-06-29 (주) 멀티비아 이동통신 단말기용 동영상 부호화 시스템 및 방법
JP2005005844A (ja) * 2003-06-10 2005-01-06 Hitachi Ltd 計算装置及び符号化処理プログラム
CN100433837C (zh) * 2004-03-18 2008-11-12 华中科技大学 视频编码的整数变换方法
US20050213835A1 (en) * 2004-03-18 2005-09-29 Huazhong University Of Science & Technology And Samsung Electronics Co., Ltd. Integer transform matrix selection method in video coding and related integer transform method
US20050259730A1 (en) * 2004-05-18 2005-11-24 Sharp Laboratories Of America, Inc. Video coding with residual color conversion using reversible YCoCg
US20060098733A1 (en) * 2004-11-08 2006-05-11 Kabushiki Kaisha Toshiba Variable-length coding device and method of the same
US8031774B2 (en) * 2005-01-31 2011-10-04 Mediatek Incoropration Video encoding methods and systems with frame-layer rate control
KR20060109246A (ko) * 2005-04-13 2006-10-19 김해광 동영상 부호화/복호화 방법 및 장치
US7822116B2 (en) * 2005-04-14 2010-10-26 Broadcom Corporation Method and system for rate estimation in a video encoder
KR100885693B1 (ko) * 2006-06-14 2009-02-26 한국전자통신연구원 독립성분분석 기반의 신호분리 알고리즘을 이용한 비디오인코딩 장치 및 그 방법과 이를 이용한 비디오 디코딩 장치및 그 방법
KR100927733B1 (ko) * 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
US8488668B2 (en) * 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
WO2010091504A1 (en) * 2009-02-13 2010-08-19 Research In Motion Limited In-loop deblocking for intra-coded images or frames
CN104618719B (zh) * 2009-10-20 2018-11-09 夏普株式会社 运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法
CN102045560B (zh) * 2009-10-23 2013-08-07 华为技术有限公司 一种视频编解码方法及设备
WO2011096662A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
JP5393573B2 (ja) * 2010-04-08 2014-01-22 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
US8582639B2 (en) * 2010-07-06 2013-11-12 Blackberry Limited Methods and devices for data compression using adaptive reconstruction levels

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103782600A (zh) * 2011-09-02 2014-05-07 数码士有限公司 速率失真优化的图像编码/解码方法和执行该方法的设备
EP2753081A4 (en) * 2011-09-02 2015-06-24 Humax Holdings Co Ltd PICTURE CODING / DECODING METHOD FOR RATE DISTORTION OPTIMIZATION AND DEVICE FOR CARRYING OUT THIS METHOD
WO2014052425A1 (en) * 2012-09-26 2014-04-03 Magnum Semiconductor, Inc. Apparatuses and methods for optimizing rate-distortion of syntax elements

Also Published As

Publication number Publication date
KR20110090781A (ko) 2011-08-10
US20120301040A1 (en) 2012-11-29
EP2533539A2 (en) 2012-12-12
WO2011096662A3 (ko) 2011-12-22
CN103250412A (zh) 2013-08-14
US8792740B2 (en) 2014-07-29

Similar Documents

Publication Publication Date Title
WO2011096662A2 (ko) 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
DK2996340T3 (en) Method and apparatus for encoding and decoding image using large transform unit.
KR101298598B1 (ko) 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
WO2012002785A2 (ko) 화면내 예측 부호화를 위한 영상 부호화/복호화 장치 및 방법
DK2629526T3 (en) Device for decoding an image using large transformation units.
WO2012057528A2 (ko) 적응적 화면내 예측 부호화 및 복호화 방법
WO2011133002A2 (ko) 영상 부호화 장치 및 방법
WO2010095915A2 (ko) 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
WO2012134085A2 (ko) 인트라 예측 모드에서의 영상 복호화 방법
WO2012144830A2 (en) Methods and apparatuses for encoding and decoding image using adaptive filtering
WO2009113791A2 (ko) 영상 부호화장치 및 영상 복호화장치
WO2011126285A2 (ko) 부호화 모드에 대한 정보를 부호화, 복호화하는 방법 및 장치
KR101712097B1 (ko) 유연한 직교 변환에 기초한 영상 부호화, 복호화 방법 및 장치
WO2017209793A1 (en) Block size adaptive directional intra prediction
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
WO2014026130A2 (en) Transform-domain intra prediction
JP6390875B2 (ja) 画像符号化／復号化方法、装置およびシステム
WO2011037337A2 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
KR20110090841A (ko) 가중치 예측을 이용한 영상 부호화/복호화 장치 및 방법
WO2014084671A2 (ko) 트랜스폼을 이용한 영상 부호화/복호화 방법 및 장치
WO2011105849A2 (ko) 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법
WO2011078562A2 (ko) 인트라 예측 부호화 방법 및 부호화 방법, 그리고 상기 방법을 수행하는 인트라 예측 부호화 장치 및 인트라 예측 복호화 장치
WO2018070567A1 (ko) 부호화 유닛의 그룹을 사용하는 비디오 코딩 방법 및 장치
WO2011049392A2 (ko) 영상 부호화/복호화 장치 및 방법
KR20130041038A (ko) 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11739958

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13576598

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011739958

Country of ref document: EP