WO2011065735A2 - 적응적 2차예측 기반 영상 부호화/복호화 방법, 장치 및 기록 매체 - Google Patents

적응적 2차예측 기반 영상 부호화/복호화 방법, 장치 및 기록 매체 Download PDF

Info

Publication number
WO2011065735A2
WO2011065735A2 PCT/KR2010/008316 KR2010008316W WO2011065735A2 WO 2011065735 A2 WO2011065735 A2 WO 2011065735A2 KR 2010008316 W KR2010008316 W KR 2010008316W WO 2011065735 A2 WO2011065735 A2 WO 2011065735A2
Authority
WO
WIPO (PCT)
Prior art keywords
block
prediction
information
quantization
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2010/008316
Other languages
English (en)
French (fr)
Other versions
WO2011065735A3 (ko
Inventor
김수년
임정연
이규민
최재훈
최영호
최윤식
김용구
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Priority to US13/511,347 priority Critical patent/US9288495B2/en
Priority claimed from KR1020100117198A external-priority patent/KR101807170B1/ko
Publication of WO2011065735A2 publication Critical patent/WO2011065735A2/ko
Publication of WO2011065735A3 publication Critical patent/WO2011065735A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • Embodiments of the present invention relate to image data compression technology, and more particularly, in the case of performing adaptive prediction error coding using adaptive frequency conversion, adaptation is performed using motion vectors of one or more reference blocks.
  • the present invention relates to an adaptive secondary prediction based image encoding / decoding method, an apparatus, and a recording medium.
  • H.264 / AVC video encoding technology has improved the compression performance by 2 times compared with the previous standard.
  • This technique provides a coding step in the time and space domain based on the hybrid coding technique.
  • the encoding step in the temporal domain reduces temporal redundancy through motion compensation prediction from an image of a reference frame.
  • the motion compensation prediction is determined by a correlation between a block of a reference frame and a block of an image to be currently encoded, that is, a motion vector, and thereby obtains a predictive image in units of blocks.
  • the prediction error obtained as the difference between the predicted image and the original image is aligned in blocks, transformed into a frequency domain, and then quantized, and then scanned by a zigzag scanning method starting from a coefficient representing a DC value.
  • Zigzag scanning produces a coefficient array and subsequent encoding steps can be optimized through CABAC or CAVLC.
  • the coding efficiency is high by the DCT transform, which transforms the frequency domain only when the prediction errors in the block correlate with each other, that is, when they exist in the low frequency band.
  • efficiency is low when only slightly correlated in the spatial domain.
  • a method of encoding a prediction error signal in a spatial domain without performing a DCT transform is added to a conventional method of encoding a prediction error in a frequency domain.
  • 1 is a flowchart illustrating a method of encoding a prediction error adaptively.
  • a prediction error signal of an image to be encoded is obtained through motion compensation prediction (S101).
  • step S101 For the prediction error obtained in step S101, DCT transform is performed, quantization is performed, and then quantization and DCT transform are inversely performed in the frequency domain based on the distortion and the required rate. Obtain the cost (RD Cost) of (S102).
  • quantization is inversely performed to obtain a cost in the spatial domain based on distortion and a required rate (S103). ).
  • the technique of encoding a prediction error signal by the method of FIG. 1 provided a higher encoding performance compared to the H.264 / AVC video encoding technique. However, if the prediction error sample in the block is not only low in the spatial domain but also large and small errors are scattered irregularly, the method is also less efficient.
  • An embodiment of the present invention is to solve the above-described problem, and in performing error coding using adaptive frequency transform, prediction error is performed by adaptively performing second-order prediction using motion vectors of one or more reference blocks.
  • the purpose is to reduce.
  • a prediction block is generated by predicting a current block, and the first residual block is subtracted by subtracting the prediction block from the current block.
  • Generate and selectively frequency transform the primary residual block generate a first quantization block for the primary residual block or the frequency transformed primary residual block, and the first quantization block quantizes the primary residual block.
  • a second quantization block is generated by selectively performing second prediction on the quantized primary residual block by using a second prediction motion vector set, and information on whether or not to perform frequency conversion and optionally second prediction
  • An image encoder for encoding information and encoding the first quantization block or the second quantization block into a bitstream; And decoding information about the quantization block and the frequency conversion and information related to the secondary prediction from the bitstream, and information on whether the frequency conversion is performed, information on whether or not the secondary prediction included in the information related to the secondary prediction and the secondary
  • a video decoder for reconstructing a residual block from the quantization block using information on a predicted motion vector, generating a prediction block by predicting a current block, and reconstructing the current block by adding the reconstructed residual block and the prediction block.
  • an apparatus for encoding an image comprising: a prediction unit for predicting a current block to generate a prediction block; A primary residual block generator which generates a primary residual block by subtracting the prediction block from the current block; An adaptive transform quantizer for selectively frequency transforming the primary residual block and generating a first quantization block for the primary residual block or the frequency transformed primary residual block; When the first quantization block is a block in which the first residual block is quantized, a second quantization block is generated by selectively performing second prediction on the quantized primary residual block using a second prediction motion vector set.
  • a secondary residual block generation unit And an encoding unit encoding information on whether to transform the frequency and second prediction information, and encoding the first quantization block or the second quantization block.
  • the adaptive transform quantization unit may include an adaptive transform determiner configured to adaptively determine whether to encode the first residual block in a frequency domain or a spatial domain; A spatial domain quantizer for generating a first quantized block by quantizing the first residual block with a spatial domain according to the determination; And a transform and quantization unit configured to generate a first quantization block by performing frequency transform and quantization on the primary residual block according to the determination.
  • Whether or not the frequency conversion and the second prediction may be determined using a rate-distortion ratio (RD Cost).
  • RD Cost rate-distortion ratio
  • Whether or not the second prediction is selected may be selected when the difference between the spatial domain first quantization block of the block of the previous frame and the spatial domain first quantization block of the current block is smallest and smaller than the spatial domain first quantization block of the current block. Can be.
  • the secondary predictive beam may include information on whether the secondary prediction and the motion vector used in the secondary prediction.
  • the information on whether the frequency is transformed, the information on whether or not the second prediction, and the information on the motion vector used in the second prediction may be combined with each other to be generated and encoded as binary data.
  • the motion vector used for the second prediction may be selected to be optimal among the second prediction motion vector sets.
  • the second prediction motion vector set may include a motion vector of the current block, a motion vector of a neighboring block with respect to the current block, an average of a motion vector of a neighboring block with respect to the current block, and a position that is the same as the current block.
  • One or more of the motion vector and the maximum probability motion vector of the frame may include a motion vector of the current block, a motion vector of a neighboring block with respect to the current block, an average of a motion vector of a neighboring block with respect to the current block, and a position that is the same as the current block.
  • an embodiment of the present invention in the apparatus for decoding an image, decoding to decode the information related to the quantization block and frequency conversion and information related to the secondary prediction from the bitstream part; Residual from the quantization block using information on whether or not the frequency conversion, information on the secondary prediction included in the information related to the secondary prediction, and information about the second prediction motion vector included in the information related to the secondary prediction A residual block recovery unit for restoring the block; A prediction unit predicting a current block to generate a prediction block; And an adder configured to reconstruct the current block by adding the reconstructed residual block and the prediction block.
  • the residual block reconstruction unit inversely quantizes and inverse-transforms the quantization block when the information about whether to transform the frequency means "frequency domain encoding.” If the information about whether or not the second prediction included in the difference prediction information means "non-order prediction", the quantization block is inversely quantized, and the information on whether or not the frequency conversion means "spatial domain encoding" If the information about whether the secondary prediction included in the difference prediction information means "perform secondary prediction", the second prediction motion vector is used by decoding information on the secondary prediction motion vector included in the secondary prediction information.
  • the information on whether the frequency is transformed, the information on whether or not the second prediction, and the information on the motion vector used in the second prediction may be combined with each other, encoded into binary data, and included in the bitstream.
  • the second prediction motion vector is
  • the motion vector of the current block, the motion vector of the neighboring block for the current block, the average of the motion vector of the neighboring block for the current block, the motion vector of the previous frame at the same position as the current block, and the maximum probability motion vector It may be one of.
  • an embodiment of the present invention in a method for encoding / decoding an image, predicts a current block to generate a prediction block and subtracts the prediction block from the current block 1 Generate a residual residual block and selectively frequency transform the primary residual block and generate a first quantization block for the primary residual block or the frequency-converted primary residual block and the first quantization block is the primary
  • a second quantization block is generated by selectively performing second prediction on the quantized primary residual block by using a second prediction motion vector set, and information on whether or not to perform frequency conversion
  • an embodiment of the present invention a method for encoding an image, comprising: a prediction step of predicting a current block to generate a prediction block; Generating a first residual block by subtracting the prediction block from the current block; An adaptive transform quantization step of selectively frequency transforming the primary residual block and generating a first quantization block for the primary residual block or the frequency transformed primary residual block; When the first quantization block is a block in which the first residual block is quantized, a second quantization block is generated by selectively performing second prediction on the quantized primary residual block using a second prediction motion vector set. Generating a secondary residual block; And an encoding step of encoding information on whether to transform the frequency and second prediction information selectively and encoding the first quantization block or the second quantization block.
  • an embodiment of the present invention in a method for decoding an image, decoding to decode the information related to the quantization block and frequency conversion and information related to the secondary prediction from the bitstream step; Residual from the quantization block using information on whether or not the frequency conversion, information on the secondary prediction included in the information related to the secondary prediction, and information about the second prediction motion vector included in the information related to the secondary prediction A residual block restoring step of restoring the block; A prediction step of predicting a current block to generate a prediction block; And an addition step of reconstructing the current block by adding the reconstructed residual block and the prediction block.
  • the compression efficiency is improved by minimizing the residual signal value generated by adaptively performing the selective second order prediction using the prediction error of the base coded block, thereby improving the subjective / objective picture quality.
  • FIG. 1 is a flowchart illustrating a method of adaptively encoding a prediction error according to the prior art
  • FIG. 2 is a block diagram of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a block diagram schematically illustrating an adaptive transform quantization unit according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a second prediction method
  • FIG. 5 is a diagram illustrating an example in which binary data is generated from information on whether a frequency is transformed, information on whether a second prediction is performed, and information on a motion vector used in the second prediction;
  • FIG. 6 is a block diagram showing the configuration of a video decoding apparatus according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a video encoding method according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • a video encoding apparatus (Video Encoding Apparatus), a video decoding apparatus (Video Decoding Apparatus) to be described below is a personal computer (PC), notebook computer, personal digital assistant (PDA), portable multimedia player (PMP) It may be a user terminal such as a portable multimedia player (PSP), a PlayStation Portable (PSP), a wireless communication terminal, a smart phone, a TV, or a server terminal such as an application server or a service server.
  • a communication device such as a communication modem for communicating with various devices or a wired / wireless communication network, a memory for storing various programs and data for encoding or decoding an image or inter or intra prediction for encoding or decoding, and executing a program And a microprocessor for controlling and the like. It can mean a variety of devices.
  • the image encoded in the bitstream by the video encoding apparatus is real-time or non-real-time through the wired or wireless communication network, such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like, or a cable, universal serial bus (USB: Universal) It may be transmitted to an image decoding apparatus through various communication interfaces such as a serial bus, and may be decoded by the image decoding apparatus to restore and reproduce the image.
  • wired or wireless communication network such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like, or a cable, universal serial bus (USB: Universal) It may be transmitted to an image decoding apparatus through various communication interfaces such as a serial bus, and may be decoded by the image decoding apparatus to restore and reproduce the image.
  • USB universal serial bus
  • a video may be composed of a series of pictures, and each picture may be divided into a predetermined area such as a frame or a block.
  • the divided blocks may be classified into intra blocks and inter blocks according to an encoding method.
  • An intra block refers to a block that is encoded by using an intra prediction coding method.
  • An intra prediction coding is performed by using pixels of blocks that are previously encoded, decoded, and reconstructed in a current picture that performs current encoding.
  • a prediction block is generated by predicting pixels of a block, and a difference value with pixels of the current block is encoded.
  • An inter block refers to a block that is encoded using inter prediction coding.
  • Inter prediction coding generates a prediction block by predicting a current block within a current picture by referring to one or more past or future pictures, and then generates a current block. This is a method of encoding a difference value with.
  • a frame referred to for encoding or decoding the current picture is referred to as a reference frame.
  • FIG. 2 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • the image encoding apparatus 200 may include a predictor 220, a primary residual block generator 230, an adaptive transform quantizer 240, and a secondary.
  • the residual block generator 250, the encoder 260, the inverse quantization and inverse transform unit 270, the adder 280, and the frame memory 290 may be configured.
  • the input image may be input in units of macro blocks.
  • the macro blocks may be M ⁇ N type, and M and N may be the same or different.
  • the predictor 120 generates a motion compensation block and a motion vector generated by estimating and compensating for the motion of the current block of the image.
  • the predictor 110 predicts a pixel value of each pixel of the current block to be encoded in the image and generates a predicted block having a predicted pixel value of each pixel predicted.
  • the prediction unit 120 may predict the current block by using intra prediction or inter prediction. In the case of inter prediction, a motion vector may also be generated.
  • the primary residual block generator 230 calculates a difference value between the pixel value of the current block to be encoded and the pixel value of the prediction block predicted by the predictor 220 to generate a primary residual block composed of the residual signal.
  • the adaptive transform quantization unit 240 selectively frequency transforms the primary residual block and generates a first quantization block for the primary residual block or the frequency-converted primary residual block.
  • FIG. 3 is a block diagram schematically illustrating an adaptive transform quantization unit according to an embodiment of the present invention.
  • the adaptive transform quantization unit 240 adaptively determines whether to encode in a frequency domain or a spatial domain with respect to the primary residual block. Based on the determination of 310, the primary residual block is quantized into the spatial domain to generate the first quantization block.
  • the primary residual block into the frequency domain is determined by the spatial domain quantization unit 320 and the adaptive transform determination unit 310.
  • the adaptive transform determiner 310 encodes the primary residual block generated by the primary residual block generator 230 to the frequency domain (ie, encoding through frequency transformation and quantization) or encodes to the spatial domain (ie, The method determines the rate-distortion ratio (RD cost) whether to encode only by quantization without frequency conversion, and selects a method that shows an optimal coding efficiency. If the cost of encoding in the frequency domain is smaller than the cost of encoding in the spatial domain, it is decided to encode in the frequency domain, and vice versa.
  • RD cost rate-distortion ratio
  • the spatial domain quantization unit 320 generates a first quantization block by quantizing the primary residual block when the adaptive transform determination unit 310 determines to encode in the spatial domain.
  • the transform and quantization unit 330 When the adaptive transform determiner 310 determines to encode in the frequency domain, the transform and quantization unit 330 generates a first quantization block by frequency transforming and quantizing the primary residual block.
  • the transform and quantization unit 330 may convert various image signals of a time axis such as Discrete Cosine Transform (DCT) or Wavelet Transform into a frequency axis.
  • DCT Discrete Cosine Transform
  • Wavelet Transform Wavelet Transform
  • the transform and quantization unit 330 quantizes the residual signal (ie, the frequency conversion block) transformed into the frequency domain after the frequency conversion is completed.
  • various quantization techniques such as dead zone uniform threshold quantization (DZUTQ) or quantization weighted matrix (Quantization Weighted Matrix) may be used.
  • the secondary residual block generation unit 250 performs 2 on the quantized primary residual block.
  • the second quantization block may be generated by selectively performing second prediction using the difference prediction motion vector set.
  • the second prediction motion vector set is a motion vector of the current block, a motion vector of one or more neighboring blocks with respect to the current block, an average of motion vectors of neighboring blocks with respect to the current block, and a previous frame at the same position as the current block.
  • the types of second prediction motion vectors included in the second prediction motion vector set that may be used in the present invention are not limited thereto, and are decoded after being previously encoded. Can be obtained using various motion vectors of the stored block.
  • FIG. 4 is a diagram illustrating a second prediction method.
  • the types of the second prediction motion vectors included in the second prediction motion vector set are the motion vector MV1 of the upper block of the current block and the motion vector MV2 of the left block of the current block.
  • the secondary residual block generation unit 250 encodes the cost when the second prediction is not performed, the quantized prediction error Y1 'of the block of the previous frame at the position indicated by MV1, and the quantized prediction of the current block.
  • the encoding cost of the result of encoding using the difference of the error that is, the first quantization block X
  • the quantized prediction error Y2 'of the block of the previous frame at the position indicated by MV2 and the quantized prediction of the current block.
  • the second quantization block and the MV1 are performed by performing a second prediction error.
  • the second quantization block is generated by obtaining a difference from the quantized prediction error of the block of the previous frame at the point indicated. If it is determined that encoding the first quantization block of the current block is more efficient, the second quantization block is not generated.
  • the determination of the second prediction does not determine that the rate-distortion ratio is the most optimal, and is simply the spatial domain first quantization block of the previous frame block and the first domain quantization block of the current block. It may be determined that the second prediction is performed with the smallest difference between the two. Of course, in this case, the second prediction may not be performed unless the spatial domain first quantization block of the previous frame referenced by any motion vector is smaller than the spatial domain first quantization block of the current block.
  • the encoder 260 encodes the information on whether to transform the frequency and the second prediction information, and optionally, the first quantization block when the second prediction is not performed, and the second quantization when the second prediction is performed. Encode the block.
  • the encoder 260 determines whether to perform frequency transform when generating the first quantized block and when not performing frequency transform when generating the first quantized block, but does not perform secondary prediction.
  • the first quantization block is generated, it is determined that no frequency conversion is performed, and when second prediction is performed, information on whether or not the frequency conversion is performed and second prediction information are encoded.
  • the second prediction measurement may include information on whether or not the second prediction and the motion vector (MV1 or MV2) used in the second prediction.
  • FIG. 5 is a diagram illustrating an example in which binary data is generated from information on whether a frequency is transformed, information on whether a second prediction is performed, and information on a motion vector used in the second prediction.
  • the information on whether to transform the frequency, the information about whether the second prediction is predicted, and the information about the motion vector used in the second prediction may be combined with each other to be generated and encoded as binary data. That is, binary data generated when it is determined to be encoded by the frequency domain is 00, and spatial data is encoded by 00, but binary data generated when the second domain is not performed is encoded by 01, the spatial domain, but the secondary prediction is performed using MV1. Binary data generated when the operation is performed may be encoded in 10 and a spatial domain, but binary data generated when the second prediction is performed using MV2 may be set to 11.
  • the encoder 260 encodes information on whether to convert a frequency, secondary prediction information, a first quantization block, a second quantization block, and the like into a bitstream.
  • an entropy encoding technique may be used, but various encoding techniques may be used without being limited thereto.
  • the encoder 260 may include not only a bit string encoding the quantized frequency coefficients but also various pieces of information necessary to decode the encoded bit string in the encoded data. That is, the coded data includes a field including a coded block pattern (CBP), a delta quantization parameter, and a bit string in which the quantization frequency coefficients are encoded, and information necessary for prediction (eg, intra prediction). In the case of Intra prediction mode or a motion vector in the case of inter prediction, etc.) may include a field that contains a bit.
  • CBP coded block pattern
  • a delta quantization parameter e.g., a bit string in which the quantization frequency coefficients are encoded
  • information necessary for prediction eg, intra prediction
  • Intra prediction mode or a motion vector in the case of inter prediction, etc. may include a field that contains a bit.
  • the residual block restoration unit 270 restores the residual block from the first quantization block or the second quantization block according to the information on whether to convert the frequency and the information related to the secondary prediction. That is, the residual block reconstructor 270 inversely quantizes the transformed and quantized residual block (ie, the first quantized block) in the case of the first quantized block that has undergone frequency transformation, and performs inverse transformation. Reconstruction the residual block.
  • inverse quantization and inverse transformation may be performed by inversely performing a transform process and a quantization process performed by the transform and quantization unit 330, respectively. That is, the residual block reconstruction unit 270 performs inverse quantization and inverse transformation using information on transform and quantization generated by the transform and quantization unit 330 (for example, information on transform and quantization type). can do.
  • the residual block reconstruction unit 270 performs inverse quantization by inversely performing quantization of the spatial domain quantization unit 320 with respect to the first quantization block encoded by the spatial domain without performing secondary prediction. Restore That is, the residual block reconstruction unit 270 may perform inverse quantization using information on quantization (for example, information about a quantization type) generated and transmitted from the spatial domain quantization unit 320.
  • the residual block reconstructor 270 quantizes the second quantization block generated by performing the second prediction by using the vector of the second prediction in the inverse of the second prediction using information related to the second prediction. Reconstruct the primary residual block and dequantize the quantized primary residual block to restore the primary residual block. That is, the residual block reconstruction unit 270 may perform inverse quantization by using information on quantization (for example, information about quantization type) generated and transmitted from the secondary residual block generation unit 250. .
  • the adder 280 generates the reconstructed block by adding the predicted block generated by the predictor 220 and the primary residual block reconstructed by the residual block reconstructor 270.
  • the frame memory 290 is used as a reference block to store a block reconstructed by the adder 280 to generate a prediction block when performing intra or inter prediction.
  • FIG. 6 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus 600 includes a decoder 610, a residual block restorer 620, an adder 640, a predictor 650, and the like. And a frame memory 670.
  • the decoder 610 decodes the information about the quantization block and the frequency transform from the bitstream and the information related to the second prediction.
  • the decoder 610 may decode and extract encoded data to decode or extract information necessary for decoding as well as a quantized frequency transform block or a quantized block in a spatial domain.
  • Information necessary for decoding refers to information required for decoding the coded bit string in the encoded data (ie, the bitstream). For example, information about a block type, information about a motion vector of the current block, and a transform and quantization type may be used. Information, frequency conversion, second prediction, second prediction motion vector information, and the like, and various other information.
  • the decoder 610 decodes a bitstream, which is data encoded by the image encoding apparatus 200, extracts a quantized block including pixel information of the current block of the image, and extracts information necessary for the extracted prediction. May be transferred to the prediction unit 650.
  • the residual block restoring unit 620 provides information on whether to transform the frequency, information on whether or not the secondary prediction is included in the information related to the secondary prediction, and information on the second prediction motion vector included in the information related to the secondary prediction.
  • the residual block is recovered from the quantized block decoded by the decoder 610.
  • the information on whether to transform the frequency the information about whether the second prediction and the information about the motion vector used in the second prediction may be combined with each other and encoded into binary data to be included in the bitstream.
  • the residual block restoration unit 620 is combined with each other, encoded into binary data, and decodes information included in the bitstream.
  • the residual block restoring unit 620 inversely quantizes and inverse-transforms the quantization block if the information on whether to transform the frequency means "frequency domain encoding.”
  • "No prediction” in this case, information about whether to transform the frequency means "spatial domain encoding" dequantizes the quantization block, and information about whether the second prediction included in the second prediction information is " Performing secondary prediction "(in this case, the information on whether to transform the frequency means” spatial domain encoding "), and decoded secondary prediction by decoding information about the secondary prediction motion vector included in the secondary prediction information.
  • the first residual block is quantized from the decoded quantized block by using the motion vector, and then dequantized to restore the residual block.
  • the method of inverse quantization and inverse transformation or inverse quantization in the residual block restorer 620 is described above in the description of the residual block restorer 270 of FIG.
  • the second prediction motion vector includes a motion vector of a current block, a motion vector of a neighboring block with respect to the current block, an average of motion vectors of a neighboring block with respect to the current block, and a motion vector of a previous frame at the same position as the current block. And a maximum probability motion vector.
  • the prediction unit 650 determines the size and shape of the current block according to the block type identified by the information on the block type, and predicts the current block using the motion vector of the current block identified by the information required for prediction.
  • a prediction block can be generated.
  • the prediction unit 650 may generate the prediction block in the same or similar manner as the predictor 220 of the image encoding apparatus 200.
  • the adder 640 restores the original pixel value by adding the residual signal restored by the residual block restorer 620 and the predicted pixel value generated by the predictor 650.
  • the current block reconstructed by the adder 640 may be transferred to the frame memory 670 and used by the predictor 650 to predict another block.
  • the frame memory 670 stores the reconstructed image to enable generation of the intra prediction block and the inter prediction block.
  • An image encoding / decoding apparatus may be configured by connecting a bitstream output terminal of the image encoding apparatus 200 of FIG. 2 to a bitstream input terminal of the image decoding apparatus 600 of FIG. 6.
  • An image encoding / decoding apparatus generates a prediction block by predicting a current block, subtracts the prediction block from the current block, generates a primary residual block, and selectively transforms a frequency with respect to the primary residual block. And generate a first quantization block for the primary residual block or the frequency-converted primary residual block, and if the first quantization block is a quantized block of the primary residual block, the second prediction motion with respect to the quantized primary residual block
  • a second quantization block is selectively generated by using a vector set to generate a second quantization block, information about whether to transform a frequency, and optionally, second prediction information is encoded, and a first quantization block or a second quantization block is encoded as a bitstream.
  • An image encoder And decoding information about the quantization block and the frequency transformation and information related to the secondary prediction from the bitstream, information on whether to transform the frequency, information about whether the secondary prediction is included in the information related to the secondary prediction, and the secondary prediction. And a video decoder for reconstructing the residual block from the decoded quantization block using information on the motion vector, predicting the current block to generate a prediction block, and adding the reconstructed residual block and the prediction block to reconstruct the current block.
  • the image encoder may be implemented by the image encoding apparatus 200 according to an embodiment of the present invention, and the image decoder may be implemented by the image decoding apparatus 600 according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a video encoding method according to an embodiment of the present invention.
  • the secondary prediction is selectively performed on the quantized primary residual block by using a second prediction motion vector set.
  • the prediction step S710 is adapted to the function of the predictor 220
  • the primary residual block generation step S720 is adapted to the function of the primary residual block generator 230
  • the adaptive transform determination step S730 is adapted.
  • the spatial domain quantization step S740 is performed by the spatial domain quantization unit 320
  • the transformation and quantization step S750 is performed by the transform and quantization unit 330. Since the residual residual block generation step S760 corresponds to the function of the secondary residual block generation unit 250 and the encoding step S770 corresponds to the function of the encoder 260, detailed description thereof will be omitted.
  • FIG. 8 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • the decoding step S810 corresponds to the operation of the decoder 610
  • the residual block reconstruction step S820 corresponds to the operation of the residual block reconstruction unit 620
  • the prediction step S830 is the prediction unit 650.
  • the adding step S840 corresponds to the operation of the adder 640, and thus a detailed description thereof will be omitted.
  • An image encoding / decoding method may be realized by combining the image encoding method according to an embodiment of the present invention and the image decoding method according to an embodiment of the present invention.
  • a prediction block is generated by predicting a current block, a prediction residual is subtracted from the current block to generate a first residual block, and a frequency transform is selectively performed on the first residual block. And generate a first quantization block for the primary residual block or the frequency-converted primary residual block, and if the first quantization block is a quantized block of the primary residual block, the second prediction motion with respect to the quantized primary residual block.
  • a second quantization block is selectively generated by using a vector set to generate a second quantization block, information about whether to transform a frequency, and optionally, second prediction information is encoded, and a first quantization block or a second quantization block is encoded as a bitstream.
  • the residual block is restored from the quantization block by using the information about whether the ring is present, information about whether the second prediction is included in the information related to the second prediction, and information about the second prediction motion vector, and the prediction block is predicted by predicting the current block.
  • a video decoding step of reconstructing the current block by adding the residual block and the prediction block to be generated and reconstructed.
  • the above-described image encoding / decoding method according to an embodiment of the present invention, the image encoding method according to an embodiment of the present invention, and the image decoding method according to an embodiment of the present invention are performed to perform various computer-implemented operations. It may be embodied as a computer readable recording medium containing program instructions. A program for implementing any one of an image encoding / decoding method according to an embodiment of the present invention, an image encoding method according to an embodiment of the present invention, and an image decoding method according to an embodiment of the present invention is recorded,
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.
  • Examples of such computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and are implemented in the form of a carrier wave (for example, transmission over the Internet). It includes being.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing an embodiment of the present invention may be easily deduced by programmers in the art to which an embodiment of the present invention belongs.
  • an embodiment of the present invention is applied to the field of image data compression technology, and generates a residual signal in predicting, encoding, and decoding a current block of two images from a reference block, and then adaptively converts the frequency.
  • the compression efficiency is increased by minimizing the residual signal value generated by adaptively performing the selective second order prediction using the prediction error of the base-encoded block when encoding the spatial domain.
  • Very useful invention with the effect of improving the objective image quality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 실시예는 현재 블록에서 예측 블록을 감산하여 생성한 1차잔차블록을 선택적으로 주파수변환하고 1차잔차블록 또는 주파수변환된 1차잔차블록에 대한 제1양자화블록을 생성하고 제1양자화블록이 1차잔차블록을 양자화한 블록인 경우, 양자화된 1차잔차블록에 대하여 2차예측 움직임벡터 집합을 이용하여 선택적으로 2차예측을 수행하여 제2양자화블록을 생성하고 주파수변환 여부에 대한 정보와 선택적으로 2차예측정보를 부호화하고 제1양자화블록 또는 제2양자화블록을 비트스트림으로 부호화하고 이를 복호화하는 단계를 포함한다.

Description

적응적 2차예측 기반 영상 부호화/복호화 방법, 장치 및 기록 매체
본 발명의 실시예는 영상 데이터 압축기술에 관한 것으로서, 보다 상세하게는 적응적 주파수변환을 이용한 적응적 예측 에러 코딩(Adaptive Prediction Error Coding)을 수행함에 있어 하나 이상의 참조 블록의 움직임벡터를 이용하여 적응적으로 2차 예측을 수행하여 예측 오차를 줄이는, 적응적 2차 예측 기반 영상 부호화/복호화 방법, 장치 및 기록 매체에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래기술을 구성하는 것은 아니다.
일반적으로, 비디오 압축 기술의 발달은 영상 매체를 보다 효율적으로 사용할 수 있는 방법의 기반을 마련하였다. 특히 H.264/AVC 동영상 부호화 기술은 이전 표준에 비해 2배 정도의 압축 성능이 향상 되었다. 이 기술은 복합형 부호화 기술에 기초하여 시간 및 공간 영역에서의 부호화 단계를 제공한다. 시간적 영역에서의 부호화 단계는 참조 프레임의 이미지로부터의 움직임 보상 예측(Motion Compensated prediction)을 통해 중복성(temporal redundancy)이 감소된다. 움직임 보상 예측은 참조 프레임의 블록과 현재 부호화하고자 하는 이미지의 블록의 상관관계, 즉 움직임 벡터에 의해 결정되고 이를 통해 블록단위로 예측 이미지를 얻는다. 예측 이미지와 원본 이미지의 차로서 얻어진 예측 에러는 블록 단위로 정렬되고 주파수 영역으로 변환된 후 양자화되어, DC 값을 나타내는 계수에서부터 시작하여 지그재그 스캐닝 방식으로 스캔 된다. 지그재그 스캐닝은 계수 어레이를 생성하게 되고 후속 부호화 단계는 CABAC 이나 CAVLC를 통해 최적화될 수 있다. 하지만 블록 내의 예측 에러들이 서로 상관관계를 가질 때만, 즉 낮은 주파수 대역에 존재할 경우에만 주파수 영역으로 변환하는 DCT 변환에 의해 부호화 효율이 높다. 반면 공간 영역에서 약간만 상관되어 있는 경우 효율이 낮다.
이러한 문제를 해결하기 위해 종래에는 기존의 주파수 영역에서 예측 에러(prediction error)를 부호화하는 방법에 DCT 변환을 하지 않고 공간적 영역에서 예측 에러(prediction error)를 부호화하는 방법을 추가하여, 예측 에러 신호를 주파수 영역으로 변환할 것인지, 또는 부호화를 위해 예측 에러 신호를 공간 영역에서 유지할 것인지를 적응적으로 판단하여 사용하는 방법을 제안하였다.
도 1은 종래에 적응적으로 예측 에러(prediction error)를 부호화하는 방법을 나타내는 흐름도이다.
먼저, 움직임 보상 예측을 통해 부호화하고자 하는 이미지의 예측 에러 신호를 얻는다(S101).
단계 S101에서 얻어진 예측 에러(prediction error)에 대하여, DCT 변환을 수행하고, 양자화를 한 후, 다시 역으로 양자화와 DCT 변환을 수행하여 왜곡(distortion)과 요구비율(rate)을 바탕으로 주파수 영역에서의 비용(RD Cost)을 구한다(S102).
단계 S101에서 얻어진 예측 에러(prediction error)에 대하여, 양자화를 수행한 후, 역으로 양자화를 수행하여 왜곡(distortion)과 요구비율(rate)을 바탕으로 공간적 영역에서의 비용(cost)을 구한다(S103).
마지막으로, 단계 S102 및 S103에서 각각 구해진 주파수 영역에서의 비용과 공간적 영역에서의 비용을 비교하여, 비용이 더 낮은 부호화 방법을 선택하여 예측 에러 신호를 부호화한다(S104).
도 1의 방법에서는 DCT 변환을 수행하지 않을 때, DCT 변환을 할 경우보다 오히려 더 효과적인 경우가 존재한다는 것을 전제로 한다.
도 1의 방법으로 예측 에러(prediction error) 신호를 부호화하는 기술은, H.264/AVC 동영상 부호화 기술과 비교해 더 높은 부호화 성능을 제공하였다. 그러나 블록 내 예측 에러 샘플이 공간 영역에서 상관성이 낮을 뿐만 아니라 큰 에러와 작은 에러들이 불규칙적으로 산재되어 있는 경우, 상기 방법 또한 효율성이 떨어진다.
본 발명의 실시예는 상술된 종래의 문제점을 해결하기 위한 것으로, 적응적 주파수변환을 이용한 에러 코딩을 수행함에 있어 하나 이상의 참조 블록의 움직임벡터를 이용하여 적응적으로 2차 예측을 수행하여 예측 오차를 줄이는 데 그 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화/복호화하는 장치에 있어서, 현재 블록을 예측하여 예측 블록을 생성하고 상기 현재 블록에서 상기 예측 블록을 감산하여 1차잔차블록을 생성하고 상기 1차잔차블록에 대하여 선택적으로 주파수변환하고 상기 1차잔차블록 또는 상기 주파수변환된 1차잔차블록에 대한 제1양자화블록을 생성하고 상기 제1양자화블록이 상기 1차잔차블록을 양자화한 블록인 경우, 상기 양자화된 1차잔차블록에 대하여 2차예측 움직임벡터 집합을 이용하여 선택적으로 2차예측을 수행하여 제2양자화블록을 생성하고 주파수변환 여부에 대한 정보와 선택적으로 2차예측정보를 부호화하고 상기 제1양자화블록 또는 상기 제2양자화블록을 비트스트림으로 부호화하는 영상 부호화기; 및 비트스트림으로부터 양자화블록 및 주파수변환 여부에 대한 정보 및 2차예측에 관련된 정보를 복호하고 상기 주파수변환 여부에 대한 정보, 2차예측에 관련된 정보에 포함된 2차예측여부에 대한 정보 및 2차예측 움직임벡터에 대한 정보를 이용하여 상기 양자화블록으로부터 잔차블록을 복원하고 현재 블록을 예측하여 예측블록을 생성하고 상기 복원되는 잔차블록과 상기 예측블록을 가산하여 현재블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 영상 부호화/복호화 장치를 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 장치에 있어서, 현재 블록을 예측하여 예측 블록을 생성하는 예측부; 상기 현재 블록에서 상기 예측 블록을 감산하여 1차잔차블록을 생성하는 1차잔차블록 생성부; 상기 1차잔차블록에 대하여 선택적으로 주파수변환하고 상기 1차잔차블록 또는 상기 주파수변환된 1차잔차블록에 대한 제1양자화블록을 생성하는 적응적 변환양자화부; 상기 제1양자화블록이 상기 1차잔차블록을 양자화한 블록인 경우, 상기 양자화된 1차잔차블록에 대하여 2차예측 움직임벡터 집합을 이용하여 선택적으로 2차예측을 수행하여 제2양자화블록을 생성하는 2차잔차블록 생성부; 및 주파수변환 여부에 대한 정보와 선택적으로 2차예측정보를 부호화하고, 상기 제1양자화블록 또는 상기 제2양자화블록을 부호화하는 부호화부를 포함하는 것을 특징으로 영상 부호화 장치를 제공한다.
상기 적응적 변환양자화부는, 상기 1차잔차블록에 대하여 주파수도메인으로 부호화할지 공간도메인으로 부호화할지 여부를 적응적 결정하는 적응적변환 결정부; 상기 결정에 따라 공간도메인으로 상기 1차잔차블록을 양자화하여 제1양자화블록을 생성하는 공간도메인 양자화부; 및 상기 결정에 따라 주파수도메인으로 상기 1차잔차블록을 주파수변환 및 양자화를 수행하여 제1양자화블록을 생성하는 변환 및 양자화부를 포함할 수 있다.
상기 주파수변환의 여부 및 상기 2차예측의 여부는, 율-왜곡 비율(RD Cost)을 이용하여 결정할 수 있다.
상기 2차예측의 여부는, 이전프레임의 블록의 공간도메인 제1양자화블록와 현재블록의 공간도메인 제1양자화블록 사이의 차이가 가장 작되, 현재블록의 공간도메인 제1양자화블록보다 작은 경우에 선택될 수 있다.
상기 2차예측정보는, 2차예측 여부에 대한 정보 및 상기 2차예측에 사용된 움직임벡터에 대한 정보를 포함할 수 있다.
상기 주파수변환 여부에 대한 정보, 상기 2차예측 여부에 대한 정보 및 상기 2차예측에 사용된 움직임벡터에 대한 정보는, 서로 결합하여 이진데이터로 생성되어 부호화될 수 있다.
상기 2차예측에 사용된 움직임벡터는, 상기 2차예측 움직임벡터 집합 중에서 최적의 것으로 선택될 수 있다.
상기 2차예측 움직임벡터 집합은, 상기 현재블록의 움직임벡터, 상기 현재 블록에 대한 주변 블록의 움직임 벡터, 상기 현재 블록에 대한 주변 블록의 움직임 벡터의 평균, 상기 현재 블록의 위치와 동일한 위치의 이전 프레임의 움직임 벡터 및 최대 확률 움직임 벡터 중에서 하나 이상으로 구성될 수 있다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 양자화블록 및 주파수변환 여부에 대한 정보 및 2차예측에 관련된 정보를 복호하는 복호화부; 상기 주파수변환 여부에 대한 정보, 2차예측에 관련된 정보에 포함된 2차예측여부에 대한 정보 및 2차예측에 관련된 정보에 포함된 2차예측 움직임벡터에 대한 정보를 이용하여 상기 양자화블록으로부터 잔차블록을 복원하는 잔차블록 복원부; 현재 블록을 예측하여 예측블록을 생성하는 예측부; 및 상기 복원되는 잔차블록과 상기 예측블록을 가산하여 현재블록을 복원하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
상기 잔차블록 복원부는, 상기 주파수변환 여부에 대한 정보가 "주파수도메인 부호화"를 의미하면 상기 양자화블록을 역양자화 및 역변환하고, 상기 주파수변환 여부에 대한 정보가 "공간도메인 부호화"를 의미하고 상기 2차예측정보에 포함된 2차예측 여부에 대한 정보가 "2차예측 미수행"을 의미하면 상기 양자화블록을 역양자화하고, 상기 주파수변환 여부에 대한 정보가 "공간도메인 부호화"를 의미하고 상기 2차예측정보에 포함된 2차예측 여부에 대한 정보가 "2차예측 수행"을 의미하면 상기 2차예측정보에 포함된 2차예측 움직임벡터에 대한 정보를 복호하여 상기 2차예측 움직임벡터를 이용하여 상기 양자화블록으로부터 양자화된 1차잔차블록을 복원하고 역양자화하여 잔차블록을 복원할 수 있다.
상기 주파수변환 여부에 대한 정보, 상기 2차예측 여부에 대한 정보 및 상기 2차예측에 사용된 움직임벡터에 대한 정보는, 서로 결합하여 이진데이터로 부호화되어 상기 비트스트림에 포함될 수 있다.
상기 2차예측 움직임벡터는,
상기 현재블록의 움직임벡터, 상기 현재 블록에 대한 주변 블록의 움직임 벡터, 상기 현재 블록에 대한 주변 블록의 움직임 벡터의 평균, 상기 현재 블록의 위치와 동일한 위치의 이전 프레임의 움직임 벡터 및 최대 확률 움직임 벡터 중에서 하나일 수 있다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화/복호화하는 방법에 있어서, 현재 블록을 예측하여 예측 블록을 생성하고 상기 현재 블록에서 상기 예측 블록을 감산하여 1차잔차블록을 생성하고 상기 1차잔차블록에 대하여 선택적으로 주파수변환하고 상기 1차잔차블록 또는 상기 주파수변환된 1차잔차블록에 대한 제1양자화블록을 생성하고 상기 제1양자화블록이 상기 1차잔차블록을 양자화한 블록인 경우, 상기 양자화된 1차잔차블록에 대하여 2차예측 움직임벡터 집합을 이용하여 선택적으로 2차예측을 수행하여 제2양자화블록을 생성하고 주파수변환 여부에 대한 정보와 선택적으로 2차예측정보를 부호화하고 상기 제1양자화블록 또는 상기 제2양자화블록을 비트스트림으로 부호화하는 영상 부호화단계; 및 비트스트림으로부터 양자화블록 및 주파수변환 여부에 대한 정보 및 2차예측에 관련된 정보를 복호하고 상기 주파수변환 여부에 대한 정보, 2차예측에 관련된 정보에 포함된 2차예측여부에 대한 정보 및 2차예측 움직임벡터에 대한 정보를 이용하여 상기 양자화블록으로부터 잔차블록을 복원하고 현재 블록을 예측하여 예측블록을 생성하고 상기 복원되는 잔차블록과 상기 예측블록을 가산하여 현재블록을 복원하는 영상 복호화단계를 포함하는 것을 특징으로 영상 부호화/복호화 방법을 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 방법에 있어서, 현재 블록을 예측하여 예측 블록을 생성하는 예측단계; 상기 현재 블록에서 상기 예측 블록을 감산하여 1차잔차블록을 생성하는 1차잔차블록 생성단계; 상기 1차잔차블록에 대하여 선택적으로 주파수변환하고 상기 1차잔차블록 또는 상기 주파수변환된 1차잔차블록에 대한 제1양자화블록을 생성하는 적응적 변환양자화단계; 상기 제1양자화블록이 상기 1차잔차블록을 양자화한 블록인 경우, 상기 양자화된 1차잔차블록에 대하여 2차예측 움직임벡터 집합을 이용하여 선택적으로 2차예측을 수행하여 제2양자화블록을 생성하는 2차잔차블록 생성단계; 및 주파수변환 여부에 대한 정보와 선택적으로 2차예측정보를 부호화하고, 상기 제1양자화블록 또는 상기 제2양자화블록을 부호화하는 부호화단계를 포함하는 것을 특징으로 영상 부호화 방법을 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 양자화블록 및 주파수변환 여부에 대한 정보 및 2차예측에 관련된 정보를 복호하는 복호화단계; 상기 주파수변환 여부에 대한 정보, 2차예측에 관련된 정보에 포함된 2차예측여부에 대한 정보 및 2차예측에 관련된 정보에 포함된 2차예측 움직임벡터에 대한 정보를 이용하여 상기 양자화블록으로부터 잔차블록을 복원하는 잔차블록 복원단계; 현재 블록을 예측하여 예측블록을 생성하는 예측단계; 및 상기 복원되는 잔차블록과 상기 예측블록을 가산하여 현재블록을 복원하는 가산단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 영상의 현재 블록을 참조 블록으로부터 예측하고 부호화하고 복호화하는 데 있어서 잔차신호를 생성한 후, 적응적으로 주파수변환여부를 결정함은 물론, 공간도메인으로 부호화를 하는 경우에 기부호화된 블록의 예측에러를 이용하여 적응적으로 선택적 2차예측을 수행함으로써 생성되는 잔차신호값을 최소화함으로써 압축효율을 높이고, 이를 통해 주관적/객관적 화질을 향상시키는 효과가 있다.
도 1은 종래 기술에 따라 적응적으로 예측 에러(prediction error)를 부호화하는 방법을 나타내는 흐름도,
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치의 블록도,
도 3은 본 발명의 일 실시예에 따른 적응적 변환양자화부를 간략하게 나타낸 블록 구성도,
도 4는 2차예측 방법을 예시한 도면,
도 5는 주파수변환 여부에 대한 정보, 2차예측 여부에 대한 정보 및 2차예측에 사용된 움직임벡터에 대한 정보로부터 이진데이터를 생성되는 예를 도시한 도면,
도 6은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타낸 블록 구성도,
도 7은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 8은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(200)는 도 1에 도시한 바와 같이, 예측부(220), 1차잔자블록생성부(230), 적응적변환양자화부(240), 2차잔차블록생성부(250), 부호화부(260), 역양자화 및 역변환부(270), 가산부(280) 및 프레임메모리(290)를 포함하여 구성될 수 있다.
입력 영상은 매크로 블록(Macro Block) 단위로 입력이 될 수 있으며, 본 발명에서, 매크로 블록은 M×N 형태일 수 있으며, M과 N이 동일하거나 다를 수 있다.
예측부(120)는 영상의 현재 블록의 움직임을 추정하고 보상하여 생성되는 움직임 보상 블록 및 움직임 벡터를 생성한다. 예측기(110)는 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값(Pixel Value)을 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 여기서, 예측부(120)는 인트라 예측 또는 인터 예측을 이용하여 현재 블록을 예측할 수 있다. 인터 예측의 경우에는 움직임 벡터도 생성할 수 있다.
1차잔자블록생성부(230)는 부호화하고자 하는 현재블록의 화소값과 예측부(220)에서 예측한 예측블록의 화소값의 차이값을 계산하여 잔차신호로 이루어진 1차잔차블록을 생성한다.
적응적변환양자화부(240)는 1차잔차블록에 대하여 선택적으로 주파수변환하고 1차잔차블록 또는 주파수변환된 1차잔차블록에 대한 제1양자화블록을 생성한다.
도 3은 본 발명의 일 실시예에 따른 적응적 변환양자화부를 간략하게 나타낸 블록 구성도이다.
도 3에서, 적응적 변환양자화부(240)는 1차잔차블록에 대하여 주파수도메인으로 부호화할지 공간도메인으로 부호화할지 여부를 적응적 결정하는 적응적변환 결정부(310), 적응적변환 결정부(310)의 결정에 따라 공간도메인으로 1차잔차블록을 양자화하여 제1양자화블록을 생성하는 공간도메인 양자화부(320) 및 적응적변환 결정부(310)의 결정에 따라 주파수도메인으로 1차잔차블록을 주파수변환 및 양자화를 수행하여 제1양자화블록을 생성하는 변환 및 양자화부(330)를 포함한다.
적응적변환 결정부(310)는 1차잔자블록생성부(230)에서 생성된 1차잔차블록에 대하여 주파수도메인으로 부호화(즉, 주파수변환 및 양자화를 통한 부호화)할지 공간도메인으로 부호화(즉, 주파수변환하지 않고 양자화만 하여 부호화)할지 여부를 율-왜곡 비율(RD cost)을 판단하여 최적의 부호화효율을 보이는 방법을 선택한다. 만일 주파수도메인에서 부호화하는 비용이 공간도메인에서 부호화하는 비용보다 작으면 주파수도메인으로 부호화하는 것으로 결정하고, 그 반대의 경우에는 공간도메인에서 부호화하는 것으로 결정한다.
공간도메인 양자화부(320)는 적응적변환 결정부(310)가 공간도메인에서 부호화하는 것을 결정한 경우 1차잔차블록을 양자화하여 제1양자화블록을 생성한다.
변환 및 양자화부(330)는 적응적변환 결정부(310)가 주파수도메인에서 부호화하는 것을 결정한 경우 1차잔차블록을 주파수 변환한 후 양자화하여 제1양자화블록을 생성한다. 여기서, 변환 및 양자화부(330)는 이산 코사인 변환(DCT: Discrete Cosine Transform, 이하 'DCT 변환'이라 칭함) 또는 웨이블릿 변환(Wavelet Transform) 등의 시간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차신호를 주파수 영역으로 변환할 수 있다.
또한, 변환 및 양자화부(330)는 주파수변환이 끝난 후에 주파수 영역으로 변환된 잔차신호(즉, 주파수변환블록)를 양자화(Quantization)한다. 양자화 방식으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함) 또는 양자화 가중치 매트릭스 (Quantization Weighted Matrix) 등과 같은 다양한 양자화 기법을 이용할 수 있다.
2차잔차블록생성부(250)는 제1양자화블록이 공간도메인 양자화부(320)에서 생성된 경우(즉, 주파수변환없이 1차잔차블록이 양자화된 경우) 양자화된 1차잔차블록에 대하여 2차예측 움직임벡터 집합을 이용하여 선택적으로 2차예측을 수행하여 제2양자화블록을 생성할 수 있다. 여기서 2차예측 움직임벡터 집합은, 현재블록의 움직임벡터, 현재 블록에 대한 하나 이상의 주변 블록의 움직임 벡터, 현재 블록에 대한 주변 블록의 움직임 벡터의 평균, 현재 블록의 위치와 동일한 위치의 이전 프레임의 움직임 벡터 및 최대 확률 움직임 벡터 중에서 하나 이상으로 구성될 수 있으나, 본 발명에서 사용될 수 있는 2차예측 움직임벡터 집합에 포함되는 2차예측 움직임벡터의 종류가 이에 한정되지 않고 이전에 부호화된 후 복호되어 저장된 블록의 다양한 움직임벡터를 이용하여 구할 수 있다.
도 4는 2차예측 방법을 예시한 도면이다.
도 4에 도시하듯이, 2차예측 움직임벡터 집합에 포함되는 2차예측 움직임벡터의 종류가 현재블록의 상측블록의 움직임벡터(MV1) 및 현재블록의 좌측블록의 움직임벡터(MV2)라고 가정한다. 이 경우, 2차잔차블록생성부(250)는 2차예측을 하지 않는 경우의 부호화비용과, MV1이 가리키는 위치의 이전프레임의 블록의 양자화된 예측에러(Y1')와 현재블록의 양자화된 예측에러(즉, 제1양자화블록(X))의 차이를 이용하여 부호화한 결과의 부호화비용과, MV2가 가리키는 위치의 이전프레임의 블록의 양자화된 예측에러(Y2')와 현재블록의 양자화된 예측에러(X)의 차이를 부호화한 결과의 부호화비용을 율-왜곡 비용을 이용하여 비교하여 우수한 결과를 나타내는 경우를 선택할 수 있다. 만일, MV1이 가리키는 위치의 이전프레임의 블록의 양자화된 예측에러와 현재블록의 제1양자화블록의 차이를 부호화하는 것이 더 효율적이라고 판단하는 경우에는 2차예측에러를 수행하여 제1양자화블록과 MV1이 가리키는 위치의 이전프레임의 블록의 양자화된 예측에러와의 차이를 구하여 제2양자화블록을 생성한다. 만일, 현재블록의 제1양자화블록을 부호화하는 것이 더 효율적이라고 판단하면 제2양자화블록은 생성되지 않는다. 한편, 2차예측을 수행함에 있어서 2차예측 여부 결정을 율-왜곡 비율이 가장 최적의 것을 결정하지 않고, 단순히 이전프레임의 블록의 공간도메인 제1양자화블록과 현재블록의 공간도메인 제1양자화블록 사이의 차이가 가장 적은 경우로 2차예측을 수행하는 것으로 결정할 수도 있다. 물론, 이 경우 어떠한 움직임벡터가 참조하는 이전프레임의 블록의 공간도메인 제1양자화블록도 현재블록의 공간도메인 제1양자화블록 보다 작은 경우가 존재하지 않으면 2차예측을 수행하지 않을 수 있다.
부호화부(260)는 주파수변환 여부에 대한 정보와 선택적으로 2차예측정보를 부호화하고, 또한 2차예측을 수행하지 않는 경우에는 제1양자화블록을, 2차예측을 수행하는 경우에는 제2양자화블록을 부호화한다. 부호화부(260)는 제1양자화블록 생성시 주파수변환을 하는 것으로 결정된 경우 및 제1양자화블록 생성시 주파수변환을 하지 않는 것으로 결정하되 2차예측을 수행하지 않는 경우에는 주파수변환 여부에 대한 정보를 부호화하고, 제1양자화블록 생성시 주파수변환을 하지 않는 것으로 결정하되 2차예측을 수행하는 경우에는 주파수변환 여부에 대한 정보 및 2차예측정보를 부호화한다. 여기서 2차예측정보는, 2차예측 여부에 대한 정보 및 2차예측에 사용된 움직임벡터(MV1 또는 MV2)에 대한 정보를 포함할 수 있다.
도 5는 주파수변환 여부에 대한 정보, 2차예측 여부에 대한 정보 및 2차예측에 사용된 움직임벡터에 대한 정보로부터 이진데이터를 생성되는 예를 도시한 도면이다.
도 5에 도시한 바와 같이, 주파수변환 여부에 대한 정보, 2차예측 여부에 대한 정보 및 2차예측에 사용된 움직임벡터에 대한 정보는, 서로 결합하여 이진데이터로 생성되어 부호화될 수 있다. 즉, 주파수도메인으로 부호화하는 것으로 결정된 경우에 발생되는 이진 데이터는 00, 공간도메인으로 부호화하되 2차예측을 수행하지 않는 경우 발생되는 이진 데이터는 01, 공간도메인으로 부호화하되 MV1을 이용하여 2차예측을 수행하는 경우 발생되는 이진 데이터는 10, 공간도메인으로 부호화하되 MV2를 이용하여 2차예측을 수행하는 경우 발생되는 이진 데이터는 11이 되도록 설정할 수 있다.
부호화부(260)는 주파수변환 여부에 대한 정보, 2차예측정보, 제1양자화블록, 제2양자화블록 등을 비트스트림으로 부호화한다. 이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있을 것이다.
또한, 부호화부(260)는 이와 같이 양자화된 주파수 계수들을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 즉, 부호화 데이터는 부호화된 블록 형태(CBP: Coded Block Pattern), 델타 양자화 계수(Delta Quantization Parameter) 및 양자화 주파수 계수가 부호화 된 비트열이 포함되는 필드와 예측에 필요한 정보(예를 들어, 인트라 예측의 경우 인트라 예측 모드 또는 인터 예측의 경우 움직임 벡터 등)를 위한 비트가 포함되는 필드를 포함할 수 있다.
잔차블록 복원부(270)는 주파수변환 여부에 대한 정보 및 2차예측에 관련된 정보에 따라 제1양자화블록 또는 제2양자화블록으로부터 잔차블록을 복원한다. 즉, 잔차블록 복원부(270)는 주파수변환이 이루어진 제1양자화블록의 경우는 변환 및 양자화된 잔차 블록(즉, 제1양자화블록)을 역양자화(Inverse Quantization)하고, 역변환(Inverse Transform)하여 잔차 블록을 복원(Reconstruction)한다. 여기서, 역양자화와 역변환은 변환 및 양자화부(330)가 수행한 변환 과정 및 양자화 과정을 각각 역으로 수행함으로써 이루어질 수 있다. 즉, 잔차블록 복원부(270)는 변환 및 양자화부(330)로부터 발생되어 전달되는 변환 및 양자화에 관한 정보(예를 들어, 변환 및 양자화 타입에 대한 정보)를 이용하여 역양자화 및 역변환을 수행할 수 있다.
또한, 잔차블록 복원부(270)는 2차예측을 수행하지 않고 공간도메인으로 부호화되는 제1양자화블록에 대하여 공간도메인 양자화부(320)의 양자화 과정을 역으로 수행하여 역양자화를 수행하여 잔차블록을 복원한다. 즉, 잔차블록 복원부(270)는 공간도메인 양자화부(320)로부터 발생되어 전달되는 양자화에 관한 정보(예를 들어, 양자화 타입에 대한 정보)를 이용하여 역양자화를 수행할 수 있다.
또한, 잔차블록 복원부(270)는 2차예측을 수행하여 발생된 제2양자화블록에 대하여 2차예측에 관련된 정보를 이용하여 2차예측의 역으로 2차예측 움직인벡터를 이용하여 양자화된 1차잔차블록을 복원하고 양자화된 1차잔차블록을 역양자화하여 1차잔차블록을 복원한다. 즉, 잔차블록 복원부(270)는 2차잔차블록생성부(250)로부터 발생되어 전달되는 양자화에 관한 정보(예를 들어, 양자화 타입에 대한 정보)를 이용하여 역양자화를 수행하여 할 수 있다.
가산부(280)는 예측부(220)에서 생성된 예측 블록과 잔차블록 복원부(270)가 복원한 1차잔차블록을 가산하여 복원된 블록을 생성한다.
프레임 메모리(290)는 가산부(280)에서 복원된 블록을 저장하여 인트라 혹은 인터 예측 수행 시 예측 블록을 생성하기 위해 참조블록으로 사용된다.
도 6은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타낸 블록 구성도이다.
도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상 복호화 장치(600)는, 복호화부(610), 잔차블록복원부(620), 가산부(640), 예측부(650) 및 프레임메모리(670)를 포함하여 구성된다.
복호화부(610)는 비트스트림으로부터 양자화블록 및 주파수변환 여부에 대한 정보 및 2차예측에 관련된 정보를 복호한다.
복호화부(610)는 부호화 데이터를 복호화하여 양자화된 주파수변환블록 또는 공간도메인에서 양자화된 양자화블록뿐만 아니라 복호화에 필요한 정보들을 복호화하거나 추출할 수 있다. 복호화에 필요한 정보들은 부호화 데이터(즉, 비트스트림) 내의 부호화된 비트열을 복호화하는 데 필요한 정보들을 말하며, 예를 들어 블록 타입에 대한 정보, 현재블록의 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보, 주파수변환여부, 2차예측여부, 2차예측 움직임벡터 정보 등이 될 수 있으며, 이외의 다양한 정보들이 될 수 있다.
즉, 복호화부(610)는 영상 부호화 장치(200)에 의해 부호화된 데이터인 비트스트림을 복호화하여 영상의 현재 블록에 대한 화소 정보를 포함하고 있는 양자화된 블록을 추출하고, 추출된 예측에 필요한 정보를 예측부(650)로 전달할 수 있다.
잔차블록복원부(620)는 주파수변환 여부에 대한 정보, 2차예측에 관련된 정보에 포함된 2차예측여부에 대한 정보 및 2차예측에 관련된 정보에 포함된 2차예측 움직임벡터에 대한 정보를 이용하여 복호화부(610)로부터 복호된 양자화블록으로부터 잔차블록을 복원한다.
여기서 주파수변환 여부에 대한 정보, 2차예측 여부에 대한 정보 및 2차예측에 사용된 움직임벡터에 대한 정보는 서로 결합하여 이진데이터로 부호화되어 비트스트림에 포함될 수 있다.
도 5에 도시한 바와 같이, 잔차블록복원부(620)는 서로 결합하여 이진데이터로 부호화되어 비트스트림에 포함된 정보를 복호한다. 잔차블록복원부(620)는 주파수변환 여부에 대한 정보가 "주파수도메인 부호화"를 의미하면 양자화블록을 역양자화 및 역변환하고, 2차예측정보에 포함된 2차예측 여부에 대한 정보가 "2차예측 미수행"을 의미(이 경우, 주파수변환 여부에 대한 정보가 "공간도메인 부호화"를 의미함)하면 양자화블록을 역양자화하고, 2차예측정보에 포함된 2차예측 여부에 대한 정보가 "2차예측 수행"을 의미(이 경우, 주파수변환 여부에 대한 정보가 "공간도메인 부호화"를 의미)하면 2차예측정보에 포함된 2차예측 움직임벡터에 대한 정보를 복호하여 복호된 2차예측 움직임벡터를 이용하여 복호된 양자화블록으로부터 양자화된 1차잔차블록을 복원하고 다시 이를 역양자화하여 잔차블록을 복원한다. 잔차블록복원부(620)에서 역양자화 및 역변환하거나 역양자화하는 방법은 도 2의 잔차블록 복원부(270)의 설명에서 전술하였으므로 상세한 설명은 생략한다.
한편, 2차예측 움직임벡터는, 현재블록의 움직임벡터, 현재 블록에 대한 주변 블록의 움직임 벡터, 현재 블록에 대한 주변 블록의 움직임 벡터의 평균, 현재 블록의 위치와 동일한 위치의 이전 프레임의 움직임 벡터 및 최대 확률 움직임 벡터 중에서 하나일 수 있다.
예측부(650)는 블록 타입에 대한 정보에 의해 식별되는 블록 타입에 따라 현재 블록의 크기와 형태를 결정하고, 예측에 필요한 정보에 의해 식별되는 현재블록의 움직임 벡터를 이용하여 현재 블록을 예측하여 예측 블록을 생성할 수 있다. 이때, 예측부(650)는 영상 부호화 장치(200)의 예측기(220)와 동일 또는 유사한 방법으로, 예측 블록을 생성할 수 있다.
가산부(640)는 잔차블록복원부(620)에 의해 복원된 잔차신호와 예측부(650)에 의해 생성된 예측 화소값을 더하여 원 화소값을 복원한다. 가산부(640)에 의해 복원된 현재 블록은 프레임 메모리(670)로 전달되어, 예측부(650)에서 다른 블록을 예측하는 데 활용될 수 있다.
프레임 메모리(670)는 복원된 영상을 저장하여 인트라 예측 블록 및 인터 예측 블록 생성을 가능하게 한다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 도 2의 영상 부호화 장치(200)의 비트스트림 출력단을 도 6의 영상 복호화 장치(600)의 비트스트림 입력단에 연결하여 구성될 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는, 현재 블록을 예측하여 예측 블록을 생성하고 현재 블록에서 예측 블록을 감산하여 1차잔차블록을 생성하고 1차잔차블록에 대하여 선택적으로 주파수변환하고 1차잔차블록 또는 주파수변환된 1차잔차블록에 대한 제1양자화블록을 생성하고 제1양자화블록이 1차잔차블록을 양자화한 블록인 경우, 양자화된 1차잔차블록에 대하여 2차예측 움직임벡터 집합을 이용하여 선택적으로 2차예측을 수행하여 제2양자화블록을 생성하고 주파수변환 여부에 대한 정보와 선택적으로 2차예측정보를 부호화하고 제1양자화블록 또는 제2양자화블록을 비트스트림으로 부호화하는 영상 부호화기; 및 비트스트림으로부터 양자화블록 및 주파수변환 여부에 대한 정보 및 2차예측에 관련된 정보를 복호하고 주파수변환 여부에 대한 정보, 2차예측에 관련된 정보에 포함된 2차예측여부에 대한 정보 및 2차예측 움직임벡터에 대한 정보를 이용하여 복호된 양자화블록으로부터 잔차블록을 복원하고 현재 블록을 예측하여 예측블록을 생성하고 복원되는 잔차블록과 예측블록을 가산하여 현재블록을 복원하는 영상 복호화기를 포함한다.
여기서 영상 부호화기는 본 발명의 일 실시예에 따른 영상 부호화 장치(200)로 구현 가능하며, 영상 복호화기는 본 발명의 일 실시예에 따른 영상 복호화 장치(600)로 구현 가능하다.
도 7은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 영상 부호화 방법은, 현재 블록을 예측하여 예측 블록을 생성하는 예측단계(S710), 현재 블록에서 예측 블록을 감산하여 1차잔차블록을 생성하는 1차잔차블록 생성단계(S720), 1차잔차블록에 대하여 주파수도메인으로 부호화할지 공간도메인으로 부호화할지 여부를 적응적 결정하는 적응적변환 결정단계(S730), 상기의 결정에 따라 공간도메인으로 1차잔차블록을 양자화하여 제1양자화블록을 생성하는 공간도메인 양자화단계(S740), 상기 결정에 따라 주파수도메인으로 1차잔차블록을 주파수변환 및 양자화를 수행하여 제1양자화블록을 생성하는 변환 및 양자화단계(S750), 제1양자화블록이 1차잔차블록을 양자화한 블록인 경우, 양자화된 1차잔차블록에 대하여 2차예측 움직임벡터 집합을 이용하여 선택적으로 2차예측을 수행하여 제2양자화블록을 생성하는 2차잔차블록 생성단계(S760) 및 주파수변환 여부에 대한 정보와 선택적으로 2차예측정보를 부호화하고, 제1양자화블록 또는 제2양자화블록을 부호화하는 부호화단계(S770)를 포함한다.
여기서, 예측단계(S710)는 예측부(220)의 기능에, 1차잔차블록 생성단계(S720)는 1차잔차블록 생성부(230)의 기능에, 적응적변환 결정단계(S730)는 적응적변환 결정부(310)의 동작에, 공간도메인 양자화단계(S740)는 공간도메인 양자화부(320)의 동작에, 변환 및 양자화단계(S750)는 변환 및 양자화부(330)의 동작에, 2차잔차블록 생성단계(S760)는 2차잔차블록 생성부(250)의 기능에, 부호화단계(S770)는 부호화부(260)의 기능에 각각 대응되므로 상세한 설명은 생략한다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 영상 복호화 방법은, 비트스트림으로부터 양자화블록 및 주파수변환 여부에 대한 정보 및 2차예측에 관련된 정보를 복호하는 복호화단계(S810), 주파수변환 여부에 대한 정보, 2차예측에 관련된 정보에 포함된 2차예측여부에 대한 정보 및 2차예측에 관련된 정보에 포함된 2차예측 움직임벡터에 대한 정보를 이용하여 복호된 양자화블록으로부터 잔차블록을 복원하는 잔차블록 복원단계(S820), 현재 블록을 예측하여 예측블록을 생성하는 예측단계(S830) 및 복원되는 잔차블록과 예측블록을 가산하여 현재블록을 복원하는 가산단계(S840)를 포함한다.
여기서, 복호화단계(S810)는 복호화부(610)의 동작에 대응되며, 잔차블록 복원단계(S820)는 잔차블록 복원부(620)의 동작에 대응되며, 예측단계(S830)는 예측부(650)의 동작에 대응되며, 가산단계(S840)는 가산부(640)의 동작에 대응되므로 상세한 설명은 생략한다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 본 발명의 일 실시예에 따른 영상 부호화 방법과 본 발명의 일 실시예에 따른 영상 복호화 방법을 결합하여 구현함으로써 실현할 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 현재 블록을 예측하여 예측 블록을 생성하고 현재 블록에서 예측 블록을 감산하여 1차잔차블록을 생성하고 1차잔차블록에 대하여 선택적으로 주파수변환하고 1차잔차블록 또는 주파수변환된 1차잔차블록에 대한 제1양자화블록을 생성하고 제1양자화블록이 1차잔차블록을 양자화한 블록인 경우, 양자화된 1차잔차블록에 대하여 2차예측 움직임벡터 집합을 이용하여 선택적으로 2차예측을 수행하여 제2양자화블록을 생성하고 주파수변환 여부에 대한 정보와 선택적으로 2차예측정보를 부호화하고 제1양자화블록 또는 제2양자화블록을 비트스트림으로 부호화하는 영상 부호화단계 및 비트스트림으로부터 양자화블록 및 주파수변환 여부에 대한 정보 및 2차예측에 관련된 정보를 복호하고 주파수변환 여부에 대한 정보, 2차예측에 관련된 정보에 포함된 2차예측여부에 대한 정보 및 2차예측 움직임벡터에 대한 정보를 이용하여 양자화블록으로부터 잔차블록을 복원하고 현재 블록을 예측하여 예측블록을 생성하고 복원되는 잔차블록과 예측블록을 가산하여 현재블록을 복원하는 영상 복호화단계를 포함한다.
전술한 본 발명의 일 실시예에 따른 영상 부호화/복호화 방법, 본 발명의 일 실시예에 따른 영상 부호화 방법 및 본 발명의 일 실시예에 따른 영상 복호화 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능 기록 매체로 구현될 수 있다. 본 발명의 일 실시예에 따른 영상 부호화/복호화 방법, 본 발명의 일 실시예에 따른 영상 부호화 방법 및 본 발명의 일 실시예에 따른 영상 복호화 방법 중에서 어느 하나의 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 발명의 일 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명의 일 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상 설명한 바와 같이, 본 발명의 실시예는 영상데이터 압축 기술 분야에 적용되어, 2영상의 현재 블록을 참조 블록으로부터 예측하고 부호화하고 복호화하는 데 있어서 잔차신호를 생성한 후, 적응적으로 주파수변환여부를 결정함은 물론, 공간도메인으로 부호화를 하는 경우에 기부호화된 블록의 예측에러를 이용하여 적응적으로 선택적 2차예측을 수행함으로써 생성되는 잔차신호값을 최소화함으로써 압축효율을 높이고, 이를 통해 주관적/객관적 화질을 향상시키는 효과를 갖는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2009년 11월 24일 한국에 출원한 특허출원번호 제 10-2009-0113625 호 및 2010년 11월 24일 한국에 출원한 특허출원번호 제 10-2010-0117198 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (27)

  1. 영상을 부호화/복호화하는 장치에 있어서,
    현재 블록을 예측하여 예측 블록을 생성하고 상기 현재 블록에서 상기 예측 블록을 감산하여 1차잔차블록을 생성하고 상기 1차잔차블록에 대하여 선택적으로 주파수변환하고 상기 1차잔차블록 또는 상기 주파수변환된 1차잔차블록에 대한 제1양자화블록을 생성하고 상기 제1양자화블록이 상기 1차잔차블록을 양자화한 블록인 경우, 상기 양자화된 1차잔차블록에 대하여 2차예측 움직임벡터 집합을 이용하여 선택적으로 2차예측을 수행하여 제2양자화블록을 생성하고 주파수변환 여부에 대한 정보와 선택적으로 2차예측정보를 부호화하고 상기 제1양자화블록 또는 상기 제2양자화블록을 비트스트림으로 부호화하는 영상 부호화기; 및
    비트스트림으로부터 양자화블록 및 주파수변환 여부에 대한 정보 및 2차예측에 관련된 정보를 복호하고 상기 주파수변환 여부에 대한 정보, 2차예측에 관련된 정보에 포함된 2차예측여부에 대한 정보 및 2차예측 움직임벡터에 대한 정보를 이용하여 상기 양자화블록으로부터 잔차블록을 복원하고 현재 블록을 예측하여 예측블록을 생성하고 상기 복원되는 잔차블록과 상기 예측블록을 가산하여 현재블록을 복원하는 영상 복호화기
    를 포함하는 것을 특징으로 영상 부호화/복호화 장치.
  2. 영상을 부호화하는 장치에 있어서,
    현재 블록을 예측하여 예측 블록을 생성하는 예측부;
    상기 현재 블록에서 상기 예측 블록을 감산하여 1차잔차블록을 생성하는 1차잔차블록 생성부;
    상기 1차잔차블록에 대하여 선택적으로 주파수변환하고 상기 1차잔차블록 또는 상기 주파수변환된 1차잔차블록에 대한 제1양자화블록을 생성하는 적응적 변환양자화부;
    상기 제1양자화블록이 상기 1차잔차블록을 양자화한 블록인 경우, 상기 양자화된 1차잔차블록에 대하여 2차예측 움직임벡터 집합을 이용하여 선택적으로 2차예측을 수행하여 제2양자화블록을 생성하는 2차잔차블록 생성부; 및
    주파수변환 여부에 대한 정보와 선택적으로 2차예측정보를 부호화하고, 상기 제1양자화블록 또는 상기 제2양자화블록을 부호화하는 부호화부
    를 포함하는 것을 특징으로 영상 부호화 장치.
  3. 제 2항에 있어서,
    상기 적응적 변환양자화부는,
    상기 1차잔차블록에 대하여 주파수도메인으로 부호화할지 공간도메인으로 부호화할지 여부를 적응적 결정하는 적응적변환 결정부;
    상기 결정에 따라 공간도메인으로 상기 1차잔차블록을 양자화하여 제1양자화블록을 생성하는 공간도메인 양자화부; 및
    상기 결정에 따라 주파수도메인으로 상기 1차잔차블록을 주파수변환 및 양자화를 수행하여 제1양자화블록을 생성하는 변환 및 양자화부
    를 포함하는 것을 특징으로 영상 부호화 장치.
  4. 제 2항에 있어서,
    상기 주파수변환의 여부 및 상기 2차예측의 여부는,
    율-왜곡 비율을 이용하여 결정하는 것을 특징으로 영상 부호화 장치.
  5. 제 2항에 있어서,
    상기 2차예측의 여부는,
    이전프레임의 블록의 공간도메인 제1양자화블록와 현재블록의 공간도메인 제1양자화블록 사이의 차이가 가장 작되, 현재블록의 공간도메인 제1양자화블록보다 작은 경우에 선택되는 것을 특징으로 영상 부호화 장치.
  6. 제 2항에 있어서,
    상기 2차예측정보는,
    2차예측 여부에 대한 정보 및 상기 2차예측에 사용된 움직임벡터에 대한 정보를 포함하는 것을 특징으로 영상 부호화 장치.
  7. 제 6항에 있어서,
    상기 주파수변환 여부에 대한 정보, 상기 2차예측 여부에 대한 정보 및 상기 2차예측에 사용된 움직임벡터에 대한 정보는,
    서로 결합하여 이진데이터로 생성되어 부호화된 것을 특징으로 영상 부호화 장치.
  8. 제 6항에 있어서,
    상기 2차예측에 사용된 움직임벡터는,
    상기 2차예측 움직임벡터 집합 중에서 최적의 것으로 선택된 것을 특징으로 하는 영상 부호화 장치.
  9. 제 2항에 있어서,
    상기 2차예측 움직임벡터 집합은,
    상기 현재블록의 움직임벡터, 상기 현재 블록에 대한 주변 블록의 움직임 벡터, 상기 현재 블록에 대한 주변 블록의 움직임 벡터의 평균, 상기 현재 블록의 위치와 동일한 위치의 이전 프레임의 움직임 벡터 및 최대 확률 움직임 벡터 중에서 하나 이상으로 구성된 것을 특징으로 하는 영상 부호화 장치.
  10. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 양자화블록 및 주파수변환 여부에 대한 정보 및 2차예측에 관련된 정보를 복호하는 복호화부;
    상기 주파수변환 여부에 대한 정보, 2차예측에 관련된 정보에 포함된 2차예측여부에 대한 정보 및 2차예측에 관련된 정보에 포함된 2차예측 움직임벡터에 대한 정보를 이용하여 상기 양자화블록으로부터 잔차블록을 복원하는 잔차블록 복원부;
    현재 블록을 예측하여 예측블록을 생성하는 예측부; 및
    상기 복원되는 잔차블록과 상기 예측블록을 가산하여 현재블록을 복원하는 가산부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  11. 제 10항에 있어서,
    상기 잔차블록 복원부는,
    상기 주파수변환 여부에 대한 정보가 "주파수도메인 부호화"를 의미하면 상기 양자화블록을 역양자화 및 역변환하고, 상기 주파수변환 여부에 대한 정보가 "공간도메인 부호화"를 의미하고 상기 2차예측정보에 포함된 2차예측 여부에 대한 정보가 "2차예측 미수행"을 의미하면 상기 양자화블록을 역양자화하고, 상기 주파수변환 여부에 대한 정보가 "공간도메인 부호화"를 의미하고 상기 2차예측정보에 포함된 2차예측 여부에 대한 정보가 "2차예측 수행"을 의미하면 상기 2차예측정보에 포함된 2차예측 움직임벡터에 대한 정보를 복호하여 상기 2차예측 움직임벡터를 이용하여 상기 양자화블록으로부터 양자화된 1차잔차블록을 복원하고 역양자화하여 잔차블록을 복원하는 것을 특징으로 하는 영상 복호화 장치.
  12. 제 10항에 있어서,
    상기 주파수변환 여부에 대한 정보, 상기 2차예측 여부에 대한 정보 및 상기 2차예측에 사용된 움직임벡터에 대한 정보는,
    서로 결합하여 이진데이터로 부호화되어 상기 비트스트림에 포함된 것을 특징으로 영상 복호화 장치.
  13. 제 10항에 있어서,
    상기 2차예측 움직임벡터는,
    상기 현재블록의 움직임벡터, 상기 현재 블록에 대한 주변 블록의 움직임 벡터, 상기 현재 블록에 대한 주변 블록의 움직임 벡터의 평균, 상기 현재 블록의 위치와 동일한 위치의 이전 프레임의 움직임 벡터 및 최대 확률 움직임 벡터 중에서 하나인 것을 특징으로 하는 영상 복호화 장치.
  14. 영상을 부호화/복호화하는 방법에 있어서,
    현재 블록을 예측하여 예측 블록을 생성하고 상기 현재 블록에서 상기 예측 블록을 감산하여 1차잔차블록을 생성하고 상기 1차잔차블록에 대하여 선택적으로 주파수변환하고 상기 1차잔차블록 또는 상기 주파수변환된 1차잔차블록에 대한 제1양자화블록을 생성하고 상기 제1양자화블록이 상기 1차잔차블록을 양자화한 블록인 경우, 상기 양자화된 1차잔차블록에 대하여 2차예측 움직임벡터 집합을 이용하여 선택적으로 2차예측을 수행하여 제2양자화블록을 생성하고 주파수변환 여부에 대한 정보와 선택적으로 2차예측정보를 부호화하고 상기 제1양자화블록 또는 상기 제2양자화블록을 비트스트림으로 부호화하는 영상 부호화단계; 및
    비트스트림으로부터 양자화블록 및 주파수변환 여부에 대한 정보 및 2차예측에 관련된 정보를 복호하고 상기 주파수변환 여부에 대한 정보, 2차예측에 관련된 정보에 포함된 2차예측여부에 대한 정보 및 2차예측 움직임벡터에 대한 정보를 이용하여 상기 양자화블록으로부터 잔차블록을 복원하고 현재 블록을 예측하여 예측블록을 생성하고 상기 복원되는 잔차블록과 상기 예측블록을 가산하여 현재블록을 복원하는 영상 복호화단계
    를 포함하는 것을 특징으로 영상 부호화/복호화 방법.
  15. 영상을 부호화하는 방법에 있어서,
    현재 블록을 예측하여 예측 블록을 생성하는 예측단계;
    상기 현재 블록에서 상기 예측 블록을 감산하여 1차잔차블록을 생성하는 1차잔차블록 생성단계;
    상기 1차잔차블록에 대하여 선택적으로 주파수변환하고 상기 1차잔차블록 또는 상기 주파수변환된 1차잔차블록에 대한 제1양자화블록을 생성하는 적응적 변환양자화단계;
    상기 제1양자화블록이 상기 1차잔차블록을 양자화한 블록인 경우, 상기 양자화된 1차잔차블록에 대하여 2차예측 움직임벡터 집합을 이용하여 선택적으로 2차예측을 수행하여 제2양자화블록을 생성하는 2차잔차블록 생성단계; 및
    주파수변환 여부에 대한 정보와 선택적으로 2차예측정보를 부호화하고, 상기 제1양자화블록 또는 상기 제2양자화블록을 부호화하는 부호화단계
    를 포함하는 것을 특징으로 영상 부호화 방법.
  16. 제 15항에 있어서,
    상기 적응적 변환양자화단계는,
    상기 1차잔차블록에 대하여 주파수도메인으로 부호화할지 공간도메인으로 부호화할지 여부를 적응적 결정하는 적응적변환 결정단계;
    상기 결정에 따라 공간도메인으로 상기 1차잔차블록을 양자화하여 제1양자화블록을 생성하는 공간도메인 양자화단계; 및
    상기 결정에 따라 주파수도메인으로 상기 1차잔차블록을 주파수변환 및 양자화를 수행하여 제1양자화블록을 생성하는 변환 및 양자화단계
    를 포함하는 것을 특징으로 영상 부호화 방법.
  17. 제 15항에 있어서,
    상기 주파수변환의 여부 및 상기 2차예측의 여부는,
    율-왜곡 비율을 이용하여 결정하는 것을 특징으로 영상 부호화 방법.
  18. 제 15항에 있어서,
    상기 2차예측의 여부는,
    이전프레임의 블록의 공간도메인 제1양자화블록와 현재블록의 공간도메인 제1양자화블록 사이의 차이가 가장 작되, 현재블록의 공간도메인 제1양자화블록보다 작은 경우에 선택되는 것을 특징으로 영상 부호화 방법.
  19. 제 15항에 있어서,
    상기 2차예측정보는,
    2차예측 여부에 대한 정보 및 상기 2차예측에 사용된 움직임벡터에 대한 정보를 포함하는 것을 특징으로 영상 부호화 방법.
  20. 제 19항에 있어서,
    상기 주파수변환 여부에 대한 정보, 상기 2차예측 여부에 대한 정보 및 상기 2차예측에 사용된 움직임벡터에 대한 정보는,
    서로 결합하여 이진데이터로 생성되어 부호화된 것을 특징으로 영상 부호화 방법.
  21. 제 19항에 있어서,
    상기 2차예측에 사용된 움직임벡터는,
    상기 2차예측 움직임벡터 집합 중에서 최적의 것으로 선택된 것을 특징으로 하는 영상 부호화 방법.
  22. 제 15항에 있어서,
    상기 2차예측 움직임벡터 집합은,
    상기 현재블록의 움직임벡터, 상기 현재 블록에 대한 주변 블록의 움직임 벡터, 상기 현재 블록에 대한 주변 블록의 움직임 벡터의 평균, 상기 현재 블록의 위치와 동일한 위치의 이전 프레임의 움직임 벡터 및 최대 확률 움직임 벡터 중에서 하나 이상으로 구성된 것을 특징으로 하는 영상 부호화 방법.
  23. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 양자화블록 및 주파수변환 여부에 대한 정보 및 2차예측에 관련된 정보를 복호하는 복호화단계;
    상기 주파수변환 여부에 대한 정보, 2차예측에 관련된 정보에 포함된 2차예측여부에 대한 정보 및 2차예측에 관련된 정보에 포함된 2차예측 움직임벡터에 대한 정보를 이용하여 상기 양자화블록으로부터 잔차블록을 복원하는 잔차블록 복원단계;
    현재 블록을 예측하여 예측블록을 생성하는 예측단계; 및
    상기 복원되는 잔차블록과 상기 예측블록을 가산하여 현재블록을 복원하는 가산단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  24. 제 23항에 있어서,
    상기 잔차블록 복원단계는,
    상기 주파수변환 여부에 대한 정보가 "주파수도메인 부호화"를 의미하면 상기 양자화블록을 역양자화 및 역변환하고, 상기 주파수변환 여부에 대한 정보가 "공간도메인 부호화"를 의미하고 상기 2차예측정보에 포함된 2차예측 여부에 대한 정보가 "2차예측 미수행"을 의미하면 상기 양자화블록을 역양자화하고, 상기 주파수변환 여부에 대한 정보가 "공간도메인 부호화"를 의미하고 상기 2차예측정보에 포함된 2차예측 여부에 대한 정보가 "2차예측 수행"을 의미하면 상기 2차예측정보에 포함된 2차예측 움직임벡터에 대한 정보를 복호하여 상기 2차예측 움직임벡터를 이용하여 상기 양자화블록으로부터 양자화된 1차잔차블록을 복원하고 역양자화하여 잔차블록을 복원하는 것을 특징으로 하는 영상 복호화 방법.
  25. 제 23항에 있어서,
    상기 주파수변환 여부에 대한 정보, 상기 2차예측 여부에 대한 정보 및 상기 2차예측에 사용된 움직임벡터에 대한 정보는,
    서로 결합하여 이진데이터로 부호화되어 상기 비트스트림에 포함된 것을 특징으로 영상 복호화 방법.
  26. 제 23항에 있어서,
    상기 2차예측 움직임벡터는,
    상기 현재블록의 움직임벡터, 상기 현재 블록에 대한 주변 블록의 움직임 벡터, 상기 현재 블록에 대한 주변 블록의 움직임 벡터의 평균, 상기 현재 블록의 위치와 동일한 위치의 이전 프레임의 움직임 벡터 및 최대 확률 움직임 벡터 중에서 하나인 것을 특징으로 하는 영상 복호화 방법.
  27. 제 1 항 내지 제 26 항 중 어느 한 항의 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2010/008316 2009-11-24 2010-11-24 적응적 2차예측 기반 영상 부호화/복호화 방법, 장치 및 기록 매체 Ceased WO2011065735A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/511,347 US9288495B2 (en) 2009-11-24 2010-11-24 Adaptive secondary prediction-based image encoding/decoding method, device and recording medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20090113625 2009-11-24
KR10-2009-0113625 2009-11-24
KR10-2010-0117198 2010-11-24
KR1020100117198A KR101807170B1 (ko) 2009-11-24 2010-11-24 적응적 2차예측 기반 영상 부호화/복호화 방법, 장치 및 기록 매체

Publications (2)

Publication Number Publication Date
WO2011065735A2 true WO2011065735A2 (ko) 2011-06-03
WO2011065735A3 WO2011065735A3 (ko) 2011-09-15

Family

ID=44067088

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/008316 Ceased WO2011065735A2 (ko) 2009-11-24 2010-11-24 적응적 2차예측 기반 영상 부호화/복호화 방법, 장치 및 기록 매체

Country Status (1)

Country Link
WO (1) WO2011065735A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140098856A1 (en) * 2012-10-08 2014-04-10 Qunshan Gu Lossless video coding with sub-frame level optimal quantization values
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9756346B2 (en) 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100911098B1 (ko) * 2002-09-30 2009-08-06 주식회사 케이티 Ｈ.263 영상 부호화에 의한 왜곡량 예측 장치 및 그 방법
KR100694137B1 (ko) * 2005-07-08 2007-03-12 삼성전자주식회사 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
KR20080082143A (ko) * 2007-03-07 2008-09-11 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140098856A1 (en) * 2012-10-08 2014-04-10 Qunshan Gu Lossless video coding with sub-frame level optimal quantization values
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9407915B2 (en) * 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
US9756346B2 (en) 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding

Also Published As

Publication number Publication date
WO2011065735A3 (ko) 2011-09-15

Similar Documents

Publication Publication Date Title
KR101807170B1 (ko) 적응적 2차예측 기반 영상 부호화/복호화 방법, 장치 및 기록 매체
WO2013002549A2 (ko) 영상 부호화/복호화 방법 및 장치
KR101997604B1 (ko) 영상 부호화/복호화 방법 및 장치
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
WO2012015275A2 (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
KR101955374B1 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
WO2012096550A2 (ko) 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2009157669A2 (ko) 인트라 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012077960A2 (ko) 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치
WO2012077959A2 (ko) 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
WO2012091461A2 (ko) 주변블록의 특징벡터를 이용한 영상 부호화/복호화 방법 및 장치
KR101601840B1 (ko) 채널 상관 관계를 이용한 영상 부호화/복호화 장치 및 방법과 그를 위한 컴퓨터로 읽을 수 있는 기록매체
WO2012099440A2 (ko) 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
WO2013005941A2 (ko) 영상 부호화 및 복호화 방법과 장치
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
WO2012093854A2 (ko) 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
WO2013069996A1 (ko) 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
WO2011037337A2 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
WO2011111954A2 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101601813B1 (ko) 인터 예측을 이용한 영상 복호화 방법 및 장치
WO2012081917A2 (ko) 움직임정보 병합을 이용한 부호움직임정보생성/움직임정보복원 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012021040A2 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
WO2011052990A2 (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
KR101943058B1 (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10833547

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13511347

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: COMMUNICATION IN EXAMINATION PROCEEDINGS (EPO FORM 1205A DATED 30/08/2012)

122 Ep: pct application non-entry in european phase

Ref document number: 10833547

Country of ref document: EP

Kind code of ref document: A2