WO2010093146A2 - 영상 부호화/복호화 장치 및 방법 - Google Patents

영상 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
WO2010093146A2
WO2010093146A2 PCT/KR2010/000715 KR2010000715W WO2010093146A2 WO 2010093146 A2 WO2010093146 A2 WO 2010093146A2 KR 2010000715 W KR2010000715 W KR 2010000715W WO 2010093146 A2 WO2010093146 A2 WO 2010093146A2
Authority
WO
WIPO (PCT)
Prior art keywords
block
coefficient
transform
subblocks
prediction
Prior art date
Application number
PCT/KR2010/000715
Other languages
English (en)
French (fr)
Other versions
WO2010093146A3 (ko
Inventor
김하윤
문주희
이영렬
김해광
전병우
김동원
박민철
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Publication of WO2010093146A2 publication Critical patent/WO2010093146A2/ko
Publication of WO2010093146A3 publication Critical patent/WO2010093146A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Definitions

  • the present invention relates to an image encoding / decoding apparatus and method. More specifically, in encoding and decoding a still image or a video in block units, an apparatus and method for improving compression efficiency by encoding and decoding a block to be currently encoded or decoded using an optimal intra prediction mode. It is about.
  • Standard techniques for efficiently compressing digital images include JPEG, JPEG-2000, etc., when compressing still images, and H.261, H.263, MPEG-2, MPEG-4, etc., when compressing moving images. There is this.
  • MPEG-4 AVC Advanced Video Coding
  • ISO International Organization for Standardization
  • intra prediction encoding and inter prediction encoding are performed to compress a video by removing spatial redundancy and temporal redundancy.
  • a video to be compressed is divided into blocks of arbitrary size for encoding.
  • a block for example, in an MPEG-4 AVC, an intra macroblock and an inter macro Blocks are used.
  • intra prediction encoding uses a macroblock to be currently encoded (hereinafter referred to as a 'current macroblock') by using a macroblock that is around the current macroblock and has already been encoded and decoded (hereinafter referred to as a 'nearby macroblock').
  • a prediction block hereinafter referred to as an 'intra prediction block'
  • a residual block that is a difference between a current macroblock and an intra prediction block is encoded.
  • various intra prediction modes may be used according to the block mode of the current macroblock.
  • the current macroblock when the block mode of the current macroblock is an intra 16x16 mode, the current macroblock may be predicted using an intra prediction mode of one of four intra prediction modes as shown in FIG. When the block mode of the block is an intra 4x4 mode, the current macroblock may be predicted using one intra prediction mode among nine intra prediction modes as shown in FIG. 2.
  • the conventional intra prediction encoding performs prediction in one intra prediction mode having a prediction direction with the best picture quality per bit in blocks
  • the intra prediction mode used to predict the current macroblock is determined in each block. Although it may be an intra prediction mode that has the best prediction direction on average for a pixel or coefficients, it may not be the optimal prediction direction for each pixel or coefficient in the block.
  • the bit amount of the bitstream finally encoded and output by the pixel or coefficient that is not predicted in the optimal prediction direction is increased, there is a problem that the compression efficiency is lowered.
  • the present invention has a main purpose in encoding and decoding an image to improve compression efficiency by predicting, encoding, and decoding a current block in a plurality of intra prediction modes for each pixel or coefficient.
  • the present invention provides an apparatus for encoding an image, comprising: a predictor for predicting a current block in a plurality of intra prediction modes to generate a plurality of prediction blocks; A subtractor for generating a plurality of residual blocks by subtracting the current block and the plurality of prediction blocks; A transformer for transforming the plurality of residual blocks to produce a plurality of transform blocks; A coefficient selector for selectively generating a combined block using transform coefficients of the plurality of transform blocks; A quantizer for quantizing the combined block; And an encoder for encoding a quantized combined block and outputting a bitstream.
  • a video encoding method comprising: a prediction block generation step of predicting a current block in a plurality of intra prediction modes to generate a plurality of prediction blocks; A subtraction step of generating a plurality of residual blocks by subtracting the current block and the plurality of prediction blocks; A transform step of transforming the plurality of residual blocks to generate a plurality of transform blocks; A coefficient selection step of generating a combined block by selectively using transform coefficients of the plurality of transform blocks; A quantization step of quantizing the combined block; And an encoding step of encoding the quantized combined block and outputting a bitstream.
  • an apparatus for decoding an image comprising: a decoder for extracting and decoding an encoded combined block from a bitstream; An inverse quantizer for inversely quantizing the decoded combined block; The inverse quantized transform coefficients of the inverse quantized combined block are divided into a plurality of zones, the prediction direction of one of the plurality of zones is selected as the representative prediction direction, and the inverse quantized transform coefficients of the remaining zones of the plurality of zones are selected.
  • a coefficient corrector for correcting the inverse quantized combined block by correcting according to the representative prediction direction An inverse transformer for inversely transforming the corrected combined block; A predictor for predicting a current block in a representative prediction direction to generate a predicted block; And an adder for reconstructing the current block by adding the prediction block and the inverse transformed combined block.
  • a method of decoding an image comprising: a decoding step of extracting and decoding an encoded combined block from a bitstream; An inverse quantization step of inverse quantization of the decoded combined block; A zone discrimination step of dividing the inverse quantized transform coefficients of the inverse quantized combining block into a plurality of zones; A representative prediction direction setting step of selecting a prediction direction of one of the plurality of zones as a representative prediction direction; A coefficient correction step of correcting the inverse quantized combined block by correcting the inverse quantized transform coefficients of the remaining zones among the plurality of zones according to a representative prediction direction; An inverse transform step of inversely transforming the corrected combined block; A prediction step of predicting a current block in a representative prediction direction to generate a prediction block; And an addition step of reconstructing the current block by adding the prediction block and the inverse transformed combined block.
  • a prediction block is generated by predicting a current block in a block intra prediction mode, and a plurality of subblocks in which the current block is divided are subblock intra prediction modes.
  • a predictor for generating a plurality of prediction subblocks by predicting the prediction A subtractor for generating a residual block by subtracting the current block and the prediction block, and generating a plurality of residual subblocks by subtracting the plurality of subblocks and the plurality of prediction subblocks;
  • a transformer for transforming the residual block and the plurality of residual subblocks to produce a transform block and a plurality of transform subblocks;
  • a coefficient separator that separates DC coefficients for each subblock in the transform block and separates DC coefficients for each subblock in the plurality of transform subblocks;
  • a DC coefficient converter for reconverting the DC coefficient block to which the DC coefficients separated in the transform block are combined;
  • a quantizer for quantizing the reconverted DC coefficient block and quantizing a plurality of transform subblocks in which DC coefficients for each subblock are separated;
  • an encoder for encoding a quantized DC coefficient block and a plurality of quantized transform subblocks and outputting a bitstream.
  • a method of encoding an image comprising: a block prediction step of predicting a current block in a block intra prediction mode to generate a prediction block; A block subtraction step of generating a residual block by subtracting the current block and the prediction block; A block transform step of transforming the residual block to generate a transform block; A DC coefficient separation step of separating the DC coefficients for each subblock in the transform block; A DC coefficient converting step of reconverting the DC coefficient block to which the DC coefficients of the separated subblocks are combined; A DC coefficient block quantization step of quantizing the reconverted DC coefficient block; A sub-lock prediction step of predicting a plurality of subblocks obtained by dividing a current block in a subblock intra prediction mode to generate a plurality of prediction subblocks; A subblock subtraction step of generating a plurality of residual subblocks by subtracting a plurality of subblocks and a plurality of prediction subblocks; A subblock transform step of transforming the
  • an apparatus for decoding an image comprising: a decoder for extracting and decoding an encoded DC coefficient block and a plurality of encoded subblocks from a bitstream; An inverse quantizer for inverse quantization of the decoded DC coefficient blocks and inverse quantization of the plurality of decoded subblocks; A DC coefficient inverse converter for inversely transforming each DC coefficient of the inverse quantized DC coefficient block; A coefficient corrector for correcting the inversely transformed DC coefficient in the prediction direction according to the subblock intra prediction mode; A coefficient combiner for coupling each corrected DC coefficient to a plurality of inverse quantized subblocks; An inverse transformer for inversely transforming a plurality of subblocks having the combined DC coefficients; A predictor generating a plurality of prediction subblocks by predicting a plurality of subblocks obtained by dividing a current block in a subblock intra prediction mode; And an adder for reconstructing the current block by adding the plurality of prediction sub
  • a method of decoding an image comprising: a decoding step of extracting and decoding an encoded DC coefficient block and a plurality of encoded subblocks from a bitstream; A DC coefficient block inverse quantization step of inverse quantizing the decoded DC coefficient block; A DC coefficient block inverse transform step of inversely transforming the inverse quantized DC coefficient block; A coefficient correction step of correcting each DC coefficient of the inversely transformed DC coefficient block in the prediction direction according to the subblock intra prediction mode; A subblock inverse quantization step of inverse quantization of the plurality of decoded subblocks; An inverse transform step of inversely transforming the plurality of inverse quantized subblocks combined with each corrected DC coefficient; A prediction step of predicting a plurality of subblocks in which a current block is divided in a subblock intra prediction mode to generate a plurality of prediction subblocks; And an addition step of reconstructing the current block by adding a plurality of prediction subblocks and
  • the bit amount can be reduced while maintaining the best image quality compared to the bit, thereby improving compression efficiency. Can be improved.
  • 1 is an exemplary diagram illustrating an intra 16x16 prediction mode according to the H.264 / AVC standard.
  • FIG. 2 is an exemplary diagram illustrating an intra 4x4 prediction mode according to the H.264 / AVC standard.
  • FIG. 3 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram illustrating a process of generating a combined block by predicting a current block in a plurality of intra prediction modes according to an embodiment of the present invention
  • FIG. 5 is an exemplary view showing a combined block having transform coefficients selected and combined for each zone according to an embodiment of the present invention
  • FIG. 6 is an exemplary diagram illustrating a process of correcting an inverse quantized combined block according to an embodiment of the present invention
  • FIG. 7 is a flowchart illustrating a video encoding method according to an embodiment of the present invention.
  • FIG. 8 is a block diagram schematically illustrating an image decoding apparatus according to another embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • FIG. 10 is a block diagram schematically illustrating a video encoding apparatus according to another embodiment of the present invention.
  • FIG. 11 is an exemplary view illustrating a process of extracting and converting a DC coefficient according to another embodiment of the present invention.
  • 12 and 13 are exemplary diagrams illustrating a procedure of encoding, decoding, and reconstructing each subblock according to another embodiment of the present invention
  • FIG. 14 is a flowchart illustrating a video encoding method according to another embodiment of the present invention.
  • FIG. 15 is a block diagram schematically illustrating an image decoding apparatus according to another embodiment of the present invention.
  • 16 is a flowchart illustrating an image decoding method according to another embodiment of the present invention.
  • FIG. 3 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • the video encoding apparatus (Video Encoding Apparatus) 300 includes a predictor 310, a subtracter 320, a transformer 330, a coefficient selector 340, and a quantization. Quantizer 350, Encoder 360, Inverse Quantizer 370, Coefficient Corrector 380, Inverse Transformer 390, Adder 392, Dee A blocking filter 394 and a picture buffer 396 may be included.
  • the video encoding apparatus 300 may be a personal computer (PC), a notebook computer, a personal digital assistant (PDA), a portable multimedia player (PMP), or a PlayStation Portable (PSP).
  • a communication device such as a communication modem for communicating with various devices or a wired / wireless communication network, a memory for storing various programs and data for encoding an image, and executing a program.
  • a communication modem for communicating with various devices or a wired / wireless communication network
  • a memory for storing various programs and data for encoding an image, and executing a program.
  • the predictor 310 generates a plurality of predicted blocks by predicting a current block in a plurality of intra prediction modes. That is, when the block to be currently encoded in the input picture, that is, the current block, is input, the predictor 310 displays the original pixel values of the pixels of the current block in the plurality of intra prediction modes. A plurality of prediction blocks having predicted pixel values are generated and output by predicting the prediction direction.
  • the plurality of intra prediction modes may be a plurality of intra prediction modes according to the block mode of the current block or a plurality of intra prediction modes preset by the user. For example, assuming that the video is compressed according to the H.264 / AVC standard and the block mode of the current block is intra 16x16 mode, multiple intra prediction modes are defined as intra 16x16 as defined by the H.264 / AVC standard. There may be four intra prediction modes that are prediction modes of the mode. In addition, in the same case, when the user presets the horizontal mode and the vertical mode among the four intra prediction modes, the plurality of intra prediction modes may be the horizontal mode and the vertical mode among the intra 16x16 modes. have.
  • the subtractor 320 subtracts the current block and the plurality of prediction blocks to generate a plurality of residual blocks. That is, the subtractor 320 generates and outputs a plurality of residual blocks by subtracting each of the current block of the input image and the plurality of prediction blocks predicted and generated by the predictor 310.
  • each of the output residual blocks includes a residual signal, and the residual signal has a value obtained by subtracting the prediction pixel value of the prediction block from the original pixel value of the current block.
  • the transformer 330 transforms the plurality of residual blocks to generate a plurality of transformed blocks. That is, the converter 330 converts the residual signals of each of the plurality of residual blocks output from the subtractor 320 into a frequency domain to generate and output a plurality of transform blocks having transform coefficients.
  • a method of transforming the residual signal into the frequency domain a Discrete Cosine Transform (DCT) -based transform or a Hadamard Transform (DCT) may be used, but the present invention is not limited thereto.
  • DCT Discrete Cosine Transform
  • DCT Hadamard Transform
  • Various transformation techniques may be used, and the residual signal may be transformed into a frequency domain and transformed into a transform coefficient using the transform coefficient.
  • the coefficient selector 340 selectively generates a combined block by using transform coefficients of the plurality of transform blocks. That is, the coefficient selector 340 selectively combines the transform coefficients of the plurality of transform blocks output from the transformer 340 to generate and output a combined block having the same size as the current block.
  • the coefficient selector 340 selects a transform coefficient that minimizes the rate-distortion cost of the combined block among the transform coefficients of the plurality of transform blocks, and combines the selected transform coefficients to generate the combined block. can do. That is, the coefficient selector 340 selects only the transform coefficients that minimize the rate-distortion cost of the combined block when selecting the transform coefficient constituting the combined block from the plurality of transform blocks. The image quality of the image when contrasted with the amount can be optimized.
  • the coefficient selector 340 generates a combined block by selecting transform coefficients of transform blocks that are predicted, subtracted, and transformed in the intra prediction mode preset by the user among transform coefficients of the plurality of transform blocks, and combining the selected transform coefficients. can do. That is, the coefficient selector 340 does not select only the transform coefficients that minimize the rate-distortion cost of the combined block, as described above, but a part of the transform block predicted, subtracted, and transformed into the intra prediction mode preset by the user. You can select and combine transform coefficients to create a combined block.
  • the coefficient selector 340 may generate a combined block by selecting transform coefficients of transform blocks that are predicted, subtracted, and transformed in different intra prediction modes for each of a plurality of zones of the preset combined block, and combining the selected transform coefficients. have. That is, in selecting the transform coefficients constituting the combined block, the coefficient selector 340 may divide the combined block into a plurality of zones and select a transform coefficient generated by predicting a different intra prediction mode for each divided zone. .
  • FIG. 4 which illustrates a process of generating a combined block by predicting a current block in a plurality of intra prediction modes, for example, two prediction directions according to two intra prediction modes using the original pixel values of the current block. If it is assumed that the prediction is performed in the prediction direction 1 and the prediction direction 2, the first prediction block and the second prediction block are predicted and generated, respectively, and the first residual block and the second residual block are subtracted from the current block. Is generated, and the first transform block and the second transform block are generated by frequency transforming each residual block.
  • the best coefficients eg, transform coefficients having the best image quality for the bit quantity
  • Ca 00 to Ca 11 and Cb 12 to Cb 33 are selected and combined with the latest coefficients in each prediction direction to form a combined block.
  • the number of prediction directions for selecting the best transform coefficients may be arbitrarily set by the user, and the number of transform coefficients selected according to the set prediction direction may be arbitrarily set by the user.
  • Ca 00 to Ca 03 select the transform coefficients predicted and generated in the prediction direction 1
  • Ca 10 to Ca 13 select the transform coefficients predicted and generated in the prediction direction 2
  • Ca 20 to Ca 33 are It can also be predicted and sent in another prediction direction 3.
  • FIG. 5 which shows a combined block having transform coefficients selected and combined for each zone
  • C 00 to 13 select transform coefficients when predicted and transformed in the prediction direction A
  • C 20 to 33 May select and combine transform coefficients when the prediction is performed in the prediction direction B.
  • the coupling block may be divided into a plurality of zones having any size and any number.
  • Quantizer 350 quantizes the combined block. That is, the quantizer 350 quantizes the transform coefficients of the combined block output from the coefficient selector 340 to generate a combined block and output the quantized transform coefficients.
  • DZUTQ dead zone uniform threshold quantization
  • DZUTQ quantization weighted matrix
  • various quantization methods such as quantization improved therefrom may be used.
  • the encoder 360 encodes the quantized combined block and outputs a bitstream. That is, the encoder 360 may use various encoding techniques, such as entropy encoding, on a frequency coefficient string scanned by various scan methods, such as a zigzag scan, of the quantized transform block output from the quantizer 350. And generate and output a bitstream.
  • various encoding techniques such as entropy encoding, on a frequency coefficient string scanned by various scan methods, such as a zigzag scan, of the quantized transform block output from the quantizer 350. And generate and output a bitstream.
  • the encoder 360 may further encode one or more of information on the plurality of zones and information on the prediction direction of the plurality of zones.
  • Information about a plurality of zones means that a plurality of zones are formed by selecting transform coefficients generated by predicting a prediction direction according to a different intra prediction mode for a combined block divided into a plurality of zones.
  • Information for identifying a prediction direction of a plurality of zones is for identifying a transform coefficient generated by predicting a prediction direction according to an intra prediction mode for each divided zone. Represent information.
  • Inverse quantizer 370 inverse quantizes the quantized combining block. That is, the inverse quantizer 370 inversely quantizes and outputs quantization transform coefficients of the quantized combined block output from the quantizer 350.
  • the coefficient corrector 380 divides the inverse quantized transform coefficients of the inverse quantized combining block into a plurality of zones, selects a prediction direction of one of the plurality of zones as a representative prediction direction,
  • the inverse quantized combined block is corrected by correcting the inverse quantized transform coefficient according to the representative prediction direction. That is, the coefficient corrector 380 corrects transform coefficients generated by being predicted in the plurality of intra prediction modes to transform coefficients for one intra prediction mode so that the inverse quantized combined block may be inversely transformed.
  • the representative prediction direction refers to the prediction direction of any one of the plurality of zones, and does not mean the prediction direction representing the prediction direction of the plurality of zones. Therefore, the representative prediction direction may be a prediction direction preset by the user or a prediction direction arbitrarily selected from among prediction directions of the plurality of zones.
  • FIG. 6 which illustrates a process of correcting an inverse quantized combined block
  • Ca 00 is predicted in the prediction direction 1 and Cb 01 to 33 are predicted in the prediction direction 2
  • the prediction direction 1 As shown in Fig. 6, the transform coefficient Ca 00 predicted and generated by Equation 1 can be corrected by transform coefficients predicted and transformed in the prediction direction 2 determined as the representative prediction direction.
  • Cb ij ' is the corrected transform coefficient
  • Ca ij is transformed by subtracting and transforming it by predicting it in the prediction direction 1
  • T ij (x) is the transform of the position (i, j) among the transform coefficients converted from the values of Transform coefficients extracted only coefficients
  • Pa 00 to 33 are prediction pixel values predicting the original pixel values of the current block in the prediction direction 1
  • Pb 00 to 33 are prediction pixel values predicting the original pixel values of the current block in the prediction direction 2.
  • T ij (x) is exemplarily represented as a 4x4 DCT transform, but a transform having a size other than 4x4 or a transform other than the DCT transform may be used.
  • Equation 1 may be derived through Equations 2 to 5.
  • Pix 00 to 33 represent original pixel values of the current block
  • Pa 00 to 33 represent predicted pixel values predicted in the prediction direction 1
  • Pb 00 to 33 represent predicted pixel values predicted in the prediction direction 2
  • Ra 00 33 denotes a residual signal between the predicted pixel value predicted in the prediction direction 1 and the original pixel value
  • Rb 00 to 33 denotes the residual signal between the predicted pixel value predicted in the prediction direction 2 and the original pixel value.
  • 00 to 33 and Rb 00 to 33 may be represented by Equations 2 and 3 below.
  • Equation 4 Subtracting Equation 2 from Equation 3 may be expressed as Equation 4.
  • Equation 5 If T (x) is performed on both sides of Equation 4 to perform frequency conversion, it may be expressed as Equation 5.
  • the transform coefficient generated by predicting in the prediction direction 1 may be corrected by the transform coefficient generated by predicting in the prediction direction 2.
  • Inverse transformer 390 inverts the corrected combined block.
  • the inverse transformer 390 inversely transforms the transform coefficients of the combined block including the transform coefficients corrected according to the representative prediction direction by the coefficient corrector 380.
  • the adder 392 adds the prediction block predicted in the representative prediction direction among the plurality of prediction blocks and the combined block inversely transformed. That is, the adder 392 is a combined block inversely transformed by the inverse transformer 390 into a prediction block predicted in a representative prediction direction among a plurality of prediction blocks predicted in a prediction direction according to a plurality of intra prediction modes in the predictor 310.
  • the restored current block is added to the restored residual signal to generate and output the restored current block.
  • the deblocking filter 394 deblocks and filters the restored current block output from the adder 392 to remove and output block distortion.
  • the picture buffer 396 stores the current block from which the block distortion is removed by the deblocking filter 394 so that the predictor 310 can use it as a reference picture or a reference block for predicting the current block.
  • the image encoding apparatus 300 uses an inverse quantizer 370, a coefficient corrector 380, an inverse converter 390, an adder 392, and a deblocking filter 394.
  • a deblocking filter 394 Although illustrated and described as including all of the picture buffer 396, the inverse quantizer 370, coefficient corrector 380, inverse converter 390, adder 392, deblocking filter 394 and picture buffer ( 396) is not necessarily included and may be optionally included depending on implementation. In this case, the deblocking filter 394 and the picture buffer 396 may be selectively included as necessary.
  • FIG. 7 is a flowchart illustrating a video encoding method according to an embodiment of the present invention.
  • the image encoding apparatus 300 When the current block to be encoded in the image is determined, the image encoding apparatus 300 generates a plurality of prediction blocks by predicting the current block in a plurality of intra prediction modes (S710), and subtracts the current block and the plurality of prediction blocks. A plurality of residual blocks are generated (S720), and the plurality of residual blocks are converted to generate a plurality of transform blocks (S730).
  • the image encoding apparatus 300 selectively combines transform coefficients of the plurality of transform blocks to generate a combined block (S740), quantizes the combined block (S750), and encodes the quantized combined block to output a bitstream. (S760).
  • the image encoded in the bitstream by the image encoding apparatus 300 is real-time or non-real-time through the wired or wireless communication network such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network or the like,
  • the image decoding apparatus may be transmitted to a video decoding apparatus to be described later through a communication interface such as a universal serial bus (USB), decoded by the video decoding apparatus, and restored and reproduced.
  • a communication interface such as a universal serial bus (USB)
  • FIG. 8 is a block diagram schematically illustrating an image decoding apparatus according to an embodiment of the present invention.
  • a video decoding apparatus (Video Decoding Apparatus) 800 is a decoder (Decoder, 810), inverse quantizer 820, coefficient corrector (830), inverse transformer (840), predictor (850) , An adder 860, a deblocking filter 870, and a picture buffer 880.
  • the image decoding apparatus 800 may be a personal computer, a notebook computer, a personal portable terminal, a portable multimedia player, a mobile communication terminal, and the like, and decodes an image of a communication device such as a communication modem for performing communication with various devices or a wired or wireless communication network. Means a variety of devices including a memory for storing various programs and data, a microprocessor for executing and controlling the program by executing.
  • the decoder 810 extracts and decodes an encoded combined block from a bitstream. That is, the decoder 810 extracts an encoded combined block from an input bitstream and decodes the same by using an encoding technique such as entropy encoding used by the encoder 360 of the image encoding apparatus 300.
  • the bitstream may further include one or more of information on a plurality of zones and information on prediction directions of the plurality of zones
  • the decoder 810 may include information on the plurality of zones and a plurality of zones from the bitstream.
  • One or more of the information on the prediction direction of the zone is further extracted and decoded as needed, and this information is determined by the coefficient corrector 830 to identify the zone of the combined block and the intra prediction mode for each zone, and to identify the representative prediction direction. It can be used to.
  • Inverse quantizer 820 inverse quantizes the decoded combined block. That is, inverse quantizer 820 inverse quantizes the quantized transform coefficients in the combined block decoded by decoder 810. In this case, the inverse quantizer 820 performs inverse quantization by inversely performing the quantization technique used by the quantizer 350 of the image encoding apparatus 300.
  • the coefficient corrector 830 divides the inverse quantized transform coefficients of the inverse quantized combining block into a plurality of zones, selects a prediction direction of one of the plurality of zones as a representative prediction direction,
  • the inverse quantized combined block is corrected by correcting the inverse quantized transform coefficient according to the representative prediction direction.
  • Correction of the inverse quantized combined block by the coefficient corrector 830 is the same as or similar to that described above in the coefficient corrector 380 of the image encoding apparatus 300 described above with reference to FIG.
  • the representative prediction direction refers to the prediction direction of any one of the plurality of zones, and does not mean the prediction direction representing the prediction direction of the plurality of zones. Therefore, the representative prediction direction may be a prediction direction preset by the user or a prediction direction arbitrarily selected from among prediction directions of the plurality of zones.
  • Inverse transformer 840 inverts the corrected combined block. That is, the inverse transformer 390 inversely transforms the transform coefficients of the corrected combined block output from the coefficient corrector 830. The inverse transform is performed by inversely performing the transformation technique used by the transformer 330 of the image encoding apparatus 300. do.
  • the predictor 850 generates a prediction block by predicting the current block in the representative prediction direction. That is, the predictor 850 generates the prediction block by predicting the current block in the intra prediction mode having the representative prediction direction determined by the coefficient corrector 830.
  • the adder 860 adds the prediction block and the inverse transformed combined block to reconstruct the current block. That is, the adder 860 calculates the reconstructed pixel value of the current block by adding the predicted pixel value of the prediction block output from the predictor 850 and the reconstructed residual signal of the inverse transformed combined block output from the inverse transformer 840. Thereby restoring the current block.
  • the reconstructed current block may be accumulated in picture units and output as a reconstructed image, but may be deblocked and filtered after the deblocking filter 870 to remove the block distortion, and the deblocked current block may be output. Is stored in the picture buffer 880, so that the predictor 850 can be used to predict the current block.
  • FIG. 9 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • the video decoding apparatus 800 extracts and decodes an encoded combined block from a bitstream (S910), and inversely quantizes the decoded combined block (S920).
  • the image decoding apparatus 800 divides the inverse quantized transform coefficients of the inverse quantized combined block into a plurality of zones (S930), and selects a prediction direction of one of the plurality of zones as a representative prediction direction (S940). ), The inverse quantized combining block is corrected by correcting the inverse quantized transform coefficients of the remaining zones among the plurality of zones according to the representative prediction direction (S950).
  • the image decoding apparatus 800 inversely transforms the corrected combined block (S960), generates the prediction block by predicting the current block in the representative prediction direction (S970), and adds the combined block that is inversely transformed with the prediction block.
  • the current block is restored (S980).
  • the prediction and encoding are performed by applying a plurality of intra prediction modes according to the same block mode (eg, an intra 4x4 mode) to one current block.
  • a plurality of intra prediction modes according to the same block mode e.g. an intra 4x4 mode
  • prediction and encoding by applying a plurality of intra prediction modes according to different block modes for example, an intra 16x16 mode and an intra 4x4 mode
  • the current block is a 16x16 macroblock.
  • the current macroblock to be described below may be generalized to the current block
  • the macroblock intra prediction mode may be generalized to the block intra prediction mode
  • the prediction macroblock may be generalized to the prediction block
  • the residual macroblock is It can be generalized to residual blocks
  • transform macroblocks can be generalized to transform blocks.
  • FIG. 10 is a block diagram schematically illustrating a video encoding apparatus according to another embodiment of the present invention.
  • the image encoding apparatus 1000 may include a predictor 1010, a subtractor 1020, a transformer 1030, a coefficient separator 1040, a DC coefficient transformer 1042, Quantizer 1050, Encoder 1060, Inverse Quantizer 1070, Coefficient Corrector 1080, Coefficient Coupler 1090, Inverse Converter 1092, Adder 1094, Deblocking Filter 1096 And a picture buffer 1098.
  • the image encoding apparatus 100 may be a personal computer, a notebook computer, a personal portable terminal, a portable multimedia player, a PlayStation portable, a mobile communication terminal, or the like, and a communication device such as a communication modem for communicating with various devices or a wired or wireless communication network. It refers to a variety of devices having a variety of programs for encoding an image, a memory for storing data, a microprocessor for executing and controlling the program.
  • the predictor 1010 generates a predicted macroblock by predicting the current macroblock in a macroblock intra prediction mode, and generates a plurality of subblocks in which the current macroblock is divided. ) Is predicted in a subblock intra prediction mode to generate a plurality of predicted subblocks. That is, when the current macroblock to be encoded in the input image is determined, the predictor 1010 predicts the original pixel value of the current macroblock according to the prediction direction of the macroblock intra prediction mode to generate a prediction block having the prediction pixel value.
  • the block mode of the current macroblock may be an intra 16x16 mode
  • the macroblock intra prediction mode is one or more of four intra prediction modes for the intra 16x16 mode according to the H.264 / AVC standard. It may be a mode group.
  • the current macroblock may be divided into several subblocks of a constant size.
  • the predictor 1010 predicts a plurality of subblocks in which the current macroblock is divided.
  • the predictor 1010 predicts an original pixel value of each subblock according to a prediction direction according to the subblock intra prediction mode.
  • a plurality of prediction subblocks having pixel values is generated.
  • Subblock Intra Prediction Mode According to the H.264 / AVC standard, it may be one of nine intra prediction modes for an intra 16x16 mode or an intra prediction mode group including one or more.
  • the macroblock intra prediction mode and the subblock intra prediction mode may be different intra prediction modes, and the intra prediction modes for predicting each subblock may be the same intra prediction mode, but different intra prediction modes may be used. have.
  • the subtractor 1020 generates a residual macroblock by subtracting the current macroblock and the prediction macroblock, and generates a plurality of residual subblocks by subtracting the plurality of subblocks and the plurality of prediction subblocks. That is, the subtractor 1020 subtracts the prediction pixel value of the prediction macroblock generated by the predictor 1010 from the original pixel value of the current macroblock to generate and output a residual macroblock having a residual signal.
  • a plurality of residual subblocks having a residual signal are generated and output by subtracting prediction pixel values of the plurality of prediction subblocks generated by the predictor 1010 from the original pixel values of the plurality of divided subblocks.
  • the converter 1030 transforms the residual macroblock and the plurality of residual subblocks to produce a transform macroblock and a plurality of transform subblocks. That is, the converter 1030 performs frequency conversion on the residual signal of the residual macroblock output from the subtractor 1020, and performs frequency conversion on the residual signal of each of the plurality of residual subblocks output from the subtractor 1020.
  • the coefficient separator 1040 separates DC coefficients for each subblock in the transform macroblock and separates DC coefficients for each subblock in the plurality of transform subblocks. That is, when the coefficient separator 1040 divides the transform macroblock output from the transformer 1030 in subblock units, the coefficient separator 1040 separates DC coefficients, which are coefficients corresponding to DC components, in each divided subblock, and the transformer 1030. A DC coefficient, which is a coefficient corresponding to a DC component, is separated from a plurality of transform subblocks output from the transform block.
  • the DC coefficient converter 1042 reconverts the DC coefficient block to which the DC coefficients separated in the transform macroblock are combined. That is, the DC coefficient converter 1042 combines the DC coefficients separated by the coefficient separator 1040 into a block having a size of a subblock to generate a DC coefficient block, and reconverts the DC coefficient block to the frequency domain.
  • the DC coefficient converter 1042 may perform a Hadamard transform, but is not limited thereto, and may re-transform by various transformation techniques.
  • each DC coefficient of the generated DC coefficient block is reconverted using a transform technique such as a Hadamard transform.
  • the reconverted DC coefficient block is independently quantized, and each subblock having DC coefficients separated and only the remaining transform coefficients is also quantized independently.
  • the quantizer 1050 quantizes the reconverted DC coefficient block and quantizes a plurality of transform subblocks in which DC coefficients for each subblock are separated. That is, the quantizer 1050 quantizes the reconverted DC coefficients of the DC coefficient block reconverted by the DC coefficient converter 1042 and has the remaining transform coefficients remaining by separating the DC coefficients by the coefficient separator 1040.
  • the transform coefficients of the plurality of transform subblocks are quantized. In this case, the quantizer 1050 may use various quantization techniques.
  • the encoder 1060 encodes a quantized DC coefficient block and a plurality of quantized transform subblocks and outputs a bitstream. That is, the encoder 1060 encodes the quantized transform coefficients of the quantized DC coefficient block and generates and outputs a bitstream by encoding the quantized transform coefficients of the quantized plurality of transform subblocks.
  • Inverse quantizer 1070 inverse quantizes the quantized DC coefficient block and inverse quantizes the plurality of quantized transform subblocks.
  • the inverse quantizer 1070 may perform inverse quantization by performing the technique quantized by the quantizer 1060 in reverse.
  • the DC coefficient inverse converter 1072 inversely transforms the DC coefficients of the inverse quantized DC coefficient block. At this time, the DC coefficient inverse converter 1072 inversely performs the conversion process performed by the DC coefficient converter 1042, thereby inverting the DC coefficient.
  • the coefficient corrector 1080 corrects each DC coefficient of the inversely transformed DC coefficient block in the prediction direction according to the subblock intra prediction mode. That is, the coefficient corrector 1080 corrects the DC coefficient of the inversely transformed DC coefficient block in the prediction direction according to the subblock intra prediction mode of the corresponding subblock. Since the same or similar to the above-described correction method through the equations (1) to (5), detailed description thereof will be omitted. However, when the intra prediction mode of the subblock used to predict the subblock is different for each subblock, the prediction direction used in the subblock is set as the representative prediction direction and corrected.
  • the coefficient combiner 1090 combines the corrected DC coefficients into a plurality of inverse quantized transform subblocks. That is, the coefficient combiner 1090 combines each DC coefficient corrected in the prediction direction of each subblock by the coefficient corrector 1080 into each transform subblock by substituting the transform coefficient position of the DC component of the corresponding transform subblock. do.
  • Inverse transformer 1092 inversely transforms a plurality of transform subblocks that combine DC coefficients. That is, the inverse converter 1092 inversely transforms the transform coefficients of the plurality of transform subblocks combined with the corrected DC coefficients for each transform subblock.
  • the adder 1094 adds a plurality of prediction subblocks and a plurality of inverse transformed subblocks. That is, the adder 1094 and the prediction block of each subblock predicted in the prediction direction according to the subblock intra prediction mode (intra prediction mode applied to all subblocks or applied differently to each subblock) in the predictor 1010.
  • the residual signal for each subblock inversely transformed and reconstructed by the inverse transformer 1092 is added to reconstruct each subblock in which the current macroblock is divided.
  • Each reconstructed subblock may be used to predict in the predictor 1010 as it is, but may be deblocked filtered through the deblocking filter 1096 to remove block distortion, and may be stored and used in the picture buffer 1098. .
  • each subblock may be as shown in FIG. 12 or FIG. 13. That is, after the subblock # 1 is encoded and decoded and decoded, the subblock # 1 is encoded. Then, the subblock # 2 is encoded using the reconstructed subblock, and the decoded subblock is decoded. Each subblock can be encoded and decoded by using a.
  • FIG. 14 is a flowchart illustrating a video encoding method according to another embodiment of the present invention.
  • the image encoding apparatus 1000 predicts the current macroblock in the macroblock intra prediction mode to generate a prediction macroblock (S1410), subtracts the current macroblock and the prediction macroblock, and generates a residual macroblock (S1420).
  • the macroblock is converted to generate a transform macroblock (S1430).
  • the image encoding apparatus 1000 separates DC coefficients for each subblock in the transform macroblock (S1440), reconverts the DC coefficient block combined with the DC coefficients for each subblock, in operation S1450, and the reconverted DC.
  • the coefficient block is quantized (S1460).
  • the image encoding apparatus 1000 generates a plurality of prediction subblocks by predicting a plurality of subblocks in which a current macroblock is divided in a subblock intra prediction mode (S1470), and the plurality of subblocks and a plurality of prediction subblocks.
  • a subtraction is generated to generate a plurality of residual subblocks (S1480), and a plurality of residual subblocks are converted to generate a plurality of transform subblocks (S1490).
  • the image encoding apparatus 1000 separates DC coefficients for each subblock from the remaining transform coefficients in the plurality of transform subblocks (S1492), and quantizes the plurality of transform subblocks for which DC coefficients for each subblock are separated (S1494).
  • the quantized DC coefficient block and the quantized plurality of transform subblocks are encoded.
  • the image encoded in the bitstream by the image encoding apparatus 1000 is real-time or non-real-time through the wired or wireless communication network such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like.
  • the image decoding apparatus may be transmitted to a video decoding apparatus to be described later through a communication interface such as a universal serial bus, decoded by the video decoding apparatus, and restored and reproduced.
  • 15 is a block diagram schematically illustrating an image decoding apparatus according to another embodiment of the present invention.
  • the image decoding apparatus 1500 may include a decoder 1510, an inverse quantizer 1520, a DC coefficient inverse converter 1530, a coefficient corrector 1540, a coefficient combiner 1550, and an inverse converter. 1560, a predictor 1570, an adder 1580, a deblocking filter 1590, and a picture buffer 1592.
  • the decoder 1510 extracts and decodes an encoded DC coefficient block and a plurality of encoded subblocks from the bitstream.
  • the bitstream may include information on the subblock intra prediction mode.
  • the inverse quantizer 1520 inverse quantizes the decoded DC coefficient block and inverse quantizes the plurality of decoded subblocks.
  • the DC coefficient inverse converter 1530 inverts each DC coefficient of the inverse quantized DC coefficient block.
  • the coefficient corrector 1540 corrects the inversely transformed DC coefficient in the prediction direction according to the subblock intra prediction mode.
  • the coefficient combiner 1550 combines each corrected DC coefficient into a plurality of inverse quantized subblocks.
  • Inverse converter 1560 inversely converts a plurality of subblocks in which DC coefficients are combined.
  • the predictor 1570 generates a plurality of prediction subblocks by predicting a plurality of subblocks in which a current macroblock is divided in a subblock intra prediction mode.
  • the adder 1580 reconstructs the current macroblock by adding the plurality of prediction subblocks and the plurality of inverse transformed subblocks.
  • the current macroblock reconstructed as described above may be accumulated as a picture and output as a reconstructed image or may be deblocked and filtered by the deblocking filter 1590 to remove block distortion, and then may be accumulated as a picture and output as a reconstructed image.
  • the predictor 1570 Stored in the buffer 1592, the predictor 1570 may be utilized to perform prediction.
  • 16 is a flowchart illustrating an image decoding method according to another embodiment of the present invention.
  • the image decoding apparatus 1500 extracts and decodes an encoded DC coefficient block and a plurality of encoded subblocks from the bitstream (S1610), inversely quantizes the decoded DC coefficient block (S1620), and inversely quantizes the DC coefficient block. Inversely transforming (S1630), each DC coefficient of the inversely transformed DC coefficient block is corrected in the prediction direction according to the subblock intra prediction mode (S1640).
  • the image decoding apparatus 1500 inverse quantizes the plurality of decoded subblocks (S1650), inversely transforms the plurality of inverse quantized subblocks combined with each of the corrected DC coefficients (S1660), and the current macroblock is The plurality of divided subblocks are predicted in the subblock intra prediction mode to generate a plurality of prediction subblocks (S1670), and the current macroblock is restored by adding the plurality of prediction subblocks and the inverse transformed subblocks ( S1680).
  • the present invention outputs a bitstream by intra-prediction-coding a current block in a plurality of intra prediction modes that minimize rate-distortion cost for each transform coefficient, thereby predicting an optimal prediction direction for each pixel or coefficient in the block. Therefore, the bit amount can be reduced while maintaining the best image quality compared to the bit, thereby improving the compression efficiency.
  • the present invention is applied to an image processing field that encodes and decodes a moving picture, and thus can predict or encode or decode in an optimal intra prediction mode for each pixel or coefficient in a current block, thereby maintaining the best image quality compared to a bit.
  • it is possible to reduce the amount of bits, which is a very useful invention for generating the effect of improving the compression efficiency.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 부호화/복호화 장치 및 방법에 관한 것이다. 본 발명은 현재 블록을 변환 계수별로 율-왜곡 비용을 최소화하는 복수 개의 인트라 예측 모드로 인트라 예측 부호화하여 비트스트림을 출력하는 것을 특징으로 하는 영상 부호화 장치를 제공한다. 본 발명에 의하면, 현재 블록을 화소 또는 계수별로 최적의 인트라 예측 모드로 예측하여 부호화하거나 복호화할 수 있으므로, 비트 대비 최선의 화질을 유지하면서도 비트량을 줄일 수 있어, 압축 효율을 향상시킬 수 있다.

Description

영상 부호화/복호화 장치 및 방법
본 발명은 영상 부호화/복호화 장치 및 방법에 관한 것이다. 더욱 상세하게는, 정지 영상 또는 동영상을 블록 단위로 부호화하고 복호화하는 데 있어서, 현재 부호화하거나 복호화하고자 하는 블록을 최적의 인트라 예측 모드를 이용하여 부호화하고 복호화하여 압축 효율을 향상시키기 위한 장치 및 방법에 관한 것이다.
디지털 화상을 효율적으로 압축하기 위한 표준 기술로서는, 정지 영상을 압축하는 경우, JPEG, JPEG-2000 등이 있으며, 동영상을 압축하는 경우, H.261, H.263, MPEG-2, MPEG-4 등이 있다. 또한, MPEG-2, MPEG-4 등의 기술을 계승하면서 더욱 향상된 압축 효율을 제공하는 MPEG-4 AVC(Advanced Video Coding)가 ISO(국제 표준화 기구)에 의해서 표준 규격화 되었다.
이러한 표준 기술에서는 동영상의 공간적 중복성과 시간적 중복성을 제거하여 동영상을 압축하기 위해, 인트라 예측 부호화와 인터 예측 부호화를 수행한다. 이러한 인트라 예측 부호화와 인터 예측 부호화를 수행하기 위해, 압축하고자 하는 동영상은 부호화를 위해 임의의 크기의 블록으로 분할되는데, 이와 같은 블록으로서, 예를 들어 MPEG-4 AVC에서는, 인트라 매크로블록과 인터 매크로블록이 사용된다.
통상적으로, 인트라 예측 부호화는 현재 부호화될 매크로블록(이하 '현재 매크로블록'이라 칭함)을 현재 매크로블록의 주위에 있으며 이미 부호화되고 복호화된 매크로블록(이하 '주변 매크로블록'이라 칭함)을 이용하여 인트라 예측을 수행함으로써 예측 블록(이하 '인트라 예측 블록'이라 칭함)을 생성하고, 현재 매크로블록과 인트라 예측 블록의 차이인 잔차 블록을 부호화한다. 여기서, 주변 매크로블록을 이용하여 현재 매크로블록을 인트라 예측할 때에는, 현재 매크로블록의 블록 모드에 따라 다양한 인트라 예측 모드가 이용될 수 있다.
예를 들어, 현재 매크로블록의 블록 모드가 인트라 16x16 모드인 경우에는, 도 1에 도시한 바와 같은 4 가지의 인트라 예측 모드 중 하나의 인트라 예측 모드를 이용하여 현재 매크로블록을 예측할 수 있으며, 현재 매크로블록의 블록 모드가 인트라 4x4 모드인 경우에는, 도 2에 도시한 바와 같은 9 가지의 인트라 예측 모드 중 하나의 인트라 예측 모드를 이용하여 현재 매크로블록을 예측할 수 있다.
즉, 통상적인 인트라 예측 부호화에서는 현재 부호화할 매크로블록을 예측할 때에는 그 블록 모드에 따라 비트 대비 화질이 최선인 최적의 인트라 예측 모드를 결정하고, 해당 매크로블록에는 결정된 하나의 인트라 예측 모드에 따라 예측하여 부호화한다.
하지만, 이러한 통상적인 인트라 예측 부호화는 블록 단위로 비트 대비 화질이 최선인 예측 방향을 가지는 하나의 인트라 예측 모드로 예측을 수행하기 때문에, 현재 매크로블록을 예측하는 데 이용되는 인트라 예측 모드는 각 블록의 화소 또는 계수들에 대해 평균적으로 최선인 예측 방향을 가지는 인트라 예측 모드일 수는 있지만, 블록 내의 화소 또는 계수 각각에 대해서는 최적의 예측 방향이 아닐 수도 있다. 이와 같이, 통상적인 인트라 예측 부호화를 이용하면, 최적의 예측 방향으로 예측되지 않은 화소 또는 계수에 의해 최종적으로 부호화되어 출력되는 비트스트림의 비트량이 증가되므로, 압축 효율이 저하되는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 영상을 부호화하고 복호화하는 데 있어서, 현재 블록을 화소 또는 계수별로 복수 개의 인트라 예측 모드로 예측하고 부호화하고 복호화하여 압축 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 영상을 부호화하는 장치에 있어서, 현재 블록을 복수 개의 인트라 예측 모드로 예측하여 복수 개의 예측 블록을 생성하는 예측기; 현재 블록과 복수 개의 예측 블록을 감산하여 복수 개의 잔차 블록을 생성하는 감산기; 복수 개의 잔차 블록을 변환하여 복수 개의 변환 블록을 생성하는 변환기; 복수 개의 변환 블록의 변환 계수들을 선택적으로 이용하여 결합 블록을 생성하는 계수 선택기; 결합 블록을 양자화하는 양자화기; 및 양자화된 결합 블록을 부호화하여 비트스트림을 출력하는 부호화기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 현재 블록을 복수 개의 인트라 예측 모드로 예측하여 복수 개의 예측 블록을 생성하는 예측 블록 생성 단계; 현재 블록과 복수 개의 예측 블록을 감산하여 복수 개의 잔차 블록을 생성하는 감산 단계; 복수 개의 잔차 블록을 변환하여 복수 개의 변환 블록을 생성하는 변환 단계; 복수 개의 변환 블록의 변환 계수들을 선택적으로 이용하여 결합 블록을 생성하는 계수 선택 단계; 결합 블록을 양자화하는 양자화 단계; 및 양자화된 결합 블록을 부호화하여 비트스트림을 출력하는 부호화 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 부호화된 결합 블록을 추출하여 복호화하는 복호화기; 복호화된 결합 블록을 역 양자화하는 역 양자화기; 역 양자화된 결합 블록의 역 양자화된 변환 계수를 복수 개의 구역으로 구분하고, 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하며, 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정하는 계수 보정기; 보정된 결합 블록을 역 변환하는 역 변환기; 대표 예측 방향으로 현재 블록을 예측하여 예측 블록을 생성하는 예측기; 및 예측 블록과 역 변환된 결합 블록을 가산하여 현재 블록을 복원하는 가산기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 부호화된 결합 블록을 추출하여 복호화하는 복호화 단계; 복호화된 결합 블록을 역 양자화하는 역 양자화 단계; 역 양자화된 결합 블록의 역 양자화된 변환 계수를 복수 개의 구역으로 구분하는 구역 구분 단계; 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하는 대표 예측 방향 설정 단계; 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정하는 계수 보정 단계; 보정된 결합 블록을 역 변환하는 역 변환 단계; 대표 예측 방향으로 현재 블록을 예측하여 예측 블록을 생성하는 예측 단계; 및 예측 블록과 역 변환된 결합 블록을 가산하여 현재 블록을 복원하는 가산 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 현재 블록을 블록 인트라 예측 모드로 예측하여 예측 블록을 생성하며, 현재 블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 예측기; 현재 블록과 예측 블록을 감산하여 잔차 블록을 생성하며, 복수 개의 서브블록과 복수 개의 예측 서브블록을 감산하여 복수 개의 잔차 서브블록을 생성하는 감산기; 잔차 블록 및 복수 개의 잔차 서브블록을 변환하여 변환 블록 및 복수 개의 변환 서브블록을 생성하는 변환기; 변환 블록에서 서브블록별 DC 계수를 분리하고, 복수 개의 변환 서브블록에서 서브블록별 DC 계수를 분리하는 계수 분리기; 변환 블록에서 분리된 DC 계수가 결합된 DC 계수 블록을 재변환하는 DC 계수 변환기; 재변환된 DC 계수 블록을 양자화하고 서브블록별 DC 계수가 분리된 복수 개의 변환 서브블록을 양자화하는 양자화기; 및 양자화된 DC 계수 블록 및 양자화된 복수 개의 변환 서브블록을 부호화하여 비트스트림을 출력하는 부호화기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 현재 블록을 블록 인트라 예측 모드로 예측하여 예측 블록을 생성하는 블록 예측 단계; 현재 블록과 예측 블록을 감산하여 잔차 블록을 생성하는 블록 감산 단계; 잔차 블록을 변환하여 변환 블록을 생성하는 블록 변환 단계; 변환 블록에서 서브블록별 DC 계수를 분리하는 DC 계수 분리 단계; 분리된 서브블록별 DC 계수가 결합된 DC 계수 블록을 재변환하는 DC 계수 변환 단계; 재변환된 DC 계수 블록을 양자화하는 DC 계수 블록 양자화 단계; 현재 블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 서브를록 예측 단계; 복수 개의 서브블록과 복수 개의 예측 서브블록을 감산하여 복수 개의 잔차 서브블록을 생성하는 서브블록 감산 단계; 복수 개의 잔차 서브블록을 변환하여 복수 개의 변환 서브블록을 생성하는 서브블록 변환 단계; 복수 개의 변환 서브블록에서 서브블록별 DC 계수를 나머지 변환 계수와 분리하는 나머지 계수 분리 단계; 서브블록별 DC 계수가 분리된 복수 개의 변환 서브블록을 양자화하는 서브블록 양자화 단계; 및 양자화된 DC 계수 블록 및 양자화된 복수 개의 변환 서브블록을 부호화하여 비트스트림을 출력하는 부호화 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 부호화된 DC 계수 블록 및 부호화된 복수 개의 서브블록을 추출하여 복호화하는 복호화기; 복호화된 DC 계수 블록을 역 양자화며, 복호화된 복수 개의 서브블록을 역 양자화하는 역 양자화기; 역 양자화된 DC 계수 블록의 각 DC 계수를 역 변환하는 DC 계수 역 변환기; 역 변환된 DC 계수를 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정하는 계수 보정기; 보정된 각 DC 계수를 역 양자화된 복수 개의 서브블록에 결합하는 계수 결합기; DC 계수가 결합된 복수 개의 서브블록을 역 변환하는 역 변환기; 현재 블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 예측기; 및 복수 개의 예측 서브블록과 역 변환된 복수 개의 서브블록을 가산하여 현재 블록을 복원하는 가산기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 부호화된 DC 계수 블록 및 부호화된 복수 개의 서브블록을 추출하여 복호화하는 복호화 단계; 복호화된 DC 계수 블록을 역 양자화하는 DC 계수 블록 역 양자화 단계; 역 양자화된 DC 계수 블록을 역 변환하는 DC 계수 블록 역 변환 단계; 역 변환된 DC 계수 블록의 각 DC 계수를 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정하는 계수 보정 단계; 복호화된 복수 개의 서브블록을 역 양자화하는 서브블록 역 양자화 단계; 보정된 각 DC 계수가 결합된 역 양자화된 복수 개의 서브블록을 역 변환하는 역 변환 단계; 현재 블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 예측 단계; 및 복수 개의 예측 서브블록과 역 변환된 복수 개의 서브블록을 가산하여 현재 블록을 복원하는 가산 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 현재 블록을 화소 또는 계수별로 최적의 인트라 예측 모드로 예측하여 부호화하거나 복호화할 수 있으므로, 비트 대비 최선의 화질을 유지하면서도 비트량을 줄일 수 있어, 압축 효율을 향상시킬 수 있다.
도 1은 H.264/AVC 표준에 따른 인트라 16x16 예측 모드를 나타낸 예시도,
도 2는 H.264/AVC 표준에 따른 인트라 4x4 예측 모드를 나타낸 예시도,
도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 4는 본 발명의 일 실시예에 따라 복수 개의 인트라 예측 모드로 현재 블록을 예측하여 결합 블록을 생성하는 과정을 나타낸 예시도,
도 5는 본 발명의 일 실시예에 따라 구역별로 선택되어 결합된 변환 계수를 가지는 결합 블록을 나타낸 예시도,
도 6은 본 발명의 일 실시예에 따라 역 양자화된 결합 블록을 보정하는 과정을 나타낸 예시도,
도 7은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 8은 본 발명의 다른 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 9는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도,
도 10은 본 발명의 다른 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 11은 본 발명의 다른 실시예에 따라 DC 계수를 추출하여 변환하는 과정을 나타낸 예시도,
도 12 및 도 13은 본 발명의 다른 실시예에 따라 각 서브블록을 부호화하고 복호화하여 복원하는 순서를 나타낸 예시도,
도 14는 본 발명의 다른 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 15는 본 발명의 다른 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 16은 본 발명의 다른 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(Video Encoding Apparatus, 300)는 예측기(Predictor, 310), 감산기(Subtracter, 320), 변환기(Transformer, 330), 계수 선택기(Coefficient Selector, 340), 양자화기(Quantizer, 350), 부호화기(Encoder, 360), 역 양자화기(Inverse Quantizer, 370), 계수 보정기(Coefficient Corrector, 380), 역 변환기(Inverse Transformer, 390), 가산기(Adder, 392), 디블로킹 필터(Deblocking Filter, 394) 및 픽처 버퍼(Picture Buffer, 396)를 포함하여 구성될 수 있다. 이러한 영상 부호화 장치(300)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
예측기(310)는 현재 블록(Current Block)을 복수 개의 인트라 예측 모드(Intra Prediction Mode)로 예측하여 복수 개의 예측 블록(Predicted Block)을 생성한다. 즉, 예측기(310)는 입력 영상(Input Picture)에서 현재 부호화하고자 하는 블록 즉, 현재 블록이 입력되면, 현재 블록의 화소(Pixels)의 원 화소값(Original Pixel Values)을 복수 개의 인트라 예측 모드의 예측 방향(Prediction Direction)에 따라 예측하여 예측 화소값(Predicted Pixel Values)을 가지는 복수 개의 예측 블록을 생성하여 출력한다.
여기서, 복수 개의 인트라 예측 모드는 현재 블록의 블록 모드에 따른 복수 개의 인트라 예측 모드이거나 사용자에 의해 미리 설정되는 복수 개의 인트라 예측 모드일 수 있다. 예를 들어, H.264/AVC 표준에 따라 동영상을 압축하고 현재 블록의 블록 모드(Block Mode)가 인트라 16x16 모드라고 가정하면, 복수 개의 인트라 예측 모드는 H.264/AVC 표준에서 정의하는 인트라 16x16 모드의 예측 모드인 4 개의 인트라 예측 모드가 될 수 있다. 또한, 동일한 경우, 사용자가 4 개의 인트라 예측 모드 중 수평 모드(Horizontal Mode)와 수직 모드(Vertical Mode)를 미리 설정한 경우, 복수 개의 인트라 예측 모드는 인트라 16x16 모드 중 수평 모드와 수직 모드가 될 수 있다.
감산기(320)는 현재 블록과 복수 개의 예측 블록을 감산하여 복수 개의 잔차 블록(Residual Block)을 생성한다. 즉, 감산기(320)는 입력되는 입력 영상의 현재 블록과 예측기(310)에 의해 예측되어 생성되는 복수 개의 예측 블록을 각각 감산하여 복수 개의 잔차 블록을 생성하여 출력한다. 여기서, 출력되는 복수 개의 잔차 블록은 각각 잔차 신호(Residual Signal)를 포함하는데, 잔차 신호는 현재 블록의 원 화소값에서 예측 블록의 예측 화소값을 뺀 값을 가진다.
변환기(330)는 복수 개의 잔차 블록을 변환하여 복수 개의 변환 블록(Transformed Block)을 생성한다. 즉, 변환기(330)는 감산기(320)로부터 출력되는 복수 개의 잔차 블록 각각의 잔차 신호를 주파수 영역(Frequency Domain)으로 변환하여 변환 계수를 가지는 복수 개의 변환 블록을 생성하여 출력한다. 여기서, 잔차 신호를 주파수 영역으로 변환 방법으로서는 이산 코사인 변환(DCT: Discrete Cosine Transform) 기반 변환 또는 하다마드 변환(Hadamard Transform) 등이 이용될 수도 있지만, 반드시 이에 한정되지 않고 DCT 변환을 개량 및 변형한 다양한 변환 기법을 이용될 수 있으며, 이를 이용하여 잔차 신호가 주파수 영역으로 변환되어 변환 계수(Transform Coefficient)로 변환된다.
계수 선택기(340)는 복수 개의 변환 블록의 변환 계수들을 선택적으로 이용하여 결합 블록을 생성한다. 즉, 계수 선택기(340)는 변환기(340)로부터 출력되는 복수 개의 변환 블록의 변환 계수를 선택적으로 결합하여 현재 블록과 동일한 크기의 결합 블록을 생성하여 출력한다.
여기서, 계수 선택기(340)는 결합 블록을 생성하는 데 있어서, 복수 개의 변환 블록의 변환 계수 중에서 결합 블록의 율-왜곡 비용을 최소화하는 변환 계수를 선택하고 선택되는 변환 계수를 결합하여 결합 블록을 생성할 수 있다. 즉, 계수 선택기(340)는 결합 블록을 구성할 변환 계수를 복수 개의 변환 블록에서 선택할 때, 결합 블록의 율-왜곡 비용을 최소화하는 변환 계수만을 선택함으로써, 최종적으로 부호화되어 출력되는 비트스트림이 비트량과 대비할 때의 영상의 화질이 최적이 되도록 할 수 있다.
또한, 계수 선택기(340)는 복수 개의 변환 블록의 변환 계수 중에서 사용자에 의해 기 설정된 인트라 예측 모드로 예측되어 감산되고 변환된 변환 블록의 변환 계수를 선택하고 선택되는 변환 계수를 결합하여 결합 블록을 생성할 수 있다. 즉, 계수 선택기(340)는 전술한 바와 같이, 결합 블록의 율-왜곡 비용을 최소화하는 변환 계수만을 선택하는 것이 아니라, 사용자에 의해 기 설정된 인트라 예측 모드로 예측되어 감산되고 변환된 변환 블록의 일부 변환 계수를 선택하고 결합하여 결합 블록을 생성할 수 있다.
또한, 계수 선택기(340)는 기 설정된 결합 블록의 복수 개의 구역별로 서로 다른 인트라 예측 모드로 예측되어 감산되고 변환된 변환 블록의 변환 계수를 선택하고 선택되는 변환 계수를 결합하여 결합 블록을 생성할 수 있다. 즉, 계수 선택기(340)는 결합 블록을 구성하는 변환 계수들을 선택하는 데 있어서, 결합 블록을 복수 개의 구역으로 분할하여 각 분할된 구역별로 다른 인트라 예측 모드로 예측되어 생성된 변환 계수를 선택할 수 있다.
복수 개의 인트라 예측 모드로 현재 블록을 예측하여 결합 블록을 생성하는 과정을 예시적으로 나타낸 도 4를 참조하면, 예를 들어, 현재 블록의 원 화소값을 두 개의 인트라 예측 모드에 따른 두 개의 예측 방향(예측 방향 ① 및 예측 방향 ②)으로 예측한다고 가정한 경우, 제 1 예측 블록과 제 2 예측 블록이 각각 예측되어 생성되며, 각 예측 블록을 현재 블록과 감산하여 제 1 잔차 블록과 제 2 잔차 블록이 생성되며, 각 잔차 블록을 주파수 변환하여 제 1 변환 블록과 제 2 변환 블록이 생성된다.
위의 예에서, 예측 방향 ①로 예측하여 생성되는 잔차 신호 Ra00~Ra33를 변환한 계수들 Ca00~Ca33과 예측 방향 ②로 예측하여 생성되는 잔차신호 Rb00~Rb33를 변환한 계수들 Cb00~Cb33중에 최선의 계수들(예를 들어, 비트량 대비 화질이 최적인 변환 계수들)만은 선택하고 결합하여 결합 블록을 생성한다. 도 4에서는 Ca00~Ca11과 Cb12~Cb33이 각 예측 방향에서 최전의 계수들로 선택되고 결합되어 결합 블록이 구성되었다.
이때, 최선의 변환 계수들을 선택하는 예측 방향의 수는 사용자에 의해 임의로 설정될 수 있으며, 설정된 예측 방향에 따라 선택되는 변환 계수의 개수도 사용자에 의해 임의로 설정될 수 있다. 예를 들어, Ca00~Ca03은 예측 방향 ①로 예측되어 생성되는 변환 계수를 선택하고, Ca10~Ca13은 예측 방향 ②로 예측되어 생성되는 변환 계수를 선택하고, Ca20~Ca33은 또 다른 예측 방향 ③으로 예측하여 보낼 수도 있다.
구역별로 선택되어 결합된 변환 계수를 가지는 결합 블록을 나타낸 도 5를 참조하면, (1)과 같이 C00~13은 예측 방향 A로 예측하여 변환하였을 때의 변환 계수들을 선택하고, C20~33은 예측 방향 B로 예측하여 변환하였을 때의 변환 계수들을 선택하여 결합할 수 있다. 또한, (2), (3), (4)와 같이, 결합 블록은 임의의 크기 및 임의의 개수를 가지는 복수 개의 구역으로 분할될 수 있다.
양자화기(350)는 결합 블록을 양자화한다. 즉, 양자화기(350)는 계수 선택기(340)로부터 출력되는 결합 블록의 변환 계수들을 양자화하여 양자화된 변환 계수를 결합 블록을 생성하여 출력한다. 여기서, 양자화 방법으로서는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등이 이용될 수 있지만 이를 개량한 양자화 등 다양한 양자화 방법이 이용될 수 있다.
부호화기(360)는 양자화된 결합 블록을 부호화하여 비트스트림을 출력한다. 즉, 부호화기(360)는 양자화기(350)로부터 출력되는 양자화된 결합 블록의 양자화된 변환 계수를 지그재그 스캔 등 다양한 스캔 방식으로 스캔한 주파수 계수열을 엔트로피 부호화(Entropy Encoding) 등 다양한 부호화 기법을 이용하여 부호화함으로써 비트스트림을 생성하고 출력한다.
또한, 부호화기(360)는 복수 개의 구역에 대한 정보 및 복수 개의 구역의 예측 방향에 대한 정보 중 하나 이상을 추가로 부호화할 수 있다. 복수 개의 구역에 대한 정보란, 결합 블록이 복수 개의 구역으로 분할되고 각 구역에 대해 다른 인트라 예측 모드에 따른 예측 방향으로 예측되어 생성된 변환 계수를 선택하여 구성된 경우, 복수 개의 구역이 어떠한 크기와 형태로 분할되었는지를 식별하기 위한 정보를 나타내며, 복수 개의 구역의 예측 방향에 대한 정보란, 분할된 각 구역에 대해 어떠한 인트라 예측 모드에 따른 예측 방향으로 예측되어 생성된 변환 계수가 선택되었는지를 식별하기 위한 정보를 나타낸다.
역 양자화기(370)는 양자화된 결합 블록을 역 양자화한다. 즉, 역 양자화기(370)는 양자화기(350)로부터 출력되는 양자화된 결합 블록의 양자화 변환 계수들을 역 양자화하여 출력한다.
계수 보정기(380)는 역 양자화된 결합 블록의 역 양자화된 변환 계수를 복수 개의 구역으로 구분하고, 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하며, 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정한다. 즉, 계수 보정기(380)는 역 양자화된 결합 블록이 역 변환될 수 있도록, 복수 개의 인트라 예측 모드로 예측되어 생성된 변환 계수를 하나의 인트라 예측 모드에 대한 변환 계수로 보정한다. 여기서, 대표 예측 방향이란 복수 개의 구역 중 임의의 하나의 구역의 예측 방향을 말하는 것이며, 복수 개의 구역의 예측 방향을 대표하는 예측 방향을 의미하는 것은 아니다. 따라서, 대표 예측 방향은 복수 개의 구역의 예측 방향 중에서 사용자가 미리 설정한 예측 방향 또는 임의로 선택되는 예측 방향이 될 수 있다.
역 양자화된 결합 블록을 보정하는 과정을 예시적으로 나타낸 도 6을 참조하면, 예를 들어, Ca00은 예측 방향 ①로 예측되었고 Cb01~33은 예측 방향 ②로 예측되었다고 가정하면, 예측 방향 ①로 예측되어 생성된 변환 계수 Ca00을 도 6에 나타낸 바와 수학식 1과 같이, 대표 예측 방향으로 결정된 예측 방향 ②로 예측하여 변환한 변환 계수로 보정할 수 있다.
수학식 1
Figure PCTKR2010000715-appb-M000001
위식에서 Cbij'는 보정된 변환 계수, Caij는 예측 방향 ①로 예측하여 감산되고 변환된 변환 계수, Tij(x)는 x의 값을 변환한 변환 계수 중 (i, j) 위치의 변환 계수만 추출한 변환 계수, Pa00~33은 예측 방향 ①로 현재 블록의 원 화소값을 예측한 예측 화소값, Pb00~33은 예측 방향 ②로 현재 블록의 원 화소값을 예측한 예측 화소값을 나타낸다. 수학식 1에서는 Tij(x)를 4x4 DCT 변환으로 예시적으로 나타내었지만, 4x4가 아닌 다른 크기의 변환이나 DCT 변환이 아닌 다른 변환도 이용될 수 있다.
수학식 1은 수학식 2 내지 수학식 5를 통해 도출될 수 있다. Pix00~33은 현재 블록의 원 화소값을 나타내며, Pa00~33은 예측 방향 ①로 예측한 예측 화소값을 나타내며, Pb00~33은 예측 방향 ②로 예측한 예측 화소값을 나타내며, Ra00~33은 예측 방향 ①로 예측한 예측 화소값과 원 화소값 간의 잔차 신호를 나타내며, Rb00~33은 예측 방향 ②로 예측한 예측 화소값과 원 화소값 간의 잔차 신호라를 나타낸다고 가정하면, Ra00~33와 Rb00~33는 수학식 2 및 수학식 3과 같이 나타낼 수 있다.
수학식 2
Figure PCTKR2010000715-appb-M000002
수학식 3
Figure PCTKR2010000715-appb-M000003
수학식 3에서 수학식 2를 빼면, 수학식 4와 같이 나타낼 수 있다.
수학식 4
Figure PCTKR2010000715-appb-M000004
수학식 4의 양변에 대해 T(x)를 취해 주파수 변환을 수행하면, 수학식 5와 같이 나타낼 수 있다.
수학식 5
Figure PCTKR2010000715-appb-M000005
따라서, 수학식 1과 같은 계산을 통해, 예측 방향 ①로 예측하여 생성된 변환 계수를 예측 방향 ②로 예측하여 생성된 변환 계수로 보정할 수 있다.
역 변환기(390)는 보정된 결합 블록을 역 변환한다. 즉, 역 변환기(390)는 계수 보정기(380)에 의해 대표 예측 방향에 따라 보정된 변환 계수를 포함하는 결합 블록의 변환 계수를 역 변환한다.
가산기(392)는 복수 개의 예측 블록 중 대표 예측 방향으로 예측된 예측 블록과 역 변환된 결합 블록을 가산한다. 즉, 가산기(392)는 예측기(310)에서 복수 개의 인트라 예측 모드에 따른 예측 방향으로 예측된 복수 개의 예측 블록 중에서 대표 예측 방향으로 예측된 예측 블록을 역 변환기(390)에 의해 역 변환된 결합 블록의 복원된 잔차 신호와 가산하여 복원된 현재 블록을 생성하여 출력한다.
디블로킹 필터(394)는 가산기(392)로부터 출력되는 복원된 현재 블록을 디블로킹 필터링하여 블록 왜곡 등을 제거하여 출력한다. 픽처 버퍼(396)는 디블로킹 필터(394)에 의해 블록 왜곡 등이 제거된 현재 블록을 저장하여 예측기(310)에서 현재 블록을 예측할 때 참조할 참조 픽처 또는 참조 블록으로 이용할 수 있도록 한다.
한편, 도 3에서는 본 발명의 일 실시예에 따른 영상 부호화 장치(300)가 역 양자화기(370), 계수 보정기(380), 역 변환기(390), 가산기(392), 디블로킹 필터(394) 및 픽처 버퍼(396)까지 모두 포함하는 것으로 도시하고 설명했지만, 역 양자화기(370), 계수 보정기(380), 역 변환기(390), 가산기(392), 디블로킹 필터(394) 및 픽처 버퍼(396)는 반드시 포함되지 않고 구현에 따라 선택적으로 포함될 수 있다. 또한, 이 경우, 디블로킹 필터(394) 및 픽처 버퍼(396)는 필요에 따라 선택적으로 포함될 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
영상 부호화 장치(300)는 영상에서 부호화하고자 하는 현재 블록이 결정되면, 현재 블록을 복수 개의 인트라 예측 모드로 예측하여 복수 개의 예측 블록을 생성하고(S710), 현재 블록과 복수 개의 예측 블록을 감산하여 복수 개의 잔차 블록을 생성하며(S720), 복수 개의 잔차 블록을 변환하여 복수 개의 변환 블록을 생성한다(S730).
또한, 영상 부호화 장치(300)는 복수 개의 변환 블록의 변환 계수를 선택적으로 결합하여 결합 블록을 생성하고(S740), 결합 블록을 양자화하며(S750), 양자화된 결합 블록을 부호화하여 비트스트림을 출력한다(S760).
도 7과 그에 대한 설명에서 나타낸 각 단계의 순서는 예시적인 것일 뿐, 각 단계의 일부 또는 전부의 순서가 선택적으로 변경되어 수행되거나 경우에 따라서는 병행적으로 수행될 수도 있다.
이상에서 설명한 바와 같이, 영상 부호화 장치(300)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(Video Decoding Apparatus, 800)는 복호화기(Decoder, 810), 역 양자화기(820), 계수 보정기(830), 역 변환기(840), 예측기(850), 가산기(860), 디블로킹 필터(870) 및 픽처 버퍼(880)를 포함하여 구성될 수 있다. 이러한 영상 복호화 장치(800)는 개인용 컴퓨터, 노트북 컴퓨터, 개인 휴대 단말기, 휴대형 멀티미디어 플레이어, 이동통신 단말기 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
복호화기(810)는 비트스트림으로부터 부호화된 결합 블록을 추출하여 복호화한다. 즉, 복호화기(810)는 입력되는 비트스트림으로부터 부호화된 결합 블록을 추출하여 영상 부호화 장치(300)의 부호화기(360)에서 이용한 엔트로피 부호화와 같은 부호화 기법을 이용하여 복호화한다.
여기서, 비트스트림은 복수 개의 구역에 대한 정보 및 복수 개의 구역의 예측 방향에 대한 정보 중 하나 이상을 추가로 포함할 수 있는데, 복호화기(810)는 비트스트림으로부터 복수 개의 구역에 대한 정보 및 복수 개의 구역의 예측 방향에 대한 정보 중 하나 이상을 추가로 추출하여 필요에 따라 복호화하며, 이러한 정보는 계수 보정기(830)에서 결합 블록의 구역과 각 구역에 대한 인트라 예측 모드를 식별하고 대표 예측 방향을 식별하는 데 이용될 수 있다.
역 양자화기(820)는 복호화된 결합 블록을 역 양자화한다. 즉, 역 양자화기(820)는 복호화기(810)에 의해 복호화된 결합 블록 내의 양자화된 변환 계수를 역 양자화한다. 이때, 역 양자화기(820)는 영상 부호화 장치(300)의 양자화기(350)에서 이용한 양자화 기법을 역으로 수행하여 역 양자화한다.
계수 보정기(830)는 역 양자화된 결합 블록의 역 양자화된 변환 계수를 복수 개의 구역으로 구분하고, 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하며, 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정한다. 계수 보정기(830)가 역 양자화된 결합 블록을 보정하는 것에 대해서는 도 3을 통해 전술한 영상 부호화 장치(300)의 계수 보정기(380)에서 전술한 바와 동일 또는 유사하므로 상세한 설명은 생략한다. 여기서, 대표 예측 방향이란 복수 개의 구역 중 임의의 하나의 구역의 예측 방향을 말하는 것이며, 복수 개의 구역의 예측 방향을 대표하는 예측 방향을 의미하는 것은 아니다. 따라서, 대표 예측 방향은 복수 개의 구역의 예측 방향 중에서 사용자가 미리 설정한 예측 방향 또는 임의로 선택되는 예측 방향이 될 수 있다.
역 변환기(840)는 보정된 결합 블록을 역 변환한다. 즉, 역 변환기(390)는 계수 보정기(830)로부터 출력되는 보정된 결합 블록의 변환 계수를 역 변환하는데, 영상 부호화 장치(300)의 변환기(330)에서 이용한 변환 기법을 역으로 수행하여 역 변환한다.
예측기(850)는 대표 예측 방향으로 현재 블록을 예측하여 예측 블록을 생성한다. 즉, 예측기(850)는 계수 보정기(830)에서 결정한 대표 예측 방향을 가지는 인트라 예측 모드로 현재 블록을 예측하여 예측 블록을 생성한다.
가산기(860)는 예측 블록과 역 변환된 결합 블록을 가산하여 현재 블록을 복원한다. 즉, 가산기(860)는 예측기(850)로부터 출력되는 예측 블록의 예측 화소값과 역 변환기(840)로부터 출력되는 역 변환된 결합 블록의 복원된 잔차 신호를 가산하여 현재 블록의 복원 화소값을 계산함으로써, 현재 블록을 복원한다.
이와 같이, 복원된 현재 블록은 픽처 단위로 누적되어 복원 영상으로 출력될 수 있으나, 디블로킹 필터(870)를 통해 디블로킹 필터링되어 블록 왜곡이 제거된 후 출력될 수 있으며, 디블로킹 필터링된 현재 블록은 픽처 버퍼(880)에 저장되어, 예측기(850)가 현재 블록을 예측하는 데 이용될 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
영상 복호화 장치(800)는 비트스트림으로부터 부호화된 결합 블록을 추출하여 복호화하고(S910), 복호화된 결합 블록을 역 양자화한다(S920).
또한, 영상 복호화 장치(800)는 역 양자화된 결합 블록의 역 양자화된 변환 계수를 복수 개의 구역으로 구분하고(S930), 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하며(S940), 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정한다(S950).
또한, 영상 복호화 장치(800)는 보정된 결합 블록을 역 변환하고(S960), 대표 예측 방향으로 현재 블록을 예측하여 예측 블록을 생성하며(S970), 예측 블록과 역 변환된 결합 블록을 가산하여 현재 블록을 복원한다(S980).
도 9와 그에 대한 설명에서 나타낸 각 단계의 순서는 예시적인 것일 뿐, 각 단계의 일부 또는 전부의 순서가 선택적으로 변경되어 수행되거나 경우에 따라서는 병행적으로 수행될 수도 있다.
이상에서는 동일한 블록 모드(예를 들어, 인트라 4x4 모드)에 따른 복수 개의 인트라 예측 모드를 하나의 현재 블록에 적용하여 예측하고 부호화하는 것에 대해 설명했다. 이하에서는 하나의 현재 블록에 상이한 블록 모드(예를 들어, 인트라 16x16 모드와 인트라 4x4 모드)에 따른 복수 개의 인트라 예측 모드를 적용하여 예측하고 부호화하는 것에 대해 다른 실시예로서 설명한다.
이하에서는 본 발명의 다른 실시예를 설명하는 데 있어서, 현재 블록이 16x16 매크로블록인 것으로 가정한다. 다만, 이러한 가정은 설명의 편의를 위한 것일 뿐, 현재 블록이 반드시 16x16 매크로블록인 경우에만 본 발명의 다른 실시예가 적용될 수 있는 것은 아니며, 다양한 형태의 블록에서도 적용될 수 있다. 따라서, 이하에서 설명될 현재 매크로블록은 현재 블록으로 일반화될 수 있으며, 매크로블록 인트라 예측 모드는 블록 인트라 예측 모드로 일반화될 수 있으며, 예측 매크로블록은 예측 블록으로 일반화될 수 있으며, 잔차 매크로블록은 잔차 블록으로 일반화될 수 있으며, 변환 매크로블록은 변환 블록으로 일반화될 수 있다.
도 10은 본 발명의 다른 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 영상 부호화 장치(1000)는 예측기(1010), 감산기(1020), 변환기(1030), 계수 분리기(Coefficient Seperator, 1040), DC 계수 변환기(DC Coefficient Transformer, 1042), 양자화기(1050), 부호화기(1060), 역 양자화기(1070), 계수 보정기(1080), 계수 결합기(Coefficient Coupler, 1090), 역 변환기(1092), 가산기(1094), 디블로킹 필터(1096) 및 픽처 버퍼(1098)를 포함하여 구성될 수 있다. 이러한 영상 부호화 장치(100)는 개인용 컴퓨터, 노트북 컴퓨터, 개인 휴대 단말기, 휴대형 멀티미디어 플레이어, 플레이스테이션 포터블, 이동통신 단말기 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
예측기(1010)는 현재 매크로블록(Current Macroblock)을 매크로블록 인트라 예측 모드(Macroblock Intra Prediction Mode)로 예측하여 예측 매크로블록(Predicted Macroblock)을 생성하며, 현재 매크로블록이 분할된 복수 개의 서브블록(Subblock)을 서브블록 인트라 예측 모드(Subblock Intra Prediction Mode)로 예측하여 복수 개의 예측 서브블록(Predicted Subblock)을 생성한다. 즉, 예측기(1010)는 입력 영상에서 부호화하고자 하는 현재 매크로블록이 결정되면, 현재 매크로블록의 원 화소값을 매크로블록 인트라 예측 모드의 예측 방향에 따라 예측하여 예측 화소값을 가지는 예측 블록을 생성하여 출력한다.
여기서, 현재 매크로블록의 블록 모드는 인트라 16x16 모드일 수 있으며, 매크로블록 인트라 예측 모드는 H.264/AVC 표준에 따라 인트라 16x16 모드에 대한 4 개의 인트라 예측 모드 중 하나이거나 하나 이상을 포함하는 인트라 예측 모드 그룹일 수 있다. 또한, 현재 매크로블록은 일정한 크기의 여러 개의 서브블록으로 분할될 수 있는데, 현재 매크로블록의 블록 모드가 인트라 16x16 모드인 경우, 4x4 크기를 가지는 16 개의 서브블록으로 분할될 수 있다. 따라서, 예측기(1010)는 현재 매크로블록이 분할된 복수 개의 서브블록을 예측하는데, 각 서브블록을 예측할 때, 서브블록 인트라 예측 모드에 따른 예측 방향에 따라 각 서브블록의 원 화소값을 예측하여 예측 화소값을 가지는 복수 개의 예측 서브블록을 생성한다. 서브블록 인트라 예측 모드 H.264/AVC 표준에 따라 인트라 16x16 모드에 대한 9 개의 인트라 예측 모드 중 하나이거나 하나 이상을 포함하는 인트라 예측 모드 그룹일 수 있다.
또한, 매크로블록 인트라 예측 모드와 서브블록 인트라 예측 모드는 서로 다른 인트라 예측 모드일 수 있으며, 각 서브블록을 예측하는 인트라 예측 모드는 모두 동일한 인트라 예측 모드일 수도 있지만, 다른 인트라 예측 모드가 이용될 수도 있다.
감산기(1020)는 현재 매크로블록과 예측 매크로블록을 감산하여 잔차 매크로블록을 생성하며, 복수 개의 서브블록과 복수 개의 예측 서브블록을 감산하여 복수 개의 잔차 서브블록을 생성한다. 즉, 감산기(1020)는 현재 매크로블록의 원 화소값에서 예측기(1010)에 의해 생성된 예측 매크로블록의 예측 화소값을 감산하여 잔차 신호를 가지는 잔차 매크로블록을 생성하여 출력하고, 현재 매크로블록이 분할된 복수 개의 서브블록의 원 화소값에서 예측기(1010)에 의해 생성된 복수 개의 예측 서브블록의 예측 화소값을 각각 감산하여 잔차 신호를 가지는 복수 개의 잔차 서브블록을 생성하고 출력한다.
변환기(1030)는 잔차 매크로블록 및 복수 개의 잔차 서브블록을 변환하여 변환 매크로블록 및 복수 개의 변환 서브블록을 생성한다. 즉, 변환기(1030)는 감산기(1020)로부터 출력되는 잔차 매크로블록의 잔차 신호를 주파수 변환하여 출력하고, 감산기(1020)로부터 출력되는 복수 개의 잔차 서브블록 각각의 잔차 신호를 주파수 변환하여 출력한다.
계수 분리기(1040)는 변환 매크로블록에서 서브블록별 DC 계수를 분리하고, 복수 개의 변환 서브블록에서 서브블록별 DC 계수를 분리한다. 즉, 계수 분리기(1040)는 변환기(1030)로부터 출력되는 변환 매크로블록을 서브블록 단위로 구분했을 때, 구분된 각 서브블록에서 DC 성분에 해당하는 계수인 DC 계수를 분리하며, 변환기(1030)로부터 출력되는 복수 개의 변환 서브블록에서 DC 성분에 해당하는 계수인 DC 계수를 분리한다.
DC 계수 변환기(1042)는 변환 매크로블록에서 분리된 DC 계수가 결합된 DC 계수 블록을 재변환한다. 즉, DC 계수 변환기(1042)는 계수 분리기(1040)에 의해 분리된 DC 계수들을 서브블록의 크기를 가지는 블록 형태로 결합하여 DC 계수 블록을 생성하고, DC 계수 블록을 주파수 영역으로 재변환한다. 이때, DC 계수 변환기(1042)는 하다마드 변환(Hadamard Transform)을 수행할 수 있지만, 반드시 이에 한정되지 않고 다양한 변환 기법으로 재변환할 수 있다.
DC 계수를 추출하여 변환하는 과정을 예시적으로 나타낸 도 11을 참조하면, 잔차 매크로블록의 각 잔차 신호를 DCT 기반 변환 등을 이용하여 주파수 영역으로 변환한 후, 매크로블록을 복수 개의 서브블록으로 구분했을 때, 각 서브블록에서 DC 성분을 가지는 계수인 DC 계수 DC00~DC33만을 각 서브블록에서 분리하여 분리된 DC 계수를 서브블록의 크기를 가지는 블록으로 결합함으로써 DC 계수 블록을 생성한다. 이와 같이, 생성된 DC 계수 블록의 각 DC 계수는 하다마드 변환과 같은 변환 기법을 이용하여 재변환된다. 또한, 재변환된 DC 계수 블록은 독립적으로 양자화되고, DC 계수가 분리되고 나머지 변환 계수만을 가지는 각 서브블록들도 독립적으로 양자화된다.
양자화기(1050)는 재변환된 DC 계수 블록을 양자화하고 서브블록별 DC 계수가 분리된 복수 개의 변환 서브블록을 양자화한다. 즉, 양자화기(1050)는 DC 계수 변환기(1042)에 의해 재변환된 DC 계수 블록의 재변환된 DC 계수들을 양자화하고, 계수 분리기(1040)에 의해 DC 계수들이 분리되어 남은 나머지 변환 계수를 가지는 복수 개의 변환 서브블록의 변환 계수들을 양자화한다. 이때, 양자화기(1050)는 다양한 양자화 기법을 이용할 수 있다.
부호화기(1060)는 양자화된 DC 계수 블록 및 양자화된 복수 개의 변환 서브블록을 부호화하여 비트스트림을 출력한다. 즉, 부호화기(1060)는 양자화된 DC 계수 블록의 양자화 변환 계수를 부호화하고, 양자화된 복수 개의 변환 서브블록의 양자화된 변환 계수를 부호화함으로써, 비트스트림을 생성하고 출력한다.
역 양자화기(1070)는 양자화된 DC 계수 블록을 역 양자화며, 양자화된 복수 개의 변환 서브블록을 역 양자화한다. 이때, 역 양자화기(1070)는 양자화기(1060)에서 양자화한 기법을 역으로 수행하여 역 양자화할 수 있다.
DC 계수 역 변환기(1072)는 역 양자화된 DC 계수 블록의 DC 계수를 역 변환한다. 이때, DC 계수 역 변환기(1072)는 DC 계수 변환기(1042)에서 수행한 변환 과정을 역으로 수행함으로써, DC 계수를 역 변환한다.
계수 보정기(1080)는 역 변환된 DC 계수 블록의 각 DC 계수를 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정한다. 즉, 계수 보정기(1080)는 역 변환된 DC 계수 블록의 DC 계수를 대응하는 서브블록의 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정하는데, 다른 예측 방향의 변환 계수로 보정하는 방법은 도 6과 수학식 1 내지 수학식 5를 통해 전술한 보정 방법과 동일 또는 유사하므로, 상세한 설명은 생략한다. 다만, 서브블록을 예측하는 데 이용한 서브블록의 인트라 예측 모드가 각 서브블록별로 다른 경우에는 해당 서브블록에서 이용한 예측 방향을 대표 예측 방향으로 설정하여 보정한다.
계수 결합기(1090)는 보정된 DC 계수를 역 양자화된 복수 개의 변환 서브블록에 결합한다. 즉, 계수 결합기(1090)는 계수 보정기(1080)에 의해 각 서브블록의 예측 방향으로 보정된 각 DC 계수를 대응하는 각 변환 서브블록의 DC 성분의 변환 계수 위치에 대입함으로써 각 변환 서브블록에 결합한다.
역 변환기(1092)는 DC 계수가 결합된 복수 개의 변환 서브블록을 역 변환한다. 즉, 역 변환기(1092)는 보정된 DC 계수가 결합된 복수 개의 변환 서브블록의 변환 계수를 각 변환 서브블록별로 역 변환한다.
가산기(1094)는 복수 개의 예측 서브블록과 역 변환된 복수 개의 서브블록을 가산한다. 즉, 가산기(1094)는 예측기(1010)에서 서브블록 인트라 예측 모드(모든 서브블록에 동일하게 적용되거나 각 서브블록별로 다르게 적용된 인트라 예측 모드)에 따른 예측 방향으로 예측된 각 서브블록의 예측 블록과 역 변환기(1092)에 의해 역 변환되어 복원된 각 서브블록별 잔차 신호를 가산하여 현재 매크로블록이 분할된 각 서브블록을 복원한다.
복원된 각 서브블록은 그대로 예측기(1010)에서 예측하는 데 이용될 수 있지만, 디블로킹 필터(1096)를 통해 디블로킹 필터링되어 블록 왜곡이 제거되고, 픽처 버퍼(1098)에 저장되어 이용될 수 있다.
한편, 각 서브블록을 부호화하고 복호화하는 순서는 도 12 또는 도 13에 도시한 바와 같을 수 있다. 즉, ① 번 서브블록을 부호화하고 부호화된 ① 번 서브블록을 복호화하여 복원한 후, 복원된 ① 서브블록을 이용하여 ② 번 서브블록을 부호화하고, 부호화된 ② 번 서브블록을 복호화하여 복원하는 방식으로 각 서브블록을 부호화하고 복호화할 수 있다.
도 14는 본 발명의 다른 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
영상 부호화 장치(1000)는 현재 매크로블록을 매크로블록 인트라 예측 모드로 예측하여 예측 매크로블록을 생성하고(S1410), 현재 매크로블록과 예측 매크로블록을 감산하여 잔차 매크로블록을 생성하며(S1420), 잔차 매크로블록을 변환하여 변환 매크로블록을 생성한다(S1430). 이후, 영상 부호화 장치(1000)는 변환 매크로블록에서 서브블록별 DC 계수를 분리하고(S1440), 분리된 서브블록별 DC 계수가 결합된 DC 계수 블록을 재변환하며(S1450), 재변환된 DC 계수 블록을 양자화한다(S1460).
또한, 영상 부호화 장치(1000)는 현재 매크로블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하고(S1470), 복수 개의 서브블록과 복수 개의 예측 서브블록을 감산하여 복수 개의 잔차 서브블록을 생성하며(S1480), 복수 개의 잔차 서브블록을 변환하여 복수 개의 변환 서브블록을 생성한다(S1490). 이후, 영상 부호화 장치(1000)는 복수 개의 변환 서브블록에서 서브블록별 DC 계수를 나머지 변환 계수와 분리하고(S1492), 서브블록별 DC 계수가 분리된 복수 개의 변환 서브블록을 양자화하며(S1494), 양자화된 DC 계수 블록 및 양자화된 복수 개의 변환 서브블록을 부호화하여 비트스트림을 출력한다(S1496).
도 10과 그에 대한 설명에서 나타낸 각 단계의 순서는 예시적인 것일 뿐, 각 단계의 일부 또는 전부의 순서가 선택적으로 변경되어 수행되거나 경우에 따라서는 병행적으로 수행될 수도 있다.
이상에서 설명한 바와 같이, 영상 부호화 장치(1000)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 15는 본 발명의 다른 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 영상 복호화 장치(1500)는 복호화기(1510), 역 양자화기(1520), DC 계수 역 변환기(1530), 계수 보정기(1540), 계수 결합기(1550), 역 변환기(1560), 예측기(1570), 가산기(1580), 디블로킹 필터(1590) 및 픽처 버퍼(1592)를 포함하여 구성될 수 있다.
복호화기(1510)는 비트스트림으로부터 부호화된 DC 계수 블록 및 부호화된 복수 개의 서브블록을 추출하여 복호화한다. 여기서, 비트스트림은 서브블록 인트라 예측 모드에 대한 정보를 포함할 수 있다.
역 양자화기(1520)는 복호화된 DC 계수 블록을 역 양자화며, 복호화된 복수 개의 서브블록을 역 양자화한다. DC 계수 역 변환기(1530)는 역 양자화된 DC 계수 블록의 각 DC 계수를 역 변환한다. 계수 보정기(1540)는 역 변환된 DC 계수를 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정한다.
계수 결합기(1550)는 보정된 각 DC 계수를 역 양자화된 복수 개의 서브블록에 결합한다. 역 변환기(1560)는 DC 계수가 결합된 복수 개의 서브블록을 역 변환한다.
예측기(1570)는 현재 매크로블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성한다. 가산기(1580)는 복수 개의 예측 서브블록과 역 변환된 복수 개의 서브블록을 가산하여 현재 매크로블록을 복원한다.
이와 같이 복원된 현재 매크로블록은 픽처 단위로 누적되어 복원 영상으로 출력되거나 디블로킹 필터(1590)에 의해 디블로킹 필터링되어 블록 왜곡이 제거된 후 픽처 단위로 누적되어 복원 영상으로 출력될 수 있으며, 픽처 버퍼(1592)에 저장되어 예측기(1570)가 예측을 수행하는 데 활용될 수 있다.
도 16은 본 발명의 다른 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
영상 복호화 장치(1500)는 비트스트림으로부터 부호화된 DC 계수 블록 및 부호화된 복수 개의 서브블록을 추출하여 복호화하고(S1610), 복호화된 DC 계수 블록을 역 양자화하며(S1620), 역 양자화된 DC 계수 블록을 역 변환하여(S1630), 역 변환된 DC 계수 블록의 각 DC 계수를 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정한다(S1640).
또한, 영상 복호화 장치(1500)는 복호화된 복수 개의 서브블록을 역 양자화하고(S1650), 보정된 각 DC 계수가 결합된 역 양자화된 복수 개의 서브블록을 역 변환하며(S1660), 현재 매크로블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하며(S1670), 복수 개의 예측 서브블록과 역 변환된 복수 개의 서브블록을 가산하여 현재 매크로블록을 복원한다(S1680).
도 16과 그에 대한 설명에서 나타낸 각 단계의 순서는 예시적인 것일 뿐, 각 단계의 일부 또는 전부의 순서가 선택적으로 변경되어 수행되거나 경우에 따라서는 병행적으로 수행될 수도 있다.
이상에서 설명한 바와 같이, 본 발명은 현재 블록을 변환 계수별로 율-왜곡 비용을 최소화하는 복수 개의 인트라 예측 모드로 인트라 예측 부호화하여 비트스트림을 출력함으로써, 블록 내의 화소 또는 계수별로 최적의 예측 방향으로 예측할 수 있으므로, 비트 대비 최선의 화질을 유지하면서도 비트량을 줄일 수 있어, 압축 효율을 향상시킬 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 동영상을 부호화하고 복호화하는 영상 처리 분야에 적용되어, 현재 블록 내의 화소 또는 계수별로 최적의 인트라 예측 모드로 예측하여 부호화하거나 복호화할 수 있으므로, 비트 대비 최선의 화질을 유지하면서도 비트량을 줄일 수 있어, 압축 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2009년 2월 12일 한국에 출원한 특허출원번호 제 10-2009-0011558 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (19)

  1. 영상을 부호화하는 장치에 있어서,
    현재 블록을 복수 개의 인트라 예측 모드로 예측하여 복수 개의 예측 블록을 생성하는 예측기;
    상기 현재 블록과 상기 복수 개의 예측 블록을 감산하여 복수 개의 잔차 블록을 생성하는 감산기;
    상기 복수 개의 잔차 블록을 변환하여 복수 개의 변환 블록을 생성하는 변환기;
    상기 복수 개의 변환 블록의 변환 계수들을 선택적으로 이용하여 결합 블록을 생성하는 계수 선택기;
    상기 결합 블록을 양자화하는 양자화기; 및
    상기 양자화된 결합 블록을 부호화하여 비트스트림을 출력하는 부호화기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  2. 제 1 항에 있어서, 상기 계수 선택기는,
    상기 복수 개의 변환 블록의 변환 계수 중에서 상기 결합 블록의 율-왜곡 비용을 최소화하는 변환 계수를 선택하고 상기 선택되는 변환 계수를 결합하여 상기 결합 블록을 생성하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제 1 항에 있어서, 상기 계수 선택기는,
    상기 복수 개의 변환 블록의 변환 계수 중에서 사용자에 의해 기 설정된 인트라 예측 모드로 예측되어 감산되고 변환된 변환 블록의 변환 계수를 선택하고 상기 선택되는 변환 계수를 결합하여 상기 결합 블록을 생성하는 것을 특징으로 하는 영상 부호화 장치.
  4. 제 1 항에 있어서, 상기 복수 개의 인트라 예측 모드는,
    사용자에 의해 기 설정되는 것을 특징으로 하는 영상 부호화 장치.
  5. 제 1 항에 있어서, 상기 계수 선택기는,
    기 설정된 상기 결합 블록의 복수 개의 구역별로 다른 인트라 예측 모드로 예측되어 감산되고 변환된 변환 블록의 변환 계수를 선택하고 상기 선택되는 변환 계수를 결합하여 상기 결합 블록을 생성하는 것을 특징으로 하는 영상 부호화 장치.
  6. 제 1 항에 있어서, 상기 영상 부호화 장치는,
    상기 양자화된 결합 블록을 역 양자화하는 역 양자화기;
    상기 역 양자화된 결합 블록의 역 양자화된 변환 계수를 복수 개의 구역으로 구분하고, 상기 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하며, 상기 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 상기 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정하는 계수 보정기;
    상기 보정된 결합 블록을 역 변환하는 역 변환기; 및
    상기 복수 개의 예측 블록 중 상기 대표 예측 방향에 따라 예측된 예측 블록과 상기 역 변환된 결합 블록을 가산하는 가산기
    를 추가로 포함하는 것을 특징으로 하는 영상 부호화 장치.
  7. 제 6 항에 있어서, 상기 부호화기는,
    상기 복수 개의 구역에 대한 정보 및 상기 복수 개의 구역의 예측 방향에 대한 정보를 추가로 부호화하는 것을 특징으로 하는 영상 부호화 장치.
  8. 영상을 부호화하는 방법에 있어서,
    현재 블록을 복수 개의 인트라 예측 모드로 예측하여 복수 개의 예측 블록을 생성하는 예측 블록 생성 단계;
    상기 현재 블록과 상기 복수 개의 예측 블록을 감산하여 복수 개의 잔차 블록을 생성하는 감산 단계;
    상기 복수 개의 잔차 블록을 변환하여 복수 개의 변환 블록을 생성하는 변환 단계;
    상기 복수 개의 변환 블록의 변환 계수들을 선택적으로 이용하여 결합 블록을 생성하는 계수 선택 단계;
    상기 결합 블록을 양자화하는 양자화 단계; 및
    상기 양자화된 결합 블록을 부호화하여 비트스트림을 출력하는 부호화 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  9. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 부호화된 결합 블록을 추출하여 복호화하는 복호화기;
    상기 복호화된 결합 블록을 역 양자화하는 역 양자화기;
    상기 역 양자화된 결합 블록의 역 양자화된 변환 계수를 복수 개의 구역으로 구분하고, 상기 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하며, 상기 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 상기 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정하는 계수 보정기;
    상기 보정된 결합 블록을 역 변환하는 역 변환기;
    상기 대표 예측 방향으로 현재 블록을 예측하여 예측 블록을 생성하는 예측기; 및
    상기 예측 블록과 상기 역 변환된 결합 블록을 가산하여 상기 현재 블록을 복원하는 가산기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  10. 제 9 항에 있어서, 상기 비트스트림은,
    상기 복수 개의 구역에 대한 정보 및 상기 복수 개의 구역의 예측 방향에 대한 정보 중 하나 이상을 추가로 포함하는 것을 특징으로 하는 영상 복호화 장치.
  11. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 부호화된 결합 블록을 추출하여 복호화하는 복호화 단계;
    상기 복호화된 결합 블록을 역 양자화하는 역 양자화 단계;
    상기 역 양자화된 결합 블록의 역 양자화된 변환 계수를 복수 개의 구역으로 구분하는 구역 구분 단계;
    상기 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하는 대표 예측 방향 설정 단계;
    상기 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 상기 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정하는 계수 보정 단계;
    상기 보정된 결합 블록을 역 변환하는 역 변환 단계;
    상기 대표 예측 방향으로 현재 블록을 예측하여 예측 블록을 생성하는 예측 단계; 및
    상기 예측 블록과 상기 역 변환된 결합 블록을 가산하여 상기 현재 블록을 복원하는 가산 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  12. 영상을 부호화하는 장치에 있어서,
    현재 블록을 블록 인트라 예측 모드로 예측하여 예측 블록을 생성하며, 상기 현재 블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 예측기;
    상기 현재 블록과 상기 예측 블록을 감산하여 잔차 블록을 생성하며, 상기 복수 개의 서브블록과 상기 복수 개의 예측 서브블록을 감산하여 복수 개의 잔차 서브블록을 생성하는 감산기;
    상기 잔차 블록 및 상기 복수 개의 잔차 서브블록을 변환하여 변환 블록 및 복수 개의 변환 서브블록을 생성하는 변환기;
    상기 변환 블록에서 서브블록별 DC 계수를 분리하고, 상기 복수 개의 변환 서브블록에서 서브블록별 DC 계수를 분리하는 계수 분리기;
    상기 변환 블록에서 분리된 DC 계수가 결합된 DC 계수 블록을 재변환하는 DC 계수 변환기;
    상기 재변환된 DC 계수 블록을 양자화하고 상기 서브블록별 DC 계수가 분리된 복수 개의 변환 서브블록을 양자화하는 양자화기; 및
    상기 양자화된 DC 계수 블록 및 상기 양자화된 복수 개의 변환 서브블록을 부호화하여 비트스트림을 출력하는 부호화기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  13. 제 12 항에 있어서,
    상기 블록 인트라 예측 모드는 인트라 16x16 예측 모드에 포함된 복수 개의 인트라 예측 모드 중 하나이고, 상기 서브블록 인트라 예측 모드는 인트라 4x4 예측 모드에 포함된 복수 개의 인트라 예측 모드 중 하나인 것을 특징으로 하는 영상 부호화 장치.
  14. 제 12 항에 있어서,
    상기 블록 인트라 예측 모드와 상기 서브블록 인트라 예측 모드는 서로 다른 인트라 예측 모드인 것을 특징으로 하는 영상 부호화 장치.
  15. 제 12 항에 있어서, 상기 영상 부호화 장치는,
    상기 양자화된 DC 계수 블록을 역 양자화며, 상기 양자화된 복수 개의 변환 서브블록을 역 양자화하는 역 양자화기;
    상기 역 양자화된 DC 계수 블록의 각 DC 계수를 역 변환하는 DC 계수 역 변환기;
    상기 역 변환된 각 DC 계수를 상기 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정하는 계수 보정기;
    상기 보정된 각 DC 계수를 상기 역 양자화된 복수 개의 변환 서브블록에 결합하는 계수 결합기;
    상기 각 DC 계수가 결합된 복수 개의 변환 서브블록을 역 변환하는 역 변환기; 및
    상기 복수 개의 예측 서브블록과 상기 역 변환된 복수 개의 변환 서브블록을 가산하는 가산기
    를 추가로 포함하는 것을 특징으로 하는 영상 부호화 장치.
  16. 영상을 부호화하는 방법에 있어서,
    현재 블록을 블록 인트라 예측 모드로 예측하여 예측 블록을 생성하는 블록 예측 단계;
    상기 현재 블록과 상기 예측 블록을 감산하여 잔차 블록을 생성하는 블록 감산 단계;
    상기 잔차 블록을 변환하여 변환 블록을 생성하는 블록 변환 단계;
    상기 변환 블록에서 서브블록별 DC 계수를 분리하는 DC 계수 분리 단계;
    상기 분리된 서브블록별 DC 계수가 결합된 DC 계수 블록을 재변환하는 DC 계수 변환 단계;
    상기 재변환된 DC 계수 블록을 양자화하는 DC 계수 블록 양자화 단계;
    상기 현재 블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 서브를록 예측 단계;
    상기 복수 개의 서브블록과 상기 복수 개의 예측 서브블록을 감산하여 복수 개의 잔차 서브블록을 생성하는 서브블록 감산 단계;
    상기 복수 개의 잔차 서브블록을 변환하여 복수 개의 변환 서브블록을 생성하는 서브블록 변환 단계;
    상기 복수 개의 변환 서브블록에서 서브블록별 DC 계수를 나머지 변환 계수와 분리하는 나머지 계수 분리 단계;
    상기 서브블록별 DC 계수가 분리된 복수 개의 변환 서브블록을 양자화하는 서브블록 양자화 단계; 및
    상기 양자화된 DC 계수 블록 및 상기 양자화된 복수 개의 변환 서브블록을 부호화하여 비트스트림을 출력하는 부호화 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  17. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 부호화된 DC 계수 블록 및 부호화된 복수 개의 서브블록을 추출하여 복호화하는 복호화기;
    상기 복호화된 DC 계수 블록을 역 양자화며, 상기 복호화된 복수 개의 서브블록을 역 양자화하는 역 양자화기;
    상기 역 양자화된 DC 계수 블록의 각 DC 계수를 역 변환하는 DC 계수 역 변환기;
    상기 역 변환된 DC 계수를 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정하는 계수 보정기;
    상기 보정된 각 DC 계수를 상기 역 양자화된 복수 개의 서브블록에 결합하는 계수 결합기;
    상기 DC 계수가 결합된 복수 개의 서브블록을 역 변환하는 역 변환기;
    현재 블록이 분할된 복수 개의 서브블록을 상기 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 예측기; 및
    상기 복수 개의 예측 서브블록과 상기 역 변환된 복수 개의 서브블록을 가산하여 현재 블록을 복원하는 가산기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  18. 제 17 항에 있어서, 상기 비트스트림은,
    상기 서브블록 인트라 예측 모드에 대한 정보를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  19. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 부호화된 DC 계수 블록 및 부호화된 복수 개의 서브블록을 추출하여 복호화하는 복호화 단계;
    상기 복호화된 DC 계수 블록을 역 양자화하는 DC 계수 블록 역 양자화 단계;
    상기 역 양자화된 DC 계수 블록을 역 변환하는 DC 계수 블록 역 변환 단계;
    상기 역 변환된 DC 계수 블록의 각 DC 계수를 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정하는 계수 보정 단계;
    상기 복호화된 복수 개의 서브블록을 역 양자화하는 서브블록 역 양자화 단계;
    상기 보정된 각 DC 계수가 결합된 상기 역 양자화된 복수 개의 서브블록을 역 변환하는 역 변환 단계;
    현재 블록이 분할된 복수 개의 서브블록을 상기 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 예측 단계; 및
    상기 복수 개의 예측 서브블록과 상기 역 변환된 복수 개의 서브블록을 가산하여 현재 블록을 복원하는 가산 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
PCT/KR2010/000715 2009-02-12 2010-02-05 영상 부호화/복호화 장치 및 방법 WO2010093146A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090011558A KR101418098B1 (ko) 2009-02-12 2009-02-12 영상 부호화/복호화 장치 및 방법
KR10-2009-0011558 2009-02-12

Publications (2)

Publication Number Publication Date
WO2010093146A2 true WO2010093146A2 (ko) 2010-08-19
WO2010093146A3 WO2010093146A3 (ko) 2010-11-04

Family

ID=42562163

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/000715 WO2010093146A2 (ko) 2009-02-12 2010-02-05 영상 부호화/복호화 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101418098B1 (ko)
WO (1) WO2010093146A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202608A (zh) * 2012-01-18 2014-12-10 韩国电子通信研究院 视频解码装置
CN111108749A (zh) * 2018-09-25 2020-05-05 北京大学 编码方法、解码方法、编码设备和解码设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101249346B1 (ko) * 2011-01-31 2013-04-01 국방과학연구소 적응적 양자화 계수 탐색을 이용한 영상 부호화/복호화 방법 및 장치, 상기 방법을 기록한 컴퓨터로 판독 가능한 기록매체
KR101596085B1 (ko) * 2012-12-18 2016-02-19 한양대학교 산학협력단 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR101911587B1 (ko) * 2015-08-03 2018-10-24 한양대학교 산학협력단 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060105352A (ko) * 2005-04-04 2006-10-11 삼성전자주식회사 인트라 예측 방법 및 그 장치
KR20080016413A (ko) * 2006-08-17 2008-02-21 한국전자통신연구원 화소 유사성에 따라 적응적인 이산 코사인 변환 계수스캐닝을 이용한 부호화/복호화 장치 및 그 방법
KR100868476B1 (ko) * 2005-10-21 2008-11-12 한국전자통신연구원 적응적 스캐닝을 이용한 동영상 부호화/복호화 장치 및 그방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100525563B1 (ko) * 1996-09-30 2006-01-12 주식회사 팬택앤큐리텔 영상정보 부호화/복호화 장치 및 그 방법
KR100738075B1 (ko) * 2005-09-09 2007-07-12 삼성전자주식회사 영상 부호화/복호화 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060105352A (ko) * 2005-04-04 2006-10-11 삼성전자주식회사 인트라 예측 방법 및 그 장치
KR100868476B1 (ko) * 2005-10-21 2008-11-12 한국전자통신연구원 적응적 스캐닝을 이용한 동영상 부호화/복호화 장치 및 그방법
KR20080099835A (ko) * 2005-10-21 2008-11-13 한국전자통신연구원 적응적 스캐닝을 이용한 동영상 부호화/복호화 장치 및 그 방법
KR20080016413A (ko) * 2006-08-17 2008-02-21 한국전자통신연구원 화소 유사성에 따라 적응적인 이산 코사인 변환 계수스캐닝을 이용한 부호화/복호화 장치 및 그 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202608A (zh) * 2012-01-18 2014-12-10 韩国电子通信研究院 视频解码装置
US9374595B2 (en) 2012-01-18 2016-06-21 Electronics And Telecommunications Research Institute Method and device for generating a prediction block to encode and decode an image
US9621913B2 (en) 2012-01-18 2017-04-11 Electronics And Telecommunications Research Institute Method and device for generating a prediction block to encode and decode an image
US9621912B2 (en) 2012-01-18 2017-04-11 Electronics And Telecommunications Research Institute Method and device for generating a prediction block to encode and decode an image
US9635380B2 (en) 2012-01-18 2017-04-25 Electronics And Telecommunications Research Institute Method and device for generating a prediction block to encode and decode an image
US9635379B2 (en) 2012-01-18 2017-04-25 Electronics And Telecommunications Research Institute Method and device for generating a prediction block to encode and decode an image
US9807412B2 (en) 2012-01-18 2017-10-31 Electronics And Telecommunications Research Institute Method and device for encoding and decoding image
US10397598B2 (en) 2012-01-18 2019-08-27 Electronics And Telecommunications Research Institue Method and device for encoding and decoding image
US11706438B2 (en) 2012-01-18 2023-07-18 Electronics And Telecommunications Research Institute Method and device for encoding and decoding image
CN111108749A (zh) * 2018-09-25 2020-05-05 北京大学 编码方法、解码方法、编码设备和解码设备

Also Published As

Publication number Publication date
KR20100092268A (ko) 2010-08-20
KR101418098B1 (ko) 2014-07-14
WO2010093146A3 (ko) 2010-11-04

Similar Documents

Publication Publication Date Title
WO2010050706A2 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2009157665A2 (ko) 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011037337A2 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
WO2013002549A2 (ko) 영상 부호화/복호화 방법 및 장치
WO2012046979A2 (ko) 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2010027182A2 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
WO2011145819A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
WO2012077960A2 (ko) 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치
WO2013002550A2 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
WO2010038961A2 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012093854A2 (ko) 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
WO2010120113A2 (ko) 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011004986A2 (ko) 영상 부호화/복호화 방법 및 장치
WO2013109039A1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
WO2011142603A2 (ko) 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
WO2013062197A1 (ko) 영상 복호화 장치
WO2010032941A2 (ko) 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
WO2011126285A2 (ko) 부호화 모드에 대한 정보를 부호화, 복호화하는 방법 및 장치
WO2012026794A2 (ko) 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
WO2013069996A1 (ko) 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
WO2010077071A2 (ko) 블록 모드 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2013062198A1 (ko) 영상 복호화 장치
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10741364

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 14.11.11)

122 Ep: pct application non-entry in european phase

Ref document number: 10741364

Country of ref document: EP

Kind code of ref document: A2