WO2010035993A2 - 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법 - Google Patents

임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
WO2010035993A2
WO2010035993A2 PCT/KR2009/005362 KR2009005362W WO2010035993A2 WO 2010035993 A2 WO2010035993 A2 WO 2010035993A2 KR 2009005362 W KR2009005362 W KR 2009005362W WO 2010035993 A2 WO2010035993 A2 WO 2010035993A2
Authority
WO
WIPO (PCT)
Prior art keywords
axb
block
residual block
residual
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2009/005362
Other languages
English (en)
French (fr)
Other versions
WO2010035993A3 (ko
Inventor
김하윤
문주희
이영렬
김해광
전병우
김기백
박형미
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR20090085571A external-priority patent/KR101483497B1/ko
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Priority to US13/002,276 priority Critical patent/US9113166B2/en
Publication of WO2010035993A2 publication Critical patent/WO2010035993A2/ko
Publication of WO2010035993A3 publication Critical patent/WO2010035993A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to an image encoding / decoding apparatus and method considering an impulse signal. More particularly, the present invention relates to an apparatus and method for improving encoding efficiency by efficiently encoding or decoding a residual signal of an impulse component in encoding or decoding an image.
  • Moving Picture Experts Group (MPEG) and Video Coding Experts Group (VCEG) have developed video compression techniques that are superior to the existing MPEG-4 Part 2 and H.263 standards.
  • the new standard is called H.264 / AVC (Advanced Video Coding) and was jointly released as MPEG-4 Part 10 AVC and ITU-T Recommendation H.264.
  • 'H.264' integer discrete cosine transform (DCT) is called, and motion estimation and compensation of transform block size (Variable Block Size) Motion Estimation and Compensation, Quantization, Entropy Coding.
  • DCT integer discrete cosine transform
  • the encoding method of the image data according to H.264 / AVC can be largely classified into intra prediction encoding and inter prediction encoding according to the prediction method.
  • Intra prediction predicts pixels of a current block to be encoded in one reference picture by using pixels of a neighboring block located in the periphery thereof.
  • the inter prediction predicts the pixels of the current block by using the pixels of the block most similar to the current block in the reference picture in one or both directions.
  • Most image compression techniques such as H.264 compress image data by encoding only the difference between the prediction pixel predicted through inter prediction or intra prediction and the original pixel, thereby removing temporal redundancy and spatial redundancy of the image. As the difference between the prediction pixel and the original pixel is smaller, the size of the compressed image data is smaller, thereby improving the compression efficiency.
  • a pixel may not always be accurately predicted.
  • the difference between the pixel that is not accurately predicted and the original pixel is larger than that of other pixels.
  • a difference between the original pixel and the predicted pixel, that is, a specific residual signal larger than other residual signals of the residual signal is called a residual signal of an impulse component, and the residual signal of the impulse component has a problem of lowering compression efficiency. .
  • the present invention has a main object in improving encoding efficiency by efficiently encoding or decoding a residual signal of an impulse component in encoding or decoding an image.
  • a method of encoding an image comprising: generating an MxN residual block by predicting a current block to generate a prediction block and subtracting the current block and the prediction block to generate an MxN residual block; And an AxB encoding step of encoding the AxB residual block including the residual signal of the impulse component in the MxN residual block to generate a bitstream.
  • a method of decoding an image comprising: a decoding step of decoding a bitstream to extract a quantized frequency coefficient sequence; Generating an AxB residual block by performing inverse scan, inverse quantization, and inverse transformation on the quantized frequency coefficient sequence in units of AxB blocks; Generating an MxN residual block by further combining one or more residual signals to the AxB residual block to generate an MxN residual block; A prediction step of predicting a current block to generate a prediction block; And a reconstruction step of reconstructing the current block by adding the prediction block and the MxN residual block.
  • an apparatus for decoding an image comprising: a decoder configured to decode a bitstream to extract a quantized frequency coefficient sequence; An AxB residual block generator configured to inversely scan, inverse quantize, and inversely convert the quantized frequency coefficient sequence into AxB block units to generate an AxB residual block; An MxN residual block generator for further combining one or more residual signals to the AxB residual block to generate an MxN residual block; A prediction unit for predicting a current block to generate a prediction block; And an adder configured to reconstruct the current block by adding the prediction block and the MxN residual block.
  • 1 and 2 are exemplary views illustrating a prediction according to intra prediction and inter prediction.
  • FIG. 3 is a block diagram schematically illustrating an electronic configuration of a video encoding apparatus
  • FIG. 4 is an exemplary diagram showing a residual signal before conversion and a frequency coefficient after conversion
  • FIG. 5 is an exemplary view showing how an impulse affects a frequency domain
  • FIG. 7 is an exemplary view showing the configuration of an AxB residual block according to the present invention.
  • FIG. 8 is an exemplary view illustrating setting an arbitrary value to the remaining residual signal according to the present invention.
  • FIG. 9 is an exemplary view illustrating a process of converting a frequency domain in units of AxB blocks according to the present invention.
  • FIG. 11 is a flowchart for explaining a video encoding method according to a first embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating a video decoding method according to a first embodiment of the present invention
  • FIG. 14 is a block diagram schematically illustrating a configuration of a video encoding apparatus according to a second embodiment of the present invention.
  • 16 is a block diagram schematically showing the configuration of a video encoding apparatus according to a third embodiment of the present invention.
  • 17 is an exemplary view showing the configuration of an AxB residual block in a diagonal block form according to a third embodiment of the present invention.
  • FIG. 18 is a block diagram schematically illustrating the configuration of a video encoding apparatus according to a fourth embodiment of the present invention.
  • 1 and 2 are exemplary views illustrating the prediction according to intra prediction and inter prediction.
  • Intra prediction includes intra 4x4 prediction, intra 16x16 prediction, and intra 8x8 prediction, and each intra prediction includes a plurality of prediction modes. 1 illustrates nine prediction modes in intra 4x4 prediction.
  • intra 4x4 prediction includes vertical mode, horizontal mode, direct current mode, diagonal down-left mode, diagonal down-right, and vertical. There are nine prediction modes, including the right-right mode, horizontal-down mode, vertical-left and horizontal-up modes.
  • intra 8x8 prediction has the same prediction mode as intra 4x4 prediction, and intra 16x16 prediction includes vertical mode, horizontal mode, direct current mode, and plane mode. There are four prediction modes.
  • Inter prediction predicts pixels using a motion estimation technique and a motion compensation technique.
  • an image is composed of a series of still images. These still images are classified in units of group of pictures (GOP). Each still image is called a picture or frame.
  • One picture group includes an I picture, a P picture, and a B picture.
  • the I picture is a picture that is encoded by itself without using a reference picture
  • the P picture and the B picture are pictures that are encoded by performing motion estimation and motion compensation using the reference picture.
  • a B picture is a picture that is encoded by predicting a picture of a past picture and a picture of a future in a forward direction and a reverse direction, respectively.
  • Motion estimation and motion compensation for encoding a P picture use an I picture as a reference picture.
  • Motion estimation and motion compensation for encoding a B picture use an I picture and a P picture as reference pictures.
  • FIG. 3 is a block diagram schematically illustrating an electronic configuration of a video encoding apparatus.
  • the image encoding apparatus 300 may include a predictor 310, a subtractor 320, a transformer 330, a quantizer 340, a scan unit 350, an encoder 360, an inverse quantizer 370, It may be configured to include an inverse transform unit 380 and an adder 390.
  • the prediction unit 310 generates a prediction block by predicting a current block to be currently encoded in an image. That is, the prediction unit 310 predicts the pixel value of each pixel of the current block to be encoded in the image according to a predetermined optimal prediction mode, and predicts the predicted pixel value of each pixel. A predicted block having a pixel value) is generated. In addition, the prediction unit 310 may transmit the information about the prediction mode to the encoder 360 so that the encoder 360 may encode the information about the prediction mode.
  • the subtraction unit 320 generates a residual block by subtracting the prediction block from the current block. That is, the subtractor 320 calculates a difference between the pixel value of each pixel of the current block to be encoded and the predicted pixel value of each pixel of the prediction block predicted by the prediction unit 310 to obtain a residual signal in the form of a block. Create a residual block with).
  • the converter 330 converts the residual block into the frequency domain to convert each pixel value of the residual block into a frequency coefficient.
  • the transform unit 330 uses various transformation techniques for transforming an image signal of a spatial axis into a frequency axis, such as a Hadamard transform and a Discrete Cosine Transform Based Transform (DCT based Transform).
  • the residual signal can be converted into the frequency domain, and the residual signal converted into the frequency domain becomes a frequency coefficient.
  • the quantization unit 340 quantizes the residual block having the frequency coefficient transformed by the transformer 330 into the frequency domain.
  • the quantization unit 340 converts the transformed residual block into Dead Zone Uniform Threshold Quantization (DZUTQ), a quantization weight matrix, or an improved quantization technique.
  • DZUTQ Dead Zone Uniform Threshold Quantization
  • the encoder 360 outputs the bitstream by encoding the quantized frequency coefficient sequence generated by the scan unit 350 using an entropy coding technique or the like.
  • the encoder 360 may encode the information about the prediction mode in which the predictor 310 predicts the current block.
  • the inverse quantizer 370 inverse quantizes the residual block quantized by the quantizer 340. That is, the inverse quantization unit 370 inversely quantizes the quantized frequency coefficients of the Angularized residual block to generate a residual block having frequency coefficients.
  • the inverse transform unit 380 inverse transforms the residual block inversely quantized by the inverse quantizer 370. That is, the inverse transformer 380 inversely transforms frequency coefficients of the inverse quantized residual block to generate a residual block having a pixel value, that is, a reconstructed residual block.
  • the inverse transform unit 380 may perform inverse transform by using the transformed method used by the transform unit 330 as the inverse.
  • a deblocking filter unit (not shown) may be further connected between the predictor 310 and the adder 390.
  • the deblocking filter unit deblocks filtering the current block restored by the adder 390.
  • the deblocking filtering refers to an operation of reducing block distortion generated by encoding an image in block units, and applying a deblocking filter to a block boundary and a macroblock boundary, or applying a deblocking filter only to a macroblock boundary or a deblocking filter. You can optionally use one of the methods that does not use.
  • the transformer 330 converts the residual signal of the residual block into the frequency domain to generate a frequency coefficient
  • the residual signal is decomposed into a low frequency component and a high frequency component.
  • the decomposed frequency coefficient is quantized and the zigzag scan is performed by the scan unit 350, as shown in FIG. 5A
  • the frequency coefficient of the low frequency component is' 0. It has a non-value and is driven to the position of the frequency coefficient of the DC component, and the frequency coefficients of the high frequency component are '0' and can be ignored. Therefore, since only the Molly quantization frequency coefficient is encoded around the frequency coefficient of the DC component, as shown in Fig. 4, a high compression effect can be obtained. 4, it can be seen that the distribution of the frequency coefficient obtained by converting the residual signal, but the value other than '0' is driven around the frequency coefficient of the DC component.
  • the data size of the encoded bitstream can be reduced, but as the residual signal of the impulse component occurs, the frequency coefficient of the high frequency component has a large value, and the amount of data of the encoded bitstream Increase and hence the efficiency of the compression decreases. Therefore, when the residual signal of such an impulse component is included in the residual block, it should be able to be efficiently encoded.
  • the present invention provides an image encoding / decoding method and apparatus for efficiently encoding when a residual signal of an impulse component is included in a residual block.
  • the residual signal of the impulse component refers to a residual signal whose absolute value is greater than or equal to a preset value among the residual signals in the residual block.
  • FIG. 6 is a block diagram schematically illustrating a video encoding apparatus according to a first embodiment of the present invention.
  • the image encoding apparatus 600 includes a predictor 610, a subtractor 620, a converter 630, an MxN converter 640, an AxB converter 642, and an MxN quantization. 650, AxB quantizer 652, scan unit 660, encoder 670, MxN inverse quantizer 680, AxB inverse quantizer 682, MxN inverse transform unit 690, AxB inverse
  • the conversion unit 692 and the adder 694 may be configured.
  • the video encoding apparatus 600 may be a personal computer (PC), a notebook computer, a personal digital assistant (PDA), a portable multimedia player (PMP), or a PlayStation Portable (PSP). ),
  • a communication device such as a communication modem for communicating with various devices or a wired / wireless communication network, a memory for storing various programs and data for encoding an image, and executing a program.
  • the predictor 610 and the subtractor 620 perform the same or similar functions as those of the predictor 310 and the subtractor 320 of the image encoding apparatus 300 described above with reference to FIG. 3, a detailed description thereof will be omitted. do.
  • the MxN transform unit 640, the MxN quantizer 650, the MxN inverse quantizer 680, the MxN inverse transform unit 690, the AxB transform unit 642, the AxB quantizer 652, and the AxB inverse quantizer 682 and AxB inverse transform unit 692 are the same as the transform unit 330, the quantizer 340, the inverse quantizer 370, and the inverse transform unit 380 of the image encoding apparatus described above with reference to FIG. 3.
  • the MxN transform unit 640, the MxN quantizer 650, the MxN inverse quantizer 680, and the MxN inverse transform unit 690 include a transform unit 330, a quantizer 340, and an inverse quantizer 370.
  • transformation, quantization, inverse quantization, and inverse transformation are performed in the same MxN block unit as the block size of the current block, and the transformation, quantization, inverse quantization, and inverse transformation are performed in AxB block units.
  • the names of the AxB transform unit 642, the AxB quantizer 652, the AxB inverse quantizer 682, and the AxB inverse transform unit 692 are only different.
  • the encoding mode determiner 630 determines whether to encode the residual block among the MxN residual block and the AxB residual block according to whether the residual signal of the impulse component is included in the MxN residual block transmitted from the subtractor 620.
  • the residual block is transferred to the MxN converter 640 or the AxB converter 642.
  • the encoding mode determiner 630 determines whether there is a residual signal of the impulse component, and determines an absolute value of all residual signals in the MxN residual block (a residual value of the impulse component having a predetermined size).
  • the residual signal of the impulse component in the residual block by checking whether the absolute value of the at least one residual signal is equal to or greater than the preset value and whether the residual signal equal to or greater than the preset value is included in the residual block. You can check whether there is.
  • the AxB residual block may be configured as a rectangular block including all residual signals of an impulse component in the MxN residual block.
  • a and B each represent the number of rows and columns of the rectangular block.
  • the size of the AxB residual block is 1 ⁇ 4.
  • the rectangular block is configured to include the residual signals of all impulse components, as shown in 7B, 7C, and 7D, the sizes of the AxB residual blocks are 4x3, 2x2, and 3x4, respectively.
  • an MxN residual block including residual signals x1 to x16 includes an AxB residual block configured to have a size of 3x3 to include all residual signals x6, x9, and x15 of impulse components hatched.
  • x5 to x7, x9 to x11, x13 to x15 are transformed, quantized and scanned and encoded in 3x3 block units, and the remaining residual signals x1 to x4, x8, x12 and x16 are set to an arbitrary value such as '0' and encoded.
  • '0' is merely an example of an arbitrary value, and an arbitrary value does not necessarily have a value of '0', and may be set to various values such as '-1' and '1'. .
  • the residual signal except the AxB residual block in the MxN residual block is significantly smaller than the residual signal of the impulse component, so that the corresponding block, macroblock, slice, picture, etc. may not be used as it is.
  • the image decoding apparatus may find and determine a value that may have optimal performance, and determine a residual signal having the value as an alternative residual signal. May be encoded or may be included in the bitstream as replacement residual signal information as it is.
  • the image decoding apparatus may extract the replacement residual signal information from the bitstream and use the residual signal except for the AxB residual block as a value of the replacement residual signal identified by the replacement residual signal information.
  • the value of the replacement residual signal may be determined by finding a value that can achieve optimal performance in the image encoding apparatus, but may be set to a value such as '0', '-1', or '1'.
  • the replacement residual signal information may not be generated or included in the bitstream, and the image decoding apparatus may restore the MxN residual block by using the preset value as the remaining residual signal.
  • a residual signal (b) smaller than the predetermined value (a) is -a ⁇ b ⁇ a (where a is a positive number). It exists in the same range as, and if the transformation, quantization, inverse quantization, inverse transformation, etc. process is added, the quantization error may be added to be a value c other than the value b of the original residual signal. For example, when b is -2, if b is transformed, quantized, inverse quantized, and inversely transformed, a quantization error may be added to restore the value of c equal to -3, and further, the sign is changed to +1. The value may be restored.
  • a residual signal with a small absolute value is restored through transformation and quantization, inverse quantization and inverse transformation, and its value is around '0' and its sign is '+' to '-' or '-' to '+'. Since it can be changed to ', if the preset value (a) is properly set to determine the residual signal of the impulse component, the remaining residual signals not included in the AxB residual block are driven to the value of' 0 'on average. There is a tendency. Therefore, the predetermined value (a) is appropriately set to determine the residual signal of the impulse component, and the values of the remaining residual signals not included in the AxB residual block are set to '0', '-1', '1', etc.
  • the residual residual signal information may be transmitted by encoding or encoding the residual residual signals to the image decoding apparatus or by encoding or encoding one alternative residual signal that can replace the remaining residual signals.
  • the apparatus decodes the encoded bitstream in this manner, the residual residual signal is set to a predetermined value such as '0', '-1', or '1' for the remaining residual signals or is identified by the residual residual signal information. By setting the value to, all original residual signals can be restored.
  • the encoding mode determiner 630 checks whether the size of the AxB residual block is smaller than the size of the MxN residual block, and thus, the size of the AxB residual block is the MxN residual block.
  • the AxB residual block may be transferred to the AxB converter 642 only when the size is smaller than. That is, an AxB residual block including all residual signals of the impulse component is configured.
  • the size of the AxB residual block is the same as the size of the MxN residual block, since the residual signal of the impulse component exists throughout the MxN residual block, The conventional method, that is, the MxN residual block is encoded.
  • the encoding mode determiner 630 transmits the MxN residual block to the MxN converter 640 to encode the block in the same size as the current block.
  • all residual signals of the MxN residual block may be set to '0', which is an arbitrary value. If there is no residual signal of the impulse component in the residual block, as described above, if all residual signals are recovered after transforming and quantizing and inverse quantizing and inverse transforming, the value is set to '0' because the value is driven around '0'. This is because there may not be a large loss even when encoding.
  • the encoding mode determiner 630 when the encoding mode determiner 630 determines to encode the AxB residual block, the encoding mode determiner 630 includes at least one of block shape information of the AxB residual block, block position information of the AxB residual block, and encoding identification information for identifying AxB encoding. Mode information may be generated and transmitted to the encoder 670.
  • AxB encoding refers to an AxB residual block including a residual signal of an impulse component, and predicting, transforming, quantizing, scanning, and encoding the AxB residual block in units of AxB blocks.
  • the encoding mode determiner 630 transmits the block shape information of the AxB residual block and the block position information of the AxB residual block to the AxB converter 642.
  • the block shape information of the AxB residual block may be information in which block sizes such as 3x4 and 2x3 are specified, and the block position information of the AxB residual block is the position where the residual signal of the impulse component first appears in the MxN residual block.
  • Information such as the vertical component value and the horizontal component value of the coordinates for the AxB residual block or coordinates indicating where the position of the topmost residual signal in the leftmost position of the AxB residual block is located in the MxN residual block may be used.
  • Encoding identification information indicating that encoding is performed in units is a flag having a value of '1' or '0', and if the flag is '1', it means that the encoding is performed in AxB block units, and in case of '0', it is MxN block unit. It may indicate that the encoding.
  • the AxB transform unit 642 When the AxB converter 642 receives the block shape information of the AxB residual block, the block position information of the AxB residual block, and the AxB residual block from the encoding mode determiner 630, the AxB transform unit 642 performs frequency conversion in units of AxB blocks to obtain a frequency coefficient. Generates an AxB residual block.
  • the AxB converter 642 may perform the conversion in various conversion schemes. For example, one-dimensional transformation is performed on each residual signal of each row and each column of the AxB residual block.
  • matrix X is a matrix representing AxB residual blocks having a 3x2 block size
  • matrix A is a one-dimensional horizontal basis vector ⁇ (a1, a2, a3), (b1, b2, b3), (c1, c2, c3) ⁇
  • the matrix B represents a matrix including the one-dimensional vertical basis vectors ⁇ (d1, d2), (e1, e2) ⁇ of length B.
  • Y is a product of the A matrix, the X matrix, and the B matrix, and represents transform coefficients converted in the vertical direction and the horizontal direction. Since the remaining residual signals having a value smaller than the residual signal of the impulse component are assumed to be small enough to be ignored, it is assumed to be '0'.
  • the AxB quantizer 652 quantizes the AxB residual block transformed by the AxB transform unit 642 to generate a residual block having quantization frequency coefficients. To this end, the AxB quantization unit 652 may quantize using a quantization step (Q Step: Quantization Step) given according to a quantization parameter (QP).
  • Q Step Quantization Step
  • QP quantization parameter
  • the scan unit 660 scans the quantization frequency coefficient of the MxN residual block quantized by the MxN quantization unit 650 in a normal zigzag scan.
  • the zigzag scan scheme of the quantized frequency coefficient of the AxB residual block quantized by the AxB quantization unit 652 is converted into an AxB block form.
  • the modified scan scheme may be a scheme as exemplarily illustrated in FIG. 10, and may be modified in various scan schemes according to the AxB block type.
  • the encoder 670 encodes the quantized frequency coefficient sequence scanned by the scan unit 660 using various encoding techniques such as entropy encoding to generate a bitstream. In this case, the encoder 670 may insert mode information transferred from the conversion mode determiner 630 into the bitstream.
  • the MxN inverse quantizer 680 inverse quantizes the quantized frequency coefficients of the MxN residual block quantized by the MxN quantizer 650 to generate an MxN residual block having frequency coefficients, and the MxN inverse transform unit 690 performs the MxN inverse An inverse transform of the frequency coefficients of the inverse quantized MxN residual block by the quantization unit 680 generates a reconstructed MxN residual block having the reconstructed residual signal.
  • the AxB inverse quantizer 682 inverse quantizes the quantized frequency coefficients of the AxB residual block quantized by the AxB quantizer 652 to generate an AxB residual block having frequency coefficients, and the AxB inverse transform unit 692 performs AxB inverse.
  • An inverse transform of the frequency coefficients of the inverse quantized AxB residual block by the quantization unit 682 generates a reconstructed AxB residual block having the reconstructed residual signal.
  • inverse AxB quantization and AxB inverse transform may be performed inversely with the aforementioned AxB quantization and AxB transform.
  • the MxN residual block generator 694 restores the MxN residual block by substituting the AxB residual block transferred from the AxB inverse transform unit 692 into the corresponding position of the MxN residual block.
  • the MxN residual block generator 694 may substitute the corresponding position using the block position information of the AxB residual block, and have an arbitrary value (for example, '0') for the remaining residual signals not included in the AxB residual block. ) To generate the final MxN residual block.
  • the adder 696 reconstructs the current block by adding the reconstructed MxN residual block transmitted from the MxN inverse transform unit 690 or the MxN residual block generator 694 with the predicted block predicted by the predictor 610.
  • the reconstructed current block is accumulated in picture units and stored as a reference picture, and may be used to predict the next block.
  • FIG. 11 is a flowchart illustrating a video encoding method according to a first embodiment of the present invention.
  • the image encoding apparatus 600 classifies the image into macroblocks or subblock units of the macroblocks and determines an optimal encoding mode among various encoding modes such as an inter prediction mode or an intra prediction mode, and then determines the encoding. Predict and encode a current block to be encoded according to a mode. In this case, when intra mode is determined as an encoding mode and intra prediction is performed, the image encoding apparatus 600 predicts a current block to be encoded to generate a prediction block, and subtracts the prediction block from the current block to generate a residual block. In operation S1110, if the size of the current block is MxN size, an MxN residual block having an MxN size is generated.
  • the image encoding apparatus 600 analyzes the residual signal in the MxN residual block to determine whether there is a residual signal of an impulse component (S1120). As a result of checking in step S1120, the image encoding apparatus 600 configures an AxB residual block including the residual signal of the impulse component, and the size of the AxB residual block is smaller than the size of the MxN residual block. In operation S1130, the AxB residual block is encoded only in a small case to generate a bitstream (S1140). A method of encoding the AxB residual block has been described above with reference to FIGS. 6 to 10.
  • the image encoding apparatus 600 sets all residual signals of the MxN residual block to '0' (S1150), and encodes the MxN residual block. In operation S1160, a bitstream is generated. Also, as a result of checking in step S1130, the image encoding apparatus 600 proceeds to step S1160 when the residual signal of the impulse component is present in the residual block, but the size of the AxB residual block is not smaller than the size of the MxN residual block. Encode In this case, the MxN residual block to be encoded is a residual block not passed through step S1150, that is, an MxN residual block generated in step S1110.
  • the image encoded in the bitstream by the video encoding apparatus 600 is real-time or non-real-time through the wired or wireless communication network, such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network or the like, cable, universal serial bus (USB It may be transmitted to an image decoding apparatus to be described later through a communication interface such as a universal serial bus, decoded by the image decoding apparatus, and restored and reproduced as an image.
  • the wired or wireless communication network such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network or the like, cable, universal serial bus (USB)
  • USB universal serial bus
  • FIG. 12 is a block diagram schematically illustrating a configuration of an image decoding apparatus according to a first embodiment of the present invention.
  • the image decoding apparatus 1200 includes a decoder 1210, an inverse scan unit 1220, an MxN inverse quantizer 1230, an AxB inverse quantizer 1230, and an MxN inverse transform unit ( 1240, an AxB inverse transformer 1242, an MxN residual block generator 1250, a predictor 1260, and an adder 1270.
  • the video encoding apparatus 1200 may be a personal computer (PC), a notebook computer, a personal digital assistant (PDA), a portable multimedia player (PMP), or a PlayStation Portable (PSP). ),
  • a communication device such as a communication modem for communicating with various devices or a wired / wireless communication network, a memory for storing various programs and data for decoding an image, and executing a program.
  • the decoder 1210 decodes the bitstream, extracts the quantized frequency coefficient sequence, and delivers the quantized frequency coefficient string to the inverse scan unit 1220.
  • the decoder 1210 may extract mode information from the bitstream.
  • the mode information may be the same information as the mode information described above with reference to FIG. 6, and is transmitted to the inverse scan unit 1220.
  • the inverse scan unit 1220 inversely scans the quantized frequency coefficient sequence transmitted from the decoder 1210, and inversely scans the quantized frequency coefficient sequence using a conventional zigzag scan method according to the mode information transmitted from the decoder 1210. Scanning may generate an MxN residual block having quantization frequency coefficients, or an AxB residual block having quantization frequency coefficients may be generated by reverse scanning the quantization frequency coefficient sequence using a scan method modified according to the AxB block shape. For example, when the flag indicating the encoding identification information included in the mode information is '0', the quantization frequency coefficient sequence is reversely scanned according to the existing zigzag scan method, and the flag indicating the encoding identification information is '1'.
  • the quantization frequency coefficient sequence may be reverse-scanned by a different zigzag scan method according to the shape of the block identified by the AxB block type information included in the mode information.
  • the reverse scanning according to the zigzag scan method according to the type of the block identified by the AxB block type information may be performed by scanning in the reverse order of the scan method described above with reference to FIG. 10.
  • the inverse scan unit 1220 transfers the generated residual block to the MxN inverse quantization unit 1230 when the generated residual block is an MxN residual block, and AxB. In the case of the residual block, it is transmitted to the AxB inverse quantization unit 1232.
  • the MxN inverse quantizer 1230, the MxN inverse transform unit 1240, the AxB inverse quantizer 1232, and the AxB inverse transform unit 1242 are the MxN inverse quantizer 680 and the MxN inverse transform unit described above with reference to FIG. 6. 690 and the AxB inverse quantizer 682 and the AxB inverse transform unit 692 perform the same or similar functions, and thus detailed descriptions thereof will be omitted.
  • the MxN residual block generator 1250 restores the MxN residual block by inserting the AxB residual block transferred from the AxB inverse transform unit 1242 into a corresponding position of the MxN residual block.
  • the MxN residual block generator 1250 may substitute the corresponding position by using the block position information of the AxB residual block extracted from the bitstream by the decoder 1210 and the remaining residual not included in the AxB residual block. If the signal is assigned a predetermined value (for example, '0', '-1', '1', etc.) or extracted the residual residual signal information from the bitstream, the residual residual signal identified by the alternate residual signal information By setting to the value of, the final MxN residual block is generated.
  • the predictor 1260 predicts the current block to generate a predicted block
  • the adder 1270 predicts the reconstructed MxN residual block transmitted from the MxN inverse transformer 1240 or the MxN residual block generator 1250.
  • the current block is reconstructed by adding the prediction block predicted by the block 1260.
  • the reconstructed current block is accumulated in picture units and output as a reconstructed picture or stored as a reference picture, and may be used to predict the next block.
  • FIG. 13 is a flowchart illustrating a method of decoding an image according to the first embodiment of the present invention.
  • the image decoding apparatus 1200 which receives and stores a bitstream of an image through a wired or wireless communication network or a cable, decodes and restores the image in order to reproduce the image according to a user's selection or an algorithm of another program being executed.
  • the image decoding apparatus 1200 extracts a residual block by decoding the bitstream (S1310). In this case, the image decoding apparatus 1200 extracts mode information from the bitstream.
  • the image decoding apparatus 1200 checks the mode information to determine whether the encoding information includes the encoding identification information indicating the AxB encoding (S1320). If the encoding information includes the encoding identification information indicating the AxB encoding, the AxB residual is determined. By inversely scanning the block according to the block shape information included in the mode information, and inversely transforming by inverse quantization in AxB block units, the AxB residual block is restored (S1330), and the AxB residual restored according to the block position information included in the mode information.
  • the image decoding apparatus 1200 predicts the current block, generates a prediction block, adds the MxN residual block reconstructed in operation S1340 or S1350, and restores the current block in operation S1360.
  • the reconstructed current block is stored in picture units and output as a reconstructed picture or stored as a reference picture to be used to predict the next block.
  • FIG. 14 is a block diagram schematically illustrating a configuration of an image encoding apparatus according to a second embodiment of the present invention.
  • the image encoding apparatus 1400 according to the second embodiment of the present invention is an apparatus for encoding an image, and includes all components of the image encoding apparatus 600 according to the first embodiment of the present invention described above with reference to FIG. 6.
  • the apparatus further includes a ratio calculator 1410.
  • the video encoding apparatus 1400 according to the second embodiment of the present invention is the same as the video encoding apparatus 600 according to the first embodiment of the present invention described above with reference to FIG. 6, and includes an AxB residual including a residual signal of an impulse component.
  • AxB encoding is performed for encoding a block. However, it is determined whether AxB encoding is to be performed according to an impulse ratio, which is a ratio of residual signals of impulse components among all residual signals in the AxB residual block.
  • an impulse ratio which is a ratio of residual signals of impulse components among all residual signals in the AxB residual block.
  • the ratio calculation unit 1410 receives an impulse ratio (AxB residual), which is a ratio of the residual signal of the impulse component among all residual signals in the AxB residual block.
  • AxB residual block and mode information only when the number of residual signals of the impulse component in the block / the total number of residual signals in the AxB residual block) is greater than or equal to the threshold by comparing the calculated ratio with a preset threshold value.
  • the MxN residual block may be transferred to the MxN transform unit 640 or the encoding mode determiner 620 may transmit the MxN residual block so that the MxN residual block may be encoded as in the conventional method. Control to transfer to the MxN converter 640. Accordingly, it is possible to indicate that AxB encoding is performed by setting a flag indicating encoding identification information to '1' only when the impulse ratio is equal to or greater than a threshold value, and the encoding identification information, block shape information, and block position information are converted into AxB conversion units 642. If the impulse ratio is less than the threshold value, a flag indicating encoding identification information may be set to '0'.
  • 15 is a flowchart for explaining a video encoding method according to a second embodiment of the present invention.
  • steps S1510 to S1530 are the same as or similar to steps S1110 to S1130 described above with reference to FIG. 11, and steps S1550 to S1570 are described above with reference to FIG. 11. To the same or similar to step S1160.
  • the image encoding apparatus 1400 calculates an impulse ratio and preset threshold value.
  • step S1550 only when the impulse ratio is greater than or equal to the threshold value to encode the AxB residual block, and generates a bitstream if the impulse ratio is less than the threshold, and proceeds to step S1570 to encode the MxN residual block. To generate the bitstream.
  • the image encoding apparatus 1600 according to the third embodiment of the present invention includes all components of the image encoding apparatus 600 according to the first embodiment of the present invention described above with reference to FIG. 6. However, the functions of the encoding mode determiner 1610 and the MxN residual block generator 1620 are partially different from those of the encoding mode determiner 630 and the MxN residual block generator 694, respectively.
  • the encoding mode determiner 1610 determines whether there is a residual signal of the impulse component in the diagonal direction in the MxN residual block, and when there is no residual signal of the impulse component in the diagonal direction.
  • the AxB residual block is configured in the above-described rectangular block form, and when there is a residual signal of the impulse component in the diagonal direction, the AxB residual block is configured in the diagonal block form.
  • an AxB residual block is configured according to the first embodiment of the present invention.
  • the AxB residual block becomes a 3x3 block, and six residual signals must be encoded.
  • the AxB residual block may be a block of size 1x3, and only three residual signals may be encoded.
  • the MxN residual block is a 4x4 block and two pairs of three residual signals diagonally are residual signals of an impulse component
  • the AxB residual block becomes a 4x4 sized block so that the size of the AxB residual block is the same as that of the MxN residual block, and 16 residual signals must be encoded.
  • the AxB residual block according to the third embodiment of the present invention as shown in 17D, the AxB residual block becomes a 2x3 sized block so that the size of the AxB residual block becomes smaller than the size of the MxN residual block. Only residual signals may be encoded.
  • the size of the AxB residual block can be reduced, and the number of residual signals to be encoded can be reduced accordingly. Since the size of the AxB residual block becomes the same as the size of the MxN residual block, and when implemented in combination with the second embodiment of the present invention, the impulse ratio can be increased, so that the ratio capable of performing AxB encoding is increased. As a result, the compression efficiency can be further improved.
  • the encoding mode determiner 1610 may include diagonal block identification information indicating that the AxB residual block is formed in the form of a diagonal block, and diagonal position information indicating the position of the residual signal of each impulse component constituting the AxB residual block in the form of a diagonal block. It is additionally generated as mode information, and the information is transmitted to the MxN residual block generator 1620.
  • the configuration of the video decoding apparatus according to the third embodiment of the present invention is not shown, the configuration of the video decoding apparatus 1200 according to the first embodiment described above with reference to FIG. 12 is the same.
  • the mode information extracted from the bitstream by the decoder 1210 further includes diagonal block identification information and diagonal position information, and the information is transmitted to the MxN residual block generator 1250.
  • the MxN residual block generator 1250 according to the third embodiment of the present invention uses a diagonal block form using diagonal block identification information and diagonal position information, like the MxN residual block generator 1620 described above with reference to FIG. 16. Substitute the AxB residual block in the MxN residual block and assign the remaining residual signal to an arbitrary value or a value of the replacement residual signal identified by the replacement residual signal information extracted from the bitstream to generate a reconstructed MxN residual block.
  • the image encoding apparatuses 600, 1400, and 1600 may predetermine whether all of the quantization frequency coefficients generated by MxN residual blocks are transformed and quantized are '0'. If it is determined that all are '0', MxN encoding may be performed. If at least one is not '0', AxB encoding may be performed. That is, a coefficient discrimination unit is further configured between the scan unit 660, the MxN quantization unit 650, and the AxB quantization unit 652 to quantize the quantized residual block output from the MxN quantization unit 650.
  • the quantized residual block output from the MxN quantizer 650 is transmitted to the scan unit 660, and mode information such as encoding identification information indicating MxN encoding is transmitted.
  • mode information such as encoding identification information indicating MxN encoding is transmitted.
  • the existing MxN encoding may be performed, and the quantized residual block output from the MxN quantization unit 650 only when at least one or more of the quantization frequency coefficients is not '0', or
  • the quantized residual block output from the AxB quantization unit 652 is transmitted to the scan unit 660, and MxN encoding is performed on AxB encoding or mode information including encoding identification information.
  • the above-described image decoding apparatuses 1200 have all the quantization frequency coefficients reconstructed by decoding the bitstream being '0' (or encoding included in the bitstream).
  • Coded block pattern can be used to recover the current block by restoring the MxN residual block by inverse quantization and inverse transformation of quantization frequency coefficients without reading mode information from the bitstream. If at least one or more of the quantized frequency coefficients reconstructed by decoding is not '0' (or can be known through a coded block pattern (CBP) included in the bitstream), mode information may be obtained from the bitstream.
  • the indent restore and read the additional block position information and block form information from the mode information when the restore the current block, AxB encoding can reconstruct the current block by restoring the residual block AxB.
  • FIG. 18 is a block diagram schematically illustrating a configuration of a video encoding apparatus according to a fourth embodiment of the present invention.
  • the image encoding apparatus 1800 according to the fourth embodiment of the present invention includes all components of the image encoding apparatus 600 according to the first embodiment of the present invention described above with reference to FIG. 1820 is further included, and some functions of the encoding mode determiner 1810 are changed. Hereinafter, detailed descriptions of the remaining components described above with reference to FIG. 6 will be omitted.
  • the video encoding apparatus 1800 according to the fourth embodiment of the present invention is the same as the video encoding apparatus 600 according to the first embodiment of the present invention described above with reference to FIG. 6, and includes an AxB residual including a residual signal of an impulse component.
  • AxB encoding for encoding a block is performed.
  • AxB encoding that generates a bitstream by scanning and encoding is performed.
  • the encoding mode determiner 1810 not only determines whether to perform AxB encoding as in the encoding mode determiner 630 described above with reference to FIG. 6, but also, when performing AxB encoding, the number of pixels of the AxB residual block. Is determined to be less than or equal to the preset number, and when less than or equal to the preset number, the AxB residual block is transferred to the AxB transform unit 642 to perform AxB encoding. The MxN residual block is transmitted to the MxN converter 640 to encode the block.
  • the coefficient discrimination unit 1820 determines whether all quantization frequency coefficients of the quantized residual block transmitted from the MxN quantization unit 650 are '0'. And transmitting the quantized MxN residual block to the scan unit 660 to scan in a conventional zigzag scan method without including mode information including encoding identification information indicating MxN encoding in the bitstream, and at least one of '0'. If not, it is determined whether the number of pixels of the AxB residual block is less than or equal to the preset number, and if only the following is included, mode information including encoding identification information indicating the AxB encoding, block shape information, and block position information is included in the bitstream.
  • the quantized AxB residual block transmitted from the AxB quantization unit 652 is transferred to the scan unit 660, and according to the block shape of the AxB residual block. Otherwise the method will be to scan.
  • the mode information including the encoding identification information indicating the MxN encoding is encoded in the conventional manner without being included in the bitstream.
  • FIG. 19 is a flowchart illustrating a video encoding method according to a fourth embodiment of the present invention.
  • the image encoding apparatus 1800 determines whether the quantization frequency coefficients of the quantized MxN residual blocks are all '0' according to an existing encoding scheme encoded in MxN block units (S1910). If the result of the determination in step S1910 is '0', the image encoding apparatus 1800 generates a bitstream by scanning and encoding the quantized frequency coefficients encoded by the MxN block unit using the existing zigzag scan method or the like ( S1920). If at least one of the determination results in step S1910 is not '0', the image encoding apparatus 1800 determines whether the number of pixels of the AxB residual block is less than or equal to the preset number (S1930).
  • step S1930 if the preset number is exceeded, the process proceeds to S1920 and the method is encoded according to the existing method. If the number is less than the preset number, the bitstream is generated by performing AxB encoding that encodes the AxB residual block in units of AxB blocks. S1940).
  • the quantization frequency coefficients of the quantized residual blocks of the MxN residual block are all '0' and whether the number of pixels of the AxB residual block is equal to or less than the preset number.
  • the number of pixels of the AxB residual block is not set to at least one of the quantization frequency coefficients and the preset number of pixels of the AxB residual block is not included in every residual block including mode information including encoding identification information indicating MxN encoding or AxB encoding. Only in the following cases, encoding identification information, block type information, and block position information indicating AxB encoding may be included in the bitstream. Therefore, the bit amount for mode information including encoding identification information, block shape information, and block position information can be reduced according to the characteristics of the block.
  • the number of pixels of the AxB residual block is reduced by reducing the number of pixels of the AxB residual block. Can be reduced.
  • the image decoding apparatus includes all components of the image decoding apparatus 1200 according to the first embodiment of the present invention described above with reference to FIG. 12. However, when obtaining the quantization frequency coefficient sequence from the bitstream, the decoder 1210 checks whether the number of quantization frequency coefficients is less than or equal to a preset number, and if it is less than or equals, extracts mode information from the bitstream and confirms encoding identification information, and then AxB. In the case of encoding, block type information and block position information are extracted from the mode information.
  • the first embodiment differs from the first embodiment in that the number of quantization frequency coefficients of the quantization frequency coefficient sequence is first checked in order to decode in units of AxB blocks only when the number of pixels of the AxB residual block is equal to or less than a preset number.
  • the image decoding apparatus checks the number of quantization frequency coefficients of a corresponding block through total coefficients and total zeros of the quantization frequency coefficient sequences, and then sets 'N'. If there are more than ',' the residual block is determined to be MxN coded (the number of frequencies cannot be more than 'N' in AxB coding), and if 'N' or less, 'N' is also used through MxN coding. Since the following frequency coefficients can be created (for example, when there is only one frequency coefficient of a DC component or when a frequency coefficient of a low frequency component near a DC component occurs), additionally, mode information is extracted from the bitstream and mode information.
  • mode information is not included in the bitstream when AxB encoding is not performed, and mode information including encoding identification information, block shape information, and block position information is included in the bitstream only when AxB encoding is used.
  • the image encoding apparatus includes all components of the image encoding apparatus 1800 according to the fourth embodiment of the present invention described above with reference to FIG. 18, and includes a coefficient discrimination unit 1820. Some functions of are changed. Hereinafter, detailed descriptions of the remaining components described above with reference to FIG. 18 will be omitted.
  • An image encoding apparatus encodes an AxB residual block including a residual signal of an impulse component, like the image encoding apparatus 1800 according to the fourth embodiment of the present invention described above with reference to FIG. 18.
  • AxB encoding is performed.
  • the image encoding apparatus determines whether the number of pixels of the AxB residual block exceeds a preset number when at least one or more of the quantization frequency coefficients of the quantized residual block is not '0'.
  • the AxB encoding is performed when the preset number is exceeded, and when the number is less than the preset number, the MxN residual block is encoded by the conventional method. For example, when the preset value is 8, the residual block multiplied by A and B is 8 or less performs MxN encoding, and the residual block larger than 8 performs AxB encoding. That is, in the case of residual blocks such as 3x3, 3x4, and 4x3, AxB encoding is performed because the number of pixels of the residual block exceeds eight.
  • the coefficient discrimination unit 1820 determines whether all quantization frequency coefficients of the quantized residual block transmitted from the MxN quantization unit 650 are '0'. And mode information including encoding identification information indicating MxN encoding is included in the bitstream while the quantized MxN residual block is transmitted to the scan unit 660, and scanned in a conventional zigzag scan method, and at least one of the quantization frequency coefficients. If the value is not '0', it is determined whether the number of pixels of the AxB residual block exceeds a preset number, and mode information including encoding identification information indicating the AxB encoding, block shape information, and block position information only when the number of pixels in the AxB residual block is exceeded.
  • the scan unit 660 includes mode information including encoding identification information indicating MxN encoding in the bitstream and predicts, transforms, and quantizes the MxN residual block in a conventional manner. Encode it by passing it.
  • FIG. 20 is a flowchart illustrating a video encoding method according to a fifth embodiment of the present invention.
  • the image encoding apparatus determines whether the quantization frequency coefficients of the quantized MxN residual blocks are all '0' according to an existing encoding scheme encoded in MxN block units (S2010). If the result of the determination in step S2010 is '0', the image encoding apparatus generates a bitstream by scanning and encoding the quantization frequency coefficients encoded in MxN block units using an existing zigzag scan method or the like (S2020). If at least one of the determination results in step S2010 is not '0', the image encoding apparatus checks whether the number of pixels of the AxB residual block exceeds a preset number (S2030).
  • step S2030 If the result of the check in step S2030 is less than or equal to the predetermined number, the process proceeds to S2020 and the existing method is encoded. If the preset number is exceeded, the bitstream is generated by performing AxB encoding that encodes the AxB residual block in units of AxB blocks. (S2040).
  • AxB encoding is performed only when the number of pixels of the AxB residual block exceeds a preset number.
  • the AxB residual block increases the number of pixels in the AxB residual block.
  • encoding identification information for indicating MxN encoding or AxB encoding should be included in the bitstream for every block, while encoding block shape information and block position information of the AxB residual block. It can further reduce the amount of bits required.
  • the AxB residual block may be configured as one of 3x3, 4x3, and 3x4, and thus the shape of the AxB residual block is also determined as one of the smaller cases. Since the position is also determined by one of the fewer cases, the block type information and the block position information can be represented with fewer bits.
  • the image decoding apparatus according to the fifth embodiment of the present invention is configured in the same manner as the image decoding apparatus 1200 according to the first embodiment of the present invention described above with reference to FIG. 12. Accordingly, the image decoding method according to the fifth embodiment of the present invention is also the same as the other image decoding method of the first embodiment of the present invention described above with reference to FIG. 13.
  • the reason why the image decoding apparatus does not first determine the number of quantization frequency coefficients is that the total coefficient of the quantization frequency coefficient sequence and the total zero are calculated. This is because it is not possible to determine that the residual block is AxB coded if the number of quantization frequency coefficients of the corresponding block that is identified through the number exceeds 'N'. That is, even when MxN coding is performed, the number of quantization frequency coefficients may exceed N. Therefore, it may not be determined whether the residual block is AxB coded or MxN coded based on the number of quantized frequency coefficients.
  • the video decoding apparatus reads the encoding identification information of the mode information from the bitstream and determines whether it is MxN encoding or AxB encoding, as in the first embodiment, and in case of AxB encoding. Reads block type information and block position information of mode information and performs AxB decoding.
  • the image encoding apparatus is an apparatus for encoding an image, the prediction unit generating a prediction block by predicting a current block, and the subtraction of generating a MxN residual block by subtracting the current block and the prediction block.
  • the AxB encoder may be configured to encode an AxB residual block including a residual signal of an impulse component in the MxN residual block to generate a bitstream.
  • the AxB encoder may generate and insert mode information including at least one of block shape information of the AxB residual block, block position information of the AxB residual block, and encoding mode information for identifying AxB encoding, into the bitstream.
  • the image encoding apparatus provides an MxN residual block and an MxN residual block according to whether the residual signal of an impulse component is included in the MxN encoder that generates the bitstream by encoding the MxN residual block, and the MxN residual block.
  • the apparatus may further include an encoding mode determiner configured to determine which residual block among the AxB residual blocks.
  • the image encoding apparatus predicts a current block to generate a prediction block, subtracts the current block and the prediction block, generates an MxN residual block, and generates an MxN residual.
  • a bitstream may be generated by encoding the AxB residual block including the residual signal of the impulse component in the block.
  • the apparatus for encoding an image further includes generating and inserting mode information including at least one of block shape information of an AxB residual block, block position information of an AxB residual block, and encoding identification information for identifying AxB encoding into a bitstream. Can be done with
  • the image encoding apparatus may further perform encoding of the MxN residual block to generate a bitstream, wherein the MxN residual block is a residual signal of an impulse component. If it is not included, the step of encoding by setting all residual signals of the MxN residual block to '0' may be further performed.
  • the apparatus for encoding an image may scan and encode the quantized frequency coefficients obtained by transforming the AxB residual block and quantizing the quantized frequency coefficients according to the shape of the AxB residual block, and the size of the AxB residual block may be An AxB residual block can be encoded only when it is smaller than the size of the MxN residual block.
  • the AxB residual block may be in the form of a rectangular block or a diagonal block. If the AxB residual block is in the form of a diagonal block, the image encoding apparatus may additionally generate and insert one or more of the diagonal block identification information and the diagonal block position information into the bitstream.
  • the image encoding apparatus may encode the AxB residual block only when the impulse ratio of the AxB residual block is greater than or equal to the threshold. Also, the image encoding apparatus may encode the AxB residual block only when the number of pixels of the AxB residual block is equal to or less than a preset number. In particular, the image encoding apparatus encodes an AxB residual block only when at least one or more of the values of the quantization frequency coefficients generated by transforming and quantizing the MxN order block are not '0' and the number of pixels of the AxB residual block is less than or equal to a preset number. can do.
  • the image encoding apparatus blocks the block of the AxB residual block only when at least one or more of the values of the quantization frequency coefficients generated by transforming and quantizing the MxN order block are not '0' and the number of pixels of the AxB residual block is less than or equal to a preset number.
  • Mode information including one or more of shape information, block position information of the AxB residual block, and encoding identification information for identifying AxB encoding may be generated and inserted into the bitstream.
  • the image encoding apparatus may sign the AxB residual block only when the number of pixels of the AxB residual block exceeds a preset number.
  • the image encoding apparatus may use the AxB residual block only when at least one or more of the values of the quantization frequency coefficients generated by transforming and quantizing the MxN order block are not '0' and the number of pixels of the AxB residual block exceeds a preset number.
  • the image encoding apparatus performs the AxB residual block only when at least one or more of the values of the quantization frequency coefficients generated by transforming and quantizing the MxN order block are not '0' and the number of pixels of the AxB residual block exceeds a preset number.
  • Mode information including at least one of block shape information of a block, block position information of an AxB residual block, and encoding identification information for identifying AxB encoding may be generated and inserted into a bitstream.
  • An apparatus for decoding an image includes a decoder that extracts a quantized frequency coefficient sequence by decoding a bitstream, and inversely scans, inverse quantizes, and inversely transforms the quantized frequency coefficient sequence in units of AxB blocks, thereby causing AxB residuals.
  • AxB residual block generator for generating blocks MxN residual block generator for generating MxN residual blocks by additionally combining one or more residual signals to AxB residual blocks, prediction unit for predicting the current block to generate prediction blocks and prediction blocks
  • an adder for adding the MxN residual block to restore the current block.
  • the image decoding apparatus may include extracting a quantized frequency coefficient sequence by decoding a bitstream, performing an inverse scan of the quantized frequency coefficient sequence in units of AxB blocks, Generating an AxB residual block by inverse quantization and inverse transformation, further combining one or more residual signals to the AxB residual block to generate an MxN residual block, and predicting the current block to generate a prediction block; And reconstructing the current block by adding the prediction block and the MxN residual block.
  • the image decoding apparatus in generating the AxB residual block, inversely scans and inverse quantizes the quantized frequency coefficient sequence in units of AxB blocks based on the block shape information of the AxB residual block included in the mode information extracted from the bitstream. And an inverse transform, to generate an AxB residual block.
  • the image decoding apparatus in generating the MxN residual block, may generate the MxN residual block based on the block position information of the AxB residual block included in the mode information extracted from the bitstream.
  • the one or more residual signals may have a predetermined value, in particular, all may be set to a value of '0'.
  • the apparatus for decoding an image may generate an MxN residual block ring by using, as one or more residual signals, the residual residual signal identified by the residual residual signal information extracted from the bitstream.
  • the image decoding apparatus may extract mode information from the bitstream, and AxB only when AxB encoding is identified by encoding identification information included in the mode information extracted from the bitstream. Residual blocks can be created.
  • the image decoding apparatus may generate the AxB residual block only when the number of quantization frequency coefficients of the quantization frequency coefficient sequence is equal to or less than a preset number.
  • the apparatus for decoding an image includes: a decoder which extracts a quantized frequency coefficient sequence by decoding a bitstream; An AxB residual block generator configured to inversely scan, inverse quantize, and inversely convert the quantized frequency coefficient sequence into AxB block units to generate an AxB residual block; An MxN residual block generator for further combining one or more residual signals to the AxB residual block to generate an MxN residual block; A prediction unit for predicting a current block to generate a prediction block; And an adder for reconstructing the current block by adding the prediction block and the MxN residual block.
  • the present invention is applied to fields such as an apparatus and a method for encoding or decoding an image, and when an residual signal of an impulse component is generated due to an inaccuracy of prediction, an image is generated by different encoding and decoding methods. It is a very useful invention that generates the effect of improving the encoding efficiency by efficiently encoding or decoding.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법에 관한 것이다. 본 발명은 영상을 부호화하는 방법에 있어서, 현재 블록을 예측하여 예측 블록을 생성하고 현재 블록과 예측 블록을 감산하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성 단계; 및 MxN 잔차 블록 내의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하여 비트스트림을 생성하는 AxB 부호화 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다. 본 발명에 의하면, 영상을 부호화하거나 복호화하는 데 있어서, 임펄스 성분의 잔차 신호를 효율적으로 부호화하거나 복호화함으로써 부호화 효율을 향상시킬 수 있다.

Description

임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법
본 발명은 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법에 관한 것이다. 더욱 상세하게는, 영상을 부호화하거나 복호화하는 데 있어서, 임펄스 성분의 잔차 신호를 효율적으로 부호화하거나 복호화함으로써 부호화 효율을 향상시키는 장치 및 방법에 관한 것이다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced Video Coding)이라 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동으로 발표되었다.
이러한 H.264/AVC(이하 'H.264'라 약칭함)에서는 정수형의 이산 코사인 변환(DCT: Discrete Cosine Transform, 이하 'DCT'라 칭함), 변환 블록 크기의 움직임 추정 및 보상(Variable Block Size Motion Estimation and Compensation), 양자화(Quantization), 엔트로피 부호화(Entropy Coding) 등으로 구성되어 있다.
H.264/AVC에 따른 영상 데이터의 부호화 방법은 그 예측 방식에 따라 크게 인트라 예측 부호화와 인터 예측 부호화로 구분할 수 있다. 인트라 예측은 하나의 참조 픽처에서 부호화할 대상이 되는 현재 블록의 화소를 그 주변에 위치하는 주변 블록의 화소를 이용하여 예측한다. 인터 예측은 일 방향 또는 양 방향의 참조 픽처 내에서 현재 블록과 가장 유사한 블록의 화소를 이용하여 현재 블록의 화소를 예측한다.
H.264와 같은 대다수의 영상 압축 기술에서는 인터 예측 또는 인트라 예측 등을 통해 예측된 예측 화소와 원래의 화소 간의 차이만을 부호화하여 영상 데이터를 압축함으로써, 영상의 시간적 중복성과 공간적 중복성을 제거한다. 예측 화소와 원래의 화소 간의 차이가 작을수록 압축되는 영상 데이터의 크기가 작아져서 압축 효율이 향상된다.
따라서, 영상 압축 분야에서는 예측의 정확도를 높여 압축 효율을 향상시키기 위해, 영상의 특성에 따라 인터 예측을 수행할지 인트라 예측을 수행할지 여부를 결정하는 기술, 예측의 정확도를 높일 수 있는 예측 기술 등 다양한 예측 기술과 부호화 기술이 개발되고 있다.
하지만, 여러 가지 이유로 인해 화소가 항상 정확하게 예측될 수 있는 것은 아니다. 이 경우, 정확하게 예측되지 않은 화소와 원래의 화소 간의 차이는 다른 화소의 차이보다 크다. 이와 같이, 원래의 화소와 예측된 화소와의 차이 즉, 잔차 신호 중 다른 잔차 신호보다 큰 특정 잔차 신호를 임펄스 성분의 잔차 신호라고 하는데, 임펄스 성분의 잔차 신호는 압축의 효율을 저하하는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 영상을 부호화하거나 복호화하는 데 있어서, 임펄스 성분의 잔차 신호를 효율적으로 부호화하거나 복호화함으로써 부호화 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 영상을 부호화하는 방법에 있어서, 현재 블록을 예측하여 예측 블록을 생성하고 현재 블록과 예측 블록을 감산하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성 단계; 및 MxN 잔차 블록 내의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하여 비트스트림을 생성하는 AxB 부호화 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 현재 블록을 예측하여 예측 블록을 생성하는 예측부; 현재 블록과 예측 블록을 감산하여 MxN 잔차 블록을 생성하는 감산부; 및 MxN 잔차 블록 내의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하여 비트스트림을 생성하는 AxB 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화 단계; 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하여 AxB 잔차 블록을 생성하는 AxB 잔차 블록 생성 단계; AxB 잔차 블록에 하나 이상의 잔차 신호를 추가로 결합하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성 단계; 현재 블록을 예측하여 예측 블록을 생성하는 예측 단계; 및 예측 블록과 MxN 잔차 블록을 가산하여 현재 블록을 복원하는 복원 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화부; 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하여 AxB 잔차 블록을 생성하는 AxB 잔차 블록 생성부; AxB 잔차 블록에 하나 이상의 잔차 신호를 추가로 결합하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성부; 현재 블록을 예측하여 예측 블록을 생성하는 예측부; 및 예측 블록과 MxN 잔차 블록을 가산하여 현재 블록을 복원하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 영상을 부호화하거나 복호화하는 데 있어서, 임펄스 성분의 잔차 신호를 효율적으로 부호화하거나 복호화함으로써 부호화 효율을 향상시킬 수 있다.
도 1 및 도 2는 인트라 예측 및 인터 예측에 따라 예측하는 모습을 나타낸 예시도,
도 3은 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 4는 변환 전의 잔차 신호와 변환 후의 주파수 계수를 나타낸 예시도,
도 5는 임펄스가 주파수 영역에 미치는 모습을 나타낸 예시도,
도 6은 본 발명의 제 1 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 7은 본 발명에 따른 AxB 잔차 블록을 구성하는 모습을 나타낸 예시도,
도 8은 본 발명에 따라 나머지 잔차 신호에 임의 값을 설정하는 모습을 나타낸 예시도,
도 9는 본 발명에 따라 AxB 블록 단위로 주파수 영역으로 변환하는 과정을 나타낸 예시도,
도 10은 본 발명에 따라 AxB 블록 형태에 따른 스캔 방식을 나타낸 예시도,
도 11은 본 발명의 제 1 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 12는 본 발명의 제 1 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 13은 본 발명의 제 1 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도,
도 14는 본 발명의 제 2 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 15는 본 발명의 제 2 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 16은 본 발명의 제 3 실시예에 따른 영상 부호화 장치의 구성을 간략하게 타나낸 블록 구성도,
도 17은 본 발명의 제 3 실시예에 따라 대각선 블록 형태의 AxB 잔차 블록을 구성하는 모습을 나타낸 예시도,
도 18은 본 발명의 제 4 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 19는 본 발명의 제 4 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도,
도 20은 본 발명의 제 5 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1 및 도 2는 인트라 예측 및 인터 예측에 따라 예측하는 모습을 나타낸 예시도이다.
인트라 예측에는 인트라 4x4 예측, 인트라 16x16 예측 및 인트라 8x8 예측 등이 있는데, 각 인트라 예측에는 복수 개의 예측 모드를 포함하고 있다. 도 1에서는 인트라 4x4 예측에서의 9 가지 예측 모드를 도시하였다.
도 1을 참조하면, 인트라 4x4 예측에는, 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드, 대각선 왼쪽(Diagonal down-left) 모드, 대각선 오른쪽(Diagonal down-right), 수직 오른쪽(Vertical-right) 모드, 수평 아래쪽(Horizontal-down) 모드, 수직 왼쪽(Vertical-left) 및 수평 위쪽(Horizontal-up) 모드를 포함하는 9 가지의 예측 모드가 있다.
도시하지는 않았지만, 인트라 8x8 예측에는 인트라 4x4 예측과 동일한 예측 모드가 있으며, 인트라 16x16 예측에는 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드 및 플래인(Plane) 모드를 포함하는 4 가지의 예측 모드가 있다.
인터 예측은 움직임 추정 기법 및 움직임 보상 기법을 이용하여 화소를 예측한다. 도 2를 참조하면, 영상은 일련의 정지 영상(Still Image)으로 구성된다. 이 정지 영상들은 픽처 그룹(GOP: Group of Picture) 단위로 구분된다. 각 정지 영상을 픽처 또는 프레임(Frame)이라 한다. 하나의 픽처 그룹에는 I 픽처, P 픽처, B 픽처가 포함된다. I 픽처는 참조 픽처를 사용하지 않고 자체적으로 부호화되는 픽처이며, P 픽처와 B 픽처는 참조 픽처를 사용하여 움직임 추정(Motion Estimation) 및 움직임 보상(Motion Compensation)을 수행하여 부호화되는 픽처이다. 특히, B 픽처는 과거의 픽처와 미래의 픽처를 각각 순방향 및 역방향 즉, 양방향으로 예측하여 부호화되는 픽처이다.
P 픽처를 부호화하기 위한 움직임 추정과 움직임 보상은 I 픽처를 참조 픽처로서 이용한다. B 픽처를 부호화하기 위한 움직임 추정 및 움직임 보상은 I 픽처와 P 픽처를 참조 픽처로서 이용한다.
도 3은 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
영상 부호화 장치(300)는 예측부(310), 감산부(320), 변환부(330), 양자화부(340), 스캔부(350), 부호화부(360), 역 양자화부(370), 역 변환부(380) 및 가산부(390)를 포함하여 구성될 수 있다.
예측부(310)는 영상에서 현재 부호화하고자 하는 현재 블록을 예측하여 예측 블록을 생성한다. 즉, 예측부(310)는 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값(Pixel Value)을 기 결정된 최적의 예측 모드(Prediction Mode)에 따라 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 또한, 예측부(310)는 예측 모드에 대한 정보를 부호화부(360)로 전달하여 부호화부(360)로 하여금 예측 모드에 대한 정보를 부호화하도록 할 수 있다.
감산부(320)는 현재 블록에서 예측 블록을 감산하여 잔차 블록(Residual Block)을 생성한다. 즉, 감산부(320)는 부호화하고자 하는 현재 블록의 각 화소의 화소값과 예측부(310)에서 예측한 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔차 신호(Residual Signal)인 잔차 블록을 생성한다.
변환부(330)는 잔차 블록을 주파수 영역으로 변환하여 잔차 블록의 각 화소값을 주파수 계수로 변환한다. 여기서, 변환부(330)는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반 변환(DCT based Transform: Discrete Cosine Transform Based Transform) 등과 같은 공간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있는데, 주파수 영역으로 변환된 잔차 신호가 주파수 계수가 된다.
양자화부(340)는 변환부(330)에 의해 주파수 영역으로 변환된 주파수 계수를 갖는 잔차 블록을 양자화(Quantization)한다. 여기서, 양자화부(340)는 변환된 잔차 블록을 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함), 양자화 가중치 매트릭스(Quantization Weightrd Matrix) 또는 이를 개량한 양자화 기법 등을 사용하여 양자화할 수 있다.
스캔부(350)는 양자화부(340)에 의해 양자화된 잔차 블록의 양자화 주파수 계수를 지그재그 스캔과 같은 다양한 스캔 방식에 따라 스캔하여 양자화 주파수 계수열을 생성한다.
부호화부(360)는 스캔부(350)에 의해 생성된 양자화 주파수 계수열을 엔트로피 부호화(Entropy Coding) 기법 등을 이용하여 부호화함으로써 비트스트림을 출력한다. 또한, 부호화부(360)는 예측부(310)에서 현재 블록을 예측한 예측 모드에 대한 정보를 함께 부호화할 수 있다.
역 양자화부(370)는 양자화부(340)에 의해 양자화된 잔차 블록을 역 양자화(Inverse Quantization)한다. 즉, 역 양자화부(370)는 앙자화된 잔차 블록의 양자화 주파수 계수들을 역 양자화하여 주파수 계수를 갖는 잔차 블록을 생성한다.
역 변환부(380)는 역 양자화부(370)에 의해 역 양자화된 잔차 블록을 역 변환(Inverse Transform)한다. 즉, 역 변환부(380)는 역 양자화된 잔차 블록의 주파수 계수들을 역 변환하여 화소값을 갖는 잔차 블록 즉, 복원된 잔차 블록을 생성한다. 여기서, 역 변환부(380)는 변환부(330)에서 사용한 변환한 방식을 역으로 사용하여 역 변환할 수 있다.
가산부(390)는 예측부(310)에서 예측된 예측 블록과 역 변환부(380)에 의해 복원된 잔차 블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록은 예측부(310)에 참조 픽처로서 저장되어 현재 블록의 다음 블록이나 향후 다른 블록을 부호화할 때 참조 픽처로서 사용된다.
도 3에서는 도시하지 않았지만, 예측부(310)와 가산부(390) 사이에는 디블로킹 필터부(미도시)가 추가로 연결될 수 있다. 디블로킹 필터부는 가산부(390)에 의해 복원된 현재 블록을 디블로킹 필터링(Deblocking Filtering)한다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다.
한편, 변환부(330)에서 잔차 블록의 잔차 신호를 주파수 영역으로 변환하여 주파수 계수를 생성하면, 잔차 신호는 저주파 성분과 고주파 성분으로 분해된다. 이와 같이, 분해된 주파수 계수를 양자화한 후 스캔부(350)에서 지그재그 스캔을 수행하면, 도 5에 도시한 5A와 같이, 잔차 블록에 임펄스 성분이 발생하지 않았을 경우 저주파 성분의 주파수 계수는 '0'이 아닌 값을 갖고 DC 성분의 주파수 계수의 위치에 몰리며, 고주파 성분의 주파수 계수들은 '0'이 되어 무시할 수 있다. 따라서, DC 성분의 주파수 계수 주위에 몰리 양자화 주파수 계수만을 부호화하므로, 도 4에 도시한 바와 같이, 높은 압축 효과를 얻을 수 있다. 도 4를 통해, 잔차 신호를 변환한 주파수 계수의 분포를 알 수 있는데, DC 성분의 주파수 계수 주위에 '0'이 아닌 값이 몰린 것을 알 수 있다.
하지만, 예측의 정확도가 저하되어 임펄스 성분의 잔차 신호가 잔차 블록 내의 여기저기에서 발생한 경우, 임펄스 성분의 잔차 신호를 주파수 영역으로 변환하면 고주파수 성분의 주파수 계수로 변환되고, 도 5에 도시한 5B와 같이, 고주파 성분의 주파수 계수들이 발생한다. 고주파 성분의 주파수 계수는 양자화 과정을 수행한 후 지그재그 스캔하게 되면 양자화 주파수 계수열의 마지막 부분에 위치하게 되는데, 그로 인해 양자화 주파수 계수열의 마지막 부분에 '0'이 아닌 값이 발생하게 되며, 최종적인 비트스트림의 데이터 량이 커진다. 즉, 임펄스 성분의 잔차 신호가 없다면, 부호화된 비트스트림의 데이터 크기를 줄일 수 있지만, 임펄스 성분의 잔차 신호가 발생함에 따라 고주파수 성분의 주파수 계수가 큰 값을 갖게 되어, 부호화된 비트스트림의 데이터 량이 증가하고 그에 따라 압축의 효율이 저하된다. 따라서, 이러한 임펄스 성분의 잔차 신호가 잔차 블록 내에 포함된 경우, 효율적으로 부호화할 수 있어야 한다.
본 발명은 임펄스 성분의 잔차 신호가 잔차 블록 내에 포함된 경우, 효율적으로 부호화하기 위한 영상 부호화/복호화 방법과 장치를 제공한다. 본 발명에서, 임펄스 성분의 잔차 신호란 잔차 블록 내의 잔차 신호 중 그 절대값이 기 설정된 값 이상인 잔차 신호를 말한다.
도 6은 본 발명의 제 1 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 제 1 실시예에 따른 영상 부호화 장치(600)는 예측부(610), 감산부(620), 변환부(630), MxN 변환부(640), AxB 변환부(642), MxN 양자화부(650), AxB 양자화부(652), 스캔부(660), 부호화부(670), MxN 역 양자화부(680), AxB 역 양자화부(682), MxN 역 변환부(690), AxB 역 변환부(692) 및 가산부(694)를 포함하여 구성될 수 있다.
이러한 영상 부호화 장치(600)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
예측부(610) 및 감산부(620)는 각각 도 3을 통해 전술한 영상 부호화 장치(300)의 예측부(310) 및 감산부(320)와 동일 또는 유사한 기능을 수행하므로, 상세한 설명은 생략한다. 또한, MxN 변환부(640), MxN 양자화부(650), MxN 역 양자화부(680), MxN 역 변환부(690)와 AxB 변환부(642), AxB 양자화부(652), AxB 역 양자화부(682), AxB 역 변환부(692)는 각각 도 3을 통해 전술한 영상 부호화 장치의 변환부(330), 양자화부(340), 역 양자화부(370), 역 변환부(380)와 같이, 잔차 블록을 주파수 영역으로 변환하고 변환된 주파수 계수를 양자화하며, 양자화된 주파수 계수를 역 양자화하고 역 변환한다.
다만, MxN 변환부(640), MxN 양자화부(650), MxN 역 양자화부(680), MxN 역 변환부(690)는, 변환부(330), 양자화부(340), 역 양자화부(370), 역 변환부(380)와 같이, 현재 블록의 블록 크기와 동일한 MxN 블록 단위로 변환 및 양자화와 역 양자화 및 역 변환을 수행하는데, AxB 블록 단위로 변환 및 양자화와 역 양자화 및 역 변환을 수행하는 AxB 변환부(642), AxB 양자화부(652), AxB 역 양자화부(682), AxB 역 변환부(692)와 구별하기 위해 그 명칭을 달리했을 뿐이다. 반면, AxB 변환부(642), AxB 양자화부(652), AxB 역 양자화부(682), AxB 역 변환부(692)는 잔차 블록을 변환하고 양자화한 후 역 양자화하고 역 변환하는 방식은 변환부(330), 양자화부(340), 역 양자화부(370), 역 변환부(380)와 같지만, 잔차 블록을 AxB 블록 단위로 변환하고 양자화한 후 역 양자화하고 역 변환한다는 점에서 다르다.
이하에서는, AxB 변환부(642), AxB 양자화부(652), AxB 역 양자화부(682), AxB 역 변환부(692)를 설명하는 데 있어서, 변환부(330), 양자화부(340), 역 양자화부(370), 역 변환부(380)와 상이한 점을 중심으로 설명한다.
부호화 모드 결정부(630)는 감산부(620)로부터 전달되는 MxN 잔차 블록 내에 임펄스 성분의 잔차 신호가 포함되는지 여부에 따라 MxN 잔차 블록 및 AxB 잔차 블록 중 어느 잔차 블록을 부호화할지 여부를 결정하여 해당 잔차 블록을 MxN 변환부(640) 또는 AxB 변환부(642)로 전달한다.
즉, 부호화 모드 결정부(630)는 감산부(620)로부터 전달되는 MxN 잔차 블록을 AxB 블록 단위로 부호화할지 또는 MxN 블록 단위로 부호화할지 여부를 결정하여, MxN 잔차 블록 또는 AxB 잔차 블록을 각각 MxN 변환부(640) 또는 AxB 변환부(642)로 전달한다. 즉, 부호화 모드 결정부(630)는 감산부(620)로부터 전달되는 MxN 잔차 블록 내 모든 잔차 신호 중 소정 크기의 임펄스 성분보다 큰 잔차 신호 즉, 임펄스 성분의 잔차 신호가 하나 이상 있는지 여부를 확인하여, 임펄스 성분의 잔차 신호가 하나 이상 있는 경우에는 하나 이상의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 구성하고, AxB 잔차 블록을 AxB 변환부(642)로 전달한다. 여기서, 부호화 모드 결정부(630)는 임펄스 성분의 잔차 신호가 있는지 여부를 확인하는 데 있어서, MxN 잔차 블록 내 모든 잔차 신호의 절대값을 기 설정된 값(기 설정된 소정 크기의 임펄스 성분의 잔차 신호의 값)과 비교하여 하나 이상의 잔차 신호의 절대값이 기 설정된 값 이상인지 여부를 확인하고, 기 설정된 값 이상인 잔차 신호가 잔차 블록 내에 포함되어 있는지 여부를 확인함으로써, 잔차 블록 내에 임펄스 성분의 잔차 신호가 있는지 여부를 확인할 수 있다.
AxB 잔차 블록은, 도 7에 도시한 바와 같이, MxN 잔차 블록 내에서 임펄스 성분의 잔차 신호를 모두 포함하는 사각형 형태의 블록으로 구성할 수 있다. AxB 잔차 블록에서, A와 B는 각각 사각형 형태의 블록의 행과 열의 수를 나타낸다. 도 7을 참조하면, 7A에 나타낸 바와 같이 MxN 잔차 블록의 최하단 행의 양끝에 임펄스 성분의 잔차 신호가 있는 경우, AxB 잔차 블록의 크기는 1x4가 된다. 이러한 방식으로 모든 임펄스 성분의 잔차 신호를 포함하도록 사각형 형태의 블록을 구성하면, 7B, 7C 및 7D에 도시한 바와 같이, AxB 잔차 블록의 크기는 각각 4x3, 2x2, 3x4가 된다.
이와 같이 구성된 AxB 잔차 블록 내의 잔차 신호는 AxB 블록 단위로 변환, 양자화, 스캔되어 부호화되는 AxB 부호화를 통해 비트스트림으로 생성되고, MxN 잔차 블록 내의 잔차 신호 중 AxB 잔차 블록에 포함되지 않은 나머지 잔차 신호는 임펄스 성분의 잔차 신호보다 무시해도 될 만큼 작다고 가정하여, 임의의 값으로 설정하여 부호화하는데, 임의의 값은 '0'이 될 수 있다. 도 8을 참조하면, 8A에 도시한 바와 같이, 잔차 신호 x1 내지 x16를 포함하는 MxN 잔차 블록에서 빗금친 임펄스 성분의 잔차 신호 x6, x9, x15를 모두 포함하도록 3x3 크기로 구성되는 AxB 잔차 블록의 x5 내지 x7, x9 내지 x11, x13 내지 x15는 3x3 블록 단위로 변환, 양자화, 스캔되어 부호화되고, 나머지 잔차 신호 x1 내지 x4, x8, x12, x16은 '0'과 같은 임의의 값으로 설정되어 부호화될 수 있다. 다만, '0'은 임의의 값을 예시적으로 나타낸 것일 뿐, 임의의 값이 반드시 '0'의 값을 가져야 하는 것은 아니며, '-1', '1' 등과 같이 다양한 값으로 설정될 수 있다.
즉, MxN 잔차 블록 내에서 AxB 잔차 블록을 제외한 나머지 잔차 신호는 임펄스 성분의 잔차 신호보다 무시해도 될 만큰 작다고 가정하므로, 나머지 잔차 신호의 값을 그대로 이용하지 않고 해당 블록, 매크로블록, 슬라이스, 픽처 등에서 영상 복호화 장치에서 AxB 잔차 블록에 추가하여 MxN 잔차 블록을 생성하고 복원할 때 최적의 성능을 낼 수 있는 값을 찾아 결정하고 그 값을 가지는 잔차 신호를 대체 잔차 신호로서 결정할 수 있으며, 이러한 대체 잔차 신호는 부호화되거나 그대로 대체 잔차 신호 정보가 되어 비트스트림에 포함될 수 있다. 추후 영상 복호화 장치에서는 MxN 잔차 블록을 복원할 때, 비트스트림으로부터 대체 잔차 신호 정보를 추출하고 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호의 값으로 AxB 잔차 블록을 제외한 나머지 잔차 신호로 이용할 수 있다. 이러한 대체 잔차 신호의 값은 전술한 바와 같이 영상 부호화 장치에서 최적의 성능을 낼 수 있는 값을 찾아서 결정할 수도 있지만, '0', '-1', '1' 등의 값으로 기 설정될 수도 있으며, 이 경우 대체 잔차 신호 정보가 생성되지 않고 비트스트림에 포함되지도 않을 수 있으며, 영상 복호화 장치에서도 기 설정된 값을 나머지 잔차 신호로 이용하여 MxN 잔차 블록을 복원할 수 있다.
임펄스 성분의 잔차 신호인지 여부를 판단하기 위해 기 설정하는 값(a)을 적절히 설정하면, 기 설정된 값(a)보다 작은 잔차 신호(b)는 -a<b<a (단, a는 양수)와 같은 범위 내에 존재하며, 변환, 양자화, 역 양자화, 역 변환 등의 과정을 거치면 양자화 오류가 추가되어 원래의 잔차 신호의 값 b가 아닌 다른 값 c가 될 수 있다. 예를 들어, b가 -2일 때, b를 변환, 양자화, 역 양자화, 역 변환하면, 양자화 오류가 추가되어 -3이라는 c값이 복원될 수 있으며, 더 나아가서는 그 부호가 달라져서 +1이라는 값이 복원될 수도 있다.
이러한 예처럼, 절대값이 작은 잔차 신호는 변환과 양자화, 역 양자화와 역 변환을 통해 복원되면 그 값이 '0' 주변에서 그 부호가 '+'에서 '-'로 또는 '-'에서 '+'로 변경될 수 있기 때문에, 임펄스 성분의 잔차 신호를 판별하기 위해 기 설정하는 값(a)를 적절히 설정하면, AxB 잔차 블록에 포함되지 않은 나머지 잔차 신호들은 평균적으로 '0'의 값으로 몰리게 되는 경향이 있다. 따라서, 임펄스 성분의 잔차 신호를 판별하기 위해 기 설정하는 값(a)를 적절히 설정하고, AxB 잔차 블록에 포함되지 않은 나머지 잔차 신호들의 값을 '0', '-1', '1' 등과 같은 기설정된 임의의 값으로 설정하함으로써 그 나머지 잔차 신호들은 따로 부호화하지 않거나 최적의 성능을 내는 대체 잔차 신호를 찾아 그 값만을 부호화하여도 손실이 발생하지 않는다. 따라서, 복호화를 위해 나머지 잔차 신호들의 값을 부호화하여 영상 복호화 장치로 보내 주지 않거나 나머지 잔차 신호들을 대체할 수 있는 하나의 대체 잔차 신호를 그대로 또는 부호화하여 대체 잔차 신호 정보만을 전송해 주면 되며, 영상 복호화 장치에서는 이와 같이 부호화된 비트스트림을 복호화할 때, 나머지 잔차 신호들에 대해서는 '0', '-1', '1' 등의 기 설정된 값으로 설정하거나 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호의 값으로 설정함으로써 원래의 잔차 신호들을 모두 복원할 수 있다.
또한, 부호화 모드 결정부(630)는 잔차 블록 내에 임펄스 성분의 잔차 신호가 있는 경우에는 AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기보다 작은지 여부를 확인하여, AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기보다 작은 경우에만 AxB 잔차 블록을 AxB 변환부(642)로 전달할 수 있다. 즉, 임펄스 성분의 잔차 신호를 모두 포함하는 AxB 잔차 블록을 구성하는데, AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기와 동일한 경우에는, MxN 잔차 블록 전체에 걸쳐서 임펄스 성분의 잔차 신호가 존재하기 때문에, 기존 방식 즉, MxN 잔차 블록으로 부호화한다.
또한, 부호화 모드 결정부(630)는 MxN 잔차 블록 내 모든 잔차 신호 중 임펄스 성분의 잔차 신호가 없는 경우에는 MxN 잔차 블록을 MxN 변환부(640)로 전달하여 현재 블록과 같은 크기의 블록 단위로 부호화할 수 있도록 하되, MxN 잔차 블록의 모든 잔차 신호를 임의의 값인 '0'으로 설정할 수 있다. 잔차 블록 내에 임펄스 성분의 잔차 신호가 없는 경우, 전술한 바와 같이, 모든 잔차 신호가 변환과 양자화 및 역 양자화와 역 변환된 후 복원되면 그 값이 '0' 근처에서 몰리기 때문에, '0'으로 설정하여 부호화하더라도 큰 손실이 없을 수 있기 때문이다.
또한, 부호화 모드 결정부(630)는 AxB 잔차 블록을 부호화하는 것으로 결정하면, AxB 잔차 블록의 블록 형태 정보, AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 식별 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 부호화부(670)로 전달할 수 있다. 여기서, AxB 부호화란 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 구성하고 AxB 잔차 블록을 AxB 블록 단위로 예측, 변환, 양자화하고 스캔하여 부호화하는 것을 말한다. 부호화 모드 결정부(630)는 AxB 잔차 블록의 블록 형태 정보와 AxB 잔차 블록의 블록 위치 정보를 AxB 변환부(642)로 전달한다.
예를 들어, AxB 잔차 블록의 블록 형태 정보로서는 3x4, 2x3 등의 블록 크기를 지정한 정보가 될 수 있으며, AxB 잔차 블록의 블록 위치 정보로서는 MxN 잔차 블록 내에서 처음으로 임펄스 성분의 잔차 신호가 나타나는 위치에 대한 좌표의 수직 성분값과 수평 성분값으로 나타내거나 AxB 잔차 블록의 제일 좌측의 제일 상단의 잔차 신호의 위치가 MxN 잔차 블록 내에서 어느 곳에 위치하는지를 나타내는 좌표 등의 정보가 될 수 있으며, AxB 블록 단위로 부호화를 수행했음을 나타내는 부호화 식별 정보로서는 '1' 또는 '0' 값을 갖는 플래그가 되어, 플래그가 '1'인 경우에는 AxB 블록 단위로 부호화했음을 나타내고 '0'인 경우에는 MxN 블록 단위로 부호화했음을 나타낼 수 있다.
AxB 변환부(642)는 부호화 모드 결정부(630)로부터 AxB 잔차 블록의 블록 형태 정보와 AxB 잔차 블록의 블록 위치 정보 및 AxB 잔차 블록을 전달받으면, AxB 블록 단위로 주파수 변환을 수행하여 주파수 계수를 갖는 AxB 잔차 블록을 생성한다. AxB 변환부(642)는 다양한 변환 방식으로 변환을 수행할 수 있다. 예를 들어, AxB 잔차 블록의 각 행과 각 열의 잔차 신호에 대해 1차원 변환을 각각 수행한다.
도 9를 참조하면, Y=A X B라는 식과 같은 행렬의 곱으로 변환을 수행할 수 있다. 도 9에서, 행렬 X는 3x2 블록 크기를 갖는 AxB 잔차 블록을 나타내는 행렬이며, 행렬 A는 길이가 A인 1차원 수평 방향 기저벡터 {(a1, a2, a3), (b1, b2, b3), (c1, c2, c3)}를 포함하는 행렬을 나타내며, 행렬 B는 길이가 B인 1차원 수직 방향 기저벡터{(d1, d2), (e1, e2)}를 포함하는 행렬을 나타낸다. 행렬은 Y는 A 행렬, X 행렬, B 행렬의 곱으로써 수직 방향과 수평 방향으로 변환된 변환 계수를 나타낸다. 임펄스 성분의 잔차 신호보다 작은 값을 갖는 나머지 잔차 신호들은 무시해도 될 만큼 작다고 가정한 값이므로, '0'으로 가정한다.
AxB 양자화부(652)는 AxB 변환부(642)에 의해 변환된 AxB 잔차 블록을 양자화하여, 양자화 주파수 계수를 갖는 잔차 블록을 생성한다. 이를 위해, AxB 양자화부(652)는 양자화 파라미터(QP: Quantization Parameter)에 따라 주어지는 양자화 단계(Q Step: Quantization Step)을 이용하여 양자화할 수 있다.
스캔부(660)는 MxN 양자화부(650)에 의해 양자화된 MxN 잔차 블록의 양자화 주파수 계수를 지그재그 스캔과 같은 기존의 스캔 방식을 이용하여 양자화 주파수 계수열을 생성하거나, AxB 양자화부(652)에 의해 양자화된 AxB 잔차 블록의 양자화 주파수 계수를 AxB 블록 형태에 따라 다른 스캔 방식을 이용하여 양자화 주파수 계수열을 생성한다.
예를 들어, 스캔부(660)는 플래그의 값이 '0'이어서 부호화 식별 정보가 MxN 부호화를 나타내는 경우, MxN 양자화부(650)에 의해 양자화된 MxN 잔차 블록의 양자화 주파수 계수를 통상적인 지그재그 스캔 방식에 따라 스캔하고, 플래그 값이 '1'이어서 부호화 식별 정보가 AxB 부호화를 나타내는 경우, AxB 양자화부(652)에 의해 양자화된 AxB 잔차 블록의 양자화 주파수 계수를 통상적인 지그재그 스캔 방식을 AxB 블록 형태에 따라 수정한 스캔 방식에 따라 스캔한다. 이러한 수정된 스캔 방식은 도 10에 예시적으로 나타낸 바와 같은 방식일 수 있으며, AxB 블록 형태에 따라 다양한 스캔 방식으로 수정될 수 있다.
부호화부(670)는 스캔부(660)에서 스캔한 양자화 주파수 계수열을 엔트로피 부호화 등 다양한 부호화 기법을 이용하여 부호화함으로써 비트스트림을 생성한다. 이때, 부호화부(670)는 변환 모드 결정부(630)로부터 전달된 모드 정보를 비트스트림에 삽입할 수 있다.
MxN 역 양자화부(680)는 MxN 양자화부(650)에 의해 양자화된 MxN 잔차 블록의 양자화 주파수 계수를 역 양자화하여 주파수 계수를 갖는 MxN 잔차 블록을 생성하고, MxN 역 변환부(690)는 MxN 역 양자화부(680)에 의해 역 양자화된 MxN 잔차 블록의 주파수 계수를 역 변환하여 복원된 잔차 신호를 갖는 복원된 MxN 잔차 블록을 생성한다.
AxB 역 양자화부(682)는 AxB 양자화부(652)에 의해 양자화된 AxB 잔차 블록의 양자화 주파수 계수를 역 양자화하여 주파수 계수를 갖는 AxB 잔차 블록을 생성하고, AxB 역 변환부(692)는 AxB 역 양자화부(682)에 의해 역 양자화된 AxB 잔차 블록의 주파수 계수를 역 변환하여 복원된 잔차 신호를 갖는 복원된 AxB 잔차 블록을 생성한다. 여기서, AxB 역 양자화하고 AxB 역 변환하는 것은 전술한 AxB 양자화하고 AxB 변환하는 것을 역으로 수행하면 된다.
MxN 잔차 블록 생성부(694)는 AxB 역 변환부(692)로부터 전달되는 AxB 잔차 블록을 MxN 잔차 블록의 해당 위치에 대입하여 MxN 잔차 블록을 복원한다. 이때, MxN 잔차 블록 생성부(694)는 AxB 잔차 블록의 블록 위치 정보를 이용하여 해당 위치에 대입할 수 있으며, AxB 잔차 블록에 포함되지 않는 나머지 잔차 신호에는 임의의 값(예를 들면 '0')을 할당함으로써, 최종적인 MxN 잔차 블록을 생성한다.
가산부(696)는 MxN 역 변환부(690) 또는 MxN 잔차 블록 생성부(694)로부터 전달되는 복원된 MxN 잔차 블록을 예측부(610)에서 예측된 예측 블록과 가산하여 현재 블록을 복원한다. 이와 같이 복원된 현재 블록은 픽처 단위로 누적되어 참조 픽처로서 저장되며, 다음 블록을 예측하는 데 활용될 수 있다.
도 11은 본 발명의 제 1 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
영상 부호화 장치(600)는 부호화하고자 하는 영상이 입력되면 영상을 매크로블록 또는 매크로블록의 서브 블록 단위로 구분하고 인터 예측 모드 또는 인트라 예측 모드 등의 다양한 부호화 모드 중 최적의 부호화 모드를 결정하여 결정된 부호화 모드에 따라 부호화하고자 하는 현재 블록을 예측하여 부호화한다. 이때, 부호화 모드로서 인트라 모드가 결정되어 인트라 예측을 수행하는 경우, 영상 부호화 장치(600)는 부호화하고자 하는 현재 블록을 예측하여 예측 블록을 생성하고, 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하는데(S1110), 현재 블록의 크기가 MxN 크기라면, MxN 크기를 갖는 MxN 잔차 블록이 생성된다.
영상 부호화 장치(600)는 MxN 잔차 블록 내의 잔차 신호를 분석하여 임펄스 성분의 잔차 신호가 있는지 여부를 확인한다(S1120). 영상 부호화 장치(600)는 단계 S1120의 확인 결과, 임펄스 성분의 잔차 신호가 있는 경우에는 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 구성하고, AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기보다 작은지 여부를 확인하여(S1130), 작은 경우에만 AxB 잔차 블록을 부호화하여 비트스트림을 생성한다(S1140). AxB 잔차 블록을 부호화하는 방법에 대해서는 도 6 내지 도 10을 통해 전술한 바와 같다.
한편, 영상 부호화 장치(600)는 단계 S1120의 확인 결과, 잔차 블록 내에 임펄스 성분의 잔차 신호가 없는 경우에는 MxN 잔차 블록의 모든 잔차 신호를 '0'으로 설정하고(S1150), MxN 잔차 블록을 부호화하여 비트스트림을 생성한다(S1160). 또한, 영상 부호화 장치(600)는 단계 S1130의 확인 결과, 잔차 블록 내에 임펄스 성분의 잔차 신호가 있지만 AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기보다 작지 않고 같은 경우에는 단계 S1160으로 진행하여 MxN 잔차 블록을 부호화한다. 이때, 부호화되는 MxN 잔차 블록은 단계 S1150을 거치지 않은 잔차 블록 즉, 단계 S1110에서 생성된 MxN 잔차 블록이다.
이와 같은 방식으로 부호화하면, 임펄스 성분의 잔차 신호를 포함하는 작은 크기의 잔차 블록의 잔차 신호만을 부호화하고 나머지 잔차 신호는 '0', '-1', '1' 등 기 설정된 임의의 값으로 설정하여 부호화하지 않거나 나머지 잔차 신호들을 대표해서 최적의 성능을 가지는 대체 잔차 신호 하나만을 부호화하면 되므로, 부호화되어 생성되는 비트스트림의 양을 줄일 수 있고 그에 따라 압축 효율이 향상된다.
*영상 부호화 장치(600)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 12는 본 발명의 제 1 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 제 1 실시예에 따른 영상 복호화 장치(1200)는 복호화부(1210), 역 스캔부(1220), MxN 역 양자화부(1230), AxB 역 양자화부(1230), MxN 역 변환부(1240), AxB 역 변환부(1242), MxN 잔차 블록 생성부(1250), 예측부(1260) 및 가산부(1270)를 포함하여 구성될 수 있다.
이러한 영상 부호화 장치(1200)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
복호화부(1210)는 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하여 역 스캔부(1220)로 전달한다. 이때, 복호화부(1210)는 비트스트림으로부터 모드 정보를 추출할 수 있는데, 모드 정보는 도 6을 통해 전술한 모드 정보와 동일한 정보일 수 있으며, 역 스캔부(1220)로 전달된다.
역 스캔부(1220)는 복호화부(1210)로부터 전달되는 양자화 주파수 계수열을 역 스캔하는데, 복호화부(1210)로부터 전달되는 모드 정보에 따라 기존의 지그재그 스캔 방식을 이용하여 양자화 주파수 계수열을 역 스캐닝하여 양자화 주파수 계수를 갖는 MxN 잔차 블록을 생성하거나 AxB 블록 형태에 따라 수정한 스캔 방식을 이용하여 양자화 주파수 계수열을 역 스캐닝하여 양자화 주파수 계수를 갖는 AxB 잔차 블록을 생성할 수 있다. 예를 들어, 모드 정보에 포함된 부호화 식별 정보를 나타내는 플래그가 '0'인 경우에는, 기존의 지그재그 스캔 방식에 따라 양자화 주파수 계수열을 역 스캐닝하고, 부호화 식별 정보를 나타내는 플래그가 '1'인 경우에는, 모드 정보에 포함된 AxB 블록 형태 정보에 의해 식별되는 블록의 형태에 따라 다른 지그재그 스캔 방식으로 양자화 주파수 계수열을 역 스캐닝할 수 있다. AxB 블록 형태 정보에 의해 식별되는 블록의 형태에 따라 다른 지그재그 스캔 방식으로 역 스캐닝하는 것은 도 10을 통해 전술한 스캔 방식의 역순으로 스캐닝함으로써 수행될 수 있다. 이와 같이, 모드 정보에 따라 다른 역 스캐닝을 수행하여 각 잔차 블록이 생성되면, 역 스캔부(1220)는 생성된 잔차 블록이 MxN 잔차 블록인 경우에는 MxN 역 양자화부(1230)로 전달하고, AxB 잔차 블록인 경우에는 AxB 역 양자화부(1232)로 전달한다.
MxN 역 양자화부(1230)와 MxN 역 변환부(1240) 및 AxB 역 양자화부(1232)와 AxB 역 변환부(1242)는 도 6을 통해 전술한 MxN 역 양자화부(680)와 MxN 역 변환부(690) 및 AxB 역 양자화부(682)와 AxB 역 변환부(692)와 동일 또는 유사한 기능을 수행하므로 상세한 설명은 생략한다.
MxN 잔차 블록 생성부(1250)는 AxB 역 변환부(1242)로부터 전달되는 AxB 잔차 블록을 MxN 잔차 블록의 해당 위치에 대입하여 MxN 잔차 블록을 복원한다. 이때, MxN 잔차 블록 생성부(1250)는 복호화부(1210)에 의해 비트스트림으로부터 추출된 AxB 잔차 블록의 블록 위치 정보를 이용하여 해당 위치에 대입할 수 있으며, AxB 잔차 블록에 포함되지 않는 나머지 잔차 신호에는 기 설정된 임의의 값(예를 들면 '0', '-1', '1' 등)을 할당하거나 비트스트림으로부터 대체 잔차 신호 정보를 추출한 경우에는 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호의 값으로 설정함으로써, 최종적인 MxN 잔차 블록을 생성한다.
예측부(1260)는 현재 블록을 예측하여 예측 블록을 생성하고, 가산부(1270)는 MxN 역 변환부(1240) 또는 MxN 잔차 블록 생성부(1250))로부터 전달되는 복원된 MxN 잔차 블록을 예측부(1260)에서 예측된 예측 블록과 가산하여 현재 블록을 복원한다. 이와 같이 복원된 현재 블록은 픽처 단위로 누적되어 복원 영상으로서 출력되거나 참조 픽처로서 저장되며, 다음 블록을 예측하는 데 활용될 수 있다.
도 13은 본 발명의 제 1 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
유무선 통신망 또는 케이블 등을 통해 영상에 대한 비트스트림을 수신하여 저장한 영상 복호화 장치(1200)는 사용자의 선택 또는 실행 중인 다른 프로그램의 알고리즘에 따라 영상을 재생하기 위해, 영상을 복호화하여 복원한다.
이를 위해, 영상 복호화 장치(1200)는 비트스트림을 복호화하여 잔차 블록을 추출한다(S1310). 이때, 영상 복호화 장치(1200)는 비트스트림에서 모드 정보를 추출한다.
영상 복호화 장치(1200)는 모드 정보를 확인하여 모드 정보에 AxB 부호화를 나타내는 부호화 식별 정보가 포함되었는지 여부를 판단하여(S1320), 모드 정보에 AxB 부호화를 나타내는 부호화 식별 정보가 포함된 경우에는 AxB 잔차 블록을 모드 정보에 포함된 블록 형태 정보에 따라 역 스캔하고 AxB 블록 단위로 역 양자화하여 역 변환함으로써, AxB 잔차 블록을 복원하고(S1330), 모드 정보에 포함된 블록 위치 정보에 따라 복원된 AxB 잔차 블록을 MxN 잔차 블록에 대입하고 나머지 잔차 신호를 기 설정된 임의의 값 또는 비트스트림으로부터 추출되는 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호의 값으로 할당함으로써, MxN 잔차 블록을 복원한다(S1340). 한편, 영상 복호화 장치(1200)는 단계 S1320의 판단 결과, 모드 정보에 AxB 부호화를 나타내는 부호화 식별 정보가 포함되지 않은 경우에는 MxN 잔차 블록을 통상적인 방식에 따라 역 스캔하고 역 양자화하여 역 변환함으로써 복원한다(S1350).
영상 복호화 장치(1200)는 현재 블록을 예측하여 예측 블록을 생성하고, 단계 S1340 또는 단계 S1350에서 복원된 MxN 잔차 블록과 가산하여 현재 블록을 복원한다(S1360). 이와 같이, 복원된 현재 블록은 픽처 단위로 저장되어 복원 영상으로서 출력되거나 참조 픽처로서 저장되어 다음 블록을 예측하는 데 활용된다.
도 14는 본 발명의 제 2 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 제 2 실시예에 따른 영상 부호화 장치(1400)는 영상을 부호화하는 장치로서, 도 6을 통해 전술한 본 발명의 제 1 실시예에 따른 영상 부호화 장치(600)의 모든 구성 요소를 포함할 뿐만 아니라, 비율 계산부(1410)를 추가로 포함한다. 본 발명의 제 2 실시예에 따른 영상 부호화 장치(1400)는 도 6을 통해 전술한 본 발명의 제 1 실시예에 따른 영상 부호화 장치(600)와 같이, 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하는 AxB 부호화를 수행하는데, 다만 AxB 잔차 블록 내의 전체 잔차 신호 중에서 임펄스 성분의 잔차 신호가 차지하는 비율인 임펄스 비율에 따라 AxB 부호화를 수행할지 여부를 결정한다. 이하에서는 도 6을 통해 전술한 나머지 구성 요소에 대한 상세한 설명은 생략한다.
비율 계산부(1410)는 부호화 모드 결정부(620)에 의해 AxB 부호화가 결정되어 AxB 잔차 블록을 전달받으면, AxB 잔차 블록 내의 전체 잔차 신호 중에서 임펄스 성분의 잔차 신호가 차지하는 비율인 임펄스 비율(AxB 잔차 블록 내의 임펄스 성분의 잔차 신호의 개수/AxB 잔차 블록 내의 전체 잔차 신호의 개수)을 계산하고, 계산된 비율을 기 설정된 임계값과 비교하여 임계값 이상인 경우에만 AxB 잔차 블록과 모드 정보를 AxB 변환부(643)로 전달하고, 임계값 미만인 경우에는 기존 방식처럼 MxN 잔차 블록을 부호화할 수 있도록, MxN 잔차 블록을 MxN 변환부(640)로 전달하거나 부호화 모드 결정부(620)로 하여금 MxN 잔차 블록을 MxN 변환부(640)로 전달하도록 제어한다. 따라서, 임펄스 비율이 임계값 이상인 경우에만 부호화 식별 정보를 나타내는 플래그를 '1'로 설정하여 AxB 부호화를 수행함을 나타낼 수 있고, 부호화 식별 정보와 블록 형태 정보와 블록 위치 정보를 AxB 변환부(642)로 전달할 수 있으며, 임펄스 비율이 임계값 미만인 경우에는 부호화 식별 정보를 나타내는 플래그를 '0'로 설정할 수 있다.
도 15는 본 발명의 제 2 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
본 발명의 제 2 실시예에 따른 영상 부호화 방법은 단계 S1510 내지 단계 S1530는 도 11을 통해 전술한 단계 S1110 내지 단계 S1130과 동일 또는 유사하고, 단계 S1550 내지 단계 S1570은 도 11을 통해 전술한 단계 S1140 내지 단계 S1160과 동일 또는 유사하다. 다만, 본 발명의 제 2 실시예에 따른 영상 부호화 방법에 따르면, 영상 부호화 장치(1400)는 단계 S1530에서 AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기보다 작은 경우 임펄스 비율을 계산하고 기 설정된 임계값과 비교하여(S1540), 임펄스 비율이 임계값 이상인 경우에만 단계 S1550으로 진행하여 AxB 잔차 블록을 부호화하여 비트스트림을 생성하고, 임펄스 비율이 임계값 미만인 경우에는 단계 S1570으로 진행하여 MxN 잔차 블록을 부호화하여 비트스트림을 생성한다.
본 발명의 제 2 실시예에 따른 영상 복호화 장치는 도 12를 통해 전술한 본 발명의 제 1 실시예에 따른 영상 복호화 장치(1200)와 동일하게 구성되며, 영상을 부호화하여 비트스트림을 생성하는 방법도 도 11을 통해 전술한 본 발명의 제 1 실시예에 따른 영상 복호화 방법과 동일하다. 이는 영상 부호화 장치(1400)에서 임펄스 비율에 따라 그 부호화 방식을 달리할 뿐, 복호화 방법은 동일하기 때문이다.
도 16은 본 발명의 제 3 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 제 3 실시예에 따른 영상 부호화 장치(1600)는 도 6을 통해 전술한 본 발명의 제 1 실시예에 따른 영상 부호화 장치(600)의 모든 구성 요소를 포함하여 구성된다. 다만, 부호화 모드 결정부(1610)와 MxN 잔차 블록 생성부(1620)의 기능이 각각 부호화 모드 결정부(630)와 MxN 잔차 블록 생성부(694)의 기능과 일부 상이하다.
즉, 본 발명의 제 3 실시예에 따른 영상 부호화 장치(1600)의 부호화 모드 결정부(1610)는 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 구성할 때, 사각형 블록 형태뿐만 아니라 대각선 방향으로 위치한 임펄스 성분의 잔차 신호를 포함할 수 있도록 대각선 블록 형태의 AxB 잔차 블록을 구성할 수 있다.
이를 위해, 부호화 모드 결정부(1610)는 AxB 잔차 블록을 구성할 때, MxN 잔차 블록 내에 대각선 방향의 임펄스 성분의 잔차 신호가 있는지 여부를 판단하여, 대각선 방향의 임펄스 성분의 잔차 신호가 없는 경우에는 전술한 사각형 블록 형태로 AxB 잔차 블록을 구성하고, 대각선 방향의 임펄스 성분의 잔차 신호가 있는 경우에는 대각선 블록 형태로 AxB 잔차 블록을 구성한다.
도 17을 참조하면, MxN 잔차 블록이 4x4 크기의 블록이고 대각선으로 세 개의 잔차 신호가 임펄스 성분의 잔차 신호라고 가정하면, 17A에 나타낸 바와 같이 본 발명의 제 1 실시예에 따라 AxB 잔차 블록을 구성하는 경우에는, AxB 잔차 블록이 3x3 크기의 블록이 되고, 6 개의 잔차 신호를 부호화해야 한다. 반면, 17C에 나타낸 바와 같이 본 발명의 제 3 실시예에 따라 AxB 잔차 블록을 구성하는 경우에는, AxB 잔차 블록이 1x3 크기의 블록이 되고, 3 개의 잔차 신호만을 부호화해도 된다.
마찬가지로, MxN 잔차 블록이 4x4 크기의 블록이고 대각선으로 세 개의 잔차 신호 두 쌍이 임펄스 성분의 잔차 신호라고 가정하면, 17B에 나타낸 바와 같이 본 발명의 제 1 실시예에 따라 AxB 잔차 블록을 구성하는 경우에는, AxB 잔차 블록이 4x4 크기의 블록이 되어 AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기와 동일하게 되고 16개의 잔차 신호를 부호화해야 한다. 반면, 17D에 나타낸 바와 같이 본 발명의 제 3 실시예에 따라 AxB 잔차 블록을 구성하는 경우에는, AxB 잔차 블록이 2x3 크기의 블록이 되어 AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기보다 작게 되고 6개의 잔차 신호만을 부호화해도 된다.
따라서, 도 17을 통해 알 수 있듯이, 본 발명의 제 3 실시예에 따라 AxB 잔차 블록을 구성하면, AxB 잔차 블록의 크기를 줄일 수 있고 그만큼 부호화해야 하는 잔차 신호의 개수를 줄일 수 있을 뿐만 아니라, AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기와 동일해지는 경우를 줄일 수 있으며, 본 발명의 제 2 실시예와 결합하여 구현되는 경우에는 임펄스 비율을 높일 수 있으므로, AxB 부호화를 수행할 수 있는 비율이 높아져서, 압축 효율을 더욱 향상시킬 수 있다.
또한, 부호화 모드 결정부(1610)는 대각선 블록 형태로 AxB 잔차 블록을 구성하였음을 나타내는 대각선 블록 식별 정보와 대각선 블록 형태로 AxB 잔차 블록을 구성한 각 임펄스 성분의 잔차 신호의 위치를 나타내는 대각선 위치 정보를 모드 정보로서 추가로 생성하며, 이러한 정보를 MxN 잔차 블록 생성부(1620)로 전달한다.
MxN 잔차 블록 생성부(1620)는 AxB 역 양자화부(692)로부터 복원된 AxB 잔차 블록이 전달되면 MxN 잔차 블록을 생성하는데, 부호화 모드 결정부(1610)로부터 전달된 대각선 블록 식별 정보를 통해 복원된 AxB 잔차 블록이 대각선 블록 형태의 잔차 블록임을 식별하고, 대각선 위치 정보를 통해 복원된 AxB 잔차 블록의 각 잔차 신호를 대각선 위치로 나열하여 MxN 잔차 블록에 대입하고, 나머지 잔차 신호들은 기 설정된 임의의 신호(예를 들면, '0', '-1', '1' 등)로 할당하거나 비트스트림으로부터 추출되는 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호의 값으로 설정함으로써, 최종적으로 복원된 MxN 잔차 블록을 생성한다.
본 발명의 제 3 실시예에 따른 영상 복호화 장치의 구성은 도시하지 않았지만, 도 12를 통해 전술한 제 1 실시예에 따른 영상 복호화 장치(1200)의 구성과 동일하다. 다만, 복호화부(1210)에서 비트스트림으로부터 추출된 모드 정보에는 대각선 블록 식별 정보와 대각선 위치 정보가 추가로 포함되며, 이 정보들은 MxN 잔차 블록 생성부(1250)로 전달된다. 본 발명의 제 3 실시예에 따른 MxN 잔차 블록 생성부(1250)는, 도 16을 통해 전술한 MxN 잔차 블록 생성부(1620)과 같이, 대각선 블록 식별 정보와 대각선 위치 정보를 이용하여 대각선 블록 형태의 AxB 잔차 블록을 MxN 잔차 블록에 대입하고 나머지 잔차 신호를 임의의 값 또는 비트스트림으로부터 추출되는 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호의 값으로 할당하여 복원된 MxN 잔차 블록을 생성한다.
한편, 전술한 본 발명의 제 1 실시예 내지 제 3 실시예에서는 영상 부호화 장치(600, 1400, 1600)는 MxN 잔차 블록이 변환되고 양자화되어 생성되는 양자화 주파수 계수가 모두 '0'인지 여부를 미리 판단하여, 모두 '0'인 경우에는 MxN 부호화를 수행하고, 적어도 하나 이상이 '0'이 아닌 경우에는 AxB 부호화를 수행할 수 있다. 즉, 스캔부(660)와 MxN 양자화부(650) 및 AxB 양자화부(652) 사이에 계수 판별부를 추가로 구성하여, 계수 판별부에서 MxN 양자화부(650)로부터 출력되는 양자화된 잔차 블록의 양자화 주파수 계수를 확인하여 모든 양자화 주파수 계수가 '0'인 경우에는 MxN 양자화부(650)로부터 출력되는 양자화된 잔차 블록을 스캔부(660)로 전달하고 MxN 부호화를 나타내는 부호화 식별 정보와 같은 모드 정보를 생성하거나 비트스트림에 포함시키지 않음으로써, 기존의 MxN 부호화가 수행되도록 할 수 있으며, 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에만 MxN 양자화부(650)로부터 출력되는 양자화된 잔차 블록 또는 AxB 양자화부(652)로부터 출력되는 양자화된 잔차 블록을 스캔부(660)로 전달하고 MxN 부호화를 부호화 식별 정보를 포함하는 모드 정보 또는 AxB 부호화를 나타내는 부호화 식별 정보, 블록 형태 정보, 블록 위치 정보를 포함하는 모드 정보를 비트스트림에 포함시킴으로써, MxN 부호화 또는 AxB 부호화가 수행되도록 할 수 있다. 따라서, 제 1 실시예 내지 제 3 실시예에서는 영상 부호화 장치(600, 1400, 1600)는 MxN 잔차 블록이 변환되고 양자화되어 생성되는 양자화 주파수 계수가 모두 '0'인 경우, 모드 정보를 비트스트림에 포함시키지 않고, 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에만 모드 정보를 비트스트림에 포함시킬 수 있다.
마찬가지로, 전술한 본 발명의 제 1 실시예 내지 제 3 실시예에 따른 영상 복호화 장치(1200)는 비트스트림을 복호화하여 복원되는 양자화 주파수 계수가 모두 '0'인 경우(또는 비트스트림에 포함된 부호화된 블록 형태(CBP: Coded Block Pattern)를 통해 알 수 있음)에는 비트스트림으로부터 모드 정보를 읽어 들이지 않고 양자화 주파수 계수를 역 양자화 및 역 변환하여 MxN 잔차 블록을 복원하여 현재 블록을 복원하고, 비트스트림을 복호화하여 복원되는 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우(또는 비트스트림에 포함된 부호화된 블록 형태(CBP: Coded Block Pattern)를 통해 알 수 있음)에는 비트스트림으로부터 모드 정보를 읽어 들여 부호화 식별 정보를 통해 MxN 부호화인지 또는 AxB 부호화인지 여부를 판단하고, MxN 부호화인 경우에는 MxN 잔차 블록을 복원하여 현재 블록을 복원하고, AxB 부호화인 경우에는 모드 정보로부터 블록 형태 정보와 블록 위치 정보를 추가로 읽어들여 AxB 잔차 블록을 복원하여 현재 블록을 복원할 수 있다.
도 18은 본 발명의 제 4 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 제 4 실시예에 따른 영상 부호화 장치(1800)는 도 6을 통해 전술한 본 발명의 제 1 실시예에 따른 영상 부호화 장치(600)의 모든 구성 요소를 포함하여 구성되되, 계수 판별부(1820)가 추가로 포함되어 구성되며, 부호화 모드 결정부(1810)의 일부 기능이 변경된다. 이하에서는 도 6을 통해 전술한 나머지 구성 요소에 대한 상세한 설명은 생략한다.
본 발명의 제 4 실시예에 따른 영상 부호화 장치(1800)는 도 6을 통해 전술한 본 발명의 제 1 실시예에 따른 영상 부호화 장치(600)와 같이, 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하는 AxB 부호화를 수행한다. 다만, 기존 방식으로 MxN 잔차 블록을 부호화해서 양자화된 잔차 블록의 모든 양자화 주파수 계수의 값이 '0'인지 여부를 판단하여, 모두 '0'인 경우에는 기존 방식으로 예측, 변환 및 양자화된 MxN 잔차 블록을 기존의 지그재그 스캔 방식으로 스캔하여 부호화함으로써 비트스트림을 생성하고, 하나 이상이 '0'이 아닌 경우에는 AxB 블록 단위로 예측, 변환 및 양자화하고 AxB 잔차 블록의 형태에 따라 스캔 방식을 달리하여 스캔하고 부호화함으로써 비트스트림을 생성하는 AxB 부호화를 수행한다. 또한, AxB 부호화를 수행하는 경우에는 AxB 잔차 블록의 화소 개수가 기 설정된 개수 이하인지 여부를 판단하여, 기 설정된 개수 이하인 경우에는 AxB 부호화를 수행하고, 기 설정된 개수를 초과한 경우에는 기존 방식으로 MxN 잔차 블록을 부호화한다. 예를 들면, 기 설정된 값이 8인 경우, A와 B를 곱한 값이 8이하인 잔차 블록은 AxB 부호화를 수행하고 8을 초과하는 잔차 블록은 MxN 부호화를 수행한다. 1x1, 2x3, 4x2와 같은 잔차 블록의 경우에는 잔차 블록의 화소의 개수가 8이하이므로 AxB 부호화를 수행한다.
이를 위해, 부호화 모드 결정부(1810)는 도 6을 통해 전술한 부호화 모드 결정부(630)와 같이 AxB 부호화를 수행할지 여부를 결정할 뿐만 아니라, AxB 부호화를 수행하는 경우에는 AxB 잔차 블록의 화소 개수가 기 설정된 개수 이하인지 여부를 판단하여, 기 설정된 개수 이하인 경우에는 AxB 부호화를 수행하기 위해 AxB 잔차 블록을 AxB 변환부(642)로 전달하고, 기 설정된 개수를 초과하는 경우에는 기존 방식으로 MxN 잔차 블록을 부호화하기 위해 MxN 잔차 블록을 MxN 변환부(640)로 전달한다.
계수 판별부(1820)는 MxN 양자화부(650)로부터 전달된 양자화된 잔차 블록의 모든 양자화 주파수 계수의 값이 '0'인지 여부를 판단하여, 모두 '0'인 경우에는 기존 방식으로 예측, 변환 및 양자화된 MxN 잔차 블록을 스캔부(660)로 전달하면서 MxN 부호화를 나타내는 부호화 식별 정보를 포함하는 모드 정보를 비트스트림에 포함시키지 않고 기존의 지그재그 스캔 방식으로 스캔하도록 하고, 하나 이상이 '0'이 아닌 경우에는 AxB 잔차 블록의 화소 개수가 기 설정된 개수 이하인지 여부를 판단하여, 이하인 경우에만 AxB 부호화를 나타내는 부호화 식별 정보와 블록 형태 정보 및 블록 위치 정보를 포함하는 모드 정보를 비트스트림에 포함시키고 AxB 양자화부(652)로부터 전달되는 양자화된 AxB 잔차 블록을 스캔부(660)로 전달하면서 AxB 잔차 블록의 블록 형태에 따라 스캔 방식을 달리하여 스캔하도록 한다. AxB 잔차 블록의 화소 개수가 기 설정된 개수를 초과하는 경우에는 MxN 부호화를 나타내는 부호화 식별 정보를 포함하는 모드 정보를 비트스트림에 포함시키지 않고 기존의 방식으로 부호화한다.
도 19는 본 발명의 제 4 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
영상 부호화 장치(1800)는 MxN 블록 단위로 부호화하는 기존 부호화 방식에 따라 양자화된 MxN 잔차 블록의 양자화 주파수 계수가 모두 '0'인지 여부를 판단한다(S1910). 단계 S1910의 판단 결과 모두 '0'인 경우, 영상 부호화 장치(1800)는 기존 방식 즉, MxN 블록 단위로 부호화된 양자화 주파수 계수를 기존의 지그재그 스캔 방식 등으로 스캔하여 부호화함으로써 비트스트림을 생성한다(S1920). 단계 S1910의 판단 결과 하나 이상이 '0'이 아닌 경우, 영상 부호화 장치(1800)는 AxB 잔차 블록의 화소 개수가 기 설정된 개수 이하인지 여부를 확인한다(S1930). 단계 S1930의 확인 결과 기 설정된 개수를 초과하는 경우에는 S1920으로 진행하여 기존 방식으로 부호화하고, 기 설정된 개수 이하인 경우에는 AxB 블록 단위로 AxB 잔차 블록을 부호화하는 AxB 부호화를 수행하여 비트스트림을 생성한다(S1940).
이와 같은 본 발명의 제 4 실시예에 따르면, MxN 잔차 블록의 양자화된 잔차 블록의 양자화 주파수 계수가 모두 '0'인지 여부를 미리 판단하고 AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인지 여부를 판단함으로써, 모든 잔차 블록마다 MxN 부호화 또는 AxB 부호화를 나타내는 부호화 식별 정보를 포함하는 모드 정보를 포함시키지 않고, 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아니고 AxB 잔차 블록의 화소 개수가 기 설정된 개수 이하인 때만 AxB 부호화를 나타내는 부호화 식별 정보와 블록 형태 정보 및 블록 위치 정보를 비트스트림에 포함시킬 수 있다. 따라서, 블록의 특성에 따라 부호화 식별 정보, 블록 형태 정보 및 블록 위치 정보를 포함하는 모드 정보를 위한 비트량을 줄일 수 있다.
또한, 본 발명의 제 4 실시예에 따르면, AxB 잔차 블록의 화소 개수가 기 설정된 개수 이하인 경우에만 AxB 부호화를 수행하므로, AxB 잔차 블록의 화소수가 적어져서 AxB 잔차 블록을 부호화한 데이터의 비트수를 줄일 수 있다.
본 발명의 제 4 실시예에 따른 영상 복호화 장치는 도 12를 통해 전술한 본 발명의 제 1 실시예에 따른 영상 복호화 장치(1200)의 모든 구성 요소를 포함한다. 단, 복호화부(1210)는 비트스트림으로부터 양자화 주파수 계수열을 얻을 때 양자화 주파수 계수의 개수가 기 설정된 개수 이하인지 확인한 후, 이하일 경우에 비트스트림으로부터 모드 정보를 추출하여 부호화 식별 정보를 확인한 후 AxB 부호화일 경우 모드 정보로부터 블록 형태 정보와 블록 위치 정보를 추출한다. 즉, AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인 경우에만 AxB 블록 단위로 복호화하기 위해 양자화 주파수 계수열의 양자화 주파수 계수의 개수를 먼저 확인한다는 점이 제 1 실시예와 다르다.
예를 들어, 본 발명의 제 4 실시예에 따른 영상 복호화 장치는 양자화 주파수 계수열의 토탈 계수(Total Coefficient)와 토탈 제로(Totalzero)를 통해 해당 블록의 양자화 주파수 계수의 개수를 확인한 후에 기 설정된 'N'개를 초과하는 경우에는 잔차 블록이 MxN 부호화되었다고 판단하며(AxB 부호화에서는 주파수의 개수가 'N'개를 초과할 수 없음), 만약 'N'개이하인 경우에는 MxN 부호화를 통해서도 'N'개이하의 주파수 계수를 만들 수 있으므로(예를 들어, DC 성분의 주파수 계수가 1개만 있는 경우 또는 DC 성분 근처의 저주파 성분의 주파수 계수가 발생할 경우), 추가로 비트스트림으로부터 모드 정보를 추출하고 모드 정보에 포함된 부호화 식별 정보를 통해 AxB 부호화인지 아닌지를 판단한다. 따라서, AxB 부호화가 아닐 경우에는 비트스트림에 모드 정보가 포함되지 않고, AxB 부호화일 경우에만 부호화 식별 정보와 블록 형태 정보 및 블록 위치 정보를 포함하는 모드 정보가 비트스트림에 포함된다.
본 발명의 제 5 실시예에 따른 영상 부호화 장치는 도 18을 통해 전술한 본 발명의 제 4 실시예에 따른 영상 부호화 장치(1800)의 모든 구성 요소를 포함하여 구성되되, 계수 판별부(1820)의 일부 기능이 변경된다. 이하에서는 도 18을 통해 전술한 나머지 구성 요소에 대한 상세한 설명은 생략한다.
본 발명의 제 5 실시예에 따른 영상 부호화 장치는 도 18을 통해 전술한 본 발명의 제 4 실시예에 따른 영상 부호화 장치(1800)와 같이, 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하는 AxB 부호화를 수행한다. 다만, 기존 방식으로 MxN 잔차 블록을 부호화해서 양자화된 잔차 블록의 모든 양자화 주파수 계수의 값이 '0'인지 여부를 판단하여, 모두 '0'인 경우에는 기존 방식으로 예측, 변환 및 양자화된 MxN 잔차 블록을 기존의 지그재그 스캔 방식으로 스캔하여 부호화함으로써 비트스트림을 생성하고, 하나 이상이 '0'이 아닌 경우에는 AxB 블록 단위로 예측, 변환 및 양자화하고 AxB 잔차 블록의 형태에 따라 스캔 방식을 달리하여 스캔하고 부호화함으로써 비트스트림을 생성하는 AxB 부호화를 수행한다. 또한, 본 발명의 제 5 실시예에 따른 영상 부호화 장치는 양자화된 잔차 블록의 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에는 AxB 잔차 블록의 화소 개수가 기 설정된 개수를 초과하는지 여부를 판단하여, 기 설정된 개수를 초과하는 경우에는 AxB 부호화를 수행하고, 기 설정된 개수 이하인 경우에는 기존 방식으로 MxN 잔차 블록을 부호화한다. 예를 들면, 기 설정된 값이 8인 경우, A와 B를 곱한 값이 8 이하인 잔차 블록은 MxN 부호화를 수행하고 8을 초과하는 잔차 블록은 AxB 부호화를 수행한다. 즉, 3x3, 3x4, 4x3과 같은 잔차 블록의 경우에는 잔차 블록의 화소의 개수가 8을 초과하므로 AxB 부호화를 수행한다.
계수 판별부(1820)는 MxN 양자화부(650)로부터 전달된 양자화된 잔차 블록의 모든 양자화 주파수 계수의 값이 '0'인지 여부를 판단하여, 모두 '0'인 경우에는 기존 방식으로 예측, 변환 및 양자화된 MxN 잔차 블록을 스캔부(660)로 전달하면서 MxN 부호화를 나타내는 부호화 식별 정보를 포함하는 모드 정보를 비트스트림에 포함시키고 기존의 지그재그 스캔 방식으로 스캔하도록 하고, 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에는 AxB 잔차 블록의 화소 개수가 기 설정된 개수를 초과하는지 여부를 판단하여, 초과하는 경우에만 AxB 부호화를 나타내는 부호화 식별 정보와 블록 형태 정보 및 블록 위치 정보를 포함하는 모드 정보를 비트스트림에 포함시키고 AxB 양자화부(652)로부터 전달되는 양자화된 AxB 잔차 블록을 스캔부(660)로 전달하면서 AxB 잔차 블록의 블록 형태에 따라 스캔 방식을 달리하여 스캔하도록 한다. AxB 잔차 블록의 화소 개수가 기 설정된 개수 이하인 경우에는 MxN 부호화를 나타내는 부호화 식별 정보를 포함하는 모드 정보를 비트스트림에 포함시키고 기존의 방식으로 예측, 변환 및 양자화된 MxN 잔차 블록을 스캔부(660)로 전달하여 부호화한다.
도 20은 본 발명의 제 5 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
본 발명의 제 5 실시예에 따른 영상 부호화 장치는 MxN 블록 단위로 부호화하는 기존 부호화 방식에 따라 양자화된 MxN 잔차 블록의 양자화 주파수 계수가 모두 '0'인지 여부를 판단한다(S2010). 단계 S2010의 판단 결과 모두 '0'인 경우, 영상 부호화 장치는 기존 방식 즉, MxN 블록 단위로 부호화된 양자화 주파수 계수를 기존의 지그재그 스캔 방식 등으로 스캔하여 부호화함으로써 비트스트림을 생성한다(S2020). 단계 S2010의 판단 결과 하나 이상이 '0'이 아닌 경우, 영상 부호화 장치는 AxB 잔차 블록의 화소 개수가 기 설정된 개수를 초과하는지 여부를 확인한다(S2030). 단계 S2030의 확인 결과 기 설정된 개수 이하인 경우에는 S2020으로 진행하여 기존 방식으로 부호화하고, 기 설정된 개수를 초과화하는 경우에는 AxB 블록 단위로 AxB 잔차 블록을 부호화하는 AxB 부호화를 수행하여 비트스트림을 생성한다(S2040).
이와 같은 본 발명의 제 5 실시예에 따르면, AxB 잔차 블록의 화소 개수가 기 설정된 개수를 초과하는 경우에만 AxB 부호화를 수행하므로, 제 4 실시예와 비교할 때 AxB 잔차 블록의 화소수가 많아져서 AxB 잔차 블록을 부호화한 데이터의 비트수가 증가할 수도 있고 모든 블록마다 MxN 부호화 또는 AxB 부호화를 나타내기 위한 부호화 식별 정보를 비트스트림에 포함시켜야 하지만, 반면 AxB 잔차 블록의 블록 형태 정보와 블록 위치 정보를 부호화하기 위해 소요되는 비트량을 더욱 줄일 수 있다. 예를 들어, 기 설정된 개수가 '8'인 경우, AxB 잔차 블록은 3x3, 4x3, 3x4 중 하나로 구성될 수 있으므로, AxB 잔차 블록의 형태도 더 적은 경우의 수 중 하나로 결정되고, AxB 잔차 블록의 위치도 더 적은 경우의 수 중 하나로 결정되기 때문에, 블록 형태 정보와 블록 위치 정보를 더 적은 비트로 표현할 수 있다.
본 발명의 제 5 실시예에 따른 영상 복호화 장치는 도 12를 통해 전술한 본 발명의 제 1 실시예에 따른 영상 복호화 장치(1200)와 동일하게 구성된다. 그에 따라 본 발명의 제 5 실시예에 따른 영상 복호화 방법도 도 13을 통해 전술한 본 발명의 제 1 실시예에 다른 영상 복호화 방법과 동일하다.
여기서, 본 발명의 제 5 실시예에서는 제 4 실시예와는 달리 영상 복호화 장치가 양자화 주파수 계수의 개수를 먼저 판단하지 않는 이유는 양자화 주파수 계수열의 토탈 계수(Total Coefficient)와 토탈 제로(Totalzero)를 통해 확인한 해당 블록의 양자화 주파수 계수의 개수가 기 설정된 'N'개를 초과한다고 해서 반드시 하는 경우에는 잔차 블록이 AxB 부호화되었다고 판단할 수 없기 때문이다. 즉, MxN 부호화를 수행한 경우에도 양자화 주파수 계수의 개수가 N개를 초과할 수 있기 때문에, 양자화 주파수 계수의 개수로 잔차 블록이 AxB 부호화되었는지 또는 MxN 부호화되었는지 여부를 판단할 수 없다. 따라서, 본 발명의 제 5 실시예에 따른 영상 복호화 장치는, 제 1 실시예와 같이, 비트스트림으로부터 모드 정보의 부호화 식별 정보를 읽어들여 MxN 부호화인지 AxB 부호화인지 여부를 판단하고, AxB 부호화인 경우에는 모드 정보의 블록 형태 정보와 블록 위치 정보를 추가로 읽어들여 AxB 복호화를 수행한다.
이상에서 전술한 본 발명의 제 1 실시예 내지 제 5 실시예 중 하나 이상을 선택적으로 결합하면 후술할 제 6 실시예와 같이 구현할 수 있다. 즉, 본 발명의 제 6 실시예에 따른 영상 부호화 장치는 영상을 부호화하는 장치로서, 현재 블록을 예측하여 예측 블록을 생성하는 예측부, 현재 블록과 예측 블록을 감산하여 MxN 잔차 블록을 생성하는 감산부, MxN 잔차 블록 내의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하여 비트스트림을 생성하는 AxB 부호화부를 포함하여 구성될 수 있다. 여기서, AxB 부호화부는 AxB 잔차 블록의 블록 형태 정보, AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 모드 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 비트스트림에 삽입할 수 있다.
*또한, 본 발명의 제 6 실시예에 따른 영상 부호화 장치는 MxN 잔차 블록을 부호화하여 비트스트림을 생성하는 MxN 부호화부와 MxN 잔차 블록 내에 임펄스 성분의 잔차 신호가 포함되는지 여부에 따라 MxN 잔차 블록 및 AxB 잔차 블록 중 어느 잔차 블록을 부호화할지 여부를 결정하는 부호화 모드 결정부를 추가로 포함할 수 있다.
본 발명의 제 6 실시예에 따라 영상을 부호화하는 방법에 따르면, 영상 부호화 장치는 현재 블록을 예측하여 예측 블록을 생성하는 단계와 현재 블록과 예측 블록을 감산하여 MxN 잔차 블록을 생성하고, MxN 잔차 블록 내의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하여 비트스트림을 생성하는 단계를 수행할 수 있다. 또한, 영상 부호화 장치는 AxB 잔차 블록의 블록 형태 정보, AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 식별 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 비트스트림에 삽입하는 단계를 추가로 수행할 수 있다.
또한, 영상 부호화 장치는 AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기와 동일한 경우에는 MxN 잔차 블록을 부호화하여 비트스트림을 생성하는 단계를 추가로 수행할 수 있으며, MxN 잔차 블록이 임펄스 성분의 잔차 신호를 포함하지 않는 경우에는 MxN 잔차 블록의 모든 잔차 신호를 '0'으로 설정하여 부호화하는 단계를 추가로 수행할 수 있다.
여기서, 영상 부호화 장치는 AxB 부호화를 수행하는 데 있어서, AxB 잔차 블록을 변환하고 양자화한 양자화 주파수 계수를 AxB 잔차 블록의 형태에 따라 다른 스캔 방식으로 스캔하여 부호화할 수 있으며, AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기보다 작은 경우에만 AxB 잔차 블록을 부호화할 수 있다. 또한, AxB 잔차 블록은 사각형 블록 형태 또는 대각선 블록 형태일 수 있다. 만약, AxB 잔차 블록이 대각선 블록 형태인 경우, 영상 부호화 장치는 대각선 블록 식별 정보 및 대각선 블록 위치 정보 중 하나 이상을 생성하여 비트스트림에 삽입하는 단계를 추가로 수행할 수 있다.
또한, 영상 부호화 장치는 AxB 잔차 블록의 임펄스 비율이 임계값 이상인 경우에만 AxB 잔차 블록을 부호화할 수 있다. 또한, 영상 부호화 장치는 AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인 경우에만 AxB 잔차 블록을 부호화할 수 있다. 특히, 영상 부호화 장치는 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주파수 계수의 값 중 적어도 하나 이상이 '0'이 아니고 AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인 경우에만 AxB 잔차 블록을 부호화할 수 있다. 이때, 영상 부호화 장치는 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주파수 계수의 값 중 적어도 하나 이상이 '0'이 아니고 AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인 경우에만 AxB 잔차 블록의 블록 형태 정보, AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 식별 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 비트스트림에 삽입할 수 있다.
또한, 영상 부호화 장치는 AxB 잔차 블록의 화소의 개수가 기 설정된 개수를 초과하는 경우에만 AxB 잔차 블록을 부호할 수 있다. 특히, 영상 부호화 장치는 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주파수 계수의 값 중 적어도 하나 이상이 '0'이 아니고 AxB 잔차 블록의 화소의 개수가 기 설정된 개수를 초과하는 경우에만 AxB 잔차 블록을 부호화할 수 있다. 이때, 영상 부호화 장치는 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주파수 계수의 값 중 적어도 하나 이상이 '0'이 아니고 AxB 잔차 블록의 화소의 개수가 기 설정된 개수를 초과하는 경우에만 AxB 잔차 블록의 블록 형태 정보, AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 식별 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 비트스트림에 삽입할 수 있다.
본 발명의 제 6 실시예에 따른 영상을 복호화하는 장치는 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화부, 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하여 AxB 잔차 블록을 생성하는 AxB 잔차 블록 생성부, AxB 잔차 블록에 하나 이상의 잔차 신호를 추가로 결합하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성부, 현재 블록을 예측하여 예측 블록을 생성하는 예측부 및 예측 블록과 MxN 잔차 블록을 가산하여 현재 블록을 복원하는 가산부를 포함하여 구성될 수 있다.
또한, 본 발명의 제 6 실시예에 따른 영상을 복호화하는 방법에 따르면, 영상 복호화 장치는, 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 단계, 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하여 AxB 잔차 블록을 생성하는 단계, AxB 잔차 블록에 하나 이상의 잔차 신호를 추가로 결합하여 MxN 잔차 블록을 생성하는 단계, 현재 블록을 예측하여 예측 블록을 생성하는 예측 단계; 및 예측 블록과 MxN 잔차 블록을 가산하여 현재 블록을 복원하는 복원 단계를 수행할 수 있다.
여기서, 영상 복호화 장치는, AxB 잔차 블록을 생성하는 데 있어서, 비트스트림으로부터 추출되는 모드 정보에 포함된 AxB 잔차 블록의 블록 형태 정보에 기초하여 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환함으로써 AxB 잔차 블록을 생성할 수 있다. 또한, 영상 복호화 장치는 MxN 잔차 블록 생성하는 데 있어서, 비트스트림으로부터 추출되는 모드 정보에 포함된 AxB 잔차 블록의 블록 위치 정보에 기초하여 MxN 잔차 블록을 생성할 수 있다. 또한, 하나 이상의 잔차 신호는 기 설정된 값을 가질 수 있는데, 특히 모두 '0'의 값으로 설정될 수 있다. 또한, 영상 복호화 장치는 비트스트림으로부터 추출되는 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호를 하나 이상의 잔차 신호로 이용하여 MxN 잔차 블록환 생성할 수 있다.
또한, 영상 복호화 장치는 AxB 잔차 블록을 생성하는 데 있어서, 비트스트림으로부터 모드 정보를 추출할 수 있으며, 비트스트림으로부터 추출되는 모드 정보에 포함된 부호화 식별 정보에 의해 AxB 부호화가 식별되는 경우에만, AxB 잔차 블록을 생성할 수 있다. 그리고 영상 복호화 장치는 AxB 잔차 블록을 생성하는 데 있어서, 양자화 주파수 계수열의 양자화 주파수 계수의 개수가 기 설정된 개수 이하인 경우에만 AxB 잔차 블록을 생성할 수 있다.
또한, 영상 복호화 장치는 영상을 복호화하는 장치로서, 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화부; 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하여 AxB 잔차 블록을 생성하는 AxB 잔차 블록 생성부; AxB 잔차 블록에 하나 이상의 잔차 신호를 추가로 결합하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성부; 현재 블록을 예측하여 예측 블록을 생성하는 예측부; 및 예측 블록과 MxN 잔차 블록을 가산하여 현재 블록을 복원하는 가산부를 포함할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 영상을 부호화하거나 복호화하는 장치와 방법 등의 분야에 적용되어, 예측의 부정확 등의 원인으로 인해 임펄스 성분의 잔차 신호가 발생하는 경우 부호화 및 복호화 방법을 달리하여 영상을 효율적으로 부호화하거나 복호화함으로써 부호화 효율을 향상시키는 효과를 발생하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2008년 9월 25일 한국에 출원한 특허출원번호 제 10-2008-0094167 호 및 2009년 9월 10일에 출원한 특허출원번호 제 10-2009-0085571호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (29)

  1. 영상을 부호화하는 방법에 있어서,
    현재 블록을 예측하여 예측 블록을 생성하고 상기 현재 블록과 상기 예측 블록을 감산하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성 단계; 및
    상기 MxN 잔차 블록 내의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하여 비트스트림을 생성하는 AxB 부호화 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  2. 제 1 항에 있어서, 상기 영상 부호화 방법은,
    상기 AxB 잔차 블록의 블록 형태 정보, 상기 AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 식별 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 상기 비트스트림에 삽입하는 모드 정보 삽입 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
  3. 제 1 항에 있어서, 상기 AxB 부호화 단계는,
    상기 AxB 잔차 블록을 변환하고 양자화한 양자화 주파수 계수를 상기 AxB 잔차 블록의 형태에 따라 다른 스캔 방식으로 스캔하여 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  4. 제 1 항에 있어서, 상기 AxB 부호화 단계는,
    상기 AxB 잔차 블록의 크기가 상기 MxN 잔차 블록의 크기보다 작은 경우에만 상기 AxB 잔차 블록을 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  5. 제 1 항에 있어서, 상기 영상 부호화 방법은,
    상기 AxB 잔차 블록의 크기가 상기 MxN 잔차 블록의 크기와 동일한 경우에는 상기 MxN 잔차 블록을 부호화하여 비트스트림을 생성하는 MxN 부호화 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
  6. 제 1 항에 있어서, 상기 영상 부호화 방법은,
    상기 MxN 잔차 블록이 상기 임펄스 성분의 잔차 신호를 포함하지 않는 경우에는 상기 MxN 잔차 블록의 모든 잔차 신호를 '0'으로 설정하여 부호화하는 무부호화 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
  7. 제 1 항에 있어서, 상기 AxB 잔차 블록은,
    사각형 블록 형태 또는 대각선 블록 형태인 것을 특징으로 하는 영상 부호화 방법.
  8. 제 7 항에 있어서, 상기 영상 부호화 방법은,
    상기 AxB 잔차 블록이 상기 대각선 블록 형태인 경우, 대각선 블록 식별 정보 및 대각선 블록 위치 정보 중 하나 이상을 생성하여 상기 비트스트림에 삽입하는 대각선 정보 삽입 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
  9. 제 1 항에 있어서, 상기 AxB 부호화 단계는,
    상기 AxB 잔차 블록의 임펄스 비율이 임계값 이상인 경우에만 상기 AxB 잔차 블록을 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  10. 제 1 항에 있어서, 상기 AxB 부호화 단계는,
    상기 AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인 경우에만 상기 AxB 잔차 블록을 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  11. 제 10 항에 있어서, 상기 AxB 부호화 단계는,
    상기 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아니고 상기 AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인 경우에만 상기 AxB 잔차 블록을 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  12. 제 11 항에 있어서, 상기 영상 부호화 방법은,
    상기 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아니고 상기 AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인 경우에만 상기 AxB 잔차 블록의 블록 형태 정보, 상기 AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 식별 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 상기 비트스트림에 삽입하는 모드 정보 삽입 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
  13. 제 1 항에 있어서, 상기 AxB 부호화 단계는,
    상기 AxB 잔차 블록의 화소의 개수가 기 설정된 개수를 초과하는 경우에만 상기 AxB 잔차 블록을 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  14. 제 13 항에 있어서, 상기 AxB 부호화 단계는,
    상기 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아니고 상기 AxB 잔차 블록의 화소의 개수가 기 설정된 개수를 초과하는 경우에만 상기 AxB 잔차 블록을 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  15. 제 14 항에 있어서, 상기 영상 부호화 방법은,
    상기 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아니고 상기 AxB 잔차 블록의 화소의 개수가 기 설정된 개수를 초과하는 경우에만 상기 AxB 잔차 블록의 블록 형태 정보, 상기 AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 식별 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 상기 비트스트림에 삽입하는 모드 정보 삽입 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
  16. 제 1 항에 있어서, 상기 영상 부호화 방법은,
    상기 MxN 잔차 블록 내의 상기 AxB 잔차 블록을 제외한 나머지 잔차 신호의 대체 잔차 신호를 식별하는 대체 잔차 신호 정보를 상기 비트스트림에 삽입하는 대표 잔차 신호 정보 삽입 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
  17. 영상을 부호화하는 장치에 있어서,
    현재 블록을 예측하여 예측 블록을 생성하는 예측부;
    상기 현재 블록과 상기 예측 블록을 감산하여 MxN 잔차 블록을 생성하는 감산부; 및
    상기 MxN 잔차 블록 내의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하여 비트스트림을 생성하는 AxB 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  18. 제 17 항에 있어서, 상기 영상 부호화 장치는,
    상기 MxN 잔차 블록을 부호화하여 비트스트림을 생성하는 MxN 부호화부; 및
    상기 MxN 잔차 블록 내에 상기 임펄스 성분의 잔차 신호가 포함되는지 여부에 따라 상기 MxN 잔차 블록 및 상기 AxB 잔차 블록 중 어느 잔차 블록을 부호화할지 여부를 결정하는 부호화 모드 결정부
    를 추가로 포함하는 것을 특징으로 하는 영상 부호화 장치.
  19. 제 17 항에 있어서, 상기 AxB 부호화부는,
    상기 AxB 잔차 블록의 블록 형태 정보, 상기 AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 모드 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 상기 비트스트림에 삽입하는 것을 특징으로 하는 영상 부호화 장치.
  20. 영상을 복호화하는 방법에 있어서,
    비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화 단계;
    상기 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하여 AxB 잔차 블록을 생성하는 AxB 잔차 블록 생성 단계;
    상기 AxB 잔차 블록에 하나 이상의 잔차 신호를 추가로 결합하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성 단계;
    현재 블록을 예측하여 예측 블록을 생성하는 예측 단계; 및
    상기 예측 블록과 상기 MxN 잔차 블록을 가산하여 상기 현재 블록을 복원하는 복원 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  21. 제 20 항에 있어서, 상기 AxB 잔차 블록 생성 단계는,
    상기 비트스트림으로부터 추출되는 모드 정보에 포함된 상기 AxB 잔차 블록의 블록 형태 정보에 기초하여 상기 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하는 것을 특징으로 하는 영상 복호화 방법.
  22. 제 20 항에 있어서, 상기 MxN 잔차 블록 생성 단계는,
    상기 비트스트림으로부터 추출되는 모드 정보에 포함된 AxB 잔차 블록의 블록 위치 정보에 기초하여 상기 MxN 잔차 블록을 생성하는 것을 특징으로 하는 영상 복호화 방법.
  23. 제 20 항에 있어서, 상기 하나 이상의 잔차 신호는,
    기 설정되는 값을 가지는 것을 특징으로 하는 영상 복호화 방법.
  24. 제 23 항에 있어서, 상기 하나 이상의 잔차 신호는
    모두 '0'의 값으로 설정되는 것을 특징으로 하는 영상 복호화 방법.
  25. 제 20 항에 있어서,
    상기 MxN 잔차 블록 생성 단계는,
    상기 비트스트림으로부터 추출되는 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호를 상기 하나 이상의 잔차 신호로 이용하는 것을 특징으로 하는 영상 복호화 방법.
  26. 제 20 항에 있어서, 상기 AxB 잔차 블록 생성 단계는,
    상기 비트스트림으로부터 추출되는 모드 정보에 포함된 부호화 식별 정보에 의해 AxB 부호화가 식별되는 경우에만, 상기 AxB 잔차 블록을 생성하는 것을 특징으로 하는 영상 복호화 방법.
  27. 제 21 항, 제 22 항 및 제 26 항 중 어느 한 항에 있어서, 상기 복호화 단계는,
    상기 비트스트림으로부터 상기 모드 정보를 추출하는 것을 특징으로 하는 영상 복호화 방법.
  28. 제 20 항에 있어서, 상기 AxB 잔차 블록 생성 단계는,
    상기 양자화 주파수 계수열의 양자화 주파수 계수의 개수가 기 설정된 개수 이하인 경우에만 상기 AxB 잔차 블록을 생성하는 것을 특징으로 하는 영상 복호화 방법.
  29. 영상을 복호화하는 장치에 있어서,
    비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화부;
    상기 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하여 AxB 잔차 블록을 생성하는 AxB 잔차 블록 생성부;
    상기 AxB 잔차 블록에 하나 이상의 잔차 신호를 추가로 결합하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성부;
    현재 블록을 예측하여 예측 블록을 생성하는 예측부; 및
    상기 예측 블록과 상기 MxN 잔차 블록을 가산하여 상기 현재 블록을 복원하는 가산부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
PCT/KR2009/005362 2008-09-25 2009-09-21 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법 Ceased WO2010035993A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/002,276 US9113166B2 (en) 2008-09-25 2009-09-21 Apparatus and method for image encoding/decoding considering impulse signal

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20080094167 2008-09-25
KR10-2008-0094167 2008-09-25
KR10-2009-0085571 2009-09-10
KR20090085571A KR101483497B1 (ko) 2008-09-25 2009-09-10 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
WO2010035993A2 true WO2010035993A2 (ko) 2010-04-01
WO2010035993A3 WO2010035993A3 (ko) 2010-07-08

Family

ID=42060249

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/005362 Ceased WO2010035993A2 (ko) 2008-09-25 2009-09-21 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2010035993A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130051461A1 (en) * 2011-08-24 2013-02-28 Min-Hao Chiu Video decoding apparatus and method for selectively bypassing processing of residual values and/or buffering of processed residual values
CN114175646A (zh) * 2019-05-22 2022-03-11 Lg电子株式会社 图像解码方法及其装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100718121B1 (ko) * 2003-05-16 2007-05-15 삼성전자주식회사 영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및장치
KR20060063608A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록에 대한 레지듀얼예측을 수행하는 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130051461A1 (en) * 2011-08-24 2013-02-28 Min-Hao Chiu Video decoding apparatus and method for selectively bypassing processing of residual values and/or buffering of processed residual values
US9338458B2 (en) * 2011-08-24 2016-05-10 Mediatek Inc. Video decoding apparatus and method for selectively bypassing processing of residual values and/or buffering of processed residual values
US9906801B2 (en) 2011-08-24 2018-02-27 Mediatek Inc. Video decoding apparatus and method for selectively bypassing processing of residual values and/or buffering of processed residual values
CN114175646A (zh) * 2019-05-22 2022-03-11 Lg电子株式会社 图像解码方法及其装置

Also Published As

Publication number Publication date
WO2010035993A3 (ko) 2010-07-08

Similar Documents

Publication Publication Date Title
WO2010120113A2 (ko) 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2010027182A2 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
WO2011087323A2 (en) Method and apparatus for encoding and decoding image by using large transform unit
WO2011019234A2 (en) Method and apparatus for encoding and decoding image by using large transformation unit
WO2011031044A2 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
WO2011145819A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2013109039A1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2012026794A2 (ko) 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
WO2010050706A2 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2013062193A1 (ko) 영상 복호화 방법 및 장치
WO2011142603A2 (ko) 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
WO2011037337A2 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
WO2012144876A2 (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
WO2012046979A2 (ko) 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2009157665A2 (ko) 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012018197A2 (ko) 인트라 예측 복호화 장치
WO2012077960A2 (ko) 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치
WO2012093854A2 (ko) 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
WO2012074248A2 (ko) 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
WO2011004986A2 (ko) 영상 부호화/복호화 방법 및 장치
WO2010027170A2 (ko) 예측 방향 전환과 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법
WO2011126285A2 (ko) 부호화 모드에 대한 정보를 부호화, 복호화하는 방법 및 장치
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
WO2012099440A2 (ko) 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
WO2011021910A2 (ko) 인트라 예측 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09816386

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13002276

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 01/07/2011)

122 Ep: pct application non-entry in european phase

Ref document number: 09816386

Country of ref document: EP

Kind code of ref document: A2