WO2010120113A2 - 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 - Google Patents

예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2010120113A2
WO2010120113A2 PCT/KR2010/002307 KR2010002307W WO2010120113A2 WO 2010120113 A2 WO2010120113 A2 WO 2010120113A2 KR 2010002307 W KR2010002307 W KR 2010002307W WO 2010120113 A2 WO2010120113 A2 WO 2010120113A2
Authority
WO
WIPO (PCT)
Prior art keywords
prediction mode
current block
intra prediction
bits
bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2010/002307
Other languages
English (en)
French (fr)
Other versions
WO2010120113A3 (ko
Inventor
김수년
이영렬
문주희
김해광
전병우
김대연
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Priority to US13/264,311 priority Critical patent/US9641844B2/en
Publication of WO2010120113A2 publication Critical patent/WO2010120113A2/ko
Publication of WO2010120113A3 publication Critical patent/WO2010120113A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a prediction mode selection method and apparatus, and an image encoding / decoding method and apparatus using the same. More specifically, the present invention relates to a method and apparatus for improving compression efficiency by simplifying a process of selecting a prediction mode for compressing an image, thereby improving compression speed and reducing the size of compressed data.
  • Moving Picture Experts Group (MPEG) and Video Coding Experts Group (VCEG) have developed video compression techniques that are superior to the existing MPEG-4 Part 2 and H.263 standards.
  • the new standard is called H.264 / AVC (Advanced Video Coding) and was jointly released as MPEG-4 Part 10 AVC and ITU-T Recommendation H.264.
  • Image compression techniques such as H.264 / AVC use various prediction techniques such as inter prediction and intra prediction for efficient image compression.
  • the intra prediction includes various prediction methods such as intra 4 ⁇ 4 prediction, intra 16 ⁇ 16 prediction, and intra 8 ⁇ 8 prediction, and each intra prediction includes a plurality of prediction modes.
  • prediction is performed by selecting an optimal prediction mode having the best performance for compressing each block among a plurality of prediction modes. Therefore, the compression efficiency varies depending on which prediction mode is selected as the best prediction mode and the prediction is performed.
  • a predetermined cost function is used after the prediction of the block is performed according to all prediction modes. After calculating the encoding cost, the prediction mode having the smallest encoding cost is selected.
  • intra 4 ⁇ 4 prediction or intra 16 ⁇ 16 prediction requires prediction and calculating encoding cost by applying all prediction modes to determine an optimal prediction mode. This causes a problem in that the encoding process is complicated and the coding efficiency or the compression efficiency is lowered.
  • the present invention has a main object of improving the compression efficiency by reducing the size of the compressed data by simplifying the process of selecting a prediction mode for compressing an image.
  • an apparatus for encoding an image comprising: a prediction mode selector configured to select an intra prediction mode of a current block according to a change amount of a pixel value of an adjacent pixel of a current block to be encoded in an input image; An intra prediction encoder for encoding the residual block generated by intra prediction of the current block according to the intra prediction mode of the selected current block to generate coded coefficient bits; And generating and outputting a bitstream including the encoded coefficient bits and the prediction mode bits indicating the intra prediction mode of the selected current block in macroblock or subblock units, and selectively including the prediction mode bits in the bitstream according to the amount of change. It provides a video encoding apparatus comprising a bitstream generator to make.
  • a method of encoding an image comprising: selecting an intra prediction mode of a current block according to a change amount of a pixel value of an adjacent pixel of a current block to be encoded in an input image; Encoding the residual block generated by intra-prediction of the current block according to the intra prediction mode of the selected current block, generating encoded coefficient bits; And generating a bitstream including encoded coefficient bits and prediction mode bits indicating an intra prediction mode of the selected current block in macroblock units or subblock units, and selectively including the prediction mode bits in the bitstream according to the amount of change. It provides a video encoding method comprising a.
  • the apparatus for decoding an image from the bitstream in which the coefficient bits in which the residual block of the current block is encoded and the prediction mode bits of the current block are included in macroblock units or subblock units
  • a bitstream extractor for extracting the encoded coefficient bits and the prediction mode bits
  • a prediction mode selector for selecting a preset intra prediction mode or an intra prediction mode indicated by the extracted prediction mode bits as an intra prediction mode of the current block according to a change amount of pixel values of adjacent pixels of the current block
  • an intra prediction decoder for reconstructing the residual block of the current block by decoding the encoded coefficient bits, and intra prediction of the current block according to the intra prediction mode of the selected current block to restore and output the current block.
  • the method includes: from a bitstream in which coefficient bits in which a residual block of a current block is encoded and prediction mode bits of a current block are included in a macroblock unit or a subblock unit; Extracting the encoded coefficient bits and the prediction mode bits; Selecting an intra prediction mode indicated by a preset intra prediction mode or an extracted prediction mode bit as an intra prediction mode of the current block according to a change amount of pixel values of adjacent pixels of the current block; Reconstructing the residual block of the current block by decoding the encoded coefficient bits; Intra-prediction the current block according to the intra prediction mode of the selected current block; And reconstructing and outputting the current block by using the reconstructed residual block and the intra predicted current block.
  • an apparatus for selecting a prediction mode comprising: a change amount calculator for calculating a change amount of a pixel value of an adjacent pixel of a current block; If the calculated variation is less than the threshold value, the preset intra prediction mode is selected as the intra prediction mode of the current block. If the calculated variation is greater than or equal to the threshold value, the selected intra prediction mode is selected according to the preset mode selection criteria.
  • a mode selector which selects one intra prediction mode and selects the selected one intra prediction mode as an intra prediction mode of the current block; And a mode bit generator for generating and outputting a prediction mode bit indicating an intra prediction mode of the selected current block.
  • a method of selecting a prediction mode comprising: calculating a change amount of a pixel value of an adjacent pixel of a current block; Selecting the preset intra prediction mode as the intra prediction mode of the current block when the calculated change amount is smaller than the threshold value; If the calculated variation is greater than or equal to the threshold, selecting one intra prediction mode from among a plurality of intra prediction modes according to a preset mode selection criterion to select one selected intra prediction mode as an intra prediction mode of the current block; ; And generating and outputting a prediction mode bit indicating an intra prediction mode of the selected current block.
  • an apparatus for selecting a prediction mode comprising: a change amount calculator for calculating a change amount of a pixel value of an adjacent pixel of a current block; And if the calculated variation is less than the threshold, select the preset intra prediction mode as the intra prediction mode of the current block. If the variation is greater than or equal to the threshold, the coefficient block and the current block in which the residual block of the current block is encoded And a mode selector for selecting the intra prediction mode indicated by the prediction mode bits of the current block extracted from the bitstream including the prediction mode bits of the macroblock unit or the subblock unit as the intra prediction mode of the current block.
  • a prediction mode selection device for selecting the intra prediction mode indicated by the prediction mode bits of the current block extracted from the bitstream including the prediction mode bits of the macroblock unit or the subblock unit as the intra prediction mode of the current block.
  • a method of selecting a prediction mode comprising: calculating a change amount of a pixel value of an adjacent pixel of a current block; If the calculated change amount is smaller than the threshold, selecting the preset intra prediction mode as the intra prediction mode of the current block; And the prediction mode bits of the current block extracted from a bitstream in which the residual bits of the current block are encoded and the prediction mode bits of the current block are included in macroblock or subblock units when the amount of change is greater than or equal to the threshold. It provides a prediction mode selection method comprising the step of selecting the intra prediction mode indicated by the intra prediction mode of the current block.
  • the compression process can be improved by simplifying a process of selecting a prediction mode for compressing an image, and the compression efficiency can be improved by reducing the size of the compressed data.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus
  • 3 is an exemplary diagram illustrating nine intra 4 ⁇ 4 prediction modes
  • 4 is an exemplary diagram illustrating four intra 16 ⁇ 16 prediction modes
  • FIG. 5 is a block diagram schematically illustrating an image encoding apparatus according to an embodiment
  • FIG. 6 is a block diagram schematically illustrating an apparatus for selecting a prediction mode for encoding according to an embodiment
  • FIG. 7 is an exemplary diagram for describing a change amount of pixel values of adjacent pixels according to an exemplary embodiment
  • FIG. 8 is a diagram illustrating nine intra 4 ⁇ 4 prediction modes in which an intra prediction order is changed according to an embodiment.
  • FIG. 9 is an exemplary view briefly illustrating a bitstream included in macroblock units configured according to an embodiment
  • FIG. 10 is a diagram schematically illustrating a bitstream included in a unit of a subblock configured according to an embodiment
  • FIG. 11 is a flowchart illustrating a prediction mode selection method for encoding, according to an embodiment.
  • FIG. 12 is a flowchart illustrating an image encoding method, according to an embodiment.
  • FIG. 13 is a block diagram schematically illustrating an image decoding apparatus according to an embodiment
  • FIG. 14 is a block diagram schematically illustrating an apparatus for selecting a prediction mode for decoding according to an embodiment
  • 15 is a flowchart illustrating a method of selecting a prediction mode for decoding, according to an embodiment.
  • 16 is a flowchart illustrating an image decoding method, according to an exemplary embodiment.
  • a video encoding apparatus (Video Encoding Apparatus), a video decoding apparatus (Video Decoding Apparatus) or a prediction mode selection apparatus (Prediction Mode Selection Apparatus) to be described later will be a personal computer (PC), notebook computer, personal digital assistant (PDA) : Personal Digital Assistant (PMP), Portable Multimedia Player (PMP), PlayStation Portable (PSP: PlayStation Portable), Mobile Communication Terminal (Mobile Communication Terminal), etc., for communicating with various devices or wired or wireless communication network It refers to various devices including a communication device such as a communication modem, a memory for storing various programs and data for encoding or decoding an image or selecting a prediction mode, and a microprocessor for executing and operating a program.
  • a communication device such as a communication modem
  • a memory for storing various programs and data for encoding or decoding an image or selecting a prediction mode
  • a microprocessor for executing and operating a program.
  • the image encoded in the bitstream by the video encoding apparatus is real-time or non-real-time through the wired or wireless communication network, such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like, or a cable, universal serial bus (USB: Universal)
  • the image decoding apparatus may be transmitted to a video decoding apparatus through a communication interface such as a serial bus, decoded by the video decoding apparatus, reconstructed, and played back.
  • the image encoding apparatus and the image decoding apparatus may be provided with a function for performing not only intra prediction but also inter prediction.
  • the image encoding apparatus and the image decoding apparatus do not have a direct relationship with the embodiment of the present invention, a detailed description will be provided to prevent confusion.
  • a moving picture is composed of a series of pictures, and each picture is divided into blocks.
  • Each block is largely classified into an intra block and an inter block according to an encoding method.
  • An intra block refers to a block that is encoded by using an intra prediction coding method.
  • An intra prediction coding is performed by using pixels of blocks previously encoded, decoded, and reconstructed in a current picture that performs current encoding.
  • a prediction block is generated by predicting pixels of a block and a difference value with pixels of the current block is encoded.
  • An inter block refers to a block that is encoded using inter prediction coding.
  • Inter prediction coding generates a prediction block by predicting a current block within a current picture by referring to one or more past or future pictures, and then generates a current block. This is a method of encoding the difference value with.
  • a picture referred to for encoding or decoding the current picture is referred to as a reference picture.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus.
  • the image encoding apparatus 100 may include a predictor 110, a subtractor 120, a transformer 130, a quantizer 140, an encoder 150, an inverse quantizer, and an inverse quantizer. 160, an inverse transformer 170, and an adder 180.
  • the predictor 110 intra-predictions the current block to generate a predicted block. That is, when the block to be currently encoded, that is, the current block is input, is input to the predictor 110, the original pixel values of the pixels of the current block are included in the plurality of intra prediction modes. A prediction block having predicted pixel values is generated and output by predicting according to a prediction direction of a selected intra prediction mode.
  • the plurality of intra prediction modes may be a plurality of intra prediction modes according to a block mode of the current block or a plurality of intra prediction modes preset by a user.
  • the multiple intra prediction modes are the prediction modes of the intra 16x16 mode defined by the H.264 / AVC standard.
  • the plurality of intra prediction modes may be the horizontal mode and the vertical mode among the intra 16x16 modes. have.
  • the subtractor 120 subtracts the current block and the prediction block to generate a residual block of the current block.
  • the output residual block includes a residual signal, which has a value obtained by subtracting the prediction pixel value of the prediction block from the original pixel value of the current block.
  • the transformer 130 transforms the residual block to generate a transformed block. That is, the transformer 130 converts the residual signal of the residual block output from the subtractor 120 into a frequency domain to generate and output a transform block having a transform coefficient.
  • a method of transforming the residual signal into the frequency domain a Discrete Cosine Transform (DCT) -based transform or a Hadamard Transform (DCT) may be used, but the present invention is not limited thereto.
  • Various transformation techniques such as the technique may be used, and the residual signal is transformed into a frequency domain and transformed into transformation coefficients.
  • the quantizer 140 quantizes the transform block to generate a quantized transform block. That is, the quantizer 140 quantizes the transform coefficients of the transform block output from the transformer 130 to generate and output a quantized transform block having quantized transform coefficients.
  • DZUTQ dead zone uniform threshold quantization
  • DZUTQ quantization weighted matrix
  • various quantization methods such as quantization improved therefrom may be used.
  • the encoder 150 encodes the quantized transform block and outputs a bitstream. That is, the encoder 150 uses various encoding techniques, such as entropy encoding, on a frequency coefficient string scanned by various scan methods such as zigzag scan of the quantized transform coefficients output from the quantizer 140. To generate and output a bitstream including additional information necessary for encoding and decoding the corresponding block (for example, information on a prediction mode, a quantization coefficient, a motion vector, etc.). do.
  • Inverse quantizer 160 inverse quantizes the quantized transform block. That is, the inverse quantizer 160 inversely quantizes and outputs quantized transform coefficients of the quantized transform block output from the quantizer 140.
  • Inverse transformer 170 inversely transforms an inverse quantized transform block. That is, the inverse transformer 170 inversely transforms the transform coefficients inversely quantized by the inverse quantizer 160 to restore a residual block having the reconstructed residual coefficients.
  • the adder 180 reconstructs the current block by adding the prediction block predicted by the predictor 110 and the residual block inversely transformed and reconstructed by the inverse transformer 170.
  • the reconstructed current block may be transferred to the predictor 110 and used to predict another block such as the next block or the next picture.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus.
  • the image decoding apparatus 200 may include a decoder 210, an inverse quantizer 220, an inverse transformer 230, a predictor 240, and an adder 250.
  • the decoder 210 extracts a quantized transform block by decoding the bitstream. That is, the decoder 210 decodes and inversely scans the bit string extracted from the input bitstream to restore the quantized transform block having the quantized transform coefficients. In this case, the decoder 210 decodes using an encoding technique such as entropy encoding used by the encoder 150 of the image encoding apparatus 100.
  • Inverse quantizer 220 inverse quantizes the quantized transform block. That is, the inverse quantizer 220 inverse quantizes the quantized transform coefficients of the quantized transform block output from the decoder 210. In this case, the inverse quantizer 220 performs inverse quantization by performing the inverse quantization technique used by the quantizer 140 of the image encoding apparatus 100.
  • the inverse transformer 230 inversely transforms the inverse quantized transform block output from the inverse quantizer 220 to restore the residual block. That is, the inverse transformer 230 reconstructs the residual block having the reconstructed residual signal by inversely transforming the inverse quantized transform coefficients of the inverse quantized transform block output from the inverse quantizer 220. Inverse conversion is performed by performing the conversion technique used in the converter 130 of the inverse.
  • the predictor 240 generates a prediction block by predicting the current block according to the prediction direction according to the intra prediction mode extracted from the bitstream.
  • the adder 250 reconstructs the current block by adding the prediction block and the reconstructed residual block. That is, the adder 250 adds the predicted pixel value of the predicted block output from the predictor 240 and the restored residual signal of the reconstructed residual block output from the inverse transformer 230 to calculate a reconstructed pixel value of the current block. Restore the current block.
  • an optimal intra prediction mode is selected from a plurality of intra prediction modes as shown in FIGS. 3 and 4, and the selected optimal intra prediction mode is selected. Predict the block according to the prediction direction.
  • 3 is an exemplary diagram illustrating nine intra 4x4 prediction modes.
  • intra 4 ⁇ 4 prediction includes a vertical mode, a horizontal mode, a direct current mode, a diagonal down-left mode, and a diagonal down-right. There are nine prediction modes, including vertical-right mode, horizontal-down mode, vertical-left, and vertical-up modes, and nine prediction modes. Is given a mode number. Intra 8 ⁇ 8 prediction also has nine prediction modes similar to intra 4 ⁇ 4 prediction.
  • 4 is an exemplary diagram illustrating four intra 16 ⁇ 16 prediction modes.
  • intra 16 ⁇ 16 prediction includes four prediction modes including a vertical mode, a horizontal mode, a DC mode, and a plane mode. The mode number is given.
  • FIG. 5 is a block diagram schematically illustrating an image encoding apparatus according to an embodiment.
  • the image encoding apparatus 500 may include a prediction mode selector 510, an intra prediction encoder 520, and a bitstream generator 530.
  • the prediction mode selector 510 selects the intra prediction mode of the current block according to the variation of the pixel value of the adjacent pixel of the current block to be encoded in the input image.
  • the neighboring pixel of the current block may be one of pixels included in the neighboring block around the current block, and in particular, may be a pixel adjacent to the current block among the pixels included in the neighboring block.
  • the adjacent pixels of the current block may be pixels that are encoded, decoded, and reconstructed by the intra prediction encoder 520.
  • the prediction mode selector 510 may select the preset intra prediction mode as the intra prediction mode of the current block when the amount of change in the pixel value of the adjacent pixel of the current block is smaller than the threshold Thr.
  • the preset intra prediction mode may include an intra prediction mode (for example, a DC mode in the case of H.264 / AVC) that predicts an average value of pixel values of adjacent pixels of the current block as predicted pixel values of the pixels of the current block. It may be the same.
  • the prediction mode selector 510 selects one intra prediction mode from among a plurality of intra prediction modes according to a preset mode selection criterion when the amount of change in pixel values of adjacent pixels of the current block is greater than or equal to a threshold value.
  • the intra prediction mode may be selected as the intra prediction mode of the current block.
  • the prediction mode selector 510 selects one intra prediction mode by applying each of the plurality of intra prediction modes to preset mode selection criteria, and selects a DC mode among the plurality of intra prediction modes to the preset mode selection criteria.
  • the preset mode selection criterion may be a mode selection criterion previously promised by the image encoding apparatus 500 and the image decoding apparatus 900 to be described later.
  • RDO Rate-Distortion Optimization
  • the prediction mode selector 510 may calculate an amount of change of pixel values of adjacent pixels of the current block by using a degree of scattering.
  • the scatter diagram may be a dispersion, a standard deviation, a mean deviation, a quarter deviation, or the like.
  • the prediction mode selector 510 may select the intra prediction mode of the current block by comparing the amount of change in pixel values of adjacent pixels of the current block with a threshold.
  • the threshold may be set according to things such as the quantization coefficient and the quantization step size of the current block.
  • the intra prediction encoder 520 encodes the residual block generated by intra prediction of the current block according to the intra prediction mode of the selected current block to generate coded coefficient bits.
  • the intra prediction encoder 520 may be configured like the image encoding apparatus 100 described above with reference to FIG. 1. That is, the intra prediction encoder 520 generates a prediction block by predicting a current block according to the intra prediction mode selected by the prediction mode selector 510, and generates a residual block by subtracting the generated prediction block from the current block.
  • the residual signal of the residual block may be transformed and quantized to generate quantized frequency coefficients, and then scanned and entropy encoding may be performed to generate encoded coefficient bits. In this case, the transform and / or quantization process may be selectively omitted depending on the implementation method.
  • the current block may be determined in units of macroblocks or in units of subblocks.
  • the macroblock may be 16 ⁇ 16 and the subblock may be 4 ⁇ 4, but the macroblock may be a block having various sizes.
  • the macroblock may be a block of M ⁇ N size (where M and N are integers) such as 16 ⁇ 16 size, 32 ⁇ 32 size, 8 ⁇ 8 size, etc., and the subblock is larger than the size of the macroblock. If it is small, it may be a block of M ⁇ N size (where M and N are integers) such as 16 ⁇ 16 size, 32 ⁇ 32 size, 8 ⁇ 8 size, and the like.
  • the intra prediction encoder 520 may reconstruct the residual block by inversely quantizing and inversely transforming the quantized frequency coefficients, and reconstruct the current block by adding the prediction block and the reconstructed residual block.
  • the reconstructed pixels stored as described above may be transferred to the prediction mode selector 510 and used as adjacent pixels of the current block.
  • the bitstream generator 530 generates a bitstream including coefficient bits encoded in macroblock units or subblock units and prediction mode bits indicating intra prediction modes of the selected current block. And output, but selectively includes the prediction mode bits in the bitstream according to the amount of change.
  • the bitstream generator 530 may generate and output a bitstream by allocating coefficient bits encoded in macroblock units or subblock units before prediction mode bits.
  • the bitstream generator 530 includes the encoded coefficient bits and the prediction mode bits in the bitstream in units of macroblocks, it is preferable to include the encoded coefficient bits before the prediction mode bits, and the bitstream generator 530. ) Includes the encoded coefficient bits and the prediction mode bits in the bitstream in units of subblocks, the encoded coefficient bits and the prediction mode bits may be freely included in the bitstream regardless of the arrangement order.
  • the bitstream generator 530 includes a bitstream including both the encoded coefficient bits for the current block and the prediction mode bits for the current block only when the amount of change in pixel values of adjacent pixels of the current block is greater than or equal to the threshold. If the amount of change of the pixel value of the adjacent pixel of the current block is smaller than the threshold, the prediction mode bit for the current block is not included in the bitstream. Thus, if the amount of change in the pixel value of adjacent pixels in the current block is less than the threshold, the bitstream contains only the encoded coefficient bits of the current block.
  • FIG. 6 is a block diagram schematically illustrating an apparatus for selecting a prediction mode for encoding according to an embodiment.
  • the prediction mode selection apparatus for encoding according to an embodiment may be implemented by the prediction mode selector 510 in FIG. 5.
  • the prediction mode selecting apparatus for encoding according to an embodiment is called a prediction mode selector 510.
  • the prediction mode selector 510 may include a variation calculator 610, a mode selector 620, and a mode bit generator 630.
  • the change amount calculator 610 calculates a change amount of the pixel value of the adjacent pixel of the current block.
  • the change calculator 610 may calculate a change amount of pixel values of adjacent pixels among pixels included in the neighboring block of the current block by using a scatter diagram.
  • the scatter diagram may be a statistical index indicating such things as variance, standard deviation, mean deviation, and quadrant deviation of adjacent pixels. Therefore, the amount of change in the pixel value of the adjacent pixel may be an indicator indicating how similar the adjacent pixels of the current block are to each other. The smaller the change amount, the more adjacent pixels in the current block can be regarded as similar.
  • the change amount calculator 610 uses the equation 1 to determine the adjacent pixel.
  • the change amount ⁇ p of the pixel value can be calculated.
  • u k Pixel value of M adjacent pixels located at the top of the current block.
  • the mode selector 620 selects the preset intra prediction mode as the intra prediction mode of the current block when the calculated change amount is smaller than the threshold value, and according to the preset mode selection criterion when the calculated change amount is greater than or equal to the threshold value.
  • One intra prediction mode is selected from among a plurality of intra prediction modes to select one selected intra prediction mode as an intra prediction mode of the current block. That is, the mode selector 620 calculates and sets a threshold value appropriately, evaluates the similarity of adjacent pixels by comparing the change amount of the pixel value of the adjacent pixel calculated by the change amount calculator 610 with the threshold value, and evaluates the similarity. According to the intra prediction mode of the current block is selected.
  • all intra prediction modes are performed, such as rate-distortion optimization, so that one intra prediction mode having a minimum rate-distortion cost is optimal.
  • Select the prediction mode to select the intra prediction mode of the current block.
  • the similarity of adjacent pixels of the current block is large, it is not necessary to perform rate-distortion optimization for a plurality of intra prediction modes, and the intra prediction mode having the best prediction efficiency when the similarity of adjacent pixels is large is selected. It is efficient to select in intra prediction mode.
  • 7A of FIG. 7 illustrates pixels used to predict a block according to an intra 4 ⁇ 4 mode of H.264.
  • 16 pixels a to p represent pixels of the current block
  • 13 pixels A to M represent adjacent pixels of the current block.
  • Intra prediction of the current block shown in 7A using nine prediction modes according to the intra 4 ⁇ 4 mode shown in FIG. 3 is performed according to nine prediction directions using pixel values of A to M that are already compressed and reconstructed. Perform intra prediction and encode.
  • Equation 2 when intra prediction is performed in the horizontal direction according to the horizontal mode, which is the first prediction mode shown in FIG. 3, the a, b, c, and d pixels of the first row of the current block are represented by Equation 2 and the following equation. It is predicted as
  • the a, b, c, and d pixels of the first row of the current block are represented by the following equation. It is predicted as 3.
  • a residual signal may be generated by performing prediction using pixel values of adjacent pixels in a similar manner.
  • the current block may be predicted according to nine prediction modes for intra 4x4 mode prediction. It can be seen that all of the same results can be obtained. Therefore, if all the adjacent pixels of the current block have the same pixel value, it can be seen that the prediction performance or the compression performance does not degrade even if intra prediction is performed according to any one prediction mode.
  • the prediction values of the respective prediction directions are similar, and thus intra prediction is performed according to one intra prediction mode as in the case where the neighboring pixels of the current block are all the same. Even if the prediction performance and the compression performance may not be degraded.
  • the mode selector 620 sets an intra prediction mode having the best prediction efficiency and determines that the similarity of adjacent pixels is large because the amount of change calculated by the variation calculator 610 is smaller than the threshold value.
  • the complicated intra prediction mode selection process may be omitted, and the preset intra prediction mode may be selected as the intra prediction mode of the current block. In this way, the computational amount for selecting the intra prediction mode of the current block can be reduced without degrading the performance of the intra prediction, thereby simplifying the implementation of the system and improving the compression performance by reducing the encoding speed.
  • the preset intra prediction mode refers to an intra prediction mode that is previously promised and set in the image encoding apparatus and the image decoding apparatus, and thus may be predicted in the same intra prediction mode in the decoding process.
  • the preset intra prediction mode may be, for example, an intra prediction mode such as a DC mode, which is an intra prediction mode that predicts an average value of pixel values of adjacent pixels as a prediction value, but is not limited thereto. Can be set.
  • the mode selector 620 determines that the change amount calculated by the change amount calculator 610 is greater than or equal to the threshold value, and thus the similarity of adjacent pixels is small, the mode selector 620 performs intra prediction of one of a plurality of intra prediction modes according to a preset mode selection criterion. Mode is selected to select one selected intra prediction mode as the intra prediction mode of the current block.
  • the preset mode selection criterion refers to a criterion for selecting an intra prediction mode that is optimal for a current block among a plurality of intra prediction modes in the image encoding apparatus and the image decoding apparatus. Can be set.
  • the preset mode selection criterion may be, for example, rate-distortion optimization.
  • Rate-distortion optimization is a rate-distortion using a predetermined cost function by predicting and encoding a current block according to each of a plurality of intra prediction modes. It is a technique of calculating an RD Cost (Rate Cost-Distortion Cost) and selecting an intra prediction mode in which the calculated rate-distortion cost is minimal as an optimal intra prediction mode.
  • the above-described predetermined cost function may be a sum of absolute value (SAD), sum of absolute transformed difference (SATD), sum of squared difference (SSD), mean of absolute difference (MAD), lagrange function, and the like.
  • SAD is the sum of the absolute values of the residual signal values of the 4x4 block.
  • the SATD is a value obtained by adding an absolute value of coefficients generated by applying a Hadamard transform to a value of a residual signal of a 4 ⁇ 4 block.
  • the SSD is a sum of squared values of the residual signal of the 4x4 block
  • the MAD is an average value of the absolute values of the residual signal of the 4x4 block.
  • the Lagrange function is a cost function created by including the length information of the bitstream in the cost function.
  • the mode selector 620 may be configured to select one intra prediction mode from among a plurality of intra prediction modes according to a preset mode selection criterion so that the mode selector 620 selects the intra prediction mode of the current block.
  • the order of applying the intra prediction mode to the preset mode selection criteria may be changed. That is, the mode selector 620 may select one intra prediction mode by sequentially applying each of the plurality of intra prediction modes to preset mode selection criteria. In this case, the mode selection criterion is selected from the DC mode among the plurality of intra prediction modes. Finally you can apply.
  • the DC mode using the average value of the pixel values of the adjacent pixels as the intra prediction value is applied to the preset mode selection criteria. If the order is the second as shown in Fig. 3, it is because the probability that the second prediction mode is determined to be the optimal intra prediction mode is lowered. That is, once it is determined that the change amount of adjacent pixels is large by comparing the change amount and the threshold value, since the DC mode is unlikely to be selected as the optimal intra prediction mode for the current block, the order in which the DC mode is applied to the preset mode selection criteria As shown in FIG. 8, it is efficient to arrange the last one.
  • the intra prediction mode that is optimal for the current block may be selected more quickly.
  • it is applied to the preset mode selection criteria in the order of vertical mode, horizontal mode, diagonal left mode, diagonal right mode, vertical right mode, horizontal bottom mode, vertical left mode, horizontal top mode, and DC mode.
  • One intra prediction mode may be selected as the intra prediction mode of the current block. To this end, as shown in FIG.
  • the vertical mode and the horizontal mode are maintained as mode 0 and mode 1, respectively, the diagonal left mode is changed to mode 2, the diagonal right mode is changed to mode 3, and Change the vertical right mode to mode 4, the horizontal down mode to mode 5, the vertical left mode to mode 6, the horizontal top mode to mode 7, and the DC mode to mode 8 You can change the mode.
  • the order of the four intra prediction modes of the intra 16x16 mode can also be changed so that the DC mode is the last.
  • a threshold value which is a criterion for evaluating the degree of similarity of adjacent pixels, is compared with the calculated change amount other than the change amount of pixel values of adjacent pixels calculated by the change amount calculator 610.
  • the mode selector 620 must be set appropriately. That is, the threshold value is information that serves as a criterion for determining the degree of similarity between adjacent pixels of the current block. Therefore, when the calculated change amount of the pixel value of the adjacent pixel is smaller than the set threshold value, the adjacent pixels of the current block may be determined to have similarities with each other.
  • the mode selector 620 may calculate and set a threshold.
  • the threshold value may be adaptively calculated and set according to a quantization coefficient (QP) and a quantization step size (Q step ).
  • the quantization coefficient may be set to any integer value as a coefficient for adjusting the quantization.
  • the quantization coefficient is set to one of integers from 0 to 51.
  • the quantization step size is set based on quantization coefficients as information for adjusting the quantization intensity. For example, in H.264, the size of the quantization step is doubled whenever the quantization coefficient is increased by 6, so the size of the quantization step may be increased by 2 times whenever the quantization coefficient is increased by 6. .
  • This threshold may be calculated and set using Equation 6.
  • the threshold value may be set by substituting a specific constant into X and substituting a specific constant into Y in Equation 6.
  • These constants X and / or constants Y may be substituted by changing the value according to a set value of the quantization coefficient and / or quantization step size or a desired threshold value.
  • the mode bit generator 630 may generate and output a prediction mode bit indicating the intra prediction mode of the selected current block. At this time, the mode bit generator 630 generates and outputs a prediction mode bit only when the change amount calculated by the change amount calculator 610 is greater than or equal to the threshold value, and does not generate the prediction mode bit when the change amount is less than the threshold value. You may not.
  • the prediction mode bits may be included in the bitstream together with the encoded coefficient bits in the residual block of the current block. When the prediction blocks are included in the bitstream in units of macroblocks, the encoded coefficient bits may be allocated before the prediction mode bits. When included in the bitstream in units of subblocks, the encoded coefficient bits and the prediction mode bits may be included in the bitstream regardless of the order of each other.
  • FIG. 9 is an exemplary view briefly illustrating a bitstream generated in units of macroblocks according to an embodiment.
  • a bitstream generated in units of macroblocks by the bitstream generator 530 may be configured as shown in FIG. 9.
  • 9A illustrates a structure of a bitstream generated according to a conventional compression technique
  • FIG. 9B illustrates a structure of a bitstream generated in macroblock units according to an embodiment.
  • the bitstream generated according to a conventional compression technique as shown in 9A shows a structure in which the mode bit field to which the prediction mode bits are assigned is placed in front of the coefficient bit field to which the encoded coefficient bits are assigned, while According to an embodiment, a bitstream generated in units of macroblocks has a structure in which a mode bit field to which prediction mode bits are allocated is disposed behind a coefficient bit field to which encoded coefficient bits are allocated.
  • the structure of the bitstream shown in 9B shows the structure of the bitstream in which the encoded coefficient bits and the prediction mode bits are generated in macroblock units.
  • the encoding of all the blocks of the macroblock is performed in the coefficient bit field to which the encoded coefficient bits are assigned. While the counted coefficient bits are included, the mode bit field to which the prediction mode bits are allocated may not include the prediction mode bits of all blocks (or subblocks) of the macroblock.
  • the prediction mode selector 510 determines that the similarity of adjacent pixels is large when the amount of change of adjacent pixels of the current block is smaller than a threshold value, and selects a preset intra prediction mode as an intra prediction mode of the current block. Since the image encoding apparatus and the image decoding apparatus are set in advance, the image decoding apparatus may perform the intra prediction mode of the current block in the same manner as the image encoding apparatus, even if the bitstream does not include the prediction mode bit indicating the intra prediction mode of the corresponding block. It can be seen that the preset intra prediction mode. Therefore, when the intra prediction mode of the current block is selected as the preset intra prediction mode, the prediction mode bits for the block may not be included in the mode bit field, thereby improving the compression performance by reducing the size of the compressed data. You can.
  • the reason why the bitstream generated in units of macroblocks is different from the structure of the bitstream generated according to a conventional compression technique according to an embodiment is as described above. This is because, when the mode is selected as the preset intra prediction mode, the prediction mode bits of the corresponding block are not included in the mode bit field of the bitstream. If the intra prediction mode of the current block is selected as the preset intra prediction mode, the mode bit field is preceded by the coefficient bit field like a bit stream generated according to a conventional compression technique without including the prediction mode bit in the mode bit field.
  • the image decoding apparatus that receives the bitstream cannot normally distinguish the prediction mode bits and the coefficient bits. That is, the apparatus for decoding an image cannot know how far from the bitstream the prediction mode bit is or where the encoded coefficient bit starts.
  • the order of the bitstream is changed by transmitting a coefficient bit field to which coded coefficient bits are allocated first, and then transmitting a mode bit field to which a prediction mode bit is allocated later.
  • the image decoding apparatus may normally extract the encoded coefficient bits for each block of the macroblock based on the format of the predetermined encoded coefficient bits. Subsequently, the image decoding apparatus determines whether to select a preset intra prediction mode or an intra prediction mode indicated by the prediction mode bits as an intra prediction mode of the corresponding block according to the amount of change in the pixel value of the adjacent pixel of each block.
  • intra prediction of the block is performed using the preset intra prediction mode without extracting the prediction mode bits of the bitstream, and the intra prediction mode indicated by the prediction mode bits is intra. Only when the prediction mode is selected, the prediction mode bit can be normally extracted from the mode bit field of the bitstream, and the intra block can be normally intra predicted by the intra prediction mode indicated by the prediction mode bit.
  • FIG. 10 is a diagram schematically illustrating a bitstream included in a subblock unit configured according to an embodiment.
  • the structure of the bitstream illustrated in FIG. 9B of FIG. 9 illustrates a structure of a bitstream generated by including encoded coefficient bits and prediction mode bits in macroblock units.
  • a bitstream according to an embodiment may be generated by including encoded coefficient bits and prediction mode bits in subblock units.
  • FIG. 10 illustrates a structure of a bitstream generated according to an embodiment when intra prediction coding is performed by dividing a 16 ⁇ 16 macroblock into 16 4 ⁇ 4 subblocks.
  • 10 illustrates a structure of a bitstream generated by including prediction mode bits in macroblock units
  • 10B illustrates a structure of a bitstream generated by including encoded coefficient bits and prediction mode bits in subblock units.
  • 16 4x4 subblocks included in the 16x16 macroblock are included in the coefficient bit field.
  • the first prediction mode bits for each of the sixteen 4x4 subblocks included in the 16x16 macroblock also included in the mode bit field.
  • Sixteenth prediction mode bits are included in succession. That is, the coefficient bit field is allocated before the mode bit field and included in the bitstream.
  • some or all of the first to sixteenth prediction mode bits may be selectively included in the bitstream according to the amount of change of the adjacent pixel of each subblock.
  • the bitstream is generated by including the coefficient bits and the prediction mode bits encoded in sub-block units, as shown in 10B, one sub for each of the 16 4x4 subblocks included in the 16x16 macroblock. After the coefficient bit field and the mode bit field for the block are arranged, the coefficient bit field and the mode bit field for the next subblock are arranged.
  • the first prediction mode bit is placed after the first coefficient bit and then the second prediction mode bit is placed after the second coefficient bit, and arranged in this order so that at last the sixteenth prediction bit is followed by the sixteenth coefficient bit. The bit is placed.
  • the prediction mode bit is included or not included in the bitstream according to the amount of change in the pixel value of the adjacent pixel of the current block. Accordingly, the bitstream shown in 10B represents a case where the prediction mode bits of all subblocks of the 16 4x4 sized subblocks included in the 16x16 sized macroblock are included in the bitstream.
  • the neighboring pixels of the second subblock and the third subblock are included.
  • the prediction mode bits of the corresponding subblock that is, the second subblock and the third subblock, are not generated or generated. It is not included because it is not assigned to the bitstream. 10C illustrates this case by way of example.
  • the prediction mode bits are allocated before the encoded coefficient bits in units of subblocks, but the present invention is not limited thereto and may be allocated in the reverse order. That is, the encoded coefficient bits may be allocated before the prediction mode bits to configure the bitstream.
  • the image decoding apparatus predicts a corresponding subblock by comparing a change amount of adjacent pixels of a subblock to be encoded in advance with a threshold value. This is because it is possible to determine whether the mode bit is generated and included in the bitstream.
  • the bitstream corresponds to the bitstream. Extract only the encoded coefficient bits of the subblock, decode the corresponding subblock, and change the pixel value of the adjacent pixel of the next subblock to be greater than or equal to the threshold so that the prediction mode bits of the subblock are included in the bitstream. If it is determined that the macroblock is decoded by extracting the prediction mode bits as well as the encoded coefficient bits of the corresponding subblock in the bitstream.
  • an image decoding apparatus that receives and decodes a bitstream decodes the corresponding macroblock. Since the coded coefficient bits and the prediction mode bits for each of the sixteen subblocks must be stored in the same memory as the buffer until the C is completed, the required memory capacity is increased. In addition, in the case of configuring the bitstream by including the coefficient bits and the prediction mode encoded in macroblock units, as described above, the coefficient bit field to which the encoded coefficient bits are allocated is preceded by the mode bit field to which the prediction mode bits are allocated. The configuration of the bitstream is not flexible because it must be allocated and included in the bitstream.
  • FIG. 11 is a flowchart illustrating a prediction mode selection method for encoding, according to an embodiment.
  • an intra prediction mode of the current block should be selected.
  • the prediction mode selector that is, the prediction mode selector 510 calculates a change amount of pixel values of adjacent pixels of the current block (S1110), and compares the calculated change amount with a threshold value (S1120).
  • the prediction mode selector 510 determines that the similarity of adjacent pixels of the current block is large and selects the preset intra prediction mode as the intra prediction mode of the current block (S1130). In this case, since the preset intra prediction mode selected as the intra prediction mode of the current block is previously promised in the image decoding apparatus, the prediction mode selector 510 does not generate a prediction mode bit for indicating the intra prediction mode of the current block. (S1140). If a prediction mode bit is generated, it is not included in the bitstream.
  • the prediction mode selector 510 determines that the similarity of the adjacent pixels of the current block is small and determines one of the plurality of intra prediction modes according to a preset mode selection criterion.
  • the intra prediction mode is selected (S1150), and the selected one intra prediction mode is selected as the intra prediction mode of the current block (S1160).
  • a prediction mode bit indicating an intra prediction mode of the selected current block is generated (S1170). The generated prediction mode bits are included in the bitstream.
  • the prediction mode selector 510 when the intra prediction mode of the current block is selected, the prediction mode selector 510 is equal to the rate-distortion optimization in a certain case (when the amount of change in the pixel value of the adjacent pixel is smaller than the threshold value). Since it is possible to select a preset intra prediction mode as an intra prediction mode of the current block without performing a complicated process of selecting an optimal intra prediction mode according to all selection criteria, the amount of calculation for selecting an intra prediction mode can be reduced. Not only can the implementation be simplified, but the coding speed can be improved, thereby improving the compression performance.
  • FIG. 12 is a flowchart illustrating an image encoding method, according to an exemplary embodiment.
  • the intra prediction mode of the current block is selected according to the amount of change in pixel values of adjacent pixels of the current block to be encoded (S1210), and the residual block generated by intra prediction of the current block is encoded according to the intra prediction mode of the selected current block.
  • the bitstream is output by including the coefficient bits and the prediction mode bits encoded by the residual block of the current block in macroblock units or subblock units, and selectively include the prediction mode bits in the bitstream according to the amount of change (S1220). S1230).
  • the output bitstream may include a coefficient bit field to which coded coefficient bits are allocated and a mode bit field to which prediction mode bits are allocated, and the coefficient bit and the prediction mode bits encoded in macroblock units are included in the bitstream.
  • the coefficient bit field may be disposed in front of the mode bit field.
  • the coefficient bit field may be included in the bitstream regardless of the order of each other.
  • the encoded coefficient bits and the prediction mode bits are included in subblock units, the encoded coefficient bits of one subblock are placed before the prediction mode bits, and the encoded coefficient bits of the next subblock are placed before the prediction mode bits.
  • the encoded coefficient bits and the prediction mode bits of all subblocks may be disposed in the bitstream.
  • the intra prediction mode of the current block is selected according to the amount of change in pixel values of adjacent pixels of the current block, thereby reducing the amount of computation for selecting the intra prediction mode and saving time for the selection.
  • the prediction mode bits may or may not be included in the bitstream according to the amount of change in the pixel value of adjacent pixels in the current block, thereby reducing the data size of the bitstream, thereby improving the compression efficiency. Can be improved.
  • FIG. 13 is a block diagram schematically illustrating an image decoding apparatus according to an embodiment.
  • the image decoding apparatus 1300 may include a bitstream extractor 1310, a prediction mode selector 1320, and an intra prediction decoder 1330.
  • the bitstream extractor 1310 extracts encoded coefficient bits and prediction mode bits from a bitstream in which the residual bits of the current block are encoded and the prediction mode bits of the current block are included in macroblock units or subblock units.
  • the bitstream includes coefficient bits encoded in macroblock units and prediction mode bits
  • the encoded coefficient bits are included before the prediction mode bits.
  • the prediction mode selector 1320 selects the preset intra prediction mode or the intra prediction mode indicated by the extracted prediction mode bits as the intra prediction mode of the current block according to the amount of change in the pixel value of the adjacent pixel of the current block. For example, the prediction mode selector 1320 may select the preset intra prediction mode as the intra prediction mode of the current block when the amount of change of the pixel value of the adjacent pixel of the current block is smaller than the threshold, and the neighbor of the current block. When the amount of change in the pixel value of the pixel is greater than or equal to the threshold value, the intra prediction mode indicated by the prediction mode bits extracted from the bitstream may be selected as the intra prediction mode of the current block.
  • the preset intra prediction mode may be an intra prediction mode that predicts an average value of pixel values of neighboring pixels of the current block as predicted pixel values of the pixels of the current block. Any intra prediction mode may be used as long as it is a promised intra prediction mode.
  • the amount of change may be calculated using a scatter plot, which may be such as variance, standard deviation, mean deviation, quadrant deviation, and the like.
  • the threshold may be set according to the quantization coefficients and the quantization step size of the current block.
  • the intra prediction decoder 1330 recovers the residual block of the current block by decoding the coded coefficient bits, and intra-predicts the current block according to the intra prediction mode of the selected current block to restore and output the current block.
  • the intra prediction decoder 1330 may be configured like the image decoding apparatus 200 described above with reference to FIG. 2. That is, the intra prediction decoder 1330 decodes the coded coefficient bits extracted from the bitstream to restore a quantized transform block having quantized transform coefficients, and inversely quantizes and inverse transforms the quantized transform coefficients to restore a residual block.
  • the prediction block may be generated by predicting the current block according to the intra prediction mode of the current block selected by the prediction mode selector 1320, and then reconstructing the current block by adding the reconstructed residual block and the prediction block.
  • an inverse quantization and / or inverse transformation process may be selectively omitted according to an implementation method.
  • FIG. 14 is a block diagram schematically illustrating an apparatus for selecting a prediction mode for decoding according to an embodiment.
  • An apparatus for selecting a prediction mode for decoding according to an embodiment may be implemented with a prediction mode selector 1310 in FIG. 13.
  • the prediction mode selecting apparatus for decoding according to an embodiment is called a prediction mode selector 1310.
  • the prediction mode selector 1310 may include a variation calculator 1410 and a mode selector 1420.
  • the change amount calculator 1410 calculates a change amount of the pixel value of the adjacent pixel of the current block. Since the change calculator 1410 has the same or similar function as the change calculator 610 described above with reference to FIG. 6, a detailed description thereof will be omitted. However, while the variation calculator 610 described above with reference to FIG. 6 receives the pixel value of the adjacent pixel of the current block from the intra prediction encoder 520, the variation calculator 1410 intra-predicts the pixel value of the neighbor pixel of the current block. It may be received from the decoder 1330.
  • the mode selector 1420 selects the preset intra prediction mode as the intra prediction mode of the current block when the calculated change amount is smaller than the threshold value, and when the change amount is greater than or equal to the threshold value, the residual block of the current block is encoded.
  • An intra prediction mode indicated by the prediction mode bits of the current block extracted from the bitstream in which the coefficient bits and the prediction mode bits of the current block are included in the macroblock unit or the subblock unit is selected as the intra prediction mode of the current block.
  • the mode selector 1420 determines that the similarity of adjacent pixels is large when the amount of change calculated by the amount of change calculator 1410 is smaller than the threshold value, and thus, the mode selector 1420 previously promises the intra prediction mode previously set in advance with the image encoding apparatus 500. It is selected as the intra prediction mode of the block.
  • the mode selector 1420 determines that the similarity of adjacent pixels is small when the amount of change calculated by the change amount calculator 1410 is greater than or equal to the threshold value, and reads the prediction mode bits extracted from the bitstream to display the intra prediction represented by the prediction mode bits.
  • the mode is selected as the intra prediction mode of the current block.
  • the intra prediction mode of the current block thus selected is transferred to the intra prediction decoder 1330, and used by the intra prediction decoder 1330 to predict the current block.
  • 15 is a flowchart illustrating a method of selecting a prediction mode for decoding according to an embodiment.
  • the prediction mode selector 1320 of the image decoding apparatus 1300 calculates a change amount of pixel values of adjacent pixels of the current block in order to select an intra prediction mode of the current block (S1510). The change amount is compared with a threshold value (S1520).
  • the prediction mode selector 1320 selects the preset intra prediction mode as the intra prediction mode of the current block (S1530).
  • the preset intra prediction mode refers to an intra prediction mode set in advance with the image encoding apparatus 500.
  • the prediction mode selector 1320 selects the intra prediction mode indicated by the prediction mode bits extracted from the bitstream as the intra prediction mode of the current block (S1540). .
  • 16 is a flowchart illustrating an image decoding method, according to an exemplary embodiment.
  • the image decoding apparatus 1300 extracts the coefficient bits and the prediction mode bits in which the residual block is encoded from the bitstream in macroblock units (S1610), and sets the intra prediction mode according to the change amount of the pixel value of the adjacent pixel of the current block.
  • the intra prediction mode indicated by the prediction mode extracted from the bitstream is selected as the intra prediction mode of the current block (S1620).
  • the image decoding apparatus 1300 reconstructs the residual block of the current block by decoding the encoded coefficient bits extracted from the bitstream in step S1610 (S1630), and predicts the current block according to the intra prediction mode of the current block selected in step S1620.
  • the current block is restored using the reconstructed residual block and the intra-predicted current block in operation S1650.
  • a 16 ⁇ 16 macroblock is intra prediction encoded in units of a 4 ⁇ 4 subblock, and the encoded coefficient bits and the prediction mode bits for each subblock are included in the macroblock unit to generate a bitstream.
  • the bitstream includes the encoded coefficient bits for all subblocks in the coefficient bit field, as shown in 10A of FIG. 10, and the prediction mode bits for each subblock are included in the mode bit field. It is optionally included according to the amount of change in the pixel value.
  • the image decoding apparatus 1300 extracts the encoded coefficient bits and the prediction mode bits for all the subblocks in the unit of macroblocks from the bitstream, stores them in a memory such as a buffer, and encodes each subblock stored in the memory.
  • the coefficient bit is read and decoded, and since the hatched coefficient bits of each subblock extracted from the bitstream are included before the prediction mode bits of each subblock, the image decoding apparatus 1300 encodes the encoded coefficient bits of each subblock. Can read correctly.
  • the image decoding apparatus 1300 reads the prediction mode bits for each subblock selectively included according to the amount of change of the neighboring pixels of the current block from the prediction mode bits extracted from the bitstream and stored in the memory, and thus the neighboring of each subblock.
  • the intra prediction mode of each subblock is selected according to the amount of change in the pixel value of the pixel, and each subblock is predicted according to the intra prediction mode of each selected subblock, and the decoded coefficient bits for each subblock are decoded to restore each.
  • the entire macroblock is reconstructed by reconstructing each subblock using the residual block of the subblock and each predicted subblock.
  • the image decoding apparatus 1300 calculates a change amount of the pixel value of the adjacent pixel of the current block, and when the calculated change amount is smaller than the threshold value, the intra decoding unit 1300 is extracted from the bitstream and does not read the prediction mode bits stored in the memory. Selects the mode as the intra prediction mode of the current block, and if the calculated variation is greater than or equal to the threshold value, the intra block is represented by the intra prediction mode indicated by the prediction mode bit read from the bitstream and reading the prediction mode bits stored in the memory. Can be selected as the intra prediction mode.
  • a 16 ⁇ 16 macroblock is intra prediction encoded in units of a 4 ⁇ 4 subblock, and the encoded coefficient bits and the prediction mode bits for each subblock are included in the subblock unit to generate a bitstream. If it is assumed that, as shown in 10B or 10C of FIG. 10, the coefficient bit field and the mode bit field are separated in units of subblocks, and the coefficient bit field includes encoded coefficient bits of each subblock. In the bit field, the prediction mode bits of each subblock are selectively included according to the change amount of the adjacent pixel.
  • the image decoding apparatus 1300 extracts the encoded coefficient bits and the prediction mode bits for each subblock from the bitstream in units of macroblocks, and stores the encoded coefficient bits and prediction mode bits in a memory such as a buffer, and stores each subblock stored in the memory for each subblock. It is used to decode the encoded coefficient bits of the block or to select the intra prediction mode of each subblock according to the amount of change in the pixel value of the adjacent pixel of each subblock. Since the image decoding apparatus 1300 reads the encoded coefficient bits and the prediction mode bits from the memory for each subblock, the image decoding apparatus 1300 may read the encoded coefficient bits and the prediction mode bits correctly.
  • the amount of change in the pixel value of the adjacent pixel of each subblock is first calculated and compared with the threshold to determine whether the prediction mode bits are included. Therefore, even when the coded coefficient bits of each subblock are disposed before the prediction mode bits, it is possible to determine whether the coded coefficient bits are encoded coefficient bits and read them correctly.
  • the image decoding apparatus 1300 determines one subblock of each subblock as a current block to be decoded currently, calculates a change amount of pixel values of adjacent pixels of the current block, and when the calculated change amount is smaller than a threshold value.
  • the preset intra prediction mode is selected as the intra prediction mode of the current block without reading the prediction mode bits extracted from the bitstream and stored in the memory. If the calculated variation is greater than or equal to the threshold value, it is extracted from the bitstream and stored in the memory.
  • the intra prediction mode indicated by the prediction mode bit can be selected as the intra prediction mode of the current block.
  • the current block After predicting the current block by using the selected intra prediction mode and decoding the encoded coefficient bits for the current block, the current block is restored, and the above-described process is repeated by setting the next subblock as the current block.
  • the encoded coefficient bits and the prediction mode bits for the subblock in which the decoding process is completed may be deleted from a memory such as a buffer, thereby reducing the memory capacity of the system.
  • the present invention is applied to an image processing field that compresses, transmits, decompresses, and displays a moving image, thereby simplifying a process of selecting a prediction mode for compressing an image, thereby improving a compression speed and compressing the size of the compressed data. It is a very useful invention that produces the effect of reducing the compression efficiency.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 본 발명은 영상을 부호화하는 장치에 있어서, 입력 영상에서 부호화하고자 하는 현재 블록의 인접 화소의 화소값의 변화량에 따라 현재 블록의 인트라 예측 모드를 선택하고 선택된 현재 블록의 인트라 예측 모드에 따라 현재 블록을 인트라 예측하여 생성한 잔차 블록을 부호화하여 부호화된 계수 비트를 생성하며, 부호화된 계수 비트 및 선택된 현재 블록의 인트라 예측 모드를 나타내는 예측 모드 비트를 매크로블록 단위 또는 서브블록 단위로 포함하는 비트스트림을 생성하고 출력하되, 변화량에 따라 예측 모드 비트를 선택적으로 비트스트림에 포함시키는 비트스트림 생성기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다. 본 발명에 의하면, 영상의 압축을 위한 예측 모드의 선택 과정을 간소화하여 압축 속도를 향상시키고 압축된 데이터의 크기를 줄여 압축 효율을 향상시킬 수 있다.

Description

예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
본 발명은 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 영상의 압축하기 위한 예측 모드의 선택 과정을 간소화하여 압축 속도를 향상시키고 압축된 데이터의 크기를 줄여 압축 효율을 향상시키는 방법 및 장치에 관한 것이다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced Video Coding)이라 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동으로 발표되었다.
H.264/AVC와 같은 영상 압축 기술에서는 효율적인 영상 압축을 위해, 인터 예측, 인트라 예측 등 다양한 예측 기술을 이용한다. 여기서, 인트라 예측에는 인트라 4×4 예측, 인트라 16×16 예측 및 인트라 8×8 예측 등의 다양한 예측 방식이 있는데, 각 인트라 예측에는 복수 개의 예측 모드를 포함한다.
H.264/AVC와 같은 영상 압축 기술에서는 복수 개의 예측 모드 중에서 각 블록을 압축하는 데 가장 성능이 좋은 최적의 예측 모드를 선택하여 예측을 수행한다. 따라서, 어떤 예측 모드를 최적의 예측 모드로 선택하여 예측을 수행하는가에 따라서 압축 효율이 달라지는데, 최적의 예측 모드를 선택하기 위해서는 모든 예측 모드에 따라 블록의 예측을 수행한 이후 소정의 비용 함수를 사용하여 부호화 비용을 계산한 후 부호화 비용이 가장 작은 예측 모드를 선택한다.
따라서, 인트라 4×4 예측이든 인트라 16×16 예측이든지 간에, 최적의 예측 모드를 결정하기 위해서는 복수 개의 예측 모드를 모두 적용하여 예측을 수행하고 부호화 비용을 계산해야만 한다. 이는 부호화 과정이 복잡하게 되어 부호화 효율 또는 압축 효율을 떨어뜨리는 문제점을 발생시킨다.
또한, 영상을 올바르게 복호화하기 위해서는 선택된 최적의 예측 모드에 대한 정보도 함께 부호화해야 한다. 최근에는 고해상도의 영상에 대한 요구 사항이 점차 커짐에 따라, 부호화할 블록의 수가 증가하게 되어 각 블록별로 최적의 예측 모드에 대한 정보를 부호화하는데 필요한 비트의 양이 더욱 증가하고 있으며, 이로 인해 압축 효율이 저하되는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 영상의 압축을 위한 예측 모드의 선택 과정을 간소화하여 압축 속도를 향상시키고 압축된 데이터의 크기를 줄여 압축 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 영상을 부호화하는 장치에 있어서, 입력 영상에서 부호화하고자 하는 현재 블록의 인접 화소의 화소값의 변화량에 따라 현재 블록의 인트라 예측 모드를 선택하는 예측 모드 선택기; 선택된 현재 블록의 인트라 예측 모드에 따라 현재 블록을 인트라 예측하여 생성한 잔차 블록을 부호화하여 부호화된 계수 비트를 생성하는 인트라 예측 부호화기; 및 부호화된 계수 비트 및 선택된 현재 블록의 인트라 예측 모드를 나타내는 예측 모드 비트를 매크로블록 단위 또는 서브블록 단위로 포함하는 비트스트림을 생성하고 출력하되, 변화량에 따라 예측 모드 비트를 선택적으로 비트스트림에 포함시키는 비트스트림 생성기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 입력 영상에서 부호화하고자 하는 현재 블록의 인접 화소의 화소값의 변화량에 따라 현재 블록의 인트라 예측 모드를 선택하는 단계; 선택된 현재 블록의 인트라 예측 모드에 따라 현재 블록을 인트라 예측하여 생성한 잔차 블록을 부호화하여 부호화된 계수 비트를 생성하는 단계; 및 부호화된 계수 비트 및 선택된 현재 블록의 인트라 예측 모드를 나타내는 예측 모드 비트를 매크로블록 단위 또는 서브블록 단위로 포함하는 비트스트림을 생성하되, 변화량에 따라 예측 모드 비트를 선택적으로 비트스트림에 포함시키는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 현재 블록의 잔차 블록이 부호화된 계수 비트 및 현재 블록의 예측 모드 비트가 매크로블록 단위 또는 서브블록 단위로 포함된 비트스트림으로부터 부호화된 계수 비트 및 예측 모드 비트를 추출하는 비트스트림 추출기; 현재 블록의 인접 화소의 화소값의 변화량에 따라 기 설정된 인트라 예측 모드 또는 추출된 예측 모드 비트가 나타내는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택하는 예측 모드 선택기; 및 부호화된 계수 비트를 복호화하여 현재 블록의 잔차 블록을 복원하고 선택된 현재 블록의 인트라 예측 모드에 따라 현재 블록을 인트라 예측하여 현재 블록을 복원하고 출력하는 인트라 예측 복호화기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 현재 블록의 잔차 블록이 부호화된 계수 비트 및 현재 블록의 예측 모드 비트가 매크로블록 단위 또는 서브블록 단위로 포함된 비트스트림으로부터 부호화된 계수 비트 및 예측 모드 비트를 추출하는 단계; 현재 블록의 인접 화소의 화소값의 변화량에 따라 기 설정된 인트라 예측 모드 또는 추출된 예측 모드 비트가 나타내는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택하는 단계; 부호화된 계수 비트를 복호화하여 현재 블록의 잔차 블록을 복원하는 단계; 선택된 현재 블록의 인트라 예측 모드에 따라 현재 블록을 인트라 예측하는 단계; 및 복원된 잔차 블록과 인트라 예측된 현재 블록을 이용하여 현재 블록을 복원하고 출력하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 예측 모드를 선택하는 장치에 있어서, 현재 블록의 인접 화소의 화소값의 변화량을 계산하는 변화량 계산기; 계산된 변화량이 임계값보다 작은 경우에는 기 설정된 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택하고 계산된 변화량이 임계값보다 크거나 같은 경우에는 기 설정된 모드 선택 기준에 따라 복수 개의 인트라 예측 모드 중 하나의 인트라 예측 모드를 선택하여 선택된 하나의 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택하는 모드 선택기; 및 선택된 현재 블록의 인트라 예측 모드를 나타내는 예측 모드 비트를 생성하여 출력하는 모드 비트 생성기를 포함하는 것을 특징으로 하는 예측 모드 선택 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 예측 모드를 선택하는 방법에 있어서, 현재 블록의 인접 화소의 화소값의 변화량을 계산하는 단계; 계산된 변화량이 임계값보다 작은 경우에는 기 설정된 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택하는 단계; 계산된 변화량이 임계값보다 크거나 같은 경우에는 기 설정된 모드 선택 기준에 따라 복수 개의 인트라 예측 모드 중 하나의 인트라 예측 모드를 선택하여 선택된 하나의 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택하는 단계; 및 선택된 현재 블록의 인트라 예측 모드를 나타내는 예측 모드 비트를 생성하여 출력하는 단계를 포함하는 것을 특징으로 하는 예측 모드 선택 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 예측 모드를 선택하는 장치에 있어서, 현재 블록의 인접 화소의 화소값의 변화량을 계산하는 변화량 계산기; 및 계산된 변화량이 임계값보다 작은 경우에는 기 설정된 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 선택하고, 변화량이 임계값보다 크거나 같은 경우에는 현재 블록의 잔차 블록이 부호화된 계수 비트 및 현재 블록의 예측 모드 비트가 매크로블록 단위 또는 서브블록 단위로 포함된 비트스트림으로부터 추출된 현재 블록의 예측 모드 비트가 나타내는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택하는 모드 선택기를 포함하는 것을 특징으로 하는 예측 모드 선택 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 예측 모드를 선택하는 방법에 있어서, 현재 블록의 인접 화소의 화소값의 변화량을 계산하는 단계; 계산된 변화량이 임계값보다 작은 경우에는 기 설정된 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 선택하는 단계; 및 변화량이 임계값보다 크거나 같은 경우에는 현재 블록의 잔차 블록이 부호화된 계수 비트 및 현재 블록의 예측 모드 비트가 매크로블록 단위 또는 서브블록 단위로 포함된 비트스트림으로부터 추출된 현재 블록의 예측 모드 비트가 나타내는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택하는 단계를 포함하는 것을 특징으로 하는 예측 모드 선택 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 영상의 압축을 위한 예측 모드의 선택 과정을 간소화하여 압축 속도를 향상시키고 압축된 데이터의 크기를 줄여 압축 효율을 향상시킬 수 있다.
도 1은 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 2는 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 3은 9가지의 인트라 4×4 예측 모드를 나타낸 예시도,
도 4는 4가지의 인트라 16×16 예측 모드를 나타낸 예시도,
도 5는 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 6은 일 실시예에 따른 부호화를 위한 예측 모드 선택 장치를 간략하게 나타낸 블록 구성도,
도 7은 일 실시예에 따른 인접 화소들의 화소값의 변화량을 설명하기 위한 예시도,
도 8은 일 실시예에 따른 인트라 예측 순서가 변경된 9가지의 인트라 4×4 예측 모드를 나타낸 예시도,
도 9는 일 실시예에 따라 구성되는 매크로블록 단위로 포함된 비트스트림을 간략하게 나타낸 예시도,
도 10은 일 실시예에 따라 구성되는 서브블록 단위로 포함된 비트스트림을 간략하게 나타낸 예시도,
도 11은 일 실시예에 따른 부호화를 위한 예측 모드 선택 방법을 설명하기 위한 순서도,
도 12는 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 13은 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 14는 일 실시예에 따른 복호화를 위한 예측 모드 선택 장치를 간략하게 나타낸 블록 구성도,
도 15는 일 실시예에 따른 복호화를 위한 예측 모드 선택 방법을 설명하기 위한 순서도,
도 16은 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus) 또는 예측 모드 선택 장치(Prediction Mode Selection Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 예측 모드를 선택하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
또한, 영상 부호화 장치와 영상 복호화 장치에는 인트라 예측뿐만 아니라 인터 예측을 수행하기 위한 기능이 구비될 수 있지만, 본 발명의 실시예와 직접적인 관계가 없기 때문에, 혼란을 방지하기 위해 상세한 설명한다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성되어 있으며, 각 픽처들은 블록(Block)으로 분할된다. 각 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류된다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 픽처를 참조 픽처(Reference Picture)라고 한다.
도 1은 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
영상 부호화 장치(100)는 예측기(Predictor, 110), 감산기(Subtracter, 120), 변환기(Transformer, 130), 양자화기(Quantizer, 140), 부호화기(Encoder, 150), 역 양자화기(Inverse Quantizer, 160), 역 변환기(Inverse Transformer, 170) 및 가산기(Adder, 180)를 포함할 수 있다.
예측기(110)는 현재 블록(Current Block)을 인트라 예측(Intra Prediction)하여 예측 블록(Predicted Block)을 생성한다. 즉, 예측기(110)는 입력 영상(Input Picture)에서 현재 부호화하고자 하는 블록 즉, 현재 블록이 입력되면, 현재 블록의 화소(Pixels)의 원 화소값(Original Pixel Values)을 복수 개의 인트라 예측 모드 중 선택되는 인트라 예측 모드(Intra Prediction Mode)의 예측 방향(Prediction Direction)에 따라 예측하여 예측 화소값(Predicted Pixel Values)을 가지는 예측 블록을 생성하여 출력한다.
여기서, 복수 개의 인트라 예측 모드는 현재 블록의 블록 모드(Block Mode)에 따른 복수 개의 인트라 예측 모드이거나 사용자에 의해 미리 설정되는 복수 개의 인트라 예측 모드일 수 있다. 예를 들어, H.264/AVC 표준에 따라 동영상을 압축하고 현재 블록의 블록 모드가 인트라 16x16 모드라고 가정하면, 복수 개의 인트라 예측 모드는 H.264/AVC 표준에서 정의하는 인트라 16x16 모드의 예측 모드인 4 개의 인트라 예측 모드가 될 수 있다. 또한, 동일한 경우, 사용자가 4 개의 인트라 예측 모드 중 수평 모드(Horizontal Mode)와 수직 모드(Vertical Mode)를 미리 설정한 경우, 복수 개의 인트라 예측 모드는 인트라 16x16 모드 중 수평 모드와 수직 모드가 될 수 있다.
감산기(120)는 현재 블록과 예측 블록을 감산하여 현재 블록의 잔차 블록(Residual Block)을 생성한다. 여기서, 출력되는 잔차 블록은 잔차 신호(Residual Signal)를 포함하는데, 잔차 신호는 현재 블록의 원 화소값에서 예측 블록의 예측 화소값을 뺀 값을 가진다.
변환기(130)는 잔차 블록을 변환하여 변환 블록(Transformed Block)을 생성한다. 즉, 변환기(130)는 감산기(120)로부터 출력되는 잔차 블록의 잔차 신호를 주파수 영역(Frequency Domain)으로 변환하여 변환 계수(Transform Coefficient)를 가지는 변환 블록을 생성하여 출력한다. 여기서, 잔차 신호를 주파수 영역으로 변환 방법으로서는 이산 코사인 변환(DCT: Discrete Cosine Transform) 기반 변환 또는 하다마드 변환(Hadamard Transform) 등이 이용될 수도 있지만, 반드시 이에 한정되지 않고 DCT 변환을 개량 및 변형한 기법과 같은 다양한 변환 기법을 이용될 수 있으며, 이를 이용하여 잔차 신호가 주파수 영역으로 변환되어 변환 계수로 변환된다.
양자화기(140)는 변환 블록을 양자화하여 양자화된 변환 블록을 생성한다. 즉, 양자화기(140)는 변환기(130)로부터 출력되는 변환 블록의 변환 계수들을 양자화하여 양자화된 변환 계수를 가지는 양자화된 변환 블록(Quantized Transform Coefficient)을 생성하여 출력한다. 여기서, 양자화 방법으로서는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등이 이용될 수 있지만 이를 개량한 양자화 등 다양한 양자화 방법이 이용될 수 있다.
부호화기(150)는 양자화된 변환 블록을 부호화하여 비트스트림을 출력한다. 즉, 부호화기(150)는 양자화기(140)로부터 출력되는 양자화된 변환 블록의 양자화된 변환 계수를 지그재그 스캔 등 다양한 스캔 방식으로 스캔한 주파수 계수열을 엔트로피 부호화(Entropy Encoding) 등 다양한 부호화 기법을 이용하여 부호화하고 해당 블록을 복호화하는 데 필요한 부가적인 정보들(예를 들면, 예측 모드에 대한 정보, 양자화 계수(Quantization Parameter), 움직임 벡터(Motion Vector) 등)을 함께 포함하는 비트스트림을 생성하고 출력한다.
역 양자화기(160)는 양자화된 변환 블록을 역 양자화한다. 즉, 역 양자화기(160)는 양자화기(140)로부터 출력되는 양자화된 변환 블록의 양자화 변환 계수들을 역 양자화하여 출력한다.
역 변환기(170)는 역 양자화된 변환 블록을 역 변환한다. 즉, 역 변환기(170)는 역 양자화기(160)에 의해 역 양자화된 변환 계수를 역 변환하여 복원된 잔차 계수를 가지는 잔차 블록을 복원한다.
가산기(180)는 예측기(110)에 의해 예측된 예측 블록과 역 변환기(170)에 의해 역 변환되어 복원된 잔차 블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록은 예측기(110)로 전달되어 다음 블록 또는 다음 픽처 등 다른 블록을 예측하는 데 활용될 수 있다.
도 2는 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
영상 복호화 장치(200)는 복호화기(Decoder, 210), 역 양자화기(220), 역 변환기(230), 예측기(240) 및 가산기(250)를 포함할 수 있다.
복호화기(210)는 비트스트림을 복호화하여 양자화된 변환 블록을 추출한다. 즉, 복호화기(210)는 입력되는 비트스트림으로부터 추출된 비트열을 복호화하고 역 스캐닝하여 양자화된 변환 계수를 가지는 양자화된 변환 블록을 복원한다. 이때, 복호화기(210)는 영상 부호화 장치(100)의 부호화기(150)에서 이용한 엔트로피 부호화와 같은 부호화 기법을 이용하여 복호화한다.
역 양자화기(220)는 양자화된 변환 블록을 역 양자화한다. 즉, 역 양자화기(220)는 복호화기(210)로부터 출력되는 양자화된 변환 블록의 양자화된 변환 계수를 역 양자화한다. 이때, 역 양자화기(220)는 영상 부호화 장치(100)의 양자화기(140)에서 이용한 양자화 기법을 역으로 수행하여 역 양자화한다.
역 변환기(230)는 역 양자화기(220)로부터 출력되는 역 양자화된 변환 블록을 역 변환하여 잔자 블록을 복원한다. 즉, 역 변환기(230)는 역 양자화기(220)로부터 출력되는 역 양자화된 변환 블록의 역 양자화된 변환 계수를 역 변환함으로써 복원된 잔차 신호를 가지는 잔차 블록을 복원하는데, 영상 부호화 장치(100)의 변환기(130)에서 이용한 변환 기법을 역으로 수행하여 역 변환한다.
예측기(240)는 비트스트림으로부터 추출된 인트라 예측 모드에 따른 예측 방향에 따라 현재 블록을 예측하여 예측 블록을 생성한다.
가산기(250)는 예측 블록과 복원된 잔차 블록을 가산하여 현재 블록을 복원한다. 즉, 가산기(250)는 예측기(240)로부터 출력되는 예측 블록의 예측 화소값과 역 변환기(230)로부터 출력되는 복원된 잔차 블록의 복원된 잔차 신호를 가산하여 현재 블록의 복원 화소값을 산함으로써, 현재 블록을 복원한다.
도 1 및 도 2를 통해 전술한 영상 부호화 장치와 영상 복호화 장치의 인트라 예측은 도 3 및 도 4에 도시한 바와 같은 복수 개의 인트라 예측 모드 중에서 최적의 인트라 예측 모드를 선택하고 선택된 최적의 인트라 예측 모드의 예측 방향에 따라 블록을 예측한다.
도 3은 9가지의 인트라 4×4 예측 모드를 나타낸 예시도이다.
도 3을 참조하면, 인트라 4×4 예측에는, 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드, 대각선 왼쪽(Diagonal down-left) 모드, 대각선 오른쪽(Diagonal down-right), 수직 오른쪽(Vertical-right) 모드, 수평 아래쪽(Horizontal-down) 모드, 수직 왼쪽(Vertical-left) 및 수평 위쪽(Vertical-up) 모드를 포함하는 9가지의 예측 모드가 있으며, 9 개의 예측 모드에는 모드 번호가 부여된다. 인트라 8×8 예측도 인트라 4×4 예측과 유사한 9가지의 예측 모드가 있다.
도 4는 4가지의 인트라 16×16 예측 모드를 나타낸 예시도이다.
도 4를 참조하면, 인트라 16×16 예측에는, 수직(Vertical) 모드, 수평(Horizontal) 모드, DC 모드 및 플래인(Plane) 모드를 포함하는 4가지의 예측 모드가 있으며, 4 개의 예측 모드에는 모드 번호가 부여된다.
도 5는 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
일 실시예에 따른 영상 부호화 장치(500)는 예측 모드 선택기(Prediction Mode Selector, 510), 인트라 예측 부호화기(Intra Prediction Encoder, 520) 및 비트스트림 생성기(Bitstream Generator, 530)를 포함할 수 있다.
예측 모드 선택기(510)는 입력 영상에서 부호화하고자 하는 현재 블록의 인접 화소(Adjacent Pixel)의 화소값(Pixel Value)의 변화량(Variation)에 따라 현재 블록의 인트라 예측 모드를 선택한다. 여기서, 현재 블록의 인접 화소란 현재 블록의 주변에 있는 주변 블록에 포함된 화소 중 하나일 수 있으며, 특히 주변 블록에 포함된 화소 중 현재 블록과 인접한 화소일 수 있다. 또한, 현재 블록의 인접 화소는 인트라 예측 부호화기(520)에 의해 부호화되고 복호화되어 기 복원된 화소일 수 있다.
예측 모드 선택기(510)는 현재 블록의 인접 화소의 화소값의 변화량이 임계값(Th: Threshold)보다 작은 경우에는 기 설정된 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택할 수 있다. 여기서, 기 설정된 인트라 예측 모드는 현재 블록의 인접 화소의 화소값의 평균값을 현재 블록의 화소들의 예측 화소값으로 예측하는 인트라 예측 모드(예를 들면, H.264/AVC의 경우에는 DC 모드)와 같은 것일 수 있다.
예측 모드 선택기(510)는 현재 블록의 인접 화소의 화소값의 변화량이 임계값보다 크거나 같은 경우에는 기 설정된 모드 선택 기준에 따라 복수 개의 인트라 예측 모드 중 하나의 인트라 예측 모드를 선택하고 선택된 하나의 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택할 수 있다. 이 경우, 예측 모드 선택기(510)는 복수 개의 인트라 예측 모드 각각을 차례로 기 설정된 모드 선택 기준에 적용하여 하나의 인트라 예측 모드를 선택하되, 복수 개의 인트라 예측 모드 중 DC 모드를 기 설정된 모드 선택 기준에 마지막으로 적용할 수 있다. 여기서, 기 설정된 모드 선택 기준이란 영상 부호화 장치(500)와 후술할 영상 복호화 장치(900)가 미리 약속한 모드 선택 기준이 될 수 있는데, 예를 들면 율-왜곡 최적화(RDO: Rate-Distortion Optimization)와 같은 것이 될 수도 있다.
예측 모드 선택기(510)는 현재 블록의 인접 화소의 화소값의 변화량을 산포도(Degree of Scattering)를 이용하여 계산할 수 있다. 여기서, 산포도는 분산(Dispersion), 표준편차(Standard Deviation), 평균편차(Mean Deviation), 사분편차(Quartile Deviation) 등과 같은 것일 수 있다.
예측 모드 선택기(510)는 현재 블록의 인접 화소의 화소값의 변화량을 임계값과 비교하여 현재 블록의 인트라 예측 모드를 선택할 수 있다. 여기서, 임계값은 현재 블록의 양자화 계수 및 양자화 단계 크기 등과 같은 것에 따라 설정될 수 있다.
인트라 예측 부호화기(520)는 선택된 현재 블록의 인트라 예측 모드에 따라 현재 블록을 인트라 예측하여 생성한 잔차 블록을 부호화하여 부호화된 계수 비트(Coded Coefficient Bit)를 생성한다. 인트라 예측 부호화기(520)는 도 1을 통해 전술한 영상 부호화 장치(100)와 같이 구성될 수 있다. 즉, 인트라 예측 부호화기(520)는 예측 모드 선택기(510)에 의해 선택된 인트라 예측 모드에 따라 현재 블록을 예측하여 예측 블록을 생성하고, 생성된 예측 블록을 현재 블록과 감산하여 잔차 블록을 생성하며, 잔차 블록의 잔차 신호를 변환 및 양자화하여 양자화 주파수 계수를 생성하여 스캔 및 엔트로피 부호화 등을 수행하여 부호화된 계수 비트를 생성할 수 있다. 이때, 변환 및/또는 양자화 과정은 구현 방식에 따라 선택적으로 생략될 수 있다.
또한, 현재 블록은 매크로블록 단위로 정해지거나 서브블록 단위로 정해질 수 있다. 여기서, 매크로블록은 16×16 크기이고 서브블록은 4×4 크기일 수 있지만, 반드시 이에 한정하지 않고 다양한 크기의 블록일 수 있다. 예를 들어, 매크로블록은 16×16 크기, 32×32 크기, 8×8 크기 등과 같은 M×N 크기(단, M, N은 정수임)의 블록일 수 있으며, 서브블록은 매크로블록의 크기보다 작다면 16×16 크기, 32×32 크기, 8×8 크기 등과 같은 M×N 크기(단, M, N은 정수임)의 블록일 수 있다.
또한, 인트라 예측 부호화기(520)는 양자화 주파수 계수를 역 양자화하고 역 변환하여 잔차 블록을 복원하고 예측 블록과 복원된 잔차 블록을 가산하여 현재 블록을 복원할 수 있는데, 이와 같이 복원된 현재 블록은 메모리와 같은 저장 장치에 저장되어 다음 블록 또는 다음 픽처를 예측하는 데 활용될 수 있으며, 특히 이와 같이 저장된 복원 화소들이 예측 모드 선택기(510)로 전달되어 현재 블록의 인접 화소로서 활용될 수 있다.
비트스트림 생성기(530)는 매크로블록(Macroblock) 단위 또는 서브블록(Subblock) 단위로 부호화된 계수 비트 및 선택된 현재 블록의 인트라 예측 모드를 나타내는 예측 모드 비트(Prediction Mode Bit)를 포함하는 비트스트림을 생성하고 출력하되, 변화량에 따라 예측 모드 비트를 선택적으로 비트스트림에 포함시킨다.
또한, 비트스트림 생성기(530)는 비트스트림을 생성하는 데 있어서, 매크로블록 단위 또는 서브블록 단위로 부호화된 계수 비트를 예측 모드 비트보다 앞에 할당하여 비트스트림을 생성하고 출력할 수 있다. 다만, 비트스트림 생성기(530)가 부호화된 계수 비트와 예측 모드 비트를 매크로블록 단위로 비트스트림에 포함시킬 경우, 부호화된 계수 비트를 예측 모드 비트보다 앞에 포함시키는 것이 바람직하며, 비트스트림 생성기(530)가 부호화된 계수 비트와 예측 모드 비트를 서브블록 단위로 비트스트림에 포함시킬 경우, 부호화된 계수 비트와 예측 모드 비트를 서로 간의 배치 순서에 관계없이 자유롭게 비트스트림에 포함시킬 수 있다.
또한, 비트스트림 생성기(530)는 현재 블록의 인접 화소의 화소값의 변화량이 임계값보다 크거나 같은 경우에만 현재 블록에 대한 부호화된 계수 비트와 현재 블록에 대한 예측 모드 비트를 모두 포함하는 비트스트림을 생성하고 출력하고, 현재 블록의 인접 화소의 화소값의 변화량이 임계값보다 작은 경우에는 현재 블록에 대한 예측 모드 비트를 비트스트림에 포함시키지 않는다. 따라서, 현재 블록의 인접 화소의 화소값의 변화량이 임계값보다 작은 경우, 비트스트림은 현재 블록의 부호화된 계수 비트만을 포함한다.
도 6은 일 실시예에 따른 부호화를 위한 예측 모드 선택 장치를 간략하게 나타낸 블록 구성도이다.
일 실시예에 따른 부호화를 위한 예측 모드 선택 장치는 도 5에서는 예측 모드 선택기(510)로 구현될 수 있다. 이하에서는 설명의 편의를 위해, 일 실시예에 따른 부호화를 위한 예측 모드 선택 장치를 예측 모드 선택기(510)라 칭한다.
예측 모드 선택기(510)는 변화량 계산기(Variation Calculator, 610), 모드 선택기(Mode Selector, 620) 및 모드 비트 생성기(Mode Bit Generator, 630)를 포함할 수 있다.
변화량 계산기(610)는 현재 블록의 인접 화소의 화소값의 변화량을 계산한다. 예를 들어, 변화량 계산기(610)는 현재 블록의 주변 블록에 포함된 화소들 중 인접 화소들의 화소값의 변화량을 산포도를 이용하여 계산할 수 있다. 여기서 산포도는 인접 화소들의 분산, 표준편차, 평균편차, 사분편차 등과 같은 것을 나타내는 통계지표일 수 있다. 따라서, 인접 화소의 화소값의 변화량은 현재 블록의 인접 화소들이 서로 얼마나 유사한지를 나타내는 지표가 될 수 있다. 변화량이 적으면 적을수록 현재 블록의 인접 화소들은 더욱 유사한 것으로 볼 수 있다.
일 예로, 현재 블록이 N×M 크기(N, M은 자연수)이고 표준편차를 이용하여 인접 화소의 화소값에 대한 변화량을 계산하는 경우, 변화량 계산기(610)는 수학식 1을 이용하여 인접 화소의 화소값의 변화량(σp)을 계산할 수 있다.
[규칙 제91조에 의한 정정 04.06.2010]　
Figure WO-DOC-MATHS-1
- uk : 현재 블록의 상단에 위치한 M개의 인접 화소들에 대한 화소값
- lk : 현재 블록의 좌측에 위치한 N개의 인접 화소들에 대한 화소값
- mu : uk에 대한 평균
- ml : lk에 대한 평균
모드 선택기(620)는 계산된 변화량이 임계값보다 작은 경우에는 기 설정된 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택하고 계산된 변화량이 임계값보다 크거나 같은 경우에는 기 설정된 모드 선택 기준에 따라 복수 개의 인트라 예측 모드 중 하나의 인트라 예측 모드를 선택하여 선택된 하나의 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택한다. 즉, 모드 선택기(620)는 임계값을 계산하여 적절히 설정하고, 변화량 계산기(610)에 의해 계산된 인접 화소의 화소값의 변화량을 임계값과 비교함으로써 인접 화소들의 유사성을 평가하여, 평가된 유사성에 따라 현재 블록의 인트라 예측 모드를 선택한다.
통상적인 압축 기술에 따르면, 현재 블록의 인트라 예측 모드를 선택하기 위해서는 복수 개의 인트라 예측 모드에 대해 모두 율-왜곡 최적화와 같은 것을 수행하여 율-왜곡 비용이 최소인 하나의 인트라 예측 모드를 최적의 인트라 예측 모드로 선택하여 현재 블록의 인트라 예측 모드로 선택한다. 하지만, 현재 블록의 인접 화소들의 유사성이 큰 경우에는 복수 개의 인트라 예측 모드에 대해 모두 율-왜곡 최적화를 수행할 필요가 없이 인접 화소의 유사성이 클 때 예측 효율이 가장 좋은 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 선택하는 것이 효율적이다.
도 7을 참조하면, 도 7의 7A에서는 H.264의 인트라 4×4 모드에 따라 블록을 예측하는 데 사용되는 화소들을 나타내었다. a 내지 p까지의 16개의 화소들은 현재 블록의 화소들을 나타내고, A 내지 M까지의 13개의 화소들은 현재 블록의 인접 화소들을 나타낸다.
도 3에 도시된 인트라 4×4 모드에 따른 9가지 예측 모드를 이용하여 7A에 도시된 현재 블록을 인트라 예측하면, 이미 압축되어 복원된 A 내지 M의 화소값을 이용하여 9개의 예측 방향에 따라 인트라 예측을 수행하고 부호화한다.
예를 들어, 도 3에 도시된 1 번 예측 모드인 수평(Horizontal) 모드에 따라 수평 방향으로 인트라 예측을 수행하면, 현재 블록의 첫 번째 행의 a, b, c, d 화소는 수학식 2와 같이 예측된다.
[규칙 제91조에 의한 정정 04.06.2010]　
Figure WO-DOC-MATHS-2
그리고 도 3에 도시된 3번 예측 모드인 대각선 왼쪽(Diagonal down-left) 모드에 따라 대각선 왼쪽 방향으로 인트라 예측을 수행하면, 현재 블록의 첫 번째 행의 a, b, c, d 화소는 수학식 3과 같이 예측된다.
[규칙 제91조에 의한 정정 04.06.2010]　
Figure WO-DOC-MATHS-3
그외의 다른 예측 모드에 대해서도 유사한 방법으로 인접 화소들의 화소값을 이용해서 예측을 수행하여 잔차 신호를 생성할 수 있다.
하지만, 7B에 나타낸 바와 같이, 현재 블록의 인접 화소들이 모두 N으로 모두 동일한 경우, 도 3에 도시된 1 번 예측 모드인 수평(Horizontal) 모드에 따라 수평 방향으로 인트라 예측하면, 현재 블록의 첫 번째 행의 a, b, c, d 화소는 수학식 4와 같이 예측된다.
수학식 4
Figure PCTKR2010002307-appb-M000004
또한, 도 3에 도시된 3번 예측 모드인 대각선 왼쪽(Diagonal down-left) 모드에 따라 대각선 왼쪽 방향으로 인트라 예측하면, 현재 블록의 첫 번째 행의 a, b, c, d 화소는 수학식 5와 같이 예측된다.
[규칙 제91조에 의한 정정 04.06.2010]　
Figure WO-DOC-MATHS-4
수학식 4 및 수학식 5를 통해서, 7B에 나타낸 바와 같은 현재 블록의 인접 화소들이 모두 동일한 화소값을 갖는다면, 인트라 4×4 모드 예측을 위한 9가지의 예측 모드에 따라 현재 블록을 예측하여도 모두 동일한 결과를 얻을 수 있다는 것을 알 수 있다. 따라서, 현재 블록의 인접 화소들이 모두 동일한 화소값을 갖는다면, 어느 한 가지의 예측 모드에 따라 인트라 예측을 수행하여도 예측 성능이나 압축 성능이 떨어지지 않는다는 점을 알 수 있다.
또한, 현재 블록의 인접 화소들이 모두 동일하지는 않지만 어느 정도 유사한 값을 가진다면, 각 예측 방향의 예측값이 유사하게 되므로 현재 블록의 인접 화소들이 모두 동일한 경우와 마찬가지로 한 가지의 인트라 예측 모드에 따라 인트라 예측을 수행하여도 예측 성능 및 압축 성능이 떨어지지 않을 수 있다.
따라서, 모드 선택기(620)는 인접 화소의 유사성이 클 때 예측 효율이 가장 좋은 인트라 예측 모드를 기 설정해 놓고, 변화량 계산기(610)에서 계산된 변화량이 임계값보다 작아서 인접 화소의 유사성이 크다고 판단되면 복잡한 인트라 예측 모드 선택 과정을 생략하고 기 설정된 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 선택할 수 있다. 이를 통해, 인트라 예측의 성능을 저하시키지 않으면서도 현재 블록의 인트라 예측 모드를 선택하기 위한 계산량을 줄일 수 있어서 시스템의 구현을 간소화할 수 있을 뿐만 아니라 부호화 속도를 줄여 압축 성능을 향상시킬 수 있다.
여기서, 기 설정된 인트라 예측 모드란 영상 부호화 장치와 영상 복호화 장치에서는 미리 약속하여 설정한 인트라 예측 모드를 말하며, 이를 통해 복호화 과정에서도 동일한 인트라 예측 모드로 예측될 수 있도록 한다. 기 설정되는 인트라 예측 모드는, 예를 들어, 인접 화소의 화소값의 평균값을 예측값으로 예측하는 인트라 예측 모드인 DC 모드와 같은 인트라 예측 모드일 수 있지만, 반드시 이에 한정되는 것은 아니며 다른 인트라 예측 모드가 설정될 수 있다.
또한, 모드 선택기(620)는 변화량 계산기(610)에서 계산된 변화량이 임계값보다 크거나 같아서 인접 화소의 유사성이 작다고 판단되면, 기 설정된 모드 선택 기준에 따라 복수 개의 인트라 예측 모드 중 하나의 인트라 예측 모드를 선택하여 선택된 하나의 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택한다.
여기서, 기 설정된 모드 선택 기준이란 영상 부호화 장치와 영상 복호화 장치에서 복수 개의 인트라 예측 모드 중에서 현재 블록에 대해 최적인 인트라 예측 모드를 선택하기 위한 기준을 말하며, 영상 부호화 장치와 영상 복호화 장치에서 미리 약속하여 설정될 수 있다. 기 설정된 모드 선택 기준은 예를 들어, 율-왜곡 최적화가 될 수 있는데, 율-왜곡 최적화란 복수 개의 인트라 예측 모드에 각각에 따라 현재 블록을 예측하고 부호화하여 소정의 비용 함수를 이용하여 율-왜곡 비용(RD Cost: Rate-Distortion Cost)를 계산하고, 계산된 율-왜곡 비용이 최소가 되는 인트라 예측 모드를 최적의 인트라 예측 모드로 선택하는 기법을 말한다.
전술한 소정의 비용 함수는 SAD(Sum of Absolute Value), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference), 라그란지 함수(Lagrange Function) 등과 같은 것일 수 있다. SAD는 4x4 블록의 잔차 신호의 값의 절대치를 합한 값이다. SATD는 4x4 블록의 잔차 신호의 값에 하다마드 변환(Hadamard Transform)을 적용하여 생성되는 계수들(Coefficients)의 절대치를 더한 값이다. SSD는 4x4 블록의 잔차 신호의 값을 제곱하여 더한 값이고, MAD는 4x4 블록의 잔차 신호의 값에 절대치를 평균한 값이다. 라그란지 함수는 비용 함수에 비트스트림의 길이 정보를 포함하여 만들어지는 비용 함수이다.
또한, 모드 선택기(620)는 변화량이 임계값보다 크거나 같아서, 기 설정된 모드 선택 기준에 따라 복수 개의 인트라 예측 모드 중 하나의 인트라 예측 모드를 선택하여 현재 블록의 인트라 예측 모드로 선택할 때, 복수 개의 인트라 예측 모드를 기 설정된 모드 선택 기준에 적용하는 순서를 변경할 수 있다. 즉, 모드 선택기(620)는 복수 개의 인트라 예측 모드 각각을 차례로 기 설정된 모드 선택 기준에 적용하여 하나의 인트라 예측 모드를 선택할 수 있는데, 이때, 복수 개의 인트라 예측 모드 중 DC 모드를 기 설정된 모드 선택 기준에 마지막으로 적용할 수 있다.
이는 변화량이 임계값보다 크거나 같은 경우(즉, 인접 화소들의 변화량이 큰 것으로 판단되는 경우), 인접 화소들의 화소값에 대한 평균값을 인트라 예측값으로 사용하는 DC 모드를 기 설정된 모드 선택 기준에 적용하는 순서가 도 3에 도시한 바와 같이 두 번째라면, 2번 예측 모드가 최적의 인트라 예측 모드로 결정될 확률이 낮아지기 때문이다. 즉, 일단 변화량과 임계값을 비교하여 인접 화소들의 변화량이 크다고 판단되었다면 DC 모드는 현재 블록에 대해 최적의 인트라 예측 모드로 선택될 확률이 낮으므로, DC 모드가 기 설정된 모드 선택 기준에 적용되는 순서를 도 8에 도시한 바와 같이, 마지막으로 배치하는 것이 효율적이다.
도 8을 참조하면, 인트라 4×4 모드의 9가지 인트라 예측 모드 중 DC 모드를 2번 모드에서 8번 예측 모드로 순서를 변경하면, 현재 블록에 최적인 인트라 예측 모드를 더욱 신속하게 선택할 수 있다. 이 경우, 수직 모드, 수평 모드, 대각선 왼쪽 모드, 대각선 오른쪽 모드, 수직 오른쪽 모드, 수평 아래쪽 모드, 수직 왼쪽 모드, 수평 위쪽 모드 및 DC 모드의 순서로 기 설정된 모드 선택 기준에 적용되어 그 중 최적인 하나의 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 선택할 수 있다. 이를 위해, 도 8에 도시한 바와 같이, 수직 모드 및 수평 모드는 0번 모드 및 1번 모드로 각각 유지하고, 대각선 왼쪽 모드는 2번 모드로 변경하고, 대각선 오른쪽 모드는 3번 모드로 변경하고, 수직 오른쪽 모드는 4번 모드로 변경하고, 수평 아래쪽 모드는 5번 모드로 변경하고, 수직 왼쪽 모드는 6번 모드로 변경하고, 수평 위쪽 모드는 7번 모드로 변경하고, DC 모드는 8번 모드로 변경할 수 있다. 마찬가지로, 인트라 16×16 모드의 4가지의 인트라 예측 모드의 순서도 DC 모드가 마지막이 되도록 변경할 수 있다.
또한, 현재 블록을 효율적으로 압축하기 위해 변화량 계산기(610)에서 계산하는 인접 화소의 화소값의 변화량 이외에 계산된 변화량과 비교하여 인접 화소들의 유사성이 어느 정도인지를 평가하기 위한 기준이 되는 임계값을 모드 선택기(620)가 적절하게 설정해야 한다. 즉, 임계값은 현재 블록의 인접 화소들 간의 유사성이 어느 정도인지를 판단하기 위한 기준이 되는 정보이다. 따라서, 계산된 인접 화소의 화소값의 변화량이 설정된 임계값보다 작으면, 현재 블록의 인접 화소들은 서로 유사성이 큰 것으로 판단할 수 있다. 하지만, 계산된 인접 화소의 화소값의 변화량이 설정된 임계값보다 크거나 같으면, 현재 블록의 인접 화소들은 서로 유사성이 작은 것으로 판단할 수 있다. 이를 위해, 모드 선택기(620)는 임계값을 계산하여 설정할 수 있다.
임계값은 양자화 계수(QP: Quantization Parameter), 양자화 단계 크기즈(Qstep: Quantization Step Size)에 따라 적응적으로 계산되어 설정될 수 있다. 여기서, 양자화 계수는 양자화를 조절하는 계수로서 임의의 정수값으로 설정될 수 있다. 예를 들어, H.264에서는 양자화 계수를 0 내지 51의 정수 중 하나로 설정된다. 양자화 단계 크기는 양자화 세기를 조절하는 정보로서 양자화 계수에 근거하여 설정된다. 예를 들어, H.264에서는 양자화 계수가 6씩 증가할 때마다 양자화 단계 크기는 2배가 되는 특성이 있으므로, 양자화 계수가 6씩 증가할 때마다 양자화 단계 크기는 2배만큼 증가되어 설정될 수 있다.
이러한 임계값은 수학식 6을 이용하여 계산되어 설정될 수 있다.
[규칙 제91조에 의한 정정 04.06.2010]　
Figure WO-DOC-MATHS-6
- floor(): 정수로의 반올림 함수
- Qstep: 양자화 스텝 사이즈
- QP: 양자화 파라미터
- X,Y: 상수(Constant)
즉, 임계값은 수학식 6에서 X에 특정 상수를 대입시키고 Y에도 특정 상수를 대입시켜 설정될 수 있다. 이러한 상수 X 및/또는 상수 Y는 양자화 계수 및/또는 양자화 단계 크기의 설정값이나 원하는 임계값에 따라 값을 변경하여 대입될 수 있다.
모드 비트 생성기(630)는 선택된 현재 블록의 인트라 예측 모드를 나타내는 예측 모드 비트를 생성하여 출력할 수 있다. 이때, 모드 비트 생성기(630)는 변화량 계산기(610)에 의해 계산된 변화량이 임계값보다 크거나 같은 경우에만 예측 모드 비트를 생성하여 출력하고 변화량이 임계값보다 작은 경우에는 예측 모드 비트를 생성하지 않을 수 있다. 여기서, 예측 모드 비트는 현재 블록의 잔차 블록이 부호화된 계수 비트와 함께 비트스트림에 포함될 수 있는데, 매크로블록 단위로 비트스트림에 포함되는 경우, 부호화된 계수 비트는 예측 모드 비트보다 앞에 할당될 수 있으며, 서브블록 단위로 비트스트림에 포함되는 경우, 부호화된 계수 비트와 예측 모드 비트는 서로 간의 순서에 관계 없이 비트스트림에 포함될 수 있다.
도 9는 일 실시예에 따라 매크로블록 단위로 생성되는 비트스트림을 간략하게 나타낸 예시도이다.
비트스트림 생성기(530)에 의해 매크로블록 단위로 생성되는 비트스트림은 도 9에 도시한 바와 같이, 구성될 수 있다. 도 9에서 9A는 통상적인 압축 기술에 따라 생성되는 비트스트림의 구조를 나타내었고, 도 9B는 일 실시예에 따라 매크로블록 단위로 생성되는 비트스트림의 구조를 나타내었다.
9A에 도시된 바와 같은 통상적인 압축 기술에 따라 생성되는 비트스트림은 예측 모드 비트가 할당되는 모드 비트 필드가 부호화된 계수 비트가 할당되는 계수 비트 필드의 앞에 배치되는 구조를 보이는 반면, 9B에 도시된 일 실시예에 따라 매크로블록 단위로 생성되는 비트스트림은 예측 모드 비트가 할당되는 모드 비트 필드가 부호화된 계수 비트가 할당되는 계수 비트 필드의 뒤에 배치되는 구조를 가진다.
9B에 도시한 비트스트림의 구조는 부호화된 계수 비트와 예측 모드 비트가 매크로블록 단위로 생성되는 비트스트림의 구조를 나타낸 것인데, 부호화된 계수 비트가 할당되는 계수 비트 필드에는 매크로블록의 모든 블록의 부호화된 계수 비트가 포함되어 있는 반면, 예측 모드 비트가 할당되는 모드 비트 필드에는 매크로블록의 모든 블록(또는 서브블록)의 예측 모드 비트가 포함되지 않을 수 있다.
예측 모드 선택기(510)는 현재 블록의 인접 화소의 변화량이 임계값보다 작은 경우 인접 화소들의 유사성이 크다고 판단하여 기 설정된 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택하는데, 기 설정된 인트라 예측 모드는 영상 부호화 장치와 영상 복호화 장치에서 미리 약속하여 설정되므로, 비트스트림에 해당 블록의 인트라 예측 모드를 나타내는 예측 모드 비트가 포함되지 않아도 영상 복호화 장치는 영상 부호화 장치와 동일한 방법으로 현재 블록의 인트라 예측 모드가 기 설정된 인트라 예측 모드임을 알 수 있다. 따라서, 현재 블록의 인트라 예측 모드가 기 설정된 인트라 예측 모드로 선택되는 경우에는, 해당 블록에 대한 예측 모드 비트가 모드 비트 필드에 포함되지 않을 수 있으며, 이를 통해 압축 데이터의 크기를 줄여 압축 성능을 향상시킬 수 있다.
한편, 도 9에 도시한 바와 같이, 일 실시예에 따라 매크로블록 단위로 생성되는 비트스트림이 통상적인 압축 기술에 따라 생성되는 비트스트림과 구조가 다른 이유는 전술한 바와 같이, 현재 블록의 인트라 예측 모드를 기 설정된 인트라 예측 모드로 선택하는 경우, 해당 블록의 예측 모드 비트가 비트스트림의 모드 비트 필드에 포함되지 않기 때문이다. 만약, 현재 블록의 인트라 예측 모드가 기 설정된 인트라 예측 모드로 선택되는 경우, 예측 모드 비트를 모드 비트 필드에 포함시키지 않고 통상적인 압축 기술에 따라 생성되는 비트스트림과 같이 모드 비트 필드를 계수 비트 필드 앞에 배치하면, 비트스트림을 수신한 영상 복호화 장치는 예측 모드 비트와 계수 비트를 정상적으로 구분할 수 없다. 즉, 영상 복호화 장치는 비트스트림에서 어디까지가 예측 모드 비트인지 어디부터가 부호화된 계수 비트가 시작되는 부분인지를 알 수 없게 된다.
이를 해결하기 위해, 일 실시예에서는 9B와 같이 부호화된 계수 비트가 할당되는 계수 비트 필드를 먼저 전송하고 이후 예측 모드 비트가 할당되는 모드 비트 필드를 뒤에 전송하는 형태로 비트스트림의 순서를 변경한다. 이를 통해, 영상 복호화 장치는 미리 정해진 부호화된 계수 비트에 대한 포맷에 의거하여 매크로블록의 각 블록에 대한 부호화된 계수 비트를 정상적으로 추출할 수 있다. 이후, 영상 복호화 장치는 각 블록의 인접 화소의 화소값의 변화량에 따라 기 설정된 인트라 예측 모드 또는 예측 모드 비트가 나타내는 인트라 예측 모드를 해당 블록의 인트라 예측 모드로 선택할지 여부를 결정하고, 기 설정된 인트라 예측 모드가 해당 블록의 인트라 예측 모드로 선택되는 경우에는 비트스트림의 예측 모드 비트를 추출하지 않고 기 설정된 인트라 예측 모드로 해당 블록을 인트라 예측하고, 예측 모드 비트가 나타내는 인트라 예측 모드를 해당 블록의 인트라 예측 모드로 선택하는 경우에만 비트스트림의 모드 비트 필드에서 예측 모드 비트를 정상적으로 추출하여 해당 예측 모드 비트가 나타내는 인트라 예측 모드로 해당 블록을 정상적으로 인트라 예측할 수 있다.
도 10은 일 실시예에 따라 구성되는 서브블록 단위로 포함된 비트스트림을 간략하게 나타낸 예시도이다.
도 9의 9B에 도시한 비트스트림의 구조는 부호화된 계수 비트와 예측 모드 비트가 매크로블록 단위로 포함되어 생성되는 비트스트림의 구조를 나타내었다. 이뿐만 아니라 일 실시예에 따른 비트스트림은 도 10에 도시한 바와 같이, 부호화된 계수 비트와 예측 모드 비트가 서브블록 단위로 포함되어 생성될 수 있다.
도 10에서는 16×16 크기의 매크로블록을 16 개의 4×4 크기의 서브블록으로 나누어 인트라 예측 부호화하는 경우, 일 실시예에 따라 생성되는 비트스트림의 구조를 나타내었는데, 10A는 부호화된 계수 비트와 예측 모드 비트가 매크로블록 단위로 포함되어 생성되는 비트스트림의 구조를 나타낸 것이고, 10B는 부호화된 계수 비트와 예측 모드 비트가 서브블록 단위로 포함되어 생성되는 비트스트림의 구조를 나타낸 것이다.
매크로블록 단위로 부호화된 계수 비트와 예측 모드 비트를 포함시켜 비트스트림을 생성하면, 10A에 나타낸 바와 같이, 계수 비트 필드에 16×16 크기의 매크로블록에 포함된 16 개의 4×4 크기의 서브블록 각각에 대한 제 1 계수 비트 내지 제 16 계수 비트가 연속해서 포함되고, 모드 비트 필드에도 16×16 크기의 매크로블록에 포함된 16 개의 4×4 크기의 서브블록 각각에 대한 제 1 예측 모드 비트 내지 제 16 예측 모드 비트가 연속해서 포함된다. 즉, 계수 비트 필드가 모드 비트 필드보다 앞서 할당되어 비트스트림에 포함된다. 물론, 각 서브블록의 인접 화소의 변화량에 따라 제 1 예측 모드 비트 내지 제 16 예측 모드 비트 중 일부 또는 전부는 선택적으로 비트스트림에 포함될 수 있다.
반면, 서브블록 단위로 부호화된 계수 비트와 예측 모드 비트를 포함시켜 비트스트림을 생성하면, 10B에 나타낸 바와 같이, 16×16 매크로블록에 포함된 16 개의 4×4 서브블록 각각에 대해 하나의 서브블록에 대한 계수 비트 필드와 모드 비트 필드가 배치된 후 다음 서브블록에 대한 계수 비트 필드와 모드 비트 필드가 배치되는 구조를 가진다. 따라서, 제 1 계수 비트 다음에 제 1 예측 모드 비트가 배치되고 다음에는 제 2 계수 비트 다음에 제 2 예측 모드 비트가 배치되며, 이러한 순서로 배치되어 마지막에는 제 16 계수 비트 다음에 제 16 예측 모드 비트가 배치된다. 또한, 전술한 바와 같이, 일 실시예에 따르면 현재 블록의 인접 화소의 화소값의 변화량에 따라 예측 모드 비트를 비트스트림에 포함시키거나 포함시키지 않는다. 따라서, 10B에 나타낸 비트스트림은 16×16 크기의 매크로블록에 포함된 16 개의 4×4 크기의 서브블록의 모든 서브블록의 예측 모드 비트가 비트스트림에 포함되는 경우를 나타낸 것이다.
하지만, 예를 들어, 16×16 크기의 매크로블록에 포함된 제 1 서브블록으로부터 제 16 서브블록까지의 16 개의 4×4 크기의 서브블록 중에서 제 2 서브블록과 제 3 서브블록의 인접 화소의 화소값의 변화량이 임계값보다 작아서 기 설정된 인트라 예측 모드를 해당 서브블록의 인트라 예측 모드로 선택한 경우, 해당 서브블록 즉 제 2 서브블록과 제 3 서브블록의 예측 모드 비트는 생성되지 않거나 생성된다고 해도 비트스트림에 할당되지 않아 포함되지 않는다. 10C에서는 이러한 경우를 예시적으로 나타내었다.
한편, 도 10의 10B와 10C에서는 서브블록 단위로 예측 모드 비트가 부호화된 계수 비트 앞에 할당되는 것으로 도시하고 설명했지만, 반드시 이에 한정되지 않고 그 반대의 순서로 할당되어도 관계 없다. 즉, 부호화된 계수 비트가 예측 모드 비트 앞에 할당되어 비트스트림을 구성할 수 있다. 이는 비트스트림이 부호화된 계수 비트와 예측 모드 비트가 서브블록 단위로 포함되어 생성되는 경우, 영상 복호화 장치가 미리 부호화하고자 하는 서브블록의 인접 화소의 변화량을 임계값과 비교하여 해당 서브블록에 대해 예측 모드 비트가 생성되어 비트스트림에 포함되었는지 여부를 판단할 수 있기 때문이다. 예를 들어, 영상 복호화 장치가 복호화하고자 하는 임의의 서브블록의 인접 화소의 화소값의 변화량이 임계값보다 작아서 해당 서브블록의 예측 모드 비트가 비트스트림에 포함되지 않는 것으로 판단한 경우에는 비트스트림에서 해당 서브블록의 부호화된 계수 비트만을 추출하여 읽어 들여 해당 서브블록을 복호화하고, 다음 서브블록의 인접 화소의 화소값의 변화량이 임계값보다 크거나 같아서 해당 서브블록의 예측 모드 비트가 비트스트림에 포함되는 것으로 판단한 경우에는 비트스트림에서 해당 서브블록의 부호화된 계수 비트뿐만 아니라 예측 모드 비트를 추출하여 해당 서브블록을 복호화하는 과정으로 매크로블록을 복호화한다.
도 9의 9B 또는 도 10의 10A와 같이, 매크로블록 단위로 부호화된 계수 비트와 예측 모드 비트를 포함시켜 비트스트림을 구성하는 경우, 비트스트림을 수신하여 복호화하는 영상 복호화 장치는 해당 매크로블록의 복호화가 완료될 때까지 16 개의 각 서브블록에 대한 부호화된 계수 비트와 예측 모드 비트를 버퍼와 같은 메모리에 저장해야 하므로 필요한 메모리의 용량이 증가한다. 또한, 매크로블록 단위로 부호화된 계수 비트와 예측 모드를 포함시켜 비트스트림을 구성하는 경우에는 전술한 바와 같이, 부호화된 계수 비트가 할당되는 계수 비트 필드가 예측 모드 비트가 할당되는 모드 비트 필드보다 앞서 할당되어 비트스트림에 포함되어야 하기 때문에, 비트스트림의 구성이 탄력적이지 않다.
하지만, 도 10의 10B나 10C와 같이, 서브블록 단위로 부호화된 계수 비트와 예측 모드 비트를 포함시켜 비트스트림을 구성하는 경우, 비트스트림을 수신하여 복호화하는 영상 복호화 장치는 서브블록 단위로 부호화된 계수 비트와 예측 모드 비트를 읽어 복호화하고 복호화된 서브블록에 대한 부호화된 계수 비트와 예측 모드 비트는 삭제할 수 있으므로, 필요한 메모리의 용량을 감소시킬 수 있다. 또한, 서브블록 단위로 부호화된 계수 비트와 예측 모드 비트를 포함시켜 비트스트림을 구성하는 경우, 전술한 바와 같이 각 서브블록마다 부호화된 계수 비트와 예측 모드 비트를 할당할 때 서로 간의 순서에 관계 없이 할당하여 비트스트림을 구성할 수 있어 비트스트림의 구성이 탄력적이다.
도 11은 일 실시예에 따른 부호화를 위한 예측 모드 선택 방법을 설명하기 위한 순서도이다.
현재 블록을 인트라 예측하기 위해서는 현재 블록의 인트라 예측 모드를 선택해야 한다. 이를 위해, 예측 모드 선택 장치 즉, 예측 모드 선택기(510)는 현재 블록의 인접 화소의 화소값의 변화량을 계산하고(S1110), 계산된 변화량을 임계값과 비교한다(S1120).
단계 S1120의 비교 결과 변화량이 임계값보다 작은 경우, 예측 모드 선택기(510)는 현재 블록의 인접 화소들의 유사성이 크다고 판단하여 기 설정된 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 선택한다(S1130). 이때 현재 블록의 인트라 예측 모드로 선택된 기 설정된 인트라 예측 모드는 영상 복호화 장치에서도 미리 약속되어 알 수 있으므로, 예측 모드 선택기(510)는 현재 블록의 인트라 예측 모드를 나타내기 위한 예측 모드 비트를 생성하지 않는다(S1140). 만일 예측 모드 비트가 생성되는 경우에도 비트스트림에는 포함되지 않는다.
또한, 단계 S1120의 비교 결과 변화량이 임계값보다 크거나 같은 경우, 예측 모드 선택기(510)는 현재 블록의 인접 화소들의 유사성이 작다고 판단하여 기 설정된 모드 선택 기준에 따라 복수 개의 인트라 예측 모드 중에서 하나의 인트라 예측 모드를 선택하고(S1150), 선택된 하나의 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 선택하며(S1160). 선택된 현재 블록의 인트라 예측 모드를 나타내는 예측 모드 비트를 생성한다(S1170). 생성된 예측 모드 비트는 비트스트림에 포함된다.
이와 같이, 일 실시예에 따르면, 예측 모드 선택기(510)는 현재 블록의 인트라 예측 모드를 선택할 때, 일정한 경우(인접 화소의 화소값의 변화량이 임계값보다 작은 경우)에는 율-왜곡 최적화와 같은 모든 선택 기준에 따라 최적의 인트라 예측 모드를 선택하는 복잡한 과정을 수행하지 않고 기 설정된 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택할 수 있으므로, 인트라 예측 모드를 선택하기 위한 계산량을 줄일 수 있어서 시스템의 구현을 간소하게 할 수 있을 뿐만 아니라 부호화 속도를 향상시킬 수 있어서 압축 성능을 향상시킬 수 있다.
도 12는 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
영상 부호화 장치(500)는 32×32 크기의 블록, 16×16 크기의 블록, 8×8 크기의 블록, 4×4 크기의 블록 등 매크로블록 또는 서브블록 단위로 입력 영상을 부호화할 때, 현재 부호화하고자 하는 현재 블록의 인접 화소의 화소값의 변화량에 따라 현재 블록의 인트라 예측 모드를 선택하고(S1210), 선택된 현재 블록의 인트라 예측 모드에 따라 현재 블록을 인트라 예측하여 생성한 잔차 블록을 부호화하며(S1220), 현재 블록의 잔차 블록이 부호화된 계수 비트와 예측 모드 비트를 매크로블록 단위 또는 서브블록 단위로 포함시켜 비트스트림을 출력하되, 변화량에 따라 예측 모드 비트를 선택적으로 비트스트림에 포함시킨다(S1230). 이때, 출력되는 비트스트림은 부호화된 계수 비트가 할당되는 계수 비트 필드와 예측 모드 비트가 할당되는 모드 비트 필드를 포함할 수 있는데, 매크로블록 단위로 부호화된 계수 비트와 예측 모드 비트가 비트스트림에 포함되는 경우에는 계수 비트 필드가 모드 비트 필드의 앞에 배치될 수 있으나, 서브블록 단위로 포함되는 경우에는 서로 간의 순서에 관계 없이 비트스트림에 포함될 수 있다.
또한, 부호화된 계수 비트와 예측 모드 비트가 서브블록 단위로 포함되는 경우에는 하나의 서브블록의 부호화된 계수 비트가 예측 모드 비트 앞에 배치되고 다음 서브블록의 부호화된 계수 비트가 예측 모드 비트 앞에 배치되는 형태로 모든 서브블록의 부호화된 계수 비트와 예측 모드 비트가 비트스트림에 배치될 수 있다.
이와 같이, 일 실시예에 따르면, 현재 블록의 인접 화소의 화소값의 변화량에 따라 현재 블록의 인트라 예측 모드를 선택하여 인트라 예측 모드를 선택하기 위한 계산량을 줄이고 선택을 위한 시간을 절약하여 부호화 효율 및 압축 효율을 향상시킬 수 있을 뿐만 아니라, 현재 블록의 인접 화소의 화소값의 변화량에 따라 예측 모드 비트를 비트스트림에 포함시키거나 포함시키지 않을 수 있어서, 비트스트림의 데이터 크기를 줄일 수 있으므로 압축 효율을 향상시킬 수 있다.
도 13은 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
일 실시예에 따른 영상 복호화 장치(1300)는 비트스트림 추출기(Bitstream Extractor, 1310), 예측 모드 선택기(Prediction Mode Selector, 1320) 및 인트라 예측 복호화기(Intra Prediction Decoder, 1330)를 포함할 수 있다.
비트스트림 추출기(1310)는 현재 블록의 잔차 블록이 부호화된 계수 비트 및 현재 블록의 예측 모드 비트가 매크로블록 단위 또는 서브블록 단위로 포함된 비트스트림으로부터 부호화된 계수 비트 및 예측 모드 비트를 추출한다. 여기서, 비트스트림이 매크로블록 단위로 부호화된 계수 비트와 예측 모드 비트를 포함하는 경우에는 부호화된 계수 비트가 예측 모드 비트보다 앞에 포함된다.
예측 모드 선택기(1320)는 현재 블록의 인접 화소의 화소값의 변화량에 따라 기 설정된 인트라 예측 모드 또는 추출된 예측 모드 비트가 나타내는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택한다. 예를 들어, 예측 모드 선택기는(1320)는 현재 블록의 인접 화소의 화소값의 변화량이 임계값보다 작은 경우에는 기 설정된 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택할 수 있으며, 현재 블록의 인접 화소의 화소값의 변화량이 임계값보다 크거나 같은 경우에는 비트스트림으로부터 추출된 예측 모드 비트가 나타내는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택할 수 있다.
여기서, 기 설정된 인트라 예측 모드는 현재 블록의 인접 화소의 화소값의 평균값을 현재 블록의 화소들의 예측 화소값으로 예측하는 인트라 예측 모드일 수 있지만, 반드시 이에 한정되지 않고 영상 부호화 장치(500)와 미리 약속한 인트라 예측 모드라면 어느 인트라 예측 모드여도 무관하다. 변화량은 산포도를 이용하여 계산될 수 있으며, 산포도는 분산, 표준편차, 평균편차, 사분편차 등과 같은 것일 수 있다. 임계값은 현재 블록의 양자화 계수 및 양자화 단계 크기에 따라 설정될 수 있다.
인트라 예측 복호화기(1330)는 부호화된 계수 비트를 복호화하여 현재 블록의 잔차 블록을 복원하고 선택된 현재 블록의 인트라 예측 모드에 따라 현재 블록을 인트라 예측하여 현재 블록을 복원하고 출력한다. 이러한 인트라 예측 복호화기(1330)는 도 2를 통해 전술한 영상 복호화 장치(200)와 같이 구성될 수 있다. 즉, 인트라 예측 복호화기(1330)는 비트스트림으로부터 추출된 부호화된 계수 비트를 복호화하여 양자화된 변환 계수를 가지는 양자화된 변환 블록을 복원하고 양자화된 변환 계수를 역 양자화 및 역 변환하여 잔차 블록을 복원하며, 예측 모드 선택기(1320)에 의해 선택된 현재 블록의 인트라 예측 모드에 따라 현재 블록을 예측하여 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원할 수 있다. 이때, 역 양자화 및/또는 역 변환 과정은 구현 방식에 따라 선택적으로 생략될 수 있다.
도 14는 일 실시예에 따른 복호화를 위한 예측 모드 선택 장치를 간략하게 나타낸 블록 구성도이다.
일 실시예에 따른 복호화를 위한 예측 모드 선택 장치는 도 13에서는 예측 모드 선택기(1310)로 구현될 수 있다. 이하에서는 설명의 편의를 위해, 일 실시예에 따른 복호화를 위한 예측 모드 선택 장치를 예측 모드 선택기(1310)라 칭한다.
예측 모드 선택기(1310)는 변화량 계산기(1410) 및 모드 선택기(1420)를 포함할 수 있다.
변화량 계산기(1410)는 현재 블록의 인접 화소의 화소값의 변화량을 계산한다. 이러한 변화량 계산기(1410)는 도 6을 통해 전술한 변화량 계산기(610)와 그 기능이 동일 또는 유사하므로 상세한 설명은 생략한다. 다만, 도 6을 통해 전술한 변화량 계산기(610)는 현재 블록의 인접 화소의 화소값을 인트라 예측 부호화기(520)로부터 전달받지만, 변화량 계산기(1410)는 현재 블록의 인접 화소의 화소값을 인트라 예측 복호화기(1330)로부터 전달받을 수 있다.
모드 선택기(1420)는 계산된 변화량이 임계값보다 작은 경우에는 기 설정된 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 선택하고, 변화량이 임계값보다 크거나 같은 경우에는 현재 블록의 잔차 블록이 부호화된 계수 비트 및 현재 블록의 예측 모드 비트가 매크로블록 단위 또는 서브블록 단위로 포함된 비트스트림으로부터 추출된 현재 블록의 예측 모드 비트가 나타내는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택한다.
즉, 모드 선택기(1420)는 변화량 계산기(1410)에 의해 계산된 변화량이 임계값보다 작으면 인접 화소들의 유사성이 크다고 판단하여 영상 부호화 장치(500)와 미리 약속하여 기 설정한 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택한다. 또한, 모드 선택기(1420)는 변화량 계산기(1410)에 의해 계산된 변화량이 임계값보다 크거나 같으면 인접 화소들의 유사성이 작다고 판단하여 비트스트림으로부터 추출된 예측 모드 비트를 읽어서 예측 모드 비트가 나타내는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택한다. 이와 같이 선택된 현재 블록의 인트라 예측 모드는 인트라 예측 복호화기(1330)로 전달되어, 인트라 예측 복호화기(1330)에서 현재 블록을 예측하는 데 이용된다.
도 15는 일 실시예에 따른 복호화를 위한 예측 모드 선택 방법을 설명하기 위한 순서도이다.
예측 모드 선택 장치 즉, 영상 복호화 장치(1300)의 예측 모드 선택기(1320)는 현재 블록의 인트라 예측 모드를 선택하기 위해, 현재 블록의 인접 화소의 화소값의 변화량을 계산하고(S1510), 계산된 변화량을 임계값과 비교한다(S1520).
단계 S1520의 비교 결과 계산된 변화량이 임계값보다 작은 경우, 예측 모드 선택기(1320)는 기 설정된 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택한다(S1530). 이때, 기 설정된 인트라 예측 모드는 영상 부호화 장치(500)와 미리 약속하여 설정된 인트라 예측 모드를 말한다.
단계 S1520의 비교 결과 계산된 변화량이 임계값보다 크거나 같은 경우, 예측 모드 선택기(1320)는 비트스트림으로부터 추출된 예측 모드 비트가 나타내는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택한다(S1540).
도 16은 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
영상 복호화 장치(1300)는 비트스트림으로부터 잔차 블록이 부호화된 계수 비트와 예측 모드 비트를 매크로블록 단위로 추출하고(S1610), 현재 블록의 인접 화소의 화소값의 변화량에 따라 기 설정된 인트라 예측 모드 또는 비트스트림으로부터 추출된 예측 모드가 나타내는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택한다(S1620).
영상 복호화 장치(1300)는 단계 S1610에서 비트스트림으로부터 추출된 부호화된 계수 비트를 복호화하여 현재 블록의 잔차 블록을 복원하고(S1630), 단계 S1620에서 선택된 현재 블록의 인트라 예측 모드에 따라 현재 블록을 예측하여(S1640), 복원된 잔차 블록과 인트라 예측된 현재 블록을 이용하여 현재 블록을 복원한다(S1650).
일 예로, 16×16 크기의 매크로블록이 4×4 크기의 서브블록 단위로 인트라 예측 부호화되었고, 각 서브블록에 대한 부호화된 계수 비트와 예측 모드 비트가 매크로블록 단위로 포함되어 비트스트림으로 생성된 것으로 가정하면, 비트스트림에는 도 10의 10A에 도시한 바와 같이, 계수 비트 필드에 모든 서브블록에 대한 부호화된 계수 비트가 포함되고, 모드 비트 필드에 각 서브블록에 대한 예측 모드 비트가 인접 화소의 화소값의 변화량에 따라 선택적으로 포함된다. 이 경우, 영상 복호화 장치(1300)는 비트스트림으로부터 매크로블록 단위로 모든 서브블록에 대한 부호화된 계수 비트와 예측 모드 비트를 추출하여 버퍼와 같은 메모리에 저장하고, 메모리에 저장된 각 서브블록의 부호화된 계수 비트를 읽어들여 복호화하는데, 비트스트림으로부터 추출된 각 서브블록의 부화된 계수 비트는 각 서브블록의 예측 모드 비트보다 앞에 포함되어 있기 때문에 영상 복호화 장치(1300)는 각 서브블록의 부호화된 계수 비트를 올바르게 읽어들일 수 있다.
또한, 영상 복호화 장치(1300)는 비트스트림으로부터 추출되어 메모리에 저장된 예측 모드 비트에서 현재 블록의 인접 화소의 변화량에 따라 선택적으로 포함된 각 서브블록에 대한 예측 모드 비트를 읽어들여 각 서브블록의 인접 화소의 화소값의 변화량에 따라 각 서브블록의 인트라 예측 모드를 선택하고 선택된 각 서브블록의 인트라 예측 모드에 따라 각 서브블록을 예측하며, 각 서브블록에 대한 부호화된 계수 비트를 복호화여 복원된 각 서브블록의 잔차 블록과 예측된 각 서브블록을 이용하여 각 서브블록을 복원함으로써 전체 매크로블록을 복원한다.
또한, 영상 복호화 장치(1300)는 현재 블록의 인접 화소의 화소값의 변화량을 계산하고 계산된 변화량이 임계값보다 작은 경우에는 비트스트림으로부터 추출되어 메모리에 저장된 예측 모드 비트를 읽지 않고 기 설정된 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택하며, 계산된 변화량이 임계값보다 크거나 같은 경우에는 비트스트림으로부터 추출되어 메모리에 저장된 예측 모드 비트를 읽어 읽어들인 예측 모드 비트가 나타내는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택할 수 있다.
다른 예로, 16×16 크기의 매크로블록이 4×4 크기의 서브블록 단위로 인트라 예측 부호화되었고, 각 서브블록에 대한 부호화된 계수 비트와 예측 모드 비트가 서브블록 단위로 포함되어 비트스트림으로 생성된 것으로 가정하면, 비트스트림에는 도 10의 10B 또는 10C에 도시한 바와 같이, 계수 비트 필드와 모드 비트 필드가 서브블록 단위로 분리되어, 계수 비트 필드에는 각 서브블록의 부호화된 계수 비트가 포함되고 모드 비트 필드에는 각 서브블록의 예측 모드 비트가 인접 화소의 변화량에 따라 선택적으로 포함된다. 이 경우, 영상 복호화 장치(1300)는 비트스트림으로부터 매크로블록 단위로 각 서브블록에 대한 부호화된 계수 비트와 예측 모드 비트를 추출하여 버퍼와 같은 메모리에 저장하고, 각 서브블록별로 메모리에 저장된 각 서브블록의 부호화된 계수 비트를 복호화하거나 각 서브블록의 인접 화소의 화소값의 변화량에 따라 각 서브블록의 인트라 예측 모드를 선택하는 데 이용한다. 영상 복호화 장치(1300)는 각 서브블록별로 메모리로부터 부호화된 계수 비트와 예측 모드 비트를 읽어들이기 때문에, 부호화된 계수 비트와 예측 모드 비트의 순서에 관계 없이 올바르게 읽어들일 수 있다. 즉, 각 서브블록별로 메모리로부터 부호화된 계수 비트와 예측 모드 비트를 읽어들일 때, 먼저 각 서브블록의 인접 화소의 화소값의 변화량을 계산하여 임계값과 비교하여 예측 모드 비트의 포함여부를 판단할 수 있으므로, 각 서브블록의 부호화된 계수 비트가 예측 모드 비트보다 앞에 배치되는 경우에도 어디까지가 부호화된 계수 비트인지 여부를 판단하여 올바르게 읽어들일 수 있다.
또한, 영상 복호화 장치(1300)는 각 서브블록 중 하나의 서브블록을 현재 복호화하고자 하는 현재 블록으로 정하고, 현재 블록의 인접 화소의 화소값의 변화량을 계산하고 계산된 변화량이 임계값보다 작은 경우에는 비트스트림으로부터 추출되어 메모리에 저장된 예측 모드 비트를 읽지 않고 기 설정된 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택하며, 계산된 변화량이 임계값보다 크거나 같은 경우에는 비트스트림으로부터 추출되어 메모리에 저장된 예측 모드 비트가 나타내는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로서 선택할 수 있다. 이와 같이 선택된 인트라 예측 모드를 이용하여 현재 블록을 예측하고 현재 블록에 대한 부호화된 계수 비트를 복호화하여 현재 블록을 복원한 후, 다음 서브블록을 현재 블록으로 정하여 전술한 과정을 반복한다. 이때, 복호화 과정이 완료된 서브블록에 대한 부호화된 계수 비트와 예측 모드 비트는 버퍼와 같은 메모리에서 삭제할 수 있으며, 이를 통해 시스템의 메모리 용량을 줄일 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 동영상을 압축하여 전송하고 압축을 해제하여 표시하는 영상 처리 분야에 적용되어, 영상의 압축을 위한 예측 모드의 선택 과정을 간소화하여 압축 속도를 향상시키고 압축된 데이터의 크기를 줄여 압축 효율을 향상시키는 효과를 발생하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2009년 4월 14일 한국에 출원한 특허출원번호 제 10-2009-0032142 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (25)

  1. 영상을 부호화하는 장치에 있어서,
    입력 영상에서 부호화하고자 하는 현재 블록의 인접 화소의 화소값의 변화량에 따라 상기 현재 블록의 인트라 예측 모드를 선택하는 예측 모드 선택기;
    상기 선택된 현재 블록의 인트라 예측 모드에 따라 상기 현재 블록을 인트라 예측하여 생성한 잔차 블록을 부호화하여 부호화된 계수 비트를 생성하는 인트라 예측 부호화기; 및
    상기 부호화된 계수 비트 및 상기 선택된 현재 블록의 인트라 예측 모드를 나타내는 예측 모드 비트를 매크로블록 단위 또는 서브블록 단위로 포함하는 비트스트림을 생성하고 출력하되, 상기 변화량에 따라 상기 예측 모드 비트를 선택적으로 상기 비트스트림에 포함시키는 비트스트림 생성기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  2. 제 1 항에 있어서, 상기 비트스트림 생성기는,
    상기 부호화된 계수 비트 및 상기 예측 모드 비트를 상기 매크로블록 단위로 포함시키는 경우에는 상기 부호화된 계수 비트를 상기 예측 모드 비트보다 앞에 할당하여 상기 비트스트림을 생성하고 출력하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제 1 항에 있어서, 상기 비트스트림 생성기는,
    상기 변화량이 임계값보다 크거나 같은 경우에만 상기 현재 블록에 대한 부호화된 계수 비트와 상기 현재 블록에 대한 예측 모드 비트를 함께 포함시켜 상기 비트스트림을 생성하고 출력하는 것을 특징으로 하는 영상 부호화 장치.
  4. 제 1 항에 있어서, 상기 예측 모드 선택기는,
    상기 변화량이 임계값보다 작은 경우에는 기 설정된 인트라 예측 모드를 상기 현재 블록의 인트라 예측 모드로서 선택하는 것을 특징으로 하는 영상 부호화 장치.
  5. 제 4 항에 있어서, 상기 기 설정된 인트라 예측 모드는,
    상기 현재 블록의 인접 화소의 화소값의 평균값을 상기 현재 블록의 화소들의 예측 화소값으로 예측하는 인트라 예측 모드인 것을 특징으로 하는 영상 부호화 장치.
  6. 제 1 항에 있어서, 상기 예측 모드 선택기는,
    상기 변화량이 임계값보다 크거나 같은 경우에는 기 설정된 모드 선택 기준에 따라 복수 개의 인트라 예측 모드 중 하나의 인트라 예측 모드를 선택하고 상기 선택된 하나의 인트라 예측 모드를 상기 현재 블록의 인트라 예측 모드로서 선택하는 것을 특징으로 하는 영상 부호화 장치.
  7. 제 6 항에 있어서, 상기 예측 모드 선택기는,
    상기 복수 개의 인트라 예측 모드 각각을 차례로 상기 기 설정된 모드 선택 기준에 적용하여 하나의 인트라 예측 모드를 선택하되, 상기 복수 개의 인트라 예측 모드 중 DC 모드를 상기 기 설정된 모드 선택 기준에 마지막으로 적용하는 것을 특징으로 하는 영상 부호화 장치.
  8. 제 1 항에 있어서, 상기 예측 모드 선택기는,
    상기 변화량을 산포도를 이용하여 계산하되, 상기 산포도는 분산, 표준편차, 평균편차 및 사분편차 중 하나인 것을 특징으로 하는 영상 부호화 장치.
  9. 제 1 항에 있어서, 상기 예측 모드 선택기는,
    상기 변화량을 임계값과 비교하여 상기 현재 블록의 인트라 예측 모드를 선택하되, 상기 임계값은 상기 현재 블록의 양자화 계수 및 양자화 단계 크기에 따라 설정되는 것을 특징으로 하는 영상 부호화 장치.
  10. 영상을 부호화하는 방법에 있어서,
    입력 영상에서 부호화하고자 하는 현재 블록의 인접 화소의 화소값의 변화량에 따라 상기 현재 블록의 인트라 예측 모드를 선택하는 단계;
    상기 선택된 현재 블록의 인트라 예측 모드에 따라 상기 현재 블록을 인트라 예측하여 생성한 잔차 블록을 부호화하여 부호화된 계수 비트를 생성하는 단계; 및
    상기 부호화된 계수 비트 및 상기 선택된 현재 블록의 인트라 예측 모드를 나타내는 예측 모드 비트를 매크로블록 단위 또는 서브블록 단위로 포함하는 비트스트림을 생성하되, 상기 변화량에 따라 상기 예측 모드 비트를 선택적으로 상기 비트스트림에 포함시키는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  11. 영상을 복호화하는 장치에 있어서,
    현재 블록의 잔차 블록이 부호화된 계수 비트 및 상기 현재 블록의 예측 모드 비트가 매크로블록 단위 또는 서브블록 단위로 포함된 비트스트림으로부터 상기 부호화된 계수 비트 및 상기 예측 모드 비트를 추출하는 비트스트림 추출기;
    상기 현재 블록의 인접 화소의 화소값의 변화량에 따라 기 설정된 인트라 예측 모드 또는 상기 추출된 예측 모드 비트가 나타내는 인트라 예측 모드를 상기 현재 블록의 인트라 예측 모드로서 선택하는 예측 모드 선택기; 및
    상기 부호화된 계수 비트를 복호화하여 상기 현재 블록의 잔차 블록을 복원하고 상기 선택된 현재 블록의 인트라 예측 모드에 따라 상기 현재 블록을 인트라 예측하여 상기 현재 블록을 복원하고 출력하는 인트라 예측 복호화기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  12. 제 11 항에 있어서, 상기 비트스트림은,
    상기 부호화된 계수 비트 및 상기 예측 모드 비트가 상기 매크로블록 단위로 포함된 경우, 상기 부호화된 계수 비트가 상기 예측 모드 비트보다 앞에 할당된 것을 특징으로 하는 영상 복호화 장치.
  13. 제 11 항에 있어서, 상기 비트스트림 추출기는,
    상기 변화량이 임계값보다 크거나 같은 경우에만 상기 비트스트림으로부터 상기 현재 블록의 예측 모드 비트를 추출하는 것을 특징으로 하는 영상 복호화 장치.
  14. 제 11 항에 있어서, 상기 예측 모드 선택기는,
    상기 변화량이 임계값보다 작은 경우에는 상기 기 설정된 인트라 예측 모드를 상기 현재 블록의 인트라 예측 모드로서 선택하는 것을 특징으로 하는 영상 복호화 장치.
  15. 제 11 항에 있어서, 상기 예측 모드 선택기는,
    상기 변화량이 임계값보다 크거나 같은 경우에는 상기 추출된 예측 모드 비트가 나타내는 인트라 예측 모드를 상기 현재 블록의 인트라 예측 모드로서 선택하는 것을 특징으로 하는 영상 복호화 장치.
  16. 제 11 항에 있어서, 상기 기 설정된 인트라 예측 모드는,
    상기 현재 블록의 인접 화소의 화소값의 평균값을 상기 현재 블록의 화소들의 예측 화소값으로 예측하는 인트라 예측 모드인 것을 특징으로 하는 영상 복호화 장치.
  17. 제 11 항에 있어서, 상기 예측 모드 선택기는,
    상기 변화량을 산포도를 이용하여 계산하되, 상기 산포도는 분산, 표준편차, 평균편차 및 사분편차 중 하나인 것을 특징으로 하는 영상 복호화 장치.
  18. 제 11 항에 있어서, 상기 예측 모드 선택기는,
    상기 변화량을 임계값과 비교하여 상기 현재 블록의 인트라 예측 모드를 선택하되, 상기 임계값은 상기 현재 블록의 양자화 계수 및 양자화 단계 크기에 따라 설정되는 것을 특징으로 하는 영상 복호화 장치.
  19. 영상을 복호화하는 방법에 있어서,
    현재 블록의 잔차 블록이 부호화된 계수 비트 및 상기 현재 블록의 예측 모드 비트가 매크로블록 단위 또는 서브블록 단위로 포함된 비트스트림으로부터 상기 부호화된 계수 비트 및 상기 예측 모드 비트를 추출하는 단계;
    상기 현재 블록의 인접 화소의 화소값의 변화량에 따라 기 설정된 인트라 예측 모드 또는 상기 추출된 예측 모드 비트가 나타내는 인트라 예측 모드를 상기 현재 블록의 인트라 예측 모드로서 선택하는 단계;
    상기 부호화된 계수 비트를 복호화하여 상기 현재 블록의 잔차 블록을 복원하는 단계;
    상기 선택된 현재 블록의 인트라 예측 모드에 따라 상기 현재 블록을 인트라 예측하는 단계; 및
    상기 복원된 잔차 블록과 상기 인트라 예측된 현재 블록을 이용하여 상기 현재 블록을 복원하고 출력하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  20. 예측 모드를 선택하는 장치에 있어서,
    현재 블록의 인접 화소의 화소값의 변화량을 계산하는 변화량 계산기; 및
    상기 계산된 변화량이 임계값보다 작은 경우에는 기 설정된 인트라 예측 모드를 상기 현재 블록의 인트라 예측 모드로서 선택하고 상기 계산된 변화량이 상기 임계값보다 크거나 같은 경우에는 기 설정된 모드 선택 기준에 따라 복수 개의 인트라 예측 모드 중 하나의 인트라 예측 모드를 선택하여 상기 선택된 하나의 인트라 예측 모드를 상기 현재 블록의 인트라 예측 모드로서 선택하는 모드 선택기; 및
    상기 선택된 현재 블록의 인트라 예측 모드를 나타내는 예측 모드 비트를 생성하여 출력하는 모드 비트 생성기
    를 포함하는 것을 특징으로 하는 예측 모드 선택 장치.
  21. 제 20 항에 있어서, 상기 모드 비트 생성기는,
    상기 계산된 변화량이 상기 임계값보다 크거나 같은 경우에만 상기 예측 모드 비트를 생성하여 출력하는 것을 특징으로 하는 예측 모드 선택 장치.
  22. 제 20 항에 있어서, 상기 예측 모드 비트는,
    상기 현재 블록의 잔차 블록이 부호화된 계수 비트와 함께 포함되어 비트스트림에 포함되되, 상기 비트스트림이 매크로블록 단위로 포함된 경우에는 상기 부호화된 계수 비트는 상기 예측 모드 비트보다 앞에 할당되는 것을 특징으로 하는 예측 모드 선택 장치.
  23. 예측 모드를 선택하는 방법에 있어서,
    현재 블록의 인접 화소의 화소값의 변화량을 계산하는 단계;
    상기 계산된 변화량이 임계값보다 작은 경우에는 기 설정된 인트라 예측 모드를 상기 현재 블록의 인트라 예측 모드로서 선택하는 단계;
    상기 계산된 변화량이 상기 임계값보다 크거나 같은 경우에는 기 설정된 모드 선택 기준에 따라 복수 개의 인트라 예측 모드 중 하나의 인트라 예측 모드를 선택하여 상기 선택된 하나의 인트라 예측 모드를 상기 현재 블록의 인트라 예측 모드로서 선택하는 단계; 및
    상기 선택된 현재 블록의 인트라 예측 모드를 나타내는 예측 모드 비트를 생성하여 출력하는 단계
    를 포함하는 것을 특징으로 하는 예측 모드 선택 방법.
  24. 예측 모드를 선택하는 장치에 있어서,
    현재 블록의 인접 화소의 화소값의 변화량을 계산하는 변화량 계산기; 및
    상기 계산된 변화량이 임계값보다 작은 경우에는 기 설정된 인트라 예측 모드를 상기 현재 블록의 인트라 예측 모드로 선택하고, 상기 변화량이 상기 임계값보다 크거나 같은 경우에는 상기 현재 블록의 잔차 블록이 부호화된 계수 비트 및 상기 현재 블록의 예측 모드 비트가 매크로블록 단위 또는 서브블록 단위로 포함된 비트스트림으로부터 추출된 상기 현재 블록의 예측 모드 비트가 나타내는 인트라 예측 모드를 상기 현재 블록의 인트라 예측 모드로서 선택하는 모드 선택기
    를 포함하는 것을 특징으로 하는 예측 모드 선택 장치.
  25. 예측 모드를 선택하는 방법에 있어서,
    현재 블록의 인접 화소의 화소값의 변화량을 계산하는 단계;
    상기 계산된 변화량이 임계값보다 작은 경우에는 기 설정된 인트라 예측 모드를 상기 현재 블록의 인트라 예측 모드로 선택하는 단계; 및
    상기 변화량이 상기 임계값보다 크거나 같은 경우에는 상기 현재 블록의 잔차 블록이 부호화된 계수 비트 및 상기 현재 블록의 예측 모드 비트가 매크로블록 단위 또는 서브블록 단위로 포함된 비트스트림으로부터 추출된 상기 현재 블록의 예측 모드 비트가 나타내는 인트라 예측 모드를 상기 현재 블록의 인트라 예측 모드로서 선택하는 단계
    를 포함하는 것을 특징으로 하는 예측 모드 선택 방법.
PCT/KR2010/002307 2009-04-14 2010-04-14 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 Ceased WO2010120113A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/264,311 US9641844B2 (en) 2009-04-14 2010-04-14 Method and apparatus for selecting a prediction mode, and image encoding/decoding method and apparatus using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2009-0032142 2009-04-14
KR1020090032142A KR101379185B1 (ko) 2009-04-14 2009-04-14 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
WO2010120113A2 true WO2010120113A2 (ko) 2010-10-21
WO2010120113A3 WO2010120113A3 (ko) 2011-01-06

Family

ID=42982995

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/002307 Ceased WO2010120113A2 (ko) 2009-04-14 2010-04-14 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (1) US9641844B2 (ko)
KR (1) KR101379185B1 (ko)
WO (1) WO2010120113A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2688269C2 (ru) * 2011-04-25 2019-05-21 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ внутреннего предсказания и кодер и декодер, использующие его
WO2020141833A1 (ko) * 2019-01-02 2020-07-09 디지털인사이트 주식회사 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 영상 부호화 장치 및 컴퓨터 판독 가능한 기록 매체
US10904569B2 (en) 2011-06-20 2021-01-26 Electronics And Telecommunications Research Institute Image encoding/decoding method using prediction block and apparatus for same

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106933B1 (en) * 2010-05-18 2015-08-11 Google Inc. Apparatus and method for encoding video using different second-stage transform
KR101444667B1 (ko) 2011-01-15 2014-09-30 에스케이 텔레콤주식회사 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
JP2012253722A (ja) * 2011-06-07 2012-12-20 Sony Corp 画像符号化装置と画像復号装置およびその方法とプログラム
CN102857764B (zh) * 2011-07-01 2016-03-09 华为技术有限公司 帧内预测模式处理的方法和装置
US8886648B1 (en) 2012-01-31 2014-11-11 Google Inc. System and method for computation of document similarity
JP5591838B2 (ja) * 2012-02-02 2014-09-17 株式会社東芝 画像符号化装置、及び方法
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
KR20140003690A (ko) 2012-06-22 2014-01-10 삼성디스플레이 주식회사 화소 데이터 압축 장치
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
GB2506937B (en) * 2012-10-15 2015-06-10 Toshiba Res Europ Ltd A transceiver operating in a wireless communications network, a system and method for transmission in the network
KR101596085B1 (ko) * 2012-12-18 2016-02-19 한양대학교 산학협력단 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
WO2014171713A1 (ko) * 2013-04-15 2014-10-23 인텔렉추얼 디스커버리 주식회사 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
JP2015015595A (ja) * 2013-07-04 2015-01-22 富士通株式会社 動画像符号化装置、符号化モード判定方法及び符号化プログラム
US9247251B1 (en) 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
JP6149707B2 (ja) * 2013-11-25 2017-06-21 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置
US20180048917A1 (en) * 2015-02-23 2018-02-15 Board Of Regents, The University Of Texas System Systems, apparatus, and methods for bit level representation for data processing and analytics
KR101911587B1 (ko) * 2015-08-03 2018-10-24 한양대학교 산학협력단 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
CN117041560A (zh) 2016-12-07 2023-11-10 株式会社Kt 对图像信号进行解码或编码的方法和存储视频数据的设备
CN117395394A (zh) 2017-03-22 2024-01-12 韩国电子通信研究院 使用参考块的预测方法和装置
US10666943B2 (en) 2017-09-15 2020-05-26 Futurewei Technologies, Inc. Block partition structure in video compression
KR20190056888A (ko) 2017-11-17 2019-05-27 삼성전자주식회사 비디오 부호화 장치 및 방법
SG11202111530YA (en) * 2019-04-24 2021-11-29 Bytedance Inc Constraints on quantized residual differential pulse code modulation representation of coded video
KR102707777B1 (ko) 2019-05-01 2024-09-20 바이트댄스 아이엔씨 양자화된 잔차 차동 펄스 코드 변조 코딩을 사용하는 인트라 코딩된 비디오
WO2020223615A1 (en) 2019-05-02 2020-11-05 Bytedance Inc. Coding mode based on a coding tree structure type
CN113785568B (zh) 2019-05-02 2024-03-08 字节跳动有限公司 变换跳过模式下的信令通知
US11601135B2 (en) * 2020-02-27 2023-03-07 BTS Software Solutions, LLC Internet of things data compression system and method
TWI725795B (zh) * 2020-03-27 2021-04-21 宏正自動科技股份有限公司 影像處理系統、影像處理裝置及影像處理方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148033A (en) * 1997-11-20 2000-11-14 Hitachi America, Ltd. Methods and apparatus for improving picture quality in reduced resolution video decoders
US6983018B1 (en) * 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6799294B1 (en) * 2000-04-06 2004-09-28 Lucent Technologies Inc. Method and apparatus for generating channel error flags for error mitigation and/or concealment in source decoders
CN1312927C (zh) 2002-07-15 2007-04-25 株式会社日立制作所 动态图像编码方法及解码方法
AU2003279015A1 (en) 2002-09-27 2004-04-19 Videosoft, Inc. Real-time video coding/decoding
EP1558039A1 (en) * 2004-01-21 2005-07-27 Deutsche Thomson-Brandt Gmbh Method and apparatus for generating/evaluating prediction information in picture signal encoding/decoding
KR20050112445A (ko) * 2004-05-25 2005-11-30 경희대학교 산학협력단 예측 부호화/복호화 장치, 예측 부호화/복호화 방법 및 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
US20060193527A1 (en) * 2005-01-11 2006-08-31 Florida Atlantic University System and methods of mode determination for video compression
JP5173409B2 (ja) * 2005-03-22 2013-04-03 パナソニック株式会社 符号化装置および符号化装置を備えた動画像記録システム
KR100727990B1 (ko) 2005-10-01 2007-06-13 삼성전자주식회사 영상의 인트라 예측 부호화 방법 및 그 방법을 사용하는부호화 장치
US8036270B2 (en) * 2006-07-27 2011-10-11 Sharp Laboratories Of America, Inc. Intra-frame flicker reduction in video coding
KR101365570B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
KR101379255B1 (ko) 2007-04-06 2014-03-28 삼성전자주식회사 미분 방정식을 이용한 인트라 예측 부호화, 복호화 방법 및장치
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US8619853B2 (en) * 2007-06-15 2013-12-31 Qualcomm Incorporated Separable directional transforms
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
KR101439847B1 (ko) * 2008-01-02 2014-09-16 삼성전자주식회사 부호화 정보의 압축률 향상을 이용한 영상 부호화, 복호화방법 및 장치
US8165204B2 (en) * 2008-02-29 2012-04-24 Michael Bronstein Resource allocation for frame-based controller
KR20090097688A (ko) * 2008-03-12 2009-09-16 삼성전자주식회사 영상의 인트라 예측 부호화/복호화 방법 및 장치
US8326075B2 (en) * 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8325796B2 (en) * 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8457211B2 (en) * 2008-11-20 2013-06-04 Texas Instruments Incorporated System and method for image coding

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11006146B2 (en) 2011-04-25 2021-05-11 Lg Electronics Inc. Intra-prediction method, and encoder and decoder using same
US10368090B2 (en) 2011-04-25 2019-07-30 Lg Electronics Inc. Intra-prediction method, and encoder and decoder using same
US10645415B2 (en) 2011-04-25 2020-05-05 Lg Electronics Inc. Intra-prediction method, and encoder and decoder using same
US11910010B2 (en) 2011-04-25 2024-02-20 Lg Electronics Inc. Intra-prediction method, and encoder and decoder using same
RU2688269C2 (ru) * 2011-04-25 2019-05-21 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ внутреннего предсказания и кодер и декодер, использующие его
US10904569B2 (en) 2011-06-20 2021-01-26 Electronics And Telecommunications Research Institute Image encoding/decoding method using prediction block and apparatus for same
US10979735B2 (en) 2011-06-20 2021-04-13 Electronics And Telecommunications Research Institute Image encoding/decoding method using prediction block and apparatus for same
US10986368B2 (en) 2011-06-20 2021-04-20 Electronics And Telecommunications Research Institute Image encoding/decoding method using prediction block and apparatus for same
US10979734B2 (en) 2011-06-20 2021-04-13 Electronics And Telecommunications Research Institute Image encoding/decoding method using prediction block and apparatus for same
US20210203986A1 (en) * 2011-06-20 2021-07-01 Electronics And Telecommunications Research Institute Image encoding/decoding method using prediction block and apparatus for same
US11689742B2 (en) 2011-06-20 2023-06-27 Electronics And Telecommunications Research Institute Image encoding/decoding method using prediction block and apparatus for same
US11711541B2 (en) 2011-06-20 2023-07-25 Electronics And Telecommunications Research Institute Image encoding/decoding method using prediction block and apparatus for same
US12149737B2 (en) 2011-06-20 2024-11-19 Electronics And Telecommunications Research Institute Image encoding/decoding method using prediction block and apparatus for same
US12244855B2 (en) 2011-06-20 2025-03-04 Electronics And Telecommunications Research Institute Image encoding/decoding method using prediction block and apparatus for same
US11895289B2 (en) 2019-01-02 2024-02-06 Digitalinsights Inc. Image decoding method, image encoding method, image decoding device, image encoding device, and computer-readable recording medium
WO2020141833A1 (ko) * 2019-01-02 2020-07-09 디지털인사이트 주식회사 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 영상 부호화 장치 및 컴퓨터 판독 가능한 기록 매체
US12519927B2 (en) 2019-01-02 2026-01-06 Digitalinsights Inc. Image decoding method, image encoding method, image decoding device, image encoding device, and computer-readable recording medium

Also Published As

Publication number Publication date
US9641844B2 (en) 2017-05-02
KR101379185B1 (ko) 2014-03-31
WO2010120113A3 (ko) 2011-01-06
KR20100113703A (ko) 2010-10-22
US20120039388A1 (en) 2012-02-16

Similar Documents

Publication Publication Date Title
WO2010120113A2 (ko) 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011087323A2 (en) Method and apparatus for encoding and decoding image by using large transform unit
WO2011021910A2 (ko) 인트라 예측 부호화/복호화 방법 및 장치
WO2013109039A1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2011031044A2 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
WO2010027170A2 (ko) 예측 방향 전환과 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법
WO2010027182A2 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
WO2011126285A2 (ko) 부호화 모드에 대한 정보를 부호화, 복호화하는 방법 및 장치
WO2011053021A2 (en) Method and apparatus for encoding and decoding image by using rotational transform
WO2019117636A1 (ko) 비분리 2차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2010151018A2 (ko) 다차원 정수 변환을 이용한 영상 부호화/복호화 장치 및 방법
WO2017057953A1 (ko) 비디오 코딩 시스템에서 레지듀얼 신호 코딩 방법 및 장치
WO2018190594A1 (ko) 비디오 신호를 엔트로피 인코딩, 디코딩하는 방법 및 장치
WO2011010900A2 (ko) 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
WO2011155758A2 (ko) 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
WO2012144876A2 (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
WO2011004986A2 (ko) 영상 부호화/복호화 방법 및 장치
WO2012077960A2 (ko) 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치
WO2011145819A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2012005551A2 (ko) 변환 계수의 엔트로피 부호화/복호화 방법 및 장치
WO2009157665A2 (ko) 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012046979A2 (ko) 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012026794A2 (ko) 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
WO2020256344A1 (ko) 영상 코딩에서 변환 커널 세트를 나타내는 정보의 시그널링

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10764652

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13264311

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 06/02/12)

122 Ep: pct application non-entry in european phase

Ref document number: 10764652

Country of ref document: EP

Kind code of ref document: A2