WO2011048744A1 - 画像符号化装置、画像符号化方法、画像復号装置、及び、画像復号方法 - Google Patents

画像符号化装置、画像符号化方法、画像復号装置、及び、画像復号方法 Download PDF

Info

Publication number
WO2011048744A1
WO2011048744A1 PCT/JP2010/005556 JP2010005556W WO2011048744A1 WO 2011048744 A1 WO2011048744 A1 WO 2011048744A1 JP 2010005556 W JP2010005556 W JP 2010005556W WO 2011048744 A1 WO2011048744 A1 WO 2011048744A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
frequency
frequency component
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/005556
Other languages
English (en)
French (fr)
Inventor
熊倉徹
上田基晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Publication of WO2011048744A1 publication Critical patent/WO2011048744A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image encoding technique using intra prediction.
  • Video coding method MPEG-4 AVC / H.264 intra-screen coding efficiency is improved by intra-screen prediction.
  • MPEG-4 AVC / H. H.264 intra-screen prediction uses a locally decoded adjacent pixel of a block to be encoded as a reference pixel for prediction, and extrapolates the value of the reference pixel to the block to be encoded. How to create. In order to improve the prediction efficiency, it is necessary to create a highly accurate predicted image.
  • MPEG-4 AVC / H. In H.264 a plurality of prediction modes are prepared in advance, and a highly accurate prediction image is created by adaptively switching between them.
  • Fig. 7 shows MPEG-4 AVC / H. It is a figure which shows the prediction mode of a H.264 4x4 pixel unit. A total of nine types of prediction modes of 8 directions + average value mode are shown with adjacent pixels on the left and upper sides of the encoding target block as reference pixels.
  • FIG. 9 is a diagram illustrating an example of a configuration of a conventional intra prediction encoding apparatus.
  • the block dividing unit 902 divides the encoding target frame input to the input terminal 901 into predetermined encoding units, and creates an encoding target block.
  • the mode determination unit 915 determines a prediction mode that seems to be optimal for encoding the encoding target block, and the adjacent pixel extrapolation unit 910 generates a prediction image based on the determined prediction mode.
  • the subtractor 903 subtracts the predicted image from the original image of the encoding target block
  • the orthogonal transform unit 904 orthogonally transforms the residual signal created by the subtractor 903, and the quantization unit 905 uses the orthogonal transform unit 904.
  • the obtained coefficient is quantized to generate a quantized coefficient.
  • the inverse quantization unit 906 inversely quantizes the quantized coefficient
  • the inverse transform unit 907 performs inverse orthogonal transform on the value obtained by the inverse quantization unit 906 to generate a local decoded image of the target block.
  • the local decoded image is added to the prediction image generated by the adjacent pixel extrapolation unit 910 and the adder 908 and accumulated in the frame buffer 909.
  • the quantization coefficient encoding unit 911 entropy encodes the quantization coefficient
  • the mode information encoding unit 913 entropy encodes the prediction mode information.
  • the multiplexing unit 914 multiplexes the coefficient obtained by the quantization coefficient coding unit 911 and the information obtained by the mode information coding unit 913.
  • the multiplexed data is transmitted from the output terminal 912 to the decoding device.
  • the conventional intra prediction encoding apparatus encodes the encoding target frame by performing the above procedure for all blocks.
  • Specific methods for determining the optimum prediction mode include a method for determining based on the information amount of the residual signal, a method for determining based on the information amount of the quantized transform coefficient, and information on the encoded quantized transform coefficient. There are methods for determining based on the quantity.
  • FIG. 10 is a diagram illustrating an example of a configuration of a conventional intra prediction decoding apparatus.
  • the syntax analysis unit 1002 parses the bitstream input to the input terminal 1001
  • the quantization coefficient decoding unit 1009 decodes the quantization coefficient to generate a quantized transform coefficient
  • the mode information decoding unit Prediction mode information in which 1010 is encoded is generated.
  • the inverse quantization unit 1003 inversely quantizes the quantized transform coefficient
  • the inverse transform unit 1004 performs an inverse orthogonal transform on the coefficient obtained by the inverse quantization unit 1003 to obtain a residual signal.
  • the adjacent pixel extrapolation unit 1007 acquires the value of the adjacent reference pixel from the frame buffer 1006, and creates a predicted image using the value of the adjacent reference pixel based on the prediction mode information.
  • the adder 1005 adds the predicted image obtained by the adjacent pixel extrapolation unit 1007 and the residual signal obtained by the inverse transform unit 1004 to create a decoded image of the target block.
  • the decoded image is output from the output terminal 1008 to the outside of the apparatus.
  • the conventional intra prediction decoding apparatus decodes the target frame by performing the above procedure for all blocks.
  • Patent Document 1 discloses a technique for efficiently transmitting intra prediction mode information even when many prediction modes are provided.
  • the encoded information to be transmitted is a quantized transform coefficient and prediction mode information.
  • the encoding target block has a strong component in the direction of the arrow shown in FIG. 7, it is expected that the prediction accuracy will be high, and efficient encoding is possible.
  • the encoding target block has a signal distribution as indicated by reference numeral 801 in FIG. 8, even if the mode 700 or the mode 707 (see FIG. 7) that can be most efficiently encoded is adopted, A strong component cannot be removed and a large residual component remains.
  • the residual component that cannot be removed is a high-frequency component, which causes a decrease in coding efficiency and signal degradation.
  • Patent Document 1 discloses a technique for efficiently suppressing the amount of prediction mode information even when the number of prediction modes is increased.
  • the increase in the number of prediction modes is the in-screen prediction efficiency. It cannot be an essential improvement measure to improve
  • MPEG-4 AVC / H. In extrapolation prediction such as H.264, even in a block having strong components in a plurality of directions as indicated by reference numeral 803 in FIG. 8, only one direction component can be predicted, so that it cannot be predicted with high accuracy. This is a cause of reducing the efficiency of intra prediction.
  • An object of the present invention is to provide an image encoding device and an image encoding method that efficiently execute intra prediction encoding with a small amount of information. It is another object of the present invention to provide an image decoding apparatus and an image decoding method for decoding an image signal encoded by the image encoding apparatus and the image encoding method of the present invention.
  • an image encoding device of the present invention performs frequency analysis on a locally decoded image around a block to be encoded, and has a predetermined order or more of the locally decoded image.
  • a frequency analysis unit that extracts a frequency component of the encoding target
  • a prediction image generation unit that generates a prediction image of the encoding target block by extending the frequency component extracted by the frequency analysis unit to the encoding target block.
  • the image coding apparatus further includes a first storage unit that subtracts the frequency component extracted by the frequency analysis unit from the locally decoded image and stores the result in the first holding unit, and the first storage unit holds the first storage unit.
  • a second storage unit for adding a prediction signal created from the frequency component extracted by the frequency analysis unit to the signal being stored, and storing it in a second holding unit; and controlling the number of signals extracted by the frequency analysis unit And an extraction repeat control unit.
  • the frequency analysis is, for example, a generalized harmonic analysis.
  • the image encoding method of the present invention performs a frequency analysis on a locally decoded image around a block to be encoded, and extracts a frequency component of a predetermined order or more of the locally decoded image, Extending a frequency component to the encoding target block and creating a prediction image of the encoding target block.
  • the image coding method further includes the step of subtracting the frequency component extracted from the locally decoded image and storing it in the first holding unit, and the frequency component in the signal held in the first holding unit. Adding a prediction signal created from the frequency component extracted in the step of extracting and storing the prediction signal in the second holding unit, and controlling the number of signals extracted in the step of extracting the frequency component .
  • the frequency analysis is, for example, a generalized harmonic analysis.
  • the image decoding apparatus of the present invention performs frequency analysis on a locally decoded image around a decoding target block, and extracts a frequency component of a predetermined order or more of the locally decoded image; and the frequency A prediction image creating unit that creates a predicted image of the decoding target block by extending the frequency component extracted by the analysis unit to the decoding target block.
  • the image decoding apparatus further includes a first storage unit that subtracts the frequency component extracted by the frequency analysis unit from the locally decoded image and stores the result in the first holding unit, and is held by the first holding unit.
  • a second storage unit that adds a prediction signal created from the frequency component extracted by the frequency analysis unit to the received signal and stores it in a second holding unit, and controls the number of signals extracted by the frequency analysis unit And an extraction repetition control unit.
  • the frequency analysis is, for example, a generalized harmonic analysis.
  • the image decoding method of the present invention includes a step of performing frequency analysis on a locally decoded image around a decoding target block, extracting a frequency component of a predetermined order or more of the locally decoded image, and an extracted frequency component Extending to the decoding target block and creating a prediction image of the decoding target block.
  • the image decoding method of the present invention further includes the step of subtracting the frequency component extracted from the locally decoded image and storing it in the first holding unit, and the frequency component in the signal held in the first holding unit.
  • the step of adding the prediction signal created from the frequency component extracted in the step of extracting and storing it in the second holding unit, and the step of controlling the number of signals extracted in the step of extracting the frequency component may be included.
  • the frequency analysis is, for example, a generalized harmonic analysis.
  • the present invention can provide an image encoding apparatus and an image encoding method that can efficiently perform intra prediction encoding with a small amount of information.
  • the present invention can provide an image decoding apparatus and an image decoding method for decoding an image signal encoded by the image encoding apparatus and the image encoding method of the present invention.
  • the image encoding device and the image encoding method of the present invention it is possible to create a highly accurate predicted image regardless of the signal shape of the block to be encoded. Also, the image decoding device and the image decoding method of the present invention Then, since the frequency analysis is performed on the locally decoded images around the block to be decoded, the amount of information obtained by the image encoding device and the image encoding method of the present invention can be reduced as compared with the prior art. Therefore, the present invention can improve the efficiency of intra prediction encoding.
  • FIG. 6 is a diagram for describing a procedure for creating a predicted image performed by the encoding device in FIG. 5.
  • 6 is a flowchart for explaining an encoding procedure performed by the encoding apparatus of FIG. 5.
  • It is a flowchart for demonstrating the procedure of the prediction image preparation which the encoding apparatus of FIG. 5 performs.
  • It is a flowchart for demonstrating the procedure of the decoding which the decoding apparatus of FIG. 6 performs.
  • (Encoder) 1 includes an input terminal 101, a block division unit 102, a subtractor 103, an orthogonal transformation unit 104, a quantization unit 105, an inverse quantization unit 106, an inverse transformation unit 107, an adder 108, a frame buffer 109,
  • the frequency analysis unit 110, the quantization coefficient encoding unit 111, the output terminal 112, and the predicted image creation unit 113 are configured.
  • the input terminal 101 receives the encoding target frame from the outside of the encoding device.
  • the block dividing unit 102 receives the encoding target frame from the input terminal 101, and divides the encoding target frame into a plurality of 4 ⁇ 4 pixel rectangular regions. However, the size of the area to be divided may be another size such as 8 ⁇ 8, 16 ⁇ 16, or may not be rectangular.
  • the block division unit 102 sends the divided block (hereinafter, encoding target signal) to the subtractor 103.
  • the subtracter 103 receives the encoding target signal from the block division unit 102 and also receives the prediction signal from the prediction image creation unit 113. Then, the prediction signal is subtracted from the encoding target signal to generate a residual signal. Then, the generated residual signal is sent to the orthogonal transform unit 104.
  • the orthogonal transform unit 104 receives the residual signal from the subtractor 103. Then, a discrete cosine transform (DCT) is performed on the received residual signal to generate a transform coefficient. Then, the generated transform coefficient is sent to the quantization unit 105.
  • DCT discrete cosine transform
  • the transform performed by the orthogonal transform unit 104 may be another transform (for example, Hadamard transform or discrete sine transform).
  • the quantization unit 105 receives the transform coefficient from the orthogonal transform unit 104. Then, the received transform coefficient is quantized to generate a quantized transform coefficient. Then, the quantized transform coefficients are sent to the inverse quantization unit 106 and the quantized coefficient coding unit 111.
  • the inverse quantization unit 106 receives the quantized transform coefficient from the quantization unit 105. Then, the quantized transform coefficient is inversely quantized to generate a restored transform coefficient. Then, the restored transform coefficient is sent to the inverse transform unit 107.
  • the inverse transform unit 107 receives the restored transform coefficient from the inverse quantization unit 106. Then, inverse DCT is performed on the restored transform coefficient to generate a restored residual signal. Then, the restored residual signal is sent to the adder 108.
  • the adder 108 receives the restored residual signal from the inverse transform unit 107 and also receives the prediction signal from the prediction image creation unit 113. Then, a restored signal is generated by adding the prediction signal and the restored residual signal. Then, a restoration signal is sent to the frame buffer 109.
  • the frame buffer 109 receives the restoration signal from the adder 108 and stores it at the target position. Also, the reference region of the encoding target block is sent to the frequency analysis unit 110.
  • the frequency analysis unit 110 receives the reference signal of the encoding target signal from the frame buffer 109. Then, frequency analysis is performed on the reference signal to extract main components of the reference signal. Then, parameters for creating the main component are sent to the predicted image creation unit 113.
  • the main component is a frequency component having a predetermined order or higher.
  • the quantization coefficient encoding unit 111 receives the quantized transform coefficient from the quantization unit 105. Then, predetermined entropy encoding is performed on the received quantized transform coefficient to create a bit stream, which is sent to the output terminal 112.
  • the output terminal 112 outputs the bit stream to the outside of the encoding device.
  • the predicted image creation unit 113 receives parameters for creating the main component of the reference signal from the frequency analysis unit 110. Then, a predicted image of the encoding target block is created using the parameters. The generated predicted image is sent to the subtracter 103.
  • the block dividing unit 102 divides the encoding target frame into predetermined regions and creates an encoding target block image (step S401).
  • the frequency analysis unit 110 extracts the main component by using the adjacent local decoding region image of the encoding target block from the frame buffer 109 as a reference image. Then, the predicted image creation unit 113 creates a predicted image from the extracted main components (step S402). The predicted image creation procedure will be described later.
  • the subtracter 103 subtracts the predicted image from the encoding target block image, thereby creating a residual image (step S403).
  • the orthogonal transform unit 104 orthogonally transforms the residual image, and the quantization unit 105 quantizes the coefficient obtained by the orthogonal transform unit 104 to create a quantized transform coefficient (step S404).
  • the quantization coefficient encoding unit 111 entropy encodes the quantized transform coefficient to create a quantized transform coefficient bit stream (step S405).
  • the inverse quantization unit 106 inversely quantizes the quantized transform coefficient, and the inverse transform unit 107 performs inverse orthogonal transform on the value obtained by the inverse quantization unit 106 to create a decoded residual image (step S406).
  • the adder 108 adds the predicted image and the decoded residual image, creates a local decoded image, and stores it in the frame buffer 109 (step S407).
  • GMA Generalized harmonic analysis
  • x and y are horizontal and vertical positions
  • fx and fy are horizontal and vertical frequencies
  • phase is a phase
  • fx, fy, and phase are arbitrary real numbers. Since it can be expressed in arbitrary fx, fy, and phase, it is possible to perform analysis with higher accuracy than an orthogonal transform method such as DCT generally applied in image coding.
  • the frequency analysis unit 110 acquires, from the frame buffer 109, locally decoded images (reference images) of the left, upper, and upper left blocks of the encoding target block (step S301).
  • reference numeral 1301 in FIG. 13 is an encoding target block
  • reference numeral 1302 is a reference image.
  • the reference image is not necessarily limited to the left, upper, and upper left three blocks, and may be only one or two of them, or may be another block such as the upper right. Further, if the right and lower blocks have been decoded, they may be used as reference images. Further, each reference block may not have the same shape as the encoding target block.
  • the frequency analysis unit 110 performs a generalized harmonic analysis on the reference image 1302 and extracts one component (step S302).
  • the procedure of component extraction is as follows. That is, pattern matching between a signal created by changing fx, fy, and phase and a reference image is repeated, and a signal created by fx, fy, and phase when the mean square error is minimized is used as an extraction component.
  • Reference numeral 1304 denotes an extraction component.
  • the predicted image creating unit 113 creates a signal of the encoding target block position using fx, fy, and phase of the one extracted component 1304, and sets it as a predicted image 1305 (step S303).
  • the predicted image creation procedure of this configuration can be switched adaptively in combination with the conventional predicted image creation procedure.
  • efficient encoding cannot be performed by the conventional prediction image creation procedure.
  • the prediction method is switched by a switching method using the high frequency component of the encoding target block. .
  • (decoder) 2 includes an input terminal 201, a quantized coefficient decoding unit 202, an inverse quantization unit 203, an inverse transform unit 204, an adder 205, a frame buffer 206, a frequency analysis unit 207, an output terminal 208, and a predicted image creation unit. 209.
  • the input terminal 201 receives a quantized coefficient bit stream to be decoded from outside the decoding apparatus.
  • the quantization coefficient decoding unit 202 receives the quantization coefficient bit stream from the input terminal 201. Then, a predetermined decoding process is performed on the received quantized coefficient bit stream to obtain quantized transform coefficients. Then, the quantized transform coefficient is sent to the inverse quantization unit 203.
  • the inverse quantization unit 203 performs a predetermined inverse quantization process on the quantized transform coefficient received from the quantized coefficient decoding unit 202 to obtain a transform coefficient. Then, the transform coefficient is sent to the inverse transform unit 204.
  • the inverse transform unit 204 performs a predetermined inverse transform process on the transform coefficient received from the inverse quantization unit 203 to obtain a restored residual signal. Then, the restored residual signal is sent to the adder 205.
  • the adder 205 receives the restored residual signal from the inverse transform unit 204, and also receives the prediction signal of the target block from the prediction image creation unit 209. Then, the restored residual signal and the prediction signal are added to create a decoded image of the target block. Then, the generated decoded image is sent to the frame buffer 206 and the output terminal 208.
  • the frame buffer 206 receives the decoded image of the target block from the adder 205 and stores it in the target position. Also, the frame buffer 206 sends the reference area of the target block to the frequency analysis unit 207.
  • the frequency analysis unit 207 receives the reference signal of the encoding target block from the frame buffer 206. Then, frequency analysis is performed on the reference signal to extract main components of the reference signal. Then, parameters for extracting the main component are sent to the predicted image creation unit 209.
  • the output terminal 208 outputs the decoded image to the outside of the decoding device.
  • the predicted image creation unit 209 receives parameters for extracting main components of the reference signal from the frequency analysis unit 207. Then, a prediction image of the encoding target block is created using parameters for creating the main component. Then, the generated predicted image is sent to the adder 205.
  • the frequency analysis unit 207 uses the adjacent local decoding region image of the block to be encoded from the frame buffer 206 as a reference image, and extracts main components of the reference image. Further, the predicted image creation unit 209 creates a predicted image from the main components of the reference image (step S1101).
  • the predicted image creation procedure follows the flowchart of FIG. 3 as in the case of the encoding apparatus.
  • the quantized coefficient decoding unit 202 performs a predetermined decoding process on the quantized coefficient bit stream to create a quantized coefficient (step S1102).
  • the inverse quantization unit 203 inversely quantizes the quantized coefficient, and the inverse transform unit 204 performs inverse orthogonal transform on the coefficient obtained by the inverse quantization unit 203 to create a decoded residual image (step S1103).
  • the adder 205 adds the predicted image and the decoded residual image, creates a local decoded image, and stores it in the frame buffer 206 (step S1104).
  • the decoding apparatus repeats the above processing until it reaches the end of the bitstream (step S1105).
  • the prediction image creation procedure of the decoding device of this configuration follows FIG. 3 as in the case of the encoding device.
  • the frequency analysis unit 110 performs frequency analysis on the adjacent region of the decoding target block to extract main frequency components in the adjacent region, and the predicted image creation unit 113 is extracted. A signal obtained by extending the component is calculated, thereby creating a highly accurate predicted image.
  • frequency analysis unit 207 performs the same analysis as frequency analysis unit 110. Therefore, in this embodiment, it is not necessary to send information related to the intra prediction mode. That is, with the configuration of the present embodiment, a highly accurate predicted image can be transmitted with a small amount of information.
  • 5 includes an input terminal 501, a block division unit 502, a subtractor 503, an orthogonal transformation unit 504, a quantization unit 505, an inverse quantization unit 506, an inverse transformation unit 507, an adder 508, a frame buffer 509, Frequency analysis unit 510, quantization coefficient encoding unit 511, output terminal 512, reference region buffer 513, prediction image buffer 514, repetition control unit 515, frequency component number encoding unit 516, multiplexing unit 517, prediction image creation unit 519 Consists of.
  • the reference region buffer 513, the frequency analysis unit 510, the predicted image creation unit 519, and the predicted image buffer 514 are combined into a multiple frequency analysis unit 518.
  • the input terminal 501 receives the encoding target frame from the outside of the encoding device.
  • the block dividing unit 502 receives the encoding target frame from the input terminal 501 and divides the encoding target frame into a plurality of 4 ⁇ 4 pixel rectangular areas. However, the size of the area to be divided may be another size such as 8 ⁇ 8, 16 ⁇ 16, or may not be rectangular.
  • the block division unit 502 sends the divided block (hereinafter, encoding target signal) to the subtracter 503.
  • the subtracter 503 receives the encoding target signal from the block dividing unit 502 and receives the prediction signal from the prediction image buffer 514. Then, the prediction signal is subtracted from the encoding target signal to generate a residual signal. Then, the generated residual signal is sent to the orthogonal transform unit 504.
  • the orthogonal transform unit 504 receives the residual signal from the subtracter 503. Then, a discrete cosine transform (DCT) is performed on the received residual signal to generate a transform coefficient. Then, the generated transform coefficient is sent to the quantization unit 505.
  • DCT discrete cosine transform
  • the calculation performed by the orthogonal transform unit 504 may be another transform (for example, Hadamard transform or discrete sine transform).
  • the quantization unit 505 receives the transform coefficient from the orthogonal transform unit 504. Then, the received transform coefficient is quantized to generate a quantized transform coefficient. Then, the quantized transform coefficient is sent to the inverse quantization unit 506 and the quantized coefficient coding unit 511.
  • the inverse quantization unit 506 receives the quantized transform coefficient from the quantization unit 505. Then, the quantized transform coefficient is inversely quantized to generate a restored transform coefficient. Then, the restored transform coefficient is sent to the inverse transform unit 507.
  • the inverse transform unit 507 receives the restored transform coefficient from the inverse quantization unit 506. Then, inverse DCT is performed on the restored transform coefficient to generate a restored residual signal. Then, the restored residual signal is sent to the adder 508.
  • the adder 508 receives the restored residual signal from the inverse transform unit 507 and receives the prediction signal from the prediction image buffer 514. Then, a restored signal is generated by adding the prediction signal and the restored residual signal. Then, the restoration signal is sent to the frame buffer 509.
  • the frame buffer 509 receives the restoration signal from the adder 508 and stores it in the target position. Also, the reference area of the encoding target block is sent to the reference area buffer 513.
  • the frequency analysis unit 510 receives the reference signal of the encoding target block from the reference area buffer 513. Then, frequency analysis is performed on the reference signal to extract main components. Then, parameters for creating the main component are sent to the predicted image creation unit 519.
  • the quantization coefficient encoding unit 511 receives the quantized transform coefficient from the quantization unit 505. Then, predetermined entropy coding is performed on the received quantized transform coefficient, and the resultant is sent to the multiplexing unit 517.
  • Output terminal 512 outputs the bit stream to the outside of the encoding device.
  • the reference area buffer 513 receives the reference area of the encoding target block from the frame buffer 509 and holds it. Also, the reference area image is sent to the frequency analysis unit 510. Further, the reference region buffer 513 receives the prediction component generated by the prediction image creation unit 519, generates the next reference image by subtracting the prediction component from the held reference image, and holds it again.
  • the predicted image buffer 514 creates and holds a predicted signal by adding the predicted components generated by the predicted image creating unit 519 one after another. Then, the generated prediction signal is sent to the subtracter 503.
  • the repetition control unit 515 controls the number of components to be analyzed by the frequency analysis unit 510. Then, the number of repetitions (frequency component number) is sent to frequency component number encoding section 516. The repetition control unit 515 ends the repetition when the average square error of each pixel between the original image of the encoding target block and the predicted image stored in the predicted image buffer 514 falls below a predetermined value.
  • the evaluation method is not limited to the method using the mean square error, and may be another evaluation method such as a method using the sum of absolute differences.
  • the evaluation target signal may be a signal indicating the information amount of the quantized coefficient after encoding or the information amount of the quantized coefficient before encoding.
  • the maximum number of repetitions can be set in the repetition control unit 515, or the number of frequency components can be transmitted without setting the number of repetitions as a fixed value.
  • the frequency component number encoding unit 516 performs predetermined entropy encoding on the frequency component number received from the repetition control unit 515 and sends the result to the multiplexing unit 517.
  • the multiplexing unit 517 performs a predetermined multiplexing process on the quantized coefficient bit stream received from the quantized coefficient encoding unit 511 and the frequency component number bit stream received from the frequency component number encoding unit 516, Create a bitstream of Then, the created bit stream is sent to the output terminal 512.
  • the predicted image creation unit 519 receives parameters for creating the main component of the reference signal from the frequency analysis unit 510. Then, a prediction component of the encoding target block is created using the parameters. Then, the generated prediction component is sent to the prediction image buffer 514 and the reference area buffer 513.
  • the prediction component creation procedure is the same as that in the embodiment.
  • the block dividing unit 502 divides the encoding target frame into predetermined regions and creates an encoding target block image (step S1501).
  • the multi-frequency analysis unit 518 uses the adjacent local decoding region image of the block to be encoded from the frame buffer 509 as a reference image, and creates a prediction image (step S1502).
  • the predicted image creation procedure will be described later.
  • the subtracter 503 creates a residual image by subtracting the predicted image from the encoding target block image (step S1503).
  • the orthogonal transform unit 504 performs orthogonal transform on the residual image, and the quantization unit 505 quantizes the coefficient obtained by the orthogonal transform unit 504 to create a quantized transform coefficient (step S1504).
  • the quantization coefficient encoding unit 511 entropy encodes the quantized transform coefficient to create a quantized transform coefficient bit stream. Further, the frequency component number encoding unit 516 performs entropy encoding on the frequency component number to create a frequency component number bitstream. Then, the multiplexing unit 517 multiplexes the quantized transform coefficient bit stream and the frequency component number bit stream to create a bit stream (step S1505).
  • the inverse quantization unit 506 inversely quantizes the quantized transform coefficient, and the inverse transform unit 507 performs inverse orthogonal transform on the coefficient obtained by the inverse quantization unit 506 to create a decoded residual image (step S1506).
  • the adder 508 adds the predicted image and the decoded residual image, creates a local decoded image, and stores it in the frame buffer 509 (step S1507).
  • the encoding device performs the above processing for all blocks (step S1508).
  • the reference area buffer 513 acquires the locally decoded images (reference images) of the left, upper, and upper left blocks of the encoding target block from the frame buffer 509 (step S1601).
  • the reference image is not necessarily limited to the left, upper, and upper left three blocks, and may be only one or two of them, or may be another block such as the upper right. Further, if the right and lower blocks have been decoded, they may be used as reference images. Further, each reference block may not have the same shape as the encoding target block.
  • the frequency analysis unit 510 performs a generalized harmonic analysis on the image stored in the reference area buffer 513, and extracts a main component of the reference area. Further, the predicted image creation unit 519 creates a predicted image of the encoding target block using one main component of the reference region created by the frequency analysis unit 510 (step S1602).
  • the reference region buffer 513 acquires a component extracted by the frequency analysis unit 510, creates a new reference image by subtracting it from the retained reference region (reference image), and retains it again (step S1603).
  • the predicted image buffer 514 acquires a component extracted by the frequency analysis unit 510, adds it to the stored predicted image, creates a new predicted image, and stores it again (step S1604).
  • the number of frequency components is incremented (step S1605).
  • step S1607 If the number of frequency components is less than the predetermined maximum number of frequency components, the iterative control unit 515 proceeds to step S1607, and if it has reached, the content of the predicted image buffer 514 is set as a predicted image, and the process ends (step S1606). ).
  • step S1602 If the average square error between the content of the predicted image buffer 514 and the original image to be encoded is larger than the predetermined error determination value, the process proceeds to step S1602, and the extraction process is continued. Otherwise, the process ends with the content of the predicted image buffer 514 as the predicted image (step S1607).
  • a reference numeral 1401 in FIG. 14 indicates a peripheral local decoded image of the encoding target block, and a reference numeral 1402 indicates an encoding target block.
  • Reference numeral 1403 indicates a reference area buffer 513, and reference numeral 1404 indicates a predicted image buffer 514.
  • Reference numeral 1405 indicates a component extracted by a single frequency analysis process, and reference numeral 1406 indicates a predicted component created by a single frequency analysis process.
  • the peripheral local decoded image 1401 of the encoding target block is stored in the reference area buffer 1403 as the first reference image 1407.
  • the frequency analysis unit 510 performs frequency analysis on the first reference image 1407, performs component extraction, and creates an analysis result 1409 of the first peripheral region.
  • a reference image 1411 for the second time is generated by subtracting the analysis result 1409 of the first peripheral area from the first reference image 1407 stored in the reference area buffer 1403, and the reference area buffer 1403 is updated.
  • the predicted image creation unit 519 creates a prediction signal 1410 of the first target block from the analysis result 1409 of the first peripheral region, adds it to the predicted image buffer 1404, and generates a second predicted image 1414.
  • the iterative control unit 515 performs end determination, and performs the next extraction if the end condition is not satisfied.
  • the frequency analysis unit 510 performs frequency analysis on the second reference image 1411, extracts components, and creates a second peripheral region analysis result 1413.
  • the third reference image 1415 is generated by subtracting the second peripheral region analysis result 1413 from the second reference image 1411 stored in the reference region buffer 1403, and the reference region buffer 1403 is updated.
  • the predicted image creation unit 519 creates a prediction signal 1414 of the second target block from the analysis result 1413 of the second peripheral region, adds it to the predicted image buffer 1404, and generates a third predicted image 1416.
  • the iterative control unit 515 performs end determination, and performs the next extraction if the end condition is not satisfied.
  • the encoding apparatus since the multi-frequency analysis unit 518 performs component analysis of adjacent regions a plurality of times, the encoding apparatus according to the first embodiment generates a prediction image for a block having strong components in two or more directions with high accuracy. be able to.
  • (decoder) 6 includes an input terminal 601, a syntax analysis unit 602, an inverse quantization unit 603, an inverse transform unit 604, an adder 605, a frame buffer 606, a frequency analysis unit 607, an output terminal 608, a reference region buffer 609, and a prediction.
  • the image buffer 610, a repetition control unit 611, a quantization coefficient decoding unit 612, a frequency component number decoding unit 613, and a predicted image creation unit 615 are configured.
  • the frequency analysis unit 607, the reference region buffer 609, the predicted image buffer 610, and the predicted image creation unit 615 are combined into a multiple frequency analysis unit 614.
  • the input terminal 601 receives a bit stream to be decoded from outside the decoding device.
  • the parsing unit 602 receives a bit stream from the input terminal 601. Then, a predetermined parsing process is performed on the received bit stream to obtain a quantized transform coefficient bit stream and a frequency component number bit stream. Then, the quantized transform coefficient bit stream is sent to the quantized coefficient decoding unit 612, and the frequency component number is sent to the frequency component number decoding unit 613.
  • the inverse quantization unit 603 performs a predetermined inverse quantization process on the quantized transform coefficient received from the quantized coefficient decoding unit 612 to obtain a transform coefficient. Then, the transform coefficient is sent to the inverse transform unit 604.
  • the inverse transform unit 604 performs a predetermined inverse transform process on the transform coefficient received from the inverse quantization unit 603 to obtain a restored residual signal. Then, the restored residual signal is sent to the adder 605.
  • the adder 605 receives the restored residual signal from the inverse transform unit 604 and receives the prediction signal of the target block from the prediction image buffer 610. Then, the restored residual signal and the prediction signal are added to create a decoded image of the target block. The generated decoded image is sent to the frame buffer 606 and the output terminal 608.
  • the frame buffer 606 receives the decoded image of the target block from the adder 605 and stores it in the target position. Further, the frame buffer 606 sends the reference area of the target block to the reference area buffer 609.
  • the frequency analysis unit 607 receives the reference signal of the encoding target block from the reference area buffer 609. Then, frequency analysis is performed on the reference signal to extract main components. Then, parameters for creating the main component are sent to the predicted image creation unit 615.
  • the output terminal 608 outputs the decoded image to the outside of the decoding device.
  • the reference area buffer 609 receives the reference area of the target block from the frame buffer 606 and holds it. Also, it is sent to the frequency analysis unit 607. Also, the prediction component generated by the prediction image creation unit 615 is received, the prediction component is subtracted from the held reference image, thereby generating the next reference image and holding it again.
  • the prediction image buffer 610 generates and holds a prediction signal by adding the prediction components generated by the prediction image creation unit 615 one after another. Then, the generated prediction signal is sent to the adder 605.
  • the iterative control unit 611 receives the number of frequency components created by the frequency component number decoding unit 613. Then, the frequency analysis repetition number of the multiple frequency analysis unit 614 is controlled.
  • the quantized coefficient decoding unit 612 performs a predetermined decoding process on the quantized coefficient bit stream received from the syntax analysis unit 602 to create a quantized coefficient.
  • the generated quantization coefficient is sent to the inverse quantization unit 603.
  • the frequency component number decoding unit 613 performs a predetermined decoding process on the frequency analysis component number bit stream received from the syntax analysis unit 602 to create the frequency analysis component number. Then, the generated frequency analysis component number is repeatedly sent to the control unit 611.
  • the predicted image creation unit 615 receives parameters for creating the main component of the reference signal from the frequency analysis unit 607. Then, a prediction component of the encoding target block is created using parameters for creating the main component. Then, the generated prediction component is sent to the prediction image buffer 610.
  • the prediction component creation procedure is the same as that in the embodiment.
  • the multi-frequency analysis unit 614 creates a prediction image using the adjacent local decoding region image of the encoding target block from the frame buffer 606 as a reference image (step S1701).
  • the predicted image creation procedure will be described later.
  • the parsing unit 602 parses the bit stream and creates a quantization coefficient bit stream and a frequency signal number bit stream.
  • the quantization coefficient decoding unit 612 performs a predetermined decoding process on the quantization coefficient bit stream to generate a quantization coefficient
  • the frequency component number decoding unit 613 performs a predetermined decoding process on the frequency component number bit stream.
  • the number of frequency components is created (step S1702).
  • the inverse quantization unit 603 inversely quantizes the quantized transform coefficient, and the inverse transform unit 604 performs inverse orthogonal transform on the coefficient obtained by the inverse quantization unit 603 to create a decoded residual image (step S1703).
  • the adder 605 adds the predicted image and the decoded residual image, creates a local decoded image, and stores it in the frame buffer 606 (step S1704).
  • the decoding apparatus repeats the above processing until it reaches the end of the bitstream (step S1705).
  • the reference area buffer 609 obtains locally decoded images (reference images) of the left, upper, and upper left blocks of the block to be encoded from the frame buffer 606 (step S1201).
  • the reference image is not necessarily limited to the left, upper, and upper left three blocks, and may be only one or two of them, or may be another block such as the upper right. Further, if the right and lower blocks have been decoded, they may be used as reference images. Further, each reference block may not have the same shape as the encoding target block.
  • the frequency analysis unit 607 performs generalized harmonic analysis on the image stored in the reference area buffer 609 and extracts one component (step S1202).
  • the reference area buffer 609 acquires a component extracted by the frequency analysis unit 607, creates a new reference area image by subtracting it from the held reference area, and holds it again (step S1203).
  • the predicted image buffer 610 acquires a component extracted by the frequency analysis unit 607, adds it to the stored predicted image, creates a new predicted image, and stores it again (step S1204).
  • the number of processed frequency components is incremented (step S1205).
  • the repetition control unit 611 proceeds to step S1202 and continues the extraction process. If it has been reached, the content of the predicted image buffer 610 is set as the predicted image, and the process is terminated (step S1206).
  • H.264 4 ⁇ 4 mode 0, 701 MPEG-4 AVC / H. H.264 4 ⁇ 4 mode 1, 702 MPEG-4 AVC / H. H.264 4 ⁇ 4 mode 2, 703 MPEG-4 AVC / H. H.264 4 ⁇ 4 mode 3, 704 MPEG-4 AVC / H. H.264 4x4 mode 4, 705 MPEG-4 AVC / H. H.264 4 ⁇ 4 mode 5, 706 MPEG-4 AVC / H. H.264 4x4 mode 6, 707 MPEG-4 AVC / H. H.264 4 ⁇ 4 mode 7, 708 MPEG-4 AVC / H.
  • H.264 4 ⁇ 4 mode 8 801 Block that cannot be encoded efficiently by conventional prediction, 802 Block that cannot be encoded efficiently by conventional prediction, 803 Block to be encoded, 804 peripheral image, 1301 block to be encoded, 1302 already decoded Peripheral region, 1303 Frequency analysis result, 1304 Peripheral region analysis result, 1305 Target block prediction signal, 1306 Decoded peripheral region, 1307 Encoding target block, 1308 Target block prediction signal, 1401 Decoded peripheral region, 1402 Encoding Target block, 1403 reference region buffer, 1404 prediction image buffer, 1405 frequency analysis component, 1406 prediction component, 1407 first reference image, 1408 first prediction image 1409 First surrounding area analysis result, 1410 First target block prediction signal, 1411 Second reference image, 1412 Second prediction image, 1413 Second surrounding area analysis result, 1414 Second target block prediction Signal, 1415 3rd reference image, 1416 3rd prediction image.
  • the present invention can be used for image coding.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　画像符号化装置は、周波数解析部１１０と、予測画像作成部１１３とを有する。周波数解析部１１０は、符号化対象ブロックの周辺の局所復号済み画像に対し周波数解析を施し、前記局所復号済み画像の所定の次数以上の周波数成分を抽出する。予測画像作成部１１３は、周波数解析部１１０によって抽出された周波数成分を符号化対象ブロックに延長して符号化対象ブロックの予測画像を作成する。

Description

画像符号化装置、画像符号化方法、画像復号装置、及び、画像復号方法
　本発明は、画面内予測を用いた画像符号化技術に関する。
　動画像符号化方式ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４では、画面内予測により、画面内符号化効率を向上させている。ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４の画面内予測は、符号化対象ブロックの局所復号済み隣接画素を予測のための参照画素とし、参照画素の値を符号化対象ブロックへ外挿することにより、符号化対象ブロックの予測画像を作成する方法である。予測効率を向上させるためには精度の高い予測画像を作成する必要がある。ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４では、予め複数の予測モードが用意されており、それらを適応的に切り替えることにより高精度の予測画像を作成する。
　図７はＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４の４×４画素単位の予測モードを示す図である。符号化対象ブロックの左側と上側の隣接画素を参照画素とし、８方向＋平均値モードの計９種の予測モードが示されている。
　次に、画面内予測符号化の動作を簡単に説明する。図９は従来の画面内予測符号化装置の構成の一例を示す図である。その構成では、ブロック分割部９０２が入力端子９０１に入力された符号化対象フレームを所定の符号化単位に分割し、符号化対象ブロックを作成する。モード判定部９１５は、符号化対象ブロックを符号化するのに最適と思われる予測モードを決定し、隣接画素外挿部９１０は、決定された予測モードを元に予測画像を生成する。
　減算器９０３は、符号化対象ブロックの原画像から予測画像を減じ、直交変換部９０４は、減算器９０３によって作成された残差信号を直交変換し、量子化部９０５は、直交変換部９０４によって得られた係数を量子化して量子化係数を生成する。逆量子化部９０６は、量子化係数を逆量子化し、逆変換部９０７は、逆量子化部９０６によって得られた値を逆直交変換して対象ブロックの局所復号画像を生成する。局所復号画像は、隣接画素外挿部９１０によって生成された予測画像と加算器９０８によって足し合わされてフレームバッファ９０９に蓄積される。
　量子化係数符号化部９１１は、量子化係数をエントロピー符号化し、モード情報符号化部９１３は、予測モード情報をエントロピー符号化する。多重化部９１４は、量子化係数符号化部９１１によって得られた係数と、モード情報符号化部９１３によって得られた情報とを多重化する。多重化されたデータは、出力端子９１２から復号装置に伝送される。従来の画面内予測符号化装置は、以上の手順を全てのブロックについて行うことにより、符号化対象フレームを符号化する。
　具体的な最適予測モードを決定する方法としては、残差信号の情報量を元に決定する方法、量子化変換係数の情報量を元に決定する方法、及び、符号化量子化変換係数の情報量を元に決定する方法等が存在する。
　次に、上記の符号化装置によって生成されたビットストリームを復号する手順について簡単に説明する。図１０は従来の画面内予測復号装置の構成の一例を示す図である。その構成では、構文解析部１００２が、入力端子１００１に入力されたビットストリームを構文解析し、量子化係数復号部１００９が量子化係数を復号して量子化変換係数を生成し、モード情報復号部１０１０が符号化されている予測モード情報を生成する。逆量子化部１００３は、量子化変換係数を逆量子化し、逆変換部１００４は、逆量子化部１００３によって得られた係数を逆直交変換して残差信号を得る。
　隣接画素外挿部１００７は、フレームバッファ１００６から隣接参照画素の値を取得し、予測モード情報を元に、隣接参照画素の値を用いて予測画像を作成する。加算器１００５は、隣接画素外挿部１００７によって得られた予測画像と、逆変換部１００４によって得られた残差信号とを足し合わせて対象ブロックの復号画像を作成する。復号画像は、出力端子１００８から装置の外部に出力される。従来の画面内予測復号装置は、以上の手順を全てのブロックについて行うことにより、対象フレームを復号する。
　上述したとおり、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４の４×４画素単位で採用されている予測モードは計９種類である。予め用意する予測モード数を増やすことにより、予測精度を高め、残差信号の情報量を削減し、符号化の劣化を抑制することができる。しかしながら、予測モード数の増加は、伝送すべき予測モード情報量の増加を引き起こし、全体の符号化効率向上に直接つながるとは言えない。この問題を解決するために、特許文献１には、多くの予測モードを設けた場合であっても、画面内予測モード情報を効率的に伝送する技術が開示されている。
特開２００９－１７５３４号公報
　上述したように、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４では、予め用意した複数の画面内予測モードを切り替えることで、画面内符号化効率の向上に繋げている。伝送すべき符号化情報は、量子化変換係数と、予測モード情報である。符号化対象ブロックが図７に示す矢印の方向に強い成分を有する場合は予測精度が高くなることが期待され、効率的な符号化が可能である。しかしながら、例えば符号化対象ブロックが図８の符号８０１で示すような信号分布であった場合、最も効率的に符号化できると思われるモード７００かモード７０７（図７参照）を採用しても、強い成分を除去しきれず、大きな残差成分が残る。取り切れない残差成分は高周波数成分であり、符号化効率の低下と、信号の劣化を引き起こす。
　予測モードの種類を増やすことにより、この問題は回避できるが、予測モード数の増加は、伝送すべきモード情報の量を増加させることになるため、かえって符号化効率を低下させる原因になる。特許文献１には、予測モード数を増やしても予測モード情報の量を効率的に抑圧する技術が開示されているが、入力信号は無数に存在し、予測モード数の増加は画面内予測効率を向上させるための本質的な改善策とはなり得ない。
　また、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４のような外挿予測では、図８の符号８０３のように複数方向に強い成分が存在するブロックにおいても、一方向の成分しか予測できないため、高精度に予測することができず、やはり画面内予測の効率を低下させる原因となっている。
　本発明は、少ない情報量で画面内予測符号化を効率良く実行する画像符号化装置及び画像符号化方法を提供することを目的とする。また、本発明は、本発明の画像符号化装置及び画像符号化方法によって符号化された画像信号を復号する画像復号装置及び画像復号方法を提供することを目的とする。
　上記課題を解決し上記目的を達成するために、本発明の画像符号化装置は、符号化対象ブロックの周辺の局所復号済み画像に対し周波数解析を施し、前記局所復号済み画像の所定の次数以上の周波数成分を抽出する周波数解析部と、前記周波数解析部によって抽出された周波数成分を前記符号化対象ブロックに延長して前記符号化対象ブロックの予測画像を作成する予測画像作成部とを有する。
　本発明の画像符号化装置は、更に、前記局所復号済み画像から前記周波数解析部によって抽出された周波数成分を減じて第１保持部に格納する第１格納部と、前記第１保持部によって保持されている信号に、前記周波数解析部によって抽出された周波数成分から作成された予測信号を加算して第２保持部に格納する第２格納部と、前記周波数解析部が抽出する信号数を制御する抽出繰り返し制御部とを有してもよい。また、前記周波数解析は、例えば、一般化調和解析である。
　また、本発明の画像符号化方法は、符号化対象ブロックの周辺の局所復号済み画像に対し周波数解析を施し、前記局所復号済み画像の所定の次数以上の周波数成分を抽出するステップと、抽出した周波数成分を前記符号化対象ブロックに延長して前記符号化対象ブロックの予測画像を作成するステップとを含む。
　本発明の画像符号化方法は、更に、前記局所復号済み画像から抽出した周波数成分を減じて第１保持部に格納するステップと、前記第１保持部において保持されている信号に、前記周波数成分を抽出するステップにおいて抽出した周波数成分から作成された予測信号を加算して第２保持部に格納するステップと、前記周波数成分を抽出するステップにおいて抽出する信号数を制御するステップとを含んでもよい。また、前記周波数解析は、例えば、一般化調和解析である。
　また、本発明の画像復号装置は、復号対象ブロックの周辺の局所復号済み画像に対し周波数解析を施し、前記局所復号済み画像の所定の次数以上の周波数成分を抽出する周波数解析部と、前記周波数解析部によって抽出された周波数成分を前記復号対象ブロックに延長して前記復号対象ブロックの予測画像を作成する予測画像作成部とを有する。
　本発明の画像復号装置は、更に、前記局所復号済み画像から前記周波数解析部によって抽出された周波数成分を減じて第１保持部に格納する第１格納部と、前記第１保持部によって保持されている信号に、前記周波数解析部によって抽出された周波数成分から作成された予測信号を加算して第２保持部に格納する第２格納部と、前記周波数解析部が抽出する信号数を制御する抽出繰り返し制御部とを有してもよい。また、前記周波数解析は、例えば、一般化調和解析である。
　また、本発明の画像復号方法は、復号対象ブロックの周辺の局所復号済み画像に対し周波数解析を施し、前記局所復号済み画像の所定の次数以上の周波数成分を抽出するステップと、抽出した周波数成分を前記復号対象ブロックに延長して前記復号対象ブロックの予測画像を作成するステップとを含む。
　本発明の画像復号方法は、更に、前記局所復号済み画像から抽出した周波数成分を減じて第１保持部に格納するステップと、前記第１保持部において保持されている信号に、前記周波数成分を抽出するステップにおいて抽出した周波数成分から作成された予測信号を加算して第２保持部に格納するステップと、前記周波数成分を抽出するステップにおいて抽出する信号数を制御するステップとを含んでもよい。前記周波数解析は、例えば、一般化調和解析である。
　本発明は、少ない情報量で画面内予測符号化を効率良く実行する画像符号化装置及び画像符号化方法を提供することができる。また、本発明は、本発明の画像符号化装置及び画像符号化方法によって符号化された画像信号を復号する画像復号装置及び画像復号方法を提供することができる。
　すなわち、本発明の画像符号化装置及び画像符号化方法により、符号化対象ブロックの信号形状によらず、高精度な予測画像を作成することできる、また、本発明の画像復号装置及び画像復号方法では、復号対象ブロックの周辺の局所復号済み画像に対し周波数解析を施すので、本発明の画像符号化装置及び画像符号化方法により得られる情報の量を従来より削減することができる。よって、本発明は、画面内予測符号化の効率を向上させることができる。
実施の形態の符号化装置の構成図である。 実施の形態の復号装置の構成図である。 図１の符号化装置の予測画像作成手順を説明するためのフローチャートである。 図１の符号化装置の符号化手順を説明するためのフローチャートである。 実施例の符号化装置の構成図である。 実施例の復号装置の構成図である。 ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４の４×４画素単位画面内予測モードを説明するための図である。 ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４の画面内予測で効率的に符号化できないブロックの一例を示す図である。 従来の画面内予測符号化装置の構成図である。 従来の画面内予測復号装置の構成図である。 図２の復号装置が行う復号の手順を説明するためのフローチャートである。 図６の復号装置が行う予測画像作成の手順を説明するためのフローチャートである。 図１の符号化装置が行う予測画像作成の手順を説明するための図である。 図５の符号化装置が行う予測画像作成の手順を説明するための図である。 図５の符号化装置が行う符号化の手順を説明するためのフローチャートである。 図５の符号化装置が行う予測画像作成の手順を説明するためのフローチャートである。 図６の復号装置が行う復号の手順を説明するためのフローチャートである。
　以下に、本発明を実施するための形態を図面を参照して説明する。
　（エンコーダ）
　図１の符号化装置は、入力端子１０１、ブロック分割部１０２、減算器１０３、直交変換部１０４、量子化部１０５、逆量子化部１０６、逆変換部１０７、加算器１０８、フレームバッファ１０９、周波数解析部１１０、量子化係数符号化部１１１、出力端子１１２、予測画像作成部１１３により構成されている。
　入力端子１０１は、符号化装置の外部から符号化対象フレームを受け取る。
　ブロック分割部１０２は、入力端子１０１から符号化対象フレームを受け取り、符号化対象フレームを複数の４×４画素の矩形領域に分割する。ただし、分割する領域の大きさは、８×８、１６×１６等、別のサイズであっても構わないし、更に矩形形状でなくとも構わない。ブロック分割部１０２は、分割したブロック（以下、符号化対象信号）を減算器１０３へ送る。
　減算器１０３は、ブロック分割部１０２から符号化対象信号を受け取り、また、予測画像作成部１１３から予測信号を受け取る。そして、符号化対象信号から予測信号を減じ、残差信号を生成する。そして、生成した残差信号を直交変換部１０４へ送る。
　直交変換部１０４は、減算器１０３から残差信号を受け取る。そして、受け取った残差信号に対し、離散コサイン変換（ＤＣＴ）を施し、変換係数を生成する。そして、生成した変換係数を量子化部１０５へ送る。ただし、直交変換部１０４が行う変換は別の変換（例えば、アダマール変換、離散サイン変換）であっても構わない。
　量子化部１０５は、直交変換部１０４から変換係数を受け取る。そして、受け取った変換係数を量子化して量子化変換係数を生成する。そして、量子化変換係数を逆量子化部１０６と量子化係数符号化部１１１へ送る。
　逆量子化部１０６は、量子化部１０５から量子化変換係数を受け取る。そして、量子化変換係数を逆量子化して復元変換係数を生成する。そして、復元変換係数を逆変換部１０７へ送る。
　逆変換部１０７は、逆量子化部１０６から復元変換係数を受け取る。そして、復元変換係数に対し、逆ＤＣＴを施し、復元残差信号を生成する。そして、復元残差信号を加算器１０８へ送る。
　加算器１０８は、逆変換部１０７から復元残差信号を受け取り、また、予測画像作成部１１３から予測信号を受け取る。そして、予測信号と復元残差信号を足し合わせることにより、復元信号を生成する。そして、復元信号をフレームバッファ１０９へ送る。
　フレームバッファ１０９は、加算器１０８から復元信号を受け取り、対象位置に格納する。また、符号化対象ブロックの参照領域を周波数解析部１１０へ送る。
　周波数解析部１１０は、フレームバッファ１０９から符号化対象信号の参照信号を受け取る。そして、参照信号に対し周波数解析を施し、参照信号の主要成分を抽出する。そして、主要成分を作成するためのパラメータを予測画像作成部１１３へ送る。なお、主要成分は、所定の次数以上の周波数成分である。
　量子化係数符号化部１１１は、量子化部１０５から量子化変換係数を受け取る。そして、受け取った量子化変換係数に対し所定のエントロピー符号化を施し、ビットストリームを作成し、出力端子１１２へ送る。
　出力端子１１２は、ビットストリームを符号化装置の外部へ出力する。
　予測画像作成部１１３は、周波数解析部１１０から参照信号の主要成分を作成するためのパラメータを受け取る。そしてそのパラメータを用いて符号化対象ブロックの予測画像を作成する。そして作成した予測画像を減算器１０３へ送る。
　ここで、本構成の符号化装置で１フレームの画像を符号化する手順を図４のフローチャートを用いて説明する。
　ブロック分割部１０２は、符号化対象フレームを所定の領域に分割し、符号化対象ブロック画像を作成する（ステップＳ４０１）。
　周波数解析部１１０は、フレームバッファ１０９からの符号化対象ブロックの隣接局所復号領域画像を参照画像とし、主要成分を抽出する。そして、予測画像作成部１１３は、抽出された主要成分から予測画像を作成する（ステップＳ４０２）。予測画像作成手順については後述する。
　減算器１０３は、符号化対象ブロック画像から予測画像を減じ、それにより、残差画像を作成する（ステップＳ４０３）。
　直交変換部１０４は、残差画像を直交変換し、量子化部１０５は、直交変換部１０４によって得られた係数を量子化して量子化変換係数を作成する（ステップＳ４０４）。
　量子化係数符号化部１１１は、量子化変換係数をエントロピー符号化し、量子化変換係数ビットストリームを作成する（ステップＳ４０５）。
　逆量子化部１０６は、量子化変換係数を逆量子化し、逆変換部１０７は、逆量子化部１０６によって得られた値を逆直交変換して復号残差画像を作成する（ステップＳ４０６）。
　加算器１０８は、予測画像と復号残差画像を足し合わせ、局所復号画像を作成し、フレームバッファ１０９に格納する（ステップＳ４０７）。
　以上の処理が全てのブロックに対して行われる（ステップＳ４０８）。
　ここで、本構成の周波数解析を用いた予測画像生成処理について説明する。本構成の周波数解析として、一般化調和解析（ＧＨＡ）を適用する。一般化調和解析は、解析対象信号を
ｓｉｇｎａｌ（ｘ、ｙ）＝∫ｆｘ，ｆｙ，ｐｈａｓｅｓｉｎ（２π（ｆｘ・ｘ＋ｆｙ・ｙ＋ｐｈａｓｅ））
で表す解析手法である。ただし、ｘ、ｙはそれぞれ水平方向、垂直方向の位置、ｆｘ、ｆｙはそれぞれ水平方向、垂直方向の周波数、ｐｈａｓｅは位相である。ｆｘ、ｆｙ、ｐｈａｓｅは任意の実数である。任意のｆｘ，ｆｙ，ｐｈａｓｅで表現することができるため、一般に画像符号化で適用されるＤＣＴ等の直交変換方式に比べ、精度の高い解析が可能である。
　次に、図３のフローチャートを用いて、本構成の予測画像作成手順について説明する。
　周波数解析部１１０は、フレームバッファ１０９から、符号化対象ブロックの左、上、左上のブロックの局所復号画像（参照画像）を取得する（ステップＳ３０１）。例えば、図１３の符号１３０１が符号化対象ブロックであり、符号１３０２が参照画像である。ただし、参照画像は、必ずしも左、上、左上の３ブロックに限定するものではなく、そのうちの１つ、又は２つのみでもよいし、右上等他のブロックであってもよい。また、右、下側ブロックが復号済みであればそれを参照画像として用いてもよい。更に、各参照ブロックは符号化対象ブロックと同一形状でなくてもよい。
　周波数解析部１１０は、参照画像１３０２に対し一般化調和解析を行い、一成分を抽出する（ステップＳ３０２）。成分抽出の手順は次の通りである。すなわち、ｆｘ、ｆｙ、ｐｈａｓｅを変動させ作成した信号と、参照画像と、のパターンマッチングを繰り返し、平均平方誤差が最小となるときのｆｘ、ｆｙ、ｐｈａｓｅにより作成される信号を抽出成分とする。１３０４が抽出成分である。
　更に予測画像作成部１１３は、一抽出成分１３０４のｆｘ、ｆｙ、ｐｈａｓｅを用いて、符号化対象ブロック位置の信号を作成し、予測画像１３０５とする（ステップＳ３０３）。予測画像１３０５は、次のようにして作成される。すなわち、ステップＳ３０２で作成した参照画像の抽出成分１３０４を、対象ブロックの位置まで延長させた信号とし、ステップＳ３０２で求めたｆｘ、ｆｙ、ｐｈａｓｅと、符号化対象ブロック内画素位置ｘ、ｙを用いて、
ｐｒｅｄ（ｘ、ｙ）＝ｓｉｎ（２π（ｆｘ・（ｘ＋ｒｅｆＸ）＋ｆｙ・（ｙ＋ｒｅｆＹ）＋ｐｈａｓｅ）
により、予測画像１３０５を作成する。
　更に予測画像の作成の一例として、符号化対象画像が符号１３０７であって、参照画像が符号１３０６である場合のように、上方向の領域のみを参照する場合、
ｐｒｅｄ（ｘ、ｙ）＝ｓｉｎ（２π（ｆｘ・ｘ＋ｆｙ・（ｙ＋ｒｅｆＹ）＋ｐｈａｓｅ）
により、予測画像１３０８を作成する。
　また、本構成の予測画像作成手順は、従来の予測画像作成手順と併用し、適応的に切り替えることが可能である。符号化対象ブロックがエッジ成分を多く含むような場合、従来の予測画像作成手順では効率的な符号化ができないため、例えば、符号化対象ブロックの高周波数成分を用いた切り替える方法により予測方法を切り替える。
　（デコーダ）
　図２の復号装置は、入力端子２０１、量子化係数復号部２０２、逆量子化部２０３、逆変換部２０４、加算器２０５、フレームバッファ２０６、周波数解析部２０７、出力端子２０８、予測画像作成部２０９により構成される。
　入力端子２０１は、復号装置の外部から復号すべき量子化係数ビットストリームを受け取る。
　量子化係数復号部２０２は、入力端子２０１から、量子化係数ビットストリームを受け取る。そして、受け取った量子化係数ビットストリームに対して所定の復号処理を行い、量子化変換係数を得る。そして、量子化変換係数を逆量子化部２０３へ送る。
　逆量子化部２０３は、量子化係数復号部２０２から受け取った量子化変換係数に対し所定の逆量子化処理を行い、変換係数を得る。そして変換係数を逆変換部２０４へ送る。
　逆変換部２０４は、逆量子化部２０３から受け取った変換係数に対し所定の逆変換処理を行い、復元残差信号を得る。そして復元残差信号を加算器２０５へ送る。
　加算器２０５は、逆変換部２０４から復元残差信号を受け取り、また、予測画像作成部２０９から、対象ブロックの予測信号を受け取る。そして、復元残差信号と予測信号を足し合わせ、対象ブロックの復号画像を作成する。そして、作成した復号画像をフレームバッファ２０６と、出力端子２０８へ送る。
　フレームバッファ２０６は、加算器２０５から対象ブロックの復号画像を受け取り、対象位置に格納する。また、フレームバッファ２０６は、対象ブロックの参照領域を周波数解析部２０７へ送る。
　周波数解析部２０７は、フレームバッファ２０６から符号化対象ブロックの参照信号を受け取る。そして、参照信号に対し周波数解析を施し、参照信号の主要成分を抽出する。そして、主要成分を抽出するためのパラメータを予測画像作成部２０９へ送る。
　出力端子２０８は、復号画像を復号装置の外部へ出力する。
　予測画像作成部２０９は、周波数解析部２０７から参照信号の主要成分を抽出するためのパラメータを受け取る。そして主要成分を作成するためのパラメータを用いて符号化対象ブロックの予測画像を作成する。そして作成した予測画像を加算器２０５へ送る。
　次に、本構成の復号装置で１フレームの画像を復号する手順を図１１のフローチャートを用いて説明する。
　周波数解析部２０７は、フレームバッファ２０６からの符号化対象ブロックの隣接局所復号領域画像を参照画像とし、参照画像の主要成分を抽出する。更に予測画像作成部２０９は、参照画像の主要成分から予測画像を作成する（ステップＳ１１０１）。予測画像作成手順は符号化装置と同様、図３のフローチャートに従う。
　量子化係数復号部２０２は、量子化係数ビットストリームに対し所定の復号処理を行い、量子化係数を作成する（ステップＳ１１０２）。
　逆量子化部２０３は、量子化係数を逆量子化し、逆変換部２０４は、逆量子化部２０３によって得られた係数を逆直交変換して復号残差画像を作成する（ステップＳ１１０３）。
　加算器２０５は、予測画像と復号残差画像を足し合わせ、局所復号画像を作成し、フレームバッファ２０６に格納する（ステップＳ１１０４）。
　復号装置は、以上の処理をビットストリームの終端に行きつくまで繰り返す（ステップＳ１１０５）。
　本構成の復号装置の予測画像作成手順は、符号化装置と同様、図３に従う。
　上述したように、本実施の形態の符号化装置では、周波数解析部１１０が復号対象ブロックの隣接領域を周波数解析して隣接領域の主要な周波数成分を抽出し、予測画像作成部１１３が抽出された成分を延長した信号を算出し、それにより高精度な予測画像を作成する。本実施の形態の復号装置では、周波数解析部２０７が周波数解析部１１０と同様の解析を行う。そのため、本実施の形態では、画面内予測モードに関する情報を送らずに済む。つまり、本実施の形態の構成により、少ない情報量で高精度な予測画像を伝送することができる。
　図５の符号化装置は、入力端子５０１、ブロック分割部５０２、減算器５０３、直交変換部５０４、量子化部５０５、逆量子化部５０６、逆変換部５０７、加算器５０８、フレームバッファ５０９、周波数解析部５１０、量子化係数符号化部５１１、出力端子５１２、参照領域バッファ５１３、予測画像バッファ５１４、繰り返し制御部５１５、周波数成分数符号化部５１６、多重化部５１７、予測画像作成部５１９により構成される。参照領域バッファ５１３と周波数解析部５１０と予測画像作成部５１９と予測画像バッファ５１４を合わせて多重周波数解析部５１８とする。
　入力端子５０１は、符号化装置の外部から符号化対象フレームを受け取る。
　ブロック分割部５０２は、入力端子５０１から符号化対象フレームを受け取り、符号化対象フレームを複数の４×４画素の矩形領域に分割する。ただし、分割する領域の大きさは、８×８、１６×１６等、別のサイズであっても構わないし、更に矩形形状でなくとも構わない。ブロック分割部５０２は、分割したブロック（以下、符号化対象信号）を減算器５０３へ送る。
　減算器５０３は、ブロック分割部５０２から符号化対象信号を受け取り、予測画像バッファ５１４から予測信号を受け取る。そして、符号化対象信号から予測信号を減じ、残差信号を生成する。そして、生成した残差信号を直交変換部５０４へ送る。
　直交変換部５０４は、減算器５０３から残差信号を受け取る。そして、受け取った残差信号に対し、離散コサイン変換（ＤＣＴ）を施し、変換係数を生成する。そして、生成した変換係数を量子化部５０５へ送る。ただし、直交変換部５０４が行う演算は別の変換（例えば、アダマール変換、離散サイン変換）であっても構わない。
　量子化部５０５は、直交変換部５０４から変換係数を受け取る。そして、受け取った変換係数を量子化して量子化変換係数を生成する。そして、量子化変換係数を逆量子化部５０６と量子化係数符号化部５１１へ送る。
　逆量子化部５０６は、量子化部５０５から量子化変換係数を受け取る。そして、量子化変換係数を逆量子化して復元変換係数を生成する。そして、復元変換係数を逆変換部５０７へ送る。
　逆変換部５０７は、逆量子化部５０６から復元変換係数を受け取る。そして、復元変換係数に対し、逆ＤＣＴを施し、復元残差信号を生成する。そして、復元残差信号を加算器５０８へ送る。
　加算器５０８は、逆変換部５０７から復元残差信号を受け取り、予測画像バッファ５１４から予測信号を受け取る。そして、予測信号と復元残差信号を足し合わせることにより、復元信号を生成する。そして、復元信号をフレームバッファ５０９へ送る。
　フレームバッファ５０９は、加算器５０８から復元信号を受け取り、対象位置に格納する。また、符号化対象ブロックの参照領域を参照領域バッファ５１３へ送る。
　周波数解析部５１０は、参照領域バッファ５１３から符号化対象ブロックの参照信号を受け取る。そして、参照信号に対し周波数解析を施し、主要成分を抽出する。そして、主要成分を作成するためのパラメータを、予測画像作成部５１９へ送る。
　量子化係数符号化部５１１は、量子化部５０５から量子化変換係数を受け取る。そして、受け取った量子化変換係数に対し所定のエントロピー符号化を施し、多重化部５１７へ送る。
　出力端子５１２は、ビットストリームを符号化装置の外部へ出力する。
　参照領域バッファ５１３は、フレームバッファ５０９から符号化対象ブロックの参照領域を受け取り、保持する。また、参照領域画像を周波数解析部５１０へ送る。また、参照領域バッファ５１３は、予測画像作成部５１９によって生成された予測成分を受け取り、保持している参照画像から予測成分を減ずることにより、次の参照画像を生成し、改めて保持する。
　予測画像バッファ５１４は、予測画像作成部５１９によって生成された予測成分を次々に足し合わせることにより、予測信号を作成し、保持する。そして、作成した予測信号を減算器５０３へ送る。
　繰り返し制御部５１５は、周波数解析部５１０で解析する成分の数を制御する。そして、繰り返し数（周波数成分数）を、周波数成分数符号化部５１６へ送る。繰り返し制御部５１５は、符号化対象ブロックの原画像と予測画像バッファ５１４に格納された予測画像との各画素の平均平方誤差が所定の値を下回ったときに繰り返しを終了する。ただし、評価方法は、平均平方誤差を用いる方法に限定されず、差分絶対値和を用いる方法等、別の評価手法であってもかまわない。また、評価対象信号は、符号化後の量子化係数の情報量や符号化前の量子化係数の情報量を示す信号であってもかまわない。また、繰り返し制御部５１５に、繰り返しの最大値を設定することもできるし、繰り返し数を固定値として、周波数成分数を伝送しないこともできる。
　周波数成分数符号化部５１６は、繰り返し制御部５１５から受け取った周波数成分数に対し、所定のエントロピー符号化を施し、多重化部５１７へ送る。
　多重化部５１７は、量子化係数符号化部５１１から受け取った量子化係数ビットストリームと、周波数成分数符号化部５１６から受け取った周波数成分数ビットストリームに対し所定の多重化処理を施し、一本のビットストリームを作成する。そして作成したビットストリームを出力端子５１２へ送る。
　予測画像作成部５１９は、周波数解析部５１０から参照信号の主要成分を作成するためのパラメータを受け取る。そしてそのパラメータを用いて符号化対象ブロックの予測成分を作成する。そして作成した予測成分を、予測画像バッファ５１４と、参照領域バッファ５１３へ送る。予測成分作成手順は実施の形態と同じである。
　次に、本構成の符号化装置で１フレームの画像を符号化する手順を図１５のフローチャートを用いて説明する。
　ブロック分割部５０２は、符号化対象フレームを所定の領域に分割し、符号化対象ブロック画像を作成する（ステップＳ１５０１）。
　多重周波数解析部５１８は、フレームバッファ５０９からの符号化対象ブロックの隣接局所復号領域画像を参照画像とし、予測画像を作成する（ステップＳ１５０２）。予測画像作成手順については後述する。
　減算器５０３は、符号化対象ブロック画像から予測画像を減ずることにより、残差画像を作成する（ステップＳ１５０３）。
　直交変換部５０４は、残差画像を直交変換し、量子化部５０５は、直交変換部５０４によって得られた係数を量子化して量子化変換係数を作成する（ステップＳ１５０４）。
　量子化係数符号化部５１１は、量子化変換係数をエントロピー符号化し、量子化変換係数ビットストリームを作成する。また、周波数成分数符号化部５１６は、周波数成分数をエントロピー符号化し、周波数成分数ビットストリームを作成する。そして、多重化部５１７は、量子化変換係数ビットストリームと周波数成分数ビットストリームを多重化しビットストリームを作成する（ステップＳ１５０５）。
　逆量子化部５０６は、量子化変換係数を逆量子化し、逆変換部５０７は、逆量子化部５０６によって得られた係数を逆直交変換して復号残差画像を作成する（ステップＳ１５０６）。
　加算器５０８は、予測画像と復号残差画像を足し合わせ、局所復号画像を作成し、フレームバッファ５０９に格納する（ステップＳ１５０７）。
　符号化装置は、以上の処理を全てのブロックに対し行う（ステップＳ１５０８）。
　次に、本構成の詳細な予測画像作成手順について図１６のフローチャートを用いて説明する。
　参照領域バッファ５１３は、フレームバッファ５０９から符号化対象ブロックの左、上、左上のブロックの局所復号画像（参照画像）を取得する（ステップＳ１６０１）。ただし、参照画像は、必ずしも左、上、左上の３ブロックに限定するものではなく、そのうちの１つ、又は２つのみでもよいし、右上等他のブロックであってもよい。また、右、下側ブロックが復号済みであればそれを参照画像として用いてもよい。更に、各参照ブロックは符号化対象ブロックと同一形状でなくてもよい。
　周波数解析部５１０は、参照領域バッファ５１３に格納された画像に対し一般化調和解析を行い、参照領域の主要な一成分を抽出する。更に予測画像作成部５１９は、周波数解析部５１０によって作成された参照領域の主要な一成分を用いて、符号化対象ブロックの予測画像を作成する（ステップＳ１６０２）。
　参照領域バッファ５１３は、周波数解析部５１０によって抽出された成分を取得し、保持している参照領域（参照画像）から減ずることにより、新たな参照画像を作成し、改めて保持する（ステップＳ１６０３）。
　予測画像バッファ５１４は、周波数解析部５１０によって抽出された成分を取得し、保持している予測画像に足すことにより、新たな予測画像を作成し、改めて保持する（ステップＳ１６０４）。
　周波数成分数をインクリメントする（ステップＳ１６０５）。
　繰り返し制御部５１５は、周波数成分数が所定の周波数成分数最大値に満たない場合はステップＳ１６０７へ進み、達していた場合は予測画像バッファ５１４の内容を予測画像として、処理を終了する（ステップＳ１６０６）。
　予測画像バッファ５１４の内容と符号化対象原画像との平均平方誤差が所定の誤差判定値より大きい場合、ステップＳ１６０２へ進み、抽出処理を継続する。そうでない場合、予測画像バッファ５１４の内容を予測画像として、処理を終了する(ステップＳ１６０７)。
　更に予測画像作成手順の一例を、図１４を用いて説明する。図１４の符号１４０１は、符号化対象ブロックの周辺局所復号画像を示しており、符号１４０２は、符号化対象ブロックを示している。符号１４０３は、参照領域バッファ５１３を示しており、符号１４０４は、予測画像バッファ５１４を示している。また、符号１４０５は、一回の周波数解析処理で抽出した成分を示しており、符号１４０６は、一回の周波数解析処理で作成した予測成分を示している。
　まず、符号化対象ブロックの周辺局所復号画像１４０１が最初の参照画像１４０７として参照領域バッファ１４０３に格納される。
　最初の参照画像１４０７に対し、周波数解析部５１０は、周波数解析を行い、成分抽出を行い、最初の周辺領域の解析結果１４０９を作成する。参照領域バッファ１４０３に格納された最初の参照画像１４０７から最初の周辺領域の解析結果１４０９を減ずることにより２回目の参照画像１４１１を生成し、参照領域バッファ１４０３を更新する。また予測画像作成部５１９は、最初の周辺領域の解析結果１４０９から最初の対象ブロックの予測信号１４１０を作成し、予測画像バッファ１４０４に足しこみ、２回目の予測画像１４１４を生成する。ここで、繰り返し制御部５１５は、終了判定を行い、終了条件を満たさなければ次の抽出を行う。
　２回目の参照画像１４１１に対し、周波数解析部５１０は、周波数解析を行い、成分抽出を行い、２回目の周辺領域の解析結果１４１３を作成する。参照領域バッファ１４０３に格納された２回目の参照画像１４１１から２回目の周辺領域の解析結果１４１３を減ずることにより３回目の参照画像１４１５を生成し、参照領域バッファ１４０３を更新する。また予測画像作成部５１９は、２回目の周辺領域の解析結果１４１３から２回目の対象ブロックの予測信号１４１４を作成し、予測画像バッファ１４０４に足しこみ、３回目の予測画像１４１６を生成する。ここで、繰り返し制御部５１５は、終了判定を行い、終了条件を満たさなければ次の抽出を行う。
　以下同様の処理が繰り返され、終了時の予測画像バッファ１４０４の３回目の予測画像１４１６を予測画像として予測画像作成処理は終了する。
　上述したように、多重周波数解析部５１８が隣接領域の成分解析を複数回行うので、実施例１の符号化装置は、２方向以上の強い成分が存在するブロックに対する予測画像を高精度で生成することができる。
　（デコーダ）
　図６の復号装置は、入力端子６０１、構文解析部６０２、逆量子化部６０３、逆変換部６０４、加算器６０５、フレームバッファ６０６、周波数解析部６０７、出力端子６０８、参照領域バッファ６０９、予測画像バッファ６１０、繰り返し制御部６１１、量子化係数復号部６１２、周波数成分数復号部６１３、予測画像作成部６１５により構成される。周波数解析部６０７、参照領域バッファ６０９、予測画像バッファ６１０、予測画像作成部６１５を合わせて多重周波数解析部６１４とする。
　入力端子６０１は、復号装置の外部から復号すべきビットストリームを受け取る。
　構文解析部６０２は、入力端子６０１から、ビットストリームを受け取る。そして、受け取ったビットストリームに対して所定の構文解析処理を行い、量子化変換係数ビットストリームと周波数成分数ビットストリームを得る。そして、量子化変換係数ビットストリームを量子化係数復号部６１２へ送り、周波数成分数を周波数成分数復号部６１３へ送る。
　逆量子化部６０３は、量子化係数復号部６１２から受け取った量子化変換係数に対し所定の逆量子化処理を行い、変換係数を得る。そして変換係数を逆変換部６０４へ送る。
　逆変換部６０４は、逆量子化部６０３から受け取った変換係数に対し所定の逆変換処理を行い、復元残差信号を得る。そして復元残差信号を加算器６０５へ送る。
　加算器６０５は、逆変換部６０４から復元残差信号を受け取り、予測画像バッファ６１０から対象ブロックの予測信号を受け取る。そして、復元残差信号と予測信号を足し合わせ、対象ブロックの復号画像を作成する。そして、作成した復号画像をフレームバッファ６０６と、出力端子６０８へ送る。
　フレームバッファ６０６は、加算器６０５から対象ブロックの復号画像を受け取り、対象位置に格納する。また、フレームバッファ６０６は、対象ブロックの参照領域を参照領域バッファ６０９へ送る。
　周波数解析部６０７は、参照領域バッファ６０９から符号化対象ブロックの参照信号を受け取る。そして、参照信号に対し周波数解析を施し、主要成分を抽出する。そして、主要成分を作成するためのパラメータを、予測画像作成部６１５へ送る。
　出力端子６０８は、復号画像を復号装置の外部へ出力する。
　参照領域バッファ６０９は、フレームバッファ６０６から対象ブロックの参照領域を受け取り、保持する。また、周波数解析部６０７へ送る。また、予測画像作成部６１５によって生成された予測成分を受け取り、保持している参照画像から予測成分を減じ、それにより、次の参照画像を生成し、改めて保持する。
　予測画像バッファ６１０は、予測画像作成部６１５によって生成された予測成分を次々に足し合わせることにより、予測信号を生成し、保持する。そして、生成した予測信号を加算器６０５へ送る。
　繰り返し制御部６１１は、周波数成分数復号部６１３によって作成された周波数成分数を受け取る。そして、多重周波数解析部６１４の周波数解析繰り返し数を制御する。
　量子化係数復号部６１２は、構文解析部６０２から受け取った量子化係数ビットストリームに対し所定の復号処理を行い、量子化係数を作成する。そして作成した量子化係数を逆量子化部６０３へ送る。
　周波数成分数復号部６１３は、構文解析部６０２から受け取った周波数解析成分数ビットストリームに対し所定の復号処理を行い、周波数解析成分数を作成する。そして作成した周波数解析成分数を繰り返し制御部６１１へ送る。
　予測画像作成部６１５は、周波数解析部６０７から参照信号の主要成分を作成するためのパラメータを受け取る。そして主要成分を作成するためのパラメータを用いて符号化対象ブロックの予測成分を作成する。そして作成した予測成分を、予測画像バッファ６１０へ送る。予測成分作成手順は実施の形態と同じである。
　次に、本構成の復号装置で１フレームの画像を復号する手順を図１７のフローチャートを用いて説明する。
　多重周波数解析部６１４は、フレームバッファ６０６からの符号化対象ブロックの隣接局所復号領域画像を参照画像とし、予測画像を作成する（ステップＳ１７０１）。予測画像作成手順は後述する。
　構文解析部６０２は、ビットストリームを構文解析し、量子化係数ビットストリームと周波数信号数ビットストリームを作成する。量子化係数復号部６１２は、量子化係数ビットストリームに対し所定の復号処理を行い、量子化係数を作成し、周波数成分数復号部６１３は、周波数成分数ビットストリームに対し所定の復号処理を行い、周波数成分数を作成する（ステップＳ１７０２）。
　逆量子化部６０３は、量子化変換係数を逆量子化し、逆変換部６０４は、逆量子化部６０３によって得られた係数を逆直交変換し、復号残差画像を作成する（ステップＳ１７０３）。
　加算器６０５は、予測画像と復号残差画像を足し合わせ、局所復号画像を作成し、フレームバッファ６０６に格納する（ステップＳ１７０４）。
　復号装置は、以上の処理をビットストリームの終端に行きつくまで繰り返す（ステップＳ１７０５）。
　次に、本構成の詳細な予測画像作成手順について図１２のフローチャートを用いて説明する。
　参照領域バッファ６０９は、フレームバッファ６０６から符号化対象ブロックの左、上、左上のブロックの局所復号画像（参照画像）を取得する（ステップＳ１２０１）。ただし、参照画像は、必ずしも左、上、左上の３ブロックに限定するものではなく、そのうちの１つ、又は２つのみでもよいし、右上等他のブロックであってもよい。また、右、下側ブロックが復号済みであればそれを参照画像として用いてもよい。更に、各参照ブロックは符号化対象ブロックと同一形状でなくてもよい。
　周波数解析部６０７は、参照領域バッファ６０９に格納された画像に対し一般化調和解析を行い、一成分を抽出する（ステップＳ１２０２）。
　参照領域バッファ６０９は、周波数解析部６０７によって抽出された成分を取得し、保持している参照領域から減ずることにより、新たな参照領域画像を作成し、改めて保持する（ステップＳ１２０３）。
　予測画像バッファ６１０は、周波数解析部６０７によって抽出された成分を取得し、保持している予測画像に足すことにより、新たな予測画像を作成し、改めて保持する（ステップＳ１２０４）。
　処理済み周波数成分数をインクリメントする（ステップＳ１２０５）。
　繰り返し制御部６１１は、処理済み周波数成分数が所定の周波数成分数に満たない場合はステップＳ１２０２へ進み、抽出処理を継続する。達していた場合は予測画像バッファ６１０の内容を予測画像として、処理を終了する（ステップＳ１２０６）。
　１０１　入力端子、　１０２　ブロック分割部、　１０３　減算器、　１０４　直交変換部、　１０５　量子化部、　１０６　逆量子化部、　１０７　逆変換部、　１０８　加算器、　１０９　フレームバッファ、　１１０　周波数解析部、　１１１　量子化係数符号化部、　１１２　出力端子、　１１３　予測画像作成部、　２０１　入力端子、　２０２　量子化係数復号部、　２０３　逆量子化部、　２０４　逆変換部、　２０５　加算器、　２０６　フレームバッファ、　２０７　周波数解析部、　２０８　出力端子、　２０９　予測画像作成部、　５０１　入力端子、　５０２　ブロック分割部、　５０３　減算器、　５０４　直交変換部、　５０５　量子化部、　５０６　逆量子化部、　５０７　逆変換部、　５０８　加算器、　５０９　フレームバッファ、　５１０　周波数解析部、　５１１　量子化係数符号化部、　５１２　出力端子、　５１３　参照領域バッファ、　５１４　予測画像バッファ、　５１５　繰り返し制御部、　５１６　周波数成分数符号化部、　５１７　多重化部、　５１８　多重周波数解析部、　５１９　予測画像作成部、　６０１　入力端子、　６０２　構文解析部、　６０３　逆量子化部、　６０４　逆変換部、　６０５　加算器、　６０６　フレームバッファ、　６０７　周波数解析部、　６０８　出力端子、　６０９　参照領域バッファ、　６１０　予測画像バッファ、　６１１　繰り返し制御部、　６１２　量子化係数復号部、　６１３　周波数成分数復号部、　６１４　多重周波数解析部、　６１５　予測画像作成部、　７００　ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４　４×４　ｍｏｄｅ　０、　７０１　ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４　４×４　ｍｏｄｅ　１、　７０２　ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４　４×４　ｍｏｄｅ　２、　７０３　ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４　４×４　ｍｏｄｅ　３、　７０４　ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４　４×４　ｍｏｄｅ　４、　７０５　ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４　４×４　ｍｏｄｅ　５、　７０６　ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４　４×４　ｍｏｄｅ　６、　７０７　ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４　４×４　ｍｏｄｅ　７、　７０８　ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４　４×４　ｍｏｄｅ　８、　８０１　従来予測で効率的に符号化できないブロック、　８０２　従来予測で効率的に符号化できないブロック、　８０３　符号化対象ブロック、　８０４　周辺画像、　１３０１　符号化対象ブロック、　１３０２　復号済み周辺領域、　１３０３　周波数解析結果、　１３０４　周辺領域の解析結果、　１３０５　対象ブロックの予測信号、　１３０６　復号済み周辺領域、　１３０７　符号化対象ブロック、　１３０８　対象ブロックの予測信号、　１４０１　復号済み周辺領域、　１４０２　符号化対象ブロック、　１４０３　参照領域バッファ、　１４０４　予測画像バッファ、　１４０５　周波数解析成分、　１４０６　予測成分、　１４０７　最初の参照画像、　１４０８　最初の予測画像、　１４０９　最初の周辺領域の解析結果、　１４１０　最初の対象ブロックの予測信号、　１４１１　２回目の参照画像、　１４１２　２回目の予測画像、　１４１３　２回目の周辺領域の解析結果、　１４１４　２回目の対象ブロックの予測信号、　１４１５　３回目の参照画像、　１４１６　３回目の予測画像。
　本発明は、画像符号化に利用することができる。

Claims (12)

  1. 　符号化対象ブロックの周辺の局所復号済み画像に対し周波数解析を施し、前記局所復号済み画像の所定の次数以上の周波数成分を抽出する周波数解析部と、
    　前記周波数解析部によって抽出された周波数成分を前記符号化対象ブロックに延長して前記符号化対象ブロックの予測画像を作成する予測画像作成部と
    　を備える画像符号化装置。
  2. 　更に、
    　前記局所復号済み画像から前記周波数解析部によって抽出された周波数成分を減じて第１保持部に格納する第１格納部と、
    　前記第１保持部によって保持されている信号に、前記周波数解析部によって抽出された周波数成分から作成された予測信号を加算して第２保持部に格納する第２格納部と、
    　前記周波数解析部が抽出する信号数を制御する抽出繰り返し制御部と
    　を備える請求項１に記載の画像符号化装置。
  3. 　前記周波数解析は、一般化調和解析である
    　請求項１又は２に記載の画像符号化装置。
  4. 　符号化対象ブロックの周辺の局所復号済み画像に対し周波数解析を施し、前記局所復号済み画像の所定の次数以上の周波数成分を抽出するステップと、
    　抽出した周波数成分を前記符号化対象ブロックに延長して前記符号化対象ブロックの予測画像を作成するステップと
    　を含む画像符号化方法。
  5. 　更に、
    　前記局所復号済み画像から抽出した周波数成分を減じて第１保持部に格納するステップと、
    　前記第１保持部において保持されている信号に、前記周波数成分を抽出するステップにおいて抽出した周波数成分から作成された予測信号を加算して第２保持部に格納するステップと、
    　前記周波数成分を抽出するステップにおいて抽出する信号数を制御するステップと
    　を含む請求項４に記載の画像符号化方法。
  6. 　前記周波数解析は、一般化調和解析である
    　請求項４又は５に記載の画像符号化方法。
  7. 　復号対象ブロックの周辺の局所復号済み画像に対し周波数解析を施し、前記局所復号済み画像の所定の次数以上の周波数成分を抽出する周波数解析部と、
    　前記周波数解析部によって抽出された周波数成分を前記復号対象ブロックに延長して前記復号対象ブロックの予測画像を作成する予測画像作成部と
    　を備える画像復号装置。
  8. 　更に、
    　前記局所復号済み画像から前記周波数解析部によって抽出された周波数成分を減じて第１保持部に格納する第１格納部と、
    　前記第１保持部によって保持されている信号に、前記周波数解析部によって抽出された周波数成分から作成された予測信号を加算して第２保持部に格納する第２格納部と、
    　前記周波数解析部が抽出する信号数を制御する抽出繰り返し制御部と
    　を備える請求項７に記載の画像復号装置。
  9. 　前記周波数解析は、一般化調和解析である
    　請求項７又は８に記載の画像復号装置。
  10. 　復号対象ブロックの周辺の局所復号済み画像に対し周波数解析を施し、前記局所復号済み画像の所定の次数以上の周波数成分を抽出するステップと、
    　抽出した周波数成分を前記復号対象ブロックに延長して前記復号対象ブロックの予測画像を作成するステップと
    　を含む画像復号方法。
  11. 　更に、
    　前記局所復号済み画像から抽出した周波数成分を減じて第１保持部に格納するステップと、
    　前記第１保持部において保持されている信号に、前記周波数成分を抽出するステップにおいて抽出した周波数成分から作成された予測信号を加算して第２保持部に格納するステップと、
    　前記周波数成分を抽出するステップにおいて抽出する信号数を制御するステップと
    　を含む請求項１０に記載の画像復号方法。
  12. 　前記周波数解析は、一般化調和解析である
    　請求項１０又は１１に記載の画像復号方法。
PCT/JP2010/005556 2009-10-23 2010-09-10 画像符号化装置、画像符号化方法、画像復号装置、及び、画像復号方法 Ceased WO2011048744A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-244662 2009-10-23
JP2009244662 2009-10-23

Publications (1)

Publication Number Publication Date
WO2011048744A1 true WO2011048744A1 (ja) 2011-04-28

Family

ID=43899989

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/005556 Ceased WO2011048744A1 (ja) 2009-10-23 2010-09-10 画像符号化装置、画像符号化方法、画像復号装置、及び、画像復号方法

Country Status (1)

Country Link
WO (1) WO2011048744A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000268509A (ja) * 1999-03-19 2000-09-29 Victor Co Of Japan Ltd 符号化装置
JP2008245088A (ja) * 2007-03-28 2008-10-09 Kddi R & D Laboratories Inc 動画像符号化装置および動画像復号装置のイントラ予測方式
WO2009038056A1 (ja) * 2007-09-20 2009-03-26 National University Corporation University Of Toyama 信号解析方法、信号解析装置、及び信号解析プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000268509A (ja) * 1999-03-19 2000-09-29 Victor Co Of Japan Ltd 符号化装置
JP2008245088A (ja) * 2007-03-28 2008-10-09 Kddi R & D Laboratories Inc 動画像符号化装置および動画像復号装置のイントラ予測方式
WO2009038056A1 (ja) * 2007-09-20 2009-03-26 National University Corporation University Of Toyama 信号解析方法、信号解析装置、及び信号解析プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AURELIE MARTIN ET AL.: "Atomic decomposition dedicated to AVC and spatial SVC prediction", 15TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, 2008. ICIP 2008., - 12 October 2008 (2008-10-12), pages 2492 - 2495 *

Similar Documents

Publication Publication Date Title
KR102820911B1 (ko) 영상 정보 부호화 방법 및 복호화 방법
US9942549B2 (en) Method and apparatus for encoding and decoding image by using large transform unit
CN107396116B (zh) 视频编码和解码设备及非暂时性计算机可读存储介质
US8792741B2 (en) Method and apparatus for encoding and decoding image by using large transformation unit
US8792740B2 (en) Image encoding/decoding method for rate-distortion optimization and apparatus for performing same
KR102333153B1 (ko) 영상 정보 부호화 방법 및 복호화 방법
WO2011048744A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、及び、画像復号方法
JP6982525B2 (ja) 動画像の符号化装置および方法、復号装置および方法ならびに符号化復号システム
KR20130041039A (ko) 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
KR20130041038A (ko) 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10824599

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 10824599

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP