WO2010055675A1 - 動画像符号化装置及び動画像復号装置 - Google Patents

動画像符号化装置及び動画像復号装置 Download PDF

Info

Publication number
WO2010055675A1
WO2010055675A1 PCT/JP2009/006082 JP2009006082W WO2010055675A1 WO 2010055675 A1 WO2010055675 A1 WO 2010055675A1 JP 2009006082 W JP2009006082 W JP 2009006082W WO 2010055675 A1 WO2010055675 A1 WO 2010055675A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
separated
unit
separated image
prediction
Prior art date
Application number
PCT/JP2009/006082
Other languages
English (en)
French (fr)
Inventor
守屋芳美
山田悦久
関口俊一
加藤嘉明
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US13/129,253 priority Critical patent/US9001892B2/en
Priority to EP09825928.6A priority patent/EP2352296A4/en
Priority to JP2010537706A priority patent/JPWO2010055675A1/ja
Publication of WO2010055675A1 publication Critical patent/WO2010055675A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to a moving image encoding apparatus that separates and encodes an image and a moving image decoding apparatus that decodes an image that has been encoded separately.
  • AVC Advanced Video Coding Method
  • DCT Discrete Cosine Transform
  • quantization quantization
  • entropy coding is performed on the prediction difference signal of N ⁇ N pixel size obtained by performing intra-frame / inter-frame prediction on a block basis. It is.
  • AVC when predictive coding is performed within a frame, a difference signal is acquired by performing prediction using pixels of a coded adjacent block. As a prediction mode, a total of nine modes are prepared for prediction from an average value prediction and eight prediction directions.
  • Patent Document 2 As post-processing for encoding, a generated code amount and distortion characteristics are calculated for each divided screen, and the generated code amount and distortion characteristics are stored. When the subsequent screen is encoded, the code amount distribution is determined by estimating the code amount of the subsequent divided screen with reference to the code amount-distortion characteristic of the immediately preceding divided screen. Yes.
  • Patent Document 2 As another method for encoding a moving image having a resolution exceeding that of HDTV, Patent Document 2 generates two separated images by alternately separating an original image in units of blocks each having an N ⁇ N pixel size. The other separated image is predicted from one separated image, and the difference signal is subjected to variable length coding.
  • Patent Document 1 Since the conventional moving image encoding apparatus is configured as described above, in Patent Document 1, when there is a scene change, the code amount-distortion characteristic of the past screen cannot be used. For this reason, the code amount is simply divided equally, and there is a problem that the image quality of the screen after the scene change is deteriorated. In addition, since code amount-distortion characteristics must be calculated as post-processing for encoding for each divided screen, there is a problem in that post-processing arithmetic processing increases. In Patent Document 2, since a separated image is generated in units of N ⁇ N pixel size blocks, it is difficult to process in parallel, and there is a problem that the circuit scale increases.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a moving picture coding apparatus capable of realizing high coding efficiency while suppressing image quality deterioration and circuit scale increase. It is another object of the present invention to obtain a moving picture decoding apparatus that can correctly decode an image encoded with high encoding efficiency and display an original high-resolution image.
  • the moving image encoding apparatus samples the pixels constituting the input image every predetermined number to generate a first separated image, samples the pixels different from the pixels every predetermined number, Separation image generation means for generating at least one or more second separation images is provided, and the intra-frame prediction encoding means uses the pixels constituting the first separation image generated by the separation image generation means,
  • the separated image is predictively encoded within the frame, and the second image generated by the separated image generating unit is generated by the inter-separated image predictive encoding unit using the pixels constituting the first separated image generated by the separated image generating unit.
  • the separated images are predictively encoded between the separated images.
  • the pixels constituting the input image are sampled every predetermined number to generate the first separated image, and the pixels different from the pixels are sampled every predetermined number to obtain at least one or more first images.
  • the separated image generating means for generating 2 separated images is provided, and the intra-frame predictive encoding means uses the pixels constituting the first separated image generated by the separated image generating means, and the first separated image is within the frame.
  • the second separated image generated by the separated image generating unit is separated into the separated image using the pixels constituting the first separated image generated by the separated image generating unit. Therefore, there is an effect that high coding efficiency can be realized while suppressing deterioration in image quality and increase in circuit scale.
  • FIG. 6 is an explanatory diagram illustrating an example of an input image and separated images (1) to (4). It is explanatory drawing which shows the relationship between the pixel position of the separated image (1) and separated image (2) before a separation, and the block of an encoding unit. It is explanatory drawing which shows the relationship between the block of the separated image (1) after separation, and a separated image (2). It is explanatory drawing which shows the example of a production
  • FIG. 1 is a block diagram showing a moving picture coding apparatus according to Embodiment 1 of the present invention.
  • an image separation unit 1 samples a pixel constituting an input image at every predetermined number to generate a separated image (1) (first separated image), and at a predetermined number of pixels different from the above pixels. And processing for generating separated images (2) to (4) (second separated image).
  • the image separation unit 1 constitutes a separated image generating unit.
  • the intra prediction unit 2 performs intra prediction (intraframe prediction) on the separated image (1) generated by the image separating unit 1 in units of a predetermined size block, and generates a predicted image of the separated image (1).
  • the process which outputs the intra difference signal which shows the difference image of the separated image (1) and a prediction image to the entropy encoding process part 3 is implemented.
  • the intra prediction unit 2 constitutes a first difference image output processing unit.
  • the entropy encoding processing unit 3 performs an orthogonal transform on the intra difference signal output from the intra prediction unit 2 in units of blocks, and performs an entropy encoding process on orthogonal transform coefficients obtained as a result of the orthogonal transform.
  • the entropy encoding processing unit 3 constitutes a first entropy encoding processing unit.
  • the orthogonal transform unit 4 of the entropy encoding processing unit 3 performs a process of performing orthogonal transform on the intra difference signal output from the intra prediction unit 2 in units of blocks and outputting the orthogonal transform coefficient to the quantization unit 5.
  • the quantization unit 5 of the entropy encoding processing unit 3 quantizes the orthogonal transform coefficient output from the orthogonal transform unit 4 and outputs the quantized coefficient to the entropy encoding unit 6 and the local decoded image generation processing unit 7. carry out.
  • the entropy encoding unit 6 of the entropy encoding processing unit 3 performs a process for entropy encoding the quantized coefficient output from the quantization unit 5.
  • the local decoded image generation processing unit 7 performs inverse quantization on the quantization coefficient output from the quantization unit 5, performs inverse orthogonal transformation on the orthogonal transformation coefficient obtained as a result of the inverse quantization, and obtains the result of the inverse orthogonal transformation as a result.
  • a process of generating a locally decoded image of the separated image (1) by adding the obtained decoded prediction difference signal and the prediction image generated by the intra prediction unit 2 is performed.
  • the inverse quantization unit 8 of the local decoded image generation processing unit 7 performs inverse quantization on the quantization coefficient output from the quantization unit 5, and converts the orthogonal transform coefficient obtained as a result of the inverse quantization to the inverse orthogonal transform unit 9. Perform the output process.
  • the inverse orthogonal transform unit 9 of the local decoded image generation processing unit 7 performs inverse orthogonal transform on the orthogonal transform coefficient output from the inverse quantization unit 8, and the decoded prediction difference signal obtained as a result of the inverse orthogonal transform is added to the addition unit 10. Perform the output process.
  • the adding unit 10 of the local decoded image generation processing unit 7 adds the decoded prediction difference signal output from the inverse orthogonal transform unit 9 and the prediction image generated by the intra prediction unit 2, and a separated image (1) ) To output a locally decoded image.
  • the intra prediction unit 2, the entropy encoding processing unit 3, and the local decoded image generation processing unit 7 constitute an intra-frame prediction encoding unit.
  • the frame memory 11 is a memory for storing the local decoded image of the separated image (1) generated by the local decoded image generation processing unit 7.
  • the inter-separated image predictive encoding unit 12 uses the pixels constituting the locally decoded image of the separated image (1) stored in the frame memory 11 to use the separated images (2) to (4) generated by the image separating unit 1. ) Is subjected to predictive coding between the separated images. Note that the separated image predictive encoding unit 12 constitutes a separated image predictive encoding unit.
  • the multiplexing unit 13 encodes the encoded data of the separated image (1) output from the entropy encoding processing unit 3 and the encoded data of the separated images (2) to (4) output from the inter-separated image predictive encoding unit 12. Is performed to generate a bitstream.
  • the multiplexing unit 13 constitutes multiplexing means.
  • FIG. 2 is a block diagram showing the inter-separated image predictive coding unit 12 of the moving picture coding apparatus according to Embodiment 1 of the present invention.
  • the difference image output processing unit 20 uses the pixels constituting the locally decoded image of the separated image (1) stored in the frame memory 11, and uses the separated images (2) to A process of generating a prediction image of (4) and outputting a prediction difference signal indicating the difference image between the prediction image and the separated images (2) to (4) to the entropy encoding processing unit 23 is performed.
  • the difference image output processing unit 20 constitutes a second difference image output processing unit.
  • the predicted image generation unit 21 of the difference image output processing unit 20 uses the pixels constituting the locally decoded image of the separated image (1) stored in the frame memory 11 to use the separated image (2) generated by the image separating unit 1. ) To (4) to generate a predicted image. That is, the prediction image generation unit 21 is a prediction suitable for correcting pixel position deviation between the separation image (1) generated by the image separation unit 1 and the separation images (2) to (4) from among a plurality of prediction modes. A mode is selected, and processing for generating predicted images of the separated images (2) to (4) is performed in the prediction mode.
  • the subtraction unit 22 of the difference image output processing unit 20 obtains a difference image between the separated images (2) to (4) generated by the image separation unit 1 and the prediction image generated by the prediction image generation unit 21, and the difference image is obtained.
  • the process which outputs the prediction difference signal shown to the entropy encoding process part 23 is implemented.
  • the entropy coding processing unit 23 performs orthogonal transformation on the prediction difference signal output from the differential image output processing unit 20 in units of blocks, and performs processing for entropy coding the orthogonal transformation coefficient obtained as a result of the orthogonal transformation.
  • the entropy coding processing unit 23 constitutes a second entropy coding processing unit.
  • the orthogonal transform unit 24 of the entropy encoding processing unit 23 performs a process of performing orthogonal transform on the prediction difference signal output from the difference image output processing unit 20 in units of blocks and outputting the orthogonal transform coefficient to the quantization unit 25.
  • the quantization unit 25 of the entropy encoding processing unit 23 performs a process of quantizing the orthogonal transform coefficient output from the orthogonal transform unit 24 and outputting the quantized coefficient to the entropy encoding unit 26.
  • the entropy encoding unit 26 of the entropy encoding processing unit 23 performs a process of entropy encoding the quantization coefficient output from the quantization unit 25 and the prediction mode selected by the prediction image generation unit 21.
  • the image separation unit 1 inputs a moving image of 3840 ⁇ 2160 pixels as shown in FIG. 3 and encodes the moving image
  • the image separation unit 1 samples the pixels constituting the moving image every predetermined number to generate a separated image (1), and samples the pixels different from the pixels every predetermined number.
  • Separated images (2) to (4) are generated.
  • FIG. 2 four separated images (1), (2), (3), and (4) are generated by sampling every two pixels in the horizontal direction and every other pixel in the vertical direction. Is shown.
  • the separated image (1) is input to the intra prediction unit 2 in units of blocks of a predetermined size
  • the separated images (2) to (4) are input to the inter-separated image prediction encoding unit 12 in units of blocks of a predetermined size. .
  • the intra predicting unit 2 When receiving the separated image (1) from the image separating unit 1, the intra predicting unit 2 performs intra prediction on the separated image (1) in units of blocks, and generates a predicted image of the separated image (1). For example, as with AVC, any one prediction mode is selected from a total of nine prediction modes for prediction from the average value prediction and eight prediction directions, and the frame memory 11 is selected based on the selected prediction mode. A predicted image is generated using the pixel values of the locally decoded image of the stored neighboring block.
  • the intra prediction unit 2 When generating the prediction image of the separated image (1), the intra prediction unit 2 outputs an intra difference signal indicating the difference image between the prediction image and the separated image (1) to the entropy encoding processing unit 3.
  • the orthogonal transform unit 4 of the entropy encoding processing unit 3 receives the intra difference signal from the intra prediction unit 2, for example, the orthogonal transform such as DCT or Hadamard transform is performed on the intra difference signal, and the orthogonal transform is performed.
  • the coefficient is output to the quantization unit 5.
  • the quantizing unit 5 of the entropy coding processing unit 3 receives the orthogonal transform coefficient from the orthogonal transform unit 4, the orthogonal transform is performed using the quantization parameter determined based on the code amount distribution for the separated image (1).
  • the coefficient is quantized and the quantized coefficient is output to the entropy encoding unit 6 and the local decoded image generation processing unit 7.
  • the separated image predictive encoding unit 12 encodes the separated images (2) to (4) using the separated image (1), it is possible to reduce the code amount allocation for the difference signal. . Accordingly, the quantization parameter is set so that the code amount allocation of the separated image (1) becomes large.
  • the entropy encoding unit 6 of the entropy encoding processing unit 3 receives a two-dimensional quantization coefficient from the quantization unit 5, it scans in a predetermined order and converts it into a one-dimensional quantization coefficient sequence. Entropy coding such as arithmetic coding or variable length coding is performed on the quantized coefficient sequence. Note that the encoded data of the separated image (1) that is the encoding result of the entropy encoding unit 6 is input to the multiplexing unit 13.
  • the inverse quantization unit 8 of the local decoded image generation processing unit 7 receives the quantization coefficient from the quantization unit 5, the inverse quantization unit 8 inversely quantizes the quantization coefficient and reverses the orthogonal transform coefficient obtained as a result of the inverse quantization. Output to the orthogonal transform unit 9.
  • the inverse orthogonal transform unit 9 of the local decoded image generation processing unit 7 performs inverse orthogonal transform on the orthogonal transform coefficient, and a decoded prediction difference obtained as a result of the inverse orthogonal transform The signal is output to the adding unit 10.
  • the adding unit 10 of the local decoded image generation processing unit 7 Upon receiving the decoded prediction difference signal from the inverse orthogonal transform unit 9, the adding unit 10 of the local decoded image generation processing unit 7 adds the decoded prediction difference signal and the prediction image generated by the intra prediction unit 2, and the addition result A locally decoded image of the separated image (1) is output. Note that the locally decoded image of the separated image (1) is stored in the frame memory 11.
  • the inter-separated image predictive encoding unit 12 uses the pixels constituting the locally decoded image of the separated image (1) stored in the frame memory 11 to use the separated images (2) to (2) generated by the image separating unit 1. 4) predictively encode between the separated images.
  • the processing content of the separated image predictive encoding unit 12 will be described in detail.
  • an example in which the separated image (2) is encoded will be described.
  • the predicted image generation unit 21 of the difference image output processing unit 20 uses the pixels constituting the locally decoded image of the separated image (1) stored in the frame memory 11 to use the separated image ( The process of generating the predicted image of 2) is performed. In other words, the predicted image generation unit 21 selects a prediction mode suitable for correcting the displacement of the pixel position between the separated image (1) and the separated image (2) generated by the image separation unit 1 from a plurality of prediction modes. Then, a prediction image of the separated image (2) is generated in the prediction mode.
  • the processing content of the prediction image generation part 21 is demonstrated concretely taking the case where the separated image (1) and the separated image (2) are encoded in the block unit of 4x4 pixel size as an example.
  • FIG. 4 is an explanatory diagram showing the relationship between the pixel positions of the separated image (1) and separated image (2) before separation and the block of the coding unit.
  • the pixel of the separated image (1) is indicated by 1
  • the pixel of the separated image (2) is indicated by 2.
  • the 4 ⁇ 4 pixel size block of the separated image (1) is indicated by a solid rectangle
  • the 4 ⁇ 4 pixel size block of the separated image (2) is indicated by a dotted rectangle.
  • the positions of the blocks of the separated image (1) and the separated image (2) are shifted in the horizontal direction by two pixels.
  • FIG. 5 is an explanatory diagram showing the relationship between the separated image (1) and the separated image (2) after separation.
  • the position of the object boundary is as shown in FIG. 5 in the separated image (1) and separated image (2) after separation.
  • the block A2 of the separated image (2) is predicted using the pixels constituting the separated image (1), a predicted image is generated from a position shifted by two pixels rightward from the position of the block A1 of the separated image (1). .
  • the following four types of modes are prepared as prediction modes.
  • the prediction mode 2 is a mode for generating a prediction image from a position shifted by two pixels in the horizontal right direction, as shown in FIG.
  • FIG. 6 is an explanatory diagram illustrating a generation example of a predicted image in the prediction mode 0 and the prediction mode 1.
  • the prediction mode 0 is a true back mode, and the block A1 of the separated image (1) becomes the predicted image of the block A2 of the separated image (2).
  • Prediction mode 1 is a mode in which a prediction image is generated from a position shifted by one pixel to the right from the position of block A1 in the separated image (1).
  • FIG. 7 is an explanatory diagram illustrating a case where the boundary of an object is present in an oblique direction with an angle other than 45 degrees
  • FIG. 8 is an explanatory diagram illustrating an example of generation of a predicted image in the prediction mode 3.
  • the prediction mode 3 is a method for generating a prediction image that is effective when there is an object boundary in an oblique direction with an angle other than 45 degrees.
  • the object boundary between the block A1 of the separated image (1) and the block A2 of the separated image (2) is as shown in FIG.
  • the prediction image in prediction mode 3 is an average image of the prediction images in prediction mode 0, prediction mode 1, and prediction mode 2.
  • the mean square sum of error signals of the block A2 of the prediction image generated in the four types of prediction modes and the separated image (1) A method of obtaining all the MSE
  • selecting a prediction mode that minimizes the MSE can be used.
  • the prediction mode selected by the prediction image generation unit 21 is input to the entropy encoding unit 26 for multiplexing into the bitstream, and the prediction image generated by the prediction image generation unit 21 is input to the subtraction unit 22. Entered.
  • the subtraction unit 22 of the difference image output processing unit 20 obtains a difference image between the predicted image and the separated image (2) generated by the image separation unit 1, and the difference image. Is output to the entropy encoding processing unit 23.
  • the orthogonal transformation unit 24 of the entropy encoding processing unit 23 receives the prediction difference signal from the difference image output processing unit 20, for example, the orthogonal transformation unit 24 performs orthogonal transformation such as DCT or Hadamard transformation on the prediction difference signal, The orthogonal transform coefficient is output to the quantization unit 25.
  • the quantization unit 25 of the entropy encoding processing unit 23 receives the orthogonal transform coefficient from the orthogonal transform unit 24, the quantization unit 25 uses the quantization parameter determined based on the code amount distribution for the separated image (2). The coefficient is quantized and the quantized coefficient is output to the entropy encoding unit 26.
  • the entropy encoding unit 26 of the entropy encoding processing unit 23 receives a two-dimensional quantization coefficient from the quantization unit 25, it scans in a predetermined order and converts it into a one-dimensional quantization coefficient sequence. Entropy coding such as arithmetic coding or variable length coding is performed on the quantized coefficient sequence.
  • the entropy encoding unit 26 performs entropy encoding such as arithmetic encoding or variable length encoding on the prediction mode. Note that the encoded data (including encoded data in the prediction mode) of the separated image (2), which is the encoding result of the entropy encoding unit 26, is input to the multiplexing unit 13.
  • the separated images (3) and (4) are encoded using the locally decoded image of the separated image (1) in the same procedure as the separated image (2). As shown in FIG. 3, the phase is different from that of the separated image (1). Accordingly, the prediction mode is different from that of the separated image (2), and will be described below.
  • the positions of the blocks of the separated image (1) and the separated image (3) are shifted by one pixel in the vertical direction.
  • the following three types are prepared as prediction modes.
  • the positions of the blocks of the separated image (1) and the separated image (4) are shifted by 2 pixels in the horizontal direction and 1 pixel in the vertical direction.
  • the following seven types are prepared as prediction modes.
  • the multiplexing unit 13 When receiving the encoded data of the separated image (1) from the entropy encoding processing unit 3 and the encoded data of the separated images (2) to (4) from the inter-separated image predictive encoding unit 12, the multiplexing unit 13 These encoded data are multiplexed to generate a bit stream.
  • the bit stream generation processing in the multiplexing unit 13 will be specifically described.
  • the separated image (1), the separated image (2), the separated image (3), and the separated image (4) are encoded in a block unit of a predetermined size, a unit composed of one or more blocks is sliced. Called.
  • AVC as shown in FIG. 9, the minimum unit of prediction or orthogonal transform (4 ⁇ 4 pixel size in FIG. 9) is called a block, and a unit in which a plurality of blocks are grouped (in FIG. 9, 4 ⁇ 4 block ( A 16 ⁇ 16 pixel size)) is called a macroblock, and a unit in which one or more macroblocks are collected is called a slice. It is prohibited to perform predictive coding across slice boundaries in a picture.
  • slices may be configured in the same way as AVC.
  • encoded data from each separated image is input to the multiplexing unit 13 in units of slices.
  • a slice ID for identifying the slice, a unique word (start code) indicating the start of the slice, and the slice is separated image (1), separated image (2), separated image (3), separated
  • An ID (separated image ID) for identifying which slice of the image (4) is a slice and a slice ID (slice ID) are multiplexed as part of the header information.
  • One picture is composed of a plurality of slices, and the slices of separated image (1), separated image (2), separated image (3), and separated image (4) are interleaved and multiplexed into one bit stream.
  • the separated image (1) is referred to as a predicted image when the separated image (2), the separated image (3), and the separated image (4) are decoded. Must be multiplexed before the slices of the separated image (2), the separated image (3), and the separated image (4).
  • the pixels constituting the input image are sampled every two pixels in the horizontal direction and every other pixel in the vertical direction, and four separated images (1) (2 ) (3)
  • the image separation unit 1 for generating (4) is provided, and the intra-frame predictive coding means uses the pixels constituting the separated image (1) generated by the image separation unit 1 to use the separated image (1).
  • the separated image (2) generated by the image separation unit 1 is used by the inter-separated image predictive encoding unit 12 using the pixels constituting the separated image (1) generated by the image separation unit 1.
  • Since (4) is configured to perform predictive coding between separated images, there is an effect that high coding efficiency can be realized while suppressing deterioration in image quality and increase in circuit scale.
  • the encoding process can be performed in parallel.
  • the circuit of the moving image encoding apparatus can be performed.
  • the scale can be reduced.
  • the image separation unit 1 samples the pixels constituting the input image every two pixels in the horizontal direction and every other pixel in the vertical direction to obtain four separated images (1), (2) ( 3) As shown for generating (4), sampling is performed every N (N is 1 or more) pixels in the horizontal direction and every M (M is 1 or more) pixels in the vertical direction, and K (K is 2).
  • the separated image may be generated. Alternatively, a separated image may be generated by sampling only in one of the horizontal direction and the vertical direction.
  • the intra prediction unit 2 selects any one of the nine prediction modes from the average value prediction and the eight prediction directions, similarly to the AVC, and selects the intra.
  • the prediction mode may be three modes of average value prediction, horizontal prediction, and vertical prediction, and any one of the three modes may be selected for intra prediction.
  • the prediction differential signal obtained after the intra prediction is subjected to orthogonal transform such as DCT or Hadamard transform, but the separated images (1), (2), (3), (4) ) Is an image in which adjacent pixels are sampled, and therefore the image is structurally very close.
  • orthogonal transform such as DCT or Hadamard transform
  • the separated images (1), (2), (3), (4) Is an image in which adjacent pixels are sampled, and therefore the image is structurally very close.
  • the separated image (2), (3), and (4) are predicted using the separated image (1)
  • the two-dimensional correlation does not remain in the difference signal after prediction.
  • direct encoding may be performed by PCM or DPCM without applying orthogonal transform.
  • orthogonal transform and PCM or DPCM encoding may be switched for each macroblock. In this case, the switching information may be encoded by a macroblock type.
  • FIG. FIG. 10 is a block diagram showing a moving picture decoding apparatus according to Embodiment 2 of the present invention.
  • the stream separation unit 31 receives the bit stream transmitted from the moving picture coding apparatus of FIG. 1, and slice data (encoded data) of the separated image (1) and the separated image (2) from the bit stream. ) (3) A process of separating the slice data (encoded data) of (4) is performed.
  • the stream separation unit 31 constitutes encoded data separation means.
  • the entropy decoding processing unit 32 performs the process of decoding the intra prediction mode and the prediction difference signal by entropy decoding the slice data of the separated image (1) separated by the stream separation unit 31 in units of blocks of a predetermined size.
  • the entropy decoding processor 32 constitutes a first entropy decoding processor.
  • the entropy decoding unit 33 of the entropy decoding processing unit 32 decodes the intra prediction mode and the quantization coefficient by entropy decoding the slice data of the separated image (1) separated by the stream separation unit 31 in units of blocks of a predetermined size. Perform the process.
  • the dequantization unit 34 of the entropy decoding processing unit 32 dequantizes the quantized coefficient decoded by the entropy decoding unit 33 and outputs the orthogonal transform coefficient obtained as a result of the dequantization to the inverse orthogonal transform unit 35. Perform the process.
  • the inverse orthogonal transform unit 35 of the entropy decoding processing unit 32 performs inverse orthogonal transform on the orthogonal transform coefficient output from the inverse quantization unit 34, and outputs a prediction difference signal obtained as a result of the inverse orthogonal transform to the addition unit 37. Perform the process.
  • the intra prediction unit 36 uses the pixel values of the decoded images of the neighboring blocks stored in the frame memory 38 to generate the prediction image of the separated image (1). Implement the process to generate.
  • the intra prediction unit 36 constitutes a first predicted image generation processing unit.
  • the adding unit 37 adds the prediction image of the separated image (1) generated by the intra prediction unit 36 and the prediction difference signal output from the inverse orthogonal transform unit 35, and decodes the separated image (1) that is the addition result. Processing for outputting an image to the frame memory 38 and the image composition unit 40 is performed. Note that the addition unit 37 constitutes a first decoded image output processing unit.
  • the frame memory 38 is a memory for storing the decoded image of the separated image (1) output from the adding unit 37.
  • the entropy decoding processing unit 32, the intra prediction unit 36, and the addition unit 37 constitute an intra-frame prediction decoding unit.
  • the inter-separated image predictive decoding unit 39 uses the decoded image of the separated image (1) stored in the frame memory 38 and slice data of the separated images (2), (3), and (4) separated by the stream separating unit 31. And a process of outputting the decoded images (2), (3), and (4) to the image composition unit 40 is performed.
  • the separated image predictive decoding unit 39 constitutes a separated image predictive decoding unit.
  • the image synthesis unit 40 synthesizes the decoded image of the separated image (1) output from the adding unit 37 and the decoded images of the separated images (2), (3), and (4) output from the inter-separated image predictive decoding unit 39. A process for generating a display image is performed.
  • the image composition unit 40 constitutes an image composition unit.
  • FIG. 11 is a configuration diagram showing the inter-separated image predictive decoding unit 39 of the moving picture decoding apparatus according to Embodiment 2 of the present invention.
  • the entropy decoding processing unit 50 includes a separated image ( 2) The process of decoding the prediction mode between the separated images and the prediction difference signal is performed by entropy decoding the slice data of (3) and (4) in units of blocks of a predetermined size.
  • the entropy decoding processor 50 constitutes a second entropy decoding processor.
  • the entropy decoding unit 51 of the entropy decoding processing unit 50 performs entropy decoding of the slice data of the separated images (2), (3), and (4) separated by the stream separating unit 31 in units of blocks of a predetermined size, thereby separating the separated images. A process of decoding the prediction mode and the quantized coefficient is performed.
  • the inverse quantization unit 52 of the entropy decoding processing unit 50 performs inverse quantization on the quantization coefficient decoded by the entropy decoding unit 51 and outputs an orthogonal transform coefficient obtained as a result of the inverse quantization to the inverse orthogonal transform unit 53. Perform the process.
  • the inverse orthogonal transform unit 53 of the entropy decoding processing unit 50 performs inverse orthogonal transform on the orthogonal transform coefficient output from the inverse quantization unit 52, and outputs a prediction difference signal obtained as a result of the inverse orthogonal transform to the addition unit 55. Perform the process.
  • the predicted image generation unit 54 uses the decoded image of the separated image (1) stored in the frame memory 38 based on the prediction mode between the separated images entropy-decoded by the entropy decoding unit 51, and uses the decoded image (2). (3) The process which produces
  • the predicted image generation unit 54 constitutes a second predicted image generation processing unit.
  • the addition unit 55 adds the prediction images of the separated images (2), (3), and (4) generated by the prediction image generation unit 54 and the prediction difference signal output from the inverse orthogonal transform unit 53, and the addition result. Processing for outputting the decoded images (2), (3), and (4) is performed. Note that the adding unit 55 constitutes a second decoded image output processing unit.
  • the stream separation unit 31 decodes the separated image ID in units of slices delimited by unique words, thereby separating the separated image (1 ) And the slice data of the separated images (2), (3), and (4) are separated.
  • the entropy decoding unit 33 When receiving the slice data of the separated image (1) from the stream separating unit 31, the entropy decoding unit 33 performs entropy decoding such as arithmetic decoding or variable length decoding on the slice data of the separated image (1), thereby obtaining a predetermined size.
  • the block-by-block intra prediction mode and the one-dimensional quantized coefficient sequence are decoded.
  • the entropy decoding unit 33 scans the one-dimensional quantization coefficient sequence in a predetermined order and converts it into a two-dimensional quantization coefficient.
  • the inverse quantization unit 34 Upon receiving the quantization coefficient from the entropy decoding unit 33, the inverse quantization unit 34 inversely quantizes the quantization coefficient according to the quantization parameter (not shown) decoded by the entropy decoding unit 33, and the inverse quantization
  • the orthogonal transform coefficient obtained as a result of the conversion is output to the inverse orthogonal transform unit 35.
  • the inverse orthogonal transform unit 35 receives the orthogonal transform coefficient from the inverse quantization unit 34, the inverse orthogonal transform unit 35 performs inverse orthogonal transform such as DCT or Hadamard transform on the orthogonal transform coefficient, thereby obtaining the result of the inverse orthogonal transform.
  • the predicted difference signal is output to the adding unit 37.
  • the intra prediction unit 36 When receiving the intra prediction mode from the entropy decoding unit 33, the intra prediction unit 36 is stored in the frame memory 38 on the basis of the intra prediction mode, similarly to the intra prediction unit 2 in the moving picture coding apparatus of FIG. A predicted image of the separated image (1) is generated using the pixel values of the decoded image of the neighboring block.
  • the intra-prediction mode used by the intra-prediction unit 36 is the same as the prediction mode used by the intra-prediction unit 2 in the moving picture coding apparatus shown in FIG. 1, and a total of nine predictions are predicted from the average value prediction and the eight prediction directions. This is the prediction mode selected from any one of the modes.
  • the adding unit 37 adds the predicted image of the separated image (1) and the prediction difference signal output from the inverse orthogonal transform unit 35, and the addition result
  • the decoded image of the separated image (1) is output to the frame memory 38 and the image composition unit 40.
  • the separated image predictive decoding unit 39 uses the decoded image of the separated image (1) stored in the frame memory 38. Then, the slice data of the separated images (2), (3), and (4) is decoded, and the decoded images of the separated images (2), (3), and (4) are output to the image composition unit 40.
  • processing contents of the inter-separated image predictive decoding unit 39 will be specifically described.
  • an example in which slice data of the separated image (2) is decoded will be described.
  • the entropy decoding unit 51 of the inter-separated image predictive decoding unit 39 receives the slice data of the separated image (2) from the stream separating unit 31, the entropy decoding such as arithmetic decoding or variable length decoding is performed on the slice data of the separated image (2).
  • the entropy decoding unit 51 scans a one-dimensional quantized coefficient sequence in a predetermined order to perform two-dimensional decoding. To quantized coefficients.
  • the inverse quantization unit 52 When receiving the quantization coefficient from the entropy decoding unit 51, the inverse quantization unit 52 inversely quantizes the quantization coefficient according to the quantization parameter (not shown) decoded by the entropy decoding unit 51, and the inverse quantization.
  • the orthogonal transform coefficient obtained as a result of the conversion is output to the inverse orthogonal transform unit 53.
  • the inverse orthogonal transform unit 53 receives the orthogonal transform coefficient from the inverse quantization unit 52
  • the inverse orthogonal transform unit 53 performs inverse orthogonal transform such as DCT or Hadamard transform on the orthogonal transform coefficient, thereby obtaining the result of the inverse orthogonal transform.
  • the prediction difference signal to be output is output to the adder 55.
  • the predicted image generation unit 54 When receiving the prediction mode between the separated images from the entropy decoding unit 51, the predicted image generation unit 54 obtains the decoded image of the separated image (1) stored in the frame memory 38 based on the prediction mode between the separated images. The predicted image of the separated image (2) is generated by using this.
  • the type of prediction mode and the method of generating a prediction image are the same as those of the prediction image generation unit 21 in the moving picture coding apparatus according to the first embodiment.
  • the adding unit 55 adds the predicted image of the separated image (2) and the prediction difference signal output from the inverse orthogonal transform unit 53, and adds the added result.
  • the resulting decoded image of the separated image (2) is output to the image composition unit 40.
  • the slice data of the separated image (3) and the separated image (4) is also decoded in the same procedure as the separated image (2), and the decoded image of the separated image (3) and the decoded image of the separated image (4) are combined. Input to the unit 40.
  • the image synthesis unit 40 synthesizes the decoded image of the separated image (1) output from the adding unit 37 and the decoded images of the separated images (2), (3), and (4) output from the inter-separated image predictive decoding unit 39.
  • To generate a display image That is, when the image composition unit 40 receives the decoded image of the separated image (1) from the adding unit 37 and receives the decoded images of the separated images (2), (3), and (4) from the inter-separated image predictive decoding unit 39, A display image is generated by synthesizing the image into one image in the reverse procedure of the image separation unit 1 in the moving picture coding apparatus of the first embodiment.
  • the pixel positions in the combined image of the separated images are the same as those in the input image in FIG.
  • a bit stream in which slice data of the separated image (1) and slice data of the separated images (2), (3), and (4) are multiplexed is input.
  • a stream separation unit 31 for separating the slice data of the separated image (1) and the slice data of the separated images (2), (3), and (4) from the bit stream is provided.
  • the decoded slice image of the separated image (1) is decoded, the decoded image of the separated image (1) is output, and the inter-separated image predictive decoding unit 39 decodes the separated image (1) separated by the stream separating unit 31 Using the image, the encoded data of the separated images (2), (3), and (4) separated by the stream separation unit 31 is decoded, and the decoded images of the separated images (2), (3), and (4) are output. Since it is configured to so that an effect capable of decoding the encoded image with high coding efficiency correctly displaying the image of the original high resolution.
  • the slice data configured independently for each separated image is decoded, decoding processing can be performed in parallel. As a result, moving image decoding is possible. There is an effect that the circuit scale of the apparatus can be reduced.
  • the image combining unit 40 combines the four separated images to generate the original high-resolution display image.
  • the decoding process is performed first.
  • a low-resolution image is displayed by sending the decoded image of the completed separated image (1) as a display image to the display device first.
  • a decoded display image of the separated image (1) is sequentially combined to generate a display image with high resolution.
  • the resolution of the image displayed on the display device is increased step by step.
  • the order of images displayed on the display device is, for example, as follows.
  • the moving image encoding apparatus and the moving image amplification apparatus according to the present invention can realize high encoding efficiency while suppressing deterioration in image quality and increase in circuit scale. It is suitable for use in an encoding device and a moving image decoding device that decodes a plurality of encoded images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　入力画像を構成する画素を水平方向に２画素おき、垂直方向に１画素おきにサンプリングして、４つの分離画像（１）～（４）を生成する画像分離部１を設け、フレーム内予測符号化手段が画像分離部１により生成された分離画像（１）を構成する画素を用いて、分離画像（１）をフレーム内で予測符号化し、分離画像間予測符号化部１２が画像分離部１により生成された分離画像（１）を構成する画素を用いて、画像分離部１により生成された分離画像（２）～（４）を分離画像間で予測符号化する。

Description

動画像符号化装置及び動画像復号装置
　この発明は、画像を複数に分離して符号化する動画像符号化装置と、複数に分離して符号化されている画像を復号する動画像復号装置とに関するものである。
　以下の非特許文献１に開示されている「ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４（以下、「ＡＶＣ」と称する）などの国際標準映像符号化方式では、画像をＮ×Ｎ画素サイズのブロックに分割し、ブロック単位でフレーム内／フレーム間予測を実施することで得られるＮ×Ｎ画素サイズの予測差分信号に対して、ＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）などの直交変換、量子化及びエントロピー符号化が行なわれる。
　ＡＶＣでは、フレーム内で予測符号化を行う際、符号化済みの隣接ブロックの画素を用いて予測を行うことで差分信号を取得する。予測のモードとして、平均値予測と８つの予測方向から予測する計９つのモードが用意されている。
　現行のＨＤＴＶ（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　ＴＶ）で扱われる解像度（１９２０×１０８０）を超える高解像度の動画像を従来の符号化方式で符号化する場合、演算処理の増大に伴う回路規模の増大を抑えるため、画面を分割して並列的に符号化する方式が採用されている（例えば、特許文献１を参照）。
　例えば、４０９６×２１６０画素の動画像を符号化する場合、１画面を４つに分割して得られる２０４８×１０８０画素の分割画面単位で符号化を行う。
　このとき、分割画面間で、符号量の配分を互いに連携させないで符号化すると、各分割画面の画質に差異が生じてしまうため、分割画面を合成して１画面にすると、境界部分に不自然な画質劣化を招くことになる。
　このような画質劣化を防止するため、以下の特許文献２では、符号化の後処理として、分割画面毎に発生符号量と歪み特性を算出して、その発生符号量と歪み特性を記憶する手段を設け、後続の画面を符号化する際、直前の分割画面の符号量－歪み特性を参照して、後続の分割画面の符号量を推測することで、符号量の配分を決定するようにしている。
　ＨＤＴＶを超える解像度の動画像を符号化する別の方式として、特許文献２では、Ｎ×Ｎ画素サイズのブロック単位で原画像を１画素毎に交互に分離して、２つの分離画像を生成し、一方の分離画像から他方の分離画像を予測して、差分信号を可変長符号化するようにしている。
ＭＰＥＧ－４　ＡＶＣ（ＩＳＯ／ＩＥＣ　１４４９６－１０）／ＩＴＵ－Ｔ　Ｈ．２６４規格
特開２００６－３５２６３６号公報 特開２００８－１２５００２号公報
　従来の動画像符号化装置は以上のように構成されているので、特許文献１では、シーンチェンジがある場合、過去の画面の符号量－歪み特性を用いることができない。このため、符号量を単純に均等分割するようにしており、シーンチェンジ後の画面の画質が低下してしまう課題があった。また、分割画面毎に、符号化の後処理として、符号量－歪み特性を算出しなければならないため、後処理の演算処理が多くなる課題もあった。
　特許文献２では、Ｎ×Ｎ画素サイズのブロック単位で分離画像を生成するため、並列に処理することが困難であり、回路規模が増大してしまう課題があった。
　この発明は上記のような課題を解決するためになされたもので、画質劣化と回路規模の増大を抑えて高い符号化効率を実現することができる動画像符号化装置を得ることを目的とする。
　また、この発明は、高い符号化効率で符号化された画像を正しく復号して、元の高解像度の画像を表示することができる動画像復号装置を得ることを目的とする。
　この発明に係る動画像符号化装置は、入力画像を構成する画素を所定数おきにサンプリングして、第１の分離画像を生成するとともに、上記画素と異なる画素を所定数おきにサンプリングして、少なくとも１以上の第２の分離画像を生成する分離画像生成手段を設け、フレーム内予測符号化手段が分離画像生成手段により生成された第１の分離画像を構成する画素を用いて、第１の分離画像をフレーム内で予測符号化し、分離画像間予測符号化手段が分離画像生成手段により生成された第１の分離画像を構成する画素を用いて、分離画像生成手段により生成された第２の分離画像を分離画像間で予測符号化するようにしたものである。
　この発明によれば、入力画像を構成する画素を所定数おきにサンプリングして、第１の分離画像を生成するとともに、上記画素と異なる画素を所定数おきにサンプリングして、少なくとも１以上の第２の分離画像を生成する分離画像生成手段を設け、フレーム内予測符号化手段が分離画像生成手段により生成された第１の分離画像を構成する画素を用いて、第１の分離画像をフレーム内で予測符号化し、分離画像間予測符号化手段が分離画像生成手段により生成された第１の分離画像を構成する画素を用いて、分離画像生成手段により生成された第２の分離画像を分離画像間で予測符号化するように構成したので、画質劣化と回路規模の増大を抑えて高い符号化効率を実現することができる効果がある。
この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の分離画像間予測符号化部１２を示す構成図である。 入力画像と分離画像（１）～（４）の一例を示す説明図である。 分離前の分離画像（１）及び分離画像（２）の画素位置と符号化単位のブロックの関係を示す説明図である。 分離後の分離画像（１）と分離画像（２）のブロックの関係を示す説明図である。 予測モード０と予測モード１の場合の予測画像の生成例を示す説明図である。 ４５度ではない角度の斜め方向にオブジェクトの境界がある場合を示す説明図である。 予測モード３の場合の予測画像の生成例を示す説明図である。 予測や直交変換の最小単位であるブロック、マクロブロック及びスライスの関係を示す説明図である。 この発明の実施の形態２による動画像復号装置を示す構成図である。 この発明の実施の形態２による動画像復号装置の分離画像間予測復号部３９を示す構成図である。
　以下、この発明をより詳細に説明する為に、この発明を実施する為の形態について添付の図面に従って説明する。
実施の形態１．
　図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
　図１において、画像分離部１は入力画像を構成する画素を所定数おきにサンプリングして、分離画像（１）（第１の分離画像）を生成するとともに、上記画素と異なる画素を所定数おきにサンプリングして、分離画像（２）～（４）（第２の分離画像）を生成する処理を実施する。なお、画像分離部１は分離画像生成手段を構成している。
　イントラ予測部２は画像分離部１により生成された分離画像（１）を所定サイズのブロック単位でイントラ予測（フレーム内予測）を実施して、その分離画像（１）の予測画像を生成し、その分離画像（１）と予測画像の差分画像を示すイントラ差分信号をエントロピー符号化処理部３に出力する処理を実施する。なお、イントラ予測部２は第１の差分画像出力処理部を構成している。
　エントロピー符号化処理部３はイントラ予測部２から出力されたイントラ差分信号をブロック単位で直交変換し、その直交変換の結果として得られる直交変換係数をエントロピー符号化する処理を実施する。なお、エントロピー符号化処理部３は第１のエントロピー符号化処理部を構成している。
　エントロピー符号化処理部３の直交変換部４はイントラ予測部２から出力されたイントラ差分信号をブロック単位で直交変換し、その直交変換係数を量子化部５に出力する処理を実施する。
　エントロピー符号化処理部３の量子化部５は直交変換部４から出力された直交変換係数を量子化し、その量子化係数をエントロピー符号化部６及び局所復号画像生成処理部７に出力する処理を実施する。
　エントロピー符号化処理部３のエントロピー符号化部６は量子化部５から出力された量子化係数をエントロピー符号化する処理を実施する。
　局所復号画像生成処理部７は量子化部５から出力された量子化係数を逆量子化して、その逆量子化の結果として得られる直交変換係数を逆直交変換し、その逆直交変換の結果として得られる復号予測差分信号とイントラ予測部２により生成された予測画像を加算して、分離画像（１）の局所復号画像を生成する処理を実施する。
　局所復号画像生成処理部７の逆量子化部８は量子化部５から出力された量子化係数を逆量子化して、その逆量子化の結果として得られる直交変換係数を逆直交変換部９に出力する処理を実施する。
　局所復号画像生成処理部７の逆直交変換部９は逆量子化部８から出力された直交変換係数を逆直交変換し、その逆直交変換の結果として得られる復号予測差分信号を加算部１０に出力する処理を実施する。
　局所復号画像生成処理部７の加算部１０は逆直交変換部９から出力された復号予測差分信号とイントラ予測部２により生成された予測画像を加算して、その加算結果である分離画像（１）の局所復号画像を出力する処理を実施する。
　なお、イントラ予測部２、エントロピー符号化処理部３及び局所復号画像生成処理部７からフレーム内予測符号化手段が構成されている。
　フレームメモリ１１は局所復号画像生成処理部７により生成された分離画像（１）の局所復号画像を格納するメモリである。
　分離画像間予測符号化部１２はフレームメモリ１１に格納されている分離画像（１）の局所復号画像を構成する画素を用いて、画像分離部１により生成された分離画像（２）～（４）を分離画像間で予測符号化する処理を実施する。なお、分離画像間予測符号化部１２は分離画像間予測符号化手段を構成している。
　多重化部１３はエントロピー符号化処理部３から出力された分離画像（１）の符号化データと分離画像間予測符号化部１２から出力された分離画像（２）～（４）の符号化データを多重化してビットストリームを生成する処理を実施する。なお、多重化部１３は多重化手段を構成している。
　図２はこの発明の実施の形態１による動画像符号化装置の分離画像間予測符号化部１２を示す構成図である。
　図２において、差分画像出力処理部２０はフレームメモリ１１に格納されている分離画像（１）の局所復号画像を構成する画素を用いて、画像分離部１により生成された分離画像（２）～（４）の予測画像を生成し、その予測画像と分離画像（２）～（４）の差分画像を示す予測差分信号をエントロピー符号化処理部２３に出力する処理を実施する。なお、差分画像出力処理部２０は第２の差分画像出力処理部を構成している。
　差分画像出力処理部２０の予測画像生成部２１はフレームメモリ１１に格納されている分離画像（１）の局所復号画像を構成する画素を用いて、画像分離部１により生成された分離画像（２）～（４）の予測画像を生成する処理を実施する。
　即ち、予測画像生成部２１は複数の予測モードの中から、画像分離部１により生成された分離画像（１）と分離画像（２）～（４）間の画素位置のずれの補正に適する予測モードを選択して、その予測モードで分離画像（２）～（４）の予測画像を生成する処理を実施する。
　差分画像出力処理部２０の減算部２２は画像分離部１により生成された分離画像（２）～（４）と予測画像生成部２１により生成された予測画像の差分画像を求め、その差分画像を示す予測差分信号をエントロピー符号化処理部２３に出力する処理を実施する。
　エントロピー符号化処理部２３は差分画像出力処理部２０から出力された予測差分信号をブロック単位で直交変換し、その直交変換の結果として得られる直交変換係数をエントロピー符号化する処理を実施する。なお、エントロピー符号化処理部２３は第２のエントロピー符号化処理部を構成している。
　エントロピー符号化処理部２３の直交変換部２４は差分画像出力処理部２０から出力された予測差分信号をブロック単位で直交変換し、その直交変換係数を量子化部２５に出力する処理を実施する。
　エントロピー符号化処理部２３の量子化部２５は直交変換部２４から出力された直交変換係数を量子化し、その量子化係数をエントロピー符号化部２６に出力する処理を実施する。
　エントロピー符号化処理部２３のエントロピー符号化部２６は量子化部２５から出力された量子化係数と予測画像生成部２１により選択された予測モードをエントロピー符号化する処理を実施する。
　次に動作について説明する。
　この実施の形態１では、画像分離部１が図３に示すような３８４０×２１６０画素の動画像を入力して、その動画像を符号化する例を説明する。
　画像分離部１は、動画像を入力すると、動画像を構成する画素を所定数おきにサンプリングして、分離画像（１）を生成するとともに、上記画素と異なる画素を所定数おきにサンプリングして、分離画像（２）～（４）を生成する。
　図２では、水平方向に２画素おき、垂直方向に１画素おきにサンプリングして、４つの１９２０×１０８０画素サイズの分離画像（１）（２）（３）（４）を生成している例を示している。
　なお、分離画像（１）は所定サイズのブロック単位にイントラ予測部２に入力され、分離画像（２）～（４）は所定サイズのブロック単位に分離画像間予測符号化部１２に入力される。
　イントラ予測部２は、画像分離部１から分離画像（１）を受けると、その分離画像（１）をブロック単位でイントラ予測を実施して、分離画像（１）の予測画像を生成する。
　例えば、ＡＶＣと同様に、平均値予測と８つの予測方向から予測する計９つの予測モードの中から、いずれか一つの予測モードを選択し、その選択した予測モードに基づいて、フレームメモリ１１に格納されている近傍ブロックの局所復号画像の画素値を用いて予測画像を生成する。
　イントラ予測部２は、分離画像（１）の予測画像を生成すると、その予測画像と分離画像（１）の差分画像を示すイントラ差分信号をエントロピー符号化処理部３に出力する。
　エントロピー符号化処理部３の直交変換部４は、イントラ予測部２からイントラ差分信号を受けると、例えば、そのイントラ差分信号に対して、ＤＣＴやアダマール変換等の直交変換を施して、その直交変換係数を量子化部５に出力する。
　エントロピー符号化処理部３の量子化部５は、直交変換部４から直交変換係数を受けると、分離画像（１）に対する符号量配分に基づいて決定される量子化パラメータを用いて、その直交変換係数を量子化し、その量子化係数をエントロピー符号化部６及び局所復号画像生成処理部７に出力する。
　図３のように動画像が分離される場合、隣接画素が分離されているため、分離画像間の相関が非常に高くなる。後述するように、分離画像間予測符号化部１２が分離画像（１）を用いて、分離画像（２）～（４）を符号化する場合、差分信号に対する符号量割り当てを少なくすることができる。
　従って、分離画像（１）の符号量割り当てが大きくなるように、量子化パラメータを設定する。
　エントロピー符号化処理部３のエントロピー符号化部６は、量子化部５から２次元の量子化係数を入力すると、所定の順番でスキャンして、１次元の量子化係数列に変換し、その量子化係数列を算術符号化あるいは可変長符号化などのエントロピー符号化を行う。
　なお、エントロピー符号化部６の符号化結果である分離画像（１）の符号化データは、多重化部１３に入力される。
　局所復号画像生成処理部７の逆量子化部８は、量子化部５から量子化係数を受けると、その量子化係数を逆量子化し、その逆量子化の結果として得られる直交変換係数を逆直交変換部９に出力する。
　局所復号画像生成処理部７の逆直交変換部９は、逆量子化部８から直交変換係数を受けると、その直交変換係数を逆直交変換し、その逆直交変換の結果として得られる復号予測差分信号を加算部１０に出力する。
　局所復号画像生成処理部７の加算部１０は、逆直交変換部９から復号予測差分信号を受けると、その復号予測差分信号とイントラ予測部２により生成された予測画像を加算し、その加算結果である分離画像（１）の局所復号画像を出力する。
　なお、分離画像（１）の局所復号画像は、フレームメモリ１１に格納される。
　分離画像間予測符号化部１２は、フレームメモリ１１に格納されている分離画像（１）の局所復号画像を構成する画素を用いて、画像分離部１により生成された分離画像（２）～（４）を分離画像間で予測符号化する。
　以下、分離画像間予測符号化部１２の処理内容を具体的に説明する。ここでは、分離画像（２）が符号化される例を説明する。
　差分画像出力処理部２０の予測画像生成部２１は、フレームメモリ１１に格納されている分離画像（１）の局所復号画像を構成する画素を用いて、画像分離部１により生成された分離画像（２）の予測画像を生成する処理を実施する。
　即ち、予測画像生成部２１は、複数の予測モードの中から、画像分離部１により生成された分離画像（１）と分離画像（２）間の画素位置のずれの補正に適する予測モードを選択して、その予測モードで分離画像（２）の予測画像を生成する。
　ここで、分離画像（１）と分離画像（２）が４×４画素サイズのブロック単位に符号化される場合を例にして、予測画像生成部２１の処理内容を具体的に説明する。
　図４は分離前の分離画像（１）及び分離画像（２）の画素位置と符号化単位のブロックの関係を示す説明図である。
　図４では、分離画像（１）の画素を１で示し、分離画像（２）の画素を２で示している。また、分離画像（１）の４×４画素サイズのブロックを実線の矩形で示し、分離画像（２）の４×４画素サイズのブロックを点線の矩形で示している。
　図４の例では、分離画像（１）のブロックと分離画像（２）のブロックの位置が、２画素分水平方向にずれている。
　図５は分離後の分離画像（１）と分離画像（２）のブロックの関係を示す説明図である。
　オブジェクトの境界が図４に示される位置にある場合、分離後の分離画像（１）及び分離画像（２）において、オブジェクト境界の位置は図５のようになる。
　分離画像（２）のブロックＡ２を分離画像（１）を構成する画素を用いて予測する場合、分離画像（１）のブロックＡ１の位置から２画素右方向にずらした位置から予測画像を生成する。
　同様に、境界の位置に応じて、分離画像（１）と分離画像（２）の位相のずれを補正するために、予測モードとして、以下の４種類のモードを用意している。
Figure JPOXMLDOC01-appb-T000001
　４種類の予測モードのうち、予測モード２は、図５で示したように、水平右方向に２画素ずらした位置から予測画像を生成するモードである。
　図６は予測モード０と予測モード１の場合の予測画像の生成例を示す説明図である。
　予測モード０は真裏モードであり、分離画像（１）のブロックＡ１が分離画像（２）のブロックＡ２の予測画像になる。
　予測モード１は分離画像（１）のブロックＡ１の位置から１画素右方向にずらした位置から予測画像を生成するモードである。
　図７は４５度ではない角度の斜め方向にオブジェクトの境界がある場合を示す説明図であり、図８は予測モード３の場合の予測画像の生成例を示す説明図である。
　予測モード３は、図７に示すように、４５度ではない角度の斜め方向にオブジェクトの境界がある場合に有効な予測画像の生成方法である。
　分離画像（１）のブロックＡ１と分離画像（２）のブロックＡ２のオブジェクト境界は図８に示すとおりである。
　予測モード３の予測画像は、予測モード０，予測モード１，予測モード２の予測画像の平均画像になるものである。
　４種類の予測モードの中から最適な予測モードを選択する方法としては、例えば、４種類の予測モードで生成される予測画像と分離画像（１）のブロックＡ２の誤差信号の平均２乗和（ＭＳＥ）をすべて求めて、ＭＳＥが最小となる予測モードを選択する方法などを用いることができる。
　なお、予測画像生成部２１により選択された予測モードは、ビットストリームに多重化するために、エントロピー符号化部２６に入力され、予測画像生成部２１により生成された予測画像は、減算部２２に入力される。
　差分画像出力処理部２０の減算部２２は、予測画像生成部２１が予測画像を生成すると、その予測画像と画像分離部１により生成された分離画像（２）の差分画像を求め、その差分画像を示す予測差分信号をエントロピー符号化処理部２３に出力する。
　エントロピー符号化処理部２３の直交変換部２４は、差分画像出力処理部２０から予測差分信号を受けると、例えば、その予測差分信号に対して、ＤＣＴやアダマール変換等の直交変換を施して、その直交変換係数を量子化部２５に出力する。
　エントロピー符号化処理部２３の量子化部２５は、直交変換部２４から直交変換係数を受けると、分離画像（２）に対する符号量配分に基づいて決定される量子化パラメータを用いて、その直交変換係数を量子化し、その量子化係数をエントロピー符号化部２６に出力する。
　エントロピー符号化処理部２３のエントロピー符号化部２６は、量子化部２５から２次元の量子化係数を入力すると、所定の順番でスキャンして、１次元の量子化係数列に変換し、その量子化係数列を算術符号化あるいは可変長符号化などのエントロピー符号化を行う。
　また、エントロピー符号化部２６は、予測画像生成部２１から予測モードを受けると、その予測モードを算術符号化あるいは可変長符号化などのエントロピー符号化を行う。
　なお、エントロピー符号化部２６の符号化結果である分離画像（２）の符号化データ（予測モードの符号化データを含む）は、多重化部１３に入力される。
　分離画像（３）（４）についても、分離画像（２）と同様の手順で、分離画像（１）の局所復号画像を用いて符号化されるが、分離画像（３）（４）は、図３に示したとおり、分離画像（１）と位相がずれる方向がそれぞれ異なる。
　従って、予測モードが分離画像（２）と異なるため、以下に説明する。
　分離画像（１）のブロックと分離画像（３）のブロックの位置は、垂直方向に１画素分ずれている。分離画像（１）と分離画像（３）の位相のずれを補正するために、予測モードとして、以下の３種類を用意する。
Figure JPOXMLDOC01-appb-T000002
　分離画像（１）のブロックと分離画像（４）のブロックの位置は、水平方向に２画素、垂直方向に１画素ずれている。分離画像（１）と分離画像（４）の位相のずれを補正するために、予測モードとして、以下の７種類を用意する。
Figure JPOXMLDOC01-appb-T000003
　多重化部１３は、エントロピー符号化処理部３から分離画像（１）の符号化データを受け、分離画像間予測符号化部１２から分離画像（２）～（４）の符号化データを受けると、これらの符号化データを多重化してビットストリームを生成する。
　以下、多重化部１３におけるビットストリームの生成処理を具体的に説明する。
　分離画像（１）、分離画像（２）、分離画像（３）、分離画像（４）が所定サイズのブロック単位に符号化されているときに、１個以上のブロックから構成される単位をスライスと称する。
　ＡＶＣでは、図９に示すように、予測や直交変換の最小単位（図９では、４×４画素サイズ）をブロックと呼び、ブロックを複数個纏めた単位（図９では、４×４ブロック（１６×１６画素サイズ））をマクロブロックと呼び、マクロブロックを１個以上纏めた単位をスライスと呼んでいる。ピクチャ内でスライス境界をまたがって予測符号化を行うことは禁止されている。
　本発明の符号化方式においても、ＡＶＣと同じようにスライスを構成してもよい。同じように各分離画像からの符号化データはスライス単位で多重化部１３に入力される。
　スライスの先頭には、スライスを識別するスライスＩＤと、スライスの開始を意味するユニークワード（スタートコード）と、そのスライスが分離画像（１）、分離画像（２）、分離画像（３）、分離画像（４）のいずれの分離画像のスライスであるかを識別するＩＤ（分離画像ＩＤ）と、スライスのＩＤ（スライスＩＤ）とが、ヘッダ情報の一部として多重化される。
　１ピクチャは、複数スライスから構成されるようにして、分離画像（１）、分離画像（２）、分離画像（３）、分離画像（４）のスライスがインタリーブされて１本のビットストリームに多重化されていてもよいが、分離画像（１）は、分離画像（２）、分離画像（３）、分離画像（４）を復号するときに予測画像として参照されるため、分離画像（１）のスライスが、分離画像（２）、分離画像（３）、分離画像（４）のスライスより先に多重化されていなければならない。
　以上で明らかなように、この実施の形態１によれば、入力画像を構成する画素を水平方向に２画素おき、垂直方向に１画素おきにサンプリングして、４つの分離画像（１）（２）（３）（４）を生成する画像分離部１を設け、フレーム内予測符号化手段が画像分離部１により生成された分離画像（１）を構成する画素を用いて、分離画像（１）をフレーム内で予測符号化し、分離画像間予測符号化部１２が画像分離部１により生成された分離画像（１）を構成する画素を用いて、画像分離部１により生成された分離画像（２）（３）（４）を分離画像間で予測符号化するように構成したので、画質劣化と回路規模の増大を抑えて高い符号化効率を実現することができる効果を奏する。
　また、この実施の形態１によれば、分離画像毎に独立にスライスを構成するようにしたので、並列に符号化処理を行うことができるようになり、その結果、動画像符号化装置の回路規模を小さくすることができる効果を奏する。
　なお、この実施の形態１では、画像分離部１が入力画像を構成する画素を水平方向に２画素おき、垂直方向に１画素おきにサンプリングして、４つの分離画像（１）（２）（３）（４）を生成するものについて示したが、水平方向にＮ（Ｎは１以上）画素おき、垂直方向にＭ（Ｍは１以上）画素おきにサンプリングして、Ｋ枚（Ｋは２以上）の分離画像を生成するようにしてもよい。
　また、水平方向又は垂直方向のいずれか１方向のみにサンプリングして分離画像を生成するようにしてもよい。
　また、この実施の形態１では、イントラ予測部２が、ＡＶＣと同様に、平均値予測と８つの予測方向から予測する計９つの予測モードの中から、いずれか一つのモードを選択してイントラ予測するものについて示したが、分離画像（１）は水平方向、垂直方向にサンプリングされた画像であるため、斜め方向には相関がない場合もある。
　そこで、予測モードを平均値予測、水平予測、垂直予測の３つのモードとし、３つのモードの中から、いずれか一つのモードを選択してイントラ予測するようにしてもよい。
　また、この実施の形態１では、イントラ予測後に得られる予測差分信号に対して、ＤＣＴやアダマール変換等の直交変換を施すものについて示したが、分離画像（１）（２）（３）（４）は隣接画素をサンプリングしている画像であるため、構造的に非常に近寄った画像になり、分離画像（１）を用いて、分離画像（２）（３）（４）を予測する場合、予測後の差分信号に２次元的な相関が残っていない場合もある。
　そのような場合には、直交変換を適用せずに、ＰＣＭやＤＰＣＭにより直接符号化してもよい。また、直交変換とＰＣＭやＤＰＣＭ符号化をマクロブロック毎に切り替えてもよく、この場合には、マクロブロックタイプで切替情報を符号化するようにしてもよい。
実施の形態２．
　図１０はこの発明の実施の形態２による動画像復号装置を示す構成図である。
　図１０において、ストリーム分離部３１は図１の動画像符号化装置から送信されたビットストリームを入力し、そのビットストリームから分離画像（１）のスライスデータ（符号化データ）と、分離画像（２）（３）（４）のスライスデータ（符号化データ）を分離する処理を実施する。なお、ストリーム分離部３１は符号化データ分離手段を構成している。
　エントロピー復号処理部３２はストリーム分離部３１により分離された分離画像（１）のスライスデータを所定サイズのブロック単位でエントロピー復号することで、イントラ予測モードと予測差分信号を復号する処理を実施する。なお、エントロピー復号処理部３２は第１のエントロピー復号処理部を構成している。
　エントロピー復号処理部３２のエントロピー復号部３３はストリーム分離部３１により分離された分離画像（１）のスライスデータを所定サイズのブロック単位でエントロピー復号することで、イントラ予測モードと量子化係数を復号する処理を実施する。
　エントロピー復号処理部３２の逆量子化部３４はエントロピー復号部３３により復号された量子化係数を逆量子化して、その逆量子化の結果として得られる直交変換係数を逆直交変換部３５に出力する処理を実施する。
　エントロピー復号処理部３２の逆直交変換部３５は逆量子化部３４から出力された直交変換係数を逆直交変換して、その逆直交変換の結果として得られる予測差分信号を加算部３７に出力する処理を実施する。
　イントラ予測部３６はエントロピー復号処理部３２によりエントロピー復号されたイントラ予測モードに基づいて、フレームメモリ３８に格納されている近傍ブロックの復号画像の画素値を用いて分離画像（１）の予測画像を生成する処理を実施する。なお、イントラ予測部３６は第１の予測画像生成処理部を構成している。
　加算部３７はイントラ予測部３６により生成された分離画像（１）の予測画像と逆直交変換部３５から出力された予測差分信号を加算して、その加算結果である分離画像（１）の復号画像をフレームメモリ３８及び画像合成部４０に出力する処理を実施する。なお、加算部３７は第１の復号画像出力処理部を構成している。
　フレームメモリ３８は加算部３７から出力された分離画像（１）の復号画像を格納するメモリである。
　エントロピー復号処理部３２、イントラ予測部３６及び加算部３７からフレーム内予測復号手段が構成されている。
　分離画像間予測復号部３９はフレームメモリ３８に格納されている分離画像（１）の復号画像を用いて、ストリーム分離部３１により分離された分離画像（２）（３）（４）のスライスデータを復号して、分離画像（２）（３）（４）の復号画像を画像合成部４０に出力する処理を実施する。なお、分離画像間予測復号部３９は分離画像間予測復号手段を構成している。
　画像合成部４０は加算部３７から出力された分離画像（１）の復号画像と分離画像間予測復号部３９から出力された分離画像（２）（３）（４）の復号画像を合成して表示画像を生成する処理を実施する。なお、画像合成部４０は画像合成手段を構成している。
　図１１はこの発明の実施の形態２による動画像復号装置の分離画像間予測復号部３９を示す構成図であり、図において、エントロピー復号処理部５０はストリーム分離部３１により分離された分離画像（２）（３）（４）のスライスデータを所定サイズのブロック単位でエントロピー復号することで、分離画像間の予測モードと予測差分信号を復号する処理を実施する。なお、エントロピー復号処理部５０は第２のエントロピー復号処理部を構成している。
　エントロピー復号処理部５０のエントロピー復号部５１はストリーム分離部３１により分離された分離画像（２）（３）（４）のスライスデータを所定サイズのブロック単位でエントロピー復号することで、分離画像間の予測モードと量子化係数を復号する処理を実施する。
　エントロピー復号処理部５０の逆量子化部５２はエントロピー復号部５１により復号された量子化係数を逆量子化して、その逆量子化の結果として得られる直交変換係数を逆直交変換部５３に出力する処理を実施する。
　エントロピー復号処理部５０の逆直交変換部５３は逆量子化部５２から出力された直交変換係数を逆直交変換して、その逆直交変換の結果として得られる予測差分信号を加算部５５に出力する処理を実施する。
　予測画像生成部５４はエントロピー復号部５１によりエントロピー復号された分離画像間の予測モードに基づいて、フレームメモリ３８に格納されている分離画像（１）の復号画像を用いて、分離画像（２）（３）（４）の予測画像を生成する処理を実施する。なお、予測画像生成部５４は第２の予測画像生成処理部を構成している。
　加算部５５は予測画像生成部５４により生成された分離画像（２）（３）（４）の予測画像と逆直交変換部５３から出力された予測差分信号を加算して、その加算結果である分離画像（２）（３）（４）の復号画像を出力する処理を実施する。なお、加算部５５は第２の復号画像出力処理部を構成している。
　次に動作について説明する。
　ストリーム分離部３１は、図１の動画像符号化装置から送信されたビットストリームを入力すると、ユニークワードで区切られたスライス単位に分離画像ＩＤを復号することで、そのビットストリームから分離画像（１）のスライスデータと、分離画像（２）（３）（４）のスライスデータを分離する。
　エントロピー復号部３３は、ストリーム分離部３１から分離画像（１）のスライスデータを受けると、分離画像（１）のスライスデータを算術復号あるいは可変長復号などのエントロピー復号を実施することで、所定サイズのブロック単位のイントラ予測モードと一次元の量子化係数列を復号する。
　また、エントロピー復号部３３は、一次元の量子化係数列を所定の順番でスキャンして２次元の量子化係数に変換する。
　逆量子化部３４は、エントロピー復号部３３から量子化係数を受けると、エントロピー復号部３３により復号された量子化パラメータ（図示せず）にしたがって、その量子化係数を逆量子化し、その逆量子化の結果として得られる直交変換係数を逆直交変換部３５に出力する。
　逆直交変換部３５は、逆量子化部３４から直交変換係数を受けると、その直交変換係数に対して、ＤＣＴやアダマール変換等の逆直交変換を施すことで、その逆直交変換の結果として得られる予測差分信号を加算部３７に出力する。
　イントラ予測部３６は、エントロピー復号部３３からイントラ予測モードを受けると、図１の動画像符号化装置におけるイントラ予測部２と同様に、そのイントラ予測モードに基づいて、フレームメモリ３８に格納されている近傍ブロックの復号画像の画素値を用いて分離画像（１）の予測画像を生成する。
　イントラ予測部３６が使用するイントラ予測モードは、図１の動画像符号化装置におけるイントラ予測部２が使用する予測モードと同じであり、平均値予測と８つの予測方向から予測する計９つの予測モードの中から、いずれか一つ選択した予測モードである。
　加算部３７は、イントラ予測部３６が分離画像（１）の予測画像を生成すると、分離画像（１）の予測画像と逆直交変換部３５から出力された予測差分信号を加算し、その加算結果である分離画像（１）の復号画像をフレームメモリ３８及び画像合成部４０に出力する。
　分離画像間予測復号部３９は、ストリーム分離部３１から分離画像（２）（３）（４）のスライスデータを受けると、フレームメモリ３８に格納されている分離画像（１）の復号画像を用いて、分離画像（２）（３）（４）のスライスデータを復号して、分離画像（２）（３）（４）の復号画像を画像合成部４０に出力する。
　以下、分離画像間予測復号部３９の処理内容を具体的に説明する。ここでは、分離画像（２）のスライスデータが復号される例を説明する。
　分離画像間予測復号部３９のエントロピー復号部５１は、ストリーム分離部３１から分離画像（２）のスライスデータを受けると、分離画像（２）のスライスデータを算術復号あるいは可変長復号などのエントロピー復号を実施することで、所定サイズのブロック単位の分離画像間の予測モードと量子化係数を復号する
　また、エントロピー復号部５１は、一次元の量子化係数列を所定の順番でスキャンして２次元の量子化係数に変換する。
　逆量子化部５２は、エントロピー復号部５１から量子化係数を受けると、エントロピー復号部５１により復号された量子化パラメータ（図示せず）にしたがって、その量子化係数を逆量子化し、その逆量子化の結果として得られる直交変換係数を逆直交変換部５３に出力する。
　逆直交変換部５３は、逆量子化部５２から直交変換係数を受けると、その直交変換係数に対して、ＤＣＴやアダマール変換等の逆直交変換を施すことで、その逆直交変換の結果として得られる予測差分信号を加算部５５に出力する。
　予測画像生成部５４は、エントロピー復号部５１から分離画像間の予測モードを受けると、その分離画像間の予測モードに基づいて、フレームメモリ３８に格納されている分離画像（１）の復号画像を用いて分離画像（２）の予測画像を生成する。
　予測モードの種類と予測画像の生成方法は、上記実施の形態１の動画像符号化装置における予測画像生成部２１と同じである。
　加算部５５は、予測画像生成部５４が分離画像（２）の予測画像を生成すると、分離画像（２）の予測画像と逆直交変換部５３から出力された予測差分信号を加算し、その加算結果である分離画像（２）の復号画像を画像合成部４０に出力する。
　分離画像（３）、分離画像（４）のスライスデータについても、分離画像（２）と同様の手順で復号され、分離画像（３）の復号画像、分離画像（４）の復号画像が画像合成部４０に入力される。
　画像合成部４０は、加算部３７から出力された分離画像（１）の復号画像と分離画像間予測復号部３９から出力された分離画像（２）（３）（４）の復号画像を合成して表示画像を生成する。
　即ち、画像合成部４０は、加算部３７から分離画像（１）の復号画像を入力し、分離画像間予測復号部３９から分離画像（２）（３）（４）の復号画像を入力すると、上記実施の形態１の動画像符号化装置における画像分離部１とは逆の手順で１枚の画像へ合成することで、表示画像を生成する。
　各分離画像の合成後の画像における画素位置は図３の入力画像と同じである。
　以上で明らかなように、この実施の形態２によれば、分離画像（１）のスライスデータと分離画像（２）（３）（４）のスライスデータが多重化されているビットストリームを入力し、そのビットストリームから分離画像（１）のスライスデータと分離画像（２）（３）（４）のスライスデータを分離するストリーム分離部３１を設け、フレーム内予測復号手段がストリーム分離部３１により分離された分離画像（１）のスライスデータを復号して、分離画像（１）の復号画像を出力し、分離画像間予測復号部３９がストリーム分離部３１により分離された分離画像（１）の復号画像を用いて、ストリーム分離部３１により分離された分離画像（２）（３）（４）の符号化データを復号して、分離画像（２）（３）（４）の復号画像を出力するように構成したので、高い符号化効率で符号化された画像を正しく復号して、元の高解像度の画像を表示することができる効果を奏する。
　また、この実施の形態２によれば、分離画像毎に独立に構成されたスライスデータを復号するように構成したので、並列に復号処理を行うことができるようになり、その結果、動画像復号装置の回路規模を小さくすることができる効果を奏する。
　なお、この実施の形態２では、分離画像を復号後に、画像合成部４０が４つの分離画像を合成して、元の高解像度の表示画像を生成するものについて示したが、先に復号処理が完了している分離画像（１）の復号画像を表示画像として、先に表示装置に送ることで、低解像度の画像を表示する。
　その後、分離画像（２）、分離画像（３）、分離画像（４）の復号が完了次第、順次、分離画像（１）の復号画像と合成することで、解像度の高い表示画像を生成して、表示装置に表示する画像の解像度を段階的に高めるようにする。
　表示装置に表示する画像の順番は、例えば、次の通りである。
　分離画像（１）　→　合成画像（分離画像（１）＋分離画像（２））　→　合成画像（分離画像（１）＋分離画像（２）＋分離画像（３））　→　合成画像（分離画像（１）＋分離画像（２）＋分離画像（３）＋分離画像（４））
　ストリームの編集時やサムネイル画像の再生時、あるいは、低い処理能力の再生装置においては、分離画像（１）に対応する分離画像ＩＤを有するスライスデータのみを復号して、１／４の解像度の画像を復号して表示するようにしてもよい。
　この発明に係る動画像符号化装置及び動画増幅後装置は、画質劣化と回路規模の増大を抑えて高い符号化効率を実現することができるため、画像を複数に分離して符号化する動画像符号化装置と、複数に分離して符号化されている画像を復号する動画像復号装置等に用いるのに適している。

Claims (9)

  1. 　入力画像を構成する画素を所定数おきにサンプリングして、第１の分離画像を生成するとともに、上記画素と異なる画素を所定数おきにサンプリングして、少なくとも１以上の第２の分離画像を生成する分離画像生成手段と、上記分離画像生成手段により生成された第１の分離画像を構成する画素を用いて、上記第１の分離画像をフレーム内で予測符号化するフレーム内予測符号化手段と、上記分離画像生成手段により生成された第１の分離画像を構成する画素を用いて、上記分離画像生成手段により生成された第２の分離画像を分離画像間で予測符号化する分離画像間予測符号化手段と、上記フレーム内予測符号化手段から出力される第１の分離画像の符号化データと上記分離画像間予測符号化手段から出力される第２の分離画像の符号化データを多重化してビットストリームを生成する多重化手段とを備えた動画像符号化装置。
  2. 　フレーム内予測符号化手段は、分離画像生成手段により生成された第１の分離画像を所定サイズのブロック単位でフレーム内予測を実施して、上記第１の分離画像の予測画像を生成し、上記第１の分離画像と上記予測画像の差分画像を出力する第１の差分画像出力処理部と、上記第１の差分画像出力処理部から出力された差分画像をブロック単位で直交変換し、上記直交変換の結果として得られる直交変換係数をエントロピー符号化する第１のエントロピー符号化処理部と、上記直交変換係数を逆直交変換し、上記逆直交変換の結果として得られる復号予測差分信号と上記予測画像を加算して第１の分離画像の局所復号画像を生成する局所復号画像生成処理部とから構成されており、
    　分離画像間予測符号化手段は、上記局所復号画像生成処理部により生成された第１の分離画像の局所復号画像を構成する画素を用いて、上記分離画像生成手段により生成された第２の分離画像の予測画像を生成し、上記第２の分離画像と上記予測画像の差分画像を出力する第２の差分画像出力処理部と、上記第２の差分画像出力処理部から出力された差分画像をブロック単位で直交変換し、上記直交変換の結果として得られる直交変換係数をエントロピー符号化する第２のエントロピー符号化処理部とから構成されていることを特徴とする請求項１記載の動画像符号化装置。
  3. 　分離画像間予測符号化手段の第２の差分画像出力処理部は、分離画像生成手段により生成された第２の分離画像の予測画像を生成する際、複数の予測モードの中から、上記分離画像生成手段により生成された第１の分離画像と上記第２の分離画像間の画素位置のずれの補正に適する予測モードを選択して、上記予測モードで上記第２の分離画像の予測画像を生成し、第２のエントロピー符号化処理部は、上記第２の差分画像出力処理部により選択された予測モードをエントロピー符号化することを特徴とする請求項２記載の動画像符号化装置。
  4. 　フレーム内予測符号化手段は、「ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４」規格にしたがって第１の分離画像を符号化することを特徴とする請求項１記載の動画像符号化装置。
  5. 　多重化手段は、第１の分離画像の符号化データと第２の分離画像の符号化データを多重化する際、符号化の単位となるブロックを１個以上纏めたスライス単位で多重化することでビットストリームを生成するものであり、上記第１及び第２の分離画像は独立にスライスを構成し、各スライスのヘッダには上記第１及び第２の分離画像を識別するＩＤが多重化されていることを特徴とする請求項１記載の動画像符号化装置。
  6. 　第１の分離画像の符号化データと第２の分離画像の符号化データが多重化されているビットストリームを入力し、上記ビットストリームから第１の分離画像の符号化データと第２の分離画像の符号化データを分離する符号化データ分離手段と、上記符号化データ分離手段により分離された第１の分離画像の符号化データを復号して、上記第１の分離画像の復号画像を得るフレーム内予測復号手段と、上記フレーム内予測復号手段により得られた第１の分離画像の復号画像を用いて、上記符号化データ分離手段により分離された第２の分離画像の符号化データを復号して、上記第２の分離画像の復号画像を得る分離画像間予測復号手段とを備えた動画像復号装置。
  7. 　フレーム内予測復号手段は、符号化データ分離手段により分離された第１の分離画像の符号化データを所定サイズのブロック単位でエントロピー復号して逆直交変換する第１のエントロピー復号処理部と、上記第１のエントロピー復号処理部のエントロピー復号により得られる予測モードにしたがってフレーム内予測を実施して、上記第１の分離画像の予測画像を生成する第１の予測画像生成処理部と、上記第１の予測画像生成処理部により生成された予測画像と上記第１のエントロピー復号処理部の逆直交変換結果である予測差分信号を加算して、その加算結果である上記第１の分離画像の復号画像を出力する第１の復号画像出力処理部とから構成されており、
    　分離画像間予測復号手段は、上記符号化データ分離手段により分離された第２の分離画像の符号化データを所定サイズのブロック単位でエントロピー復号して逆直交変換する第２のエントロピー復号処理部と、上記第１の復号画像出力処理部から出力される第１の分離画像の復号画像を用いて分離画像間予測を実施して、上記第２の分離画像の予測画像を生成する第２の予測画像生成処理部と、上記第２の予測画像生成処理部により生成された予測画像と上記第２のエントロピー復号処理部の逆直交変換結果である予測差分信号を加算して、その加算結果である上記第２の分離画像の復号画像を出力する第２の復号画像出力処理部とから構成されていることを特徴とする請求項６記載の動画像復号装置。
  8. 　フレーム内予測復号手段により得られた第１の分離画像の復号画像と分離画像間予測復号手段により得られた第２の分離画像の復号画像を合成して表示画像を生成する画像合成手段を設けたことを特徴とする請求項６記載の動画像復号装置。
  9. 　画像合成手段は、フレーム内予測復号手段により得られた第１の分離画像の復号画像を表示画像として表示してから、上記第１の分離画像の復号画像と第２の分離画像の復号画像を合成して生成した表示画像を表示することで、段階的に表示画像の解像度を上げることを特徴とする請求項８記載の動画像復号装置。
PCT/JP2009/006082 2008-11-14 2009-11-13 動画像符号化装置及び動画像復号装置 WO2010055675A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/129,253 US9001892B2 (en) 2008-11-14 2009-11-13 Moving image encoder and moving image decoder
EP09825928.6A EP2352296A4 (en) 2008-11-14 2009-11-13 MOVING IMAGE ENCODING APPARATUS AND ANIMATED IMAGE DECODING APPARATUS
JP2010537706A JPWO2010055675A1 (ja) 2008-11-14 2009-11-13 動画像符号化装置及び動画像復号装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-292381 2008-11-14
JP2008292381 2008-11-14

Publications (1)

Publication Number Publication Date
WO2010055675A1 true WO2010055675A1 (ja) 2010-05-20

Family

ID=42169820

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/006082 WO2010055675A1 (ja) 2008-11-14 2009-11-13 動画像符号化装置及び動画像復号装置

Country Status (5)

Country Link
US (1) US9001892B2 (ja)
EP (1) EP2352296A4 (ja)
JP (1) JPWO2010055675A1 (ja)
KR (1) KR20110095320A (ja)
WO (1) WO2010055675A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175332A (ja) * 2011-02-21 2012-09-10 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム
JP2013125973A (ja) * 2011-12-13 2013-06-24 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
JP2015053727A (ja) * 2014-11-13 2015-03-19 日本電信電話株式会社 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519557B1 (ko) * 2013-12-27 2015-05-13 연세대학교 산학협력단 고속 화면 내 예측 부호화 방법 및 그 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS631184A (ja) * 1986-06-20 1988-01-06 Nippon Telegr & Teleph Corp <Ntt> 予測符号化方式
JP2006352636A (ja) 2005-06-17 2006-12-28 Kddi R & D Laboratories Inc 動画像符号化装置
JP2007074725A (ja) * 2005-09-06 2007-03-22 Samsung Electronics Co Ltd 映像のイントラ予測符号化及び復号化方法、並びに装置
JP2007151062A (ja) * 2005-10-28 2007-06-14 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置及び画像処理システム
WO2007100221A1 (en) * 2006-03-03 2007-09-07 Samsung Electronics Co., Ltd. Method of and apparatus for video intraprediction encoding/decoding
JP2008125002A (ja) 2006-11-15 2008-05-29 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置及び画像処理プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007053554A (ja) * 2005-08-17 2007-03-01 Sony Corp 符号化装置、符号化方法、復号装置、復号方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS631184A (ja) * 1986-06-20 1988-01-06 Nippon Telegr & Teleph Corp <Ntt> 予測符号化方式
JP2006352636A (ja) 2005-06-17 2006-12-28 Kddi R & D Laboratories Inc 動画像符号化装置
JP2007074725A (ja) * 2005-09-06 2007-03-22 Samsung Electronics Co Ltd 映像のイントラ予測符号化及び復号化方法、並びに装置
JP2007151062A (ja) * 2005-10-28 2007-06-14 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置及び画像処理システム
WO2007100221A1 (en) * 2006-03-03 2007-09-07 Samsung Electronics Co., Ltd. Method of and apparatus for video intraprediction encoding/decoding
JP2008125002A (ja) 2006-11-15 2008-05-29 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置及び画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2352296A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175332A (ja) * 2011-02-21 2012-09-10 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム
JP2013125973A (ja) * 2011-12-13 2013-06-24 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
US9332275B2 (en) 2011-12-13 2016-05-03 Nippon Telegraph And Telephone Corporation Methods, apparatuses, and programs for encoding and decoding picture
JP2015053727A (ja) * 2014-11-13 2015-03-19 日本電信電話株式会社 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム

Also Published As

Publication number Publication date
KR20110095320A (ko) 2011-08-24
US9001892B2 (en) 2015-04-07
EP2352296A1 (en) 2011-08-03
US20110216830A1 (en) 2011-09-08
EP2352296A4 (en) 2013-10-16
JPWO2010055675A1 (ja) 2012-04-12

Similar Documents

Publication Publication Date Title
CN107087170B (zh) 编码设备、编码方法、解码设备和解码方法
CN107018424B (zh) 图像处理装置和图像处理方法
EP1950971B1 (en) Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
KR101538362B1 (ko) 영상 복호 장치, 영상 복호 방법 및 영상 복호 프로그램을 저장한 컴퓨터 판독 가능한 저장 매체
EP2898694B1 (en) Video compression with color space scalability
EP2437499A1 (en) Video encoder, video decoder, video encoding method, and video decoding method
WO2012096150A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
WO2009073077A1 (en) An extension to the avc standard to support the encoding and storage of high resolution digital still pictures in parallel with video
KR20120030581A (ko) 효율적인 2ｄ-3ｄ 렌더링을 위한 비디오 디코더에서의 텍스쳐 압축
US7903306B2 (en) Sensor image encoding and/or decoding system, medium, and method
WO2012081162A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP5768180B2 (ja) 画像復号方法及び画像復号装置
WO2010055675A1 (ja) 動画像符号化装置及び動画像復号装置
JP2008166916A (ja) イントラ予測符号化装置およびイントラ予測符号化方法
JP4580880B2 (ja) 画像符号化装置、画像復号装置及び画像処理システム
JP2018032913A (ja) 映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム
JP5742049B2 (ja) カラー動画像符号化方法及びカラー動画像符号化装置
JP2013017085A (ja) 画像符号化装置及び画像符号化方法
CN114830643A (zh) 图像编码方法和图像解码方法
WO2011062010A1 (ja) 動画像符号化復号化装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09825928

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010537706

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13129253

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009825928

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20117013449

Country of ref document: KR

Kind code of ref document: A