WO2007032239A1 - 符号化装置、符号化方法およびそのプログラム、並びに、復号装置、復号方法およびそのプログラム - Google Patents

符号化装置、符号化方法およびそのプログラム、並びに、復号装置、復号方法およびそのプログラム Download PDF

Info

Publication number
WO2007032239A1
WO2007032239A1 PCT/JP2006/317657 JP2006317657W WO2007032239A1 WO 2007032239 A1 WO2007032239 A1 WO 2007032239A1 JP 2006317657 W JP2006317657 W JP 2006317657W WO 2007032239 A1 WO2007032239 A1 WO 2007032239A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
data
encoding
circuit
decoding
Prior art date
Application number
PCT/JP2006/317657
Other languages
English (en)
French (fr)
Inventor
Liming Wang
Teruhiko Suzuki
Yoichi Yagasaki
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to BRPI0606273-3A priority Critical patent/BRPI0606273A2/pt
Priority to EP20060797552 priority patent/EP1811786A4/en
Priority to CN2006800014760A priority patent/CN101091394B/zh
Priority to US11/721,887 priority patent/US8238425B2/en
Publication of WO2007032239A1 publication Critical patent/WO2007032239A1/ja
Priority to HK08102685A priority patent/HK1108789A1/xx
Priority to US13/425,107 priority patent/US8842732B2/en
Priority to US13/568,828 priority patent/US8831096B2/en
Priority to US14/481,464 priority patent/US20140376629A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Definitions

  • the present invention relates to an encoding device, an encoding method and a program for encoding image data, and a decoding device, a decoding method and a program for decoding image data.
  • DCT discrete cosine transform
  • MPEG Motion Picture Experts Group
  • SC SC ret e Cosine Transform
  • SVC Scalable Video Coding
  • an input image is separated into two layers, for example, an upper layer and a lower layer by an image layering circuit. Thereafter, the upper layer code key circuit codes the upper layer, and the lower layer code key circuit codes the lower layer. Then, the upper layer and the lower layer with the sign are multiplexed and transmitted.
  • the lower layer is also called a base layer, and is a hierarchy with low image quality. When only the lower layer bit stream is decoded, an image with relatively low image quality is decoded.
  • the lower layers also contain more important information about image quality.
  • the upper layer is also called an enhancement layer, and is a layer for improving image quality and decoding high-quality images.
  • an enhancement layer is a layer for improving image quality and decoding high-quality images.
  • intra code encoding is performed in the upper layer code encoding circuit.
  • a decoded image decoded after being encoded by the lower layer encoding circuit can be used as a predicted image.
  • An encoding apparatus is an encoding apparatus that encodes progressive image data and interlaced image data corresponding to the progressive image data, the interlaced image being
  • a first encoding unit configured to generate first encoded data obtained by encoding picture data constituting data and reconstructed image data reconstructed by decoding the first encoded data
  • An upsampling processing unit configured to upsample the reconstructed image data generated by the first encoding unit to generate image data having the same resolution as the progressive image data, and the upsampling unit Using the image data generated by the processing unit as the predicted image data, the picture data constituting the progressive image data is encoded to generate the second code.
  • a second encoding unit configured to generate encoded data.
  • the encoding device of the present invention is an encoding device that encodes progressive image data and interlaced image data corresponding to the progressive image data, wherein picture data constituting the interlaced image data is encoded.
  • Encoded first encoded data, and First encoding means for generating reconstructed image data reconstructed by decoding the first encoded data, and the reconstructed image data generated by the first encoding means are up-sampled to Up-sampling processing means for generating image data having the same resolution as progressive image data, and picture data constituting the progressive image data are encoded by using the image data generated by the up-sampling processing means as predicted image data.
  • An encoding method is an encoding method for encoding progressive image data and interlaced image data corresponding to the progressive image data, wherein the interlaced image is encoded.
  • Generated in the first step the first step of generating first encoded data obtained by encoding picture data constituting the data, and reconstructed image data reconstructed by decoding the first encoded data
  • the second step of up-sampling the reconstructed image data to generate image data having the same resolution as the progressive image data, and the progressive image using the image data generated in the second step as predicted image data.
  • a program according to a third embodiment of the present invention is a program executed by a computer that encodes progressive image data and interlaced image data corresponding to the progressive image data.
  • a first procedure for generating first encoded data obtained by encoding picture data constituting image data, and reconstructed image data reconstructed by decoding the first encoded data; and A second procedure for upsampling the generated reconstructed image data to generate image data having the same resolution as the progressive image data, and the image data generated in the second procedure as predicted image data.
  • a third procedure for generating second code data by encoding the picture data constituting the progressive image data To be executed.
  • the decoding apparatus encodes first encoded data obtained by encoding progressive image data and interlaced image data corresponding to the progressive image data.
  • a decoding device for decoding the obtained second code data, the first decoding unit configured to decode the second code data, and the first decoding An up-sample processing unit configured to interpolate the first predicted image data generated by decoding in the signal unit to generate second predicted image data, and the second sample generated in the up-sample processing unit.
  • a second decoding unit configured to decode the first code data based on the predicted image data.
  • the first code data obtained by encoding progressive image data and the second code data obtained by encoding interlaced image data corresponding to the progressive image data are also provided.
  • the first decoding means for decoding the second encoded data, and the first prediction image data generated by the decoding in the first decoding means is subjected to interpolation processing to obtain the second prediction Up-sampling processing means for generating image data and second decoding means for decoding the first encoded data based on the second predicted image data generated by the up-sampling processing means.
  • the decoding method encodes first encoded data obtained by encoding progressive image data and interlaced image data corresponding to the progressive image data.
  • the program according to the sixth embodiment of the present invention is obtained by encoding first encoded data obtained by encoding progressive image data and interlaced image data corresponding to the progressive image data.
  • a program executed by a computer for decoding the second encoded data, the first procedure for decoding the second encoded data, and the first predicted image data generated by the decoding in the first procedure A second procedure for generating second predicted image data through interpolation processing; and a third procedure for decoding the first code data based on the second predicted image data generated in the second procedure;
  • the above-mentioned computer causes the computer to execute.
  • a progressive image is transmitted to an upper layer. It is possible to provide an encoding device, an encoding method, and a program capable of encoding image data and encoding interlaced image data in a lower layer.
  • a decoding device capable of decoding progressive image data encoded in the upper layer and interlaced image data encoded in the lower layer.
  • FIG. 1 is a diagram showing a configuration example of an encoding / decoding system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a coding apparatus in the encoding / decoding system shown in FIG. 1.
  • FIG. 3 is a diagram for explaining progressive image data and interlaced image data shown in FIG. 2.
  • FIG. 4 is a diagram for explaining a configuration example of a lower layer code key circuit shown in FIG.
  • FIG. 5 is a diagram for explaining a configuration example of the conversion circuit shown in FIG. 2.
  • 6A and 6B are diagrams for explaining an example of processing of the intra-field prediction image generation circuit shown in FIG.
  • FIG. 7 is a flowchart for explaining an example of processing of the intra-frame predicted image generation circuit shown in FIG.
  • FIG. 8A and FIG. 8B are diagrams for explaining an example of processing of the intra-field prediction image generation circuit shown in FIG.
  • FIG. 9A and FIG. 9B are diagrams for explaining an example of processing of the intra-frame predicted image generation circuit shown in FIG.
  • FIG. 10 is a flowchart for explaining an example of processing of the intra-frame predicted image generation circuit shown in FIG.
  • FIG. 11 is a diagram for explaining an example of processing of the intra-frame predicted image generation circuit shown in FIG. 5.
  • FIG. 12 is a diagram for explaining an example of processing of the intra-frame predicted image generation circuit shown in FIG. 5.
  • FIG. 13 is a diagram illustrating a configuration example of an upper layer code key circuit illustrated in FIG. 2.
  • FIG. 14 is a diagram showing a configuration diagram example of the lower layer prediction circuit shown in FIG.
  • FIG. 15 is a diagram showing a configuration example of a decoding device in the encoding / decoding system shown in FIG. 1.
  • FIG. 16 is a diagram showing a configuration example of the lower layer decoding circuit shown in FIG. 15.
  • FIG. 17 is a diagram showing a configuration example of the conversion circuit shown in FIG.
  • FIG. 18 is a diagram showing a configuration example of an upper layer decoding circuit shown in FIG.
  • FIG. 19 is a diagram for explaining a modification of the embodiment of the present invention.
  • FIG. 1 is a conceptual diagram of the encoding / decoding system of this embodiment.
  • the encoding / decoding system 1 includes an encoding device 2 provided on the transmission side and a decoding device 3 provided on the reception side.
  • the transmitting side encoding device 2 performs discrete cosine transform ( Generates frame-coded image data (bitstream) by compressing (encoding) image data by orthogonal transform and motion compensation such as DCT) and power Lunen * Label transform, and modulates the frame-coded image data Then, it is transmitted via a transmission medium 5 such as a satellite broadcast wave, a cable TV network, a telephone line network, or a cellular phone line network.
  • a transmission medium 5 such as a satellite broadcast wave, a cable TV network, a telephone line network, or a cellular phone line network.
  • frame image data expanded by inverse transformation of orthogonal transformation and motion compensation at the time of the modulation is generated and used.
  • the transmission medium 5 is not limited to the communication network described above, and may be a recording medium such as an optical disk, a magnetic disk, and a semiconductor memory.
  • the hierarchization circuit 10 is connected to the progressive image data (progressive image signal) S 10-1 based on the image data S9 to be encoded. Configured to generate race image data S 10-2! RU
  • the lower layer encoding circuit 12 is configured to encode the interlaced image data S10_2 to generate the lower encoded data S12.
  • the conversion circuit 13 interpolates (up-samples) the lower prediction image data L—PRE generated by the lower layer encoder circuit 12, and has the same resolution (number of scanning lines) as the progressive image data S10-1.
  • the lower prediction image data L—PREb is generated and output to the upper layer encoding circuit 14.
  • the upper layer encoding circuit 14 is configured to generate the upper encoded data S 14 by encoding the progressive image data S 10-1 based on the lower predicted image data L—PREb.
  • the sign key device 2 will be described with reference to FIG.
  • FIG. 2 is a diagram illustrating an example of the overall configuration of the encoding device 2.
  • the encoding device 2 includes, for example, a hierarchization circuit 10, a delay circuit 11, a lower layer encoding circuit 12, a conversion circuit 13, an upper layer encoding circuit 14, and a multiplexing circuit 15.
  • the hierarchization circuit 10 is based on image data S9 to be encoded. Accordingly, progressive image data (progressive image signal) S 10-1 and interlaced image data S10_2 are generated. Further, the hierarchizing circuit 10 is configured to write each of the picture data FR1 to FR6,... Constituting the generated progressive image data S10-1 to the delay circuit 11.
  • the progressive image data S 10-1 is, for example, 60 frames / sec (60p). Further, the hierarchizing circuit 10 is configured to output the picture data FI 1 to 6... Constituting the generated interlaced image data S 10-2 to the lower layer encoding circuit 12.
  • the interlaced image data S 10-2 is, for example, 60 fields Zsec (60i).
  • the delay circuit 11 delays each piece of picture data constituting the progressive image data (progressive signal) S10-1 input from the hierarchization circuit 10 by, for example, the processing time in the lower layer encoding circuit 12 and the conversion circuit 13. Then, it is configured to output to the upper layer code circuit 14.
  • the lower layer code circuit 12 encodes the interlaced image data S 10-2 input from the hierarchizing circuit 10 to generate lower code data S 12 and outputs this to the multiplexing circuit 15. It is configured as follows.
  • the lower layer coding circuit 12 is configured to generate lower predicted image data L-PRE and output it to the conversion circuit 13 in the above coding.
  • FIG. 4 is a diagram illustrating a configuration example of the lower layer code key circuit 12.
  • the lower layer encoding circuit 12 includes, for example, a screen rearrangement circuit 23, an arithmetic circuit 31, an orthogonal transformation circuit 32, a quantization circuit 33, a rate control circuit 34, a lossless encoding circuit 35, a buffer memory 36, and an inverse quantization circuit 37. , An inverse orthogonal transform circuit 38, an adder circuit 39, a deblock filter 40, a frame memory 41, an intra prediction circuit 42, and a motion prediction / compensation circuit 43.
  • the screen rearrangement circuit 23 has, for example, a progressive image data S10-2 that has also been input into the hierarchical circuit 10 shown in FIG. 2 in a GOP (Group Of Pictures) structure composed of picture types I, P, and B. Accordingly, the calculation circuit 31 and the intra prediction circuit 42 are rearranged in the encoding order. And motion prediction / compensation circuit 43.
  • GOP Group Of Pictures
  • the arithmetic circuit 31 generates image data indicating the difference between the picture data to be encoded input from the screen rearrangement circuit 23 and the predicted image data PI input from the intra prediction circuit 42 or the motion prediction / compensation circuit 43. Then, this is output to the orthogonal transformation circuit 32.
  • the orthogonal transformation circuit 32 performs orthogonal transformation such as discrete cosine transformation (DCT) and Karhunen's label transformation on the image data input from the arithmetic circuit 31, and generates image data (for example, DCT coefficient) indicating transformation coefficients. It is configured to output this to the quantization circuit 33
  • the quantization circuit 33 quantizes the image data (transformation coefficient before quantization) input from the orthogonal transform circuit 32 based on the quantization scale QS input from the rate control circuit 34, and performs quantization. Image data indicating the transform coefficient is generated and output to the lossless encoding circuit 35 and the inverse quantization circuit 37! RU
  • the rate control circuit 34 is configured to generate a quantization scale QS based on, for example, the image data read from the noffer memory 36 and output the quantization scale QS to the quantization circuit 33.
  • the lossless encoding circuit 35 Image data obtained by variable-length encoding image data input from the circuit 33 is stored in the buffer memory 36.
  • the lossless encoding circuit 35 also includes the motion vector MV input from the motion prediction / compensation circuit 43 or its differential motion vector, identification data of reference image data, and the intra prediction mode input from the intra prediction circuit 42 as header data. It is configured to store in
  • the image data stored in the noffer memory 36 is read out to the multiplexing circuit 15 shown in FIG. 2 as lower code data S12.
  • the inverse quantization circuit 37 performs an inverse quantization process corresponding to the quantization of the quantization circuit 33 on the image data from the quantization circuit 33 to generate data obtained by the inverse quantization process, and inversely orthogonalizes the data. It is configured to output to the conversion circuit 38.
  • the inverse orthogonal transform circuit 38 outputs the image data generated by performing the inverse transform of the orthogonal transform in the orthogonal transform circuit 32 to the data input from the inverse quantization circuit 37 to the adder circuit 39. It is configured as follows.
  • the adder circuit 39 adds (decoded) the image data input from the inverse orthogonal transform circuit 38 to the predicted image data PI input from the intra prediction circuit 42 or the motion prediction / compensation circuit 43 and refers to it (reconstruction).
  • the picture data is generated and output to the deblocking filter 40.
  • the deblock filter 40 is configured to remove block distortion of the reference picture data input from the adder circuit 39 and write it to the frame memory 41.
  • the reference picture data written in the frame memory 41 is read out from the frame memory 41 as lower predicted image data L-PRE and output to the conversion circuit 13 shown in FIG. 2, for example.
  • the intra-prediction circuit 42 is configured to determine an intra-prediction mode and a block size of a prediction block that minimize a residual in a macroblock that performs intra-coding.
  • the intra prediction circuit 42 uses 4x4 and 16x16 pixels as the block size.
  • the intra prediction circuit 42 is configured to output prediction image data PI based on intra prediction to the arithmetic circuit 31 and the adder circuit 39 when intra prediction is selected.
  • the motion prediction / compensation circuit 43 performs motion prediction based on the reference picture data REF that has already been locally decoded and stored in the frame memory 41 after encoding, and minimizes the residual. And is configured to determine a block size for motion compensation.
  • the motion prediction / compensation circuit 43 uses 16 ⁇ 16, 16 ⁇ 8, 8 ⁇ 16, 8 ⁇ 8, 8 ⁇ 4, 4 ⁇ 8, and 4 ⁇ 4 pixels as block sizes.
  • the motion prediction / compensation circuit 43 is configured to output prediction image data PI obtained by inter prediction to the arithmetic circuit 31 and the adder circuit 39 when inter prediction is selected.
  • the conversion circuit 13 will be described with reference to FIG.
  • the conversion circuit 13 interpolates the lower prediction image data L—PRE input from the lower layer code circuit 12, and the upper layer code circuit 14 receives the program input from the delay circuit 11.
  • the lower prediction image data L_PREb having the same resolution (number of scanning lines) as the shib image data S10_l is generated and output to the upper layer encoding circuit 14! RU
  • FIG. 5 is a diagram illustrating a configuration example of the conversion circuit 13.
  • the conversion circuit 13 includes, for example, an intra field prediction image generation circuit 21 and an intra frame prediction image generation circuit 22.
  • the field picture data Y of the interlaced image data S10-2 having the same time stamp as the frame picture data X of the progressive image data S10-1 is referred to as base picture data of the picture data X.
  • the field picture data FI1 is the base picture data of the frame picture data FR1.
  • One base block MBY corresponding to the macroblock MBX of the frame picture data X of the progressive picture data S10-1 is present in the field picture data Y which is the base picture data of the frame picture data X.
  • the base block MBY is the same length as the macroblock MBX and half the height.
  • the upper left pixel position of the base block MBX is located at the spatial position (xP, yP) of the base block MBX with respect to the upper left pixel position of the frame picture data X
  • the upper left pixel position of the base block MBY is the spatial position (xP , yP / 2).
  • the top field data and the subsequent bottom field data are called supplementary field pairs.
  • top field data is supplementary field data of bottom field data in the same pair
  • bottom field data is supplementary field data of top field data in the same pair.
  • the field data FI1 and FI2 constitute a supplementary field pair
  • the field data FI2 is the supplementary field data of the field data FI1
  • the field data FI1 is the supplementary field data of the field data FI2. is there.
  • the upper left pixel position of the block MBA has a spatial position (xP-A, yP-A) with respect to the upper left pixel position of the field data A, and the upper left pixel position of the block MBB is the upper left pixel of the field data B. If there is a spatial position (xP—B, yP_B) relative to the position, the blocks MBA and MBB have the same size, the spatial position (xP—A, yP—A) and the spatial position (xP_B, If yP—B) is the same, block MBA is a supplementary block of block MBB, and block MBB is a supplementary block of block MBA.
  • the intra-field prediction image generation circuit 21 generates a lower order corresponding to the macroblock MB to be encoded (current) when the lower prediction image data L_PRE input from the lower layer encoding circuit 12 is top field data.
  • Predictive image data L Base block data in PRE is upsampled using only its top field data as shown in Fig. 6A, and lower-predicted image data with the same resolution as progressive image data S10-1 L_PREb Generate (FI).
  • the intra-field prediction image generation circuit 21 outputs the lower prediction image data L corresponding to the macroblock MB to be encoded when the lower prediction image data L—PRE input from the lower layer encoding circuit 12 is the bottom field data.
  • Base block data in PRE is upsampled using only its bottom field data as shown in Fig. 6B, and lower prediction image data with the same resolution as progressive image data S10-1 L— Generate PREb (FI).
  • FIG. 7 is a flowchart for explaining an example of processing of the intra-field prediction image generation circuit 21 shown in FIG.
  • the intra-field prediction image generation circuit 21 is configured to perform the following processing.
  • the number of lines of the base block data in the lower predicted image data L—PRE is N.
  • the i-th line data of the base block data is defined as Base [i].
  • i is an integer from “0” to “N ⁇ 1”.
  • Steps ST12 to ST15 shown in FIG. 7 show the top field up-sampling process shown in FIGS. 6A and 8A
  • steps ST16 to ST19 shown in FIG. 7 show the bottom field up-sampling process shown in FIGS. 6B and 8B. Is shown.
  • Step ST11 The intra-field predicted image generation circuit 21 proceeds to step ST12 when the lower predicted image data L-PRE input from the lower layer coding circuit 12 is top field data, and proceeds to step ST16 otherwise.
  • the intra-field prediction image generation circuit 21 copies the i-th line data Base [i] of the base block data to the 2i-th line data PRED [2i] of the corresponding prediction block data in the lower prediction image data L—PREb. To do.
  • the intra-field prediction image generation circuit 21 generates line data PRED [0], [2],..., [2N-2] by the above copy.
  • the intra-field prediction image generation circuit 21 sets the line data one line below the lowest line of the base block data as line data Base [N].
  • the intra-field prediction image generation circuit 21 stores the line data Base [N] obtained in step ST13 in the line data PRED [2N].
  • the intra-field prediction image generation circuit 21 adds the result obtained by multiplying the line data PRED [21] by the weight wl and the result obtained by multiplying the line data PRED [2i + 2] by the weight w2 according to the following equation (1).
  • 2i + 1 first line data PRED [2i + 1] of the corresponding prediction block data in the lower prediction image data L—PREb is generated.
  • Step ST16
  • the intra-field prediction image generation circuit 21 converts the i-th line data Base [i] of the base block data into the 2i + 1st line data PRED [2i + 1] of the corresponding prediction block data in the lower prediction image data L—PREb. Copy to.
  • Step ST17 the intra-field prediction image generation circuit 21 generates line data PRED [1], [3],..., [2N-1] by the copy.
  • the intra-field prediction image generation circuit 21 sets line data one line above the top line of the base block data as line data Base [1].
  • the intra-field predicted image generation circuit 21 stores the line data Base [— 1] obtained in step ST17 in the line data PRED [— 1].
  • the intra-field prediction image generation circuit 21 adds the result obtained by multiplying the line data PRED [2i-1] by the weight wl and the result obtained by multiplying the line data PRED [2i + 1] by the weight w2 according to the following equation (2). Then, the 2i-th line data PRED [2i] of the corresponding prediction block data in the lower prediction image data L—PREb is generated.
  • Step ST20
  • the intra-field prediction image generation circuit 21 outputs the line data PRED [i] of the prediction block data generated in step ST15 and step ST19 to the upper layer encoding circuit 14 as lower prediction image data L—PR Eb (FI).
  • the intra-frame predicted image generation circuit 22 will be described with reference to FIG.
  • the intra-frame predicted image generation circuit 22 generates the current encoding target (current) as shown in FIG. 9A when the lower predicted image data L—PRE input from the lower layer encoding circuit 12 is top field data.
  • Lower prediction image data corresponding to macro block MB L Performs up-sampling using base block data Base in PRE (top field data) and supplemental block data Comp (bottom field data) of the base block data.
  • Progressive image data S10-1 is configured to generate lower prediction image data L_PREb (FR) with the same resolution! RU
  • the intra-frame prediction image generation circuit 22 when the lower prediction image data L—PRE input from the lower layer encoding circuit 12 is bottom field data, as shown in FIG. ) Macro-block MB _? 1 ⁇ : Up-sample processing is performed using base block data Base in (bottom field data) and supplemental block data Comp (top field data) of the base block data !, Progressive image data is configured to generate sub-predicted image data L_PREb (FR) with the same resolution as S10-1! RU
  • FIG. 10 is a flowchart for explaining an example of processing of the intra-frame predicted image generation circuit 22 shown in FIG.
  • the number of lines of the base block data in the lower predicted image data L—PRE is N.
  • the i-th line data of the base block data is defined as Base [i].
  • i is an integer from “0” to “N ⁇ 1”.
  • Steps ST32 to ST36 shown in FIG. 10 show the top field upsampling process shown in FIGS. 9A and 11, and steps ST37 to ST41 shown in FIG. 10 show the bottom field upsampling process shown in FIGS. 9B and 12. Is shown.
  • the intra-frame predicted image generation circuit 22 proceeds to step ST32 when the lower predicted image data L-PRE input from the lower layer encoding circuit 12 is top field data, and proceeds to step ST37 otherwise.
  • Step ST32
  • the intra-frame prediction image generation circuit 22 converts the i-th line data Base [i] of the base block data into the 2i-th line data PRED [2i] of the corresponding prediction block data in the lower prediction image data L—PREb. make a copy.
  • the intra-field prediction image generation circuit 21 generates line data PRED [0], [2],..., [2N-2] by the above copy.
  • the intra-frame predicted image generation circuit 22 substitutes the i-th line data Comp [i] of the supplemental block data corresponding to the base block data into the 2i + 1st line data PRED [2 i + 1].
  • the intra-field predicted image generation circuit 21 is the lowest label of the base block data.
  • the line data immediately below the in is the line data Base [N].
  • the intra-field predicted image generation circuit 21 stores the line data Base [N] obtained in step ST34 in the line data PRED [2N].
  • Step ST36
  • the intra-field prediction image generation circuit 21 uses the following equation (3) to multiply the line data PRED [2i] by the weight wl, the line data PRED [2i + 2], the weight w2, and the line data
  • the result of multiplying PRED [2i + 1] by weighting w3 is added to generate 2i + 1st line data PRED [2i + l] of the corresponding prediction block data in the lower prediction image data L—PREb.
  • PRED [2i + 1] wl * PRED [2i] + w2 * PRED [2i + 2] + w3 * PRED [2i + 1]
  • the intra-field prediction image generation circuit 21 converts the i-th line data Base [i] of the base block data into the 2i + 1st line data PRED [2i + 1] of the corresponding prediction block data in the lower prediction image data L—PREb. To copy.
  • the intra-field prediction image generation circuit 21 generates line data PRED [1], [3],..., [2N-1] by the copy.
  • the intra-frame predicted image generation circuit 22 substitutes the i-th line data Comp [i] of the supplemental block data corresponding to the base block data into the 2i-th line data PRED [2i].
  • the intra-frame predicted image generation circuit 22 sets line data one line above the top line of the base block data as line data Base [1].
  • the intra-frame prediction image generation circuit 22 adds the step S to the line data PRED [— 1]. Stores the line data Base [-1] obtained at T39.
  • Step ST41
  • the intra-frame prediction image generation circuit 22 uses the following equation (4) to multiply the line data PRED [2i-1] by the weight wl, the line data PRED [2i + 1] by the weight w2, The result of multiplying the data PRED [2i] by the weight w3 is added to generate the 2i-th line data PRED [2i] of the corresponding prediction block data in the lower prediction image data L—PREb.
  • PRED [2i] w 1 * PRED [2i— 1] + w2 * PRED [2i + 1] + w3 * PRED [2i]
  • Step ST42
  • the intra-frame prediction image generation circuit 22 outputs the line data PRED [i] of the prediction block data generated in step ST36 and step ST41 to the upper layer encoding circuit 14 as lower prediction image data L—PRE b (FR). To do.
  • the upper layer code circuit 14 uses the lower predicted image data L-PREb generated by the lower layer code circuit 12 input from the conversion circuit 13 to generate progressive image data S10-1.
  • the high-order code key data S14 is generated by encoding.
  • FIG. 13 is a diagram illustrating a configuration example of the upper layer code key circuit 14.
  • the upper layer encoding circuit 14 includes, for example, the screen rearrangement circuit 123, the arithmetic circuit 131, the direct conversion circuit 132, the quantization circuit 133, the rate control circuit 134, the lossless encoding circuit 135, the buffer memory 136, and the inverse quantization circuit. 137, an inverse orthogonal transform circuit 138, an adder circuit 139, a debuck filter 140, a frame memory 141, an intra prediction circuit 142, and a motion prediction / compensation circuit 143.
  • the screen rearrangement circuit 123 converts the picture data of the progressive image data S10-1 read from the delay circuit 11 shown in FIG. 2 according to the GOP structure including the picture types I, P, and B.
  • the image data are rearranged in the order of encoding, and output to the arithmetic circuit 131, the intra prediction circuit 142, and the motion prediction / compensation circuit 143 as the picture data ORG to be encoded.
  • the arithmetic circuit 131 compares the encoding target picture data input from the screen rearrangement circuit 123 and the predicted image data PI input from the intra prediction circuit 142, motion prediction / compensation circuit 143, or lower layer prediction circuit 1 45. Image data indicating the difference is generated and output to the orthogonal transform circuit 132.
  • the orthogonal transformation circuit 132 performs orthogonal transformation such as discrete cosine transformation and Karhunen's label transformation on the image data input from the arithmetic circuit 131 to generate image data (for example, DCT coefficient) indicating the transformation coefficient, which is quantized. Is configured to output to the control circuit 133.
  • the quantization circuit 133 quantizes the image data (transform coefficient before quantization) input from the orthogonal transform circuit 132 based on the quantization scale QS input from the rate control circuit 134 and performs quantization.
  • the image data indicating the transform coefficient is generated and output to the lossless encoding circuit 135 and the inverse quantization circuit 137.
  • the rate control circuit 134 is configured to generate a quantization scale QS based on, for example, image data read from the nother memory 136 and output this to the quantization circuit 133.
  • the lossless encoding circuit 135 is configured to store in the buffer memory 136 image data obtained by variable-length encoding the image data input from the quantization circuit 133. At this time, the reversible encoding circuit 135 stores the attribute data EisTop and ETime input from the hierarchization circuit 10 in header data or the like.
  • the lossless encoding circuit 135 also includes a motion prediction / compensation circuit 143 input motion vector MV or its differential motion vector, reference image data identification data, intra prediction mode input from the intra prediction circuit 142, header data, etc. To store.
  • the inverse quantization circuit 137 performs an inverse quantization process corresponding to the quantization of the quantization circuit 133 on the image data from the quantization circuit 133, and generates data obtained thereby.
  • the output to the inverse orthogonal transform circuit 138 is configured.
  • the inverse orthogonal transformation circuit 138 outputs the image data generated by performing the inverse transformation of the orthogonal transformation in the orthogonal transformation circuit 132 to the data input from the inverse quantization circuit 137 to the addition circuit 139. It is configured to force.
  • the adder circuit 139 adds the (decoded) image data input from the inverse orthogonal transform circuit 138 and the predicted image data PI input from the intra prediction circuit 142 or the motion prediction / compensation circuit 143 for reference (replay). Configuration) It is configured to generate picture data and output it to the deblock filter 40! RU
  • the deblock filter 140 is configured to remove block distortion of the reference picture data input from the adder circuit 139 and write it to the frame memory 141! RU
  • the intra-prediction circuit 142 is configured to determine an intra-prediction mode and a block size of the prediction block that minimize the residual in a macroblock that performs intra-coding.
  • the intra prediction circuit 142 uses 4x4 and 16x16 pixels as the block size.
  • the intra prediction circuit 142 is configured to output predicted image data PI based on intra prediction to the arithmetic circuit 131 and the adder circuit 139 when intra prediction is selected.
  • the motion prediction / compensation circuit 143 performs local motion prediction based on the reference picture data REF that has already been locally decoded and stored in the frame memory 131 after encoding, and the encoding target picture data ORG It is configured to determine a motion vector and a motion compensation block size that minimize a difference from the block data to be processed.
  • the motion prediction / compensation circuit 144 uses, for example, one of 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, and 4x4 pixels! /, As the block size.
  • the motion prediction / compensation circuit 143 is configured to output prediction image data PI obtained by inter prediction to the arithmetic circuit 131 and the adder circuit 139 when inter prediction is selected.
  • the lower layer prediction circuit 145 is the processing target of the picture data ORG among the lower prediction image data! ⁇ :! (FI) and L_PREb (FR) input from the conversion circuit 13 shown in FIG. The difference from the block data is small, and the prediction image data is specified.
  • FIG. 14 is a diagram illustrating a configuration example of the lower layer prediction circuit 145.
  • the lower layer prediction circuit 145 includes a subtraction circuit 81, a subtraction circuit 82, and a determination circuit 83.
  • the subtraction circuit 81 includes lower prediction image data L—PREb (FI) input from the intra-field prediction image generation circuit 21 shown in FIG. 5 and the processing target block in the encoding target picture data OR G shown in FIG. Difference data indicating the difference between the corresponding pixel data and the data is generated and output to the determination circuit 83.
  • L—PREb FI
  • the subtraction circuit 82 for example, the lower prediction image data L—PREb (FR) input from the intra frame prediction image generation circuit 22 shown in FIG. 5 and the processing target in the picture data ORG to be encoded shown in FIG. Difference data indicating a difference between corresponding pixel data with the block data is generated and output to the determination circuit 83.
  • L—PREb FR
  • the determination circuit 83 is configured to accumulate the difference data input from the subtraction circuit 81 in block data units to generate index data SAD (FI). Further, the determination circuit 83 is configured to generate the index data SAD (FR) by accumulating the difference data input from the subtraction circuit 82 in units of block data. The determination circuit 83 is configured to identify the smaller one of the index data SAD (FI) and the index data SAD (FR)! Speak. When the lower layer prediction circuit 145 is selected, the determination circuit 83 selects the lower predicted image data L_PREb (FI), (FR) corresponding to the index data SAD (FI), (FR) of the smaller V specified above. Is output to the arithmetic circuit 131! RU
  • the prediction image data PI generated by the intra prediction circuit 142, the motion prediction / compensation circuit 143, and the lower layer prediction circuit 145 the prediction image data PI having the smallest difference from the picture data ORG to be encoded Is selected and output to the arithmetic circuit 131.
  • the upper layer code circuit 14 is configured to store the prediction mode data PM indicating the finally selected prediction mode in the header data, and to code it with the lossless code circuit 135.
  • the upper layer coding circuit 14 is configured to generate prediction mode data indicating inter-layer Z intrafield prediction when the lower predicted image data L_PREb (FI) is selected.
  • the upper layer code key circuit 14 is configured to generate prediction mode data indicating inter-layer Z intra-frame prediction when the lower predicted image data L—PR Eb (FR) is selected.
  • the reconstructed image data generated in the lower layer code key circuit 12 is used as the predicted image data of the intra prediction code key in the upper layer code key circuit 14.
  • the reconstructed image data motion vector generated in the lower layer code signal circuit 12 is used as predicted image data or motion vector of the inter prediction code signal in the upper layer code signal circuit 14. Use this mode as a selection candidate ⁇
  • the multiplexing circuit 15 multiplexes the lower code data S12 input from the lower layer code circuit 12 and the upper code data S14 input from the upper layer code circuit 14 to encode the encoded data S2. It is configured to generate
  • the hierarchization circuit 10 generates progressive image data (progressive signal) S 10-1 and interlaced image data S 10-2 based on the image data S9 to be encoded. .
  • the hierarchization circuit 10 outputs each of the picture data FR1 to FR6... Constituting the generated progressive image data S10_l to the delay circuit 11. Further, the hierarchization circuit 10 outputs the generated interlaced image data S 10-2 to the lower layer encoding circuit 12.
  • the lower layer code circuit 12 encodes the interlaced image data S 10-2 input from the hierarchizing circuit 10 to generate lower code data S 12, which is multiplexed into the multiplexing circuit 15. Output to. Also, the lower layer code key circuit 12 generates lower predicted image data L-PRE in the above code key and outputs this to the conversion circuit 13.
  • the conversion circuit 13 interpolates the lower prediction image data L-P RE input from the lower layer code circuit 12, and the progressive image data input from the delay circuit 11 to the upper layer code circuit 14
  • Lower prediction image data L_PRE b having the same resolution (number of scanning lines) as S10_l is generated, and is output to the upper layer coding circuit 14.
  • the delay circuit 11 processes each piece of picture data constituting the progressive image data (progressive signal) S10-1 input from the hierarchization circuit 10 with, for example, processing in the lower layer code circuit 12 and the conversion circuit 13 Delayed by time, output to upper layer encoder circuit 14.
  • the upper layer encoding circuit 14 encodes the progressive image data S10_l using the lower prediction image data L-PREb generated by the lower layer encoding circuit 12 input from the conversion circuit 13! / Then, the upper code key data S14 is generated.
  • the multiplexing circuit 15 multiplexes the lower code data S12 input from the lower layer code circuit 12 and the upper code data S14 input from the upper layer code circuit 14 to encode the encoded data S2. Is generated.
  • FIG. 15 is a diagram illustrating a configuration example of the decoding device 3 illustrated in FIG.
  • the decoding device 3 includes, for example, a separation circuit 51, a delay circuit 52, a lower layer decoding circuit 53, a conversion circuit 54, and an upper layer decoding circuit 55.
  • the separation circuit 51 inputs the above-described code key data S2 generated by the code key device 2, separates it into the lower-order encoded data S12 and the higher-order encoded data S14, and converts the lower-order encoded data S12 into the lower order It is configured to output to the layer decoding circuit 53 and write the upper code key data S14 into the delay circuit 52.
  • the delay circuit 52 is configured to delay the upper code key data S14 input from the separation circuit 51 by the processing time in the lower layer decoding circuit 53 and the conversion circuit 54 and output the delayed data to the upper layer decoding circuit 55. Yes.
  • FIG. 16 is a diagram illustrating a configuration example of the lower layer decoding circuit 53.
  • the lower layer decoding circuit 53 includes, for example, an accumulation buffer 60, a lossless decoding circuit 61, an inverse quantization circuit 62, an inverse orthogonal transformation circuit 63, a calorie calculation circuit 64, a deblock filter 65, a frame memory 6 6, a screen rearrangement buffer 67. , Intra prediction circuit 69, motion prediction and compensation circuit 70
  • the lossless decoding circuit 61 stores the macroblock MB to be processed in the lower-order encoded data S12. When it is determined that the inter coding is performed, the motion vector written in the header portion is decoded and output to the motion prediction / compensation circuit 70. When the lossless decoding circuit 61 determines that the macro block MB to be processed in the lower-order code data S12 is intra-coded, it decodes the intra-prediction mode information written in the header portion. And output to the intra prediction circuit 69. The lossless decoding circuit 61 is configured to decode the lower-order code data S12 and output it to the inverse quantization circuit 62. The lossless decoding circuit 61 is configured to decode the prediction mode data PM included in the header portion and output the decoding result to, for example, the conversion circuit 54 shown in FIG.
  • the inverse quantization circuit 62 inversely quantizes the image data (orthogonal transform coefficient) decoded by the lossless decoding circuit 61 based on the quantization parameter input from the lossless decoding circuit 61 to the inverse orthogonal transform circuit 63. Configured to output! RU
  • the inverse orthogonal transform circuit 63 performs 4x4 inverse orthogonal transform processing on the image data (orthogonal transform coefficient) input from the inverse quantization circuit 62 to generate difference image data, and outputs the difference image data to the adder circuit. It is configured to
  • the adder circuit 64 adds the predicted image data PI from the motion prediction / compensation circuit 70 or the intra prediction circuit 69 and the difference image data from the inverse orthogonal transform circuit 63 to generate image data. Is configured to output to the deblocking filter 65.
  • the deblock filter 65 is configured to perform deblock filter processing on the input image data and add the processed decoded image data to the frame memory 66 and the screen rearrangement buffer 67. RU
  • the decoded image data stored in the frame memory 66 is read to the conversion circuit 54 shown in FIG. 15 as lower predicted image data L-PRE 1.
  • the intra prediction circuit 69 generates predicted image data PI based on the intra prediction mode input from the lossless decoding circuit 61 and the decoded image data read from the frame memory 66.
  • the motion prediction / compensation circuit 70 generates predicted image data PI based on the decoded image data read from the frame memory 66 and the motion vector input from the reversible decoding circuit 61. This is output to the adder circuit 64.
  • the screen rearrangement buffer 67 is configured to store the decoded image data written from the deblock filter 65.
  • the decoded image data stored in the screen rearrangement buffer 67 is output as lower-order decoded image data S53 in the display order.
  • the conversion circuit 54 will be described with reference to FIG.
  • the conversion circuit 54 Based on the prediction mode data PM from the lower layer decoding circuit 53, the conversion circuit 54 interpolates the lower predicted image data L-PRE1 input from the lower layer decoding circuit 53, and performs an upper layer decoding circuit 55. Is configured to generate lower prediction image data L—PRE lb having the same resolution (number of scanning lines) as the upper code data S14 read from the delay circuit 52, and output this to the upper layer decoding circuit 55.
  • FIG. 17 is a diagram illustrating a configuration example of the conversion circuit 54.
  • the conversion circuit 54 includes, for example, an intra-field prediction image generation circuit 221 and an intra-frame prediction image generation circuit 222.
  • the intra-field prediction image generation circuit 221 refers to FIGS. 6 to 8 for the lower prediction image data L—PRE 1 when the prediction mode data PM indicates the inter-layer Z intra-field prediction.
  • the interpolation processing described above is performed, and lower prediction image data L—PRElb (FI) having the same resolution as the upper code data S14, which is progressive image data, is generated.
  • the intra-frame prediction image generation circuit 222 refers to FIG. 9 to FIG. 12 for the lower prediction image data L—PRE 1 when the prediction mode data PM indicates the inter-layer Z intra-frame prediction.
  • the interpolation processing described above is performed, and lower prediction image data L_PRElb (FR) having the same resolution as the upper code key data S14, which is progressive image data, is generated.
  • the conversion circuit 54 is configured to output the generated lower predicted image data L—PRE lb (FI), (FR) to the upper layer decoding circuit 55.
  • FIG. 18 is a diagram illustrating a configuration example of the upper layer decoding circuit 55.
  • the upper layer decoding circuit 55 includes, for example, a storage buffer 160, a lossless decoding circuit 161, an inverse quantization circuit 162, an inverse orthogonal transformation circuit 163, an addition circuit 164, a deblock filter 165, a frame memory 166, a screen rearrangement buffer 167, It has an intra prediction circuit 169, a motion prediction / compensation circuit 170, and a lower layer prediction circuit 171.
  • the upper code data S14 read from the delay circuit 52 is written.
  • the reversible decoding circuit 161 is configured to decode the prediction mode data PM included in the header data.
  • the lossless decoding circuit 161 When the prediction mode data PM indicates that the macro block MB to be processed in the higher-order code data S14 is inter-coded! /, The lossless decoding circuit 161 writes it in its header part. The motion vector is decoded and output to the motion prediction / compensation circuit 170.
  • the lossless decoding circuit 161 When the lossless decoding circuit 161 indicates that the prediction mode data PM indicates that the macro block MB to be processed in the higher-order code data S14 is intra-coded, it is written in the header portion thereof, The intra prediction mode information is decoded and output to the intra prediction circuit 169.
  • the lossless decoding circuit 161 is configured to notify the lower layer prediction circuit 171 when the prediction mode data PM indicates inter-layer Z intra-field prediction or inter-layer Z intra-frame prediction.
  • the lossless decoding circuit 161 is configured to decode the higher-order encoded data S14 and output it to the inverse quantization circuit 162.
  • the lossless decoding circuit 161 is configured to output the prediction mode data PM to the motion prediction / compensation circuit 170, the intra prediction circuit 169, and the lower layer prediction circuit 171.
  • the inverse quantization circuit 162 inversely quantizes the image data (orthogonal transform coefficient) decoded by the lossless decoding circuit 161 on the basis of the quantization parameter input from the lossless decoding circuit 61, and the inverse orthogonal transform circuit 163 It is configured to output to
  • the inverse orthogonal transform circuit 163 performs 4x4 inverse orthogonal transform processing on the image data (orthogonal transform coefficient) input from the inverse quantization circuit 162 to generate difference image data, which is added to the adder circuit 16 Configured to output to 4! RU
  • the addition circuit 164 adds the prediction image data PI from the motion prediction / compensation circuit 170, the intra prediction circuit 169 or the lower layer prediction circuit 171 and the difference image data from the inverse orthogonal transform circuit 163. Image data is generated and output to the deblocking filter 165.
  • the deblock filter 165 is configured to perform deblock filter processing on the image data that has also received the addition circuit 164, and write the decoded image data after processing to the frame memory 166 and the screen rearrangement buffer 167. RU
  • the intra prediction circuit 169 includes an intra prediction mode indicated by the prediction mode data PM input from the lossless decoding circuit 161, decoded image data read from the frame memory 166, and Based on the predicted image data PI and output to the adder circuit 164! RU
  • the motion prediction / compensation circuit 170 is based on the decoded image data read from the frame memory 166 and the motion vector input from the lossless decoding circuit 161 when the prediction mode data PM force S inter prediction is indicated. ! /, The predicted image data PI is generated and output to the adder circuit 164.
  • the lower layer prediction circuit 171 is a conversion circuit 54 when the prediction mode data PM indicates inter-layer Z intra-field prediction or inter-layer Z intra-frame prediction.
  • L_PRE lb (FI), (FR), or some of which is subjected to predetermined processing is output to the adder circuit 164 as predicted image data PI.
  • the screen rearrangement buffer 167 is configured to store the decoded image data written from the deblock filter 165.
  • the decoded image data stored in the screen rearrangement buffer 167 is configured to be output as the upper decoded image data S55 in the display order.
  • the separation circuit 51 receives the above-described code key data S2 generated by the code key device 2, separates it into lower-order encoded data S12 and higher-order encoded data S14, and outputs lower-order encoded data S 12 is output to the lower layer decoding circuit 53, and the upper code key data S14 is written to the delay circuit 52.
  • the delay circuit 52 delays the upper code key data S14 input from the separation circuit 51 by the processing time in the lower layer decoding circuit 53 and the conversion circuit 54 to delay the upper layer decoding circuit 5
  • the lower layer decoding circuit 53 is configured to decode the lower encoded data S 12 to generate lower decoded image data S 53 and output this.
  • the lower layer decoding circuit 5 is configured to decode the lower encoded data S 12 to generate lower decoded image data S 53 and output this.
  • the upper layer decoding circuit 55 is configured to decode the upper code data S14 based on the lower predicted image data L—PRElb (FI), (FR) to generate upper decoded image data S55 and to output this. Has been.
  • the progressive image data in the upper layer is used in the encoding device 2 when performing hierarchical encoding.
  • S10_l can be encoded and the interlaced image data S10_2 can be encoded in the lower layer.
  • the decoding device 3 can decode the progressive image data S10-1 and the interlaced image data S10-2 that have been hierarchically encoded in the encoding device 2.
  • the present invention is not limited to the embodiment described above.
  • the image data to be encoded or decoded is input via the interface 351, and the processing result is output.
  • Tables 1 and 2 below show examples of codes newly defined in the macroblock layer in the embodiment described above.
  • the flag data indicates, for example, “0” when the upsampling method shown in FIGS. 6 to 8 is used, and “1” when the upsampling method shown in FIGS. 9 to 12 is used. Show.
  • basic # plusl is a parameter that specifies base picture data used to predict the motion vector, pixel data, and difference data of the current picture.
  • adaptive # prediction # flag indicates the presence / absence of a syntax element in the macroblock layer in scalable extension, and indicates “0” in the absence.
  • base # mode # flag indicates “1"
  • the mb # type of the current macroblock is indicated, and when a reference number is indicated, it corresponds to the corresponding base macroblock.
  • the motion vector is shown.
  • HalSpatResBaseFlag is set to "1" if the base 'layer whose "baseffid # plusl" is greater than "0" is the current' layer's 1Z2 width and 1Z2 height, otherwise "0" "Is set.
  • Intra # base # mb (CurrMbAddr) is a function that returns "1" if the base macroblock of CrarmbAddr is an I macroblock, and returns "1" otherwise.
  • base # mode # refinement # flag force S is “1”
  • base # mode # refinement # flag force S is “1”
  • the motion estimated by the 1Z4 pixel resolution is added to the motion vector prediction value obtained by using the motion vector of the base macroblock. Identify the vector.
  • mb # type indicates a macroblock type.
  • the semantics of "mb # type” depend on the slice type.
  • Intra # base # flag If “intra # base # flag” does not exist !, "intra # base # flag” is estimated as shown below.
  • NxN indicates that the macroblock type is any of intra 8x8, intra 4x4, or I-BL.
  • WB ji indicates that the predicted value is an intra macroblock that can obtain the base picture data power that is not the surrounding pixel data.
  • Interlace # base # layer indicates that the source power of the base layer is an interlace format.
  • Progressive # curr # layer indicates that the source of the current layer is in progressive format.
  • frame # structure # base # block indicates that the base block is encoded with a frame structure.
  • the encoder device 2 is an example of the encoder device of the present invention.
  • this program PRG is the present invention.
  • It is an example of a program.
  • Such a program is usually stored in a recording medium, or traded through a communication path, and operates loaded in a computer. Therefore, the program of the present invention includes such a transaction form and an operation form.
  • the lower layer encoding circuit 12 described with reference to FIG. 2 is an example of the first encoding unit and the first encoding unit of the present invention
  • the conversion circuit 13 is an example of the upsample processing unit and the upsample processing unit.
  • the upper layer code key circuit 14 is an example of the second code key means and the second encoding unit.
  • the decoding device 3 is an example of the decoding device of the present invention.
  • this program PRG is an example of the program of the present invention. It is.
  • Such a program is usually stored in a recording medium or
  • the program of the present invention includes such a transaction form and an operation form.
  • the lower layer decoding circuit 53 described with reference to FIG. 15 is an example of the first decoding unit and the first decoding unit of the present invention
  • the conversion circuit 54 is an example of the upsampling processing unit and the upsampling processing unit
  • the upper layer The decoding circuit 55 is an example of a second decoding unit and a second decoding unit.

Abstract

　プログレッシブ画像データとこのプログレッシブ画像データに対応したインタレース画像データとを符号化する符号化装置であって、インタレース画像データを構成するピクチャデータを符号化した第１符号化データと、第１符号化データを復号して再構成した再構成画像データとを生成するように構成されている、第１符号化部と、前記生成した前記再構成画像データをアップサンプルして前記プログレッシブ画像データと同じ解像度の画像データを生成するように構成されている、アップサンプル処理部と、前記生成した前記画像データを予測画像データとして前記プログレッシブ画像データを構成するピクチャデータを符号化して第２符号化データを生成するように構成されている、第２符号化部とを有する。

Description

符号化装置、符号化方法およびそのプログラム、並びに、復号装置、復 号方法およびそのプログラム
技術分野
[0001] 本発明は、画像データを符号化する符号化装置、符号化方法およびそのプロダラ ムと、画像データを復号する復号装置、復号方法およびそのプログラムとに関する。 背景技術
[0002] 近年、画像データデジタルとして取り扱!/、、その際、効率の高!、情報の伝送、蓄積 を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換 (DCT: DiSCrete Cosine Transform)等の直交変換と動き補償により圧縮する MPEG(Moving Picture Experts Group)に続いて、より圧縮率が高い H. 264/AVC(Advanced Video Codin g)などの符号化方式に準拠した符号化装置および復号装置が、放送局などの情報 配信、及び一般家庭における情報受信の双方において普及しつつある。
[0003] 現在、この H. 264ZAVCをベースにスケーラビリティの機能を拡張した SVC(Scal able Video Coding)という標準化が行われている。 SVCの現在の仕様は、 JSM(Joint Scalable Video Model)にまとめられている。
SVCの符号ィ匕装置では、入力画像は、画像階層化回路により、例えば、上位レイ ャおよび下位レイヤの 2つの階層に分離される。その後、上位レイヤ符号ィ匕回路で上 位レイヤを符号ィ匕し、下位レイヤ符号ィ匕回路が下位レイヤを符号ィ匕する。そして、符 号ィ匕した上位レイヤと下位レイヤとを多重化して伝送する。
下位レイヤはベースレイヤとも呼ばれ、画質の低い階層である。下位レイヤのビット ストリームのみを復号した場合、比較的画質の低い画像が復号される。下位レイヤは また画質としてより重要な情報を含んで 、る。
上位レイヤは、ェンノヽンスメントレイヤとも呼ばれ、画質を改善し、高画質な画像を 復号するための階層である。下位レイヤのビットストリームに追カ卩して上位レイヤのビ ットストリームを復号した場合、より高画質な画像を復号することが可能である。
上述した符号化装置では、上位レイヤ符号ィ匕回路において、イントラ符号ィ匕を行う 場合に、下位レイヤ符号ィ匕回路で符号化した後に復号した復号画像を予測画像とし て用いることができる。
発明の開示
発明が解決しょうとする課題
[0004] 上述した従来の階層符号化を行う符号化装置では、上位レイヤおよび下位レイヤ の双方にお 、てプログレッシブ画像データを符号ィ匕することを前提として 、る。
し力しながら、上位レイヤにおいてプログレッシブ画像データを符号ィ匕し、下位レイ ャにお 、てインタレース画像データを符号ィ匕した 、と 、う要請がある。
[0005] 以上から、階層符号ィ匕を行う場合に、上位レイヤにおいてプログレッシブ画像デー タを符号ィ匕し、下位レイヤにおいてインタレース画像データを符号ィ匕できる符号ィ匕装 置、符号ィ匕方法およびプログラムを提供することが望まれて 、る。
また、上位レイヤにおいて符号ィ匕されたプログレッシブ画像データと、下位レイヤに お!、て符号ィ匕されたインタレース画像データとを復号できる復号装置、復号方法およ びプログラムを提供することが望まれて 、る。 課題を解決するための手段
[0006] 本発明の第 1の実施の形態の符号化装置は、プログレッシブ画像データと当該プロ グレツシブ画像データに対応したインタレース画像データとを符号化する符号化装置 であって、前記インタレース画像データを構成するピクチャデータを符号ィ匕した第 1 符号化データと、前記第 1符号化データを復号して再構成した再構成画像データと を生成するように構成されている第 1符号化部と、前記第 1符号化部が生成した前記 再構成画像データをアップサンプルして前記プログレッシブ画像データと同じ解像度 の画像データを生成するように構成されて ヽるアップサンプル処理部と、前記アップ サンプル処理部が生成した前記画像データを予測画像データとして前記プログレッ シブ画像データを構成するピクチャデータを符号化して第 2符号化データを生成す るように構成されて 、る第 2符号化部とを有する。
また本発明の符号ィ匕装置は、プログレッシブ画像データと当該プログレッシブ画像 データに対応したインタレース画像データとを符号ィ匕する符号ィ匕装置であって、前記 インタレース画像データを構成するピクチャデータを符号化した第 1符号化データと、 前記第 1符号化データを復号して再構成した再構成画像データとを生成する第 1符 号化手段と、前記第 1符号化手段が生成した前記再構成画像データをアップサンプ ルして前記プログレッシブ画像データと同じ解像度の画像データを生成するアップサ ンプル処理手段と、前記アップサンプル処理手段が生成した前記画像データを予測 画像データとして前記プログレッシブ画像データを構成するピクチャデータを符号ィ匕 して第 2符号化データを生成する第 2符号化手段とを有する。
[0007] 本発明の第 2実施の形態の符号化方法は、プログレッシブ画像データと、当該プロ グレツシブ画像データに対応したインタレース画像データとを符号化する符号化方法 であって、前記インタレース画像データを構成するピクチャデータを符号ィ匕した第 1 符号化データと、前記第 1符号化データを復号して再構成した再構成画像データと を生成する第 1工程と、前記第 1工程で生成した前記再構成画像データをアップサン プルして前記プログレッシブ画像データと同じ解像度の画像データを生成する第 2ェ 程と、前記第 2工程で生成した前記画像データを予測画像データとして前記プログレ ッシブ画像データを構成するピクチャデータを符号化して第 2符号化データを生成す る第 3工程とを有する。
[0008] 本発明の第 3実施の形態のプログラムは、プログレッシブ画像データと、当該プログ レツシブ画像データに対応したインタレース画像データとを符号ィ匕するコンピュータ が実行するプログラムであって、前記インタレース画像データを構成するピクチャデ ータを符号化した第 1符号化データと、前記第 1符号化データを復号して再構成した 再構成画像データとを生成する第 1手順と、前記第 1手順で生成した前記再構成画 像データをアップサンプルして前記プログレッシブ画像データと同じ解像度の画像デ ータを生成する第 2手順と、前記第 2手順で生成した前記画像データを予測画像デ ータとして前記プログレッシブ画像データを構成するピクチャデータを符号ィ匕して第 2 符号ィ匕データを生成する第 3手順とを前記コンピュータに実行させる。
[0009] 本発明の第 4実施の形態の復号装置は、プログレッシブ画像データを符号化して 得られた第 1符号ィ匕データと前記プログレッシブ画像データに対応したインタレース 画像データを符号ィ匕して得られた第 2符号ィ匕データとを復号する復号装置であって 、前記第 2符号ィ匕データを復号するように構成されている第 1復号部と、前記第 1復 号部における復号により生成した第 1予測画像データを補間処理して第 2予測画像 データを生成するように構成されて ヽるアップサンプル処理部と、前記アップサンプ ル処理部において生成した前記第 2予測画像データに基づいて前記第 1符号ィ匕デ 一タを復号するように構成されて 、る第 2復号部とを有する。
また本発明によれば、プログレッシブ画像データを符号化して得られた第 1符号ィ匕 データと前記プログレッシブ画像データに対応したインタレース画像データを符号ィ匕 して得られた第 2符号ィ匕データとを復号する復号装置であって、前記第 2符号化デー タを復号する第 1復号手段と、前記第 1復号手段における復号により生成した第 1予 測画像データを補間処理して第 2予測画像データを生成するアップサンプル処理手 段と、前記アップサンプル処理手段にぉ 、て生成した前記第 2予測画像データに基 づいて前記第 1符号化データを復号する第 2復号手段とを有する。
[0010] 本発明の第 5実施の形態の復号方法は、プログレッシブ画像データを符号ィ匕して 得られた第 1の符号化データと、前記プログレッシブ画像データに対応したインタレ ース画像データを符号ィ匕して得られた第 2符号ィ匕データとを復号する復号方法であ つて、前記第 2符号ィ匕データを復号する第 1工程と、前記第 1工程における復号によ り生成した第 1予測画像データを補間処理して第 2予測画像データを生成する第 2ェ 程と、前記第 2工程で生成した前記第 2予測画像データに基づいて前記第 1符号ィ匕 データを復号する第 3工程とを有する。
[0011] 本発明の第 6実施の形態のプログラムは、プログレッシブ画像データを符号ィ匕して 得られた第 1符号化データと、前記プログレッシブ画像データに対応したインタレース 画像データを符号化して得られた第 2符号化データとを復号するコンピュータが実行 するプログラムであって、前記第 2符号ィ匕データを復号する第 1手順と、前記第 1手順 における復号により生成した第 1予測画像データを補間処理して第 2予測画像デー タを生成する第 2手順と、前記第 2手順で生成した前記第 2の予測画像データに基 づいて前記第 1符号ィ匕データを復号する第 3手順とを前記コンピュータに実行させる 発明の効果
[0012] 本発明によれば、階層符号ィ匕を行う場合に、上位レイヤにぉ 、てプログレッシブ画 像データを符号化し、下位レイヤにぉ 、てインタレース画像データを符号ィ匕できる符 号化装置、符号ィ匕方法およびプログラムを提供することができる。
また本発明によれば、上位レイヤにぉ 、て符号ィ匕されたプログレッシブ画像データ と、下位レイヤにぉ 、て符号ィ匕されたインタレース画像データとを復号できる復号装 置、復号方法およびプログラムを提供することができる。
図面の簡単な説明
[図 1]図 1は、本発明の実施形態の符号化'復号システムの構成例を示す図である。
[図 2]図 2は、図 1に示す符号化'復号システムにおける符号ィ匕装置のブロック図であ る。
[図 3]図 3は、図 2に示すプログレッシブ画像データとインタレース画像データとを説明 するための図である。
[図 4]図 4は、図 2に示す下位レイヤ符号ィ匕回路の構成例を説明するための図である
[図 5]図 5は、図 2に示す変換回路の構成例を説明するための図である。
[図 6]図 6A,図 6Bは、図 5に示すイントラフィールド予測画像生成回路の処理の例を 説明するための図である。
[図 7]図 7は、図 5に示すイントラフレーム予測画像生成回路の処理の例を説明する ためのフローチャートである。
[図 8]図 8A,図 8Bは、図 5に示すイントラフィールド予測画像生成回路の処理の例を 説明するための図である。
[図 9]図 9A,図 9Bは、図 5に示すイントラフレーム予測画像生成回路の処理の例を 説明するための図である。
[図 10]図 10は、図 5に示すイントラフレーム予測画像生成回路の処理の例を説明す るためのフローチャートである。
[図 11]図 11は、図 5に示すイントラフレーム予測画像生成回路の処理の例を説明す るための図である。
[図 12]図 12は、図 5に示すイントラフレーム予測画像生成回路の処理の例を説明す るための図である。 [図 13]図 13は、図 2に示す上位レイヤ符号ィ匕回路の構成例を示す図である。
[図 14]図 14は、図 13に示す下位レイヤ予測回路の構成図例を示す図である。
[図 15]図 15は、図 1に示す符号化 ·復号システムにおける復号装置の構成例を示す 図である。
[図 16]図 16は、図 15に示す下位レイヤ復号回路の構成例を示す図である。
[図 17]図 17は、図 15に示す変換回路の構成例を示す図である。
[図 18]図 18は、図 15に示す上位レイヤ復号回路の構成例を示す図である。
[図 19]図 19は、本発明の実施形態の変形例を説明するための図である。
符号の説明
[0014] 1···符号化 '復号システム、 2…符号化装置、 3…復号装置、 10…階層化回路、 11 …遅延回路、 12···下位レイヤ符号ィ匕回路、 13…変換回路、 14…上位レイヤ符号ィ匕 回路、 15···多重化回路、 21···イントラフィールド予測画像生成回路、 22···イントラフ レーム予測画像生成回路、 23, 123…画面並べ替え回路、 31, 131···演算回路、 3 2, 132···直交変換回路、 33, 133···量子ィ匕回路、 34, 134···レート制御回路、 35 , 135···可逆符号ィ匕回路、 36, 136···ノ ッファメモ!;、 37, 137···逆量子ィ匕回路、 38 , 138···逆直交変換回路、 39, 139···カロ算回路、 40, 140···デブロックフィルタ、 41 , 141…フレームメモリ、 42, 142···イントラ予測回路、 43, 143…動き予測'補償回 路、 51···分離回路、 52···遅延回路、 53…下位レイヤ復号回路、 54···変換回路、 5 5…上位レイヤ復号回路、 56···再構成回路、 60, 160···蓄積バッファ、 61, 161··. 可逆復号回路、 62, 162…逆量子化回路、 63, 163…逆直交変換回路、 64, 164 …カロ算回路、 65, 165···デブロックフィルタ、 66, 166···フレームメモリ、 67, 167··· 画面並べ替えバッファ、 69, 169···イントラ予測回路、 70, 170…動き予測'補償回 路、 145···下位レイヤ予測回路
発明を実施するための最良の形態
[0015] 図 1は本実施形態の符号化 ·復号システムの概念図である。
符号化'復号システム 1は、送信側に設けられた符号化装置 2と、受信側に設けら れた復号装置 3とを有する。
[0016] 符号化'復号システム 1では、送信側の符号化装置 2において、離散コサイン変換 ( DCT)や力ルーネン*レーべ変換などの直交変換と動き補償によって画像データを 圧縮 (符号化)したフレーム符号ィ匕画像データ (ビットストリーム)を生成し、当該フレ ーム符号化画像データを変調した後に、衛星放送波、ケーブル TV網、電話回線網 、携帯電話回線網などの伝送媒体 5を介して送信する。
受信側では、復号装置 3において受信した符号化画像信号を復調した後に、上記 変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成 して利用する。
伝送媒体 5は、上述した通信網に限らず、光ディスク、磁気ディスクおよび半導体メ モリなどの記録媒体であってもよ 、。
[0017] 本実施形態では、たとえば、図 2に示すように、階層化回路 10は、符号化対象の画 像データ S9を基に、プログレッシブ画像データ（プログレッシブ画像信号） S 10—1と 、インタレース画像データ S 10— 2とを生成するように構成されて！、る。
下位レイヤ符号ィ匕回路 12は、インタレース画像データ S10_2を符号ィ匕して下位 符号化データ S 12を生成するように構成されて!、る。
変換回路 13は、下位レイヤ符号ィ匕回路 12が生成した下位予測画像データ L— PR Eを補間（アップサンプル)処理して、プログレッシブ画像データ S10—1と同じ解像 度（走査線数)の下位予測画像データ L— PREbを生成し、これを上位レイヤ符号ィ匕 回路 14に出力するように構成されて 、る。
上位レイヤ符号ィ匕回路 14は、下位予測画像データ L— PREbを基に、プログレッシ ブ画像データ S 10— 1を符号化して上位符号化データ S 14を生成するように構成さ れている。
[0018] <符号化装置 >
図 1を参照して符号ィ匕装置 2について説明する。
図 2は、符号化装置 2の全体構成例を示す図である。
符号化装置 2は、例えば、階層化回路 10、遅延回路 11、下位レイヤ符号ィ匕回路 1 2、変換回路 13、上位レイヤ符号ィ匕回路 14および多重化回路 15を有する。
[階層化回路]
階層化回路 10は、たとえば、図 3に示すように、符号化対象の画像データ S9に基 づ 、てプログレッシブ画像データ（プログレッシブ画像信号） S 10— 1と、インタレース 画像データ S10_2とを生成するように構成されている。また、階層化回路 10は、上 記生成したプログレッシブ画像データ S 10— 1を構成するピクチャデータ FR1〜6. . . の各々を遅延回路 11に書き込むように構成されている。
プログレッシブ画像データ S 10—1は、例えば、 60フレーム/ sec (60p)である。 また、階層化回路 10は、上記生成したインタレース画像データ S 10— 2を構成する ピクチャデータ FI1〜6. . .を下位レイヤ符号ィ匕回路 12に出力するように構成されて いる。
インタレース画像データ S 10— 2は、例えば、 60フィールド Zsec (60i)である。
[0019] [遅延回路]
遅延回路 11は、階層化回路 10から入力したプログレッシブ画像データ (プログレッ シブ信号) S10—1を構成する各ピクチャデータを、例えば、下位レイヤ符号ィ匕回路 1 2および変換回路 13における処理時間だけ遅延して上位レイヤ符号ィ匕回路 14に出 力するように構成されている。
[0020] [下位レイヤ符号ィ匕回路]
下位レイヤ符号ィ匕回路 12は、階層化回路 10から入力したインタレース画像データ S 10— 2を符号ィ匕して下位符号ィ匕データ S 12を生成し、これを多重化回路 15に出力 するように構成されている。また、下位レイヤ符号ィ匕回路 12は、上記符号化において 、下位予測画像データ L— PREを生成し、これを変換回路 13に出力するように構成 されている。
[0021] 図 4は、下位レイヤ符号ィ匕回路 12の構成例を示す図である。
下位レイヤ符号化回路 12は、例えば、画面並べ替え回路 23、演算回路 31、直交 変換回路 32、量子化回路 33、レート制御回路 34、可逆符号化回路 35、バッファメ モリ 36、逆量子化回路 37、逆直交変換回路 38、加算回路 39、デブロックフィルタ 40 、フレームメモリ 41、イントラ予測回路 42、並びに動き予測 ·補償回路 43を有する。
[0022] 画面並べ替え回路 23は、たとえば、図 2に示す階層化回路 10力も入力したプログ レツシブ画像データ S 10— 2をピクチャタイプ I, P, Bからなる GOP(Group Of Picture s)構造に応じて、符号化する順番に並べ替えて、演算回路 31、イントラ予測回路 42 および動き予測 ·補償回路 43に出力するように構成されている。
演算回路 31は、画面並べ替え回路 23から入力した符号ィ匕対象のピクチャデータ を、イントラ予測回路 42あるいは動き予測，補償回路 43から入力した予測画像デー タ PIとの差分を示す画像データを生成し、これを直交変換回路 32に出力するように 構成されている。
直交変換回路 32は、演算回路 31から入力した画像データに離散コサイン変換 (D CT)やカルーネン'レーべ変換などの直交変換を施して変換係数を示す画像データ (例えば DCT係数)を生成し、これを量子化回路 33に出力するように構成されている
[0023] 量子化回路 33は、直交変換回路 32から入力した画像データ (量子化前の変換係 数)を、レート制御回路 34から入力した量子化スケール QSを基に量子化して量子化 後の変換係数を示す画像データを生成し、これを可逆符号化回路 35および逆量子 化回路 37に出力するように構成されて！、る。
レート制御回路 34は、例えば、ノッファメモリ 36から読み出した画像データを基に 量子化スケール QSを生成し、これを量子化回路 33に出力するように構成されている 可逆符号化回路 35は、量子化回路 33から入力した画像データを可変長符号化し た画像データをバッファメモリ 36に格納するように構成されている。また、可逆符号化 回路 35は、動き予測 ·補償回路 43から入力した動きベクトル MVあるいはその差分 動きベクトル、参照画像データの識別データ、並びにイントラ予測回路 42から入力し たイントラ予測モードをヘッダデータなどに格納するように構成されて 、る。
[0024] ノッファメモリ 36に格納された画像データは、下位符号ィ匕データ S12として図 2に 示す多重化回路 15に読み出される。
逆量子化回路 37は、量子化回路 33の量子化に対応した逆量子化処理を、量子化 回路 33からの画像データに施して、それによつて得られたデータを生成し、これを逆 直交変換回路 38に出力するように構成されて ヽる。
逆直交変換回路 38は、逆量子化回路 37から入力したデータに、直交変換回路 32 における直交変換の逆変換を施して生成した画像データを加算回路 39に出力する ように構成されている。
加算回路 39は、逆直交変換回路 38から入力した (デコードされた)画像データと、 イントラ予測回路 42あるいは動き予測 ·補償回路 43から入力した予測画像データ PI とを加算して参照（再構成)ピクチャデータを生成し、これをデブロックフィルタ 40に出 力するように構成されている。
[0025] デブロックフィルタ 40は、加算回路 39から入力した参照ピクチャデータのブロック歪 みを除去してフレームメモリ 41に書き込むように構成されて 、る。
フレームメモリ 41に書き込まれた参照ピクチャデータは、下位予測画像データ L— PREとしてフレームメモリ 41から読み出されて、たとえば、図 2に示す変換回路 13に 出力される。
イントラ予測回路 42は、イントラ符号ィ匕するマクロブロックにおいて、残差が最小と なるイントラ予測のモードおよび予測ブロックのブロックサイズを決定するように構成さ れている。
イントラ予測回路 42は、ブロックサイズとして、 4x4および 16x16画素を用いる。 イントラ予測回路 42は、イントラ予測が選択された場合に、イントラ予測による予測 画像データ PIを演算回路 31および加算回路 39に出力するように構成されている。
[0026] 動き予測 ·補償回路 43は、既に符号ィ匕後に局所復号されてフレームメモリ 41に記 憶されている参照ピクチャデータ REFを基に動き予測を行い、残差を最小にする動 きベクトルおよび動き補償のブロックサイズを決定するように構成されて 、る。
動き予測 ·補償回路 43は、ブロックサイズとして、 16x16, 16x8, 8x16, 8x8, 8x4 、 4x8および 4x4画素を用いる。
動き予測 ·補償回路 43は、インター予測が選択された場合に、インター予測による 予測画像データ PIを演算回路 31および加算回路 39に出力するように構成されてい る。
[0027] [変換回路]
図 2を参照して変換回路 13について説明する。
変換回路 13が下位レイヤ符号ィ匕回路 12から入力した下位予測画像データ L— PR Eを補間処理して、上位レイヤ符号ィ匕回路 14が遅延回路 11から入力したプログレッ シブ画像データ S10_lと同じ解像度（走査線数)の下位予測画像データ L_PREb を生成し、これを上位レイヤ符号ィ匕回路 14に出力するように構成されて！、る。
[0028] 図 5は、変換回路 13の構成例を示す図である。
変換回路 13は、例えば、イントラフィールド予測画像生成回路 21と、イントラフレー ム予測画像生成回路 22とを有する。
変換回路 13の処理内容の説明を行う前に、本実施形態で用いる用語を以下のよう に定義する。
例えば、プログレッシブ画像データ S 10— 1のフレームピクチャデータ Xと同じタイム スタンプを持つインタレース画像データ S10—2のフィールドピクチャデータ Yを、ピク チヤデータ Xのベースピクチャデータと呼ぶ。図 3の例では、フィールドピクチャデー タ FI1は、フレームピクチャデータ FR1のベースピクチャデータである。
[0029] プログレッシブ画像データ S 10—1のフレームピクチャデータ Xのマクロブロック MB Xに対応する一つのベースブロック MBYが、フレームピクチャデータ Xのベースピク チヤデータであるフィールドピクチャデータ Y内に存在する。
ベースブロック MBYは、マクロブロック MBXと同じ長さの幅で、半分の高さを有して いる。
ここで、フレームピクチャデータ Xの左上の画素位置に対してベースブロック MBX の左上の画素位置の空間位置（xP、 yP)に位置する場合に、ベースブロック MBYの 左上の画素位置は空間位置 (xP, yP/2)に位置する。
[0030] トップフィールドデータと、それに続くボトムフィールドデータとを、補足フィールドぺ ァと呼ぶ。
一つの補足フィールドペア内において、トップフィールドデータが同じペア内のボト ムフィールドデータの補足フィールドデータであり、ボトムフィールドデータが同じペア 内のトップフィールドデータの補足フィールドデータである。例えば、図 3において、フ ィールドデータ FI1と FI2とによって補足フィールドペアを構成し、フィールドデータ FI 2がフィールドデータ FI1の補足フィールドデータであり、フィールドデータ FI1がフィ 一ルドデータ FI2の補足フィールドデータである。
[0031] 補足フィールドペアを構成するフィールドデータ A, Bを考える。 ブロック MBAの左上の画素位置がフィールドデータ Aの左上の画素位置に対して 空間位置（xP— A, yP— A)を持ち、ブロック MBBの左上の画素位置がフィールドデ ータ Bの左上の画素位置に対して空間位置（xP— B, yP_B)を持つ場合にぉ ヽて、 ブロック MBAと MBBとが同じサイズを有し、空間位置（xP— A, yP— A)と空間位置 (xP_B, yP— B)とが同じである場合に、ブロック MBAはブロック MBBの補足ブロ ックであり、ブロック MBBはブロック MBAの補足ブロックである。
[0032] イントラフィールド予測画像生成回路 21は、下位レイヤ符号ィ匕回路 12から入力した 下位予測画像データ L_PREがトップフィールドデータである場合に、符号化対象 ( カレント）のマクロブロック MBに対応した下位予測画像データ L— PRE内のベースブ ロックデータを、図 6Aに示すように、そのトップフィールドデータのみを用いてアップ サンプル処理を行 、、プログレッシブ画像データ S10—1と同じ解像度の下位予測 画像データ L_PREb (FI)を生成する。
イントラフィールド予測画像生成回路 21は、下位レイヤ符号ィ匕回路 12から入力した 下位予測画像データ L— PREがボトムフィールドデータである場合に、符号化対象 のマクロブロック MBに対応した下位予測画像データ L— PRE内のベースブロックデ ータを、図 6Bに示すように、そのボトムフィールドデータのみを用いてアップサンプル 処理を行 ヽ、プログレッシブ画像データ S10—1と同じ解像度の下位予測画像デー タ L— PREb (FI)を生成する。
[0033] 図 7は、図 5に示すイントラフィールド予測画像生成回路 21の処理の 1例を説明す るためのフローチャートである。イントラフィールド予測画像生成回路 21は下記の処 理を行うように構成されて 、る。
以下の説明では、下位予測画像データ L— PRE内のベースブロックデータのライン 数が Nであるとする。また、ベースブロックデータの i番目のラインデータを Base [i]と する。ここで、 iは「0」〜「N— 1」の整数である。
[0034] 図 7に示すステップ ST12〜ST15は図 6Aおよび図 8Aに示すトップフィールドのァ ップサンプル処理を示し、図 7に示すステップ ST16〜ST19は図 6Bおよび図 8Bに 示すボトムフィールドのアップサンプル処理を示している。
[0035] ステップ ST11 : イントラフィールド予測画像生成回路 21は、下位レイヤ符号ィ匕回路 12から入力した 下位予測画像データ L— PREがトップフィールドデータである場合にステップ ST12 に進み、そうでない場合にステップ ST16に進む。
[0036] ステップ ST12 :
イントラフィールド予測画像生成回路 21は、ベースブロックデータの i番目のライン データ Base [i]を、下位予測画像データ L—PREb内の対応する予測ブロックデータ の 2i番目のラインデータ PRED[2i]にコピーする。
すなわち、イントラフィールド予測画像生成回路 21は、上記コピーにより、ラインデ ータ PRED[0] , [2] , . . . , [2N— 2]を生成する。
[0037] ステップ ST13 :
イントラフィールド予測画像生成回路 21は、上記ベースブロックデータの最下のラ インの一つ下のラインデータをラインデータ Base [N]とする。
ステップ ST14 :
イントラフィールド予測画像生成回路 21は、ラインデータ PRED[2N]に、ステップ ST13で得たラインデータ Base [N]を格納する。
[0038] ステップ ST15 :
イントラフィールド予測画像生成回路 21は、下記式（1)により、ラインデータ PRED [21]に重み付け wlを乗じた結果と、ラインデータ PRED[2i+ 2]に重み付け w2を乗 じた結果とを加算して、下位予測画像データ L—PREb内の対応する予測ブロックデ ータの 2i+ 1番目のラインデータ PRED[2i+ 1]を生成する。
[0039] PRED [2i+ 1] = wl * PRED[2i] + w2 * PRED [2i+ 2]
…ひ）
[0040] ステップ ST16 :
イントラフィールド予測画像生成回路 21は、ベースブロックデータの i番目のライン データ Base [i]を、下位予測画像データ L—PREb内の対応する予測ブロックデータ の 2i+ 1番目のラインデータ PRED [2i+ 1]にコピーする。
すなわち、イントラフィールド予測画像生成回路 21は、上記コピーにより、ラインデ ータ PRED[1] , [3] , . . . , [2N— 1]を生成する。 [0041] ステップ ST17 :
イントラフィールド予測画像生成回路 21は、上記ベースブロックデータの最上のラ インの一つ上のラインデータをラインデータ Base [ 1]とする。
ステップ ST18 :
イントラフィールド予測画像生成回路 21は、ラインデータ PRED[— 1]に、ステップ ST17で得たラインデータ Base [— 1 ]を格納する。
[0042] ステップ ST19 :
イントラフィールド予測画像生成回路 21は、下記式（2)により、ラインデータ PRED [2i- 1]に重み付け wlを乗じた結果と、ラインデータ PRED[2i+ 1]に重み付け w2 を乗じた結果とを加算して、下位予測画像データ L—PREb内の対応する予測ブロッ クデータの 2i番目のラインデータ PRED [2i]を生成する。
[0043] PRED [ 2i] = w 1 * PRED [ 2i— 1 ] + w2 * PRED [2i+ l]
…
[0044] ステップ ST20 :
イントラフィールド予測画像生成回路 21は、ステップ ST15およびステップ ST19で 生成した予測ブロックデータのラインデータ PRED [i]を下位予測画像データ L— PR Eb (FI)として上位レイヤ符号ィ匕回路 14に出力。
[0045] 図 5を参照してイントラフレーム予測画像生成回路 22を説明する。
イントラフレーム予測画像生成回路 22は、下位レイヤ符号ィ匕回路 12から入力した 下位予測画像データ L— PREがトップフィールドデータである場合に、図 9Aに示す ように、符号ィ匕対象 (カレント）のマクロブロック MBに対応した下位予測画像データ L —PRE (トップフィールドデータ）内のベースブロックデータ Baseと、そのベースブロッ クデータの補足ブロックデータ Comp (ボトムフィールドデータ）とを用いてアップサン プル処理を行い、プログレッシブ画像データ S10—1と同じ解像度の下位予測画像 データ L_PREb (FR)を生成するように構成されて！、る。
また、イントラフレーム予測画像生成回路 22は、下位レイヤ符号ィ匕回路 12から入力 した下位予測画像データ L— PREがボトムフィールドデータである場合に、図 9Bに 示すように、符号ィ匕対象 (カレント）のマクロブロック MBに対応した下位予測画像デ 一タし_?1^： (ボトムフィールドデータ）内のベースブロックデータ Baseと、そのべ一 スブロックデータの補足ブロックデータ Comp (トップフィールドデータ）とを用いてアツ プサンプル処理を行!、、プログレッシブ画像データ S10—1と同じ解像度の下位予測 画像データ L_PREb (FR)を生成するように構成されて！、る。
[0046] 図 10は、図 5に示すイントラフレーム予測画像生成回路 22の処理の 1例を説明す るためのフローチャートである。
以下の説明では、下位予測画像データ L— PRE内のベースブロックデータのライン 数が Nであるとする。また、ベースブロックデータの i番目のラインデータを Base [i]と する。ここで、 iは「0」〜「N— 1」の整数である。
[0047] 図 10に示すステップ ST32〜ST36は図 9Aおよび図 11に示すトップフィールドの アップサンプル処理を示し、図 10に示すステップ ST37〜ST41は図 9Bおよび図 12 に示すボトムフィールドのアップサンプル処理を示している。
[0048] ステップ ST31 :
イントラフレーム予測画像生成回路 22は、下位レイヤ符号ィ匕回路 12から入力した 下位予測画像データ L— PREがトップフィールドデータである場合にステップ ST32 に進み、そうでない場合にステップ ST37に進む。
[0049] ステップ ST32 :
イントラフレーム予測画像生成回路 22は、ベースブロックデータの i番目のラインデ ータ Base [i]を、下位予測画像データ L—PREb内の対応する予測ブロックデータの 2i番目のラインデータ PRED[2i]にコピーする。
すなわち、イントラフィールド予測画像生成回路 21は、上記コピーにより、ラインデ ータ PRED[0] , [2] , . . . , [2N— 2]を生成する。
[0050] ステップ ST33 :
イントラフレーム予測画像生成回路 22は、ベースブロックデータに対応した補足ブ ロックデータの i番目のラインデータ Comp[i]を、 2i+ 1番目のラインデータ PRED[2 i+ 1]に代入する。
ステップ ST34 :
イントラフィールド予測画像生成回路 21は、上記ベースブロックデータの最下のラ インの一つ下のラインデータをラインデータ Base [N]とする。
ステップ ST35 :
イントラフィールド予測画像生成回路 21は、ラインデータ PRED [2N]に、ステップ ST34で得たラインデータ Base [N]を格納する。
[0051] ステップ ST36 :
イントラフィールド予測画像生成回路 21は、下記式（3)により、ラインデータ PRED [2i]に重み付け wlを乗じた結果と、ラインデータ PRED[2i+ 2]に重み付け w2を乗 じた結果と、ラインデータ PRED [2i+ 1]に重み付け w3を乗じた結果とを加算して、 下位予測画像データ L— PREb内の対応する予測ブロックデータの 2i+ 1番目のライ ンデータ PRED [2i+ l]を生成する。
[0052] PRED [2i+ 1] = wl * PRED [2i] + w2 * PRED [2i + 2] + w3 * PRED [2i+ 1 ]
… ）
[0053] ステップ ST37 :
イントラフィールド予測画像生成回路 21は、ベースブロックデータの i番目のライン データ Base [i]を、下位予測画像データ L— PREb内の対応する予測ブロックデータ の 2i+ 1番目のラインデータ PRED [2i+ 1]にコピーする。
すなわち、イントラフィールド予測画像生成回路 21は、上記コピーにより、ラインデ ータ PRED[1] , [3] , . . . , [2N— 1]を生成する。
[0054] ステップ ST38 :
イントラフレーム予測画像生成回路 22は、ベースブロックデータに対応した補足ブ ロックデータの i番目のラインデータ Comp[i]を、 2i番目のラインデータ PRED [2i]に 代入する。
ステップ ST39 :
イントラフレーム予測画像生成回路 22は、上記ベースブロックデータの最上のライ ンの一つ上のラインデータをラインデータ Base [ 1]とする。
ステップ ST40 :
イントラフレーム予測画像生成回路 22は、ラインデータ PRED [— 1]に、ステップ S T39で得たラインデータ Base [― 1 ]を格納する。
[0055] ステップ ST41 :
イントラフレーム予測画像生成回路 22は、下記式 (4)により、ラインデータ PRED[ 2i- 1]に重み付け wlを乗じた結果と、ラインデータ PRED[2i+ 1]に重み付け w2 を乗じた結果と、ラインデータ PRED[2i]に重み付け w3を乗じた結果とを加算して、 下位予測画像データ L—PREb内の対応する予測ブロックデータの 2i番目のライン データ PRED [2i]を生成する。
[0056] PRED [ 2i] = w 1 * PRED [ 2i— 1 ] + w2 * PRED [ 2i + 1 ] + w3 * PRED [ 2i]
…(
[0057] ステップ ST42 :
イントラフレーム予測画像生成回路 22は、ステップ ST36およびステップ ST41で生 成した予測ブロックデータのラインデータ PRED [i]を下位予測画像データ L— PRE b (FR)として上位レイヤ符号ィ匕回路 14に出力する。
[0058] [上位レイヤ符号ィ匕回路]
上位レイヤ符号ィ匕回路 14は、変換回路 13から入力した下位レイヤ符号ィ匕回路 12 にお!/、て生成した下位予測画像データ L—PREbを用いて、プログレッシブ画像デ ータ S10—1を符号ィ匕して上位符号ィ匕データ S14を生成するように構成されている。
[0059] 図 13は、上位レイヤ符号ィ匕回路 14の構成例を示す図である。
上位レイヤ符号化回路 14は、例えば、画面並べ替え回路 123、演算回路 131、直 交変換回路 132、量子化回路 133、レート制御回路 134、可逆符号化回路 135、バ ッファメモリ 136、逆量子化回路 137、逆直交変換回路 138、加算回路 139、デブ口 ックフィルタ 140、フレームメモリ 141、イントラ予測回路 142、並びに動き予測'補償 回路 143を有する。
[0060] 画面並べ替え回路 123は、たとえば、図 2に示す遅延回路 11から読み出されたプ ログレツシブ画像データ S10—1のピクチャデータを、ピクチャタイプ I, P, Bからなる GOP構造に応じて、符号ィ匕する順番に並べ替えて、符号ィ匕対象のピクチャデータ O RGとして、演算回路 131、イントラ予測回路 142および動き予測 ·補償回路 143に出 力するように構成されている。 演算回路 131は、画面並べ替え回路 123から入力した符号ィ匕対象のピクチャデー タと、イントラ予測回路 142、動き予測 ·補償回路 143あるいは下位レイヤ予測回路 1 45から入力した予測画像データ PIとの差分を示す画像データを生成し、これを直交 変換回路 132に出力するように構成されている。
直交変換回路 132は、演算回路 131から入力した画像データに離散コサイン変換 やカルーネン'レーべ変換などの直交変換を施して変換係数を示す画像データ (例 えば DCT係数)を生成し、これを量子化回路 133に出力するように構成されている。
[0061] 量子化回路 133は、直交変換回路 132から入力した画像データ (量子化前の変換 係数)を、レート制御回路 134から入力した量子化スケール QSを基に量子化して量 子化後の変換係数を示す画像データを生成し、これを可逆符号化回路 135および 逆量子化回路 137に出力するように構成されて 、る。
レート制御回路 134は、例えば、ノ ッファメモリ 136から読み出した画像データを基 に量子化スケール QSを生成し、これを量子化回路 133に出力するように構成されて いる。
可逆符号化回路 135は、量子化回路 133から入力した画像データを可変長符号 化した画像データをバッファメモリ 136に格納するように構成されている。このとき、可 逆符号化回路 135は、階層化回路 10から入力した属性データ EisTop, ETimeをへ ッダデータなどに格納する。また、可逆符号化回路 135は、動き予測 ·補償回路 143 力 入力した動きベクトル MVあるいはその差分動きベクトル、参照画像データの識 別データ、並びにイントラ予測回路 142から入力したイントラ予測モードをヘッダデー タなどに格納する。
[0062] ノ ッファメモリ 136に格納された画像データは、上位符号ィ匕データ S 14として図 2に 示す多重化回路 15に読み出される。
逆量子化回路 137は、量子化回路 133の量子化に対応した逆量子化処理を、量 子化回路 133からの画像データに施して、それによつて得られたデータを生成し、こ れを逆直交変換回路 138に出力するように構成されている。
逆直交変換回路 138は、逆量子化回路 137から入力したデータに、直交変換回路 132における直交変換の逆変換を施して生成した画像データを加算回路 139に出 力するように構成されている。
加算回路 139は、逆直交変換回路 138から入力した (デコードされた)画像データ と、イントラ予測回路 142あるいは動き予測，補償回路 143から入力した予測画像デ ータ PIとを加算して参照（再構成)ピクチャデータを生成し、これをデブロックフィルタ 40に出力するように構成されて！、る。
[0063] デブロックフィルタ 140は、加算回路 139から入力した参照ピクチャデータのブロッ ク歪みを除去してフレームメモリ 141に書き込むように構成されて！、る。
イントラ予測回路 142は、イントラ符号ィ匕するマクロブロックにおいて、残差が最小と なるイントラ予測のモードおよび予測ブロックのブロックサイズを決定するように構成さ れている。イントラ予測回路 142は、ブロックサイズとして、 4x4および 16x16画素を 用いる。イントラ予測回路 142は、イントラ予測が選択された場合に、イントラ予測によ る予測画像データ PIを演算回路 131および加算回路 139に出力するように構成され ている。
[0064] 動き予測 ·補償回路 143は、既に符号ィ匕後に局所復号されてフレームメモリ 131に 記憶されて 、る参照ピクチャデータ REFを基に動き予測を行 、、符号化対象のピク チヤデータ ORGの処理対象のブロックデータとの差分を最小にする動きベクトルおよ び動き補償のブロックサイズを決定するように構成されて 、る。動き予測'補償回路 1 43は、ブロックサイズとして、たとえば、、 16x16、 16x8、 8x16、 8x8、 8x4、 4x8およ び 4x4画素の!/、ずれかを用いる。
動き予測 ·補償回路 143は、インター予測が選択された場合に、インター予測によ る予測画像データ PIを演算回路 131および加算回路 139に出力するように構成され ている。
[0065] 下位レイヤ予測回路 145は、図 2に示す変換回路 13から入力した下位予測画像デ 一タ ー !^：!) (FI)と L_PREb (FR)とのうち、ピクチャデータ ORGの処理対象のブ ロックデータとの差分が小さ 、予測画像データを特定するように構成されて 、る。
[0066] 図 14は、下位レイヤ予測回路 145の構成例を示す図である。
下位レイヤ予測回路 145は、減算回路 81、減算回路 82および判定回路 83を有す る。 減算回路 81は、図 5に示すイントラフィールド予測画像生成回路 21から入力した下 位予測画像データ L— PREb (FI)と、図 13に示す符号化対象のピクチャデータ OR G内の処理対象のブロックデータとの間の対応する画素データ間の差分を示す差分 データを生成し、これを判定回路 83に出力するように構成されている。
減算回路 82は、たとえば、図 5に示すイントラフレーム予測画像生成回路 22から入 力した下位予測画像データ L— PREb (FR)と、図 13に示す符号化対象のピクチャ データ ORG内の処理対象のブロックデータとの間の対応する画素データ間の差分 を示す差分データを生成し、これを判定回路 83に出力するように構成されている。
[0067] 判定回路 83は、減算回路 81から入力した差分データを、ブロックデータ単位で累 積して指標データ SAD (FI)を生成するように構成されている。また、判定回路 83は 、減算回路 82から入力した差分データを、ブロックデータ単位で累積して指標デー タ SAD (FR)を生成するように構成されている。そして、判定回路 83は、指標データ SAD (FI)と指標データ SAD (FR)とのうち小さ ヽ方を特定するように構成されて！ヽる 。判定回路 83は、下位レイヤ予測回路 145が選択された場合に、上記特定した小さ V、方の指標データ SAD (FI) , (FR)に対応した下位予測画像データ L_PREb (FI) , (FR)を演算回路 131に出力するように構成されて！、る。
[0068] イントラ予測回路 142、動き予測 ·補償回路 143および下位レイヤ予測回路 145が 生成した予測画像データ PIのうち、符号ィ匕対象のピクチャデータ ORGとの差分が最 小となる予測画像データ PIが選択されて演算回路 131に出力される。
上位レイヤ符号ィ匕回路 14は、最終的に選択した予測モードを示す予測モードデー タ PMをヘッダデータに格納して可逆符号ィ匕回路 135で符号ィ匕するように構成され ている。上位レイヤ符号ィ匕回路 14は、下位予測画像データ L_PREb (FI)を選択し た場合にインター ·レイヤ Zイントラフィールド予測を示す予測モードデータを生成す るように構成されている。上位レイヤ符号ィ匕回路 14は、下位予測画像データ L— PR Eb (FR)を選択した場合にインター ·レイヤ Zイントラフレーム予測を示す予測モード データを生成するように構成されて ヽる。
[0069] 上述した例では、下位レイヤ符号ィ匕回路 12において生成した再構成画像データを 、上位レイヤ符号ィ匕回路 14におけるイントラ予測符号ィ匕の予測画像データとして用 いる場合を例示したが、下位レイヤ符号ィ匕回路 12において生成した再構成画像デ ータゃ動きベクトルを、上位レイヤ符号ィ匕回路 14におけるインター予測符号ィ匕の予 測画像データや動きベクトルとして利用し、このモードを選択候補として用いてもょ ヽ
[0070] [多重化回路]
多重化回路 15は、下位レイヤ符号ィ匕回路 12から入力した下位符号ィ匕データ S12 と、上位レイヤ符号ィ匕回路 14から入力した上位符号ィ匕データ S14とを多重化して符 号化データ S2を生成するように構成されて ヽる。
[0071] [符号化装置の動作例]
図 2に示す符号化装置 2の動作例を説明する。
階層化回路 10が、図 2に示すように、符号化対象の画像データ S9を基に、プログ レツシブ画像データ（プログレッシブ信号） S 10—1と、インタレース画像データ S 10— 2とを生成する。階層化回路 10は、上記生成したプログレッシブ画像データ S10_l を構成するピクチャデータ FR1〜6. . .の各々を遅延回路 11に出力する。さらに、 階層化回路 10は、上記生成したインタレース画像データ S 10— 2を下位レイヤ符号 化回路 12に出力する。
[0072] 下位レイヤ符号ィ匕回路 12は、階層化回路 10から入力したインタレース画像データ S 10— 2を符号ィ匕して下位符号ィ匕データ S 12を生成し、これを多重化回路 15に出力 する。また、下位レイヤ符号ィ匕回路 12は、上記符号ィ匕において、下位予測画像デー タ L— PREを生成し、これを変換回路 13に出力する。
[0073] 変換回路 13は、下位レイヤ符号ィ匕回路 12から入力した下位予測画像データ L—P REを補間処理して、上位レイヤ符号ィ匕回路 14が遅延回路 11から入力したプログレ ッシブ画像データ S10_lと同じ解像度（走査線数)の下位予測画像データ L_PRE bを生成し、これを上位レイヤ符号ィ匕回路 14に出力する。
[0074] 遅延回路 11は、階層化回路 10から入力したプログレッシブ画像データ (プログレッ シブ信号) S10—1を構成する各ピクチャデータを、例えば、下位レイヤ符号ィ匕回路 1 2および変換回路 13における処理時間だけ遅延して上位レイヤ符号ィ匕回路 14に出 力する。 上位レイヤ符号ィ匕回路 14は、変換回路 13から入力した下位レイヤ符号ィ匕回路 12 にお!/、て生成した下位予測画像データ L—PREbを用いて、プログレッシブ画像デ ータ S10_lを符号ィ匕して上位符号ィ匕データ S14を生成する。
多重化回路 15は、下位レイヤ符号ィ匕回路 12から入力した下位符号ィ匕データ S12 と、上位レイヤ符号ィ匕回路 14から入力した上位符号ィ匕データ S14とを多重化して符 号化データ S2を生成する。
[0075] <復号装置 >
図 15は、図 1に示す復号装置 3の構成例を示す図である。
復号装置 3は、例えば、分離回路 51、遅延回路 52、下位レイヤ復号回路 53、変換 回路 54および上位レイヤ復号回路 55を有する。
[0076] [分離回路]
分離回路 51は、符号ィ匕装置 2が生成した上述した符号ィ匕データ S2を入力し、これ を下位符号化データ S12と上位符号化データ S14とに分離し、下位符号化データ S 12を下位レイヤ復号回路 53に出力し、上位符号ィ匕データ S14を遅延回路 52に書き 込むように構成されて 、る。
[0077] [遅延回路]
遅延回路 52は、分離回路 51から入力した上位符号ィ匕データ S14を、下位レイヤ復 号回路 53および変換回路 54における処理時間だけ遅延して上位レイヤ復号回路 5 5に出力するように構成されている。
[0078] [下位レイヤ復号回路]
図 16は、下位レイヤ復号回路 53の構成例を示す図である。
下位レイヤ復号回路 53は、例えば、蓄積バッファ 60、可逆復号回路 61、逆量子化 回路 62、逆直交変換回路 63、カロ算回路 64、デブロックフィルタ 65、フレームメモリ 6 6、画面並べ替えバッファ 67、イントラ予測回路 69、動き予測，補償回路 70を有する
[0079] 蓄積バッファ 60には、分離回路 51から入力した下位符号ィ匕データ S12が書き込ま れる。
[0080] 可逆復号回路 61は、下位符号化データ S12内の処理対象のマクロブロック MBが インター符号ィ匕されていると判断した場合には、そのヘッダ部に書き込まれている動 きベクトルを復号して動き予測 ·補償回路 70に出力するように構成されている。可逆 復号回路 61は、下位符号ィ匕データ S12内の処理対象のマクロブロック MBがイントラ 符号ィ匕されていると判断した場合には、そのヘッダ部に書き込まれているイントラ予 測モード情報を復号してイントラ予測回路 69に出力するように構成されている。可逆 復号回路 61は、下位符号ィ匕データ S12を復号して逆量子化回路 62に出力するよう に構成されている。可逆復号回路 61は、ヘッダ部に含まれる予測モードデータ PM を復号し、復号結果をたとえば、図 15に示す変換回路 54に出力するように構成され ている。
[0081] 逆量子化回路 62は、可逆復号回路 61で復号された画像データ (直交変換係数） を、可逆復号回路 61から入力した量子化パラメータを基に逆量子化して逆直交変換 回路 63に出力するように構成されて！、る。
[0082] 逆直交変換回路 63は、逆量子化回路 62から入力した画像データ (直交変換係数) に 4x4の逆直交変換処理を施して差分画像データを生成し、それを加算回路 64〖こ 出力するように構成されて 、る。
[0083] 加算回路 64は、動き予測 ·補償回路 70あるいはイントラ予測回路 69らの予測画像 データ PIと、逆直交変換回路 63からの差分画像データとを加算して画像データを生 成し、これをデブロックフィルタ 65に出力するように構成されて 、る。
[0084] デブロックフィルタ 65は、加算回路 64力 入力した画像データにデブロックフィルタ 処理を施して、処理後の復号画像データをフレームメモリ 66および画面並べ替えバ ッファ 67に書き込むように構成されて 、る。
[0085] フレームメモリ 66に記憶された復号画像データは、下位予測画像データ L— PRE 1 として図 15に示す変換回路 54に読み出される。
[0086] イントラ予測回路 69は、可逆復号回路 61から入力したイントラ予測モードと、フレー ムメモリ 66から読み出した復号画像データとに基づいて予測画像データ PIを生成し
、これを加算回路 64に出力するように構成されている。
[0087] 動き予測 ·補償回路 70は、フレームメモリ 66から読み出した復号画像データと、可 逆復号回路 61から入力した動きベクトルとに基づいて、予測画像データ PIを生成し 、これを加算回路 64に出力するように構成されている。
[0088] 画面並べ替えバッファ 67は、デブロックフィルタ 65から書き込まれた復号画像デー タを記憶するように構成されている。画面並べ替えバッファ 67に記憶された復号画像 データは、表示順に、下位復号画像データ S53として出力される。
[0089] [変換回路]
図 15を参照して変換回路 54について説明する。
変換回路 54は、下位レイヤ復号回路 53からの予測モードデータ PMに基づ!/、て下 位レイヤ復号回路 53から入力した下位予測画像データ L—PRE1を補間処理して、 上位レイヤ復号回路 55が遅延回路 52から読み出した上位符号ィ匕データ S14と同じ 解像度（走査線数)の下位予測画像データ L— PRE lbを生成し、これを上位レイヤ 復号回路 55に出力するように構成されて 、る。
[0090] 図 17は、変換回路 54の構成例を示す図である。
変換回路 54は、例えば、イントラフィールド予測画像生成回路 221と、イントラフレ ーム予測画像生成回路 222とを有する。
イントラフィールド予測画像生成回路 221は、予測モードデータ PMがインタ一'レイ ャ Zイントラフィールド予測を示して 、る場合に、下位予測画像データ L— PRE 1に 対して図 6〜図 8を参照して説明した補間処理を施して、プログレッシブ画像データ である上位符号ィ匕データ S14と同じ解像度の下位予測画像データ L— PRElb (FI) を生成するように構成されて 、る。
イントラフレーム予測画像生成回路 222は、予測モードデータ PMがインタ一'レイ ャ Zイントラフレーム予測を示して ヽる場合に、下位予測画像データ L— PRE 1に対 して図 9〜図 12を参照して説明した補間処理を施して、プログレッシブ画像データで ある上位符号ィ匕データ S 14と同じ解像度の下位予測画像データ L_PRElb (FR)を 生成するように構成されて 、る。
変換回路 54は、上記生成した下位予測画像データ L— PRE lb (FI) , (FR)を上 位レイヤ復号回路 55に出力するように構成されている。
[0091] [上位レイヤ復号回路]
図 18は、上位レイヤ復号回路 55の構成例を示す図である。 上位レイヤ復号回路 55は、例えば、蓄積バッファ 160、可逆復号回路 161、逆量 子化回路 162、逆直交変換回路 163、加算回路 164、デブロックフィルタ 165、フレ ームメモリ 166、画面並べ替えバッファ 167、イントラ予測回路 169、動き予測'補償 回路 170および下位レイヤ予測回路 171を有する。
[0092] 蓄積バッファ 160には、遅延回路 52から読み出された上位符号ィ匕データ S 14が書 き込まれる。
[0093] 可逆復号回路 161は、ヘッダデータに含まれる予測モードデータ PMを復号するよ うに構成されている。
可逆復号回路 161は、予測モードデータ PMが上位符号ィ匕データ S14内の処理対 象のマクロブロック MBがインター符号化されて!/、ることを示す場合には、そのヘッダ 部に書き込まれている動きベクトルを復号して動き予測 ·補償回路 170に出力するよ うに構成されている。
可逆復号回路 161は、予測モードデータ PMが上位符号ィ匕データ S14内の処理対 象のマクロブロック MBがイントラ符号ィ匕されて 、ることを示す場合には、そのヘッダ 部に書き込まれて 、るイントラ予測モード情報を復号してイントラ予測回路 169に出 力するように構成されている。
可逆復号回路 161は、予測モードデータ PMがインタ一'レイヤ Zイントラフィールド 予測あるいはインター ·レイヤ Zイントラフレーム予測を示す場合には、その旨を下位 レイヤ予測回路 171に通知するように構成されて 、る。
可逆復号回路 161は、上位符号化データ S14を復号して逆量子化回路 162に出 力するように構成されている。
可逆復号回路 161は、予測モードデータ PMを動き予測'補償回路 170、イントラ予 測回路 169および下位レイヤ予測回路 171に出力するように構成されている。
[0094] 逆量子化回路 162は、可逆復号回路 161で復号された画像データ (直交変換係数 )を、可逆復号回路 61から入力した量子化パラメータを基に逆量子化して逆直交変 換回路 163に出力するように構成されて 、る。
[0095] 逆直交変換回路 163は、逆量子化回路 162から入力した画像データ（直交変換係 数）に 4x4の逆直交変換処理を施して差分画像データを生成し、それを加算回路 16 4に出力するように構成されて！、る。
[0096] 加算回路 164は、動き予測 ·補償回路 170、イントラ予測回路 169あるいは下位レ ィャ予測回路 171らの予測画像データ PIと、逆直交変換回路 163からの差分画像 データとを加算して画像データを生成し、これをデブロックフィルタ 165に出力するよ うに構成されている。
[0097] デブロックフィルタ 165は、加算回路 164力も入力した画像データにデブロックフィ ルタ処理を施して、処理後の復号画像データをフレームメモリ 166および画面並べ 替えバッファ 167に書き込むように構成されて 、る。
[0098] イントラ予測回路 169は、通常のイントラ予測が指定されている場合に、可逆復号 回路 161から入力した予測モードデータ PMが示すイントラ予測モードと、フレームメ モリ 166から読み出した復号画像データとに基づいて予測画像データ PIを生成し、 これを加算回路 164に出力するように構成されて！、る。
[0099] 動き予測 ·補償回路 170は、予測モードデータ PM力 Sインター予測を示す場合に、 フレームメモリ 166から読み出した復号画像データと、可逆復号回路 161から入力し た動きべクトルとに基づ!/、て予測画像データ PIを生成し、これを加算回路 164に出 力するように構成されている。
[0100] 下位レイヤ予測回路 171は、予測モードデータ PMがインタ一'レイヤ Zイントラフィ 一ルド予測ある 、はインター ·レイヤ Zイントラフレーム予測を示す場合に、変換回路 54力 入力した下位予測画像データ L_PRE lb (FI) , (FR)、ある 、はそれに対し て所定の処理を施したデータを予測画像データ PIとして加算回路 164に出力するよ うに構成されている。
[0101] 画面並べ替えバッファ 167は、デブロックフィルタ 165から書き込まれた復号画像デ ータを記憶するように構成されている。画面並べ替えバッファ 167に記憶された復号 画像データは、表示順に、上位復号画像データ S55として出力されるように構成され ている。
[0102] [復号装置の動作例]
分離回路 51は、符号ィ匕装置 2が生成した上述した符号ィ匕データ S2を入力し、これ を下位符号化データ S12と上位符号化データ S14とに分離し、下位符号化データ S 12を下位レイヤ復号回路 53に出力し、上位符号ィ匕データ S14を遅延回路 52に書き 込むように構成されて 、る。
遅延回路 52は、分離回路 51から入力した上位符号ィ匕データ S14を、下位レイヤ復 号回路 53および変換回路 54における処理時間だけ遅延して上位レイヤ復号回路 5
5に出力するように構成されている。
[0103] 下位レイヤ復号回路 53は、下位符号化データ S 12を復号して下位復号画像デー タ S53を生成し、これを出力するように構成されている。また、下位レイヤ復号回路 5
3は、下位予測画像データ L— PREl (FI) , (FR)を生成し、これを変換回路 54に出 力するように構成されている。
[0104] 変換回路 54にお!/、て、下位予測画像データ L— PRE 1が（FI) , (FR)、プログレッ シブ解像度の下位予測画像データ L— PRElb (FI) , (FR)に変換されて上位レイヤ 復号回路 55に出力される。
上位レイヤ復号回路 55が、下位予測画像データ L— PRElb (FI) , (FR)に基づい て上位符号ィ匕データ S14を復号して上位復号画像データ S55を生成し、これを出力 するように構成されている。
[0105] 以上説明したように、本実施形態の符号化'復号システム 1によれば、符号化装置 2 において、階層符号ィ匕を行う場合に、上位レイヤにおいてプログレッシブ画像データ
S10_lを符号ィ匕し、下位レイヤにおいてインタレース画像データ S10_2を符号ィ匕 することができる。
また、符号化'復号システム 1によれば、復号装置 3において、符号化装置 2におい て階層符号ィ匕されたプログレッシブ画像データ S 10—1とインタレース画像データ S1 0—2とを復号できる。
[0106] 本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上 述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネー シヨン、並びに代替を行ってもよい。
例えば、上述した符号化装置 2あるいは復号装置 3の機能の全部あるいは一部を、 図 19に示すように、メモリ 352に記憶されたプログラム PRGの記述に従って CPU(Ce ntral Processing Unit)などの処理回路 353が実行してもよい。
この場合に、インターフェース 351を介して、符号化対象あるいは復号対象の画像 データが入力され、その処理結果が出力される。
[0107] 上述した実施形態において、マクロブロック層に新たに定義するコードの一例を下 記表 1と表 2とに示す。
[0108] [表 1]
Figure imgf000030_0001
Figure imgf000030_0002
[0109] [表 2]
¾2.
Figure imgf000031_0001
[0110] 上記表 1および表 2に示す" lower#layerffintra#prediction#mode"は、予測モードと 共に符号ィ匕データに格納されるフラグデータである。
当該フラグデータは、例えば、図 6〜図 8に示すアップサンプル手法が用いられた 場合に「0」を示し、図 9〜図 12に示すアップサンプル手法が用 ヽられた場合に「 1」 を示す。
当該フラグデータが存在しない場合には、「0」を示すと判断される。
"ae(v)，，は、指定されたシンタックス力 コンテクスト一ァダプティブ'エントロピー符号 であることを示す。
[0111] "baseffid#plusl"は、カレントピクチャの動きベクトル、画素データおよび差分データ を予測するために用いられるベースピクチャデータを特定するパラメータである。
"adaptive#prediction#flag"は、スケーラブル拡張におけるマクロブロック層内のシン タックス要素の有無を示し、無 、場合は「0」を示して 、る。
[0112] "base#mode#flag"が「1」を示す場合には、カレントマクロブロックの mb#typeが示さ れ、参照番号が示されている場合には、対応するベースマクロブロックに応じて動き ベクトルが示されている。
"base#mode#flag"が「0」を示す場合には、 "base#mode#refinement#flag"力 「1」でな Vヽ場合には" mb#type"は推定されな!、。 "base#mode#flag"が存在しない場合には、 "base#mode#flag"は以下のように推定さ れる。
"baseffid#plusl"が「0」を示す場合には、 "base#mode#flag"の値は「0」であると推定 される。そうでなければ、 "base#mode#flag"の値は、「1」であると推定される。
[0113] "baseffid#plusl"が「0」より大きぐベース'レイヤがカレント 'レイヤの 1Z2幅、 1Z2 高さである場合に、 HalSpatResBaseFlagは「1」に設定され、それ以外の場合は「0」 に設定される。
"intra#base#mb(CurrMbAddr)"は、 CrarmbAddrのベース ·マクロブロックが Iマクロブ ロックである場合に、「1」を返し、それ以外の場合に「1」を返す関数である。
[0114] "base#mode#refinement#flag"力 S「1」を示す場合に、カレントマクロブロックの mb#typ eと参照番号とが、対応するベースマクロブロックを基に推定されることを示して 、る。 "base#mode#refinement#flag"力 S「1」を示す場合に、ベースマクロブロックの動きべタト ルを用いて得られた動きベクトルの予測値に 1Z4画素解像度によってカ卩えられた動 きベクトルを特定する。
"base#mode#refinement#flag"力 「0」を示す場合に、 mb#typeは、推定されない。
[0115] "mb#type"は、マクロブロックタイプを示す。 "mb#type"のセマンティクスは、スライス タイプに依存する。
"intra#base#flag"が「1」を示す場合に、マクロブロックタイプ BLを示す。
"intra#base#flag"が存在しな!、場合、 "intra#base#flag"は以下に示すように推定さ れる。
"base#mode#flag，，が「1」であり、 "mb#type，，力 — NxNである場合には、 "intra#base #flag"は、「1」であると推定され、それ以外の場合に「0」であると推定される。
[0116] " NxN"は、マクロブロックタイプが、イントラ 8x8、イントラ 4x4あるいは I—BLの何 れかであることを示す。
"WBじ'は、その予測値が周囲画素データではなぐベースピクチャデータ力も得ら れるイントラマクロブロックであることを示す。
"interlace#base#layer"は、ベースレイヤのソース力 インタレース形式であることを 示している。 "progressive#curr#layer"は、カレントレイヤのソースがプログレッシブ形式であるこ とを示している。
"frame#structure#base#block"は、ベースブロックがフレーム構造で符号化されたこ とを示している。
[0117] 参考までに、本発明の符号化装置と復号装置を含む符号化'復号システムの実施 の形態について説明する。
本実施形態の符号化'復号システムの構成と本発明の構成との対応関係を説明す る。
符号ィヒ装置 2が本発明の符号ィヒ装置の一例であり、符号ィヒ装置 2の処理内容 (機 能）を図 19に例示したプログラム PRGで記述した場合にこのプログラム PRGが本発 明のプログラムの一例である。このようなプログラムは通常、記録媒体に収容されて、 あるいは、通信経路を介して取引され、コンピュータに装荷された動作する。したがつ て、本発明のプログラムはそのような取引形態、および、動作形態をも含む。
図 2を参照して述べる下位レイヤ符号化回路 12が本発明の第 1符号化手段および 第 1符号ィ匕部の一例であり、変換回路 13がアップサンプル処理手段およびアップサ ンプル処理部の一例であり、上位レイヤ符号ィ匕回路 14が第 2符号ィ匕手段および第 2 符号化部の一例である。
[0118] 復号装置 3が本発明の復号装置の一例であり、復号装置 3の処理内容 (機能)を図 19に例示したプログラム PRGで記述した場合にこのプログラム PRGが本発明のプロ グラムの一例である。このようなプログラムは通常、記録媒体に収容されて、あるいは
、通信経路を介して取引され、コンピュータに装荷された動作する。したがって、本発 明のプログラムはそのような取引形態、および、動作形態をも含む。
図 15を参照して述べる下位レイヤ復号回路 53が本発明の第 1復号手段および第 1 復号部の一例であり、変換回路 54がアップサンプル処理手段およびアップサンプル 処理部の一例であり、上位レイヤ復号回路 55が第 2復号手段および第 2復号部の一 例である。

Claims

請求の範囲
[1] プログレッシブ画像データと当該プログレッシブ画像データに対応したインタレース 画像データとを符号ィ匕する符号ィ匕装置であって、
前記インタレース画像データを構成するピクチャデータを符号化した第 1符号化デ ータと、前記第 1の符号化データを復号して再構成した再構成画像データとを生成 するように構成されている、第 1符号化部と、
前記第 1の符号ィ匕部が生成した前記再構成画像データをアップサンプルして、前 記プログレッシブ画像データと同じ解像度の画像データを生成するように構成されて いる、アップサンプル処理部と、
前記アップサンプル処理部が生成した前記画像データを予測画像データとして前 記プログレッシブ画像データを構成するピクチャデータを符号ィ匕して第 2符号ィ匕デ一 タを生成するように構成されている、第 2符号化部と
を有する符号化装置。
[2] 前記第 2符号化部は、前記符号化対象のプログレッシブ画像データのピクチャデ ータと同じタイムスタンプが割り当てられた前記インタレース画像データのピクチャデ ータに対応して前記アップサンプリング処理部が生成した前記画像データを前記予 測画像データとして用いて前記第 2符号ィ匕データを生成する、
請求項 1に記載の符号化装置。
[3] 前記アップサンプル処理部は、前記第 2符号ィ匕部による符号ィ匕対象のピクチャデ ータと同じタイムスタンプが割り当てられた前記インタレース画像データのピクチャデ ータのみを用いて補間処理を行って前記予測画像データを生成する、
請求項 1に記載の符号化装置。
[4] 前記アップサンプル処理部は、前記第 2符号ィ匕部による符号ィ匕対象のピクチャデ ータと同じタイムスタンプが割り当てられた前記インタレース画像データのピクチャデ ータと、当該インタレース画像データのピクチャデータとペアになるピクチャデータと を用いて補間処理を行って前記予測画像データを生成する、
請求項 1に記載の符号化装置。
[5] 前記アップサンプル処理部は、前記第 2符号ィ匕部による符号ィ匕対象のピクチャデ ータと同じタイムスタンプが割り当てられた前記インタレース画像データのピクチャデ ータのみを用いて補間処理を行って第 1の前記予測画像データを生成し、前記第 2 符号ィ匕部による符号ィ匕対象のピクチャデータと同じタイムスタンプが割り当てられた 前記インタレース画像データのピクチャデータと、当該インタレース画像データのピク チヤデータとペアになるピクチャデータとを用いて補間処理を行って第 2の前記予測 画像データを生成し、
前記第 2符号化部は、前記第 1の予測画像データと前記第 2の予測画像データと のうち、前記符号ィ匕対象のピクチャデータとの間の差異が小さい方を予測画像デー タとして選択して符号化を行う、
請求項 1に記載の符号化装置。
[6] 前記第 1符号化部および前記第 2符号化部は、それぞれ前記符号化としてイントラ 符号化を行う、
請求項 1に記載の符号化装置。
[7] 前記第 2符号化部は、
前記符号ィ匕対象のピクチャデータを用いたイントラ予測によって生成した予測画像 データと、動き予測 '補償によって生成した予測画像データと、前記アップサンプル 処理部が生成した前記画像データを予測画像データとのうち符号ィ匕対象のピクチャ データとの間の差分を最小にする予測画像データを選択し、
符号化対象のピクチャデータと前記選択した予測画像データとの差分を符号化す る、
請求項 1に記載の符号化装置。
[8] 前記第 1符号化部が生成した前記第 1符号化データと前記第 2符号化部が生成し た前記第 2符号ィ匕データとを多重化するように構成されている、多重化部
をさらに有する、
請求項 1に記載の符号化装置。
[9] プログレッシブ画像データと、当該プログレッシブ画像データに対応したインタレー ス画像データとを符号ィ匕する符号ィ匕装置であって、
前記インタレース画像データを構成するピクチャデータを符号化した第 1符号化デ ータと、前記第 1符号化データを復号して再構成した再構成画像データとを生成する 第 1符号化手段と、
前記第 1符号ィ匕手段が生成した前記再構成画像データをアップサンプルして、前 記プログレッシブ画像データと同じ解像度の画像データを生成するアップサンプル 処理手段と、
前記アップサンプル処理手段が生成した前記画像データを予測画像データとして 前記プログレッシブ画像データを構成するピクチャデータを符号ィ匕して第 2符号ィ匕デ ータを生成する第 2符号化手段と
を有する符号化装置。
[10] プログレッシブ画像データと、当該プログレッシブ画像データに対応したインタレー ス画像データとを符号ィ匕する符号ィ匕方法であって、
前記インタレース画像データを構成するピクチャデータを符号ィ匕した第 1の符号ィ匕 データと、前記第 1の符号化データを復号して再構成した再構成画像データとを生 成する第 1工程と、
前記第 1工程で生成した前記再構成画像データをアップサンプルして、前記プログ レツシブ画像データと同じ解像度の画像データを生成する第 2の工程と、
前記第 2工程で生成した前記画像データを予測画像データとして前記プログレッシ ブ画像データを構成するピクチャデータを符号化して第 2符号化データを生成する 第 3工程と
を有する符号化方法。
[11] プログレッシブ画像データを符号化して得られた第 1符号化データと、前記プログレ ッシブ画像データに対応したインタレース画像データを符号化して得られた第 2符号 化データとを復号する復号装置であって、
前記第 2符号ィ匕データを復号するように構成されている、第 1復号部と、 前記第 1復号部における復号により生成した第 1の予測画像データを補間処理して 第 2の予測画像データを生成するアップサンプル処理部と、
前記アップサンプル処理部が前記生成した前記第 2予測画像データに基づいて前 記第 1の符号ィ匕データを復号するように構成されている、第 2復号部と を有する復号装置。
[12] プログレッシブ画像データを符号化して得られた第 1符号化データと、前記プログレ ッシブ画像データに対応したインタレース画像データを符号化して得られた第 2符号 化データとを復号する復号装置であって、
前記第 2符号化データを復号する第 1復号手段と、
前記第 1復号手段における復号により生成した第 1の予測画像データを補間処理 して第 2の予測画像データを生成するアップサンプル処理手段と、
前記アップサンプル処理手段が前記生成した前記第 2予測画像データに基づいて 前記第 1符号化データを復号する第 2復号手段と
を有する復号装置。
[13] プログレッシブ画像データを符号化して得られた第 1符号化データと、前記プログレ ッシブ画像データに対応したインタレース画像データを符号化して得られた第 2符号 化データとを復号する復号方法であって、
前記第 2符号化データを復号する第 1工程と、
前記第 1工程で復号により生成した第 1予測画像データを補間処理して第 2予測画 像データを生成する第 2工程と、
前記第 2工程で生成した前記第 2予測画像データに基づいて前記第 1符号化デー タを復号する第 3工程と
を有する復号方法。
[14] プログレッシ画像ブデータと、当該プログレッシブ画像データに対応したインタレー ス画像データとを符号ィ匕するコンピュータが実行するプログラムあって、
前記インタレース画像データを構成するピクチャデータを符号化した第 1符号化デ ータと、前記第 1符号化データを復号して再構成した再構成画像データとを生成する 第 1手順と、
前記第 1手順で生成した前記再構成画像データをアップサンプルして、前記プログ レツシブ画像データと同じ解像度の画像データを生成する第 2手順と、
前記第 2手順で生成した前記画像データを予測画像データとして前記プログレッシ ブ画像データを構成するピクチャデータを符号化して第 2符号化データを生成する 第 3手順と
を前記コンピュータに実行させるプログラム。
プログレッシブ画像データを符号化して得られた第 1符号化データと、前記プログレ ッシブ画像データに対応したインタレース画像データを符号化して得られた第 2符号 化データとを復号するコンピュータが実行するプログラムであって、
前記第 2符号化データを復号する第 1手順と、
前記第 1手順で復号により生成した第 1予測画像データを補間処理して第 2予測画 像データを生成する第 2手順と、
前記第 2手順で生成した前記第 2予測画像データに基づいて前記第 1符号化デー タを復号する第 3手順と
を前記コンピュータに実行させるプログラム。
PCT/JP2006/317657 2005-09-15 2006-09-06 符号化装置、符号化方法およびそのプログラム、並びに、復号装置、復号方法およびそのプログラム WO2007032239A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
BRPI0606273-3A BRPI0606273A2 (pt) 2005-09-15 2006-09-06 aparelho e método de codificação para codificar dados de imagem progressiva e dados de imagem de entrelaçamento correspondendo aos dados de imagem progressiva, aparelho e método de decodificação para decodificar primeiros dados codificados obtidos codificando dados de imagem progressiva e segundos dados codificados obtidos codificando dados de imagem de entrelaçamento, e, programa executado por um computador
EP20060797552 EP1811786A4 (en) 2005-09-15 2006-09-06 CODING DEVICE, METHOD AND PROGRAMS THEREFOR, AND DECODING DEVICE, METHOD AND PROGRAMS THEREFOR
CN2006800014760A CN101091394B (zh) 2005-09-15 2006-09-06 编码装置及编码方法
US11/721,887 US8238425B2 (en) 2005-09-15 2006-09-06 Decoding apparatus, decoding method, and program of same
HK08102685A HK1108789A1 (en) 2005-09-15 2008-03-07 Encoding apparatus and encoding method
US13/425,107 US8842732B2 (en) 2005-09-15 2012-03-20 Encoding apparatus, encoding method, and program of same
US13/568,828 US8831096B2 (en) 2005-09-15 2012-08-07 Decoding apparatus, decoding method, and program of same
US14/481,464 US20140376629A1 (en) 2005-09-15 2014-09-09 Decoding apparatus, decoding method, and program of same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-268898 2005-09-15
JP2005268898A JP5017825B2 (ja) 2005-09-15 2005-09-15 復号装置および復号方法

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US11/721,887 A-371-Of-International US8238425B2 (en) 2005-09-15 2006-09-06 Decoding apparatus, decoding method, and program of same
US13/425,107 Continuation US8842732B2 (en) 2005-09-15 2012-03-20 Encoding apparatus, encoding method, and program of same
US13/568,828 Continuation US8831096B2 (en) 2005-09-15 2012-08-07 Decoding apparatus, decoding method, and program of same

Publications (1)

Publication Number Publication Date
WO2007032239A1 true WO2007032239A1 (ja) 2007-03-22

Family

ID=37864838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/317657 WO2007032239A1 (ja) 2005-09-15 2006-09-06 符号化装置、符号化方法およびそのプログラム、並びに、復号装置、復号方法およびそのプログラム

Country Status (10)

Country Link
US (4) US8238425B2 (ja)
EP (1) EP1811786A4 (ja)
JP (1) JP5017825B2 (ja)
KR (1) KR101265371B1 (ja)
CN (3) CN101924939B (ja)
BR (1) BRPI0606273A2 (ja)
HK (1) HK1108789A1 (ja)
RU (3) RU2517691C2 (ja)
TW (3) TW201204052A (ja)
WO (1) WO2007032239A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948248B2 (en) 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
US10491919B2 (en) 2009-02-19 2019-11-26 Sony Corporation Image processing apparatus and method

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345762B2 (en) 2005-02-18 2013-01-01 Thomson Licensing Method for deriving coding information for high resolution pictures from low resolution pictures and coding and decoding devices implementing said method
FR2894424A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
CN101356820B (zh) 2006-01-05 2011-01-26 汤姆森许可贸易公司 层间运动预测方法
EP1879399A1 (en) 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
FR2917262A1 (fr) * 2007-06-05 2008-12-12 Thomson Licensing Sas Dispositif et procede de codage d'un contenu video sous la forme d'un flux scalable.
US8494082B2 (en) * 2008-05-06 2013-07-23 Electronics And Telecommunications Research Institute Apparatus for transmitting layered data
CN102100071B (zh) * 2008-07-25 2013-01-02 索尼公司 图像处理设备和方法
CN101884220B (zh) * 2009-01-19 2013-04-03 松下电器产业株式会社 编码方法、解码方法、编码装置、解码装置、程序及集成电路
CN104780384B (zh) 2009-01-29 2018-01-16 杜比实验室特许公司 解码视频帧的序列的方法、编码多视图帧的序列的方法
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
JP5381571B2 (ja) * 2009-09-29 2014-01-08 株式会社Ｊｖｃケンウッド 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
JP5625342B2 (ja) * 2009-12-10 2014-11-19 ソニー株式会社 画像処理方法、画像処理装置、プログラム
JP5428886B2 (ja) * 2010-01-19 2014-02-26 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
CN102742269B (zh) 2010-02-01 2016-08-03 杜比实验室特许公司 处理图像或图像序列的样本、后处理已解码图像的方法
JP5703781B2 (ja) 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
RU2467499C2 (ru) * 2010-09-06 2012-11-20 Государственное образовательное учреждение высшего профессионального образования "Поволжский государственный университет телекоммуникаций и информатики" (ГОУВПО ПГУТИ) Способ сжатия цифрового потока видеосигнала в телевизионном канале связи
CN103548353B (zh) * 2011-04-15 2015-08-19 Sk普兰尼特有限公司 使用多轨视频的高速可伸缩视频编码装置和方法
KR101594411B1 (ko) * 2011-05-20 2016-02-16 에스케이플래닛 주식회사 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
JP5830993B2 (ja) 2011-07-14 2015-12-09 ソニー株式会社 画像処理装置及び画像処理方法
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
JP2013126157A (ja) * 2011-12-15 2013-06-24 Sony Corp 画像処理装置及び画像処理方法
US9049445B2 (en) 2012-01-04 2015-06-02 Dolby Laboratories Licensing Corporation Dual-layer backwards-compatible progressive video delivery
EP2813079B1 (en) * 2012-06-20 2019-08-07 HFI Innovation Inc. Method and apparatus of inter-layer prediction for scalable video coding
US9560358B2 (en) * 2013-07-22 2017-01-31 Qualcomm Incorporated Device and method for scalable coding of video information
WO2015103032A1 (en) * 2014-01-02 2015-07-09 Vid Scale, Inc. Methods and systems for scalable video coding with mixed interlace and progressive content
KR20160105203A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 멀티미디어 코덱, 상기 멀티미디어 코덱을 포함하는 애플리케이션 프로세서, 및 상기 애플리케이션 프로세서의 동작 방법
KR101625441B1 (ko) * 2015-10-01 2016-05-30 에스케이플래닛 주식회사 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR101626757B1 (ko) * 2015-10-01 2016-06-02 에스케이플래닛 주식회사 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR101749613B1 (ko) * 2016-03-09 2017-06-21 에스케이플래닛 주식회사 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
JP6635197B2 (ja) * 2016-06-06 2020-01-22 日本電気株式会社 映像符号化装置、映像符号化方法およびプログラム
KR101875853B1 (ko) * 2017-06-02 2018-07-06 에스케이플래닛 주식회사 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162870A (ja) * 1993-09-21 1995-06-23 At & T Corp ビデオ信号符号化装置
JPH09149415A (ja) * 1995-11-17 1997-06-06 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置
JPH10112857A (ja) * 1996-10-07 1998-04-28 Hitachi Ltd 画像信号の符号化・復号化方法および装置
JP2000036963A (ja) * 1998-07-17 2000-02-02 Sony Corp 画像符号化装置、画像符号化方法および画像復号化装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54114920A (en) * 1978-02-28 1979-09-07 Kokusai Denshin Denwa Co Ltd Television signal adaptive forecasting encoding system
JP2910213B2 (ja) * 1990-10-09 1999-06-23 ソニー株式会社 高能率符号化装置及び方法
JP3032088B2 (ja) * 1992-03-03 2000-04-10 株式会社東芝 動画像符号化装置
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
US5387940A (en) * 1993-07-07 1995-02-07 Rca Thomson Licensing Corporation Method and apparatus for providing scaleable compressed video signal
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
JP3432886B2 (ja) 1994-03-30 2003-08-04 株式会社東芝 階層符号化／復号化装置及び方法及び送受信方式
MY115648A (en) * 1995-08-23 2003-08-30 Sony Corp Encoding/decoding fields of predetermined field polarity apparatus and method
JP4186239B2 (ja) 1997-08-12 2008-11-26 ソニー株式会社 画像データのシーケンス検出装置および符号化装置
JP3724203B2 (ja) * 1998-03-10 2005-12-07 ソニー株式会社 符号化装置および方法、並びに記録媒体
JP2000236547A (ja) 1998-12-15 2000-08-29 Sony Corp 画像情報変換装置及び画像情報変換方法
US6993076B1 (en) * 1999-05-11 2006-01-31 Thomson Licensing S.A. Apparatus and method for deriving an enhanced decoded reduced-resolution video signal from a coded high-definition video signal
KR100486700B1 (ko) * 1999-09-04 2005-05-03 삼성전자주식회사 선형 다운/업 샘플링 장치 및 그를 이용한 일반화된 격주사선 처리 부호화/복호화 방법 및 장치
US7098957B2 (en) * 2000-12-20 2006-08-29 Samsung Electronics Co., Ltd. Method and apparatus for detecting repetitive motion in an interlaced video sequence apparatus for processing interlaced video signals
US7447264B2 (en) * 2002-11-07 2008-11-04 Victor Company Of Japan, Ltd. Moving-picture temporal scalable coding method, coding apparatus, decoding method, decoding apparatus, and computer program therefor
JP2005064845A (ja) * 2003-08-12 2005-03-10 Matsushita Electric Ind Co Ltd データ処理回路
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
JP2007532046A (ja) 2003-12-22 2007-11-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 互換的インターレースｓｄｔｖとプログレッシブｈｄｔｖ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162870A (ja) * 1993-09-21 1995-06-23 At & T Corp ビデオ信号符号化装置
JPH09149415A (ja) * 1995-11-17 1997-06-06 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置
JPH10112857A (ja) * 1996-10-07 1998-04-28 Hitachi Ltd 画像信号の符号化・復号化方法および装置
JP2000036963A (ja) * 1998-07-17 2000-02-02 Sony Corp 画像符号化装置、画像符号化方法および画像復号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FUJIWARA H.: "Point Zukaishiki Saishin MPEG Kyokasho", ASCII CORP., 1 August 1994 (1994-08-01), pages 148 - 151, XP003010187 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10491919B2 (en) 2009-02-19 2019-11-26 Sony Corporation Image processing apparatus and method
US8948248B2 (en) 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction

Also Published As

Publication number Publication date
TWI351881B (ja) 2011-11-01
CN101924940B (zh) 2012-08-29
RU2007122456A (ru) 2008-12-20
US20120300842A1 (en) 2012-11-29
BRPI0606273A2 (pt) 2009-11-10
US20120177117A1 (en) 2012-07-12
JP5017825B2 (ja) 2012-09-05
TW200714081A (en) 2007-04-01
RU2368096C2 (ru) 2009-09-20
KR20080055745A (ko) 2008-06-19
RU2008151990A (ru) 2010-07-10
EP1811786A1 (en) 2007-07-25
HK1108789A1 (en) 2008-05-16
US8842732B2 (en) 2014-09-23
EP1811786A4 (en) 2012-09-05
US20140376629A1 (en) 2014-12-25
RU2510151C2 (ru) 2014-03-20
TW201204051A (en) 2012-01-16
CN101924939A (zh) 2010-12-22
US8238425B2 (en) 2012-08-07
CN101924940A (zh) 2010-12-22
RU2517691C2 (ru) 2014-05-27
TWI371977B (ja) 2012-09-01
RU2008152004A (ru) 2010-07-10
TWI371976B (ja) 2012-09-01
US20090262803A1 (en) 2009-10-22
KR101265371B1 (ko) 2013-05-20
TW201204052A (en) 2012-01-16
CN101091394B (zh) 2010-10-13
CN101091394A (zh) 2007-12-19
US8831096B2 (en) 2014-09-09
JP2007081983A (ja) 2007-03-29
CN101924939B (zh) 2013-01-02

Similar Documents

Publication Publication Date Title
JP5017825B2 (ja) 復号装置および復号方法
RU2409005C2 (ru) Способ масштабируемого кодирования и декодирования видеосигнала
CN101601300B (zh) 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
US8619854B2 (en) Scalable video encoding and decoding method using switching pictures and apparatus thereof
CN104335585A (zh) 图像解码方法和使用其的装置
WO2007013437A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN104813667A (zh) 具有自适应变换和多帧间层运动候选的帧间层纹理编码
US9654786B2 (en) Image decoding method and apparatus using same
WO2007020977A1 (ja) 符号化装置、符号化方法、復号装置、復号方法およびプログラム
JP4660408B2 (ja) 符号化方法
JP4209134B2 (ja) 圧縮ビットストリームをアップサンプリングする方法および装置
JP5382032B2 (ja) 復号装置および復号方法
JP5382031B2 (ja) 符号化装置および符号化方法
JP2013059106A (ja) 符号化装置および符号化方法
KR20090076022A (ko) 썸네일 생성 장치 및 이를 포함한 멀티코덱 디코더 장치
Liu et al. A comparison between SVC and transcoding
JP2011142698A (ja) 符号化装置、符号化方法、復号装置、復号方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
REEP Request for entry into the european phase

Ref document number: 2006797552

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006797552

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 4459/DELNP/2007

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 1020077013418

Country of ref document: KR

ENP Entry into the national phase

Ref document number: 2007122456

Country of ref document: RU

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 200680001476.0

Country of ref document: CN

Ref document number: 11721887

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2006797552

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: PI0606273

Country of ref document: BR

Kind code of ref document: A2