WO1998021896A1 - Digital image coding method and digital image coder, and digital image decoding method and digital image decoder, and data storage medium - Google Patents

Digital image coding method and digital image coder, and digital image decoding method and digital image decoder, and data storage medium Download PDF

Info

Publication number
WO1998021896A1
WO1998021896A1 PCT/JP1997/004107 JP9704107W WO9821896A1 WO 1998021896 A1 WO1998021896 A1 WO 1998021896A1 JP 9704107 W JP9704107 W JP 9704107W WO 9821896 A1 WO9821896 A1 WO 9821896A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
image signal
image
resolution
reproduced
Prior art date
Application number
PCT/JP1997/004107
Other languages
English (en)
French (fr)
Inventor
Choong Seng Boon
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP52238598A priority Critical patent/JP3144806B2/ja
Priority to KR1019980705338A priority patent/KR100306337B1/ko
Priority to US09/091,984 priority patent/US6154570A/en
Priority to EP97912422A priority patent/EP0876061A4/en
Publication of WO1998021896A1 publication Critical patent/WO1998021896A1/ja
Priority to US09/686,942 priority patent/US6571017B1/en
Priority to US10/287,002 priority patent/US6766061B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Definitions

  • Digital image coding method and digital image coding apparatus Digital image decoding method and digital image decoding apparatus, and data storage medium
  • the present invention relates to a method and an apparatus for encoding a digital image signal, a method and an apparatus for decoding an encoded digital image signal, and a method for encoding and decoding a digital image signal by a computer.
  • the present invention relates to a data storage medium storing a program, and more particularly to a spatio-temporal hierarchical encoding process for an image of an object having an arbitrary shape and a spatio-temporal hierarchical decoding process corresponding thereto.
  • image signals are separately compressed for each object so that the compression efficiency can be improved and the image signal can be reproduced for each area (hereinafter referred to as image space) corresponding to each object that composes one screen.
  • image space corresponding to each object that composes one screen.
  • a method of encoding and transmitting has been put to practical use. In this method, on the reproduction side, encoded image signals corresponding to the respective objects are decoded, and the images of the individual objects reproduced by the decoding are combined to form an image corresponding to one screen. Is displayed. By encoding the image signal in object units in this manner,
  • a coding method using a transform method for example, a shape-adaptive discrete cosine transform, or a method in which pixel values of pixels constituting an invalid area of an image space (that is, an outer area of an object image) are supplemented by a predetermined method
  • a transform method for example, a shape-adaptive discrete cosine transform
  • a macroblock consisting of 16 ⁇ 16 pixels is used as a unit area to correspond to a target macroblock to be subjected to encoding processing.
  • the prediction signal is an image signal corresponding to a prediction region obtained by motion compensation.
  • this is a process of detecting, as a prediction region, a region of 16 ⁇ 16 pixels that gives an image signal having the smallest difference from the image signal of the target macroblock in the screen subjected to the decoding process.
  • this prediction region is located at the boundary of the object image in the image space, it will include pixels having insignificant (undefined) sample values (pixel values). Therefore, in such a prediction region, the image signal corresponding to the prediction region is subjected to a compensation process of replacing the insignificant sample value with a significant pseudo sample value, and then subjected to the compensation process.
  • the difference between the signal and the image signal of the target MAC block is determined as a prediction error signal (difference signal), and a conversion process for encoding the difference signal is performed.
  • the reason why the compensation processing is performed on the prediction area is to suppress the difference signal, in other words, to reduce the code amount when encoding the difference signal.
  • an image signal corresponding to each object that is, an image space including the object image is formed.
  • a low-resolution object image can be reproduced by decoding a part of the bit string extracted from the transmitted data (encoded bit stream). By decoding the data, a high-resolution object image can be reproduced.
  • an image signal (high-resolution image signal) corresponding to a high-resolution image is converted into an image signal (low-resolution image signal) corresponding to a low-resolution image.
  • Image signal That is, a high-resolution image signal corresponding to the target block to be encoded is predicted using the corresponding low-resolution image signal to generate a predicted image signal, and the high-resolution image signal of the target block is generated. And a difference signal obtained by subtracting the prediction image signal from the prediction image signal is encoded.
  • a shape signal indicating an arbitrary shape of the object is used as an image signal, and a texture signal including a luminance signal and a color difference signal for displaying an object image in gradation color.
  • a texture signal including a luminance signal and a color difference signal for displaying an object image in gradation color.
  • the low-resolution texture signal corresponding to the macroblock located at the boundary of the object includes insignificant (undefined) sample values (pixel values)
  • prediction is performed using the low-resolution texture signal as it is.
  • a signal is generated, and the predicted signal is subtracted from a high-resolution texture signal of the target macroblock to be encoded, and a differential pixel value corresponding to a pixel located at the boundary of the object in the differential signal is obtained. Is a large value, and it is not possible to efficiently encode a high-resolution texture signal.
  • the image space formed by the image texture signal is A situation arises when the macroblock region of is completely outside the object image. In such a situation, even if a prediction signal of a high-resolution texture signal based on a low-resolution texture signal is used, the difference signal between the high-resolution texture signal and the predicted shape signal cannot be efficiently suppressed.
  • the present invention has been made in order to solve the above-described problems, and corresponds to a plurality of hierarchies having different resolutions based on an image signal for forming an image space including an object image having an arbitrary shape.
  • an image signal for forming an image space including an object image having an arbitrary shape.
  • the image signal of the unit area located at the boundary of the object is encoded. It is an object of the present invention to obtain a digital image encoding method and a digital image encoding device capable of efficiently compressing.
  • the present invention provides a method for encoding an image signal for forming an image space including an object image, the image encoding signal obtained by a hierarchical encoding process capable of efficiently compressing the image signal by a corresponding hierarchical decoding process.
  • An object of the present invention is to provide a digital image decoding method and a digital image decoding device capable of correctly reproducing.
  • the present invention provides a digital recording medium storing a program for realizing, by a computer, the hierarchical encoding process by the digital image encoding method and the hierarchical decoding process by the digital image decoding method. Aim.
  • a digital image encoding method comprises a first and a second input having different resolutions for forming an image space composed of a plurality of pixels including an image having an arbitrary shape.
  • a digital image encoding method for encoding an image signal wherein the first input image signal is compressed and encoded to generate a first encoded image signal, and the compressed first input image is generated.
  • An encoding process of expanding a signal to generate a first reproduced image signal is performed for each unit area that divides the image space, and the first reproduced image signal corresponding to each unit area is encoded. And performing a supplementary process of replacing the insignificant pixel value with a pseudo pixel value obtained by a predetermined method.
  • a predicted signal of the second input image signal is generated based on the first reproduced image signal on which the interpolation processing has been performed.
  • the difference signal which is the difference between the second input image signal different from the first input image signal and its prediction signal, is suppressed, and the second input image signal corresponding to the unit area located at the boundary of the object Can be compressed while suppressing poor code efficiency.
  • a signal generated based on the first reproduced image signal in the target unit area is used as the prediction signal. Since it is used, the encoding process of the second input image signal is delayed by only the time for processing the unit area as compared with the encoding process of the first input image signal. For this reason, the decoding side converts the high-resolution image and the low-resolution image almost in time based on the first and second encoded image signals obtained by encoding the first and second input image signals. It can be reproduced without any shift.
  • This invention is a digital image code according to Claim 1.
  • the first reproduction image signal corresponding to each unit area is compensated based on a significant pixel value in the first reproduction image signal.
  • the difference between the predicted signal of the second input image signal obtained from the second input image signal and the second input image signal can be effectively suppressed.
  • a digital image encoding device includes a first image encoding device for encoding a first input image signal for forming an image space including a plurality of pixels including an image having an arbitrary shape. And a second encoding unit that encodes a second input image signal having a different resolution from the first input image signal to form an image space including a plurality of pixels including the image.
  • An encoding processing unit wherein the first encoding processing unit compresses and encodes the first input image signal to generate a first encoded image signal, and generates the first encoded image signal.
  • a first encoding unit that performs an encoding process of generating a first reproduced image signal by expanding the input image signal of each of the unit regions, the first encoding unit corresponding to each of the unit regions described above.
  • the insignificant pixel value of the first reproduced image signal is determined by a predetermined method.
  • a compensating unit for performing a compensating process for replacing the pseudo-pixel value with the pseudo pixel value.
  • the second encoding unit is configured to perform the compensation based on the first reproduced image signal subjected to the compensating process.
  • Prediction signal generating means for predicting a second input image signal corresponding to the region to generate a prediction signal, and compressing and encoding the second input image signal corresponding to each unit region and a difference signal of the prediction signal And generates an encoded difference signal, and expands the compressed difference signal, and adds the prediction signal to the expanded difference signal to generate a second reproduced image signal.
  • a second encoding unit that performs the encoding process for each unit area.
  • the prediction signal of the second input image signal is generated based on the first reproduced image signal on which the compensation processing has been performed.
  • the difference signal which is the difference between the second input image signal different from the first input image signal and the predicted signal, is suppressed, and the unit area located at the boundary of the object
  • a signal generated based on the first reproduced image signal in the target unit area is used as the prediction signal. Since it is used, the encoding process of the second input image signal is less time-consuming and delayed than the encoding process of the first input image signal by the time for processing the unit area. For this reason, the decoding side converts the high-resolution image and the low-resolution image almost in time based on the first and second encoded image signals obtained by encoding the first and second input image signals. It can be reproduced without any shift.
  • the first reproduced image signal subjected to the compensation processing is converted to the second input image signal.
  • Resolution conversion means for converting the resolution to match the resolution of the image signal and outputting a resolution conversion signal, wherein the prediction signal generation means is configured to perform a second input corresponding to each unit area based on the second reproduced image signal.
  • Prediction means for predicting an image signal to generate an auxiliary prediction signal; and switch means for switching between the auxiliary prediction signal and the resolution conversion signal based on control information included in the second input image signal.
  • the output of the switch means is output as a prediction signal of a second input image signal corresponding to each of the unit areas.
  • one of the auxiliary prediction signal obtained from the second input image signal and the resolution conversion signal obtained from the first input image signal is converted into the second input image. Selection is performed based on the control information included in the signal, and the selected signal is output as a prediction signal of the second input image signal corresponding to each unit area. Therefore, the prediction signal is adaptively switched with a simple configuration. Thus, the coding efficiency in the hierarchical coding process can be further improved.
  • the first reproduced image signal subjected to the compensation processing is converted into the second input image signal having the resolution equal to the second input signal.
  • Resolution conversion means for converting the resolution of the image signal to one SrT and outputting a resolution conversion signal, wherein the prediction signal generation means is provided with a second signal corresponding to each unit area based on the second reproduced image signal. Predict input image signal to generate auxiliary prediction signal
  • Replacement form (Rule 26) Generating means; and averaging means for weighting and averaging the auxiliary prediction signal and the resolution conversion signal, and outputting an output of the averaging means to a second input corresponding to each unit area. This is configured to output as a prediction signal of an image signal.
  • the auxiliary prediction signal obtained from the second input image signal and the resolution conversion signal obtained from the first input image signal are weighted and averaged. Since the converted signal is output as a predicted signal of the second input image signal corresponding to each unit area, the predicted signal of the second input image signal obtained from the first reproduced image signal and the second input image signal are output. It is possible to finely control the magnitude of the difference value from the signal, and it is possible to improve the coding efficiency in the hierarchical coding process.
  • the present invention (Claim 6) is the digital image encoding apparatus according to Claim 5, wherein the compensation means comprises means for rewriting the insignificant pixel value in the first reproduced image signal to the first reproduced image signal.
  • the compensation means comprises means for rewriting the insignificant pixel value in the first reproduced image signal to the first reproduced image signal.
  • a compensation process is performed to replace a pseudo pixel value obtained based on a significant pixel value in a reproduced image signal.
  • the first reproduction image signal corresponding to each unit area is compensated based on a significant pixel value in the first reproduction image signal.
  • the difference between the predicted signal of the second input image signal obtained from the second input image signal and the second input image signal can be effectively suppressed.
  • the first encoding unit includes a first input image signal corresponding to each of the unit areas.
  • An arithmetic unit for calculating a difference between the difference signal and the prediction signal and outputting a difference signal; a compressor for compressing the difference signal; a code a for encoding the compressed difference signal;
  • a decompressor for decompressing the difference signal, an adder for adding the output of the decompressor and the predicted signal of the first input image signal to output a first reproduced image signal to the compensation means,
  • a frame memory for storing an output of the interpolation means, and a first input image signal corresponding to each of the unit areas, based on the first reproduced image signal which has been subjected to the interpolation and stored in the frame memory.
  • a prediction signal generator that generates a prediction signal. It is a thing.
  • the image coding apparatus having such a configuration, the first reproduced image subjected to the compensation processing
  • the digital image decoding method provides a method for decoding a first and second image signals having different resolutions for forming an image space including a plurality of pixels including an image having an arbitrary shape.
  • a digital image decoding method for generating first and second reproduced image signals by decoding first and second encoded image signals obtained by performing an encoding process;
  • a decoding process for generating a first reproduced image signal from an encoded image signal is performed for each unit region that partitions the image space, and a first reproduced image signal corresponding to each unit region is processed. Then, a compensation process for replacing the insignificant pixel value with a pseudo pixel value obtained by a predetermined method is performed.
  • a second process corresponding to each of the unit areas is performed. Predict the playback image signal and generate the playback prediction signal And decoding the second encoded image signal corresponding to each unit area to reproduce a difference signal between the second image signal and its prediction signal. Is added to generate a second reproduced image signal, and the difference decoding process is performed for each unit area.
  • a playback prediction signal of the second playback image signal is generated based on the first playback image signal on which the compensation processing has been performed.
  • the second encoded image signal obtained by hierarchically encoding the second image signal based on the first image signal can be correctly hierarchically decoded using the first reproduced image signal.
  • the prediction signal is obtained by converting the first reproduced image signal corresponding to the target unit region to the first reproduced image signal. Since the signal generated based on the first encoded image signal is used, the decoding process of the second encoded image signal is performed only for the time required to process the unit area as compared with the decoding process of the first encoded image signal. No delay. Therefore, a high-resolution image and a low-resolution image can be reproduced with almost no time lag based on the first and second coded image signals obtained by the hierarchical coding process of the image signal.
  • the present invention (Claim 9) is the digital image decoding method according to Claim 8, wherein the compensation processing for the first reproduced image signal corresponding to each of the unit areas is performed.
  • the process of supplementing the first reproduced image signal corresponding to each unit area is performed based on a significant pixel value in the first reproduced image signal.
  • a digital image decoding apparatus includes a first image signal for forming an image space including a plurality of pixels including an image having an arbitrary shape; A first decoding processing unit for decoding the first encoded image signal obtained by performing the processing to generate a first reproduced image signal, and an image space including a plurality of pixels including the image.
  • a second reproduced image signal is obtained by decoding a second encoded image signal obtained by performing an encoding process on a second image signal having a different resolution from the first image signal to form the second encoded image signal.
  • a second decoding unit that generates a first decoded image signal from the first encoded image signal, and a second decoding unit that generates a first reproduced image signal from the first encoded image signal.
  • First decoding means for each unit area for partitioning the image space; and And a compensation means for performing compensation processing for replacing the insignificant pixel value with a pseudo pixel value obtained by a predetermined method for the one reproduced image signal.
  • Prediction signal generating means for predicting a second reproduced image signal corresponding to each of the unit areas from the first reproduced image signal on which the compensation processing has been performed to generate a reproduced predicted signal; and Decoding the second encoded image signal corresponding to the second image signal to reproduce a difference signal between the second image signal and the prediction signal thereof, and adding the reproduction prediction signal to the difference signal to generate a second signal.
  • a second decoding unit that performs the difference decoding process for generating the reproduced image signal for each unit area.
  • the reproduction prediction signal of the second reproduction image signal is generated based on the first reproduction image signal subjected to the compensation processing.
  • the encoded image signal can be correctly hierarchically decoded using the first reproduced image signal.
  • the first reproduced image signal corresponding to the target unit area is used as a prediction signal. Since the signal generated based on the first encoded image signal is used, the decoding process of the second encoded image signal is performed only for the time required to process the unit area as compared with the decoding process of the first encoded image signal. No delay. Therefore, a high-resolution image and a low-resolution image can be reproduced with almost no time lag based on the first and second encoded image signals obtained by the hierarchical encoding process of the image signal.
  • the present invention is the digital image decoding apparatus according to Claim 10, wherein the first reproduced image signal having undergone the above-mentioned compensation processing is provided at a resolution of Comprises a resolution conversion means for converting the resolution to match the resolution of the second reproduced image signal and outputting a resolution converted signal, wherein the prediction signal generating means is provided for each unit area based on the second reproduced image signal.
  • Prediction means for predicting a second reproduced image signal corresponding to the above and generating an auxiliary prediction signal; and adding the auxiliary prediction signal and the resolution conversion signal to control information included in the second encoded image signal.
  • Switch means for switching based on the output of the switch means, and outputting the output of the switch means as a prediction signal of a second reproduced image signal corresponding to each of the unit areas.
  • one of the auxiliary prediction signal obtained from the second reproduced image signal and the resolution conversion signal obtained from the first reproduced image signal is converted into the second code. Selection based on the control information included in the image signal, and outputs the selected signal as a reproduction prediction signal of the second reproduction image signal corresponding to each unit area. Can be adaptively switched, and a hierarchical decoding process corresponding to a hierarchical encoding process with higher encoding efficiency can be easily realized.
  • the present invention (Claim 12) is the digital image decoding device according to the claim 10, wherein the first reproduced image signal subjected to the compensation processing has a resolution of Resolution converting means for converting the resolution to match the resolution of the second reproduced image signal and outputting a resolution converted signal, wherein the prediction signal generating means corresponds to each unit area based on the second reproduced image signal Predict the second playback image signal to obtain the auxiliary prediction signal.
  • averaging means for weighing and averaging the auxiliary prediction signal and the resolution conversion signal, and outputting an output of the averaging means to a second unit corresponding to each unit area.
  • This is configured to output as a reproduction prediction signal of a reproduction image signal.
  • the auxiliary prediction signal obtained from the second reproduced image signal and the resolution conversion signal obtained from the first reproduced image signal are weighted and averaged.
  • the averaged signal is output as a reproduction prediction signal of a second reproduction image signal corresponding to each unit area, a prediction signal of a second image signal obtained from the first image signal and a second image signal And a hierarchical decoding process corresponding to the hierarchical encoding process for finely controlling the magnitude of the difference from the hierarchical encoding process.
  • the present invention (Claim 13) is the digital image decoding apparatus according to Claim 12, wherein the compensation means comprises means for rewriting the insignificant pixel value in the first reproduced image signal.
  • the compensation means comprises means for rewriting the insignificant pixel value in the first reproduced image signal.
  • a compensation process for replacing a pseudo pixel value obtained based on a significant pixel value in the first reproduced image signal is performed.
  • the process of supplementing the first reproduced image signal corresponding to each unit area is performed based on a significant pixel value in the first reproduced image signal. Correctly decodes the encoded difference signal obtained by encoding while effectively suppressing the difference between the predicted signal of the second image signal obtained from the first image signal and the second image signal. can do.
  • the present invention (claim 14) is the digital image decoding device according to claim 10, wherein the first encoded image signal is converted into a first image signal corresponding to each unit area. And a difference signal that is a difference between the difference signal and the prediction signal as a difference coded signal obtained by compressing and coding the difference signal.
  • the first decoding unit decodes the difference coded signal.
  • An adder that outputs a reproduced image signal to the compensation means, a frame memory that stores the output of the compensation means, and a first reproduced image signal that has been subjected to the compensation processing and stored in the frame memory. Playback of the first playback image signal corresponding to each unit area And a prediction signal generator ⁇ for generating a raw prediction signal.
  • the first reproduced image signal subjected to the compensation process is stored in the frame memory, so that the motion compensation in the decoding process can be performed with higher accuracy.
  • the data storage medium according to the present invention (claim 15) is a computer-readable storage medium storing a first and a second image having different resolutions for forming an image space including a plurality of pixels including an image having an arbitrary shape.
  • a data storage medium storing a program for performing a process of encoding an input image signal of (2), wherein the program comprises: Performing an encoding process of generating an encoded image signal and expanding the compressed first input image signal to generate a first reproduced image signal for each unit area dividing the image space; The first reproduction image signal corresponding to each of the unit areas is subjected to interpolation processing for replacing the insignificant pixel value with a pseudo pixel value obtained by a predetermined method.
  • a compressed differential signal is generated by compressing and encoding a differential signal that is a difference from the differential signal, and the compressed differential signal is decompressed. The predicted signal is added to the decompressed differential signal to obtain a second signal. This stores a program for performing the process of performing the differential compression encoding for generating the reproduced image signal for each unit area.
  • the predicted signal of the second input image signal is generated based on the first reproduced image signal on which the compensation processing has been performed.
  • the difference signal which is the difference between the second input image signal that is different from the input image signal and the prediction signal, is suppressed, and the second input image signal corresponding to the unit area located at the boundary of the object is
  • the data storage medium according to the present invention provides a computer with a first and a second storage medium having different resolutions for reproducing an image space including a plurality of pixels including an image having an arbitrary shape.
  • a program for decoding the first and second encoded image signals obtained by performing the encoding process on the first image signal and generating the first and second reproduced image signals.
  • Data storage medium, wherein the program includes:
  • Replacement form (Rule 26) A process in which a computer performs a decoding process of generating a first reproduced image signal from the first encoded image signal for each unit region that divides the image space; a first reproduction corresponding to each of the unit regions The image signal is subjected to interpolation processing for replacing the insignificant pixel value with a pseudo pixel value obtained by a predetermined method.
  • a process of generating a playback prediction signal by predicting a corresponding second playback image signal, and decoding a second coded image signal corresponding to each unit area to obtain a second image signal and its prediction A program that reproduces a difference signal from the signal and performs a difference decoding process of generating a second playback image signal by adding the playback prediction signal to the difference signal for each unit area. It is stored. According to the data storage medium having such a configuration, the reproduction prediction signal of the second reproduced image signal is generated based on the first reproduced image signal on which the compensation processing has been performed.
  • a process for suppressing the difference between a second input image signal different from the first input image signal and its prediction signal and correctly decoding an encoded difference signal obtained by encoding can be realized by a computer. . BRIEF DESCRIPTION OF THE FIGURES
  • FIG. 1 is a block diagram for explaining an overall configuration of a digital image encoding device according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a detailed configuration of a texture-coding section constituting the digital image encoding device according to the first embodiment.
  • FIG. 3 is a block diagram showing a specific configuration of a preprocessor included in the digital image encoding device according to the first embodiment.
  • FIG. 4 (a) shows a specific configuration of the encoder in the texture encoder of the first embodiment
  • FIG. 4 (b) shows a specific configuration of the local decoder in the texture encoder.
  • FIG. 2 is a block diagram showing a typical configuration.
  • FIG. 5 is a schematic diagram for explaining a process of predicting a high-resolution texture signal based on a low-resolution texture signal by the digital image encoding device according to the first embodiment.
  • Figure 5) and Figure 5 (b) show a high-resolution image space and a low-resolution image space, respectively.
  • FIG. 6 is a schematic diagram for explaining image compensation processing by the digital image encoding device according to the first embodiment.
  • FIG. 7 is a diagram illustrating a configuration of a texture-to-converter included in the digital image encoding device according to the first embodiment.
  • FIG. 8 is a diagram showing, by a flowchart, a supplementary process and a supplementary process by the digital image encoding device of the first embodiment.
  • FIGS. 9 (a) and 9 (b) are schematic diagrams for explaining an image supplementing process performed by the digital image encoding device according to the first embodiment.
  • FIG. 10 is a block diagram showing an overall configuration of a digital image decoding device according to Embodiment 2 of the present invention.
  • FIG. 11 is a block diagram showing a detailed configuration of a texture decoding unit included in the digital image decoding device according to the second embodiment.
  • FIGS. 12 (a), 12 (b), and 12 (c) show a digital image encoding device according to each of the above-described embodiments.
  • FIG. 3 is a diagram for explaining a data storage medium storing a program for realizing the above.
  • Embodiment 1 Embodiment 1
  • FIG. 1 is a block diagram for explaining a digital image encoding device 100 according to Embodiment 1 of the present invention.
  • This digital image encoding apparatus 100000 performs a scale encoding of an image signal on a per-object basis.
  • the digital image encoding apparatus 1100 is configured to perform the above-described image signal processing on a texture signal for displaying an object in force. Texture for performing scalability encoding processing—encoding section 110 0 0; and shape encoding section 1200 for performing scalability encoding processing on the shape signal that indicates the shape of the object, which constitutes the image signal. have.
  • the texture encoding unit 1100 receives the texture signal and receives a texture signal corresponding to a layer having a high resolution (hereinafter, referred to as a high-resolution texture signal).
  • a texture pre-processor 1100 c for generating a texture one signal corresponding to a low-resolution layer (hereinafter referred to as a low-resolution texture one signal), and an encoding process for the high-resolution texture one signal.
  • a block generator 1 that divides a low-resolution texture signal into blocks corresponding to a unit of encoding processing. 120 b.
  • the pre-processor 1 100 c is a single-pass filter (LPF) 2 that performs a filtering process on the texture signal St received at its input terminal 203. 0 1 and a thinning-out device 202 for thinning out the output of the filter 201 by down-sampling.
  • LPF single-pass filter
  • the high-resolution texture single signal S is directly applied to the first output terminal 2 16 as the texture one signal St. th, and the texture one signal thinned out by the thinning-out device 202 is output to the second output terminal 204 as a low-resolution texture one signal Std.
  • the texture encoding unit 110 performs unit processing for classifying a display area of a predetermined object (that is, an image space including an image of an object having an arbitrary shape) with respect to the low-resolution texture signal.
  • a code b that outputs a low-resolution texture one difference coded signal (hereinafter referred to as an LT difference coded signal) E td by performing a difference coding process for each region (block);
  • a texture transformation 1 1 2 5 that converts the prediction signal used for the difference encoding process of the low-resolution texture one signal Std into a resolution so that the difference encoding process of the high-resolution texture one signal S th can be used;
  • the high-resolution texture one signal S th is subjected to differential encoding for each of the unit processing regions (blocks) to obtain a high-resolution texture one differential encoded signal.
  • a code I 1 1 0 0 a to output the
  • the shape encoding unit 1200 receives the shape signal S k, and receives a shape signal corresponding to a high-resolution hierarchy (hereinafter, referred to as a high-resolution shape signal) S kh and a shape corresponding to a low-resolution hierarchy A signal (hereinafter, referred to as a low-resolution five-shape signal) S kd is provided.
  • This shape pre-processor 1200c has the same configuration as the texturing pre-processor 1100c. Further, the shape encoding unit 1200 displays a predetermined object with respect to the low-resolution shape signal S k d.
  • a differential encoding process is performed for each unit processing area (block) that divides an area (an image space including an image of an object having an arbitrary shape) and a low-resolution differential encoded signal (hereinafter referred to as an LS differential encoded signal).
  • the encoder 1203 outputs the E kd, and the prediction signal used for the difference encoding of the low-resolution shape signal S kd can be used for the difference encoding of the high-resolution shape signal S kh.
  • the difference encoding is performed on the high resolution shape signal S kh for each of the unit processing regions (blocks).
  • an encoder 1200a that performs processing and outputs a high-resolution shape difference coded signal (hereinafter, referred to as an HS difference coded signal) Ekh.
  • each of the above encoders determines a mode of an encoding process performed on each processing unit area (block) based on an input texture-signal or shape signal. It has a configuration having a vessel.
  • each encoder 110a and 110b in the texture-to-encoder 110 will be described.
  • the low-resolution texture code b ⁇ l 100 b is a first adder that generates a difference signal between the low-resolution texture signal of the target block to be coded and its prediction signal.
  • 132 a first information compressor (ENC) 133 for compressing the difference signal output from the adder 132, and a second information compressor 13 for variable-length encoding the output of the information compressor 133.
  • It comprises a variable length coder (VLC) 104 and a prediction signal generator 111 b for generating the prediction signal.
  • VLC variable length coder
  • the first information compressor 13 3 generates a difference signal 304 between a low-resolution texture signal of the target block and its prediction signal.
  • a DCT transformer 302 that performs DCT (discrete cosine transform) processing, which is a type of frequency transformation processing, and a quantized signal 300 that quantizes the frequency component 300 of the difference signal obtained by the frequency transformation.
  • Quantum 303 that outputs.
  • the prediction signal generator 111b expands the output (differential compressed signal) of the first information compressor 133 to reproduce the differential signal by a first information decompressor (DEC) 13 6 and a second adder 1337 for adding the prediction signal and the reproduction difference signal from the information decompressor 1336 to reproduce a low-resolution texture signal.
  • DEC first information decompressor
  • the first information decompressor 1336 includes an inverse quantizer 3008 for inversely quantizing the compressed difference signal 310, and an inverse quantizer 3008.
  • An IDCT unit 309 that performs inverse IDTC processing for converting the frequency-domain data to the spatial-domain data on the compressed differential signal 311 and outputs a decompressed differential signal 312 .
  • the prediction signal generation unit 111b receives the output of the adder 137, and converts the insignificant sample value (pixel value) in the reproduced low-resolution texture signal into the low-resolution shape encoder 1 A first compensator 1338 that compensates based on the low-resolution shape signal reproduced in 200b, and a compensated reproduced low-resolution texture signal that is the output of the compensator 1338 And a first frame memory 1339 for storing the data.
  • the output of the compensator 1338 is also output to the texture transformation 125.
  • the prediction signal generation unit 111b generates a low-resolution texture of the target block based on the output of the first frame memory 139 and the input low-resolution texture signal Std.
  • a first motion detector (ME) 1441 which obtains and outputs motion displacement information (motion vector) indicating a prediction area of the same size as the target block, which gives a prediction signal with the smallest error from the signal;
  • An address Add1 of the frame memory 1339 is generated based on the motion vector from the motion detector 141, and the reproduced low-resolution texture signal corresponding to the prediction area is generated from the frame memory 1339.
  • a first motion compensator (MC) 140 that reads out as a prediction signal and outputs it to the first adder 132.
  • the high-resolution texture encoder 110a has substantially the same configuration as the low-resolution texture encoder 110b.
  • the high-resolution texture encoder 110a performs the third addition to generate a difference signal between the high-resolution texture signal of the target block to be encoded and the prediction signal.
  • Unit 102 a second information compressor (ENC) 103 for compressing a difference signal output from the adder 102, and a variable-length encoding unit for the output of the information compressor 103.
  • a second variable length encoder (VLC) 104 that generates the predicted signal, and a predicted signal generator 111a that generates the predicted signal.
  • the second information compressor 103 performs frequency conversion on a difference signal between one high-resolution texture signal of the target block and its prediction signal, similarly to the first information compressor 133. It is composed of a DCT transformer 302 that performs DCT (discrete cosine transform) processing, which is a type of processing, and a quantizer 303 that quantizes the frequency component of the difference signal obtained by the frequency transformation. (See Fig. 4 (a)).
  • DCT discrete cosine transform
  • the prediction signal generation unit 111a expands the output (differential compressed signal) of the second information compressor 103 to reproduce the differential signal by a second information decompressor (DEC) 1010. And a third adder 107 for adding the prediction signal and the reproduction difference signal from the information decompressor 106 to reproduce a high-resolution texture signal.
  • DEC second information decompressor
  • the prediction signal generation unit 111a receives the output of the adder 107, and converts the insignificant sample value (pixel value) in the reproduced high-resolution texture signal into the high-resolution shape encoder 1 A second compensator 108 for performing compensation based on the high-resolution shape signal reproduced in 200a, and a compensated reproduced high-resolution texture signal which is an output of the compensator 108; And a second frame memory 109 for storing the same. Further, the prediction signal generation unit 111a generates a high-resolution texture signal of the target block based on the output of the second frame memory 109 and the input high-resolution texture signal.
  • a second motion detector (ME) 111 for obtaining and outputting motion displacement information (motion vector) indicating a prediction area of the same size as the target block, which gives a prediction signal with the smallest error, and the motion detector
  • the address Add2 of the above frame memory 109 is generated based on the motion vector from 111, and the reproduced high-resolution texture signal corresponding to the prediction area is read from the frame memory 109 as a prediction signal.
  • the second motion compensator (MC) 110, the output of the second motion compensator (MC) 110 and the output of the texture converter 1 125 are averaged to obtain the third motion compensator (MC) 110.
  • An averager (AV E) 1 2 4 that outputs to the adder 102 To have.
  • the averaging unit 124 is configured to output the output of the second motion compensator (MC) 110 and the texture converter based on the output of the mode determination unit (not shown).
  • the output of 1 125 is weighted at a fixed ratio and averaged.
  • the output of the second motion compensator (MC) 110 and the texture conversion based on the output of the mode determiner are replaced with the averager 124 that performs the weighted averaging process.
  • One of the outputs of the adders 112 and 25 may be selected, and the selected output may be output to the third adder 102 as a prediction signal of one high-resolution texture signal.
  • the low-resolution shape encoder 120b and the high-resolution shape encoder 120a are basically the same in configuration as the low-resolution texture encoder 110b and the high-resolution texture encoder 110a described above. A detailed description will be omitted, and only differences between the configuration of each texture encoder and each configuration encoder will be briefly described. That is, the low-resolution shape encoder 120b does not have the compensator 1338 in the low-resolution texture encoder 110b, and the output of the adder 133 Is different from the above-described low-resolution texture encoder 110 only in that it is configured to directly input the data to the first frame memory 1339.
  • the high-resolution shape encoder 120a does not have the compensator 108 in the high-resolution texture encoder 110a, and its adder 100 7 is different from the above high-resolution texture encoder 110a only in that the output of 7 is directly input to the second frame memory 109.
  • the texture encoding unit In 1100 scalability encoding processing is performed on texture one signal St, and in shape encoding section 1200, scalability encoding processing is performed on shape signal Sk.
  • a high-resolution texture signal Sth and a low-resolution texture signal Std are generated from the texture signal St by the preprocessor 1100c. Is done. Specifically, as shown in FIG. 3 (a), in the pre-processor 110c, the input texture signal (image sequence) St is directly used as a high-resolution texture signal Sth. While being output to the first output terminal 2 16, the texture signal St is filtered out of the high-band component by the mouth-pass filter 201, and further down-sampled by the decimation device 202 to reduce the low-frequency component. It is output to the second output terminal 204 as a solution texture signal Std.
  • an image space (image display screen) 205 including (KXL) samples (pixels) and including the image of the object is obtained
  • an image space (image display screen) 206 including (K / 2XL / 2) sample lines (pixels) and including the image of the object is obtained.
  • K and L are integers.
  • the above-described thinning-out unit 202 performs a process of thinning out the filter output every other sample as a down-sampling process.
  • the configuration of this thinning-out device is an example, and the texture one signal St may be down-sampled at a ratio other than 1/2.
  • the pre-processing unit 1200c pre-processes the shape signal of the object in the same manner as the pre-processing of the texture one signal in the texture one encoding unit 1100.
  • the high-resolution texture signal Sth and the low-resolution texture signal Std are divided into one screen (image space) on which an image is displayed by the blocky dangling devices 1120a and 1120b, respectively.
  • the image is divided so as to correspond to the block area of the size, and input to the high-resolution texture encoder 1100a and the low-resolution texture encoder 1100b.
  • each of the texture signals S th and St d is divided so as to correspond to a rectangular block area composed of (8 ⁇ 8) or (16 ⁇ 16) samples.
  • the texture signal may be divided so as to correspond to a block region having an arbitrary shape.
  • the shape encoding unit 1200 uses the block units 1220a and 1220b to process the high-resolution shape signal Sth and the low-resolution shape signal Std in the same manner as the above-described block processing for each texture signal. Block processing has been applied. Then, the low-resolution and high-resolution texture signals corresponding to the block to be coded (hereinafter referred to as the target block) are input to the low-resolution coder 1110b and the high-resolution coder 1110a, respectively. Then, each encoder performs a differential encoding process on these signals.
  • the low-resolution texture signal Std of the target block is input to the first motion detector 141, and at the same time, the compressed texture signal is expanded and obtained from the first frame memory 139.
  • the decompressed texture signal is read out to the first motion detector 141 as a texture-signal of the reference screen.
  • the first motion detector 141 detects a predicted block in the reference screen that gives the predicted signal with the smallest error to the low-resolution textural signal of the target block by a method such as block matching. Then, motion displacement information (hereinafter referred to as a motion vector) indicating the position of the prediction area with respect to the target block is output. This motion vector is sent to the first motion compensator 140, where a low-resolution ⁇ ⁇ texture signal corresponding to the prediction block is generated as a prediction signal from the reference texture signal corresponding to the reference screen. . At this time, the motion vector for the target block is supplied to the variable-length encoder 134 and converted into a corresponding variable-length code.
  • a motion vector motion displacement information
  • the low-resolution texture signal of the target block and the low-resolution texture signal of the prediction block are supplied to the first adder 132, and the first adder 132 generates a difference signal between the two. This difference signal is compressed by the first information compressor 133.
  • the compression processing of the difference signal in the first information compressor 133 is performed by frequency conversion in the DCT unit 302 and quantization in the quantizer 303.
  • a method such as subband conversion or vector quantization may be used.
  • the quantized difference signal (compressed difference signal) is supplied to the variable length encoder 134 and subjected to variable length coding.
  • variable-length-encoded compressed difference signal Etd is output to the output terminal 135 together with other side information including the variable-length-encoded motion vector.
  • the low-resolution prediction signal generation unit 111b generates a prediction signal based on the compressed difference signal output from the information compressor 135.
  • the compressed difference signal when the compressed difference signal is input to the prediction signal generator 111b, the compressed difference signal is subjected to decompression processing by the information decompressor 136, and a decompressed difference signal is output.
  • the compressed difference signal is inversely quantized by the inverse quantizer 308, and the inversely quantized compressed difference signal is transmitted to the IDCT unit 309.
  • the data in the frequency domain is converted into the data in the spatial domain.
  • the decompressed difference signal from the information decompressor 1336 is added to the corresponding low-resolution texture signal of the prediction block by the second adder 1337, and the signal obtained by the addition is the target signal. It is output as a playback low-resolution texture signal corresponding to the block.
  • the reproduced low-resolution texture signal is input to a first compensator (PAD) 138, and the complementing process is performed on the reproduced low-resolution texture signal. Then, the reproduced low-resolution texture signal subjected to the compensation processing is stored in the first frame memory 1339 as a reference low-resolution texture signal.
  • PAD first compensator
  • the above-mentioned compensation processing is processing for replacing insignificant sample values among a plurality of sample values (pixel values) constituting a reproduced low-resolution texture signal corresponding to each block with significant sample values.
  • the determination as to whether the sample value is significant or not is made by referring to the reproduced low-resolution shape signal obtained by subjecting the compressed difference signal to decompression processing by the low-resolution shape encoder 120b.
  • FIG. 6 is a schematic diagram for explaining the compensation processing by the first compensation device 138.
  • each block 501 that divides the image space formed by the reproduced low-resolution texture signal is assumed to be composed of (4 ⁇ 4) samples,
  • Each rectangular area in the block 501 indicates one sample (pixel).
  • the dotted rectangular regions indicate significant sampling points located inside the object, and the other rectangular regions (regions without the dotted lines) indicate the objects of the object. Insignificant samples located outside.
  • sample value of the sample located on the boundary (perimeter) of the object is used to compensate for the sample value of the insignificant sample.
  • samples 502, 50 are used to compensate for the sample value of the insignificant sample.
  • Replacement paper (Kaikai IJ26) 3, 504, 505 are samples located on the boundary, and by replacing the sample values of these significant samples with the sample values of non-significant samples, the samples of samples located in the outer region of the object Fill in the value. For example, replace the sample value of sample 506 with the sample value of sample 505. For extraneous samples, such as sampnolle 507, which are adjacent to both the significant sample 503 and the significant sample 504, the sample value is interpolated with the average of the sample values of both significant samples. .
  • the process of replacing the sample value of the insignificant sample with the sample value of the significant sample adjacent to the significant sample and the sample value is shown as the compensation process, but the compensation process is not significant.
  • the sample value of the sample may be replaced with the average value of the sample values of all significant samples on the boundary of the object, or insignificant if there are multiple non-significant sample pairs and adjacent significant sample pairs.
  • the first motion detector 141 uses the method such as block matching as described above to input the low-resolution texture signal and the reference reproduction level stored in the frame memory.
  • a motion vector is generated based on the resolution texture signal, and the first motion compensator 140 generates a low-resolution texture signal corresponding to the prediction block based on the motion vector. This is output to the first adder 1332 as a prediction signal.
  • the difference encoding process for the high-resolution texture signal S th is basically the same as the difference encoding process for the low-resolution texture signal S td, and is a prediction signal corresponding to the target block. Is slightly different from that for the low-resolution texture signal.
  • the prediction signal generation unit 111a of the high-resolution texture encoder 110a in addition to the temporal prediction signal obtained by the motion compensation in the second motion compensator 110, Compensated by the first compensator 1 3 8 of the resolution texture encoder 1 110 b
  • a processed low-resolution texture signal (spatial prediction signal) is used.
  • a low-resolution texture signal for forming the low-resolution image space 206 is a high-resolution texture signal for forming the high-resolution image space 205. Since the signal is obtained by downsampling the signal, the reproduced low-resolution texture signal is used as a spatial prediction signal by the high-resolution texture encoder 110a. It is necessary to interpolate the texture signal by up-sampling or the like.
  • the spatial prediction signal is interpolated by up-sampling in the texture converter 111, and the interpolated spatial prediction signal is converted into a prediction signal generator of the high-resolution texture encoder 110a. Supplied to 1 110 a.
  • an interpolation value is generated using an even-tap filter, and the interpolation value is used to generate the interpolation value.
  • the sample values that make up the prediction signal are interpolated.
  • the spatial prediction signal subjected to such upsampling processing is input to the averaging unit 124 together with the temporal prediction signal.
  • the averaging unit 124 obtains a high-resolution texture obtained by weighting and averaging the time prediction signal and the space prediction signal based on the mode determination output from the mode determination unit (not shown) described above.
  • a prediction signal for one signal is generated, and this prediction signal is supplied to the third and fourth adders 102 and 107 in the yarn feeder 4 ′′ 1.
  • three ratios of 1: 0, 0: 1, and 1Z2: 1/2 are used as weighting ratios of the spatial prediction signal and the temporal prediction signal in the averaging unit 124. Is used, but it may be weighted by any other ratio. The weighting ratio may not be adjusted based on the mode determination output, but may be set to a predetermined ratio in advance.
  • the spatial prediction signal is output from the first compensator 138, this may be output from the first frame memory 139.
  • FIG. 5 is a schematic diagram for explaining a process of generating a prediction signal for a high-resolution textural signal from the reproduced low-resolution textural signal.
  • 401a is a high-resolution image containing an arbitrary-shaped object image obtained from a high-resolution texture signal.
  • Numeral 4101b denotes a reproduced low-resolution image space obtained from a reproduced low-resolution texture signal and including the object image having the arbitrary shape.
  • Each image space is composed of a plurality of blocks (unit processing areas), and the ones marked with dots among the plurality of blocks include a significant sample located inside the object. .
  • the blocks that partition the image space 410 a indicate the blocks to be processed on which the encoding process is performed, and the blocks that partition the image space 401 b correspond to the blocks of the image space 401 a.
  • the spatial prediction block corresponding to each block to be processed is shown.
  • each block to be processed and each spatial prediction block corresponding thereto are located at the same position in each image space.
  • the block to be processed 404a and the corresponding spatial prediction block 404b are located at the sixth position from the left end in the horizontal arrangement in the image space 410a and the image space 410b, respectively. It is located in the vertical position, and is located at the fourth position from the top.
  • the block to be processed 4003a in the image space 4O la is located on the boundary of the object
  • the corresponding spatial prediction block 4003b in the image space 401b is also located on the boundary of the object. positioned.
  • the low-resolution texture signal corresponding to the spatial prediction block 400b on the boundary of the object is replaced by the texture converter 1
  • the low-resolution texture signal upsampled at 5 is subtracted from the high-resolution texture signal of the block to be processed 403a corresponding to the spatial prediction block.
  • the boundary between the object in the spatial prediction block obtained by this and the boundary of the object in the corresponding block to be processed does not match. In most cases. For this reason, as described above, the low-resolution texture signal corresponding to the spatial prediction block is filled in and then upsampled, thereby suppressing an increase in the residual due to a mismatch between the boundaries of both blocks. .
  • the spatial prediction block in the image space 401 b may be located completely outside the object .
  • the sample value of the sample that constitutes the spatial prediction block 407 b corresponding to the processed block 407 a is not defined, and thus corresponds to the spatial prediction block 407 b. If the low-resolution texture one signal to be processed is used as it is and subtracted from the high-resolution texture one signal corresponding to the block to be processed 407a, the residual of both signals becomes large.
  • Embodiment 1 of the present invention for such a spatial prediction block outside the object, its sample value is supplemented by a significant sample value of the spatial block inside the object adjacent to the spatial block outside the object. Like that.
  • the sample value is replaced with a significant sample value of the spatial prediction block 402b immediately above.
  • the insignificant sample value of the sample is compensated for by the method shown in FIG.
  • the sample ⁇ S of the prediction block 407b may be supplemented by the sample value of the sample located on the boundary of the spatial prediction block 402b.
  • FIG. 9 (a) and FIG. 9 (b) show examples of such a compensation process.
  • Blocks 801, 802, 803, and 804 each consist of 4x4 samples.
  • Block 801 and block 803 are boundary blocks, and all sample values are significant due to the interpolation process. Therefore, samples 805 to 812 all have significant sample values.
  • Block 802 and block 804 are blocks outside the object.
  • samples 805, 806, 807, and 808 are repeatedly and horizontally applied sequentially, and these samples are blocked.
  • the average of all candidate sample values in these boundary blocks is replaced with the pseudo sample value to be replaced.
  • the maximum value of all candidate sample values can be used as a pseudo sample value to be replaced.
  • the spatial prediction block located outside the object is compensated using the sample values of the adjacent boundary blocks, so that even if the spatial prediction block is completely outside the object, Non-significant sample values are replaced by sample values inside the object, so a low-resolution signal corresponding to the spatial prediction block ⁇ ⁇ A signal obtained by up-sampling the texture signal and a high-resolution signal corresponding to the processed block The remnants of the text signal can be suppressed.
  • FIG. 8 is a diagram for explaining the operation of the compensator and the texture-converter in consideration of the above-described compensation processing with a flowchart.
  • a spatial prediction block and an identification signal LDKD indicating whether the spatial prediction block is outside the object are input to the compensator 1338 (step S1).
  • the identification signal LD kd indicating whether or not the prediction block is outside the object is a decompressed shape signal generated by the low-resolution shape encoder 12000 b of the shape encoding unit 12000. (Shape information of the object).
  • the compensator 1338 determines whether or not the spatial prediction block is outside the object (step S2). If the spatial prediction block is not located outside the object, the spatial prediction block is output as it is without performing the filling process, and is upsampled by the texture transformation 111 (step S4). On the other hand, if the spatial prediction block is outside the object, the spatial prediction block is subjected to compensation processing using a sample of a significant sample of an adjacent block using a sample (step S 3). The low-resolution texture signal is up-sampled by the texture converter 111 (step S4).
  • the preprocessor 201 shown in FIG. 3 (a) is used to hierarchize a texture signal.
  • the preprocessor 201 shown in FIG. instead of 1, a preprocessor 207 shown in FIG. 3 (b) may be used.
  • the preprocessor 2 07 has an input terminal 2 08, first and second output terminals 2 0 9 and 2 10, and has an input terminal 2 0 8 and a first output terminal 2 0 9 And the connection state between the input terminal 208 and the second output terminal 210 is switched at regular time intervals.
  • connection state between the input terminal 208 and the first output terminal 209, and the input terminal 208 and the second output terminal 210 is switched at a predetermined time interval by the switch 207a.
  • the input terminal 208 and the second output terminal 210 are connected, and the input texture signal is Output to 2 output terminal.
  • the texture signal output from the second output terminal 210 is supplied as a low-resolution texture signal to the first input terminal 131 of FIG.
  • the texture signal (image data) between the time t and t + N is output to the first output terminal 209, and the texture signal output from the first output terminal 209 is output.
  • the signal is supplied to the second input terminal 101 in FIG. 2 as a high-resolution texture signal.
  • N is a force that is an arbitrary integer.
  • N 3.
  • the converter shown in FIG. 7 uses a motion compensator instead of the interpolator, reads the prediction signal obtained by the motion compensation from the first frame memory 139, and reads the prediction signal ( The predicted signal obtained from the low-resolution texture signal is processed so that the temporal resolution matches the high-resolution texture signal. In this case, though not shown, it is necessary to transmit a motion vector for that purpose to the motion compensator.
  • the differential encoding of one texture signal using a prediction signal obtained from another hierarchical layer that is, a hierarchical layer having a different resolution, is used.
  • an encoder 110b for differentially encoding the low-resolution texture one signal Std, and a high-resolution texture one signal Sth When the high-resolution texture signal S th is differentially coded by using the prediction signal, the compensator 1 in the above-mentioned coder 110 b has According to 38, a compensation process for replacing a significant sample value of the low-resolution textural signal reproduced by the encoder 110b with a pseudo sample value obtained from the significant sample value is performed.
  • the prediction signal for the high-resolution texture one signal S th is generated based on the reproduced low-resolution texture one signal that has been subjected to the above-described compensation processing, the prediction signal is generated based on the reproduced low-resolution texture one signal that has been subjected to the compensation processing.
  • High resolution texture signal A prediction signal of S th will be generated.
  • the prediction signal is generated based on the reproduced low-resolution texture signal of the target unit area. Therefore, the encoding process of the high-resolution texture one signal S th is delayed only by the time for processing the unit area, as compared with the encoding process of the low-resolution texture one signal Std. Therefore, on the decoding side, based on the LT difference coded signal Etd and the HT difference coded signal Eth obtained by coding the low-resolution texture one signal S td and the high-resolution texture one signal S th, The resolution image and the resolution image can be reproduced with almost no time lag.
  • the process of supplementing the reproduced low-resolution texture signal corresponding to each unit area is performed based on a significant pixel value in the reproduced low-resolution texture signal, the high-resolution texture obtained from the low-resolution texture signal is processed. It is possible to effectively suppress the difference between one predicted signal and one high-resolution texture signal.
  • the reproduced low-resolution texture signal subjected to the compensation processing is stored in the frame memory 13.
  • the encoders 1200a and 1200b constituting the shape encoder 1200 generate low-resolution reproduction shape signals LD kd and high-resolution reproduction shapes.
  • the signal LDkh is used as it is for generating the prediction signal, but the low-resolution reproduction shape signal LDkd and the high-resolution reproduction shape signal LDsh that have been subjected to the compensation processing are used for generating the prediction signal. You may.
  • FIG. 10 is a block diagram for explaining a digital image decoding apparatus 2000 according to Embodiment 2 of the present invention.
  • the digital image encoding apparatus 2000 is a unit for decoding an image encoded signal obtained by performing a scalability encoding process on an image signal by the digital image encoding apparatus 1000 of the first embodiment in object units.
  • the texture decoding unit 2100 performs a differential decoding process on the high-resolution texture-one difference encoded signal (HT difference-encoded signal) E th for each block, and performs high-resolution texture decoding.
  • the high-resolution texture decoder 2100a for outputting the signal Dth and the high-resolution texture decoding signal Dth corresponding to each block are integrated to obtain a high-resolution texture having a scanning line structure.
  • An inverse blocker 2 1 2 0 a that outputs one reproduced signal R th and a low-resolution texture one difference encoded signal (LT difference encoded signal) Etd are subjected to differential decoding processing for each block.
  • a low-resolution texture decoder 210b outputting a low-resolution texture decoded signal D td, and a low-resolution texture decoding signal D td corresponding to each block.
  • High resolution texture with integrated scanning line structure And a reverse blocker 2 1 2 0 b for outputting R td.
  • the texture decoding unit 210 converts the prediction signal used for the differential decoding of the LT differentially coded signal so that it can be used for the differential decoding of the HT differentially coded signal. Te, and a text Suchiya univariate 2 1 2 5 to be outputted to the high-resolution texture one decryption device 2 1 0 0 a.
  • the shape decoding unit 2200 performs high-resolution shape decoding by performing difference decoding on the high-resolution shape difference coded signal (HS difference coded signal) Ekh for each block.
  • a high-resolution shape decoder 220 2a that outputs a signal Dkh and a high-resolution shape decoding signal Dkh corresponding to each block are integrated to reproduce a high-resolution shape of a scanning line structure.
  • An inverse blocker 2222a that outputs a signal Rkh and a low-resolution shape difference coded signal (LS difference coded signal) E kd are subjected to a difference decoding process for each block, so that a low
  • the low-resolution texture decoder 220 k outputting the resolution shape decoded signal D kd and the low-resolution texture decoding signal D kd corresponding to each block are integrated and scanned. It has an inverse blocker 2222b that outputs a high-resolution texture one reproduction signal R kd having a linear structure.
  • the shape decoding unit 222 converts the prediction signal used for the difference decoding process of the LS difference coded signal so that the prediction signal can be used for the difference decoding process of the HS difference coded signal. And a shape converter 222 for outputting to the high-resolution shape decoder 220a.
  • the low-resolution texture one-time decoder 2100b is a data analyzer that analyzes the LT-coded difference signal of the target area (target block) to be decoded and performs variable-length decoding. 22, an information decompressor (DEC) 923 that performs decompression processing on the output of the data analyzer 922 and outputs a decompression differential signal, and the decompression differential signal and the target block.
  • An adder 924 for adding a corresponding predicted signal and outputting a low-resolution ⁇ g texture-decoded signal; and a predicted signal generator 21110b for generating a predicted signal corresponding to each block described above. It is composed of
  • the first information decompressor 9 23 performs inverse quantization on the output of the data analyzer 9 22 as an inverse quantizer 30. 8 and the inverse quantization
  • IDCT Inverse Discrete Cosine Transform
  • the prediction signal generation unit 2110b receives the output of the adder 924 and converts the insignificant sample value (pixel value) in the reproduced low-resolution texture signal into the low-resolution shape decoder 1 A first compensator 926 for compensating based on the low-resolution shape signal D kd decoded in 200 b, and a compensated reproduced low-resolution texture that is an output of the compensator 926 And a first frame memory 927 for storing one signal. The output of the compensator 926 is also output to the texture-to-converter 2125. .
  • the prediction signal generation unit 2110b generates an output of the first frame memory 927 and a motion vector corresponding to the target block decoded by the data analyzer 9222. Based on the frame memory 927, a prediction area having a reproduced low-resolution textural signal with the smallest error from the reproduced low-resolution textural signal of the target block is detected, and a prediction area corresponding to the predicted area is detected. It has a first motion compensator 928 that reads out the reproduced low-resolution texture signal as a prediction signal and outputs it to the first adder 924.
  • the high-resolution texture decoding device 210a has substantially the same configuration as the low-resolution texture decoding device 210b.
  • the high-resolution texture one-time decoder 2100a analyzes the HT coded difference signal of the target area (target block) to be subjected to decoding processing and performs variable-length decoding.
  • a second adder 904 that adds a prediction signal corresponding to the target block and outputs a high-resolution text-decoded signal, and a prediction signal generation unit that generates a prediction signal corresponding to each of the blocks. 2 110a.
  • DEC second information decompressor
  • the second information decompressor 903 performs inverse quantization on the output of the data analyzer 902 by performing inverse quantization. 8 and an IDCT transformer 309 for performing an IDCT (Inverse Discrete Cosine Transform) process, which is a type of inverse frequency transform process, on the output of the inverse quantizer 308.
  • IDCT Inverse Discrete Cosine Transform
  • the prediction signal generation unit 211a receives the output of the second adder 904, and converts the insignificant sample value (pixel value) in the reproduced high-resolution texture signal into the high-resolution shape.
  • a second compensator 906 for compensating based on the high-resolution shape signal D kh decoded by the decoder 1200a, and a compensated high level which is an output of the compensator 906.
  • a second frame memory 907 for storing the decoded texture signal.
  • the prediction signal generation section 211a includes an output of the second frame memory 907 and a motion vector corresponding to the target block decoded by the data analyzer 902. From the frame memory 907, a prediction area which gives the reproduction high-resolution textural signal with the smallest error from the reproduction high-resolution textural signal of the target block is detected and corresponds to the prediction area.
  • An averager (AVE) 918 for averaging based on the vector and outputting the result to the second adder 904.
  • the low-resolution shape encoder 220 b does not have the compensator 9226 in the low-resolution texture decoder 210 b, and the output of the adder 92 Is directly input to the first frame memory 927, and is different from the above low-resolution texture decoder 210b.
  • the high-resolution shape encoder 220 0a does not have the compensator 906 in the high-resolution texture encoder 210a, and its adder 904 This is different from the above-described high-resolution texture decoder 210a only in that the configuration is such that the output of the second frame memory 907 is directly input to the second frame memory 907.
  • a multiplexed image coded signal corresponding to a predetermined object input to the present image decoding device 2000 is converted into an HT differential coded signal at a stage preceding the image decoding device 2000.
  • Eth, LT differentially coded signal Etd, HS differentially coded signal Ekh, LS differentially coded signal Ekd, and other control signals, and the HT and LT differentially coded signals constitute one or more textures.
  • the above-described HS and LS differentially encoded signals are input to the shape decoding unit 2100.
  • the texture decoding unit 2100 the scalability decoding process for the two texture-difference encoded signals is performed.
  • the shape decoding unit 2200 the scalability decoding process is performed. Is subjected to scalability decoding.
  • the LT differentially encoded signal Etd is input to the first data analyzer 9222 via the first input terminal 2101, and the analysis is performed.
  • the data analysis is performed by the device 922, and the variable-length-decoded LT encoded difference signal is output to the first information decompressor 923.
  • the motion vector of the target block to be subjected to the decoding process is sent to the first motion compensator 928 of the prediction signal generation unit 211b. Is output.
  • the first information decompressor 923 performs decompression processing on the variable-length-decoded LT-coded difference signal, and restores the image-texture-difference signal as a low-resolution texture-decompressed difference signal. .
  • variable-length-decoded LT encoded difference signal is subjected to inverse quantization by an inverse quantizer 308, and In the discrete cosine transform 309, an inverse frequency transform process for transforming the frequency domain signal into the spatial domain signal is performed.
  • the first motion compensator 928 generates an address Add1 for accessing the first frame memory 927 based on the motion vector, and generates the first frame memory 9
  • a predicted signal of the reproduced low-resolution ⁇ S texture signal for the target block is read out from the reproduced low-resolution texture one signal stored as a reference image resolution texture signal at 27.
  • the read prediction signal and the output of the information decompressor 923 are input to an adder 924, and the adder 924 outputs a low value as an added value of these signals.
  • Resolution texture decrypted signal D td is the first output
  • the reproduced low-resolution texture signal Dtd is also input to the first compensator 926, and the signal is input to the signal using a significant sample value of the object as described in FIG. Is applied to replace non-significant sample values of.
  • the reproduced low-resolution texture signal Dtd thus supplemented is stored in the first frame memory 927.
  • the HT encoded difference signal Etd is input to the second data analyzer 9 02 via the second input terminal 2 1 3 1 and the analyzer 9 0
  • the data analysis is performed in 2
  • the HT encoded difference signal subjected to variable length decoding is output to the second information decompressor 903.
  • the motion vector of the target block to be subjected to the decryption processing is calculated by the second motion compensator 908 of the prediction signal generation unit 2110a. Is output to
  • the expansion processing is performed on the HT encoded difference signal subjected to the variable length decoding, and the high-resolution texture-difference signal is converted into the high-resolution texture-expanded difference signal. It is restored as a signal.
  • variable-length-decoded LT encoded difference signal is subjected to inverse quantization by an inverse quantizer 308, and In the discrete cosine transform 309, an inverse frequency transform process for transforming the frequency domain signal into the spatial domain signal is performed.
  • the second motion compensator 908 generates an address Add2 for accessing the second frame memory 907 based on the motion vector, and the second frame memory 907 From the reproduced high-resolution texture signal stored as a reference high-resolution texture signal, a prediction signal for the target block is read as a time prediction signal.
  • the texture converter 937 performs the same up-sampling processing as described with reference to FIGS. 7 and 8, and the spatial prediction signal up-sampled in this way is output to the averaging device 918. Is output.
  • the averaging unit 918 averages and reproduces the temporal prediction signal from the second motion compensator 908 and the spatial prediction signal based on the mode signal from the data analyzer. High resolution texture single signal prediction signal
  • the weighting ratio may be determined in advance on the transmitting and receiving sides, in the present embodiment, the weighting information is transmitted together with the high-resolution texture-compression-coded signal, and the second data analyzer 902 And input to the averaging device 9 18.
  • the adder 904 outputs a reproduced high-resolution texture one signal Dth to the second output terminal 905 as an added value of these signals.
  • the reproduced high-resolution texture signal Dth is also input to the second compensator 906, and the insignificant sample value of the object is obtained by using the significant sample value of the object as described in FIG. Is replaced.
  • the reproduced high-resolution texture-decoded signal Dthh thus compensated is stored in the second frame memory 907.
  • the non-significant sample value of the low-resolution texture signal reproduced by the decoder 210 b is obtained from the significant sample value by the compensator 926 in the decoder 210 b.
  • a compensation process is performed to replace the pseudo-sample value thus obtained, and the prediction signal is generated based on the reproduced low-resolution texture signal subjected to the compensation process.
  • High-resolution text reproduced based on the texture signal A predicted signal of the posture signal Dth is generated. For this reason, hierarchical decoding corresponding to hierarchical encoding processing in which a difference signal that is a difference between a reproduced high-resolution texture signal of a block (unit processing area) to be encoded and its prediction signal is suppressed is suppressed. Processing can be realized.
  • the prediction signal is based on the reproduced low-resolution texture image signal corresponding to the target unit region.
  • the low-resolution texture signal is used as a starting point.
  • the encoded difference signal obtained by encoding while effectively suppressing the difference between the obtained high-resolution texture signal prediction signal and the high-resolution texture signal signal can be correctly decoded.
  • the reproduced low-resolution texture signal subjected to the compensation processing is stored in the frame memory 9 2
  • the spatial prediction signal has been described as being transmitted from the compensator 926, but this spatial prediction signal is supplied from the first frame memory 927 to the averaging device. You may do so.
  • the low-resolution textural compression-encoded signal and the high-resolution textural compression-encoded signal correspond to the same size image space and have time-shifted image information (Fig. 3 (b) )
  • a motion compensator is used instead of the interpolator, and the prediction signal obtained by the motion compensation is read from the first frame memory 927. Process to match high resolution texture signal. Although this is not shown, it is necessary to transmit a motion vector for that purpose to the motion compensator.
  • Prediction signal compensation processing in order to perform the differential decryption of the texture-coded difference signal of a certain layer using a prediction signal obtained from another layer, that is, a layer having a different resolution, Prediction signal compensation processing must be performed.
  • each of the encoders 2200a and 2200b constituting the shape decoding unit 2200 has a low-resolution reproduction shape signal D kd and a high-resolution reproduction shape signal.
  • Dkh is used as it is to generate the prediction signal, but the low-resolution reproduction shape signal D
  • a signal obtained by subjecting kd and the high-resolution reproduction shape signal Dkh to compensation processing may be used for generating a prediction signal.
  • the hierarchical encoding process and the hierarchical decoding process are described as having two hierarchies. However, the hierarchical encoding and decoding processes having three or more hierarchies are described. When predicting an image signal of an upper layer (higher resolution layer) from an image signal of a lower layer (lower resolution layer), the image signal of the lower layer can be similarly compensated. Good.
  • an encoding or decoding program for realizing the configuration of the encoding or decoding processing described in each of the above embodiments is recorded on a data storage medium such as a floppy disk.
  • the processing described in each of the above embodiments can be easily performed by an independent computer system.
  • FIG. 12 is a diagram for explaining the ⁇ in which the encoding or decoding processing of the above embodiment is performed by a computer system using a floppy disk storing the above encoding or decoding program.
  • FIG. 12 is a diagram for explaining the ⁇ in which the encoding or decoding processing of the above embodiment is performed by a computer system using a floppy disk storing the above encoding or decoding program.
  • Fig. 12 (b) shows the external appearance, cross-sectional structure, and floppy disk of the floppy disk as viewed from the front
  • Fig. 12 (a) shows an example of the physical format of the floppy disk that is the main body of the recording medium. Is shown.
  • the floppy disk FD is built in the case F.
  • On the surface of the disk a plurality of tracks Tr are formed concentrically from the outer circumference toward the inner circumference, and each track has an angle of 16 tracks. It is divided into sectors Se. Therefore, in the floppy disk storing the program, data as the program is recorded in an area allocated on the floppy disk FD.
  • FIG. 12 (c) shows a configuration for recording and reproducing the program on a floppy disk FD.
  • the above program is recorded on the floppy disk FD
  • data as the above program is written from the computer system CS via the floppy disk drive.
  • the above-mentioned encoding / decoding device is constructed in a computer system by a program in a floppy disk
  • the program is read from the floppy disk by a floppy disk drive and transferred to the computer system.
  • the digital image encoding method and the digital image encoding device, the digital image decoding method and the digital image decoding device, and the data storage medium according to the present invention are provided with the encoding device in the compression processing of the image signal.
  • Efficiency can be improved, and it is extremely useful for realizing image encoding and image decoding in systems that transmit and store image signals. Suitable for video compression and decompression.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

明 細 書 デジタル画像符号化方法及びデジタル画像符号化装置， デジタル画像複号化方 法及びデジタル画像複号化装置， 並びにデータ記憶媒体 技術分野
本発明は、 デジタル画像信号を符号化する方法及び装置、 符号化されたデジタ ル画像信号を復号化する方法及び装置、 並びにデジタル画像信号の符号化及び復 号化処理をコンピュータにより行わせるためのプログラムを格納したデータ記憶 媒体に関し、 特に、 任意形状を有する物体の画像に対する時空間階層符号化処理 及びこれに対応する時空間階層復号ィ匕処理に関するものである。 背景技術
デジタル画像情報を効率よく蓄積もしくは伝送するには、 デジタル画像情報を 圧縮符号化する必要があり、 現状では、 デジタル画像情報を圧縮符号化するため の方法として、 J P E G (Joint Photographic Coding Experts Group) や MP E G (Moving Picture Experts Group)に代表される離散コサイン変換 （D C T) の 他に、 サブバンド、 ウェアブレット、 フラクタル等の波形符号化方法がある。 また、 隣接するフレーム等の画面の間における冗長な画像情報を取り除く方法 としては、動き補償を用いた画面間予測を行い、つまり現画面の画素の画素値を、 これと前画面の画素の画素値との差分を用いて表し、 この差分信号を波形符号ィ匕 する方法がある。
最近では、 圧縮効率を向上させると同時に、 1画面を構成する、 個々の物体に 対応した領域 （以下、 画像空間という。 ） 毎に画像信号を再生できるよう、 画像 信号を物体毎に別々に圧縮符号化して伝送する方式が実用化されている。 この方 式では、 再生側で、 それぞれの物体に対応する、 符号化された画像信号を復号ィ匕 し、 この複号化により再生した個々の物体の画像を合成して、 1画面に相当する 画像の表示を行っている。 このように物体単位で画像信号を符号ィ匕することによ
差替え用紙 （規貝 IJ26) り、 表示すべき物体の画像を自由に組み合わせて合成することが可能となり、 こ れにより動画像を簡単に再編集できるようになる。 また、 この方式では、 通信路 の混み具合や再生装置の性能、 さらに視聴者の好みに応じて、 比較的に重要でな い物体の画像については再生を行わずに、 動画像の表示を行うことができる。 具体的には、 任意の形状を有する物体の画像 （以下、 物体画像と略記する。 ） を含む画像空間を形成するための画像信号を符号化する方法としては、従来から、 その形状に適した変換方法 （たとえば形状適応離散コサイン変換） を用いる符号 化方法や、 画像空間の無効領域 （つまり物体画像の外側領域） を構成する画素の 画素値を所定の方法により補填した後、 該画像空間に対応する複数の画素値から なる画像信号を、 該画像空間を区分する単位領域 （ 8 X 8画素からなるブロッ ク） 毎にコサイン変換するといつた符号化方法がある。
また、フレーム等の画面の間での冗長な信号を取り除く具体的な方法としては、 1 6 X 1 6画素からなるマクロブロックを単位領域として、 符号化処理の対象 となる対象マクロブロックに対応する画像信号と、 その予測信号との^"をとる 方法がある。 ここで、 上記予測信号は、 動き補償により得られる予測領域に対応 する画像信号である。 なお、 動き補償は、 既に符号化処理あるいは複号化処理が 施された画面内における、 対象マクロブロックの画像信号との差分が最も小さく なる画像信号を与える 1 6 X 1 6画素からなる領域を予測領域として検出する 処理である。
ところが、 この予測領域も、 これが画像空間における物体画像の境界に位置す るものである場合には、 有意でない （定義されていない） サンプル値 （画素値） を有する画素を含むこととなる。 そこで、 このような予測領域については、 これ に対応する画像信号に対して、 その有意でないサンプル値を有意な擬似的なサン プル値で置換する補填処理を施した後、 補填処理を施した予測信号と対象マク口 ブロックの画像信号との差分を予測誤 言号 （差分信号） として求め、 該差分信 号に対する符号化のための変換処理を施すようにしている。 ここで、 予測領域に 対する補填処理を行うのは、 差分信号を抑圧するため、 言い換えると、 差分信号 を符号化する際の符号量を削減するためである。
また、 各物体に对応する画像信号， つまり物体画像を含む画像空間を形成する
差替え用紙 （規貝 IJ26) ための画像信号として、 解像度が異なる複数の階層に対応した画像信号を用い、 各階層の画像信号を符号ィ匕し復号ィ匕する、 スケーラビリティと呼ばれる階層的な 処理方法がある。
このような階層的な処理方法では、 伝送されるデータ （符号化ビットストリー ム） 力 ら取り出した一部のビット列を復号ィヒすることにより、 解像度の低い物体 画像を再生でき、 また、 すべてのデータを複号化することにより、 解像度の高い 物体画像を再生することができる。
ところで、 上記階層的な符号ィ匕 （スケ一ラビリティ符号化） 処理では、 解像度 の高い画像に対応する画像信号 （高解髓画像信号） を、 解像度の低い画像に対 応する画像信号 （低解像度画像信号） に基づいて符号化している。 つまり、 符号 化処理の対象となる対象プロックに対応する高解像度画像信号を、 これに対応す る低解像度画像信号を用いて予測して予測画像信号を生成し、 該対象プロックの 高解像度画像信号から該予測画像信号を引き算して得られる差分信号を符号化す るようにしている。
また、 画像信号を物体単位で符号化する場合、 画像信号として、 物体の任意の 形状を示す形状信号も、 物体画像を階調カラー表示するための、 輝度信号及び色 差信号を含むテキスチャ一信号とともに符号化するため、 各物体に対応する画像 信号に対してスケーラビリティ符号化を行う際には、 上記テキスチヤ一信号だけ でなく、 上記形状信号も、 高解像度信号と低解像度信号とに分けて階層的に符号 化する必要がある。
このような物体単位のスケーラビリティ符号化においては、 低解像度テキスチ ャ一信号から効率よく高解像度テキスチャ一信号を予測することが要求される。 特に物体の境界に位置するマクロブロックに対応する低解像度テキスチヤ一信号 には、 有意でない （定義されていない） サンプル値 （画素値） が含まれるため、 この低解像度テキスチャ一信号をそのまま用いて予測信号を生成し、 該予測信号 を、 符号化処理の対象となる対象マクロプロックの高解像度テキスチャ一信号か ら引き算すると、 差分信号における、 物体の境界部に位置する画素に対応する差 分画素値は大きな値となり、 効率よく高解像度テキスチャ一信号を符号化するこ とができない。
差替え用紙 （規貝 IJ26) また、 形状信号を、 解像度が異なる複数の階層， 具体的には高解像度階層と低 解像度階層に対応するよう分けるため、 低解像度形状信号から得られる物体形状 と高解像度形状信号から得られる物体形状との間で、 物体の内部か外部を示す境 界 （物体の輪郭） のずれが生じてしまう。 これは、 高解像度形状信号から低解像 度形状信号を生成する時に、 ダウンサンプル処理により低解像度形状信号による 物体画像の形状が、 高解像度形状信号による物体画像の形状に対して変形するこ ととなり、 また、 高解像度形状信号及び低解像度形状信号に対する圧縮処理によ つても、 該両形状信号による物体形状が変形するからである。
この場合、 高解像度テキスチャ一信号により形成される画像空間における特定 のマクロブロック領域が物体画像の内部に含まれているにも拘わらず、 像度 テキスチャ一信号により形成される画像空間では、 該特定のマクロプロック領域 が完全に物体画像の外部に位置するといつた状況が生じる。このような状況では、 低解像度テキスチャ一信号に基づく、 高解像度テキスチャ一信号の予測信号を用 いても、 高解像度テキスチャ一信号とその予測形状信号との差分信号を効率よく 抑圧することができない。
本発明は、 上記のような問題点を解決するためになされたもので、 任意形状を 有する物体画像を含む画像空間を形成するための画像信号に基づいて、 解像度の 異なる複数の階層に対応する画像信号を生成し、 高解像度画像信号を低解像度画 像信号を用いて単位領域毎に差分符号化する階層符号化処理を行う際、 物体の境 界部に位置する単位領域の画像信号を符号化効率よく圧縮することができるデジ タル画像符号化方法及びデジタル画像符号化装置を得ることを目的とする。 また、 本発明は、 物体画像を含む画像空間を形成するための画像信号を符号ィ匕 効率よく圧縮可能な階層符号化処理により得られた画像符号化信号を、 対応する 階層複号化処理により正しく再生することができるデジタル画像複号化方法及び デジタル画像復号化装置を得ることを目的とする。
さらに、 本発明は、 上記デジタル画像符号化方法による階層符号化処«¾びデ ジタル画像復号ィヒ方法による階層復号化処理をコンピュータにより実現するため のプログラムを格納したデジタル記録媒体を得ることを目的とする。
差替え用紙 （規則 26) 発明の開示
この発明 （請求の範囲第 1項） に係るデジタル画像符号化方法は、 任意形状を 有する画像を含む複数の画素からなる画像空間を形成するための、 解像度が異な る第 1及び第 2の入力画像信号を符号化するデジタル画像符号化方法であって、 上記第 1の入力画像信号を圧縮し符号化して第 1の符号化画像信号を生成し、 か っ該圧縮された第 1の入力画像信号を伸長して第 1の再生画像信号を生成する符 号化処理を、 上記画像空間を区分する単位領域毎に行い、 また、 上記各単位領域 に対応する第 1の再生画像信号に対して、 その有意でない画素値を所定の方法に より得られた擬似画素値と置き換える補填処理を施し、 該補填処理が施された第 1の再生画像信号に基づいて、 該各単位領域に対応する第 2の入力画像信号を予 測して予測信号を生成し、 さらに、 該各単位領域に対応する第 2の入力画像信号 とその予測信号との差分である差分信号を圧縮し符号化して符号化差分信号を生 成し、 かつ該圧縮された差分信号を伸長し、 該伸長された差分信号に上記予測信 号を加算して第 2の再生画像信号を生成する差分符号化処理を、 上記単位領域毎 に行うものである。
このような構成の画像符号化方法によれば、 補填処理が施された第 1の再生画 像信号に基づいて第 2の入力画像信号の予測信号が生成されることとなるので、 解像度が第 1の入力画像信号とは異なる第 2の入力画像信号とその予測信号との 差分である差分信号が抑圧されることとなり、 物体の境界部に位置する単位領域 に対応する第 2の入力画像信号を、 符号ィヒ効率の劣ィヒを抑えつつ圧縮することが できる。
また、 符号化処理の対象となる対象単位領域の第 2の入力画像信号の符号化処 理では、 その予測信号として、 上記対象単位領域の第 1の再生画像信号に基づい て生成される信号を用いるので、 第 2の入力画像信号の符号化処理は第 1の入力 画像信号の符号化処理と比べて、 上記単位領域を処理するための時間だけしか遅 延しない。 このため、 複号化側では、 第 1 , 第 2の入力画像信号の符号化により 得られる第 1， 第 2の符号化画像信号に基づいて、 高解像度画像と低解像度画像 とをほとんど時間のずれなく再生することができる。
この発明 （請求の範囲第 2項） は、 請求の範囲第 1項記載のデジタル画像符号
差替え用紙 （規則 26) 化方法において、 上記各単位領域に対応する第 1の再生画像信号に対する補填処 理として、 該第 1の再生画像信号における有意でない画素値を、 該第 1の再生画 像信号における有意な画素値に基づレ、て得られた擬似画素値と置き換える処理を 行うものである。
このような構成の画像符号化方法によれば、 各単位領域に対応する第 1の再生 画像信号の補填処理を、 該第 1の再生画像信号における有意な画素値に基づいて 行うので、 第 1の入力画像信号から得られる第 2の入力画像信号の予測信号と、 第 2の入力画像信号との差分を効果的に抑圧することができる。
この発明 （請求の範囲第 3項） に係るデジタル画像符号化装置は、 任意形状を 有する画像を含む複数の画素からなる画像空間を形成するための第 1の入力画像 信号を符号化する第 1の符号化処理部と、 上記画像を含む複数の画素からなる画 像空間を形成するための、 解像度が第 1の入力画像信号とは異なる第 2の入力画 像信号を符号化する第 2の符号化処理部とを備え、 上記第 1の符号化処理部を、 上記第 1の入力画像信号を圧縮し符号化して第 1の符号化画像信号を生成し、 か っ該圧縮された第 1の入力画像信号を伸長して第 1の再生画像信号を生成する符 号化処理を、 上記画像空間を区分する単位領域毎に行う第 1の符号化手段と、 上 記各単位領域に対応する第 1の再生画像信号に対して、 その有意でない画素値を 所定の方法により得られた擬似画素値と置き換える補填処理を施す補填手段とを 有する構成とし、 上記第 2の符号化処理部を、 上記補填処理が施された第 1の再 生画像信号に基づいて、 上記各単位領域に対応する第 2の入力画像信号を予測し て予測信号を生成する予測信号生成手段と、 上記各単位領域に対応する第 2の入 力画像信号とその予測信号の差分信号を圧縮し符号化して符号化差分信号を生成 し、 カゝつ、 該圧縮された差分信号を伸長し、 該伸長された差分信号に上記予測信 号を加算して第 2の再生画像信号を生成する差分符号化処理を、 上記単位領域毎 に行う第 2の符号化手段とを有する構成としたものである。
このような構成の画像符号ィヒ装置によれば、 補填処理が施された第 1の再生画 像信号に基づいて第 2の入力画像信号の予測信号が生成されることとなるので、 解像度が第 1の入力酉像信号とは異なる第 2の入力画像信号とその予測信号との 差分である差分信号が抑圧されることとなり、 物体の境界部に位置する単位領域
差替え用紙 （規則 26) に対応する第 2の入力画像信号を、 符号化効率の劣化を抑えつつ圧縮することが できる。
また、 符号化処理の対象となる対象単位領域の第 2の入力画像信号の符号化処 理では、 その予測信号として、 上記対象単位領域の第 1の再生画像信号に基づい て生成される信号を用いるので、 第 2の入力画像信号の符号化処理は第 1の入力 画像信号の符号化処理と比べて、 上記単位領域を処理するための時間だけし力、遅 延しない。 このため、 複号化側では、 第 1， 第 2の入力画像信号の符号化により 得られる第 1 , 第 2の符号化画像信号に基づいて、 高解像度画像と低解像度画像 とをほとんど時間のずれなく再生することができる。
この発明 （請求の範囲第 4項） は、 請求の範囲第 3項記載のデジタル画像符号 化装置において、 上記補填処理が施された第 1の再生画像信号を、 その解像度が 上記第 2の入力画像信号の解像度と一致するよう変換して解像度変換信号を出力 する解像度変換手段を備え、 上記予測信号生成手段を、 上記第 2の再生画像信号 に基づいて各単位領域に対応する第 2の入力画像信号を予測して補助予測信号を 生成する予測手段と、 該補助予測信号と上記解像度変換信号とを、 上記第 2の入 力画像信号に含まれる制御情報に基づいて切り替えるスィツチ手段とを有し、 該 スィツチ手段の出力を上記各単位領域に対応する第 2の入力画像信号の予測信号 として出力する構成としたものである。
このような構成の画像符号化装置によれば、 第 2の入力画像信号から得られる 補助予測信号と、 第 1の入力画像信号から得られる解像度変換信号との一方を、 上記第 2の入力画像信号に含まれる制御情報に基づいて選択し、 該選択した信号 を各単位領域に対応する第 2の入力画像信号の予測信号として出力するので、 簡 単な構成により、 予測信号を適応的に切り替えることができ、 階層符号化処理に おける符号ィ匕効率をより高めることができる。
この発明 （請求の範囲第 5項） は、 請求の範囲第 3項記載のデジタル画像符号 化装置において、 上記補填処理が施された第 1の再生画像信号を、 その解像度が 上記第 2の入力画像信号の解像度と一 SrTるよう変換して解像度変換信号を出力 する解像度変換手段を備え、 上記予測信号生成手段を、 上記第 2の再生画像信号 に基づいて各単位領域に対応する第 2の入力画像信号を予測して補助予測信号を
差替え用紙 （規則 26) 生成する予測手段と、 該補助予測信号と上記解像度変換信号とを重み付けして平 均化する平均化手段とを有し、 該平均化手段の出力を上記各単位領域に対応する 第 2の入力画像信号の予測信号として出力する構成としたものである。
このような構成の画像符号化装置によれば、 第 2の入力画像信号から得られる 補助予測信号と、 第 1の入力画像信号から得られる解像度変換信号とを重み付け を行って平均化し、 該平均化した信号を各単位領域に対応する第 2の入力画像信 号の予測信号として出力するので、 第 1の再生画像信号から得られる第 2の入力 画像信号の予測信号と、 第 2の入力画像信号との差分値の大きさをきめ細かく制 御することができ、 階層符号ィ匕処理における符号化効率の向上を図ることが可能 となる。
この発明 （請求の範囲第 6項） は、 請求の範囲第 5項記載のデジタル画像符号 化装置において、 上記補填手段を、 上記第 1の再生画像信号における有意でない 画素値を、 該第 1の再生画像信号における有意な画素値に基づいて得られた擬似 画素値と置き換える補填処理を行う構成としたものである。
このような構成の画像符号化装置によれば、 各単位領域に対応する第 1の再生 画像信号の補填処理を、 該第 1の再生画像信号における有意な画素値に基づいて 行うので、 第 1の入力画像信号から得られる第 2の入力画像信号の予測信号と、 第 2の入力画像信号との差分を効果的に抑圧することができる。
この発明 （請求の範囲第 7項） は、 請求の範囲第 3項記載のデジタル画像符号 化装置において、 上記第 1の符号化手段を、 上記各単位領域に対応する第 1の入 力画像信号とその予測信号との差分を求めて差分信号を出力する演算器と、 該差 分信号を圧縮する圧縮器と、 該圧縮された差分信号を符号化する符号イ^と、 上 記圧縮された差分信号を伸長する伸長器と、 該伸長器の出力と上記第 1の入力画 像信号の予測信号とを加算して第 1の再生画像信号を上記補填手段に出力する加 算器と、 上記補填手段の出力を記憶するフレームメモリと、 該フレームメモリに 記憶されている補填処理が施された第 1の再生画像信号に基づいて、 上記各単位 領域に対応する上記第 1の入力画像信号の予測信号を生成する予測信号生^^と を有する構成としたものである。
このような構成の画像符号化装置によれば、 補填処理を施した第 1の再生画像
差替え用紙 （規則 26) 信号をフレームメモリに格納するようにしたので、 動き検出や動き補償をより精 度よく行うことができる。
この発明 （請求の範囲第 8項） に係るデジタル画像復号化方法は、 任意形状を 有する画像を含む複数の画素からなる画像空間を形成するための解像度が異なる 第 1， 第 2の画像信号に、 符号化処理を施して得られる第 1， 第 2の符号化画像 信号を複号化して第 1， 第 2の再生画像信号を生成するデジタル画像複号化方法 であって、 上記第 1の符号化画像信号から第 1の再生画像信号を生成する復号ィ匕 処理を、 上記画像空間を区分する単位領域毎に行い、 また、 上記各単位領域に対 応する第 1の再生画像信号に対して、 その有意でない画素値を所定の方法により 得られた擬似画素値と置き換える補填処理を施し、 該補填処理が施された第 1の 再生画像信号から、 該各単位領域に対応する第 2の再生画像信号を予測して再生 予測信号を生成し、 さらに、 該各単位領域に対応する第 2の符号化画像信号を復 号化して、 第 2の画像信号とその予測信号との差分信号を再生し、 該差分信号に 上記再生予測信号を加算して第 2の再生画像信号を生成する差分復号ィヒ処理を、 上記単位領域毎に行うものである。
このような構成の画像復号ィ匕方法によれば、 補填処理が施された第 1の再生画 像信号に基づいて第 2の再生画像信号の再生予測信号が生成されることとなるの で、 第 1の画像信号に基づいて第 2の画像信号を階層符号化して得られる第 2の 符号化画像信号を、 第 1の再生画像信号を用いて正しく階層復号化することがで さる。
また、 復号化処理の対象となる対象単位領域に対応する第 2の符号ィ匕画像信号 の複号化処理では、 その予測信号として、 上記対象単位領域に対応する第 1の再 生画像信号に基づいて生成される信号を用いるので、 第 2の符号化画像信号の復 号化処理は第 1の符号化画像信号の復号化処理と比べて、 上記単位領域を処理す るための時間だけしか遅延しない。 このため、 画像信号の階層符号化処理により 得られる第 1 , 第 2の符号化画像信号に基づいて、 高解像度画像と低解像度画像 とをほとんど時間のずれなく再生することができる。
この発明 （請求の範囲第 9項） は、 請求の範囲第 8項記載のデジタル画像復号 化方法において、 上記各単位領域に対応する第 1の再生画像信号に対する補填処
差替え用紙 （規貝 IJ26) 理として、 上記第 1の再生画像信号における有意でない画素値を、 該第 1の再生 画像信号における有意な画素値に基づいて得られた擬似画素値と置き換える処理 を行うものである。
このような構成の画像復号ィ匕方法によれば、 各単位領域に対応する第 1の再生 画像信号の補填処理を、 該第 1の再生画像信号における有意な画素値に基づいて 行うので、 第 1の画像信号から得られる第 2の画像信号の予測信号と、 第 2の画 像信号との差分を効果的に抑圧しつつ符号化して得られる符号化差分信号を正し く復号化することができる。
この発明 （請求の範囲第 1 0項） に係るデジタル画像複号化装置は、 任意形状 を有する画像を含む複数の画素からなる画像空間を形成するための第 1の画像信 号に、 符号化処理を施して得られる第 1の符号化画像信号を複号化して第 1の再 生画像信号を生成する第 1の復号化処理部と、 上記画像を含む複数の画素からな る画像空間を形成するための、 解像度が上記第 1の画像信号とは異なる第 2の画 像信号に、 符号化処理を施して得られる第 2の符号化画像信号を複号化して第 2 の再生画像信号を生成する第 2の復号ィ匕処理部とを備え、 上記第 1の複号化処理 部を、 上記第 1の符号化画像信号から第 1の再生画像信号を生成する復号化処理 を、 上記画像空間を区分する単位領域毎に行う第 1の復号化手段と、 上記各単位 領域に対応する第 1の再生画像信号に対して、 その有意でない画素値を所定の方 法により得られた擬似画素値と置き換える補填処理を施す補填手段とを有する構 成とし、 上記第 2の復号化処理部を、 上記補填処理が施された第 1の再生画像信 号から、 上記各単位領域に対応する第 2の再生画像信号を予測して再生予測信号 を生成する予測信号生成手段と、 上記各単位領域に対応する第 2の符号化画像信 号を復号ィ匕して、 上記第 2の画像信号とその予測信号との差分信号を再生し、 該 差分信号に上記再生予測信号を加算して第 2の再生画像信号を生成する差分復号 化処理を、 上記単位領域毎に行う第 2の復号化手段とを有する構成としたもので ある。
このような構成の画像復号化装置によれば、 補填処理が施された第 1の再生画 像信号に基づいて第 2の再生画像信号の再生予測信号が生成されることとなるの で、 第 1の画像信号に基づいて第 2の画像信号を階層符号化して得られる第 2の
差替え用紙 （規則 26) 符号化画像信号を、 第 1の再生画像信号を用いて正しく階層復号化することがで さる。
また、 複号化処理の对象となる対象単位領域に対応する第 2の符号化画像信号 の複号化処理では、 その予測信号として、 上記対象単位領域に対応する第 1の再 生画像信号に基づいて生成される信号を用いるので、 第 2の符号化画像信号の復 号化処理は第 1の符号化画像信号の復号化処理と比べて、 上記単位領域を処理す るための時間だけしか遅延しない。 このため、 画像信号の階層符号化処理により 得られる第 1， 第 2の符号化画像信号に基づいて、 高解像度画像と低解像度画像 とをほとんど時間のずれなく再生することができる。
この発明 （請求の範囲第 1 1項） は、 請求の範囲第 1 0項記載のデジタル画 像復号ィヒ装置において、 上記補填処理が施された第 1の再生画像信号を、 その解 像度が上記第 2の再生画像信号の解像度と一致するよう変換して解像度変換信号 を出力する解像度変換手段を備え、 上記予測信号生成手段を、 上記第 2の再生画 像信号に基づいて各単位領域に対応する第 2の再生画像信号を予測して補助予測 信号を生成する予測手段と、 該補助予測信号と上記解像度変換信号とを、 上記第 2の符号ィ匕画像信号に含まれる制御情報に基づいて切り替えるスィツチ手段とを 有し、 該スィツチ手段の出力を上記各単位領域に対応する第 2の再生画像信号の 予測信号として出力する構成としたものである。
このような構成の画像復号ィヒ装置によれば、 第 2の再生画像信号から得られる 補助予測信号と、 第 1の再生画像信号から得られる解像度変換信号との一方を、 上記第 2の符号ィヒ画像信号に含まれる制御情報に基づいて選択し、 該選択した信 号を各単位領域に対応する第 2の再生画像信号の再生予測信号として出力するの で、 簡単な構成により再生予測信号を適応的に切り替えることができ、 符号化効 率をより高めた階層符号化処理に対応する階層複号化処理を簡単に実現できる。 この発明 （請求の範囲第 1 2項） は、 請求の範囲第 1 0項記載のデジタル画像 復号化装置において、 上記補填処理が施された第 1の再生画像信号を、 その解像 度が上記第 2の再生画像信号の解像度と一致するよう変換して解像度変換信号を 出力する解像度変換手段を備え、 上記予測信号生成手段を、 上記第 2の再生画像 信号に基づいて各単位領域に対応する第 2の再生画像信号を予測して補助予測信
差替え用紙 （規貝 IJ26) 号を生成する予測手段と、 該補助予測信号と上記解像度変換信号とを重み付けし て平均化する平均化手段とを有し、 該平均化手段の出力を上記各単位領域に対応 する第 2の再生画像信号の再生予測信号として出力する構成としたものである。 このような構成の画像複号化装置によれば、 第 2の再生画像信号から得られる 補助予測信号と、 第 1の再生画像信号から得られる解像度変換信号とを重み付け を行って平均化し、 該平均化した信号を各単位領域に対応する第 2の再生画像信 号の再生予測信号として出力するので、 第 1の画像信号から得られる第 2の画像 信号の予測信号と、 第 2の画像信号との差分の大きさをきめ細かく制御する階層 符号化処理に対応した階層複号化処理を実現できる。
この発明 （請求の範囲第 1 3項） は、 請求の範囲第 1 2項記載のデジタル画像 複号化装置において、 上記補填手段を、 上記第 1の再生画像信号における有意で ない画素値を、 該第 1の再生画像信号における有意な画素値に基づいて得られた 擬似画素値と置き換える補填処理を行う構成としたものである。
このような構成の画像複号化装置によれば、 各単位領域に対応する第 1の再生 画像信号の補填処理を、 該第 1の再生画像信号における有意な画素値に基づいて 行うので、 第 1の画像信号から得られる第 2の画像信号の予測信号と、 第 2の画 像信号との差分を効果的に抑圧しつつ符号化して得られる符号ィ匕差分信号を正し く復号ィ匕することができる。
この発明 （請求の範囲第 1 4項） は、 請求の範囲第 1 0項記載のデジタル画像 復号化装置において、 上記第 1の符号化画像信号を、 各単位領域に対応する第 1 の画像信号とその予測信号との差分である差分信号を圧縮し符号化してなる差分 符号化信号とし、 上記第 1の復号化手段を、 上記差分符号化信号を復号化する復 号化器と、 該復号化器の出力を伸長して再生差分信号を生成する伸長器と、 該伸 長器の出力である再生差分信号と上記第 1の再生画像信号の再生予測信号とを加 算して第 1の再生画像信号を上記補填手段に出力する加算器と、 上記補填手段の 出力を記憶するフレームメモリと、 該フレームメモリに記憶されている補填処理 が施された第 1の再生画像信号に基づいて、 各単位領域に対応する上記第 1の再 生画像信号の再生予測信号を生成する予測信号生 βとを有する構成としたもの である。
差替え用紙 （規貝 IJ26) このような構成の画像復号化装置によれば、 補填処理を施した第 1の再生画像 信号をフレームメモリに格納するようにしたので、 復号ィ匕処理における動き補償 をより精度よく行うことができる。
この発明 （請求の範囲第 1 5項） に係るデータ記憶媒体は、 コンピュータによ り、任意形状を有する画像を含む複数の画素からなる画像空間を形成するための、 解像度が異なる第 1及び第 2の入力画像信号を符号化する処理を行わせるための プログラムを格納したデータ記憶媒体であって、 上記プログラムとして、 コンビ ユータに、 上記第 1の入力画像信号を圧縮し符号化して第 1の符号化画像信号を 生成し、 かつ該圧縮された第 1の入力画像信号を伸長して第 1の再生画像信号を 生成する符号化処理を、 上記画像空間を区分する単位領域毎に行う処理、 上記各 単位領域に対応する第 1の再生画像信号に対して、 その有意でない画素値を所定 の方法により得られた擬似画素値と置き換える補填処理を施し、 該補填処理が施 された第 1の再生画像信号に基づいて、 該各単位領域に対応する第 2の入力画像 信号を予測して予測信号を生成する処理、 及 亥各単位領域に対応する第 2の入 力画像信号とその予測信号との差分である差分信号を圧縮し符号化して符号化差 分信号を生成し、 かつ、 該圧縮された差分信号を伸長し、 該伸長された差分信号 に上記予測信号を加算して第 2の再生画像信号を生成する差分圧縮符号化を、 上 記単位領域毎に行う処理を、 行わせるプログラムを格納したものである。
このような構成のデータ記憶媒体によれば、 補填処理が施された第 1の再生画 像信号に基づいて第 2の入力画像信号の予測信号が生成されることとなるので、 解像度が第 1の入力画像信号とは異なる第 2の入力画像信号とその予測信号との 差分である差分信号が抑圧されることとなり、 物体の境界部に位置する単位領域 に対応する第 2の入力画像信号を、符号ィ匕効率の劣ィ匕を抑えつつ圧縮する処理を、 コンピュータにより実現することができる。
この発明 （請求の範囲第 1 6項） に係るデータ記憶媒体は、 コンピュータに、 任意形状を有する画像を含む複数の画素からなる画像空間を再生するための解像 度が異なる第 1， 第 2の画像信号に、 符号化処理を施して得られる第 1 , 第 2の 符号化画像信号を複号化して第 1， 第 2の再生画像信号を生成する処理を行わせ るためのプログラムを格納したデ一タ記憶媒体であって、上記プログラムとして、
差替え用紙 （規則 26) コンピュータに、 上記第 1の符号化画像信号から第 1の再生画像信号を生成する 復号化処理を、 上記画像空間を区分する単位領域毎に行う処理、 上記各単位領域 に対応する第 1の再生画像信号に対して、 その有意でない画素値を所定の方法に より得られた擬似画素値と置き換える補填処理を施し、 該補填処理が施された第 1の再生画像信号から、 該各単位領域に対応する第 2の再生画像信号を予測して 再生予測信号を生成する処理、 及び該各単位領域に対応する第 2の符号化画像信 号を複号化して、 第 2の画像信号とその予測信号との差分信号を再生し、 該差分 信号に上記再生予測信号を加算して第 2の再生画像信号を生成する差分復号化処 理を、上記単位領域毎に行う処理を、行わせるプログラムを格納したものである。 このような構成のデータ記憶媒体によれば、 補填処理が施された第 1の再生画 像信号に基づいて第 2の再生画像信号の再生予測信号が生成されることとなるの で、 解像度が第 1の入力画像信号とは異なる第 2の入力画像信号とその予測信号 との差分を抑圧して符号化して得られる符号化差分信号を正しく複号化する処理 をコンピュータにより実現することができる。 図面の簡単な説明
第 1図は、 本発明の実施の形態 1によるデジタル画像符号化装置の全体構成を 説明するためのブロック図である。
第 2図は、 上記実施の形態 1のデジタル画像符号化装置を構成するテキスチャ —符号ィヒ部の詳細な構成を示すブロック図である。
第 3図は、 上記実施の形態 1のデジタル画像符号化装置を構成する前処理器の 具体的な構成を示すプロック図である。
第 4 (a) 図は、 上記実施の形態 1のテキスチャ一符号化部における符号化器 の具体的構成を、 第 4 (b) 図は該テキスチャ一符号化部における局所複号化器 の具体的構成を示すブロック図である。
第 5図は、 上記実施の形態 1のデジタル画像符号化装置による、 低解像度テキ スチヤー信号に基づいて高解像度テキスチャ一信号を予測する処理を説明するた めの模式図であり、 第 5 (a) 図、 第 5 (b) 図はそれぞれ高解像度画像空間、 低 解像度画像空間を示している。
差替え用紙 （規則 26) 第 6図は、 上記実施の形態 1のデジタル画像符号化装置による画像補填処理を 説明するための模式図である。
第 7図は、 上記実施の形態 1のデジタル画像符号化装置を構成するテキスチャ —変換器の構成を示す図である。
第 8図は、 上記実施の形態 1のデジタル画像符号化装置による補填処理及び補 間処理をフローチャートにより示す図である。
第 9 (a) 図及び第 9 (b) 図は、 上記実施の形態 1のデジタル画像符号化装置 による画像補填処理を説明するための模式図である。
第 1 0図は、 本発明の実施の形態 2によるデジタル画像復号化装置の全体構成 を示すブロック図である。
第 1 1図は、 上記実施の形態 2のデジタル画像複号化装置を構成するテキスチ ヤー復号化部の詳細な構成を示すプロック図である。
第 1 2 (a) 図， 第 1 2 (b) 図， 第 1 2 (c) 図は、 上記各実施の形態のデジタ ル画像符号化装置あるレヽはデジタル画像復号化装置をコンピュータシステムによ り実現するためのプログラムを格納したデータ記憶媒体を説明するための図であ る。 発明を実施するための最良の形態
以下、 本発明の実施の形態について、 第 1図から第 1 2図を用いて説明する。 実施の形態 1 .
第 1図は本発明の実施の形態 1によるデジタル画像符号化装置 1 0 0 0を説明 するためのブロック図である。
このデジタル画像符号化装置 1 0 0 0は、 画像信号のスケ一ラピリティ符号ィ匕 を物体単位で行うものであり、 上記画像信号を構成する、 物体を力ラ一表示する ためのテキスチャ一信号に対するスケ一ラビリティ符号化処理を行うテキスチャ —符号化部 1 1 0 0と、 上記画像信号を構成する、 物体の形状を示す形状信号に 対するスケーラビリティ符号化処理を行う形状符号化部 1 2 0 0とを有している。 上記テキスチャ一符号化部 1 1 0 0は、 テキスチャ一信号を受け、 解像度が高 い階層に対応するテキスチャ一信号（以下、高解像度テキスチャ一信号という。）
差替え用紙 （規則 26) と、 解像度が低い階層に対応するテキスチャ一信号 （以下、 低解像度テキスチャ 一信号という。 ） とを生成するテキスチャ一前処理器 1 1 0 0 cと、 高解像度テ キスチヤ一信号を、 符号化処理の単位となるブロックに対応するよう分割するブ 口ック化器 1 1 2 0 aと、 低解像度テキスチャ一信号を、 符号化処理の単位とな るブロックに対応するよう分割するブロック化器 1 1 2 0 bとを有している。 上記前処理器 1 1 0 0 cは、 第 3 (a)図に示すように、 その入力端子 2 0 3に 受けた上記テキスチャ一信号 S tに対するフィルタ処理を行う口一パスフィルタ ( L P F ) 2 0 1と、 該フィルタ 2 0 1の出力をダウンサンプルにより間引く間 引き器 2 0 2とを有し、 上記テキスチャ一信号 S tをそのまま第 1の出力端子 2 1 6に高解像度テキスチャ一信号 S t hとして出力し、 かつ上記間引き器 2 0 2 により間引力れたテキスチャ一信号を低解像度テキスチャ一信号 S t dとして第 2の出力端子 2 0 4に出力する構成となっている。
また、 上記テキスチャ一符号化部 1 1 0 0は、 上記低解像度テキスチャ一信号 に対して、 所定の物体の表示領域 （つまり任意形状を有する物体の画像を含む画 像空間） を区分する単位処理領域 （ブロック） 毎に差分符号化処理を施して低解 像度テキスチャ一差分符号化信号 （以下、 L T差分符号化信号という。 ） E t d を出力する符号イ^ 1 1 0 0 bと、 該低解像度テキスチャ一信号 S t dの差分符 号ィ匕処理に用いる予測信号を、 高解像度テキスチャ一信号 S t hの差分符号化処 理の利用できるよう解像度の変換を行うテキスチャ一変 1 1 2 5と、 該テキ スチヤー変換器 1 1 2 5の出力に基づいて、 上記高解像度テキスチャ一信号 S t hに対して上記単位処理領域 （ブロック） 毎に差分符号化処理を施して高解像度 テキスチャ一差分符号化信号 （以下、 HT差分符号化信号という。 ) E t hを出 力する符号ィ 1 1 0 0 aとを有している。
上記形状符号化部 1 2 0 0は、 上記形状信号 S kを受け、 解像度が高い階層に 対応する形状信号 （以下、 高解像度形状信号という。 ） S k hと、 解像度が低い 階層に対応する形状信号 （以下、 低解 5形状信号という。 ） S k dとを生成す る形状前処理器 1 2 0 0 cを有している。 この形状前処理器 1 2 0 0 cも上記テ キスチヤ一前処理器 1 1 0 0 cと全く同様な構成となっている。 また、 上記形状 符号化部 1 2 0 0は、 上記低解像度形状信号 S k dに対して、 所定の物体の表示
差替え用紙 （規貝 IJ26) 領域（任意形状を有する物体の画像を含む画像空間）を区分する単位処理領域（ブ ロック） 毎に差分符号化処理を施して低解像度形状差分符号化信号 （以下、 L S 差分符号化信号という。 ） E k dを出力する符号ィ匕器 1 2 0 0 bと、 該低解像度 形状信号 S k dの差分符号化処理に用いる予測信号を、 高解像度形状信号 S k h の差分符号化処理の利用できるよう解像度の変換を行う形状変換器 1 2 2 5と、 該形状変換器 1 2 2 5の出力に基づいて、 上記高解像度形状信号 S k hに対して 上記単位処理領域 （ブロック） 毎に差分符号化処理を施して高解像度形状差分符 号化信号 （以下、 H S差分符号化信号） E k hを出力する符号化器 1 2 0 0 aと を有している。
なお、 図示していないが、 上記各符号化器はそれぞれ、 入力されるテキスチャ —信号あるいは形状信号に基づいて各処理単位領域 （ブロック） に行われる符号 化処理のモードを判定するモ一ド判定器を有する構成となっている。
次に、 第 2図を用いて、 上記テキスチャ一符号化部 1 1 0 0における各符号ィ匕 器 1 1 0 0 a及び 1 1 0 0 bの詳細な構成について説明する。
上記低解 テキスチャ一符号ィ b^ l 1 0 0 bは、 符号化処理の対象となる対 象プロックの低解像度テキスチャ一信号と、 その予測信号との差分信号を生成す る第 1の加算器 1 3 2と、 該加算器 1 3 2の出力である差分信号を圧縮する第 1 の情報圧縮器 (E N C) 1 3 3と、 該情報圧縮器 1 3 3の出力を可変長符号化す る第 1の可変長符号化器 （V L C) 1 0 4と、 上記予測信号を生成する予測信号 生成部 1 1 1 0 bとから構成されている。
ここで、 上記第 1の情報圧縮器 1 3 3は、 第 4 (a)図に示すように、 対象プロ ックの低解像度テキスチャ一信号とその予測信号との差分信号 3 0 4に対して、 周波数変換処理の一種である D C T (離散コサイン変換） 処理を施す D C T変換 器 3 0 2と、 該周波数変換により得られる差分信号の周波数成分 3 0 5を量子化 して量子化信号 3 0 6を出力する量子ィ 3 0 3とから構成されている。
上記予測信号生成部 1 1 1 0 bは、 上記第 1の情報圧縮器 1 3 3の出力 （差分 圧縮信号） を伸長して上記差分信号を再生する第 1の情報伸長器 (D E C) 1 3 6と、 上記予測信号と該情報伸長器 1 3 6からの再生差分信号とを加算して低解 像度テキスチャ一信号を再生する第 2の加算器 1 3 7とを有している。
差替え用紙 （規則 26) ここで、 上記第 1の情報伸長器 1 3 6は、 第 4 (b)図に示すように、 上記圧縮 差分信号 3 1 0を逆量子化する逆量子化器 3 0 8と、 逆量子化された圧縮差分信 号 3 1 1に対し、 周波数領域のデータから空間領域のデータに変換する逆 I D T C処理を施して伸長差分信号 3 1 2を出力する I D C T器 3 0 9とから構成され ている。
また、 上記予測信号生成部 1 1 1 0 bは、 該加算器 1 3 7の出力を受け、 再生 低解像度テキスチャ一信号における有意でないサンプル値 （画素値） を、 上記低 解像度形状符号化器 1 2 0 0 bにて再生された低解像度形状信号に基づいて補填 する第 1の補填器 1 3 8と、 該補填器 1 3 8の出力である、 補填された再生低解 像度テキスチャ一信号を格納する第 1のフレームメモリ 1 3 9とを有しており、 この補填器 1 3 8の出力は、 上記テキスチャ一変 1 2 5にも出力されるよ うになっている。
さらに、 上記予測信号生成部 1 1 1 0 bは、 該第 1のフレームメモリ 1 3 9の 出力と、 入力される低解像度テキスチャ一信号 S t dとに基づいて、 対象ブロッ クの低解像度テキスチャ一信号との誤差が最も小さい予測信号を与える、 該対象 ブロックと同一サイズの予測領域を示す動き変位情報 （動きベク トル） を求めて 出力する第 1の動き検出器 （ME) 1 4 1と、 該動き検出器 1 4 1からの動きべ ク トルに基づいてフレームメモリ 1 3 9のアドレス A d d 1を発生し、 上記フレ —ムメモリ 1 3 9から予測領域に対応する再生低解像度テキスチャ一信号を予測 信号として読み出し、 上記第 1の加算器 1 3 2に出力する第 1の動き補償器 （M C) 1 4 0とを有している。
一方、 上記高解像度テキスチャ一符号化器 1 1 0 0 aも上記低解像度テキスチ ャ一符号化器 1 1 0 0 bとほぼ同様な構成となっている。
すなわち、 上記高解像度テキスチャ一符号化器 1 1 0 0 aは、 符号化処理の対 象となる対象ブロックの高解像度テキスチャ一信号と、 その予測信号との差分信 号を生成する第 3の加算器 1 0 2と、 該加算器 1 0 2の出力である差分信号を圧 縮する第 2の情報圧縮器 (E N C) 1 0 3と、 該情報圧縮器 1 0 3の出力を可変 長符号化する第 2の可変長符号化器 (V L C) 1 0 4と、 上記予測信号を生成す る予測信号生成部 1 1 1 0 aとから構成されている。
差替え用紙 （規貝 IJ26) ここで、上記第 2の情報圧縮器 1 0 3は、上記第 1の情報圧縮器 1 3 3と同様、 対象ブロックの高解像度テキスチャ一信号とその予測信号との差分信号に対して、 周波数変換処理の一種である D C T (離散コサイン変換） 処理を施す D C T変換 器 3 0 2と、 該周波数変換により得られる差分信号の周波数成分を量子化する量 子化器 3 0 3とから構成されている （第 4 (a)図参照） 。
上記予測信号生成部 1 1 1 0 aは、 上記第 2の情報圧縮器 1 0 3の出力 （差分 圧縮信号） を伸長して上記差分信号を再生する第 2の情報伸長器 (D E C) 1 0 6と、 上記予測信号と該情報伸長器 1 0 6からの再生差分信号とを加算して高解 像度テキスチャ一信号を再生する第 3の加算器 1 0 7とを有している。
また、 上記予測信号生成部 1 1 1 0 aは、 該加算器 1 0 7の出力を受け、 再生 高解像度テキスチャ一信号における有意でないサンプル値 （画素値） を、 上記高 解像度形状符号化器 1 2 0 0 aにて再生された高解像度形状信号に基づいて補填 する第 2の補填器 1 0 8と、 該補填器 1 0 8の出力である、 補填された再生高解 像度テキスチャ—信号を格納する第 2のフレームメモリ 1 0 9とを有している。 さらに、 上記予測信号生成部 1 1 1 0 aは、 該第 2のフレームメモリ 1 0 9の 出力と、 入力される高解像度テキスチャ一信号とに基づいて、 対象ブロックの高 解像度テキスチャ一信号との誤差が最も小さい予測信号を与える、 対象プロック と同一サイズの予測領域を示す動き変位情報 （動きべクトル） を求めて出力する 第 2の動き検出器 （ME) 1 1 1と、 該動き検出器 1 1 1からの動きべク トルに 基づいて上記フレームメモリ 1 0 9のアドレス A d d 2を発生し、 上記フレーム メモリ 1 0 9から予測領域に対応する再生高解像度テキスチャ一信号を予測信号 として読み出す第 2の動き補償器 (MC) 1 1 0と、該第 2の動き補償器 (MC) 1 1 0の出力と上記テキスチャ一変換器 1 1 2 5の出力とを平均化して上記第 3 の加算器 1 0 2に出力する平均化器 (AV E) 1 2 4とを有している。
ここでは、 この平均化器 1 2 4は、 上記モード判定器 （図示せず） の出力に基 づいて、 該第 2の動き捕償器 (MC) 1 1 0の出力と上記テキスチャ一変換器 1 1 2 5の出力とを一定比率の重み付けをして平均化する構成となっている。
なお、 重み付け平均処理を行う平均化器 1 2 4に代えて、 上記モード判定器の 出力に基づいて第 2の動き補償器 (MC) 1 1 0の出力と上記テキスチャ一変換
差替え用紙 （規貝 IJ26) 器 1 1 2 5の出力との一方を選択し、 選択した出力を高解像度テキスチャ一信号 の予測信号として上記第 3の加算器 1 0 2に出力するようにしてもよレ、。
次に、 上記低解像度形状符号化器 1 2 0 0 b及び高解像度形状符号ィ匕器 1 2 0 0 aの具体的な構成について説明する。 ただしこれらの符号化器は、 基本的に上 記低解像度テキスチャ一符号化器 1 1 0 0 b及び高解像度テキスチャ一符号化器 1 1 0 0 aの構成と同一であるので、 図面を用いた詳細な説明は省略し、 各テキ スチヤー符号化器と各形状符号化器の構成上に相違点のみを簡単に説明する。 つまり、 上記低解像度形状符号化器 1 2 0 0 bは、 上記低解像度テキスチャ一 符号化器 1 1 0 0 bにおける補償器 1 3 8を有しておらず、 その加算器 1 3 7の 出力を直接第 1のフレームメモリ 1 3 9に入力する構成となっている点でのみ上 記低解像度テキスチャ一符号化器 1 1 0 0 bと異なっている。 また、 上記高解像 度形状符号化器 1 2 0 0 aは、 上記高解像度テキスチャ一符号化器 1 1 0 0 aに おける補償器 1 0 8を有しておらず、 その加算器 1 0 7の出力を直接第 2のフレ —ムメモリ 1 0 9に入力する構成となっている点でのみ上記高解像度テキスチャ 一符号化器 1 1 0 0 aと異なっている。
次に動作について説明する。
画像信号として、 所定の物体に対応するテキスチャ一信号 S t及び形状信号 S kがそれぞれテキスチャ一入力端子 1 1 1 1及び形状入力端子 1 2 1 1に入力さ れると、 上記テキスチャ一符号化部 1 1 0 0ではテキスチャ一信号 S tに対する スケーラビリティ符号化処理が、 上記形状符号化部 1 2 0 0では形状信号 S kに 対するスケーラピリティ符号化処理が行われる。
すなわち、 上記テキスチャ一符号化部 1 1 0 0では、 前処理器 1 1 0 0 cによ りテキスチャ一信号 S tから高解 テキスチャ一信号 S t hと低解 テキス チヤ一信号 S t dとが生成される。 具体的には、 第 3 (a)図に示すように、 上記 前処理器 1 1 0 0 cでは、 入力されたテキスチャ一信号 （画像系列） S tはその まま高解像度テキスチャ一信号 S t hとして第 1の出力端子 2 1 6に出力される 一方で、 該テキスチャ一信号 S tは、 口一パスフィルタ 2 0 1により高帯域成分 を除去され、 さらに間引き器 2 0 2によってダウンサンプルされて低解 テキ スチヤ一信号 S t dとして第 2の出力端子 2 0 4に出力される。
差替え用紙 （規貝 IJ26) ここで、 上記高解像度テキスチャ一信号 S t hからは、 （KXL) 個のサン プル （画素） からなる、 上記物体の画像を含む画像空間 （画像表示画面） 205 が得られるのに対し、 上記低解像度テキスチャ一信号 S t dからは、 （K/2 XL/2) 個のサンプノレ （画素） からなる、 上記物体の画像を含む画像空間 （画 像表示画面） 206が得られる。 なおここで K， Lは整数である。 つまり、 上記 間引き器 202では、 ダウンサンプル処理として、 フィルタ出力を 1サンプルお きに間引く処理が行われている。 ただし、 この間引き器の構成は一例であり、 上 記テキスチャ一信号 S tには、 1/2以外の比率でダウンサンプリング処理を施 してもよい。
またこのとき、 上記形状符号化部 1200では、 上記テキスチャ一符号化部 1 100におけるテキスチャ一信号の前処理と同様に、 前処理器 1200 cにより 物体の形状信号の前処理が行われている。
次に、 上記高解像度テキスチャ一信号 S t h及び低解像度テキスチャ一信号 S t dは、 それぞれブロックィ匕器 1120 a， 1120 bにて、 画像が表示される 1画面 （画像空間） を区分する、 所定サイズのブロック領域に対応するよう分割 され、 高解 テキスチャ一符号化器 1100 a, 低解像度テキスチャ一符号ィ匕 器 1 100 bに入力される。
ここでは、 上記各テキスチャ一信号 S t h及び S t dは、 （8 X 8) 個また は （16 X 16) 個のサンプルからなる矩形形状のブロック領域に対応するよ う分割されるが、 上記各テキスチャ一信号は、 任意の形状のブロック領域に対応 するよう分割してもよい。
このとき、 形状符号化部 1200では、 ブロック器 1220 a， 1220 bに より、 高解像度形状信号 S t h及び低解像度形状信号 S t dに対して、 上記各テ キスチヤ一信号に対するブロック化処理と同様なプロック処理が施されている。 そして、 符号化処理の対象となるブロック （以下、 対象ブロックという。 ） に 対応する低解像度及び高解像度テキスチヤ一信号がそれぞれ、 低解像度符号化器 1110 b及び高解像度符号化器 1110 aに入力されると、 各符号化器では、 これらの信号に対する差分符号化処理が行われる。
なお、 低解像度及び高解像度形状信号についても、 対応する符号化器 1200
差替え用紙 （規貝 IJ26) a， 1 2 0 0 bにて各プロック単位で符号ィヒ処理が行われるが、 形状信号につい ての符号化処理は、 テキスチャ一信号の符号化処理における補填処理を行わない 点で異なるだけであるので、詳しい説明は、テキスチャ一信号についてのみ行う。 以下、 まず、 低解像度符号化器 1 1 1 0 bにおける低解像度テキスチャ一信号 S t dに対する差分符号ィ匕処理について説明する。
上記対象ブロックの低解像度テキスチャ一信号 S t dが第 1の動き検出器 1 4 1に入力されると同時に、 第 1フレームメモリ 1 3 9から、 圧縮処理済のテキス チヤ一信号を伸長して得られる伸長テキスチャ一信号が、 参照画面のテキスチャ —信号として第 1の動き検出器 1 4 1に読み出される。
この第 1の動き検出器 1 4 1では、 ブロックマッチングなどの方法により、 対 象ブロックの低解像度テキスチヤ一信号に対し誤差の最も小さレ、予測信号を与え る、 参照画面における予測ブロックが検出され、 対象ブロックを基準とする該予 測領域の位置を示す動き変位情報 （以下、動きべクトルという。 ） 力出力される。 この動きべクトルは第 1の動き補償器 1 4 0に送られ、 そこで参照画面に対応 する参照用 テキスチャ一信号から予測プロックに対応する低解^ ^テキ スチヤ一信号が予測信号として生成される。 このとき上記対象プロックに対する 動きべクトルは可変長符号化器 1 3 4に供給され、 対応する可変長符号に変換さ れる。
また、 対象プロックの低解像度テキスチャ一信号と予測プロックの低解像度テ キスチヤ一信号は上記第 1の加算器 1 3 2に供給され、 上記第 1の加算器 1 3 2 では両者の差分信号が生成され、 この差分信号は、 第 1の情報圧縮器 1 3 3によ り圧縮される。
この第 1の情報圧縮器 1 3 3における差分信号の圧縮処理は、 第 3 (a)図に示 すように、 D C T器 3 0 2での周波数変換および量子化器 3 0 3での量子化によ つて行われるが、 上記差分信号の圧縮処理には、 サブバンド変換やベク トル量子 化などの方法を用いてもよレヽ。 ここでは、量子化された差分信号（圧縮差分信号） が可変長符号化器 1 3 4に供給されて可変長符号化される。
そして、 可変長符号化された圧縮差分信号 E t dは、 可変長符号化された動き べクトルを含むその他のサイド情報と共に出力端子 1 3 5に出力される。
差替え用紙 （規貝 IJ26) このとき、 低解像度予測信号生成部 1 1 1 0 bでは、 上記情報圧縮器 1 3 5の 出力である圧縮差分信号に基づいて予測信号が生成される。
すなわち、 上記圧縮差分信号が予測信号生成部 1 1 1 O bに入力れると、 この 圧縮差分信号は情報伸長器 1 3 6にて伸長処理が施され、 伸長差分信号が出力さ れる。 本実施の形態では第 4 (b)図に示すように、 上記圧縮差分信号が逆量子化 器 3 0 8にて逆量子化され、 逆量子化された圧縮差分信号が I D C T器 3 0 9に て、 周波数領域のデータから空間領域のデータに変換される。
上記情報伸長器 1 3 6からの伸長差分信号は、 第 2の加算器 1 3 7にて対応す る予測プロックの低解^ gテキスチャ一信号に加算され、 該加算により得られる 信号が、 対象ブロックに対応する再生低解像度テキスチャ一信号として出力され る。 この再生低解像度テキスチャ一信号は第 1の補填器 （P AD) 1 3 8に入力 され、 該補 1 3 8にて、 該再生低解像度テキスチャ一信号に対する補填処理 が施される。 そして補填処理が施された再生低解 テキスチャ一信号が第 1の フレームメモリ 1 3 9に参照用低解像度テキスチャ一信号として格納される。 こ こで、 上記補填処理は、 各ブロックに対応する再生低解像度テキスチャ一信号を 構成する複数のサンプル値 （画素値） のうちの有意でないサンプル値を、 有意な サンプル値に置き換える処理であり、 サンプル値が有意であるか否かの判定は、 低解像度形状符号化器 1 2 0 0 bにて、 圧縮差分信号に伸長処理等を施して得ら れる再生低解像度形状信号を参照して行われる。
第 6図は上記第 1の補填器 1 3 8による補填処理を説明するための模式図であ る。 なお、 第 6図では説明を簡略化するために、 再生低解像度テキスチャ一信号 により形成される画像空間を区分する各ブロック 5 0 1は、 （4 X 4 ) 個のサ ンプルからなるものとし、 該ブロック 5 0 1における各矩形領域は 1つのサンプ ノレ （画素） を示している。 また、 複数の矩形領域のうち、 点々を付して示した矩 形領域は、物体内部に位置する有意なサンプノレを示し、それ以外の矩形領域（点々 を付していない領域） は、 物体の外側に位置する有意でないサンプルを示してい る。
有意でないサンプルのサンプル値に対する補填処理には、 物体の境界 （周縁） 上に位置するサンプルのサンプル値を用いる。 第 6図ではサンプル 5 0 2， 5 0
差替え用紙 （規貝 IJ26) 3， 5 0 4 , 5 0 5が境界上に位置するサンプルであり、 これらの有意サンプル のサンプル値を、 有意でないサンプルのサンプル値と置き換えることにより、 物 体の外側領域に位置するサンプルのサンプル値を補填する。 たとえば、 サンプル 5 0 6のサンプル値をサンプル 5 0 5のサンプル値で置換する。 またサンプノレ 5 0 7のように、 有意サンプル 5 0 3と有意サンプル 5 0 4の両方に隣接する、 物 体外のサンプノレについては、 そのサンプル値を、 両有意サンプルのサンプル値の 平均値と補填する。
なお、 上記説明では、 補填処理として、 有意でないサンプルのサンプル値を、 有意でなレ、サンプノレと隣接する有意なサンプルのサンプル値と置換する処理につ いて示したが、 補填処理は、 有意でないサンプルのサンプル値を、 物体の境界上 にあるすべての有意なサンプルのサンプノレ値の平均値と置換する処理でもよく、 また、 有意でないサンプノレと隣接する有意なサンプノレが複数ある場合、 有意でな いサンプルのサンプルを、 該複数の有意なサンプルのサンプル値のうちで最大も しくは最小のサンプル値と置換する処理でもよレ、。
また、 このとき上記第 1の動き検出器 1 4 1では、 上述したようにブロックマ ツチングなどの方法により、 入力される低解 テキスチャ一信号とフレームメ モリに格納されている参照用の再生低解像度テキスチャ一信号とに基づいて、 動 きベク トルが生成されており、 第 1の動き補償器 1 4 0では、 この動きベク トル に基づいて、 予測プロックに対応する低解像度テキスチャ一信号が生成されて、 これが予測信号として上記第 1の加算器 1 3 2に出力される。
次に、 高解像度度符号化器 1 1 1 0 aにおける高解像度テキスチャ一信号 S t hに対する差分符号ィ匕処理について説明する。
この高解^ ¾テキスチャ一信号 S t hに対する差分符号化処理は、 上記低解像 度テキスチャ一信号 S t dに対する差分符号ィ匕処理と基本的には同一であり、 対 象プロックに対応する予測信号を生成する処理が上記低解像度テキスチャ一信号 に対するものとは若干異なっている。
つまり、 高解像度テキスチャ一符号化器 1 1 0 0 aの予測信号生成部 1 1 1 0 aでは、 第 2の動き補償器 1 1 0にて動き補償により得られる時間予測信号に加 えて、 低解像度テキスチャ一符号化器 1 1 0 0 bの第 1の補填器 1 3 8にて補填
差替え用紙 （規貝 IJ26) 処理を施した再生低解像度テキスチャ一信号 （空間予測信号） が用いられる。 第 3 (a)図に示したように、 低解像度画像空間 2 0 6を形成するための低解像 度テキスチャ一信号は、 高解像度画像空間 2 0 5を形成するための高解像度テキ スチヤ一信号をダウンサンプリングして得られるものであるため、 上記再生低解 像度テキスチャ一信号を高解像度テキスチャ一符号化器 1 1 0 0 aにて空間予測 信号として利用するには、 該再生低解像度テキスチャ一信号をアップサンプリン グ等により補間する必要がある。
このため、 上記空間予測信号はテキスチャ一変換器 1 1 2 5にてアップサンプ リングにより補間され、 補間された空間予測信号が上記高解 テキスチャー符 号化器 1 1 0 0 aの予測信号生成部 1 1 1 0 aに供給される。
具体的には、 第 7図に示す上記テキスチャ一変換器 1 1 2 5を構成する補間器 6 0 2では、 偶数タップのフィルタを用いて補間値が生成され、 この補間値によ り上記空間予測信号を構成するサンプル値が補間される。
このようなァップサンプリング処理が施された空間予測信号は、 上記時間予測 信号とともに平均化器 1 2 4に入力される。 この平均化器 1 2 4では、 上述した モード判定器 （図示せず） 力 らのモード判定出力に基づいて、 時間予測信号と空 間予測信号とを重み付き平均化して得られる、 高解像度テキスチャ一信号に対す る予測信号が生成され、 この予測信号が第 3， 第 4の加算器 1 0 2， 1 0 7に供 糸口 4"1る。
なお、 本実施の形態では、 上記平均化器 1 2 4における、 空間予測信号と時間 予測信号の重み付けの比率として、 1 : 0、 0 : 1、 1 Z 2 : 1 / 2の 3つの比 率を用いるようにしているが、 これ以外の比率で重みつけしてもよい。 また、 こ の重み付けの比率は、 モード判定出力に基づいて調整するのではなく、 予め所定 の比率を設定しておくようにしてもよい。 また、 空間予測信号は第 1の補填器 1 3 8から出力するようにしているが、 これは第 1のフレームメモリ 1 3 9から出 力するようにしてもよい。
第 5図は、 上記再生低解像度テキスチヤ一信号から高解像度テキスチヤ一信号 に対する予測信号を生成する処理を説明するための模式図である。 図中、 4 0 1 aは、 高解像度テキスチャ一信号から得られる、 任意形状の物体画像を含む高解
差替え用紙 （規則 26) 像度画像空間であり、 4 0 1 bは再生低解像度テキスチャ一信号から得られる、 上記任意形状の物体画像を含む再生低解像度画像空間である。 各画像空間は複数 のプロック（単位処理領域）から構成されており、該複数のプロックのうちの点々 を付して表示したものは、 物体の内部に位置する有意なサンプルを含むものであ る。
具体的には、 画像空間 4 0 1 aを区分するブロックは、 符号ィヒ処理が行われる 被処理里ブロックを示し、 画像空間 4 0 1 bを区分するプロックは、 画像空間 4 0 1 aの各被処理プロックに対応する空間予測ブロックを示す。 ここで各被処理 ブロックとこれに対応する各空間予測プロックとは、 それぞれの画像空間におけ る同一位置に位置している。
例えば、 被処理プロック 4 0 4 aと対応する空間予測ブロック 4 0 4 bはそれ ぞれ画像空間 4 0 1 aと画像空間 4 0 1 bでは、 水平方向の配列において左端か ら 6番目に位置し、 かつ垂直方向の配列にぉレ、て上端から 4番目に位置するプロ ックとなっている。 また、 画像空間 4 O l aにおける被処理プロック 4 0 3 aは 物体の境界上に位置し、 これに対応する画像空間 4 0 1 bにおける空間予測プロ ック 4 0 3 bも物体の境界上に位置している。
また、 物体の境界上にある空間予測プロック 4 0 3 bに対応する低解 テキ スチヤ一信号は、 これを構成する有意でないサンプル値を上述した方法で置換し た後に、 テキスチャ一変換器 1 2 5でアップサンプリングされ、 該アップサンプ ルされた低解像度テキスチヤ一信号が、 上記空間予測ブロックに対応する被処理 ブロック 4 0 3 aの高解像度テキスチャ一信号から引き算される。
一般には、 空間予測プロックに対応する低解像度テキスチャ一信号をアップサ ンプリングしても、 これによつて得られる空間予測プロックにおける物体の境界 と、 対応する被処理ブロックにおける物体の境界とがー致しなレ、場合がほとんど である。 このため、 上記のように空間予測ブロックに対応する低解像度テキスチ ャ一信号をネ甫填した後ァップサンプルすることにより、 両ブロックの境界の不一 致による残差の増加を抑圧することができる。
また、 第 5図における被処理ブロック 4 0 5 a， 4 0 6 a , 4 0 7 aと、 これ らに対応する空間予測ブロック 4 0 5 b， 4 0 6 b , 4 0 7 bに見られるように、
差替え用紙 （規貝 IJ26) 画像空間 4 0 1 aにおける被処理プロックが物体の境界上に位置しているのに対 し、 画像空間 4 0 1 bにおける空間予測プロックが完全に物体外部に位置するこ ととなる場合がある。
これは、 画像空間 4 0 1 bに対応する低解 ^¾テキスチャ一信号を生成するた めのダウンサンプリングや、 低解像度テキスチャ一信号の圧縮符号化によって、 低解像度テキスチヤ一信号の持つ物体形状情報が歪んでしまったからである。 こ の場合、 たとえば、 被処理プロック 4 0 7 aに対応する空間予測プロック 4 0 7 bを構成するサンプノレのサンプル値は定義されておらず、 このため空間予測プロ ック 4 0 7 bに対応する低解像度テキスチャ一信号をそのまま用いて、 被処理ブ ロック 4 0 7 aに対応する高解像度テキスチャ一信号から引き算すると、 両信号 の残差が大きくなる。
そこで、 本発明の実施の形態 1では、 このような物体外の空間予測ブロックに ついては、 そのサンプル値を、 該物体外空間ブロックに隣接する物体内空間プロ ックの有意なサンプル値で補填するようにしている。
すなわち、 空間予測ブロック 4 0 7 bついては、 そのサンプル値を、 そのすぐ 上にある空間予測プロック 4 0 2 bの有意なサンプル値と置換するようにしてい る。
この場合、 空間予測プロック 4 0 2 bのような物体の境界上に位置するプロッ クについては、 第 6図に示す方法でその有意でないサンプノレのサンプル値が補填 してあるので、 上記物体外空間予測プロック 4 0 7 bのサンプル^ Sを、 空間予測 ブロック 4 0 2 bの、境界上に位置するサンプノレのサンプル値で補填してもよい。 第 9 (a)図及び第 9 (b)図は、 このような補填処理の例を示す。
ブロック 8 0 1、 8 0 2、 8 0 3、 8 0 4はそれぞれ 4 X 4のサンプルから 構成される。 ブロック 8 0 1とブロック 8 0 3が境界プロックであり、 補填処理 により、 すべてのサンプル値が有意な値となっている。 そのため、 サンプル 8 0 5〜8 1 2はすべて有意なサンプル値を有している。 またブロック 8 0 2とプロ ック 8 0 4は物体外ブロックである。
そこで、 ブロック 8 0 2に対する補填処理では、 サンプル 8 0 5、 8 0 6、 8 0 7、 8 0 8を水平に順次繰り返して当てはめて、 これらのサンプルをブロック
差替え用紙 （規貝 6) 8 0 2のサンプルとして補填し、 また、 ブロック 8 0 4に対する補填処理では、 サンプル 8 0 9、 8 1 0、 8 1 1、 8 1 2を垂直に順次繰り返して当てはめて、 これらのサンプルをブロック 8 0 4のサンプノレとして補填する。
なお、 補填処理が施されるプロックに水平方向にも垂直方向にも隣接した境界 ブロックが存在する場合には、 これらの境界ブロックにおけるすべての候補サン プル値の平均を、 置換すべき擬似サンプル値として用いたり、 すべての候補サン プル値のうちの最大値を、 置換すべき擬似サンプル値として用いたりすることが できる。
このように、 物体外に位置する空間予測ブロックに対して、 これに隣接する境 界ブロックのサンプル値を用いて補填処理を施すことにより、 空間予測プロック が完全に物体外部にあっても、 その有意でないサンプル値は、 物体内部のサンプ ノレ値で置換されることとなるため、 空間予測プロックに対応する低解^ ¾テキス チヤ一信号をアップサンプルした信号と、 被処理プロックに対応する高解像度テ キスチヤ一信号との残 言号を抑圧することができる。
第 8図は、 上述した補填処理を考慮した、 補填器及びテキスチャ—変換器によ る動作をフローチャートにより説明するための図である。
まず、 空間予測プロックとその空間予測プロックが物体の外部にあるかどうか を示す識別信号 L D k dが補填器 1 3 8に入力される （ステップ S 1 ) 。 予測ブ 口ックが物体の外部にあるかどうかを示す識別信号 L D k dは、 形状符号化部 1 2 0 0の低解像度形状符号化器 1 2 0 0 bにて生成された伸長形状信号 （物体の 形状情報） である。
次に、 その識別信号を用いて空間予測プロックが物体の外部にある力否かが上 記補填器 1 3 8にて判別される （ステップ S 2 ) 。 もし、 該空間予測ブロックが 物体の外部になければ、 空間予測プロックがネ甫填処理が施されずにそのまま出力 されて、 テキスチャ一変 1 1 2 5にてアップサンプリングされる （ステップ S 4 ) 。 一方、 物体の外部にある場合、 空間予測ブロックに対して、 隣接するブ 口ックの有意なサンプルのサンプノレを用いた補填処理が施され（ステップ S 3 )、 その後、 該空間予測ブロックに対応する低解像度テキスチャ一信号が、 上記テキ スチヤー変換器 1 1 2 5にてアップサンプリングされる （ステップ S 4 )。 なお、
差替え用紙 （規貝 IJ26) 境界プロックに隣接する物体外部にあるプロックの補填は上述した補^で行つ てもよい。
なお、 上記実施の形態 1では、 テキスチャ一信号を階層化するのに第 3 (a)図 に示す前処理器 2 0 1を用いたが、 上記階層化処理には、 この前処理器 2 0 1の 代わりに、 第 3 (b)図に示す前処理器 2 0 7を用いてもよい。
この前処理器 2 0 7は、 入力端子 2 0 8と、 第 1， 第 2の出力端子 2 0 9， 2 1 0とを有し、 入力端子 2 0 8と第 1の出力端子 2 0 9との接続状態と、 入力端 子 2 0 8と第 2の出力端子 2 1 0との接続状態とが一定の時間間隔でもって切り 換わる構成となっている。
例えば、 テキスチャ一信号が入力端子 2 0 8に入力されると、 入力端子 2 0 8 と第 1の出力端子 2 0 9との接続状態と、 入力端子 2 0 8と第 2の出力端子 2 1 0との接続状態とがスィツチ 2 0 7 aにより所定の時間間隔で切り換わることと なる。
ここでは、 時間 t ( tは整数） 、 t + N、 t + 2 Nの間隔で、 入力端子 2 0 8 と第 2の出力端子 2 1 0が接続状態となり、 入力されたテキスチャ一信号が第 2 の出力端子に出力される。 この第 2の出力端子 2 1 0から出力されるテキスチャ —信号を低解像度テキスチャ一信号として、 第 2図の第 1の入力端子 1 3 1に供 給する。
また、 時間 tと t + Nとの間にあるテキスチャ一信号 （画像データ） は、 第 1 の出力端子 2 0 9に出力され、 該第 1の出力端子 2 0 9から出力されるテキスチ ャ一信号を、 高解像度テキスチャ一信号として第 2図の第 2入力端子 1 0 1に供 給する。 ここで、 Nは任意の整数である力 本実施の形態では N= 3としている。 この場合、 第 7図の変換器には、 補間器の代わりに、 動き補償器を用い、 第 1 のフレームメモリ 1 3 9から動き補償により得られた予測信号を読み出して、 上 記予測信号 （低解像度テキスチャ一信号から得られた予測信号） を、 時間解像度 が高解像度テキスチャ一信号に合致するよう処理する。 この場合、 図示していな いが、 そのための動きべクトルを上記動き補償器に伝送する必要がある。 いずれ にしても、 階層符号化処理では、 ある階層のテキスチャ一信号を、 別の階層， つ まり解像度の異なる階層から得られる予測信号を用いて差分符号ィヒする には、
差替え用紙 （規貝 IJ26) 該予測信号の補填処理を行わなければならない。
このように本実施の形態 1では、 第 2図に示すように、 低解像度テキスチャ一 信号 S t dを差分符号化する符号化器 1 1 0 0 bと、 高解像度テキスチャ一信号 S t hを差分符号化する符号化器 1 1 0 0 aとを有し、 高解 テキスチャ一信 号 S t hをその予測信号を用いて差分符号化する際、 上記符号化器 1 1 0 0 bに おける補填器 1 3 8により、 上記符号化器 1 1 0 0 bで再生した低解 テキス チヤ一信号の有意でな 、サンプル値を、 その有意なサンプル値から得られた擬似 サンプル値と置き換える補填処理を行レヽ、 上記該補填処理を施した再生低解像度 テキスチャ一信号に基づいて上記高解像度テキスチャ一信号 S t hに対する予測 信号を生成するようにしたので、 補填処理が施された再生低解像度テキスチャ一 信号に基づいて高解像度テキスチャ一信号 S t hの予測信号が生成されることと なる。 このため、 符号化処理の対象となるブロック （単位処理領域） の高解像度 テキスチャ一信号とその予測信号との差分である差分信号が抑圧されることとな り、物体の境界部に位置するプロックに対応する高解像度テキスチャ一信号を、 符号化効率の劣化を抑えつつ差分符号化することができる。
また、 符号化処理の対象となる対象単位領域の高解像度テキスチャ一信号 S t hの符号化処理では、 その予測信号として、 上記対象単位領域の再生された低解 像度テキスチャ一信号に基づいて生成される信号を用いるので、 高解像度テキス チヤ一信号 S t hの符号化処理は低解像度テキスチャ一信号 S t dの符号化処理 と比べて、 上記単位領域を処理するための時間だけしか遅延しない。 このため、 複号化側では、 低解像度テキスチャ一信号 S t d， 高解像度テキスチャ一信号 S t hの符号化により得られる L T差分符号化信号 E t d， H T差分符号化信号 E t hに基づいて、 高解像度画像と 像度画像とをほとんど時間のずれなく再生 することができる。
また、 各単位領域に対応する再生低解像度テキスチャ一信号の補填処理を、 該 再生低解像度テキスチャ一信号における有意な画素値に基づいて行うので、 低解 像度テキスチャ一信号から得られる高解像度テキスチャ一信号の予測信号と、 高 解像度テキスチャ一信号との差分を効果的に抑圧することができる。
また、 補填処理を施した再生低解像度テキスチャ—信号をフレームメモリ 1 3
差替え用紙 （規貝 IJ26) 9に、 補填処理を施した再生高解像度テキスチャ一信号をフレームメモリ 1 0 9 に格納するようにしたので、 動き検出や動き補償をより精度よく行うことができ る。
なお、 上記実施の形態 1では、 形状符号化部 1 2 0 0を構成する各符号化器 1 2 0 0 a， 1 2 0 0 bでは、 低解像度再生形状信号 L D k d及び高解像度再生形 状信号 L D k hをそのまま予測信号の生成に用いているが、 低解像度再生形状信 号 L D k d及び高解像度再生形状信号 L D s hに補填処理を施したものを予測信 号の生成に用レヽるようにしてもよい。
実施の形態 2 .
第 1 0図は本発明の実施の形態 2によるデジタル画像複号化装置 2 0 0 0を説 明するためのブロック図である。
このデジタル画像符号化装置 2 0 0 0は、 実施の形態 1のデジタル画像符号ィ匕 装置 1 0 0 0により画像信号にスケーラビリティ符号化処理を施して得られる画 像符号化信号を物体単位で複号化可能に構成したものであり、 上記画像符号化信 号を構成する符号ィヒテキスチャ一信号に対するスケ一ラビリティ復号ィ匕処理を行 うテキスチャ一複号化部 2 1 0 0と、 上記画像符号化信号を構成する符号化形状 信号に対するスケーラビリティ符号ィヒ処理を行う形状複号化部 2 2 0 0とを有し ている。
上記テキスチャ一復号化部 2 1 0 0は、 高解像度テキスチャ一差分符号化信号 (H T差分符号化信号） E t hに対して差分復号化処理を各プロック毎に施して、 高解像度テキスチャ一復号化信号 D t hを出力する高解像度テキスチャ一復号化 器 2 1 0 0 aと、 該各ブ口ックに対応する高解像度テキスチャ一複号化信号 D t hを統合して走査線構造の高解像度テキスチャ一再生信号 R t hを出力する逆ブ ロック器 2 1 2 0 aと、 低解像度テキスチャ一差分符号化信号 （L T差分符号化 信号） E t dに対して差分復号ィヒ処理を各ブロック毎に施して、 低解像度テキス チヤ一復号化信号 D t dを出力する低解像度テキスチャ一複号化器 2 1 0 0 bと、 該各ブ口ックに対応する低解像度テキスチャ一復号ィ匕信号 D t dを統合して走査 線構造の高解像度テキスチャ一再生信号 R t dを出力する逆プロック器 2 1 2 0 bとを有している。
差替え用紙 （規貝 IJ26) また、 上記テキスチャ一復号化部 2 1 0 0は、 該 L T差分符号化信号の差分復 号化処理に用いる予測信号を、 H T差分符号化信号の差分複号化処理に利用でき るよう変換して、 上記高解像度テキスチャ一複号化器 2 1 0 0 aに出力するテキ スチヤ一変 2 1 2 5を有している。
また、 上記形状復号化部 2 2 0 0は、 高解像度形状差分符号化信号 （H S差分 符号化信号） E k hに対して差分複号化処理を各プロック毎に施して、 高解像度 形状復号化信号 D k hを出力する高解像度形状複号化器 2 2 0 0 aと、 該各ブ口 ックに対応する高解像度形状複号化信号 D k hを統合して走査線構造の高解像度 形状再生信号 R k hを出力する逆プロック器 2 2 2 0 aと、 低解像度形状差分符 号化信号 （L S差分符号化信号） E k dに対して差分複号化処理を各ブロック毎 に施して、 低解像度形状復号化信号 D k dを出力する低解像度テキスチャ一復号 化器 2 2 0 0 bと、 該各ブ口ックに対応する低解^ ¾テキスチャ一複号化信号 D k dを統合して走査線構造の高解像度テキスチャ一再生信号 R k dを出力する逆 ブロック器 2 2 2 0 bとを有している。
また、 上記形状複号化部 2 2 0 0は、 該 L S差分符号化信号の差分復号化処理 に用いる予測信号を、 H S差分符号化信号の差分複号化処理に利用できるよう変 換して、 上記高解像度形状復号化器 2 2 0 0 aに出力する形状変換器 2 2 2 5を 有している。
次に、 第 1 0図を用いて、 上記テキスチャ一復号化部 2 1 0 0における各符号 化器 2 1 0 0 a及び 2 1 0 0 bの詳細な構成について説明する。
上記低解像度テキスチャ一複号化器 2 1 0 0 bは、 復号化処理の対象となる対 象領域 （対象ブロック） の L T符号化差分信号を解析して可変長復号化するデー タ解析器 9 2 2と、 該データ解析器 9 2 2の出力に対して伸長処理を施して伸長 差分信号を出力する情報伸長器 （D E C) 9 2 3と、 該伸長差分信号と、 対象ブ 口ックに対応する予測信号とを加算して低解^ gテキスチャ一復号ィヒ信号を出力 する加算器 9 2 4と、 上記各プロックに対応する予測信号を生成する予測信号生 成部 2 1 1 0 bとから構成されている。
ここで、 上記第 1の情報伸長器 9 2 3は、 第 4 (b) 図に示すように、 上記デ —タ解析器 9 2 2の出力に逆量子化処理を施す逆量子化器 3 0 8と、 該逆量子化
差替え用紙 （規貝 IJ26) 器 3 0 8の出力に対して逆周波数変換処理の一種である I D C T (逆離散コサイ ン変換） 処理を施す I D C T変換器 3 0 9とから構成されている。
上記予測信号生成部 2 1 1 0 bは、 上記加算器 9 2 4の出力を受け、 再生され た低解像度テキスチャ一信号における有意でないサンプル値 （画素値） を、 上記 低解像度形状復号化器 1 2 0 0 bにて復号化された低解 形状信号 D k dに基 づいて補填する第 1の補填器 9 2 6と、 該補 ϋ 9 2 6の出力である、 補填され た再生低解像度テキスチャ一信号を格納する第 1のフレームメモリ 9 2 7とを有 しており、 上記補填器 9 2 6の出力は、 上記テキスチャ一変換器 2 1 2 5にも出 力されるようになっている。
さらに、 上記予測信号生成部 2 1 1 0 bは、 該第 1のフレームメモリ 9 2 7の 出力と、 上記データ解析器 9 2 2にて復号化された対象ブロックに対応する動き べクトルとに基づいて、 上記フレームメモリ 9 2 7から、 対象ブロックの再生低 解像度テキスチヤ一信号との誤差が最も小さレ、再生低解^^テキスチヤ一信号を 持つ予測領域を検出し、 該予測領域に対応する再生低解像度テキスチャ一信号を 予測信号として読み出し、 上記第 1の加算器 9 2 4に出力する第 1の動き補償器 9 2 8を有している。
一方、 上記高解像度テキスチャ一複号化器 2 1 0 0 aも上記低解像度テキスチ ャ一複号化器 2 1 0 0 bとほぼ同様な構成となっている。
すなわち、 上記高解像度テキスチャ一複号化器 2 1 0 0 aは、 復号化処理の対 象となる対象領域 （対象ブロック） の HT符号化差分信号を解析して可変長復号 化する第 2のデータ解析器 9 0 2と、 該データ解析器 9 0 2の出力に対して伸長 処理を施して伸長差分信号を出力する第 2の情報伸長器 （D E C) 9 0 3と、 該 伸長差分信号と、 対象プロックに対応する予測信号とを加算して高解 テキス チヤ一復号ィヒ信号を出力する第 2の加算器 9 0 4と、 上記各プロックに対応する 予測信号を生成する予測信号生成部 2 1 1 0 aとから構成されている。
ここで、 上記第 2の情報伸長器 9 0 3は、 第 4 (b) 図に示すように、 上記デ —タ解析器 9 0 2の出力に逆量子化処理を施す逆量子化器 3 0 8と、 該逆量子化 器 3 0 8の出力に対して逆周波数変換処理の一種である I D C T (逆離散コサイ ン変換） 処理を施す I D C T変^ ^ 3 0 9とから構成されている。
差替え用紙 （規貝 IJ26) 上記予測信号生成部 2 1 1 0 aは、 上記第 2の加算器 9 0 4の出力を受け、 再 生された高解像度テキスチャ一信号における有意でないサンプル値（画素値）を、 上記高解像度形状復号化器 1 2 0 0 aにて復号化された高解像度形状信号 D k h に基づいて補填する第 2の補填器 9 0 6と、 該補填器 9 0 6の出力である、 補填 された高解 «テキスチャ一複号化信号を格納する第 2のフレームメモリ 9 0 7 とを有している。
さらに、 上記予測信号生成部 2 1 1 0 aは、 該第 2のフレームメモリ 9 0 7の 出力と、 上記データ解析器 9 0 2にて復号化された对象ブ口ックに対応する動き べクトルとに基づいて、 上記フレームメモリ 9 0 7から、 対象ブロックの再生高 解像度テキスチヤ一信号との誤差が最も小さレ、再生高解像度テキスチヤ一信号を 与える予測領域を検出し、 該予測領域に対応する再生高解像度テキスチャ一信号 を予測信号として読み出す第 2の動き補償器 9 0 8と、 該第 2の動き補償器 9 0 8の出力と上記テキスチャ一変^ H 2 1 2 5の出力とを動きべクトルに基づいて 平均化して、 上記第 2の加算器 9 0 4に出力する平均化器 (AV E) 9 1 8とを 有している。
次に、 上記低解像度形状復号化器 2 2 0 0 b及び高解像度形状複号化器 2 2 0 0 aの具体的な構成について説明する。 ただしこれらの複号化器は、 基本的に上 記低解像度テキスチャ一複号化器 2 1 0 0 b及び高解像度テキスチャ一複号化器 2 1 0 0 aの構成と同一であるので、 図面を用いた詳細な説明は省略し、 各テキ スチヤ一複号化器と各形状複号化器の構成上に相違点のみを簡単に説明する。 つまり、 上記低解像度形状符号化器 2 2 0 0 bは、 上記低解像度テキスチャ一 復号化器 2 1 0 0 bにおける補償器 9 2 6を有しておらず、 その加算器 9 2 4の 出力を直接第 1のフレームメモリ 9 2 7に入力する構成となっている点でのみ、 上記低解像度テキスチャ一復号化器 2 1 0 0 bと異なっている。 また上記高解像 度形状符号化器 2 2 0 0 aは、 上記高解像度テキスチャ一符号化器 2 1 0 0 aに おける補償器 9 0 6を有しておらず、 その加算器 9 0 4の出力を直接第 2のフレ —ムメモリ 9 0 7に入力する構成となっている点でのみ、 上記高解像度テキスチ ャ一複号化器 2 1 0 0 aと異なっている。
次に動作について説明する。
差替え用紙 （規貝 IJ26) 本画像復号化装置 2 0 0 0に入力される所定の物体に対応する多重化された画 像符号化信号は、 本画像複号化装置 2 0 0 0の前段にて、 H T差分符号化信号 E t h , L T差分符号化信号 E t d， H S差分符号化信号 E k h， L S差分符号ィ匕 信号 E k d， 及びその他の制御信号に分離され、 上記 H T及び L T差分符号化信 号がテキスチャ一複号化部 2 1 0 0に、 上記 H S及び L S差分符号化信号が形状 復号化部 2 2 0 0に入力される。
すると、 上記テキスチャ一複号化部 2 1 0 0では、 上記両テキスチャ一差分符 号化信号に対するスケ一ラビリティ複号化処理が、 上記形状複号化部 2 2 0 0で は上記両形状信号に対するスケ一ラビリティ復号ィヒ処理が行われる。
すなわち、 上記テキスチャ一複号化部 2 1 0 0では、 L T差分符号化信号 E t dが第 1入力端子 2 1 0 1を介して第 1のデータ解析器 9 2 2に入力され、 該解 析器 9 2 2にてそのデータ解析が行われ、 可変長復号化された L T符号化差分信 号が上記第 1の情報伸長器 9 2 3に出力される。 またこのとき、 上記データ解析 器 9 2 2からは、 複号化処理の対象となる対象ブロックの動きべクトルが予測信 号生成部 2 1 1 0 bの第 1の動き補償器 9 2 8に出力される。
上記第 1の情報伸長器 9 2 3では、 可変長復号化された L T符号化差分信号に 対して伸長処理が施され、 像度テキスチヤ一差分信号が低解像度テキスチヤ —伸長差分信号として復元される。
本実施の形態では、 第 4 (b) 図に示されるように、 上記可変長復号化された L T符号化差分信号は逆量子化器 3 0 8にて逆量子化処理が施され、 さらに逆離 散コサイン変換 3 0 9にて、 周波数領域信号を空間領域信号に変換する逆周波数 変換処理が施される。
このとき上記第 1の動きネ甫償器 9 2 8では、 動きべクトルに基づいて、 第 1の フレームメモリ 9 2 7をアクセスするためのァドレス A d d 1が生成され、 第 1 のフレームメモリ 9 2 7に参照用 ^像度テキスチャ一信号として格納されてい る再生低解 テキスチヤ一信号から、対象ブロックに対する再生低解^ Sテキ スチヤー信号の予測信号が読み出される。 この読み出された予測信号と、 上記情 報伸長器 9 2 3の出力とが加算器 9 2 4に入力され、 該加算器 9 2 4からは、 こ れらの信号の加算値として、 低解像度テキスチャ一複号化信号 D t dが第 1の出
差替え用紙 （規貝 IJ26) 力端子 9 2 5に出力される。
このとき上記再生低解像度テキスチャ一信号 D t dは、 第 1の補填器 9 2 6に も入力され、 この信号に対して、 第 6図で説明したように物体の有意なサンプル 値を用いて物体の有意でないサンプル値を置換する補填処理が施される。 このよ うに補填した再生低解像度テキスチャ一信号 D t dが第 1のフレームメモリ 9 2 7に格納される。
一方、 上記形状復号化部 2 2 0 0では、 HT符号化差分信号 E t dが第 2入力 端子 2 1 3 1を介して第 2のデータ解析器 9 0 2に入力され、 該解析器 9 0 2に てそのデータ解析が行われ、 可変長復号化された H T符号化差分信号が上記第 2 の情報伸長器 9 0 3に出力される。 またこのとき、 上記データ解析器 9 0 2から は、 複号化処理の対象となる対象ブロックの動きべクトルが予測信号生成部 2 1 1 0 aの第 2の動きネ甫償器 9 0 8に出力される。
上記第 2の情報源複号化器 9 0 3では、 可変長復号化された HT符号化差分信 号に対して伸長処理が施され、 高解像度テキスチャ一差分信号が高解像度テキス チヤ一伸長差分信号として復元される。
本実施の形態では、 第 4 (b) 図に示されるように、 上記可変長復号化された L T符号化差分信号は逆量子化器 3 0 8にて逆量子化処理が施され、 さらに逆離 散コサイン変換 3 0 9にて、 周波数領域信号を空間領域信号に変換する逆周波数 変換処理が施される。
このとき上記第 2の動き補償器 9 0 8では、 動きべクトルに基づいて、 第 2の フレームメモリ 9 0 7をアクセスするためのァドレス A d d 2が生成され、 第 2 のフレームメモリ 9 0 7に参照用高解 テキスチャ一信号として格納されてい る再生高解像度テキスチャ一信号から、 対象プロックに対する予測信号が時間予 測信号として読み出される。
また、 上記テキスチャ一変換器 9 3 7では、 第 7図及び第 8図で説明したもの と同じアップサンプル処理が行われ、 このようにアップサンプリングした空間予 測信号が平均化器 9 1 8に出力される。 該平均化器 9 1 8では、 第 2の動き補償 器 9 0 8からの時間予測信号と該空間予測信号とを、 上記データ解析器からのモ 一ド信号に基づいて重み付き平均化して再生高解像度テキスチャ一信号の予測信
差替え用紙 （規則 26) 号が生成される。 重み付けの比率は送受信側であらかじめ決めてもよいが、 本実 施の形態では、 重み付けの情報が上記高解像度テキスチャ一圧縮符号化信号とと もに伝送され、 第 2のデータ解析器 9 0 2から抽出されて平均化器 9 1 8に入力 されるようになつている。
そして上記平均化器 9 1 8の出力と、 上記情報伸長器 9 0 3の出力である高解 像度テキスチャ一伸長差分信号とが加算器 9 0 4に入力される。 すると、 該加算 器 9 0 4からは、 これらの信号の加算値として、 再生高解像度テキスチャ一信号 D t hが第 2の出力端子 9 0 5に出力される。
このとき上記再生高解像度テキスチャ一信号 D t hは、 第 2の補填器 9 0 6に も入力され、 第 6図で説明したように物体の有意なサンプル値を用いて物体の有 意でないサンプル値を置換する補填処理が施される。 このように補填した再生高 解像度テキスチャ—複号化信号 D t hが第 2のフレームメモリ 9 0 7に格納され る。
このように本実施の形態 2では、 第 1 1図に示すように、 低解像度テキスチャ —符号化差分信号 E t dを差分復号化する複号化器 2 1 0 0 bと、 高解髓テキ スチヤ一符号化差分信号 E t hを差分復号化する複号化器 2 1 0 0 aとを有し、 高解像度テキスチャ一符号化差分信号 E t hをその予測信号を用いて差分復号ィ匕 符号化する際、 上記復号化器 2 1 0 0 bにおける補填器 9 2 6により、 上記復号 化器 2 1 0 0 bで再生した低解像度テキスチャ一信号の有意でないサンプル値を、 その有意なサンプル値から得られた擬似サンプノレ値と置き換える補填処理を行レ、、 上記該補填処理を施した再生低解像度テキスチャ一信号に基づいて上記予測信号 を生成するようにしたので、 補填処理が施された再生低解像度テキスチャ一信号 に基づいて再生高解像度テキスチャ一信号 D t hの予測信号が生成されることと なる。 このため、 符号化処理の対象となるブロック （単位処理領域） の再生高解 像度テキスチャ一信号とその予測信号との差分である差分信号を抑圧した階層符 号化処理に対応した階層復号化処理を実現することができる。
また、 復号化処理の対象となる対象単位領域に対応する H T符号化差分信号の 復号化処理では、 その予測信号として、 上記対象単位領域に対応する再生低解像 度テキスチャ一画像信号に基づいて生成される信号を用いるので、 HT符号化差
差替え用紙 （規貝 IJ26) 分信号 E t hの復号化処理は L T符号ィヒ差分信号 E t dの復号化処理と比べて、 上記単位領域を処理するための時間だけし力、遅延しない。 このため、 画像信号の 階層符号化処理により得られる H T， L T符号ィ匕差分信号に基づいて、 高解像度 画像と低解像度画像とをほとんど時間のずれなく再生することができる。
また、 各単位領域 （ブロック） に対応する再生低解像度テキスチャ一信号の補 填処理を、 該再生低解像度テキスチヤ一信号における有意な画素値に基づレヽて行 うので、 低解像度テキスチヤ一信号から得られる高解像度テキスチヤ一信号の予 測信号と、 高解 テキスチャ一信号との差分を効果的に抑圧しつつ符号化して 得られる符号化差分信号を正しく複号化することができる。
また、 補填処理を施した再生低解像度テキスチャ一信号をフレームメモリ 9 2
7に、 捕填処理を施した再生高解像度テキスチャ一信号をフレームメモリ 9 0 7 に格納するようにしたので、 階層複号化処理における動き補償をより精度よく行 うことができる。
なお、 上記実施の形態 2では、 空間予測信号は補填器 9 2 6から伝送されると して示したが、 この空間予測信号は、 第 1のフレームメモリ 9 2 7から平均化器 に供給するようにしてもよい。
また、 低解像度テキスチヤ一圧縮符号化信号と高解像度テキスチヤ一圧縮符号 化信号が同じサイズの画像空間に対応し、 しかも時間的にずれた画像情報を有し ている場合 （第 3 (b) 図） 、 変換器 9 3 7には、 補間器の代わりに、 動き補償 器を用い、 第 1のフレームメモリ 9 2 7から動き補償により得られた予測信号を 読み出して、 この予測信号を時間解像度が高解像度テキスチャ一信号と合致する ように処理する。 この:^、図示していないが、 そのための動きベク トルを上記 動き補償器に伝送する必要がある。 いずれにしても、 階層複号化処理では、 ある 階層のテキスチャ一符号化差分信号を、 別の階層， つまり解像度の異なる階層か ら得られる予測信号を用いて差分複号化する には、 該予測信号の補填処理を 行わなければならない。
また、 上記実施の形態 2では、 形状復号化部 2 2 0 0を構成する各符号化器 2 2 0 0 a , 2 2 0 0 bでは、 低解像度再生形状信号 D k d及び高解像度再生形状 信号 D k hをそのまま予測信号の生成に用いているが、 低解像度再生形状信号 D
差替え用紙 （規則 26) k d及び高解像度再生形状信号 D k hに補填処理を施したものを予測信号の生成 に用いるようにしてもよい。
また、 上記実施の形態 2では、 階層符号化処理及び階層復号化処理として、 階 層が 2つであるものについて説明したが、 階層が 3つ以上である階層符号化， 復 号ィ匕処理についても、下の階層（解像度の低い階層）の画像信号から上の階層（解 像度の高い階層） の画像信号を予測する時には、 同じように下の階層の画像信号 を補填するようにすればよい。
さらに、 上記各実施の形態で示した符号化処理あるいは復号ィヒ処理の構成を実 現するための符号化あるいは復号化プログラムを、 フロッピーディスク等のデー タ記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、 独立したコンピュータシステムにおいて簡単に実施することが可能となる。
第 1 2図は、 上記実施の形態の符号化あるいは複号化処理を、 上記符号化ある いは復号化プログラムを格納したフロッピーディスクを用いて、 コンピュータシ ステムにより実施する^^を説明するための図である。
第 1 2 (b) 図は、 フロッピ一ディスクの正面からみた外観、 断面構造、 及び フロッピーディスクを示し、 第 1 2 (a) 図は、 記録媒体本体であるフロッピ一 ディスクの物理フォーマツトの例を示している。 フロッピーディスク F Dはケ一 ス F内に内蔵され、 該ディスクの表面には、 同心円状に外周からは内周に向かつ て複数のトラック T rが形成され、 各トラックは角度方向に 1 6のセクタ S eに 分割されている。 従って、 上記プログラムを格納したフロッピ一ディスクでは、 上記フロッピーディスク F D上に割り当てられた領域に、 上記プログラムとして のデータが記録されている。
また、 第 1 2 (c) 図は、 フロッピーディスク F Dに上記プログラムの記録再 生を行うための構成を示す。 上記プログラムをフロッピ一ディスク F Dに記録す る場合は、 コンピュータシステム C sから上記プログラムとしてのデータをフロ ッピーディスクドライブを介して書き込む。 また、 フロッピーディスク内のプロ グラムにより上記符号化あるレ、は復号化装置をコンピュータシステム中に構築す る場合は、 フロッピ一ディスクドライブによりプログラムをフロッピ一ディスク から読み出し、 コンピュータシステムに転送する。
差替え用紙 （規則 26) なお、 上記説明では、 デ一タ記録媒体としてフロッピ一デイスクを用レ、て説明 を行ったが、 光ディスクを用いても同様に行うことができる。 また、 記録媒体は これに限らず、 I Cカード、 R OMカセット等、 プログラムを記録できるもので あれば同様に実施することができる。 産業上の利用可能性
以上のように本発明に係るデジタル画像符号化方法及びデジタル画像符号化装 置， デジタル画像複号化方法及びデジタル画像複号化装置， 並びにデータ記憶媒 体は、 画像信号の圧縮処理における符号ィ匕効率の向上を図ることができ、 画像信 号の伝送や記憶を行うシステムにおける画像符号化処理や画像複号化処理を実現 するものとして極めて有用であり、 特に、 M P E G 4等の規格に準拠した動画像 の圧縮， 伸長処理に適している。
差替え用紙 （規則 26)

Claims

請 求 の 範 囲
1 . 任意形状を有する画像を含む複数の画素からなる画像空間を形成するため の、 解像度が異なる第 1及び第 2の入力画像信号を符号化するデジタル画像符号 化方法であって、
上記第 1の入力画像信号を圧縮し符号化して第 1の符号化画像信号を生成し、 かつ該圧縮された第 1の入力画像信号を伸長して第 1の再生画像信号を生成する 符号化処理を、 上記画像空間を区分する単位領域毎に行い、
上記各単位領域に対応する第 1の再生画像信号に対して、 その有意でない画素 値を所定の方法により得られた擬似画素値と置き換える補填処理を施し、 該補填 処理が施された第 1の再生画像信号に基づいて、 該各単位領域に対応する第 2の 入力画像信号を予測して予測信号を生成し、
該各単位領域に対応する第 2の入力画像信号とその予測信号との差分である差 分信号を圧縮し符号化して符号化差分信号を生成し、 かつ該圧縮された差分信号 を伸長し、 該伸長された差分信号に上記予測信号を加算して第 2の再生画像信号 を生成する差分符号化処理を、 上記単位領域毎に行うことを特徴とするデジタル 画像符号化方法。
2 . 請求の範囲第 1項記載のデジタル画像符号化方法において、
上記各単位領域に対応する第 1の再生画像信号に対する補填処理は、 該第 1の 再生画像信号における有意でない画素値を、 該第 1の再生画像信号における有意 な画素値に基づレ、て得られた擬似画素値と置き換えるものであることを特徴とす るデジタル画像符号化方法。
3 . 任意形状を有する画像を含む複数の画素からなる画像空間を形成するため の第 1の入力画像信号を符号化する第 1の符号化処理部と、
上記画像を含む複数の画素からなる画像空間を形成するための、 解像度が第 1 の入力画像信号とは異なる第 2の入力画像信号を符号化する第 2の符号化処理部 とを備え、
上記第 1の符号化処理部は、
上記第 1の入力画像信号を圧縮し符号化して第 1の符号化画像信号を生成し、
差替え用紙 （規貝 IJ26) かつ該圧縮された第 1の入力画像信号を伸長して第 1の再生画像信号を生成する 符号化処理を、 上記画像空間を区分する単位領域毎に行う第 1の符号化手段と、 上記各単位領域に対応する第 1の再生画像信号に対して、 その有意でない画素 値を所定の方法により得られた擬似画素値と置き換える補填処理を施す補填手段 とを有し、
上記第 2の符号化処理部は、
上記補填処理が施された第 1の再生画像信号に基づいて、 上記各単位領域に対 応する第 2の入力画像信号を予測して予測信号を生成する予測信号生成手段と、 上記各単位領域に対応する第 2の入力画像信号とその予測信号の差分信号を圧 縮し符号化して符号化差分信号を生成し、かつ、該圧縮された差分信号を伸長し、 該伸長された差分信号に上記予測信号を加算して第 2の再生画像信号を生成する 差分符号化処理を、 上記単位領域毎に行う第 2の符号化手段とを有することを特 徴とするデジタル画像符号化装置。
4 . 請求の範囲第 3項記載のデジタル画像符号化装置において、
上記補填処理が施された第 1の再生画像信号を、 その解像度が上記第 2の入力 画像信号の解像度と一 SH"るよう変換して解像度変換信号を出力する解^ S変換 手段を備え、
上記予測信号生成手段を、
上記第 2の再生画像信号に基づいて各単位領域に対応する第 2の入力画像信号 を予測して補助予測信号を生成する予測手段と、
該補助予測信号と上記解 変換信号とを、 上記第 2の入力画像信号に含まれ る制御情報に基づレ、て切り替えるスイツチ手段とを有し、
該スィツチ手段の出力を上記各単位領域に対応する第 2の入力画像信号の予測 信号として出力する構成としたことを特徴とするデジタル画像符号化装置。
5 . 請求の範囲第 3項記載のデジタル画像符号化装置において、
上記補填処理が施された第 1の再生画像信号を、 その解像度が上記第 2の入力 画像信号の解像度と一 ¾i"るよう変換して解 ^変換信号を出力する解像度変換 手段を備え、
上記予測信号生成手段を、
差替え用紙 （規則 26) 上記第 2の再生画像信号に基づレ、て各単位領域に対応する第 2の入力画像信号 を予測して補助予測信号を生成する予測手段と、
該補助予測信号と上記解像度変換信号とを重み付けして平均化する平均化手段 とを有し、
該平均化手段の出力を上記各単位領域に対応する第 2の入力画像信号の予測信 号として出力する構成としたことを特徴とするデジタル画像符号化装置。
6 . 請求の範囲第 5項記載のデジタル画像符号化装置において、
上記補填手段は、 上記第 1の再生画像信号における有意でない画素値を、 該第 1の再生画像信号における有意な画素値に基づいて得られた擬似画素値と置き換 える補填処理を行うものであることを特徴とするデジタル画像符号化装置。
7 . 請求の範囲第 3項記載のデジタル画像符号化装置において、
上記第 1の符号化手段は、
上記各単位領域に対応する第 1の入力画像信号とその予測信号との差分を求め て差分信号を出力する演算器と、
該差分信号を圧縮する圧縮器と、
該圧縮された差分信号を符号化する符号化器と、
上記圧縮された差分信号を伸長する伸長器と、
該伸長器の出力と上記第 1の入力画像信号の予測信号とを加算して第 1の再生 画像信号を上記補填手段に出力する加算器と、
上記補填手段の出力を記憶するフレームメモリと、
該フレームメモリに記憶されている補填処理が施された第 1の再生画像信号に 基づいて、 上記各単位領域に対応する上記第 1の入力画像信号の予測信号を生成 する予測信号生 ^とを有するものであることを特徴とするデジタル画像符号ィ匕
8 . 任意形状を有する画像を含む複数の画素からなる画像空間を形成するため の解像度が異なる第 1， 第 2の画像信号に、 符号化処理を施して得られる第 1 , 第 2の符号化画像信号を復号化して第 1 , 第 2の再生画像信号を生成するデジタ ル画像復号化方法であって、
上記第 1の符号化画像信号から第 1の再生画像信号を生成する複号化処理を、
差替え用紙 （規則 26) 上記画像空間を区分する単位領域毎に行レヽ、
上記各単位領域に対応する第 1の再生画像信号に対して、 その有意でない画素 値を所定の方法により得られた擬似画素値と置き換える補填処理を施し、 該補填 処理が施された第 1の再生画像信号から、 該各単位領域に対応する第 2の再生画 像信号を予測して再生予測信号を生成し、
該各単位領域に対応する第 2の符号化画像信号を復号化して、 第 2の画像信号 とその予測信号との差分信号を再生し、 該差分信号に上記再生予測信号を加算し て第 2の再生画像信号を生成する差分複号化処理を、 上記単位領域毎に行うこと を特徴とするデジタル画像復号化方法。
9 . 請求の範囲第 8項記載のデジタル画像複号化方法において、
上記各単位領域に対応する第 1の再生画像信号に対する補填処理は、 上記第 1 の再生画像信号における有意でない画素値を、 該第 1の再生画像信号における有 意な画素値に基づいて得られた擬似画素値と置き換えるものであることを特徴と するデジタル画像複号化方法。
1 0 . 任意形状を有する画像を含む複数の画素からなる画像空間を形成するた めの第 1の画像信号に、 符号化処理を施して得られる第 1の符号化画像信号を復 号化して第 1の再生画像信号を生成する第 1の復号化処理部と、
上記画像を含む複数の画素からなる画像空間を形成するための、 解 ½が上記 第 1の画像信号とは異なる第 2の画像信号に、 符号化処理を施して得られる第 2 の符号化画像信号を復号化して第 2の再生画像信号を生成する第 2の複号化処理 部とを備え、
上記第 1の複号化処理部は、
上記第 1の符号化画像信号から第 1の再生画像信号を生成する複号化処理を、 上記画像空間を区分する単位領域毎に行う第 1の複号化手段と、
上記各単位領域に対応する第;！の再生画像信号に対して、 その有意でない画素 値を所定の方法により得られた擬似画素値と置き換える補填処理を施す補填手段 とを有し、
上記第 2の複号化処理部は、
上記補填処理が施された第 1の再生画像信号から、 上記各単位領域に対応する
差替え用紙 （規則 26) 第 2の再生画像信号を予測して再生予測信号を生成する予測信号生成手段と、 上記各単位領域に対応する第 2の符号化画像信号を復号化して、 上記第 2の画 像信号とその予測信号との差分信号を再生し、 該差分信号に上記再生予測信号を 加算して第 2の再生画像信号を生成する差分復号化処理を、 上記単位領域毎に行 う第 2の復号化手段とを有することを特徴とするデジタル画像復号化装
1 1 . 請求の範囲第 1 0項記載のデジタル画像複号化装置において、
上記補填処理が施された第 1の再生画像信号を、 その解像度が上記第 2の再生 画像信号の解像度と一致するよう変換して解像度変換信号を出力する解像度変換 手段を備え、
上記予測信号生成手段を、
上記第 2の再生画像信号に基づいて各単位領域に対応する第 2の再生画像信号 を予測して補助予測信号を生成する予測手段と、
該補助予測信号と上記解像度変換信号とを、 上記第 2の符号化画像信号に含ま れる制御情報に基づいて切り替えるスイツチ手段とを有し、
該スィツチ手段の出力を上記各単位領域に対応する第 2の再生画像信号の予測 信号として出力する構成としたことを特徴とするデジタル画像復号化装置。
1 2 . 請求の範囲第 1 0項記載のデジタル画像復号化装置において、
上記補填処理が施された第 1の再生画像信号を、 その解像度が上記第 2の再生 画像信号の解像度と一致するよう変換して解像度変換信号を出力する解像度変換 手段を備え、
上記予測信号生成手段を、
上記第 2の再生画像信号に基づいて各単位領域に対応する第 2の再生画像信号 を予測して補助予測信号を生成する予測手段と、
該補助予測信号と上記解像度変換信号とを重み付けして平均化する平均化手段 とを有し、
該平均化手段の出力を上記各単位領域に対応する第 2の再生画像信号の再生予 測信号として出力する構成としたことを特徴とするデジタル画像復号化装置。
1 3 . 請求の範囲第 1 2項記載のデジタル画像復号ィヒ装置において、
上記補填手段は、 上記第 1の再生画像信号における有意でない画素値を、 該第
差替え用紙 （規貝 IJ26) 1の再生画像信号における有意な画素値に基づいて得られた擬似画素値と置き換 える補填処理を行うものであることを特徴とするデジタル画像復号化装置。
1 . 請求の範囲第 1 0項記載のデジタル画像復号ィヒ装置において、
上記第 1の符号化画像信号は、 各単位領域に対応する第 1の画像信号とその予 測信号との差分である差分信号を圧縮し符号化してなる差分符号化信号であり、 上記第 1の復号化手段は、
上記差分符号化信号を複号化する複号化器と、
該複号化器の出力を伸長して再生差分信号を生成する伸長器と、
該伸長器の出力である再生差分信号と上記第 1の再生画像信号の再生予測信号 とを加算して第 1の再生画像信号を上記補填手段に出力する加算器と、
上記補填手段の出力を記憶するフレームメモリと、
該フレームメモリに記憶されている補填処理が施された第 1の再生画像信号に 基づいて、 各単位領域に対応する上記第 1の再生画像信号の再生予測信号を生成 する予測信号生 ^とを有するものであることを特徴とするデジタル画像復号ィ匕 装置。
1 5 . コンピュータにより、 任意形状を有する画像を含む複数の画素からなる 画像空間を形成するための、 解像度が異なる第 1及び第 2の入力画像信号を符号 化する処理を行わせるためのプログラムを格納したデ一タ記憶媒体であって、 上記プログラムは、 コンピュータに、
上記第 1の入力画像信号を圧縮し符号化して第 1の符号化画像信号を生成し、 かつ該圧縮された第 1の入力画像信号を伸長して第 1の再生画像信号を生成する 符号化処理を、 上記画像空間を区分する単位領域毎に行う処理、
上記各単位領域に対応する第 1の再生画像信号に対して、 その有意でない画素 値を所定の方法により得られた擬似画素値と置き換える補填処理を施し、 該補填 処理が施された第 1の再生画像信号に基づいて、 該各単位領域に対応する第 2の 入力画像信号を予測して予測信号を生成する処理、 及び
該各単位領域に対応する第 2の入力画像信号とその予測信号との差分である差 分信号を圧縮し符号化して符号化差分信号を生成し、 かつ、 該圧縮された差分信 号を伸長し、 該伸長された差分信号に上記予測信号を加算して第 2の再生画像信
差替え用紙 （規貝 IJ26) 号を生成する差分圧縮符号化を、 上記単位領域毎に行う処理を、
行わせるものであることを特徴とするデータ記憶媒体。
1 6 . コンピュータに、 任意形状を有する画像を含む複数の画素からなる画像 空間を再生するための解像度が異なる第 1， 第 2の画像信号に、 符号化処理を施 して得られる第 1， 第 2の符号化画像信号を復号化して第 1， 第 2の再生画像信 号を生成する処理を行わせるためのプログラムを格納したデ一タ記憶媒体であつ て、
上記プログラムは、 コンピュータに、
上記第 1の符号化画像信号から第 1の再生画像信号を生成する複号化処理を、 上記画像空間を区分する単位領域毎に行う処理、
上記各単位領域に対応する第 1の再生画像信号に対して、 その有意でない画素 値を所定の方法により得られた擬似画素値と置き換える補填処理を施し、 該補填 処理が施された第 1の再生画像信号から、 該各単位領域に対応する第 2の再生画 像信号を予測して再生予測信号を生成する処理、 及び
該各単位領域に対応する第 2の符号化画像信号を復号化して、 第 2の画像信号 とその予測信号との差分信号を再生し、 該差分信号に上記再生予測信号を加算し て第 2の再生画像信号を生成する差分復号化処理を、 上記単位領域毎に行う処理 を、
行わせるものであることを特徴とするデータ記憶媒体。
差替え用紙 （規貝 IJ26)
PCT/JP1997/004107 1996-11-12 1997-11-12 Digital image coding method and digital image coder, and digital image decoding method and digital image decoder, and data storage medium WO1998021896A1 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP52238598A JP3144806B2 (ja) 1996-11-12 1997-11-12 デジタル画像復号化装置
KR1019980705338A KR100306337B1 (ko) 1996-11-12 1997-11-12 디지털화상부호화방법및디지털화상부호화장치,디지털화상복호화방법및디지털화상복호화장치
US09/091,984 US6154570A (en) 1996-11-12 1997-11-12 Method and apparatus for digital image coding and decoding, and data recording media
EP97912422A EP0876061A4 (en) 1996-11-12 1997-11-12 DIGITAL IMAGE ENCODERS AND DECODERS, CORRESPONDING METHODS, AND DATA CARRIERS
US09/686,942 US6571017B1 (en) 1996-11-12 2000-10-12 Method and apparatus for digital image coding and decoding, and data recording media
US10/287,002 US6766061B2 (en) 1996-11-12 2002-11-04 Method and apparatus for digital image coding and decoding, and data recording media

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP30000696 1996-11-12
JP8/300006 1996-11-12

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US09/091,984 A-371-Of-International US6154570A (en) 1996-11-12 1997-11-12 Method and apparatus for digital image coding and decoding, and data recording media
US09/686,942 Continuation US6571017B1 (en) 1996-11-12 2000-10-12 Method and apparatus for digital image coding and decoding, and data recording media

Publications (1)

Publication Number Publication Date
WO1998021896A1 true WO1998021896A1 (en) 1998-05-22

Family

ID=17879600

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1997/004107 WO1998021896A1 (en) 1996-11-12 1997-11-12 Digital image coding method and digital image coder, and digital image decoding method and digital image decoder, and data storage medium

Country Status (7)

Country Link
US (3) US6154570A (ja)
EP (1) EP0876061A4 (ja)
JP (1) JP3144806B2 (ja)
KR (1) KR100306337B1 (ja)
CN (2) CN1167274C (ja)
TW (1) TW358296B (ja)
WO (1) WO1998021896A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005507586A (ja) * 2001-10-26 2005-03-17 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間的鮮明度拡張技術を用いた空間拡張可能圧縮の機構

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW358296B (en) * 1996-11-12 1999-05-11 Matsushita Electric Ind Co Ltd Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium
JP3191922B2 (ja) 1997-07-10 2001-07-23 松下電器産業株式会社 画像復号化方法
EP0972407A2 (en) * 1998-02-06 2000-01-19 Koninklijke Philips Electronics N.V. Motion or depth estimation
US6480538B1 (en) * 1998-07-08 2002-11-12 Koninklijke Philips Electronics N.V. Low bandwidth encoding scheme for video transmission
TW376663B (en) * 1999-01-21 1999-12-11 Winbond Electronics Corp Encoding method for source encoder
CN101106708B (zh) * 1999-08-09 2010-11-03 索尼公司 发送设备及方法
JP4697500B2 (ja) * 1999-08-09 2011-06-08 ソニー株式会社 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
US6542545B1 (en) * 1999-10-01 2003-04-01 Mitsubishi Electric Reseach Laboratories, Inc. Estimating rate-distortion characteristics of binary shape data
US6718066B1 (en) * 2000-08-14 2004-04-06 The Hong Kong University Of Science And Technology Method and apparatus for coding an image object of arbitrary shape
FR2813484A1 (fr) * 2000-08-31 2002-03-01 Koninkl Philips Electronics Nv Traitement de donnees en une serie temporelle d'etapes
US6621865B1 (en) * 2000-09-18 2003-09-16 Powerlayer Microsystems, Inc. Method and system for encoding and decoding moving and still pictures
JP3636983B2 (ja) * 2000-10-23 2005-04-06 日本放送協会 符号化装置
US6842177B2 (en) * 2001-12-14 2005-01-11 University Of Washington Macroblock padding
KR100927760B1 (ko) * 2002-01-11 2009-11-20 소니 가부시끼 가이샤 메모리 셀 회로, 메모리 장치, 움직임 벡터 검출 장치 및움직임 보상 예측 부호화 장치
JP3504256B1 (ja) * 2002-12-10 2004-03-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、及び動画像復号装置
KR20050078709A (ko) * 2004-01-31 2005-08-08 삼성전자주식회사 스케일러블 비디오 코딩방법 및 디코딩방법과 이를 위한장치
KR100631777B1 (ko) 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
JP2005333393A (ja) * 2004-05-19 2005-12-02 Sharp Corp 画像圧縮装置，画像出力装置，画像伸張装置，印刷装置，画像処理装置，複写機，画像圧縮方法，画像伸張方法，画像処理プログラムおよび画像処理プログラムを記録した記録媒体
DE102005016827A1 (de) * 2005-04-12 2006-10-19 Siemens Ag Adaptive Interpolation bei der Bild- oder Videokodierung
EP1872587B1 (en) * 2005-04-13 2021-05-05 InterDigital VC Holdings, Inc. Luma and chroma encoding using separate predictors
CN101662683B (zh) * 2005-04-14 2012-05-30 汤姆森特许公司 空间可缩放视频解码方法和空间可缩放视频解码器
JP4687216B2 (ja) * 2005-04-18 2011-05-25 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
JP2007043651A (ja) 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
KR100779173B1 (ko) * 2005-07-20 2007-11-26 한국전자통신연구원 폴리페이즈 다운 샘플링기반 리던던트 슬라이스 코딩 방법및 그 방법을 이용하는 코덱
FR2894424A1 (fr) 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
JP2007234204A (ja) * 2006-01-31 2007-09-13 Toshiba Corp 情報記憶媒体、情報記録方法および情報記録装置
JP2007243838A (ja) * 2006-03-10 2007-09-20 Toshiba Corp 情報転送装置、情報受信装置およびコンピュータプログラム
US20070242746A1 (en) * 2006-04-12 2007-10-18 Takehiro Kishimoto Video signal processing device
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US8295364B2 (en) * 2009-04-02 2012-10-23 Sony Corporation System and method of video data encoding with minimum baseband data transmission
JP5474887B2 (ja) 2011-08-01 2014-04-16 株式会社ソニー・コンピュータエンタテインメント 動画データ生成装置、動画像表示装置、動画データ生成方法、動画像表示方法、および動画像ファイルのデータ構造
KR101711161B1 (ko) * 2012-09-25 2017-03-13 한국전자통신연구원 웹 기반 멀티네트워크 적응형 멀티스크린 서비스 방법 및 그 장치
US10237559B2 (en) 2014-11-20 2019-03-19 Getgo, Inc. Layer-based video decoding
US9813721B2 (en) * 2014-11-20 2017-11-07 Getgo, Inc. Layer-based video encoding
CN106296578B (zh) * 2015-05-29 2020-04-28 阿里巴巴集团控股有限公司 一种图像处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0389792A (ja) * 1989-09-01 1991-04-15 Hitachi Ltd 画像符号化装置
JPH03268679A (ja) * 1990-03-19 1991-11-29 Fujitsu Ltd 画像補完符号化装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL9201594A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende ten minste één encoder voor het coderen van een digitaal signaal en ten minste één decoder voor het decoderen van een gecodeerd digitaal signaal, en encoder en decoder voor toepassing in het systeem.
NL9201640A (nl) * 1992-09-22 1994-04-18 Nederland Ptt Systeem omvattende ten minste één encoder voor het coderen van een digitaal signaal en ten minste één decoder voor het decoderen van een digitaal signaal, en encoder en decoder voor toepassing in het systeem volgens de uitvinding.
JP2979900B2 (ja) * 1993-05-26 1999-11-15 日本ビクター株式会社 記録媒体
US5608458A (en) * 1994-10-13 1997-03-04 Lucent Technologies Inc. Method and apparatus for a region-based approach to coding a sequence of video images
DE69535007T2 (de) * 1994-12-20 2006-12-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zur objektbasierten prädiktiven Kodierung und Übertragung von digitalen Bildern und Dekodierungsvorrichtung
JP3169783B2 (ja) * 1995-02-15 2001-05-28 日本電気株式会社 動画像の符号化・復号システム
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
TW358296B (en) * 1996-11-12 1999-05-11 Matsushita Electric Ind Co Ltd Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0389792A (ja) * 1989-09-01 1991-04-15 Hitachi Ltd 画像符号化装置
JPH03268679A (ja) * 1990-03-19 1991-11-29 Fujitsu Ltd 画像補完符号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0876061A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005507586A (ja) * 2001-10-26 2005-03-17 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間的鮮明度拡張技術を用いた空間拡張可能圧縮の機構

Also Published As

Publication number Publication date
KR19990077197A (ko) 1999-10-25
US6766061B2 (en) 2004-07-20
EP0876061A1 (en) 1998-11-04
KR100306337B1 (ko) 2001-11-02
US20030059122A1 (en) 2003-03-27
EP0876061A4 (en) 2005-11-30
TW358296B (en) 1999-05-11
CN1167274C (zh) 2004-09-15
CN1211373A (zh) 1999-03-17
CN1112810C (zh) 2003-06-25
US6154570A (en) 2000-11-28
JP3144806B2 (ja) 2001-03-12
US6571017B1 (en) 2003-05-27
CN1390061A (zh) 2003-01-08

Similar Documents

Publication Publication Date Title
WO1998021896A1 (en) Digital image coding method and digital image coder, and digital image decoding method and digital image decoder, and data storage medium
JP3788823B2 (ja) 動画像符号化装置および動画像復号化装置
KR100781629B1 (ko) Dct 베이스 기술을 사용하여 압축된 정보를 기억함에 의해 압축 해제에 필요한 메모리를 감축하는 방법 및 이 방법을 구현하기 위한 디코더
US5412428A (en) Encoding method and decoding method of color signal component of picture signal having plurality resolutions
US6233279B1 (en) Image processing method, image processing apparatus, and data storage media
JPH09238366A (ja) 画像符号化装置及び画像復号化装置及び符号化・復号化システム
RU2412556C2 (ru) Устройство кодирования, способ кодирования, устройство декодирования, способ декодирования и программа
JPH09182085A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像伝送方法及び記録媒体
JP2001045475A (ja) 映像信号階層化符号化装置と映像信号階層化復号化装置及びプログラム記録媒体
JP6484097B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
JPH08294119A (ja) 画像符号化／復号化装置
JPH0678294A (ja) 符号化方法、符号化装置、および復号化装置
JP2000036963A (ja) 画像符号化装置、画像符号化方法および画像復号化装置
JP4127182B2 (ja) 動画像時間軸階層符号化方法、符号化装置、復号化方法及び復号化装置並びにコンピュータプログラム
JPH10276437A (ja) 階層的動画像信号符号化／復号化方法及び装置
JP3776735B2 (ja) 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体
JPH11346368A (ja) 画像処理方法，画像処理装置，及びデ―タ記憶媒体
JP2001160971A (ja) デジタル画像符号化方法及びデジタル画像符号化装置，デジタル画像復号化方法及びデジタル画像復号化装置，並びにデータ記憶媒体
JP3087864B2 (ja) Ｈｄｔｖ信号用サブバンド符号化方式
JPH05227522A (ja) 画像符号化装置および画像復号化装置
JP2006042371A (ja) 画像記録再生装置及び画像再生装置
JPH0638192A (ja) 画像符号化装置および画像復号化装置
JP3552045B2 (ja) 画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置
JP3387820B2 (ja) 画像予測復号化装置及び画像予測復号化方法
JPH07336681A (ja) 画像変換装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 97192228.4

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 1997912422

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1019980705338

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 09091984

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1997912422

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1019980705338

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1019980705338

Country of ref document: KR