WO1998031151A1 - Image processing method, image processing device, and data recording medium - Google Patents

Image processing method, image processing device, and data recording medium Download PDF

Info

Publication number
WO1998031151A1
WO1998031151A1 PCT/JP1998/000040 JP9800040W WO9831151A1 WO 1998031151 A1 WO1998031151 A1 WO 1998031151A1 JP 9800040 W JP9800040 W JP 9800040W WO 9831151 A1 WO9831151 A1 WO 9831151A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution
image
low
signal
block
Prior art date
Application number
PCT/JP1998/000040
Other languages
English (en)
French (fr)
Inventor
Shinya Kadono
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP98900183A priority Critical patent/EP0971545A4/en
Priority to US09/341,472 priority patent/US6690724B1/en
Publication of WO1998031151A1 publication Critical patent/WO1998031151A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding

Definitions

  • the present invention relates to an image processing method, an image processing apparatus, and a data recording medium, and more particularly to a hierarchical encoding process for recording or transmitting an image signal with a smaller number of bins and without deteriorating image quality.
  • the present invention relates to a ⁇ -layer decoding process and a recording medium storing a program for realizing the tier coding process or the ⁇ -layer decoding process.
  • the image signal In order to enable image processing to be performed for each individual object (object) displayed on the display screen, the image signal must be represented by the shape of the object in addition to the normal luminance signal and color difference signal.
  • a shape signal is required.
  • an image signal including a shape signal in addition to the luminance signal and the color difference signal, that is, an image signal having shape information of an object is simply referred to as an image signal.
  • Such an image signal is suitable for multimedia that simultaneously associates image information, audio information, and the like from the viewpoint that it can be handled on an object-by-object basis.
  • Standardization activities are being carried out by the MPEG (Moving Picture Experts Group) 4, a working group of the International Organization for Standardization / International Electrotechnical (OMRA) Joint Technical Commission.
  • FIG. 22 shows a display surface (hereinafter, also referred to as a frame) corresponding to image signals having different resolutions.
  • LF is a display screen corresponding to a low-resolution image signal (FIG. 22 (a))
  • HF is a display screen corresponding to a high-resolution image signal (FIG. 22 (b)).
  • Lob is an image of one object displayed on the frame LF by a low-resolution image signal
  • Hob is displayed on the frame HF by a high-resolution image signal.
  • An image of two objects, and a dot display area is an area inside each object.
  • a rectangular area corresponding to each object and including the object is set on one frame, and the rectangular area is further blocked ( In the MPEG 4 evaluation model, it is divided into 16 x 16 pixel square blocks.
  • the encoding process of the image signal for each object is performed in units of blocks constituting the rectangular area.
  • a low-resolution rectangular area LR corresponding to the object L0b is set on the low-resolution frame LF, and the As shown in Fig. 2 (d), it is necessary to set a ⁇ resolution rectangular area HR corresponding to the object Hob on the high resolution frame HF.
  • FIG. 23 is a block diagram for explaining a conventional hierarchical image encoding device.
  • the conventional image encoding apparatus 200a is configured to receive an image input signal and perform a hierarchical encoding process using the image input signal as a high-resolution image signal HSg.
  • the hierarchical image coding device 20a includes a sub-sampler 2 that sub-samples the high-resolution image signal HSg to generate a low-resolution image signal LSg, and a sub-sampler 2 that generates the low-resolution image signal LSg.
  • a low-resolution encoding unit 201L that performs an encoding process on the image data to generate a low-resolution encoded signal LEg.
  • the hierarchical image encoding device 20 O a includes a decoder 9 a for decoding the low-resolution encoded signal L £ g, and an up-sample for up-sampling the output L dg of the decoder 9 a.
  • a high-resolution unit that performs encoding processing on the high-resolution image signal HS g based on the output LA g of the sampler 10 a and the up-sampler 10 a to output a high-resolution encoded signal HE g Encoding unit 201H.
  • the low-resolution encoding unit 201L detects information such as the position and size of the low-resolution rectangular area LR corresponding to each object on the low-resolution frame LF based on the low-resolution surface image signal LSg. Then, based on the rectangular signal LRg, an area detector 3 that outputs the information as a rectangular signal LRg, and an image signal LOg corresponding to the rectangular area LR is extracted from the low-resolution image signal LSg. And a region extractor 5. Further, the encoding unit 2 OIL converts the image signal (object-corresponding image signal) L ⁇ g corresponding to the rectangular area LR into a block MB composed of 16 ⁇ 16 pixels that partition the rectangular area.
  • a block generator 6 that divides and outputs an image signal (blocked image signal) LBg corresponding to each block, and encodes the blocked image signal LBg to generate a low-resolution encoded signal LEg And an encoder 7 for outputting. Further, based on the high-resolution image signal HSg, the high-resolution encoding unit 201H transmits information such as the position and size of the high-resolution rectangular area HR corresponding to each object on the high-resolution frame HF. And outputs the information as a rectangular signal HRg. An image signal HOg corresponding to the rectangular area HR is obtained from the high-resolution surface image signal HS based on the rectangular signal HRg and the rectangular signal HRg.
  • the encoding unit 201H divides the image signal (object-corresponding image signal) HO g corresponding to the rectangular area HR so as to correspond to a block MB consisting of 16 ⁇ 16 pixels that divides the rectangular area. Then, a block generator 15 that outputs an image signal (blocked image signal) HBg corresponding to each block, and encodes the blocked image signal HBg to generate a high-resolution encoded signal HEg And an encoder 16 for output.
  • the sub-sampler 2 converts the high-resolution image signal HS g into a low-resolution image signal LS g by the sub-sample.
  • the area detector 3 of the low-resolution encoding unit 201L performs processing on a low-resolution frame: LF as shown in FIG. 22 (c).
  • the range of the rectangular area LR including the object L ob is detected, and the rectangular area LR is detected. And outputs information such as the position and size of the rectangular signal LR g.
  • the region extractor 5 of the encoding unit 201L extracts the object-related image signal LOg corresponding to the rectangular region LR from the low-resolution image signal LSg based on the rectangular signal LRg.
  • the block generator 6 of the encoding unit 201 L as shown in FIG.
  • the object-corresponding image signal L ⁇ g includes a plurality of blocks that divide the low-resolution rectangular area LR. It is divided so as to correspond to each MB, and is output to the encoder 7 as a block image signal LB g corresponding to each block MB. Then, the encoder 7 performs an encoding process on the block image signal LBg, and outputs a low-resolution encoded signal LEg from the encoding unit 201L.
  • the low-resolution coded signal LE g is converted into a low-resolution decoded signal L dg by a decoding process in a decoder 9a, and the decoded signal L dg is converted by an up-sampler 10a.
  • the signal is converted into an interpolated decoded signal LAg having the same spatial resolution as the high-resolution image signal, and is output to the encoder 16 of the high-resolution encoding unit 201H.
  • the high-resolution encoding unit 201H performs substantially the same processing as the low-resolution encoding unit 201L.
  • the area detector 12 of the encoding unit 201H determines the processing target on the high-resolution frame HF as shown in FIG. 22 (d). A range of a rectangular area HR including the object Hob is detected, and information such as the position and size of the rectangular area HR is output as a rectangular signal HRg. Then, based on the rectangular signal HRg, the region extractor 14 of the encoding unit 201H converts the high-resolution image signal HSg into an object-corresponding image corresponding to the rectangular region HR. g is extracted. Further, in the blocker 15 of the encoding unit 201H, as shown in FIG.
  • the object-corresponding image signal HO g divides the high-resolution rectangular area HR into each of a plurality of blocks MB. And output to the encoder 16 as a block image signal HBg corresponding to each block MB. Then, in the encoder 16, the encoding processing of the block image signal HB g is performed based on the interpolation decoded signal LA g, and the encoding section 201 H outputs the high-resolution encoded signal HE g is output.
  • Low resolution encoding encoded by the hierarchical image encoding device 200a as described above The signal LE g can be subjected to a decoding process for generating a decoded signal corresponding to the low-resolution image signal LS g based on the signal LE g and the rectangular signal LR g.
  • a decoding process for generating a decoded signal corresponding to the high-resolution image signal HSg can be performed.
  • the high resolution image signal is obtained by using the correlation of the pixel values between the two image signals LSg and HSg with reference to the low resolution image signal LSg.
  • HS g can be encoded with a smaller number of bits than in the case where it is independently encoded.
  • FIG. 24 is a block diagram for explaining a conventional hierarchical image decoding apparatus.
  • the hierarchical image decoding device 200b receives the low-resolution encoded signal LEg and the high-resolution encoded signal HEg encoded by the conventional image encoding device 200a shown in FIG. The decoding process is performed.
  • the hierarchical image decoding device 200 b includes a low-resolution decoding unit 202 L that performs a decoding process on the low-resolution encoded signal LE g to generate a low-resolution reproduction signal LC g,
  • the up-sampler 10 b interpolating the signal LD g in the middle of the decoding process in the section 202 L by up-sampling, and the high-resolution encoded signal HE g based on the output AD g of the amplifier sampler 10 b.
  • a high-resolution decoding unit 202H that performs a decoding process to generate a high-resolution reproduction signal HC.
  • the low-resolution decoding unit 202L performs a decoding process on the low-resolution encoded signal LE g to generate a low-resolution decoded signal LD g corresponding to each block, and a decoder 9;
  • a deblocking unit 20 that integrates the resolution decoded signal LD g to generate a decoded integrated signal LI g corresponding to the rectangular area LR, and a decoded integrated signal LI g corresponding to the rectangular area so that the rectangular region LR on the position on the low-resolution frame LF illustrated by rectangle signal LR g from the encoding device 200 a is disposed, perforated and an area combiner 21 for combining with other image signal for forming a frame are doing.
  • the high-resolution decoding section 202H performs a decoding process on the high-resolution coded signal HE g based on the output AD g of the up-sampler 10b, and performs high-resolution decoding corresponding to each block.
  • the decoded integrated signal HI g corresponding to the rectangular area HR is converted into one frame so that the rectangular area HR is arranged at a position on the frame HF indicated by the rectangular signal HR g from the encoding device 200a.
  • a region synthesizer 32 for synthesizing the image signal with other image signals forming the image signal.
  • the decoding of the low-resolution coded signal LE g is the low-resolution decoding section 202 L
  • the decoder 9 performs a decoding process to generate a low-resolution decoded signal LD g.
  • the low-resolution decoded signal LD g is interpolated by the up-sampler 10 b by the up-sampling process and converted into an interpolated decoded signal AD g having a spatial resolution corresponding to the high resolution.
  • the low-resolution decrypted signal LD g is further integrated by the deblocking unit 20 to generate a decoded integrated signal LI g corresponding to the rectangular area LR.
  • the decoded integrated signal LI g is synthesized by the area synthesizer 21 with other image signals forming one frame based on the rectangular signal LR g from the encoding device 200a, and the low-resolution reproduction is performed. Output as signal LC g.
  • an image of the rectangular area LR based on the decoded integrated signal LI g is arranged at a position on the frame LF indicated by the rectangular signal LR g.
  • the high-resolution coded signal HE g is subjected to decoding processing by the decoder 30 of the high-resolution decoding section 202 H based on the output AD g of the up-sampler 10 b, and A resolution decoded signal HD g is generated.
  • the high-resolution decoded signal HD g is further integrated by the deblocking unit 31 to generate a decoded integrated signal HI g corresponding to the image in the rectangular area HR.
  • the decoded integrated signal HI g is combined with another image signal corresponding to one frame by the area combiner 32 based on the rectangular signal HR g from the encoding device 200a, and is subjected to high-resolution reproduction.
  • Faith No. Output as HC g By this combining processing, the image of the rectangular area HR based on the decoded integrated signal HI g is arranged at the position on the frame HF indicated by the rectangular signal HR g.
  • the rectangular region LR is arranged at a predetermined position in the frame LF. Since the low-resolution decoding signal Ig corresponding to the rectangular area LR is subjected to area synthesis processing, the low-resolution decoding processing performed on the rectangular area LR corresponding to each object in the frame FL ⁇ The encoded signal LE g can be decoded.
  • the high-resolution coded signal HE g is decoded with reference to the low-resolution decoded signal LD g to generate a high-resolution decoded signal HD g, and then the decoded signal HD g is inverted.
  • the high-resolution decoded signal HI g corresponding to the rectangular area HR is subjected to area synthesis processing so that the rectangular area HR is arranged at a predetermined position in the frame HF.
  • high resolution coded signal HE g obtained by hierarchical coding processing for the rectangular region HR, corresponding to the object can be correctly decoded.
  • the process of detecting the range of the rectangular region LR in the low-resolution frame LF ⁇ and the process of detecting the range of the rectangular region HR in the high-resolution frame HF are performed. Therefore, as shown in FIGS. 22 (c) and 22 (d), the low-resolution image L of each block MB that partitions the low-resolution rectangular area LR The space position with respect to 0b does not match the spatial position with respect to the high-resolution image Hob of each block MB that partitions the high-resolution rectangular area HR.
  • the present invention has been made to solve the above-described problem.
  • a high-level encoding method that refers to a low-resolution image signal is performed.
  • An object of the present invention is to obtain a data recording medium storing a program capable of realizing an encoding process and a hierarchical decoding process by software. Disclosure of the invention
  • An image processing method includes at least a hierarchical image signal that forms a plurality of image spaces having different spatial resolutions based on an image input signal having shape information of an object.
  • a low-resolution image signal and a high-resolution image signal are generated, and the high-resolution image signal is divided so as to correspond to a high-resolution block including a predetermined number of pixels in a high-resolution image space.
  • the coding process is performed on a high-resolution image signal forming a target high-resolution block to be processed, which is divided so as to correspond to a low-resolution block consisting of a predetermined number of pixels in the low-resolution image space.
  • a hierarchical image encoding method that sequentially performs with reference to a low-resolution image signal that forms a low-resolution block corresponding to a resolution block.
  • the reference low-resolution block to be referred to is determined by determining the space position in the low-resolution image space corresponding to the reference low-resolution block and the low resolution associated with the spatial position in the high-resolution image space of the target high-resolution block. It is a block.
  • the image processing method when encoding a high-resolution image signal, a space having a correlation with a spatial position of a target high-resolution block to be encoded in a low-resolution image space.
  • the image signal of the low-resolution block located at the position is referred to, and it is possible to perform the hierarchical encoding process on the image signal having the shape information of the object without deteriorating the encoding efficiency.
  • each pixel constituting the high-resolution plane image space is replaced with an image of the low-resolution image space. This is a one-to-one correspondence with each pixel in a resolution-converted image space whose spatial resolution is equal to the high-resolution image space obtained by the resolution conversion.
  • all of the plurality of pixels in the high-resolution block correspond to predetermined pixels in the resolution conversion block obtained by converting the resolution of the low-resolution block. Efficiency can be further improved.
  • the present invention (Claim 3) is the image processing method according to Claim 1, wherein the number of pixels constituting the reference low-resolution block and the target high-resolution block are constituted. This is the same as the number of pixels.
  • the image processing method having such a configuration it is possible to share the block encoder and the encoder between the high-resolution image signal and the low-resolution image signal, so that the circuit configuration can be made compact.
  • the present invention (claim 4) is the image processing method according to claim 1, wherein a relative position of the reference low-resolution block in the low-resolution image space and a high-resolution image of the target high-resolution block are set. It is the same as the relative position in space.
  • the pixel value of each pixel constituting the high-resolution block and the low-resolution block are configured.
  • the difference from the pixel value of each pixel to be processed does not become unnecessarily large, and the hierarchical coding process can be performed with high coding efficiency.
  • the present invention (Claim 5) is the image processing method according to Claim 1, wherein the reference low-resolution block corresponds to an encoding mode for identifying an encoding processing method.
  • the encoding method of the mode signal indicating the encoding mode for identifying the encoding processing method for the target high-resolution block is switched.
  • the mode signal indicating the encoding mode of the high resolution image signal is assigned. The number of coded bits in the coding process can be reduced.
  • the present invention is the image processing method according to Claim 5, wherein the encoding mode is set such that the boundary of the shape of the object displayed on the image space is set to the pair. This is an encoding mode indicating whether or not the block is included in the elephant high resolution block.
  • the mode signal indicating the encoding mode of the high-resolution image signal is used.
  • the encoding mode is set by sequentially encoding an image signal corresponding to the reference low-resolution block for each pixel. This is a coding mode that indicates whether the coding process to be performed is performed along the scanning direction of the horizontal scanning direction or the vertical scanning direction.
  • a high-resolution image signal is encoded in a scanning direction in which the correlation between pixel values constituting the high-resolution image signal is large.
  • a short code is assigned to the mode signal indicating the coding mode of the high-resolution image signal, thereby coding the coding mode signal. It is possible to reduce the number of coding bits required for the coding.
  • the present invention (claim 8) is the image processing method according to claim 1, wherein the motion corresponding to the reference low-resolution bronk and indicating the motion of an object in the low-resolution image space.
  • a coding method of the motion information indicating the motion of the object in the high resolution image space corresponding to the target high resolution block is switched.
  • the motion between the high-resolution block and the corresponding low-resolution block is reduced.
  • the vectors match, by assigning a short code to the mode signal indicating the motion vector (coding mode) of the high-resolution image signal, the number of coding bins necessary for coding the motion vector is obtained. Can be reduced.
  • the present invention provides the image processing method according to Claim 1.
  • the encoding method of the motion information indicating the motion of the object in the high-resolution image space corresponding to the target high-resolution block is switched.
  • the prediction vector is obtained from the motion vector of the processed high-resolution block corresponding to the target high-resolution block and the motion vector of the low-resolution block corresponding to the target high-resolution block. Since the motion vector of the target high-resolution block is encoded based on the prediction vector, the image signal has a correlation between pixel values between screens, and the high-resolution image signal and the low-resolution image Since there is a large correlation between the signal and the pixel value, the error between the motion vector of the target high-resolution block and the predicted motion vector is reduced, and the motion vector of the high-resolution image signal is coded. Thus, the number of coding bits required for the operation can be reduced.
  • An image processing method includes at least two block-coded hierarchical coded signals obtained by performing a hierarchical coding process on an image signal having shape information of an object.
  • the low-resolution coded signal is decoded to generate a low-resolution decoded signal corresponding to a low-resolution block composed of a predetermined number of pixels in the low-resolution image space, and the low-resolution decoded signal is integrated.
  • To generate a low-resolution integrated signal corresponding to the low-resolution image space and decode the high-resolution coded signal of the two block-coded hierarchical coded signals with reference to the corresponding low-resolution decoded signal.
  • a hierarchical image decoding method for generating a high-resolution integrated signal wherein a reference low-resolution block referred to in the decoding process of the high-resolution coded signal is referred to as a spatial position in the low-resolution image space.
  • the spatial position of the target high-resolution block to be decoded is set in the low-resolution image space.
  • the decoded signal of the low-resolution block located at the spatial position correlated with the position is referred to, and it corresponds to the hierarchical coding processing of the image signal having the shape information of the object, which suppresses the deterioration of the coding efficiency.
  • Hierarchical decoding processing can be realized.
  • the invention is the image processing method according to claim 10, wherein each pixel constituting the high-resolution image space is converted into a resolution of the low-resolution image space. And has a one-to-one correspondence with individual pixels in a resolution-converted image space having a spatial resolution equal to the high-resolution image space.
  • a plurality of pixels in a high-resolution block all correspond to predetermined pixels in a resolution conversion block obtained by resolution conversion of a low-resolution block.
  • the number of surface elements constituting the reference low-resolution block and the target high-resolution block are determined. This is the same as the number of pixels.
  • a decoder and an inverse blocker can be shared between a high-resolution coded signal and a low-resolution coded signal, and the circuit configuration can be made compact. Can be.
  • the present invention (claim 13) is the image processing method according to claim 10, wherein a relative position of the reference low-resolution block in the low-resolution image space and a high-resolution image of the target high-resolution block are set. This is the same as the relative position in the air question.
  • the pixel value of each pixel constituting the high-resolution block and the low-resolution block are calculated. It is possible to realize a hierarchical decoding process corresponding to a hierarchical encoding process with high encoding efficiency in which the difference between the pixel value of each constituent pixel and the pixel value is not unnecessarily large.
  • the present invention (claim 14) is the image processing method according to claim 10, wherein the reference low-resolution block has a coding mode for identifying a decoding processing method.
  • Decoding method for the target high-resolution block This is to switch the decoding method of the mode coded signal indicating the coding mode for identifying the data.
  • the coding mode of the high-resolution plane image signal is assigned by assigning a short code to the mode signal indicating the coding mode of the high-resolution block that matches the coding mode for the low-resolution block.
  • the present invention (claim 15) is the image processing method according to claim 14, wherein the encoding mode is set such that the boundary of the shape of the object displayed in the image space is the target height. This is an encoding mode that indicates whether or not it is included in the resolution block.
  • the mode signal indicating the encoding mode of the high-resolution image signal is used.
  • the present invention (claim 16) is the image processing method according to claim 14, wherein the encoding mode is sequentially decoded for each pixel of an image signal corresponding to a reference low-resolution block.
  • the encoding mode indicates whether the decoding process is performed along the scanning direction of the horizontal scanning direction or the vertical scanning direction.
  • the mode signal indicating the encoding mode of the high-resolution image signal By assigning a short code to the code and performing coding, it is possible to realize a hierarchical decoding process corresponding to the hierarchical coding process in which the number of code S-coded bits is reduced.
  • the invention is the image processing method according to Claim 10, wherein the motion of the object in the low-resolution dual image space corresponding to the reference low-resolution block is indicated.
  • a method of decoding the motion information indicating the motion of the object in the high-resolution image space corresponding to the target high-resolution block is switched.
  • the image processing method having such a configuration when the motion vector between the high-resolution block and the corresponding low-resolution block matches, the motion vector of the high-resolution image signal (encoding mode By assigning a short code to the mode signal indicating), it is possible to realize a hierarchical decoding process corresponding to the hierarchical encoding process in which the number of encoded bits is reduced.
  • the present invention (claim 18) is the image processing method according to claim 10, wherein the processed high-resolution block, which has already been subjected to the decoding processing, is an object in a high-resolution image space.
  • the high-resolution image corresponding to the target high-resolution block with reference to the motion information indicating the motion of the object and the motion information indicating the motion of the object in the low-resolution image space corresponding to the reference low-resolution block. It switches the method of decoding motion information indicating the motion of an object in space.
  • the hierarchical decoding processing corresponding to the hierarchical coding processing in which the error between the motion vector of the target high-resolution block and the prediction motion vector is small and the number of coding bits is reduced is reduced. Can be realized.
  • An image processing apparatus receives an image input signal having shape information of an object and encodes a hierarchical image signal forming a plurality of image spaces having different spatial resolutions.
  • a hierarchical image encoding device comprising: a sub-sampling means for sub-sampling the image input signal to generate a low-resolution image signal; and converting the low-resolution image signal into a low-resolution image signal comprising a predetermined number of pixels.
  • a first blocking means for blocking to correspond to the resolution block, and a first code for sequentially performing an encoding process on a low-resolution image signal forming a low-resolution block to be subjected to the encoding process Means for converting the image input signal as a high-resolution image signal into blocks corresponding to a high-resolution block consisting of a predetermined number of pixels in a high-resolution image space.
  • a second low-resolution block referred to at the time of the above-described encoding processing, and a spatial position in the low-resolution plane image space of the second low-resolution block corresponds to the reference low-resolution block.
  • the image processing apparatus when encoding a high-resolution image signal, a space having a correlation with a spatial position of a target high-resolution block to be encoded in a low-resolution image space.
  • the image signal of the low-resolution block located at the position is referred to, and it is possible to perform the hierarchical encoding process on the image signal having the shape information of the object without deteriorating the encoding efficiency.
  • An image processing apparatus includes at least two block-coded hierarchical coded signals obtained by performing a hierarchical coding process on an image signal having shape information of an object.
  • a hierarchical image decoding device that decodes a low-resolution coded signal of the two block-coded hierarchical coded signals to obtain a predetermined number of pixels in a low-resolution image space.
  • the first decoding means for generating a low-resolution decoding signal corresponding to the low-resolution block consisting of: and the low-resolution decoding signal corresponding to each of the low-resolution blocks are integrated into the low-resolution image space.
  • First deblocking means for generating a corresponding low-resolution integrated signal; and referencing the high-resolution coded signal of the two broken hierarchical coded signals with reference to the corresponding low-resolution decoded signal.
  • Decrypt Second decoding means for generating a high-resolution decoded signal corresponding to a high-resolution block composed of a predetermined number of pixels in a high-resolution image space; and high-resolution decoding corresponding to each of the high-resolution blocks.
  • Second deblocking means for integrating the decoded signals to generate a high-resolution integrated signal corresponding to the high-resolution image space, and for decoding the high-resolution encoded signal.
  • the reference low-resolution block to be referenced is identified by the spatial position in the low-resolution image space of the target high-resolution block to be subjected to the decoding process corresponding to the reference low-resolution block. This is a low-resolution block associated with a position.
  • the image processing device when decoding a high-resolution image signal, a space having a correlation with a spatial position of a target high-resolution block to be decoded in a low-resolution image space.
  • the image decoding signal of the low-resolution block located at the position is referred to, and the layer decoding corresponding to the hierarchical coding processing of the image signal having the shape information of the object with the deterioration of the coding efficiency suppressed. Processing can be realized.
  • the data recording medium according to the present invention (claim 21) is stored on a computer.
  • a data recording medium storing a program for performing a layer image encoding process, wherein the computer is configured to perform the layer image encoding process according to the image processing method according to claim 1. .
  • a data recording medium having such a configuration when encoding a high-resolution image signal, a space having a correlation with the spatial position of a target high-resolution block to be encoded in a low-resolution image space. Since the image signal of the low-resolution block located at the position is referred to, it is possible to realize by a computer hierarchical coding processing on the image signal having the shape information of the object without deteriorating the coding efficiency.
  • a data recording medium according to the present invention (Claim 22) is a data recording medium storing a program for causing a computer to perform a hierarchical image decoding process.
  • a hierarchical image decoding process according to the image processing method described in 10 is configured to be performed by a computer.
  • a data recording medium having such a configuration, when decoding a high-resolution image signal, a space having a correlation with a spatial position of a target high-resolution block to be decoded in a low-resolution image space.
  • the image decoding signal of the low-resolution block located at the position is referred to, and the hierarchical decoding processing corresponding to the hierarchical encoding processing of the image signal having the shape information of the object, which suppresses the deterioration of the encoding efficiency, is performed. It can be realized by a computer.
  • FIG. 1 is a block diagram for explaining a hierarchical image encoding device as an image processing device according to Embodiment 1 of the present invention.
  • 2 (a) to 2 (d) are diagrams for explaining the operation of the hierarchical image coding device according to the first embodiment.
  • FIG. 3 is a block diagram for explaining a hierarchical image encoding device as an image processing device according to Embodiment 2 of the present invention.
  • FIGS. 4 (a) to 4 (f) are diagrams for explaining the operation of the hierarchical image encoding device according to the second embodiment of the present invention.
  • FIG. 5 shows a hierarchical image encoding device as an image processing device according to Embodiment 3 of the present invention.
  • FIG. 2 is a block diagram for explaining the arrangement.
  • 6 (a) to 6 (d) are diagrams for explaining the operation of the hierarchical image encoding device according to Embodiment 3 of the present invention.
  • FIG. 7 is a block diagram for explaining a hierarchical image encoding device as an image processing device according to Embodiment 4 of the present invention.
  • FIG. 8 is a block diagram for explaining a hierarchical image decoding device as an image processing device according to Embodiment 5 of the present invention.
  • 9 (a) and 9 (b) are block diagrams for explaining a hierarchical image encoding device as an image processing device according to Embodiment 6 of the present invention.
  • FIGS. 10 (a) and 10 (b) are block diagrams for explaining a hierarchical image decoding device as an image processing device according to Embodiment 7 of the present invention.
  • FIGS. 11 (a) and 11 (b) are block diagrams for explaining a hierarchical image encoding device as an image processing device according to Embodiment 8 of the present invention.
  • FIGS. 12 (3) to 12 (d) are diagrams for explaining the operation of the hierarchical image coding apparatus according to the eighth embodiment.
  • FIGS. 13 (a) and 13 (b) are block diagrams illustrating a hierarchical image decoding device as an image processing device according to Embodiment 9 of the present invention.
  • FIGS. 14 (a) and 14 (b) are block diagrams for explaining a hierarchical image encoding device as an image processing device according to Embodiment 10 of the present invention.
  • FIGS. 15 (a) and 15 (b) are pronk diagrams for explaining a hierarchical image decoding device as an image processing device according to Embodiment 11 of the present invention.
  • FIGS. 16 (a) to 16 (c) are block diagrams for explaining a hierarchical image encoding device as an image processing device according to Embodiment 12 of the present invention.
  • FIGS. 17 ( 3 ) to 17 (c) are block diagrams for explaining a hierarchical image decoding device as an image processing device according to Embodiment 13 of the present invention.
  • FIGS. 18 (a) to 18 (c) are block diagrams for explaining a hierarchical image encoding device as an image processing device according to Embodiment 14 of the present invention.
  • FIG. 19 (3) to FIG. 19 (d) are diagrams for explaining the operation of the hierarchical image coding device of the embodiment 14 above.
  • FIG. 20 (a) to FIG. 20 (c) are broken diagrams for explaining a hierarchical image decoding device as an image processing device according to Embodiment 15 of the present invention.
  • FIGS. 21 (a) to 21 (c) show data storing a program for realizing a hierarchical encoding process or a hierarchical decoding process by the image processing apparatus of each of the above-described embodiments by a computer system.
  • FIG. 3 is a diagram illustrating a recording medium.
  • FIG. 22 is a diagram for explaining a conventional hierarchical image encoding process.
  • FIG. 23 is a block diagram for explaining a hierarchical image encoding device as a conventional image processing device.
  • FIG. 24 is a block diagram for explaining a hierarchical image decoding device as a conventional image processing device.
  • Embodiment 1 is a diagrammatic representation of the present invention.
  • FIG. 1 is a block diagram for explaining an image processing device (hierarchical image coding device) according to Embodiment 1 of the present invention.
  • 2 (a) to 2 (d) are schematic diagrams for explaining an encoding process performed by the hierarchical image encoding device according to the first embodiment.
  • LF is a display screen corresponding to a low-resolution image signal (see Fig. 2 (a))
  • HF is a display screen corresponding to a high-resolution image signal (see Fig. 2 (b)).
  • Lob is a low-resolution image, an image of one object displayed on the frame (display screen) LF by a symbol
  • Hob is displayed on the frame (display screen) HF by a high-resolution image signal.
  • This is an image of one object, and the dot display area of each image L ob and H ob is an area inside each object.
  • the hierarchical image encoding device 101 is configured to receive an image input signal and perform a hierarchical encoding process on the image input signal as a high-resolution image signal HSg.
  • the hierarchical image encoding device 101 includes a sub-sampler 2 for sub-sampling the high-resolution image signal HSg, Low-resolution encoding low-resolution image signal LS g Image encoding unit 101L, a decoder 9a for decoding the low-resolution encoded signal LEg that is the output thereof, and an amplifier sample for up-sampling the output Ldg of the decoder 9a And a high-resolution encoding unit 101H for encoding the high-resolution image signal HSg based on the output LAg of the up-sampler 10a.
  • each of the encoding units 101 L and 101 H has an area detector 30 a and 12, an area extractor 5 and 14, and a block extractor, respectively, as in the conventional hierarchical image encoding apparatus 200 a. It has a zipper 6 and 15 and an encoder 7 and 16a.
  • the area detector 30a has a different configuration from that of the conventional hierarchical image coding apparatus 200a. That is, the area detector 30a refers to the rectangular signal HRg indicating the range of the rectangular area HR corresponding to the individual object Hob on the high-resolution frame HF (see FIG. 2 (b)). It is configured to detect the range of the rectangular area corresponding to each object L ob on the resolution frame LF (see Fig. 2 (a)). Specifically, the area detector 30a detects the spatial position HRp of the ⁇ resolution rectangular area HR from the high resolution rectangular signal HR g, and the low resolution image signal: an interpolated rectangular area obtained by up-sampling LS g. The spatial position LR of the low-resolution rectangular area LR is determined such that the AR spatial position ARp matches the spatial position HRp of the high-resolution rectangular area HR.
  • the spatial position LRp of the low-resolution rectangular region LR is detected by determining whether the spatial position ARp of the interpolated rectangular region AR is higher than the spatial position LRp of the high-resolution rectangular region HR. It is only necessary to perform the position detection so as to match the position ⁇ HR p, and it is necessary to detect the position of the above-mentioned region so that the spatial position LR p of the low-resolution rectangular region LR and the spatial position HR p of the high-resolution rectangular region HR match. There is no. Also, the encoder 16a has exactly the same configuration as the encoder 6 in the conventional hierarchical image encoding device 200a.
  • the sub-sampler 2 converts the high-resolution image signal HS g into a low-resolution image signal LS g by the sub-sample. Is converted to Then, in each of the encoding units 101 H and 101 L, the high-resolution image signal HS g and the low-resolution image signal LS g is encoded.
  • the high-resolution encoding unit 101H performs exactly the same image signal processing as the high-resolution encoding unit 201H in the conventional hierarchical image encoding device 200a.
  • the low-resolution encoding unit 101L except for the position detection processing of the low-resolution rectangular area LR on the frame LF by the area detector 30a, the low-resolution encoding in the conventional hierarchical image encoding apparatus 200a is performed. Processing exactly the same as that of the unit 201L is performed. Therefore, the following describes mainly the operation of the area detector 30a in the encoding process by the low-resolution encoding unit 101L.
  • the rectangular area HR of the corresponding object H0b is detected by the area detector 12 of the high-resolution encoding unit 101H based on the high-resolution image signal HSg (second (b)
  • the spatial detector LR detects the spatial position LRp of the rectangular region LR of the low-resolution image signal LSg based on the spatial position HRp of the high-resolution rectangular region HR (see FIG. ) See figure).
  • the reference position HRp of the high-resolution rectangular area HR is shifted by a distance ( ⁇ ) in the horizontal direction and a distance (HAy) in the vertical direction from the reference position HFp of the high-resolution frame HF. If they are far apart, the low-resolution rectangular area LR has a horizontal distance (L x) and a vertical distance (L Ay) between its reference position LR p and the reference position LF p of the low-resolution frame LF. So that it is placed on the low-resolution frame LF.
  • the distance ( ⁇ ) and the distance (LA x) and the distance ( ⁇ y) / distance (LA y) are the ratio of the spatial resolution of the high-resolution image to the spatial resolution of the low-resolution image (here, 2Z1)).
  • the spatial position (reference position) of the low-resolution rectangular area LR on the low-resolution frame LF can be changed on the high-resolution frame HF. Can be matched to the spatial position (reference position) of the high-resolution rectangular area HR.
  • the image signal LOg corresponding to the low-resolution rectangular area LR set on the low-resolution frame LF as described above is divided by the blocking unit 6 so as to correspond to each block LMB that divides the rectangular area LR. Is done. Further, the block-blocked image ⁇ signal LB s is encoded by the encoder 7 and output as a low-resolution encoded signal LE g. Is forced.
  • the block LMB is an image space composed of 16 ⁇ 16 pixels.
  • the low-resolution coded signal LE g is converted to a low-resolution decoded signal L dg by a decoder 9a, and this signal L dg is interpolated by an up-sampler 10a to obtain a spatial resolution of high resolution. It is converted to a supplementary image signal LA g equal to the image signal HS g.
  • the process AMB that divides the interpolated rectangular area AR corresponding to the interpolated image signal LA g obtained by the up-sampling of the low-resolution encoded signal LE g has an image space consisting of 32 ⁇ 32 pixels. Become.
  • the 2 (c) the figure correspond to the interpolation image signal LA g, interpolated frame AF with ⁇ resolution frame HF same spatial resolution and, and in the frame AF inter ⁇ , interpolation corresponding to the interpolation image signal LA g
  • the image A ob is shown, and the relative position of the interpolated rectangular area AR corresponding to the interpolated image with respect to the interpolated frame AF is the relative position of the high-resolution rectangular area HR with respect to the high-resolution frame HF. Match.
  • the region extractor 14 corresponds to the high-resolution rectangular region HR based on the rectangular signal HR g from the region detector 12.
  • An image signal HO g to be extracted is extracted, and further, the image signal H ⁇ g is divided by a blocker 15 so as to correspond to each of the blocks HMB 1 that divides the rectangular area HR, and is divided into each block HMB 1.
  • the corresponding image signal HB g is output.
  • the block image signal HB g is converted into a high-resolution encoded signal HE g by an encoding process with reference to the interpolated image signal LA g.
  • the block HMB 1 is an image space composed of 32 ⁇ 32 pixels.
  • the relative position of the interpolation rectangular area AR on the frame AF coincides with the relative position of the high-resolution rectangular area HR on the frame HF.
  • the difference value of the blocked image signal can be easily calculated in block units of each rectangular area, and the difference value between the image value of the pixel forming the high-resolution image and the pixel value of the pixel forming the interpolation image is obtained. Can be easily encoded.
  • FIG. 2 (d) shows a difference image D corresponding to the difference value (error) D on a high-resolution frame HF.
  • the coding processing is performed without lowering the coding efficiency by referring to the low resolution image signal LS g. be able to.
  • FIG. 3 is a block diagram for explaining an image processing device (hierarchical image coding device) according to Embodiment 2 of the present invention.
  • the hierarchical image encoding apparatus has a configuration in which a difference value between an interpolated image signal obtained by performing resolution conversion on a low-resolution image signal and a ⁇ -resolution image signal is encoded as an error.
  • the image signal is a binary image signal, that is, a binary shape signal, there is a more effective method than directly encoding the block difference value.
  • the hierarchical image encoding device 102 is configured to encode the difference value between the interpolated image signal obtained by converting the resolution of the low-resolution image signal and the ⁇ -resolution image signal according to the first embodiment.
  • an encoder 16b that encodes the magnitude of the shift between the boundary of the image obtained from the low-resolution image signal and the boundary of the image obtained from the high-resolution image signal is used.
  • the other configuration is the same as that of the hierarchical image encoding device 101 of the first embodiment.
  • the low-resolution encoding unit 102 L of the hierarchical image encoding device 102 of the second embodiment has the same configuration as that of the first embodiment.
  • the high-resolution encoding unit 102H constituting O2 differs from that of Embodiment 1 only in the configuration of the encoder 16b.
  • FIG. 4 is a schematic diagram for explaining an encoding process performed by the hierarchical image encoding device according to the second embodiment.
  • FIG. 4 (a) shows a frame LF corresponding to a low-resolution image signal
  • FIG. (b) shows the frame HF corresponding to the high resolution image signal
  • Fig. 4 (c) shows the frame AF corresponding to the resolution converted image signal (interpolated image signal).
  • Fig. 4 (d) shows the boundary HB of the object H ob in the rectangular area HR set on the frame HF
  • Fig. 4 ( ⁇ ) shows the object A ob in the rectangular area AR set on the frame AF.
  • FIG. 4 (f) shows the boundary HB of the object Hog corresponding to the high-resolution image signal and the boundary AB of the object A ob corresponding to the interpolated image signal on the frame HF. .
  • the boundary of the object is the position of a pixel where the value of the binary shape signal constituting the image signal changes spatially.
  • the rectangular area HR of the corresponding object is detected by the area detector 12 of the high-resolution encoding unit 102H based on the high-resolution image signal HSg (the 4 (b)), the low-resolution encoding unit 102 L detects the rectangular area LR of the low-resolution image signal LSg by the area detector 30a so that the rectangular area HR matches the spatial position.
  • the spatial position LRp is detected (see Fig. 4 (a)).
  • the low-resolution frame By setting the position LR p of the rectangular area LR on the low-resolution frame LF in this manner, the low-resolution frame: the position LRP of the low-resolution rectangular area LR on the LF is changed to the high-resolution frame on the high-resolution frame HF. It can match the position HRp of the resolution rectangular area HR.
  • the image signal LOg corresponding to the low-resolution rectangular area set on the low-resolution frame as described above is blocked by the block converter 6, and the blocked image signal LBg is encoded. It is encoded by the unit 7 and output as a low-resolution encoded signal LE g.
  • the low-resolution coded signal LE g is subjected to a decoding process by the decoder 3 a and an interpolation process by the up-sampler 10 a to perform the interpolation image signal LA having the same spatial resolution as the high-resolution image signal. Be converted to g (see Fig. 4 (c)).
  • the region extractor 14 extracts an image signal HO g corresponding to the high-resolution rectangular region HR from the high-resolution image signal HS g, and the image signal HO g is blocked by the blocker 15. You.
  • the encoder 16b calculates a boundary position HB of the object H ob obtained from the blocked image signal HB g and a boundary position AB of the object A ob obtained from the interpolation image signal LA g. Based on this, the difference ⁇ B between the two is encoded and output as a high-resolution encoded signal HEg.
  • the boundary of the interpolated image obtained from the low-resolution image signal An encoder 16b that encodes the magnitude of the shift between the field and the boundary of the image obtained from the high-resolution image signal is provided, so that the hierarchical encoding process is performed when the image signal is a binary image signal. Encoding can be performed efficiently.
  • the hierarchical encoding process for encoding the deviation between the boundary HB of the high-resolution image Hob and the boundary AB of the interpolated image Aob has been described.
  • the encoding table used for the encoding processing of the high-resolution image signal may be switched for each pixel according to the interpolated image signal obtained from the low-resolution image signal.
  • FIG. 5 is a block diagram for explaining an image processing apparatus (hierarchical image coding apparatus) according to Embodiment 3 of the present invention.
  • the position of each block in the interpolation rectangular area obtained by converting the resolution of the low-resolution rectangular area and the position of each block in the high-resolution rectangular area completely match. Even when an integrated block obtained by integrating a plurality of blocks in a rectangular area matches one block in the interpolation rectangular area, hierarchical coding processing should be performed while avoiding a decrease in coding efficiency, as in the first embodiment. Can be done.
  • the hierarchical image coding apparatus 1 0 3 of the third embodiment blocking the Interpolation image signal and Proc of the high resolution image signal and by comparing the configuration for obtaining the difference value encoder 1 6 a
  • the integrated signal obtained by integrating the blocked high-resolution image signals is compared with the blocked interpolated image signal to obtain a difference value between the integrated signal and the interpolated image signal, and the difference value is encoded.
  • an encoder 16c an encoder 16c.
  • the high-resolution block HMB 2 (see FIG. 6 (b)) that forms the high-resolution rectangular area HR is replaced with the low-resolution block LMB (the sixth form) that forms the low-resolution rectangular area LR.
  • the block generator 15 is configured to perform the block processing of the high-resolution image signal in units of the Bronk HMB 2 composed of 16 ⁇ 16 pixels.
  • the third hierarchical image encoding device 103 is the same as the hierarchical image encoding device 101 of the first embodiment.
  • the low-resolution encoding unit 103L included in the hierarchical image encoding device 103 according to the third embodiment has the same configuration as that in the first embodiment.
  • the high-resolution encoding section 103H differs from that of the first embodiment only in the configuration of the encoder 16c.
  • FIG. 6 is a schematic diagram for explaining an encoding process performed by the hierarchical image encoding device according to the third embodiment.
  • FIG. 6 (a) shows a display screen (frame) corresponding to a low-resolution image signal. ) LF
  • Fig. 6 (b) shows the display screen (frame) corresponding to the high resolution image signal
  • FIG. 6 (c) shows a display screen (frame) AF corresponding to an interpolated image signal obtained by resolution-converting a low-resolution image signal.
  • the rectangular area HR of the object Hob corresponding to the high-resolution image signal HSg is detected by the area detector 12 based on the high-resolution image signal HSg (see FIG. 6 (b)).
  • the spatial position HRp of the rectangular area HR and the interpolated rectangular area A are detected by the detector 30a.
  • the spatial position LRp of the rectangular area LR of the low-resolution image signal Lsg is detected so that the spatial position ARp of R matches (see Fig. 6 (a)).
  • the spatial position LR p of the rectangular area LR on the low-resolution frame LF can be set on the high-resolution frame HF.
  • R p can be substantially matched.
  • the image signal LO g corresponding to the low-resolution rectangular area set on the low-resolution frame LF as described above is blocked by the blocker 6, and the blocked image signal LB g is further obtained.
  • the low-resolution coded signal LEg is subjected to the decoding process by the decoder 9a and the interpolation process by the up-sampler 10a, and the interpolation image signal having the same spatial resolution as the high-resolution image signal is obtained. Converted to LA g (No. 6
  • the region extractor 14 converts the high-resolution image signal HSg into a rectangular region HR.
  • the corresponding image signal HO g is extracted, and the image signal HO g is divided into blocks by the blocker 15 so as to correspond to the block HMB 2 composed of 16 ⁇ 16 pixels.
  • one block AM B constituting the rectangular area AR of the interpolation image A ob coincides with an area obtained by integrating the four blocks HMB 2 constituting the rectangular area HR of the high-resolution image H ob
  • the encoder 16c refers to the complementary image signal corresponding to one block AMB, and refers to the image signal HBg corresponding to the four blocks HMB2 of the high-resolution rectangular area corresponding to the block AMB Is encoded. That is, the difference value between the image signal HO g corresponding to the VA blocks HMB 2 and the complementary image signal LA g corresponding to the one block AMB is encoded and output as a high-resolution encoded signal HE g.
  • the high-resolution image signal HO g corresponding to the integrated area obtained by integrating the four high-resolution blocks HMB 2 and the complementary image corresponding to one interpolation block AMB that matches the integrated area Since the difference signal from the signal AL g is encoded, even if the high-resolution block and the interpolation block do not correspond one-to-one, the pixels in the high-resolution block and the pixels in the interpolation block can be correlated.
  • the high-resolution image signal can be encoded with reference to the low-resolution image signal.
  • the correspondence between the high-resolution block and the interpolation block can be established as described above, predictive coding of information in block units (such as coding mode information) can be easily realized, and furthermore, between the two blocks. Since the spatial position can be adjusted, the coding efficiency is also improved.
  • the encoder 7 in the low-resolution encoding unit and the high-resolution rectangular area have the same size, the encoder 7 in the low-resolution encoding unit and the high-resolution The configuration of the encoder 17 in the encoder is almost the same, and sharing of hardware resources in the encoder can be easily realized by time division processing or the like.
  • FIG. 7 is a block diagram for explaining an image processing device (hierarchical image coding device) according to Embodiment 4 of the present invention.
  • the hierarchical image encoding device 104 of fi 4 is a low-resolution image encoding device according to Embodiment 1.
  • the region detector 30a corresponding to the image signal is omitted, and instead of the region extractor 5 of the first embodiment, a low resolution is obtained based on the output HRg of the region detector 12 of the first embodiment.
  • It is provided with an area extractor 31d that extracts a low-resolution rectangular area LR located at a spatial position corresponding to the space position of the high-resolution rectangular area HR on the frame LF. That is, the low-resolution encoding unit 104 L of the hierarchical image encoding device gl 04 of the fourth embodiment is blocked by the region extractor 31 d and the block generator 6 that blocks its output.
  • the high-resolution encoding unit 104 H of the hierarchical image encoding device 104 is the same as the high-resolution encoding unit 101 H of the first embodiment, and has a region detector 12 and an area extraction unit. It consists of an encoder 14, a blocker 15 and an encoder 16a.
  • the shape of the object corresponding to the interpolated image signal obtained by converting the resolution of the low-resolution image signal is always the size of the object corresponding to the high-resolution image signal. If it is known that it will not be larger than this, the spatial position HR p (see FIG. 2 (b)) corresponding to the high-resolution rectangular area HR indicated by the rectangular signal HR g is converted to the corresponding low-resolution rectangular area.
  • the spatial position LR p of the LR see FIG. 2 (a)
  • the object L 0b of the low-resolution image signal can be completely included in the low-resolution rectangular area LR.
  • the high-resolution image signal HS g which is the image input signal, the high-resolution coding section 1 0 4 H and shaped state 1 described above at all Similar processing is performed.
  • the low-resolution image signal LSg obtained from the sub-sample of the high-resolution image signal HSg is coded by the low-resolution coding unit 104L by substantially the same processing as in the first embodiment. You. S At this time, in the region extractor 3 I d, the low resolution image receives the signal LS g, output HR g of the high-resolution coding section 1 0 4 H region detector 1 2 Then, the position of the rectangular area on the low-resolution frame is determined, and the image signal LO g corresponding to the rectangular area is output to the block converter 6.
  • the image signal LO g is blocked by the block converter 6, and the blocked image signal LB g is encoded by the encoder 7, and the low-resolution encoder 104 L corresponds to each block.
  • the encoded low-resolution encoded signal LE g is output.
  • the low-resolution coded signal LE g is decoded by the decoder 9a, and the output L dg of the decoder 9a is output from the up-sampler 10a to the same spatial resolution as the high-resolution image signal by the up-sampler 10a. It is converted to a complementary image signal LAg having a degree and output to the encoder 16a of the high-resolution encoder 104H.
  • the region extractor 31 d of the low-resolution encoding unit 104 L outputs the rectangular signal HR output from the region detector 12 of the high-resolution encoding unit 104 H. Since the position of the rectangular area LR on the low-resolution frame is determined based on g, the low-resolution encoding unit 104 L does not need a circuit configuration for area extraction, and the image coding of the first embodiment is not required. The same effect as the conversion device can be realized with a simpler configuration.
  • FIG. 8 is a block diagram for explaining an image processing device (hierarchical image decoding device) according to Embodiment 5 of the present invention.
  • the hierarchical image decoding device 105 includes a low-resolution encoded signal LEg and a high-resolution code encoded by the hierarchical image encoding device 104 according to the fourth embodiment shown in FIG.
  • hierarchical decoding processing is performed using the decoded signal HE g as an input signal. That is, like the conventional hierarchical image decoding device 200b, the hierarchical image decoding device 105 performs a decoding process on the low-resolution coded signal LEg to generate the low-resolution reproduction signal LCg.
  • a low-resolution decoding unit 105L that generates g
  • an amplifier sampler 10b that interpolates the decoded signal LDg in the decoding unit 105L by upsampling
  • an upsampler 10b an upsampler 10b.
  • a resolution decoding unit that decodes the high-resolution coded signal HE g based on the output LA g of b to generate a high-resolution reproduction signal HC g
  • each of the decoding units 105 L and 105 H is similar to the conventional hierarchical image decoding device 200 b, and the decoders 9 and 30, the deblocking device 20 and 3 1, Region synthesizers 34 and 32 are provided.
  • the area combiner 34 refers to the low-resolution rectangular signal HR g from the hierarchical image encoding device 104 of the fourth embodiment, and The image signal L 1 g corresponding to the rectangular area is combined with another image signal corresponding to the frame so that the low-resolution rectangular area is arranged at the position indicated by the rectangular signal HR g. This point is different from the conventional hierarchical image decoding device 200b shown in FIG.
  • the low-resolution encoded signal LE g and the high-resolution encoded signal HE g output from the hierarchical image encoding device 104 of the fourth embodiment are input to the hierarchical image decoding device 105,
  • the low-resolution coded signal LE g is decoded by the decoder 9 in the low-resolution decoding unit 105L, and the output LD g of the decoder 9 is integrated by the inverse blocker 20. Further, based on the output LI g of the deblocker 20 and the high-resolution rectangular signal HR g, it is synthesized with an image signal corresponding to a low-resolution frame.
  • the output LDg of the decoder 9 is interpolated by the upsampler 10b and output to the high-resolution decoding unit 105H.
  • the high-resolution coded signal HE g is output from the up-sampler 10 b by the high-resolution coding unit 105 H in exactly the same manner as the conventional hierarchical image decoding device 200 b. Decoding is performed based on the interpolated image signal AD g and the high-resolution rectangular signal HR g.
  • the coded signals LE g and HE g and the rectangular signal g from the hierarchical image coding device 104 of the fourth embodiment are received, and the By the same operation as that of the region extractor 30d in the fourth embodiment, the low-resolution rectangular region can be combined with the spatial position indicated by the high-resolution rectangular signal HRg on the low-resolution frame.
  • 9 (a) and 9 (b) are block diagrams for explaining an image processing device (hierarchical image coding device) according to Embodiment 6 of the present invention.
  • the hierarchical image encoding device 106 of the sixth embodiment is similar to the hierarchical image encoding device 101 of the first embodiment shown in FIG. 6L, a decoder 9a, an upsampler 10a, and a high-resolution encoder 106H.
  • components denoted by the same reference numerals as those in the first embodiment have exactly the same configurations as those in the first embodiment.
  • low-resolution encoding section 106 L for encoding low-resolution image signal LS g is replaced with encoder 7 in low-resolution encoding section 101 L of the first embodiment.
  • a coding mode signal Mg indicating the coding mode of each block image signal LBg is generated together with the low-resolution coding signal LEg corresponding to the blocked low-resolution image signal LBg.
  • the configuration is the same as that of the first embodiment.
  • the high-resolution encoding unit 106H for encoding the high-resolution image signal HSg is the same as the encoder in the high-resolution encoding unit 101H of the first embodiment.
  • code upsampling unit 1 0 a output LA g just not also based on the coding mode signal M g of performing sign-treatment of the high-resolution image signal HB g which is proc of
  • the other configuration is completely the same as that of the first embodiment.
  • the encoder 16 f receives the above-blocked high-resolution image signal HBg, determines the coding mode, and outputs a high-resolution block coding mode signal MD.
  • Mode encoding that encodes the encoding mode signal MD and the encoding mode of the low-resolution image signal LBg into blocks based on the symbol Mg and outputs the mode encoding signal EMg vessel 5 1, and a coder 5 3 and 5 coding methods are different first and second against the high-resolution Bronk coded image signal HB g (Chapter 9 (b) see Figure).
  • the first encoder 53 refers to the interpolation signal LA g obtained by up-sampling the low-resolution decoded signal L dg, and encodes the high-resolution block-coded image signal HB g
  • the second encoder 54 is configured to encode the high-resolution block image signal HBg without referring to the interpolation signal LAg. ing. Further, based on the high-resolution block image signal HB, the mode determination unit 50 converts the block image signal HB g into an interpolation signal LA g corresponding to the low-resolution image signal. , Or whether to encode the image signal HB g without referring to the interpolation signal LA g.
  • the encoder 16 f converts the high-resolution blocked image signal HB g into the first and second encoding signals in accordance with the output (encoding mode signal) MD of the mode determination unit 50.
  • the first and second encoders 53, 54 according to the preceding switch 52 supplied to one of the encoders 53, 54 and the output MD of the mode decision unit 50.
  • a subsequent switch 55 for selecting one of the outputs HE1 or HEg2, and a multiplexer 56 for multiplexing the output SHEg of the subsequent switch 55 and the mode coded signal EMg. Have.
  • the sub-sampler 2 converts the low-resolution image signal LSg by subsampling the high-resolution image signal HSg.
  • the generated signal LSg is encoded by the low-resolution encoding unit 106L.
  • the encoder 7f of the encoding unit 106L outputs an encoding mode signal Mg corresponding to the image signal LBg when encoding the low-resolution blocked image signal LBg.
  • the high-resolution encoding unit 106H performs an area detection process and an area extraction process on the high-resolution image signal HSg in the same manner as in the first embodiment, so that the image signal HO g corresponding to the high-resolution rectangular region HR is obtained. Is generated, and a blocked image signal HBg corresponding to the high-resolution block HMB1 is generated from the image signal H ⁇ g by the blocking process. Then, the broken image signal H B g is encoded by the encoder 16 # based on the up sample output LAg and the encoding mode signal Mg.
  • the encoding mode signal is obtained from the encoder 7 # of the low-resolution encoding unit 106 L. It is output to the encoder 16 f of the high-resolution encoding unit 106 H, and the encoder 16 f refers to the encoding mode M g of the low-resolution blocked image signal LB g, and This is different from the encoding processing of the first embodiment in that the encoded high-resolution image signal HB g is encoded.
  • the encoding method for the image signal HBg is determined based on the blocked high-resolution image signal HBg by the mode determination in the mode determiner 50. That is, it is determined whether to encode the image signal HBg with reference to the interpolation signal ALG or to encode the image signal HBg without referring to the interpolation signal ALG. Then, an encoding mode signal MD corresponding to this mode judgment result is output from the mode judging device 50, and each of the switches 52 and 55 receives the encoding mode signal MD according to the encoding mode signal MD. One of the first and second encoders 53 and 54 is selected. As a result, the high-resolution image signal HBg is encoded by the selected encoder 53 or 54 and output to the multiplexer 56.
  • the mode encoder 51 the encoding process of the encoding mode signal MD is performed based on the encoding mode Mg of the low-resolution block. Then, the output SHE g of the switch 55 and the output EM g of the mode encoder 51 are multiplexed and output as a high-resolution coded signal HE g. As described above, in the sixth embodiment, the encoder 16 f performs the encoding processing of the high-resolution block with reference to the encoding mode of the low-resolution block. An encoding process can be realized.
  • the coding mode of the high-resolution block has a correlation with the coding mode of the corresponding low-resolution block. For example, if the low-resolution block is located at the boundary of the object, the corresponding high-resolution block is also likely to be located at the boundary, and similarly if the low-resolution block is located outside or inside the object. The corresponding high-resolution block is also likely to be located outside or inside the object.
  • the coding mode of the encoder I 6 f in the high-resolution coding unit 106 H causes This encoding mode is referred to by referring to the encoding mode signal Mg of the resolution block.
  • Performing predictive coding by assigning a short code to the high-resolution block coding mode signal whose mode is the same as that of the low-resolution block coding mode signal Mg does not refer to the low-resolution block coding mode signal Mg.
  • the number of coding bits can be reduced.
  • a configuration is shown in which the encoding method of the high-resolution image signal is switched according to the encoding mode of the low-resolution block, and the encoding method of the encoding mode of the high-resolution block is switched.
  • the high-resolution image signal coding method and the high-resolution block coding method may be switched according to the low-resolution block coding mode.
  • the hierarchical image encoding device 106 the hierarchical encoding process in the hierarchical image encoding device 101 of the first embodiment shown in FIG.
  • FIG. 6 The hierarchical coding process according to the third embodiment described above may be configured to be performed based on a low-resolution image signal and a low-resolution block coding mode.
  • the encoding process in the encoding mode corresponding to (1) is a single interpolation block AMB consisting of 32 x 32 pixels obtained by the resolution conversion process of the low-resolution block LMB (see Fig. 6 (c)). This is performed in units of an integrated area consisting of four high-resolution blocks HMB2 corresponding to the following.
  • information corresponding to a unit smaller than the low-resolution block LMB that is, the prediction error of the pixel value, etc.
  • the error (difference) between the pixel value corresponding to the high-resolution frame HF (Fig. 6 (b)) and the pixel value corresponding to the resolution conversion (interpolation) frame AF (Fig. 6 (c)) Image D) is calculated, and the error signal is encoded in small blocks of 16 ⁇ 16 pixels.
  • FIG. 3 is a block diagram for explaining a layer image decoding device.
  • the hierarchical image decoding device 107 includes a low-resolution decoding unit 107L, an up-sampler 10b, and a high-resolution decoding device, similarly to the conventional hierarchical image decoding device 200b shown in FIG. It has a resolution decoding section 107H.
  • the components denoted by the same reference numerals as those in the conventional multilayer image decoding device 200b have the same configuration as that of the conventional hierarchical image decoding device 200b.
  • the hierarchical image decoding device 107 according to 7 performs decoding of the high-resolution coded signal HE g with reference to the coding mode Mg output from the low-resolution decoder 9 g. This is different from the conventional hierarchical image decoding device 200b shown in FIG.
  • low-resolution decoding section 107L for decoding low-resolution coded signal LEg performs decoding in low-resolution coding section 202L of conventional hierarchical image decoding apparatus 200b.
  • the decoder 9g for outputting the encoding mode signal Mg together with the low-resolution decoded signal LDg is provided.Other configurations are the same as those of the conventional hierarchical image decoding device 200b. Exactly the same.
  • high-resolution decoding section 107 # for decoding high-resolution coded signal HEg performs decoding in high-resolution coding section 201H of conventional hierarchical image decoding apparatus 200b.
  • the decoder 40g includes a separator 60 that separates and extracts the mode coded signal EMg from the high-resolution coded signal HEg, and a mode decoding that decodes the separated mode coded signal EMg. And a first and second decoders 63 and 64 that use different decoding methods for the high-resolution coded signal SHEg separated from the mode coded signal EMg.
  • the decoder 40g converts the high-resolution coded signal SHEg into the first and second signals based on the coded mode signal DMg decoded by the mode decoder 61.
  • a first-stage switch 62 for supplying one of the two decoders 63 and 64; Based on the encoded mode signal DMg decoded by the mode decoder 61, the output HD g1 or HDg of any of the first and second decoders 63 and 64 and a subsequent switch 65 for selecting g2 and outputting it as a high-resolution decoded signal HDg.
  • the first decoder 63 performs decoding of the high-resolution encoded signal HE g with reference to the interpolation signal AD g obtained by up-sampling the low-resolution decoded signal LD g.
  • the second decoder 64 is configured to perform a decoding process on the high-resolution encoded signal HEg without referring to the interpolation signal ADg. Next, the operation and effect will be described.
  • the low-resolution coder 107L When the high-resolution coded signal HEg and the low-resolution coded signal LEg are input to the hierarchical image decoding device 107, the low-resolution coder 107L performs decoding on the coded signal LEg.
  • the decoding process and the deblocking process are sequentially performed, and the low-resolution decoded signal LIg corresponding to the predetermined rectangular region integrated by the deblocking process is processed by the region synthesizer 21 to correspond to the frame. Is synthesized with the image signal.
  • the decoding mode 9 g outputs the encoding mode signal M g together with the low-resolution decoded signal LD g, and the low-resolution decoded signal LD g is output from the up-sampler 1 g.
  • the spatial resolution is converted to an interpolated decoded signal ADg whose spatial resolution is equal to the high-resolution decoded signal LDg.
  • the decoding process of the high-resolution encoded signal HE g by the decoder 40 g is performed by the encoding mode signal M g and the interpolated decoded signal AD g Further, the output HD g of the decoder 40 g is subjected to a reverse blocking process by the reverse blocking device 31. Then, the high-resolution decoded signal HI g corresponding to the predetermined rectangular area integrated by the inverse block processing is synthesized by the area synthesizer 32 with other image signals corresponding to the frame.
  • the high-resolution coded signal HE g is separated into a code part EMg corresponding to the coding mode and another code part S HE g by the separator 60,
  • the code part EMg corresponding to the coding mode is output to the mode decoder 61, and the other code part S HEg is output to the preceding switch 62.
  • the mode The encoder 61 decodes the mode encoded signal corresponding to the high-resolution block with reference to the encoded mode signal M g of the low-resolution block.
  • any one of the first decoder 63 and the second decoder 64 is referred to with reference to the decoded coding mode signal DMg of the high-resolution block. One of them is selected, and the output HD g1 or HD g2 of one of the decoders is output as the output HD g of the decoder 40 g.
  • the decoding process of the high-resolution coded signal LE g is performed by not only the interpolated decoded signal AD g obtained by interpolating the low-resolution decoded signal LD g by up-sampling but also the low-resolution block
  • the decoding is performed by the decoder 40 g with reference to the coding mode signal M g, and a decoding process corresponding to the coding process by the encoder 16 f in the sixth embodiment is performed. be able to. For this reason, the low-resolution coded signal LEg and the low-resolution coded signal HEg coded by the hierarchical image coding apparatus according to the sixth embodiment can be correctly decoded.
  • the decoding method of the high-resolution encoded signal and the decoding method of the high-resolution encoding mode are switched according to the encoding mode of the low-resolution block. Only one of the high-resolution coded signal decoding method and the high-resolution block coding mode decoding method may be switched according to the low-resolution block coding mode.
  • FIG. 11 is a diagram for explaining an image processing device (hierarchical image encoding device) according to Embodiment 8 of the present invention.
  • FIG. 11 (a) is a block diagram showing the overall configuration
  • FIG. FIG. 11 (b) is a block diagram showing a detailed configuration of an encoder constituting the hierarchical image encoding device.
  • the hierarchical image coding device 108 of the eighth embodiment is different from the hierarchical image decoding device 106 of the sixth embodiment shown in FIG. This is provided with an encoder 16h that switches the encoding method in the same way, and the other configuration is the same as that of the hierarchical image encoding device 106 of the sixth embodiment.
  • the encoder 16 h of the eighth embodiment receives the blocked high-resolution encoded signal HB g and determines whether or not a block corresponding to this image signal includes a boundary of an object. And outputs a determination signal BD corresponding to the determination result, and outputs a determination signal BD 1 indicating that the boundary of the object is included in the block.
  • a mode judgment that receives the signal HB g and the judgment signal BD 1 and outputs an identification signal MD 1 indicating whether or not to refer to the low-resolution image signal LS g when the block includes an object boundary.
  • the encoder 16h encodes the decision signal BD and the identification signal MD1 based on the encoding mode signal Mg of the low-resolution encoded signal LEg, and outputs a mode encoded signal EMg.
  • Mode encoder 71, first and second arbitrary shape encoders 73a and 73b different in the method of arbitrary shape encoding processing for high-resolution image signal HSg, and high-resolution image signal A fixed shape encoder 74 for performing a fixed shape encoding process on HS g.
  • the first arbitrary shape encoder 73 a is configured to perform arbitrary shape encoding of the high-resolution image signal HS g with reference to an interpolation signal LA g obtained by up-sampling the low-resolution decoded signal L dg.
  • the second arbitrary shape encoder 73 b generates a high-resolution image signal without referring to an interpolation signal LA g obtained by up-sampling the low-resolution decoded signal. It is configured to perform HS g arbitrary shape encoding processing.
  • the encoder 16h converts the high-resolution surface image signal HSg into the first and second signals based on the output BD of the boundary determiner 70 and the output MD1 of the mode determiner 75.
  • the front-stage switch 52 to be supplied to any one of the arbitrary shape encoders 7 3a and 7 3b and the fixed shape encoder 74, and the output MD and the mode determiner of the boundary determiner 70
  • a subsequent switch 5 5 for selecting one of the outputs of the first and second arbitrary shape encoders 73 a, 73 b and the fixed shape encoder 74 based on the output MD 1 of 75
  • a multiplexer 56 for multiplexing the output of the post-stage switch 55 and the mode coded signal EMg.
  • the arbitrary-shape encoder 73a or 73b performs an arbitrary-shape encoding process according to the object shape, and the high-resolution block is located outside the object.
  • a fixed shape decoder 74 that can efficiently encode the image signal (fixed shape) in the block is encoded.
  • the object boundary is included in the low-resolution block, the object boundary is also included in the corresponding high-resolution block, and if the low-resolution block is located inside or outside the object, the corresponding high-resolution block is used.
  • the resolution block is also likely to be located inside and outside the object. Therefore, performing the encoding process on the high-resolution block with reference to the encoding mode for the low-resolution block (that is, the positional relationship between the low-resolution block and the boundary of the object) increases the encoding efficiency. Will be effective.
  • FIG. 12 is a diagram showing whether the low-resolution rectangular area and the high-resolution rectangular area are inside the object or outside the object.
  • Fig. 12 (a) shows whether or not each of the broken LMBs constituting the low-resolution rectangular area LR shown in Fig. 2) is inside the object Lob.
  • ) Indicates whether or not each block HMB 1 constituting the high-resolution rectangular area HR shown in the figure is within the object H 0 b. It shows whether or not the block AM B constituting the interpolated rectangular area AR shown in the figure is inside the object A ob.
  • FIG. 12 (d) shows the high resolution rectangular area HR shown in FIG. 6 (d). It is shown whether each block HMB 2 formed is in the object H ob or not.
  • the block with the symbol] is a block located inside the object
  • the block with the symbol O is Blocks located outside the object
  • blocks with the symbol IO are blocks located at the object boundary.
  • the interpolation rectangular area AR (FIG. 12 (c)) corresponding to the resolution image signal LA g of the low-resolution image signal LS g is converted into the high-resolution image signal HS g Compared to the rectangular region HR (Fig. 12 (b) or Fig. 12 (d)) corresponding to, whether the low-resolution block LMB is located inside the object, outside the object, or at the object boundary?
  • the boundary determiner 70 determines whether or not the boundary of the object is included in the high-resolution block.
  • the mode encoder 71 When encoding is performed by the mode encoder 71 with reference to the encoded mode signal Mg, if the presence or absence of an object boundary matches between the low-resolution block and the corresponding high-resolution block, the high-resolution block By assigning a code having a short code length to the coding mode signals BD and BD 1 of the first embodiment, the number of coding bits can be saved.
  • the image signal HBg is subjected to an arbitrary shape encoding process or a fixed shape code. It is determined whether or not to perform the conversion process.
  • the mode determiner 75 converts the low-resolution decryption signal L dg based on the determination signal BD 1 corresponding to the determination result from the boundary determiner 70 and the blocked high-resolution image signal HB g.
  • the first and second arbitrary shape encoders 73a and 73b, and the fixed shape encoding are performed according to the determination results in the determiners 70 and 7S.
  • One of the containers 74 is selected.
  • the high-resolution image signal HB g is encoded by the selected encoder 73 a, 73 b, or 74 and output to the multiplexer 56.
  • the encoding process of the determination signal BD of the boundary determiner 70 and the determination signal MD1 of the mode determiner 75 is performed by the encoding module KM g of the low-resolution block.
  • the output SHEg of the switch 56 and the output EMg of the mode encoder 71 are multiplexed to the multiplexer 56 and output as a high-resolution encoded signal HEg. You.
  • the encoding mode of the high-resolution block is encoded by the encoder 16h with reference to the encoding mode Mg of the low-resolution block.
  • the positional relationship between the high-resolution block and the object is determined, and the encoding method for the high-resolution block is determined.
  • the arbitrary shape code that refers to the low-resolution image signal is determined.
  • An arbitrary shape encoding process that does not refer to the low-resolution image signal, or a fixed shape encoding process is applied to the high-resolution image signal, so that the hierarchical encoding process with even higher encoding efficiency can be performed.
  • Embodiment 8 the configuration in which the encoding method of the high-resolution image signal is switched and the encoding method of the encoding mode of the high-resolution block is switched according to the encoding mode of the low-resolution block is described. According to the low-resolution block encoding mode, only one of the high-resolution image signal encoding method and the high-resolution block encoding method may be switched.
  • FIG. 13 is a diagram for explaining an image processing device (hierarchical image decoding device) according to Embodiment 9 of the present invention.
  • FIG. 13 (a) is a block diagram showing the overall configuration
  • FIG. FIG. 13 (b) is a block diagram showing a detailed configuration of a decoder constituting the hierarchical image decoding device.
  • the hierarchical image decoding apparatus 109 of the ninth embodiment includes a low-resolution encoded signal and a high-resolution code encoded by the hierarchical image encoding apparatus 108 of the eighth embodiment shown in FIG. It is intended to decode the signal, in place of the decoder 4 0 g in the hierarchical image coding apparatus 1 0 7 of the seventh embodiment shown in 1 0 Figure, according to the coding mode signal obtained by decoding And a decryption device 40 i for switching the decryption method.
  • Other configurations of the hierarchical image encoding device 109 are the same as those of the hierarchical image encoding device 107 of the seventh embodiment.
  • the decoder 40 i includes a separator 60 that separates and extracts the mode coded signal EM g from the high-resolution coded signal HE g, the coded signal EM g, first a mode decryption device 7 5 a for decoding with reference to the coding mode signal M g of the low-resolution image signal, the decoding method for the high-resolution coded signal HS g is different 1 And a second arbitrary shape decoder 76a and 76b, and a fixed shape decoder 77.
  • the first arbitrary shape decoder 7 6 a is referring to high-resolution code Cassin interpolation signal the low-resolution decoded signal to up-sampling
  • the second arbitrary-shape decoder 76b does not refer to the interpolated signal obtained by up-sampling the low-resolution decoded signal, and The decryption process is performed.
  • the decoder 40 i based on the encoded mode signal DM g decoded by the mode decoder 75 a, converts the ⁇ resolution encoded signal HE g into the first and second encoded signals HE g. 2 and the former-stage switch 62, which is supplied to one of the arbitrary shape decoders 76a and 76b and the fixed shape decoder 77, and the mode decoder 75a. Based on the coding mode signal DMg, one of the outputs of the first and second arbitrary-shape decoders 76a and 76b and the fixed-shape decoder 77 is selected to perform high-resolution decoding. And a rear-stage switch 65 that outputs the converted signal HDg.
  • the operation other than the decoder 40 i is exactly the same as that of the hierarchical image decoding apparatus 107 according to the seventh embodiment. Describes only the operation of the decoder 40 i.
  • the mode decoder 75a of the decoder 401 the mode decoder 75a of the high-resolution image is referred to by referring to the encoded mode signal Mg of the low-resolution image (that is, whether it is inside or outside the object). Decode the encoded signal EM g. In the former-stage switch 62 and the latter-stage switch 65, one of the three decoders is selected according to the encoding mode of the decoded high-resolution image.
  • the image-encoded signal having the arbitrary shape encoded is decoded by the first or second arbitrary-shape decoder 76, and the image signal having the fixed shape encoded is decoded by the fixed-shape decoder 77. Decrypted.
  • FIG. 14 is a diagram for explaining an image encoding device (hierarchical image encoding device) according to Embodiment 10 of the present invention
  • FIG. 14 (a) is a block diagram showing the overall configuration thereof
  • FIG. 14 (b) is a block diagram showing a detailed configuration of an encoder that constitutes the hierarchical image encoding device.
  • the hierarchical image encoding device 110 of the tenth embodiment is different from the hierarchical image encoding device 106 of the sixth embodiment shown in FIG. This is provided with an encoder 16 j for switching the encoding method in accordance with the scanning direction in which is larger, and the other configuration is the same as that of the hierarchical image encoding device 106 of the sixth embodiment.
  • the encoder 16 j receives the block-converted high-resolution coded signal HBg, and determines a scanning direction in which the correlation between image values in each block is large.
  • a mode encoder that encodes the signal SD based on a mode signal M g indicating a scanning direction having a large correlation between pixel values and the low-resolution encoded signal LE g and outputs a mode encoded signal EM g 8 1
  • a horizontal scan encoder 83 that performs horizontal scan encoding on the high-resolution image signal HSg; and a vertical encoder that performs vertical encoding on the high-resolution image signal HSg. 8 and 4.
  • the encoder 16 j converts the high-resolution image signal HS g into the horizontal scan encoder 83 and the vertical scan encoder 84 based on the output SD of the scan direction determiner 80. Either the horizontal scan encoder 83 or the vertical scan encoder 84 based on the pre-switch 52 supplied to any one of the above and the output SD of the scan direction determiner 80. And a multiplexer 56 for multiplexing the output of the subsequent switch 55 and the mode coded signal EMg.
  • the operation other than the encoder 16 j is performed in exactly the same way as the hierarchical image encoding device 106 of the sixth embodiment, Only the operation related to j will be described.
  • the encoding efficiency changes depending on the scanning direction. That is, in an image signal in which the horizontal correlation of pixel values is large, by sequentially encoding the pixel values of each pixel along the horizontal scanning direction, it is possible to perform encoding using the horizontal correlation effectively. In an image signal in which the vertical correlation of pixel values is large, by sequentially encoding the pixel values of each pixel along the vertical scanning direction, it is possible to perform encoding using the vertical correlation of pixel values effectively. is there.
  • the scanning direction determiner 80 determines the scanning direction in which the correlation of the pixel values is large, and switches either the horizontal scan encoder 83 or the vertical scan encoder 84 based on the determination result.
  • the encoding mode signal indicating the scanning direction in which the pixel value in the high-resolution image has a large correlation is used as the pixel value in the low-resolution image.
  • the mode encoder 81 with reference to the encoding mode signal Mg indicating the scanning direction having a large correlation of the scanning direction in which the pixel value between the low-resolution image and the high-resolution image has a large correlation If they match, a code having a short code length is assigned to the encoding mode signal corresponding to the high-resolution image signal. As a result, the number of coding bits required for coding the coding mode signal can be further reduced.
  • Embodiment 11 1.
  • FIG. 15 is a diagram for explaining an image processing device (hierarchical image decoding device) according to Embodiment 11 of the present invention.
  • FIG. 15 (a) is a block diagram showing the entire configuration thereof.
  • FIG. 15 (b) is a block diagram showing a detailed configuration of a decoder constituting the hierarchical image decoding device.
  • the hierarchical image decoding device 1 11 of the embodiment 11 includes a low-resolution coded signal and a high-resolution coded by the hierarchical image coding device 110 of the embodiment 10 shown in FIG. This is for decoding a coded signal.
  • a decoder 40 k for switching a decoding method in accordance with a decoded coding mode signal is used. Have.
  • Other configurations of the hierarchical image encoding device 110 are the same as those of the hierarchical image encoding device 107 of the seventh embodiment shown in FIG.
  • the decoder 40 k of Embodiment 1] outputs the high-resolution encoded signal H O 98/31151
  • the decoder 4 Ok converts the high-resolution coded signal HEg into the horizontal scanning decoder 8 based on the coded mode signal DMg decoded by the mode decoder 85. 6 and the vertical scanning decoder 87, and the horizontal scanning decoding based on the encoding mode signal DMg decoded by the mode decoder 85 and the pre-switch 62 supplied to any of the above.
  • a post-stage switch 65 for selecting one of the outputs of the decoder 86 and the vertical scanning decoder 87 and outputting it as a high-resolution decoded signal HDg.
  • the mode encoding of the high-resolution image is performed by referring to the encoding mode Mg of the low-resolution image (that is, the scanning direction in which the correlation between the pixel values is large).
  • the horizontal scan encoding process is performed by switching the switches 62 and 65 according to the DMg, which is the encoding mode signal of the decoded high-resolution image (a signal indicating the scanning direction in which the pixel value has a large correlation).
  • the resulting image signal is decoded by a horizontal scanning decoder 86, and the image signal that has been subjected to the vertical scanning encoding process is decoded by a vertical scanning decoding device 87.
  • the eleventh embodiment it is possible to correctly decode a coded signal that has been subjected to the horizontal scan coding process or the vertical scan coding process according to the shape of an object.
  • Embodiment 1 2.
  • FIG. 16 is a diagram for explaining an image processing device (hierarchical image coding device) according to Embodiment 12 of the present invention.
  • FIG. 16 (a) is a Bronk diagram showing the entire configuration thereof
  • FIG. 16 (b) is a block diagram showing a detailed configuration of a porcelain encoder 16m constituting the hierarchical image encoding device.
  • FIG. 16 (c) is a block diagram showing the encoder 16m.
  • FIG. 28 is a block diagram illustrating a specific configuration of a second encoder 54 m that is configured.
  • the hierarchical image encoding device 112 of the embodiment 12 is different from the encoder 16 of the above-described embodiment 6 in that the encoder 16 refers to a motion vector of a low-resolution image,
  • the encoder is provided with an encoder 16 m for encoding an image signal, and the other configuration is the same as that of the hierarchical image encoding device 106 of the sixth embodiment shown in FIG.
  • This encoder 16 m is configured such that the second encoder 54 in the encoder 16 f of the sixth embodiment performs inter-picture predictive encoding as necessary.
  • the other configuration is the same as that of the encoder 6f.
  • the second encoder 54 m constituting the encoder 16 m in the present embodiment encodes the high-resolution image signal HBg based on the prediction signal Pc to perform high-resolution encoding.
  • the second encoder 54 ⁇ receives the high-resolution image signal HB g, and receives the high-resolution local decoding S-decoded Hd g stored in the memory 94 and the low-resolution image.
  • a motion detector 90 that detects a motion vector HMV corresponding to a high-resolution image by referring to the motion vector LMV as the encoding mode Mg of the motion vector MV, and a motion vector HMV based on the motion vector HMV.
  • the motion compensator 91 for extracting the prediction signal P c from the memory 94 and the motion vector HMV of the high-resolution image are encoded based on the motion vector LMV of the low-resolution image.
  • a motion encoder 95 that outputs a motion vector coded signal H MV c, and a multiplexing unit that multiplexes and outputs the motion vector coded signal HM V c and the high-resolution coded signal HE g Vessel 56 m.
  • Image ⁇ The symbol has a correlation in the time direction, that is, a correlation between pixel values between the previous and next frames. Therefore, it is known that coding efficiency is improved by performing motion compensation using a motion vector.
  • the motion detector 90 of the encoder 16 m calculates the motion of the high-resolution image based on the decoded image signal H dg stored in the memory 94 and the blocked high-resolution image signal HB g.
  • the vector HMV is detected, and the motion compensator 91 generates a motion-compensated image (prediction signal) Pc based on the motion vector HMV of the detected high-resolution image.
  • the encoder 92 performs an encoding process on the block image signal HBg of the high-resolution image with reference to the motion compensation image Pc.
  • the high-resolution coded signal HEg obtained by this processing is decoded by the decoder 93 and stored in the memory 94 as a high-resolution locally-decoded signal Hdg.
  • the motion vector between the low resolution image motion vector LMV and the high resolution image motion vector HMV is also There is a correlation.
  • the motion encoder 95 refers to the encoding mode signal corresponding to the motion vector LMV of the low-resolution image, and refers to the motion vector of the high-resolution image detected by the motion detector 90.
  • the motion encoder 95 When encoding HMV, if the motion vector matches between the low-resolution image and the high-resolution image, assign a code with a short code length to the motion vector HMV of the high-resolution image. I have to. As a result, the number of coding bits required for coding a motion vector of a high-resolution image can be saved.
  • Embodiment 1 3.
  • FIG. 17 is a diagram for explaining an image processing device (hierarchical image decoding device) according to Embodiment 13 of the present invention.
  • FIG. 17 (a) is a block diagram showing the entire configuration thereof
  • FIG. 17 (b) is a block diagram showing a detailed configuration of a decoder 40n constituting the hierarchical image decoding device.
  • FIG. 17 (c) is a block diagram showing the decoder 40n.
  • FIG. 28 is a block diagram showing a specific configuration of a second decoder 64 n to be configured.
  • the hierarchical image decoding apparatus 1 13 of the embodiment 13 converts the encoded signal encoded by the hierarchical image encoding apparatus 1 12 of the embodiment 12 shown in FIG. It is becoming something.
  • This hierarchical image decoding apparatus 113 has the structure shown in FIG. 7. Instead of the decoder 40 g in FIG. 7, a decoder 40 n for decoding a high-resolution coded signal with reference to a motion vector of a low-resolution image is provided. Is the same as the hierarchical image decoding apparatus 107 of the seventh embodiment shown in FIG.
  • the decoder 64 n constituting the decoder 40 n may be replaced by the second decoder 64 in the decoder 107 of the seventh embodiment, if necessary.
  • the configuration is such that inter-picture prediction decoding is performed, and the other configuration is the same as that of the decoder 40 g of the seventh embodiment.
  • the second decoder 64 n constituting the decoder 40 n decodes the high-resolution coded signal HE g based on the prediction signal P d to perform high-resolution decoding.
  • the second decoder 64 n refers to the coding mode (motion vector) LMV of the low-resolution image and performs decoding processing on the separated mode coded signal EMg.
  • a motion decoder 96 for reproducing the motion vector HMV of the high-resolution image, and a high-resolution decoded signal HD g stored in the memory 94 b based on the reproduced motion vector HMV. 2 and a motion compensator 91b for extracting the prediction signal Pd from the second.
  • the separator 60 in the decoder 40n separates the code portion corresponding to the mode information (motion vector information) EMg from the high-resolution coded signal HEg.
  • the decoder 64 n refers to the encoding mode M g of the low-resolution image (that is, the motion vector L MV), and determines the motion vector of the high-resolution image from the code of the mode information separated by the separator 60.
  • the HMV is decoded, and the motion vector HMV is supplied to the motion compensator 91b.
  • the decoded high-resolution image stored in the memory 94b is obtained.
  • the motion compensation is performed by referring to the image signal Pd, and the decoder 93 b refers to the output Pd of the motion compensator 91 b to obtain a signal other than the mode information of the high-resolution coded signal HEg.
  • the encoded part is decoded, and a high-resolution decoded signal HDg2 is output.
  • the decoded signal HDg2 is stored in the memory 94b, and is referred to when a subsequent block is decoded.
  • Embodiment 13 of the present invention the high-resolution coded signal coded by referring to the motion vector LMV of the low-resolution image in the hierarchical image coding apparatus 112 of Embodiment 12 is described.
  • HE g can be correctly decoded.
  • Embodiment 1 4.
  • FIG. 18 is a diagram for explaining an image processing device (hierarchical image coding device) according to Embodiment 14 of the present invention.
  • FIG. 18 (a) is a block diagram showing the entire configuration thereof
  • FIG. 18 (b) is a block diagram showing a detailed configuration of an encoder 16p constituting the hierarchical image encoding device
  • FIG. 18 (c) is a block diagram showing the encoder 16p.
  • FIG. 21 is a block diagram showing a specific configuration of a second encoder 54 p that is configured.
  • the hierarchical image encoding device 114 of the embodiment 14 is different from the encoder 16 f of the embodiment 6 shown in FIG. 9 in that the motion vector of the low-resolution image and the encoded
  • the encoder is provided with an encoder 16p for encoding a high-resolution image signal by referring to a prediction vector predicted from a motion vector of a high-resolution image. This is the same as the hierarchical image encoding device 106 of mode 6.
  • This encoder 16 p is configured such that the second encoder 54 in the encoder 16 f of the sixth embodiment performs screen interpolative coding as necessary.
  • the other configuration is the same as that of the encoder 16f.
  • the second encoder 54 p constituting the encoder 16 p in the embodiment 14 constitutes the encoder 16 m in the embodiment 12 shown in FIG.
  • the motion vector coded signal corresponding to the low-resolution image and the motion vector coded signal corresponding to the coded high-resolution image A motion vector predictor 97 for generating a prediction motion vector P MV based on the motion vector, and the other configurations are the same as those of the encoder 16 m in the above-described Embodiment 12 It is the same as 2 encoder 54 m. Next, the operation and effect will be described.
  • the difference between the second encoder 54p in Embodiment 14 and the second encoder 54m in Embodiment 12 is the same as that of Embodiment 12 shown in FIG.
  • the encoder 54m encodes the motion vector of the high-resolution image with reference to the motion vector of the low-resolution image
  • the encoder of the embodiment 14 shown in FIG. 18 encodes the motion vector of the high-resolution image.
  • the quantizer 54 p refers to the motion vector of the high-resolution image by referring to the motion vector predicted and generated from the motion vector of the low-resolution image and the motion vector of the encoded high-resolution image. The point is to encode the torque.
  • Fig. 19 is an explanatory diagram for referring to the motion vector.
  • Fig. 19 (a) shows the motion vector LMV of the low-resolution image
  • Fig. 19 (b) shows the motion vector HMV of the high-resolution image
  • Fig. 19 (c) shows the resolution of the low-resolution image.
  • the converted interpolation motion vector AMV is shown.
  • the motion vector of the coded block B X for the high-resolution image shown in Fig. 19 (d) is converted into the motion vector L MV (Fig. 19 ( a)) and the motion vectors MMV1 to HMV3 of the coded high-resolution image (see Fig. 19 (b)). )
  • the coding efficiency of the motion vector can be improved as compared to the case where the motion vector of the high-resolution image is simply referred to only by referring to the motion vector of the low-resolution image at the same spatial position.
  • the motion estimator 97 uses the motion vector HMV (HMV 1 to HMV 3) coded signal HE mv of the high-resolution image, which is encoded by the motion encoder 95, and the motion of the low-resolution image.
  • a motion vector prediction value PMV of a high-resolution image is generated with reference to the coded signal M g (LE mv) of the vector, and the motion coder 95 generates the predicted motion vector P MV.
  • the motion vector HMV of both high-resolution images detected by the motion detector 90 is encoded.
  • the predicted motion vector PE m V encoded by the motion encoder 95 is multiplexed by the multiplexer 56 m with the high-resolution encoded signal output from the encoder 92. Then, it is output as the output HD g2 of the second encoder 54 p.
  • the motion vector of the low-resolution image and the motion vector of the high-resolution image are different. Since the motion vector of the high-resolution image is encoded with reference to the prediction motion vector predicted and generated from the motion vector of the image, the motion vector of the high-resolution image is Greater savings in the number of coded bits for a vector.
  • the motion detector 90 uses the locally decoded signal stored in the memory 94 to correspond to the target high-resolution block to be subjected to the encoding process.
  • a prediction signal prediction region
  • a motion vector having a value as close as possible to the motion vector of a low-resolution image is selected as a motion vector of a high-resolution image.
  • the encoding method of the high-resolution image signal and the encoding method of the encoding mode of the high-resolution image signal are switched according to the encoding mode of the low-resolution image.
  • the encoding mode of the low-resolution image only one of the encoding method of the high-resolution image signal and the encoding method of the encoding mode may be switched.
  • FIG. 20 is a diagram for explaining an image processing device (hierarchical image decoding device) according to Embodiment 15 of the present invention
  • FIG. 20 (a) is a pronk diagram showing the overall configuration thereof
  • FIG. 20 (b) is a block diagram showing a detailed configuration of a decoder 40q constituting the hierarchical image decoding device.
  • FIG. 20 (c) is a block diagram showing the decoder 40q.
  • FIG. 27 is a block diagram showing a specific configuration of a second decryption unit 64 q that constitutes FIG.
  • the hierarchical image decoding device 1 15 of the embodiment 15 is adapted to hierarchically decode the coded signal encoded by the hierarchical image coding device 114 of the embodiment 14 shown in FIG. Is what you do.
  • This hierarchical image decoding apparatus 115 is different from the encoder 40 g in the seventh embodiment shown in FIG. 10 in that a motion vector of a low-resolution image and a motion vector of an encoded high-resolution image are replaced.
  • a decoder 40 q that decodes a high-resolution image signal with reference to a prediction vector predicted from a vector is provided. It is the same as the decoding device 107.
  • This decoder 40 ⁇ is the second code in the decoder 40 g of the seventh embodiment.
  • the encoder 64 is configured to perform screen interpolative prediction encoding as necessary, and the other configuration is the same as that of the decoder 40g.
  • the second decoder 64 q constituting the decoder 40 q in this embodiment is the same as that of the second decoder 64 n in the embodiment 13 shown in FIG.
  • a motion vector LMV corresponding to the low-resolution image and a motion vector HMV corresponding to the encoded high-resolution surface image are used to generate a predicted motion vector PMV.
  • the motion vector predictor is provided with a motion vector predictor 98, and the other configuration is the same as that of the second encoder 64n in Embodiment 13 described above.
  • the operation of the decoder 40 q other than the second decoder 64 q is the same as that of the hierarchical image decoding apparatus of the above embodiment 13. Since the operation is performed in exactly the same way as the decoding device 113, only the operation of the decoder 40q regarding the second decoder 64q will be described.
  • the motion estimator 98 in the second decoder 64q the motion vector HMV of the high-resolution image decoded by the motion decoder 96 and the low resolution supplied from the mode decoder 61 With reference to the motion vector L MV (DM g) of the image, a predicted value P MV of the motion vector of the high-resolution image block is generated. Then, the motion decoder 96 decodes the encoded signal E Mg of the motion vector for the high-resolution image with reference to the motion vector P MV generated by prediction. Other operations are the same as those of the hierarchical image decoding apparatus 113 of the embodiment 13 in FIG.
  • the motion vector coded signal encoded with reference to the motion vector of the encoded high-resolution image and the motion vector of the low-resolution image Can be correctly decoded.
  • FIG. 21 shows a hierarchical image encoding process or a hierarchical image decoding process by the image processing apparatus according to each of the above-described embodiments, in which programs corresponding to these image processes are stored.
  • FIG. 8 is a diagram for explaining a case in which the present invention is implemented by a computer system using a floppy disk.
  • Fig. 21 (b) shows the external appearance, cross-sectional structure, and the main body of the floppy disk FD as a recording medium when viewed from the front of the floppy disk FD
  • Fig. 21 (a) shows the physical format of the main body D of the floppy disk.
  • the floppy disk main body D is housed in a case F.
  • On the surface of the disk main body D a plurality of tracks Tr are formed concentrically from the outer periphery to the outer periphery, and each track is formed in an angular direction. Is divided into sectors Se. Accordingly, in the floppy disk main body D storing the program, data as the program is recorded in an area allocated on the floppy disk main body D.
  • FIG. 21 (c) shows a configuration for recording and reproducing the above program on a floppy disk FD.
  • the above program is recorded on the floppy disk FD
  • data as the above program is written from the computer system Cs to the floppy disk FD via the floppy disk drive F DD.
  • the program is read from the floppy disk FD by the floppy disk drive FDD, and the computer system Cs is read. Transfer to
  • image processing by a computer system using a floppy disk as a data recording medium has been described.
  • this image processing can be similarly performed using an optical disk.
  • the recording medium is not limited to this, and the above-described image processing can be similarly performed as long as the recording medium can record a program such as an IC card or a ROM cassette.
  • the mode determiner 50 (FIG. 9 (b)), the boundary determiner 70 (the 11th (b) ) And the scanning direction determiner 80 (FIG. 14 (b)) are configured to determine the coding method based on the externally input high-resolution image signal before the coding process.
  • the determinator may determine the coding method, that is, the coding mode, by comparing the results (coded signals) obtained by coding with a plurality of coding methods.
  • the image processing method, the image processing apparatus, and the data recording medium according to the present invention can improve the coding efficiency in the compression processing of the image signal, and can improve the image processing in the system for transmitting and storing the image signal. It is extremely useful for realizing encoding and image decoding, and is particularly suitable for compression and decompression of moving images conforming to MPEG4 and other standards.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

明 細 書 画像処理方法及び画像処理装置、 並びにデータ記録媒体 技術分野
本発明は、 画像処理方法及び画像処理装置、 並びにデータ記録媒体に関し、 特 に画像信号の記録あるいは伝送を、 より少ないビン ト数でもつで画質を損なうこ となく行うための階層符号化処理及び喈層復号化処理、 並びにこれらの階層符号 化処理あるいは喈層復号化処理を実現するためのプログラムを格納した記録媒体 に関するものである。 背景技術
画像処理を表示画面上に表示されている個々の物体 （オブジェク ト） 単位で行 うことを可能とするためには、 画像信号として、 通常の輝度信 及び色差信号の 他に物体の形状を表す形状信号が必要である。 なお、 以下の説明では、 これらの 輝度信号， 色差信号に加えて形状信号を含む、 つまり物体の形状情報を有する画 像信号を、 単に画像信号という。
このような画像信号は、 物体単位で扱えるという観点から、 画像情報や音声情 報等を同時に関連づけて表すマルチメディアに適しており、この画像信号の符号 化処理に関する技術は、 現在 I S O / I E C (International Organi zation for Standardization/International Electrotechnical し omraission Joint Technical Commission)の作業グノレ—プである M P E G (Moving Pi cture Experts Group) 4 により標準化活動が行われている。
以下、 従来の画像信号の階層符号化処理について説明する。
第 2 2図は解像度の異なる画像信号に対応する表示面面 （以下、 フ レームとも 言う。 ） を示す。 図中、 L Fは低解像度画像信号に対応する表示画面 （第 2 2 (a) 図） 、 H Fは高解像度画像信号に対応する表示画面 （第 2 2 (b)図） である。 ま た、 L o bは低解像度画像信号により上記フレーム L F上に表示される 1つの物 体の画像、 H o bは高解像度画像信号により上記フレーム H F上に表示される 1 つの物体の画像であり、 ドッ ト表示領域が各物体内部の領域である。
従来の画像符号化処理 （現在の M P E G 4の最新評価モデル方式） では、 1フ レーム上に、 個々の物体に対応する、 該物体を包含する矩形領域を設定し、この 矩形領域を更にブロック （M P E G 4の評価モデルでは 1 6 X 1 6画素の正方ブ ロック） に分割する。 そして、 個々の物体に対する画像信号の符号化処理は、 上 記矩形領域を構成するプロック単位で行う。
従って、 M P E G 4に対応した階層符号化処理では、 第 2 2 (c)図に示すよう に、 低解像度フレーム L F上で物体 L 0 bに対応した低解像度矩形領域 L Rを設 定するとともに、 第 2 2 (d)図に示すように、 高解像度フレーム H F上で物体 H o bに対応した髙解像度矩形領域 H Rを設定する必要がある。
このような階層符号化処理では、 矩形領域の設定の際に、 低解像度画像信号に 対する矩形領域 L Rの設定と、 高解像度画像信号に対する矩形領域 H Rの設定と を独立して行うこととなり、 その結果として、 符号化処理は簡単であるが、 物体 に対する各ブロックの空間位置 （つまりフレーム上での各ブロックの位置） は、 低解像度矩形領域のプロックと高解像度矩形領域のプロックとの間で一致せず、 また、 低解像度矩形領域と高解像度矩形領域との間でのブロックの対応もとれな い場合がある。
以下詳述すると、 第 2 3図は従来の階層画像符号化装置を説明するためのプロ ック図である。
この従来の画像符号化装置 2 0 0 aは、 画像入力信号を受け、 この画像入力信 号を高解像度画像信号 H S gとして階層符号化処理を行う構成となっている。 つ まりこの階層画像符号化装置 2 0 ϋ aは、 該高解像度画像信号 H S gをサブサン プルして低解像度画像信号 L S gを生成するサブサンプル器 2と、 該低解像度画 像信号 L S gに対して符号化処理を施して低解像度符号化信号 L E gを生成する 低解像度符号化部 2 0 1 Lとを有している。 また、 この階層画像符号化装置 2 0 O aは、 上記低解像度符号化信号 L £ gを復号化する復号化器 9 a と、 該復号化 器 9 aの出力 L d gをァップサンプルするアップサンプル器 1 0 aと、 該ァップ サンプル器 1 0 aの出力 L A gに基づいて、 上記高解像度画像信号 H S gに対し て符号化処理を施して、 高解像度符号化信号 H E gを出力する高解像度符号化部 201 Hとを有している。
上記低解像度符号化部 201 Lは、 上記低解像度面像信号 L S gに基づいて、 低解像度フレーム L F上での個々の物体に対応する低解像度矩形領域 L Rの位置 や大きさ等の情報を検出し、 該情報を矩形信号 LR gとして出力する領域検出器 3と、 該矩形信号 LR gに基づいて、 上記低解像度画像信号 L S gから、 上記矩 形領域 LRに対応する画像信号 LO gを抽出する領域抽出器 5とを有している。 さらに、 上記符号化部 2 O I Lは、 上記矩形領域 LRに対応する画像信号 （物体 対応画像信号） L〇 gを、 該矩形領域を区分する 16 X 1 6画素からなるブロッ ク MBに対応するよう分割して、 各ブロックに対応する画像信号 （ブロック化画 像信号） L B gを出力するブロック化器 6と、 該ブロック化画像信号 L B gを符 号化して、 低解像度符号化信号 L E gを出力する符号化器 7とを有している。 また、 上記高解像度符号化部 201 Hは、 上記高解像度画像信号 H S gに基づ いて、 高解像度フレーム HF上での個々の物体に対応する高解像度矩形領域 HR の位置や大きさ等の情報を検出し、 該情報を矩形信号 HR gとして出力する領域 検出器 1 2と、該矩形信 HR gに基づいて、上記高解像度面像信号 HS から、 上記矩形領域 HRに対応する画像信号 HO gを抽出する領域抽出器 1 4とを有し ている。 さらに、 上記符号化部 201Hは、 上記矩形領域 HRに対応する画像信 号 （物体対応画像信号） HO gを、 該矩形領域を区分する 16 X 1 6画素からな るブロック MBに対応するよう分割して、 各ブロックに対応する画像信号 （ブロ ック化画像信号） HB gを出力するブロック化器 1 5と、 該ブロック化画像信号 HB gを符号化して、 高解像度符号化信号 HE gを出力する符号化器 1 6とを有 している。
次に動作について説明する。
本画像符号化装置 200 aに画像入力信号として高解像度画像信号 H S gが入 力されると、 サブサンブル器 2では上記高解像度画像信号 H S gがそのサブサン プルにより低解像度画像信号 L S gに変換される。
上記低解像度符号化部 201 Lの領域検出器 3では、 上記低解像度画像信号 L S gに基づいて、 第 22 (c)図に示すように低解像度フ レーム: L F上にて、 処理 対象となる物体 L o bを包含する矩形領域 LRの範囲を検出し、 該矩形領域 LR の位置及び大きさ等の情報を矩形信号 LR gとして出力する。 すると、 上記符号 化部 201 Lの領域抽出器 5ではこの矩形信号 LR gに基づいて、 上記低解像度 画像信号 L S gから、 上記矩形領域 L Rに対応する物体対応画像信号 L O gが抽 出される。 さらに、 上記符号化部 20 1 Lのプロック化器 6では、 第 22 (c)図 に示すように、 上記物体対応画像信号 L〇 gが、 上記低解像度矩形領域 LRを区 分する複数のブロック MBの各々に対応するよう分割され、 各ブロック MBに対 応するブロック化画像信号 LB gとして符号化器 7に出力される。 そして、 該符 号化器 7にて上記プロック化画像信号 LB gの符号化処理が行われて、 上記符号 化部 201 Lから低解像度符号化信号 LE gが出力される。
この低解像度符号化信号 LE gは、 復号化器 9 aにて複号化処理により低解像 度復号化信号 L d gに変換され、 この復号化信号 L d gはアップサンプル器 1 0 aにて補間処理により、 高解像度画像信号と同じ空問解像度の捕間復号化信号 L A gに変換され、 高解像度符号化部 201 Hの符号化器 1 6に出力される。
このとき、 上記高解像度符号化部 201 Hでは、 上記低解像度符号化部 20 1 Lとほぼ同様な処理が行われる。
つまり、 この符号化部 201 Hの領域検出器 1 2では、 上記高解像度画像侰号 HS gに基づいて、 第 22 (d)図に示すように高解像度フレーム HF上にて、 処 理対象となる物体 H o bを包含する矩形領域 HRの範囲を検出し、 該矩形領域 H Rの位置及び大きさ等の情報を矩形信号 HR gとして出力する。 すると、 上記符 号化部 201 Hの領域抽出器 1 4ではこの矩形信号 HR gに基づいて、 上記高解 像度画像信号 HS gから、 上記矩形領域 HRに対応する物体対応画像 ί言号 HO g が抽出される。 さらに、 上記符号化部 201 Hのブロック化器 1 5では、 図 22 (d)に示すように、 上記物体対応画像信号 HO gが、 上記高解像度矩形領域 HR を区分する複数のブロック MBの各々に対応するよう分割され、 各ブロック MB に対応するプロック化画像信号 HB gとして符号化器 1 6に出力される。そして、 該符号化器 1 6では、 上記ブロック化画像信号 HB gの符号化処理が、 上記補間 復号化信号 L A gに基づいて行われて、 上記符号化部 201 Hから高解像度符号 化信号 HE gが出力される。
上記のような階層画像符号化装置 200 aにより符号化された低解像度符号化 信号 L E gに対しては、 これと矩形信号 LR gとに基づいて、 低解像度画像信号 L S gに相当する復号化信号を生成する復号化処理を行うことができ、 また、 上 記符号化装置 200 aにより符号化された高解像度符号化信号 HE gに対しては、 上記低解像度符号化信号 LE g, 矩形信号 LR g， 高解像度符号化信号 HE g, 及び矩形信号 HR gに基づいて、 高解像度画像信号 HS gに相当する復号化信号 を生成する復号化処理を行うことができる。 しかも、 萵解像度画像信号 HS gの 符号化処理では、 低解像度画像信号 LS gを参照して該両画像信号 L S g及び H S g間での画素値の相関を利用することにより、 高解像度画像信号 H S gを、 こ れを独立して符号化する場合に比べて、 より少ないビッ ト数で符号化することが できる。
第 24図は従来の階層画像複号化装置を説明するためのプロック図である。 この階層画像復号化装置 200 bは、 第 23図に示す従来の画像符号化装置 2 00 aにより符号化された低解像度符号化信号 LE g及び高解像度符号化信号 H E gを入力信号として、 階層復号化処理を行うものである。
すなわち、 この階層画像復号化装置 200 bは、 上記低解像度符号化信号 LE gに対して復号化処理を施して低解像度再生信号 L C gを生成する低解像度復号 化部 202 Lと、 該復号化部 202 Lでの複号化処理途中の信号 LD gをアップ サンプルにより補間するアップサンプル器 10 bと、 該アンプサンプル器 10 b の出力 AD gに基づいて上記高解像度符号化信号 HE gに対して復号化処理を施 して高解像度再生信号 HC を生成する高解像度復号化部 202 Hとを有してい る。
上記低解像度復号化部 202 Lは、 上記低解像度符号化信号 LE gに対する復 号化処理を行って、 各プロックに対応する低解像度復号化信号 LD gを生成する 復号化器 9と、 該低解像度復号化信号 LD gを統合して、 上記矩形領域 LRに対 応する復号化統合信号 L I gを生成する逆ブロック化器 20と、 該矩形領域 に対応する復号化統合信号 L I gを、 上記符号化装置 200 aからの矩形信号 L R gが示す低解像度フレーム L F上の位置に該矩形領域 L Rが配置されるよう、 1フレームを形成するその他の画像信号と合成する領域合成器 21とを有してい る。 また、 上記高解像度複号化部 202Hは、 上記アップサンプル器 10 bの出力 AD gに基づいて高解像度符号化信号 HE gに対する復号化処理を行って、 各ブ 口ックに対応する高解像度復号化信号 HD gを生成する復号化器 30と、 該高解 像度復号化信号 HD gを統合して、 上記矩形領域 HRに対応する復号化統合信号 H I gを生成する逆ブロック化器 31と、 該矩形領域 HRに対応する複号化統合 信号 H I gを、 上記符号化装置 200 aからの矩形信号 HR gが示すフレーム H F上の位置に該矩形領域 HRが配置されるよう、 1フレームを形成するその他の 画像信号と合成する領域合成器 32とを有している。
次に動作について説明する。
本画像復号化装置 200 bに上記低解像度符号化信号 L E g及び髙解像度符号 化信号 HE gが入力されると、 該低解像度符号化信号 LE gは上記低解像度復号 化部 202 Lの復号化器 9にて復号化処理が施されて低解像度復号化信号 LD g が生成される。 この低解像度復号化信号 LD gは、 上記アップサンプル器 1 0 b にてァップサンプル処理により補間されて、 上記高解像度に対応する空間解像度 を有する補間復号化信号 AD gに変換される。 また、 上記低解像度複号化信号 L D gは、 さらに逆ブロック化器 20により統合されて、 上記矩形領域 LRに対応 する復号化統合信号 L I gが生成される。 そして、 この復号化統合信号 L I gは、 領域合成器 21にて上記符号化装置 200 aからの矩形信号 LR gに基づいて、 1フレームを形成するその他の画像信号と合成されて、 低解像度再生信号 LC g として出力される。 なお、 この合成処理により、 上記矩形信号 LR gが示すフレ ーム LF上の位置に、 復号化統合信号 L I gによる矩形領域 L Rの画像が配置さ れる。
一方、 上記高解像度符号化信号 HE gは上記高解像度複号化部 202 Hの復号 化器 30にて、 アップサンプル器 10 bの出力 AD gに基づいて複号化処理が施 されて、 高解像度復号化信号 HD gが生成される。 この高解像度復号化信号 HD gは、 さらに逆ブロック化器 3 1により統合されて、 上記矩形領域 HR内の画像 に対応する複号化統合信号 H I gが生成される。 そして、 この復号化統合信号 H I gは、 領域合成器 32にて上記符号化装置 200 aからの矩形信号 HR gに基 づいて 1フレームに対応するその他の画像信号と合成されて、 高解像度再生信 号 HC gとして出力される。 なお、 この合成処理により、 上記矩形信号 HR gが 示すフレーム HF上の位置に、 復号化統合信号 H I gによる矩形領域 HRの画像 が配置される。
このような構成の階層画像復号化装置 200 bでは、 低解像度符号化信号 L E gに復号化処理及び逆ブロック化処理を順次施した後、 矩形領域 LRがフレーム LF内の所定位置に配置されるよう、 該矩形領域 LRに対応する低解像度複号化 信号 I gに領域合成処理を施すので、 フレーム F L內の個々の物体に対応する 矩形領域 L Rを対象とした符号化処理により得られる低解像度符号化信号 L E g を復号化することができる。
また、 高解像度符号化信号 HE gを低解像度復号化信号 LD gを参照して復号 ィ匕して高解像度復号化信号 HD gを生成し、 その後この復号化信号 HD gに逆ブ 口 'ンク化処理を施し、 さらに矩形領域 HRがフレーム HF内の所定位置に配置さ れるよう、 該矩形領域 HRに対応する高解像度復号化信号 H I gに領域合成処理 を施すので、 フレーム HF内の個々の物体に対応する矩形領域 HRを対象とした 階層符号化処理により得られる高解像度符号化信号 HE gを、 正しく復号化する ことができる。
ところが、 従来の階層面像符号化装置 200 aでは、 低解像度フレーム LF內 におけろ矩形領域 LRの範囲を検出する処理と、 高解像度フレーム HF内におけ る矩形領域 HRの範囲を検出する処理とが独立して行われており、 このため、 第 22 (c)図， 第 22 (d)図に示すように、 低解像度矩形領域 LRを区分する各プロ ック MBの、 低解像度画像 L 0 bに対する空問位置と、 高解像度矩形領域 HRを 区分する各プロック MBの、 高解像度画像 H o bに対する空間位置とがー致しな い。 この場合， 上記高解像度矩形領域 HRに対応する高解像度画像信号 HO gを ブロック毎に符号化する際、 被符号化高解像度プロンクに対する低解像度プロッ クの対応づけが困難となって、 高解像度画像信号と低解像度画像信号との差分値 の演算処理が複雑となる。 この結果、 被符号化高解像度ブロックに対する符号化 処理の際に、 この被符号化高解像度プロックとの間で空間位置が完全に一致する 低解像度プロックを参照する場合よりも、 階層符号化処理における予測効率が劣 化することとなり、 符号化効率の低下にもつながるという問題があった。 本発明は上記のような問題点を解決するためになされたもので、 フレーム内の 個々の物体に対応する矩形領域を対象とする階層符号化処理を行う際、 低解像度 画像信号を参照する高解像度画像信号の符号化処理を符号化効率の低下を招くこ となく行うことができる階層符号化処理、 及びこれに対応する階層復号化処理を 実現できる画像処理方法及び画像処理装置、 並びに上記階層符号化処理及び階層 復号化処理をソフ トウェアにより実現することができるプ nグラムを格納したデ —タ記録媒体を得ることを目的とする。 発明の開示
この発明 （請求の範囲第 1項） に係る画像処理方法は、 物体の形状情報を有す る画像入力信号に基づいて、 空間解像度が異なる複数の画像空間を形成する階層 画像信号として、 少なく とも低解像度画像信号及び高解像度画像信号を生成し、 上記高解像度画像信号を、 高解像度画像空間における所定数の画素からなる高解 像度ブロックに対応すろよう区分するとともに、 上記低解像度画像信号を、 低解 像度画像空間における所定数の画素からなる低解像度プロックに対応するよう区 分し、 処理対象となる対象高解像度プロックを形成する高解像度画像信号に対す る符号化処理を、 該高解像度ブロックに対応する低解像度プロックを形成する低 解像度画像信号を参照して順次行う階層画像符号化方法であって、 上記符号化処 理の際に参照される参照低解像度プロックを、 その低解像度画像空閒における空 間位置が、 該参照低解像度ブロックに対応する上記対象高解像度ブロックの、 高 解像度画像空間における空問位置に対応付けられた低解像度ブロックとしたもの である。
このような構成の画像処理方法では、高解像度画像信号の符号化処理の際には、 低解像度画像空間にて、 符号化処理の対象となる対象高解像度プロックの空間位 置と相関のある空間位置に位置する低解像度プロックの画像信号が参照されるこ ととなり、 物体の形状情報を有する画像信号に対する階層符号化処理を、 符号化 効率の劣化を招くことなく行うことができる。
この発明 （請求の範囲第 2項） は、 請求の範囲第 1項記載の画像処理方法にお いて、 上記高解像度面像空間を構成する個々の画素を、 上記低解像度画像空間の 解像度変換により得られる、 空間解像度が上記高解像度画像空間と等しい解像度 変換画像空閒における個々の画素と一対一に対応させたものである。
このような構成の画像処理方法では、 高解像度ブロックにおける複数の画素が すべて、 低解像度プロックを解像度変換した解像度変換プロックにおける所定の 画素に対応することとなり、 これにより、 階層符号化処理における符号化効率を より高めることができる。
この発明 （請求の範囲第 3項） は、 請求の範囲第 1項記載の画像処理方法にお いて、 上記参照低解像度ブロックを構成する画素の数と、 上記対象高解像度プロ ックを構成する画素の数とを一致させたものである。
このような構成の画像処理方法では、 高解像度画像信号と低解像度画像信号の 間でプロック化器及び符号化器を共用することが可能となり、 回路構成のコンパ ク ト化を図ることができる。
この発明 （請求の範囲第 4項） は、 請求の範囲第 1項記載の画像処理方法にお いて、 上記参照低解像度ブロックの低解像度画像空間における相対位置と、 対象 高解像度ブロックの高解像度画像空間における相対位置とを一致させたものであ る。
このような構成の画像処理方法では、 対象高解像度ブロックの空間位置と参照 低解像度プロックの空間位置とがー致するため、 高解像度プロックを構成する各 画素の画素値と、 低解像度プロックを構成する各画素の画素値との差分が不必要 に大きくなることがなく、 階層符号化処理を高い符号化効率でもって行うことが できる。
この発明 （請求の範囲第 5項） は、 請求の範囲第 1項記載の画像処理方法にお いて、 上記参照低解像度ブロックに対する、 符号化処理方法を識別するための符 号化モードに応じて、 上記対象高解像度ブロックに対する、 符号化処理方法を識 別するための符号化モードを示すモード信号の符号化方式を切換えるものである。 このような構成の画像処理方法では、 低解像度プロックに対する符号化モード に一致する髙解像度プロックに対する符号化モ一ドに短い符号を割り当てること により、 高解像度画像信号の符号化モードを示すモード信号の符号化処理におけ る符号化ビッ ト数を削減することができる。 この発明 （請求の範囲第 6項） は、 請求の範囲第 5項記載の画像処理方法にお いて、 上記符号化モー ドを、 画像空問上に表示される物体の形状の境界が上記対 象高解像度プロック内に含まれるか否かを示す符号化モ一ドとしたものである。 このような構成の画像処理方法では、 高解像度プロックと物体の位置関係と、 低解像度ブロックと物体の位置関係とがー致する場合に、 高解像度画像信号の符 号化モードを示すモード信号に短い符号を割り当てることにより、 該符号化モー ド信号の符号化に必要な符号化ビッ ト数を削減することができる。
この発明 （請求の範囲第 7項） は、 請求の範囲第 5項記載の画像処理方法にお いて、 上記符号化モードを、 上記参照低解像度ブロックに対応する画像信号を画 素毎に順次符号化する符号化処理が、 水平走査方向と垂直走査方向のいずれの走 査方向に沿って行われているかを示す符号化モードとしたものである。
このような構成の画像処理方法では、 高解像度画像信号がこれを構成する画素 値の相関が大きい走査方向に沿って符号化されることとなり、 このため、 低解像 度画像信号と高解像度画像信号との間で、 画素値の相関が大きい走査方向が一致 する場合に、 高解像度画像信号の符号化モードを示すモード信号に短い符号を割 り当てることにより、 該符号化モード信号の符号化に必要な符号化ビッ ト数を削 減することができる。
この発明 （請求の範囲第 8項） は、 請求の範囲第 1項記載の画像処理方法にお いて、 上記参照低解像度ブロンクに対応する、 上記低解像度画像空問での物体の 動きを示す動き情報を参照して、 上記対象高解像度ブロックに対応する、 上記高 解像度画像空間での物体の動きを示す動き情報の符号化方法を切換えるものであ る。
このような構成の画像処理方法では， 高解像度画像信号と低解像度画像信号と の間には画素値に関する大きな相関があることから、 高解像度ブロックとこれに 対応する低解像度ブロックとの間で動きベク トルが一致する場合に、 高解像度画 像信号の動きベク トル （符号化モード） を示すモード信号に短い符号を割り当て ることにより、 動きべク トルの符号化に必要な符号化ビン ト数を削減することが できる。
この発明 （請求の範囲第 9項） は、 請求の範囲第 1項記載の画像処理方法にお いて、 符号化処理がすでに施された処理済高解像度ブロックの、 高解像度画像空 間での物体の動きを示す動き情報、 及び上記参照低解像度プロックに対応する、 上記低解像度画像空間での物体の動きを示す動き情報を参照して、 上記対象高解 像度プロックに対応する、 上記高解像度画像空間での物体の動きを示す動き情報 の符号化方法を切換えるものである。
このような構成の画像処理方法では、 対象高解像度プロックに対応する処理済 高解像度プロックの動きべク トルと、 対象高解像度プロックに対応する低解像度 ブロ ンクの動きべク トルとから予測べク トルを生成し、 該予測べク トルに基づい て、 対象高解像度ブロックの動きベク トルを符号化するので、 画像信号が画面間 で画素値に関する相関があり、 また高解像度画像信号と低解像度画像信号との間 には画素値に関する大きな相関があることから、 対象高解像度プロックの動きべ ク トルと予測動きべク トルとの誤差が小さくなり、 高解像度画像信号の動きべク トルの符号化に必要な符号化ビッ ト数を削減することができる。
この発明 （請求の範囲第 1 0項） に係る画像処理方法は、 物体の形状情報を有 する画像信号に階層符号化処理を施して得られる少なく とも 2つのプロック化さ れた階層符号化信号のうちの低解像度符号化信号を復号化して、 低解像度画像空 間における所定数の画素からなる低解像度ブロックに対応した低解像度復号化信 号を生成し、 該低解像度復号化信号を統合して上記低解像度画像空間に対応する 低解像度統合信号を生成し、 上記 2つのプロック化された階層符号化信号のうち の高解像度符号化信号を、 対応する低解像度復号化信号を参照して復号化して、 高解像度画像空間における所定数の画素からなる高解像度ブロックに対応した高 解像度復号化信号を生成し、 該高解像度復号化信号を統合して上記高解像度度画 像空間に対応する高解像度統合信号を生成する階層画像復号化方法であって、 上 記高解像度符号化信号の復号化処理の際に参照される参照低解像度プロックを、 その低解像度画像空間における空間位置が、 該参照低解像度プロックに対応する 上記復号化処理の対象となる対象高解像度プロックの、 高解像度画像空間におけ る空間位置に対応付けられた低解像度プロックとしたものである。
このような構成の画像処理方法では、高解像度画像信号の復号化処理の際には、 低解像度画像空間にて、 復号化処理の対象となる対象高解像度プロックの空間位 置と相関のある空間位置に位置する低解像度ブロックの復号化信号が参照される こととなり、 符号化効率の劣化を抑えた、 物体の形状情報を有する画像信号の階 層符号化処理に対応した階層復号化処理を実現することができる。
この発明 （請求の範囲第 1 1項） は、 請求の範囲第 1 0項記載の画像処理方法 において、 上記高解像度画像空問を構成する個々の画素を、 上記低解像度画像空 問の解像度変換により得られる、 空間解像度が上記高解像度画像空間と等しい解 像度変換画像空間における個々の画素と一対一に対応させたものである。
このような構成の画像処理方法では、 高解像度プロックにおける複数の画素が すべて、 低解像度ブロックの解像度変換により得られる解像度変換プロックにお けろ所定の画素に対応することとなり、 これにより、 符号化効率の高い階層符号 化処理に対する階層復号化処理を得ることができる。
この癸明 （請求の範囲第 1 2項） は、 請求の範囲第 1 0項記載の画像処理方法 において、 上記参照低解像度ブロックを構成する面素の数と、 上記対象高解像度 ブロックを構成する画素の数とを一致させたものである。
このような構成の画像処理方法では、 高解像度符号化信号と低解像度符号化信 号の間で復号化器及び逆プロック化器を共用することが可能となり、 回路構成の コンパク ト化を図ることができる。
この発明 （請求の範囲第 1 3項） は、 請求の範囲第 1 0項記載の画像処理方法 において、 上記参照低解像度プロックの低解像度画像空間における相対位置と、 対象高解像度プロックの高解像度画像空問における相対位置とを一致させたもの である。
このような構成の画像処理方法では、 対象高解像度プロックの空間位置と参照 低解像度プロンクの空問位置とがー致するため、 高解像度プロックを構成する各 画素の画素値と、 低解像度プロックを構成する各画素の画素値との差分が不必要 に大きくなることがない符号化効率のよい階層符号化処理に対応した階層復号化 処理を実現できる。
この発明 （請求の範囲第 1 4項） は、 請求の範囲第 1 0項記載の画像処理方法 において、 上記参照低解像度ブロックに対する、 復号化処理方法を識別するため の符号化モードに応じて、 上記対象高解像度ブロックに対する、 復号化処理方法 を識別するための符号化モードを示すモ一ド符号化信号の復号化方式を切換える ものである。
このような構成の画像処理方法では、 低解像度ブロックに対する符号化モ一ド に一致する高解像度プロックの符号化モードを示すモード信号に短い符号を割り 当てることにより高解像度面像信号の符号化モードを示すモード信号の符号化に 用いる符号化ビン ト数を削減した階層符号化処理に対応した階層復号化処理を、 実現することができる。
この発明 （請求の範囲第 1 5項） は、 請求の範囲第 1 4項記載の画像処理方法 において、 上記符号化モードを、 画像空間上に表示される物体の形状の境界が上 記対象高解像度プロック内に含まれるか否かを示す符号化モ一ドとしたものであ る。
このような構成の画像処理方法では、 高解像度プロックと物体の位置関係と、 低解像度プロックと物体の位置関係とがー致する場合に、 高解像度画像信号の符 号化モードを示すモード信号に短い符号を割り当てることにより、 符号化ビッ ト 数を削減した階層復号化処理に対応した階層復号化処理を実現することができる。
この発明 （請求の範囲第 1 6項） は、 請求の範囲第 1 4項記載の画像処理方法 において、 上記符号化モードを、 参照低解像度ブロックに対応する画像信号を画 素毎に順次復号化する複号化処理が、 水平走査方向と垂直走査方向のいずれの走 査方向に沿って行われているかを示す符号化モ—ドとしたものである。
このような構成の画像処理方法では、 低解像度画像信号と高解像度画像信号と の間で、 画素値の相関が大きい走査方向が一致する場合に、 高解像度画像信号の 符号化モードを示すモード信号に短い符号を割り当てて符号化することにより、 符 S-化ビッ ト数を削減した階層符号化処理に対応した階層復号化処理を実現でき る。
この発明 （請求の範囲第 1 7項） は、 請求の範囲第 1 0項記載の画像処理方法 において、 上記参照低解像度ブロックに対応する、 上記低解像度両像空間での物 体の動きを示す動き情報を参照して、 上記対象高解像度ブロックに対応する、 上 記高解像度画像空間での物体の動きを示す動き情報の複号化方法を切換えるもの である。 このような構成の画像処理方法では、 高解像度ブロックとこれに対応する低解 像度ブロックとの間で、 動きベク トルが一致する場合に、 高解像度画像信号の動 きベク トル （符号化モード） を示すモード信号に短い符号を割り当てることによ り符号化ビッ ト数を削減した階層符号化処理に対応した階層復号化処理を、 実現 することができる。
この発明 （請求の範囲第 1 8項） は、 請求の範囲第 1 0項記載の画像処理方法 において、 復号化処理がすでに施された処理済高解像度ブロックの、 高解像度画 像空間での物体の動きを示す動き情報、 及び上記参照低解像度プロックに対応す る、 上記低解像度画像空間での物体の動きを示す動き情報を参照して、 上記対象 高解像度ブロックに対応する、 上記高解像度画像空間での物体の動きを示す動き 情報の復号化方法を切換えるものである。
このような構成の画像処理方法では、 対象高解像度ブロックの動きべク トルと 予測動きべク トルとの誤差が小さい、 符号化ビッ ト数を削減した階層符号化処理 に対応した階層復号化処理を実現できる。
この発明 （請求の範囲第 1 9項） に係る画像処理装置は、 物体の形状情報を有 する画像入力信号を受け、 空間解像度が異なる複数の画像空間を形成する階層画 像信号を符号化する階層画像符号化装置であって、 上記画像入力信号をサブサン プルして低解像度画像信号を生成するサブサンプル手段と、該低解像度画像信号 を、 低解像度画像空問における所定数の画素からなる低解像度プロックに対応す るようブロック化する第 1のブロ ンク化手段と、 符号化処理の対象となる低解像 度プロックを形成する低解像度画像信号に対する符号化処理を順次行う第 1の符 号化手段と、 上記画像入力信号を高解像度画像信号として、 高解像度画像空間に おける所定数の画素からなる高解像度ブロックに対応するよぅブロック化する第
2のプロック化手段と、 符号化処理の対象となる高解像度プロックを形成する高 解像度画像信号に対する符号化処理を、 該高解像度ブロックに対応する低解像度 プロックを形成する低解像度画像信号を参照して順次行う第 2の符号化手段とを 備え、 上記符号化処理の際に参照される参照低解像度ブロックを、 その低解像度 面像空間における空間位置が、 該参照低解像度プロックに対応する上記対象高解 像度プロックの、 高解像度画像空間における空間位置に対応付けられた低解像度 ブロックとしたものである。
このような構成の画像処理装置では、高解像度画像信号の符号化処理の際には、 低解像度画像空間にて、 符号化処理の対象となる対象高解像度プロックの空間位 置と相関のある空間位置に位置する低解像度ブロックの画像信号が参照されるこ ととなり、 物体の形状情報を有する画像信号に対する階層符号化処理を、 符号化 効率の劣化を招くことなく行うことができる。
この発明 （請求の範囲第 2 0項） に係る画像処理装置は、 物体の形状情報を有 する画像信号に階層符号化処理を施して得られる少なく とも 2つのプロック化さ れた階層符号化信号を復号化する階層画像復号化装置であって、 上記 2つのプロ ック化された階層符号化信号のうちの低解像度符号化信号を復号化して、 低解像 度画像空間における所定数の画素からなる低解像度ブロックに対応した低解像度 複号化信号を生成する第 1の複号化手段と、 該各低解像度プロックに対応した低 解像度復号化信号を統合して、 上記低解像度画像空間に対応する低解像度統合信 号を生成する第 1の逆プロック化手段と、 上記 2つのプロンク化された階層符号 化信号のうちの高解像度符号化信号を、 対応する低解像度復号化信号を参照して 復号化して、 高解像度画像空間における所定数の画素からなる高解像度ブ πック に対応した高解像度復号化信号を生成する第 2の復号化手段と、 該各高解像度ブ 口ックに対応する高解像度復号化信号を統合して、 上記高解像度度画像空間に対 応する高解像度統合信号を生成する第 2の逆プロック化手段とを備え、 上記高解 像度符号化信号の復号化処理の際に参照される参照低解像度ブロックを、 その低 解像度画像空間における空間位置が、 該参照低解像度プロックに対応する上記復 号化処理の対象となる対象高解像度ブロックの、 高解像度画像空問における空問 位置に対応付けられた低解像度ブロックとしたものである。
このような構成の画像処理装置では、高解像度画像信号の復号化処理の際には、 低解像度画像空間にて、 復号化処理の対象となる対象高解像度ブロックの空間位 置と相関のある空間位置に位置する低解像度ブロ ックの画像復号化信号が参照さ れることとなり、 符号化効率の劣化を抑えた、 物体の形状情報を有する画像信号 の階層符号化処理に対応した喈層復号化処理を実現することができる。
この発明 （請求の範囲第 2 1項） に係るデータ記録媒体は， コンピュータに階 層画像符号化処理を行わせるためのプログラムを格納したデータ記録媒体であつ て、 上記プログラムを、 請求項 1記載の画像処理方法による階層画像符号化処理 を、 コンピュータが行うよう構成したものである。
このような構成のデータ記録媒体では、 高解像度画像信号の符号化処理の際に は、 低解像度画像空間にて、 符号化処理の対象となる対象高解像度ブロックの空 問位置と相関のある空間位置に位置する低解像度ブロックの画像信号が参照され ることとなり、 物体の形状情報を有する画像信号に対する、 符号化効率の劣化を 招く ことのない階層符号化処理をコンピュータにより実現することができる。
この発明 （請求の範囲第 2 2項） に係るデータ記録媒体は、 コンビュ一タに階 層画像復号化処理を行わせるためのプログラムを格納したデータ記録媒体であつ て、 上記プログラムを、 請求項 1 0記載の画像処理方法による階層画像複号化処 理を、 コンピュータが行うよう構成したものである。
このような構成のデータ記録媒体では、 高解像度画像信号の復号化処理の際に は、 低解像度画像空間にて、 復号化処理の対象となる対象高解像度ブロックの空 間位置と相関のある空間位置に位置する低解像度プロックの画像復号化信号が参 照されることとなり、 符号化効率の劣化を抑えた、 物体の形状情報を有する画像 信号の階層符号化処理に対応した階層復号化処理を、 コンピュータにより実現す ることができる。 図面の簡単な説明
第 1図は、 本発明の実施の形態 1による画像処理装置として階層画像符号化装 置を説明するためのプロック図である。
第 2 (a)図〜第 2 (d)図は、 上記実施の形態 1の階層画像符号化装置の動作を説 明するための図である。
第 3図は、 本発明の実施の形態 2による画像処理装置として階層画像符号化装 置を説明するためのブロック図である。
第 4 (a)図〜第 4 (f)図は、 本発明の実施の形態 2による階層画像符号化装置の 動作を説明するための図である。
第 5図は、 本発明の実施の形態 3による画像処理装置として階層画像符号化装 置を説明するためのブロック図である。
第 6 (a)図〜第 6 (d)図は、 本発明の実施の形態 3による階層画像符号化装置の 動作を説明するための図である。
第 7図は、 本発明の実施の形態 4による画像処理装置として階層画像符号化装 置を説明するためのブロック図である。
第 8図は、 本発明の実施の形態 5による画像処理装置として階層画像復号化装 置を説明するためのプロック図である。
第 9 (a)図及び第 9 (b)図は、 本発明の実施の形態 6による画像処理装置として 階層画像符号化装置を説明するためのプロック図である。
第 1 0 (a)図及び第 1 0 (b)図は、 本発明の実施の形態 7による画像処理装置と して階層画像復号化装置を説明するためのブロック図である。
第 1 1 (a)図及び第 1 1 (b)図は、 本発明の実施の形態 8による画像処理装置と して階層画像符号化装置を説明するためのプロック図である。
第 1 2 (3)図〜笫1 2 (d)図は上記実施の形態 8の階層画像符号化装置の動作を 説明するための図である。
第 1 3 (a)図及び第 1 3 (b)図は、 本発明の実施の形態 9による画像処理装置と して階層画像復号化装置を説明するためのブロック図である。
第 1 4 (a)図及び第 1 4 (b)図は、 本発明の実施の形態 1 0による画像処理装置 として階層画像符号化装置を説明するためのプロック図である。
第 1 5 (a)図及び第 1 5 (b)図は、 本発明の実施の形態 1 1による画像処理装置 として階層画像復号化装置を説明するためのプロンク図である。
第 1 6 (a)図〜第 1 6 (c)図は、 本発明の実施の形態 1 2による画像処理装置と して階層画像符号化装置を説明するためのブ口ック図である。
第 1 7 (3)図〜第1 7 (c)図は、 本発明の実施の形態 1 3による画像処理装置と して階層画像復号化装置を説明するためのプロック図である。
第 1 8 (a)図〜第 1 8 (c)図は、 本発明の実施の形態 1 4による画像処理装置と して階層画像符号化装置を説明するためのプロック図である。
第 1 9 (3〉図〜第1 9 (d)図は、 上記実施の形態 1 4の階層画像符号化装置の動 作を説明するための図である。 „
PCT/JP98/00040
18 第 2 0 (a)図〜第 2 0 (c)図は、 本発明の実施の形態 1 5による画像処理装置と して階層画像復号化装置を説明するためのプロンク図である。
第 2 1 (a)図〜第 2 1 (c)図は、 上記各実施の形態の画像処理装置による階層符 号化処理あるいは階層復号化処理をコンピュータシステムにより実現するための プログラムを格納したデータ記録媒体を示す図である。
第 2 2図は、 従来の階層画像符号化処理を説明するための図である。
第 2 3図は、 従来の画像処理装置として階層画像符号化装置を説明するための ブロック図である。
第 2 4図は、 従来の画像処理装置として階層画像復号化装置を説明するための ブロ ンク図である。 発明を実施するための最良の形態
以下、 本発明の実施の形態について第 1図から第 2 1図を用いて説明する。 実施の形態 1 .
第 1図は本発明の実施の形態 1による画像処理装置 （階層画像符号化装置） を 説明すろためのブロック図である。 また、 第 2 (a)図〜第 2 (d)図は上記実施の形 態 1の階層画像符号化装置による符号化処理を説明するための模式図である。 図 中、 L Fは低解像度画像信号に対応する表示画面 （第 2 (a)図 参照） 、 H Fは 高解像度画像信号に対応する表示画面 （第 2 (b)図 参照） である。 また、 L o bは低解像度画像 ί言号により上記フレーム （表示画面） L F上に表示される 1つ の物体の画像、 H o bは高解像度画像信号により上記フレーム （表示画面） H F 上に表示される 1つの物体の画像であり、 各画像 L o b及び H o bのドッ ト表示 領域が各物体内部の領域である。
この実施の形態 1の階層画像符号化装置 1 0 1は、 画像入力信号を受け、 この 画像入力信号を高解像度画像信号 H S gとして階層符号化処理を行う構成となつ ている。
すなわち、 この階層画像符号化装置 1 0 1は、 従来の階層画像符号化装置 2 0 0 a と同様、 上記高解像度画像信号 H S gをサブサンプルするサブサンプル器 2 と、 該サブサンプル器 2の出力である低解像度画像信号 L S gを符号化する低解 像度符号化部 1 0 1 Lと、 その出力である低解像度符号化信号 L E gを復号化す る複号化器 9 a と、 該復号化器 9 aの出力 L d gをアップサンプルするアンプサ ンプル器 1 0 aと、 該アップサンプル器 1 0 aの出力 LA gに基づいて、 上記高 解像度画像信号 HS gを符号化する高解像度符号化部 1 0 1 Hとを有している。 また、 上記各符号化部 1 0 1 L及び 1 0 1 Hはそれぞれ、 従來の階層画像符号 化装置 200 a と同様、 領域検出器 30 a及び 1 2、 領域抽出器 5及び 1 4、 ブ 口ック化器 6及び 1 5 , 符号化器 7及び 1 6 aを有している。
そして、 本実施の形態 1では、 上記領域検出器 30 aのみ従来の階層画像符号 化装置 200 aにおけるものと構成が異なっている。 つまり、 該領域検出器 30 aは、 高解像度フレーム HF (第 2 (b)図参照） 上における個々の物体 H o bに 対応する矩形領域 HRの範囲を示す矩形信号 HR gを参照して、 低解像度フレー ム L F (第 2 (a)図参照） 上における個々の物体 L o bに対応する矩形領域 の範囲を検出する構成となっている。 具体的には、 上記領域検出器 30 aでは、 高解像度矩形信号 HR gから髙解像度矩形領域 HRの空間位置 HR pが検出され、 低解像度画像信号: L S gのアップサンプルにより得られる補間矩形領域 ARの空 間位置 AR pが上記高解像度矩形領域 HRの空間位置 HR pと一致するよう、 低 解像度矩形領域 L Rの空間位置 L R が決定される。
なお、 このような構成の領域検出器 3 0 aでは、 低解像度矩形領域 LRの空間 位置 L R pの検出は、 補間矩形領域 A Rの空間位置 A R pが上?己高解像度矩形領 域 HRの空間位 ¾HR pと一致するよう行われればよく、 必ずしも低解像度矩形 領域 LRの空間位置 LR pと高解像度矩形領域 HRの空間位置 HR pとが一致す るよう、 上記領域の位置検出が行われる必要はない。 また、 上記符号化器 1 6 a は、 従来の階層画像符号化装箧 200 aにおける符号化器] 6と全く同一構成と なっている。
次に動作について説明する。
本画像符号化装置 1 0 1 aに画像入力信号として高解像度画像信号 H S gが入 力されろと、 サブサンプル器 2では上記高解像度画像信号 HS gがそのサブサン プルにより低解像度画像信号 L S gに変換される。 そして、 各符号化部 1 0 1 H 及び 1 01 Lにてそれぞれ、 高解像度画像信号 HS g及び低解像度画像信号 L S gの符号化処理が行われる。
ここでは、 上記高解像度符号化部 101 Hでは、 従来の階層画像符号化装置 2 00 aにおける高解像度符号化部 201 Hと全く同一の画像信号の処理が行われ る。 また、 上記低解像度符号化部 101 Lでは、 領域検出器 30 aによるフレー ム L F上での低解像度矩形領域 LRの位置検出処理以外は、 従来の階層画像符号 化装置 200 aにおける低解像度符号化部 201 Lと全く同様な処理が行われる。 そこで、 以下、 上記低解像度符号化部 101 Lによる符号化処理について、 上 記領域検出器 30 aの動作を主として説明する。
この実施の形態 1では、 高解像度符号化部 10 1 Hの領域検出器 1 2により高 解像度画像信号 H S gに基づいて対応する物体 H 0 bの矩形領域 HRを検出し (第 2 (b)図参照） 、 上記領域検出器 30 aにより、 低解像度画像信号 L S gの 矩形領域 LRの空間位置 LR pを、 上記高解像度矩形領域 HRの空間位置 HR p に基づいて検出する （第 2 (a)図参照） 。
つまり、 上記領域検出器 30 aでは、 高解像度矩形領域 HRの基準位置 HR p が高解像度フレーム HFの基準位置 HF pから水平方向に距離 （ΗΔ χ) だけ、 垂直方向に距離 （HA y) だけ離れている場合、 低解像度矩形領域 LRを、 その 基準位置 L R pと低解像度フレーム L Fの基準位置 L F pとの水平方向の距離が (L厶 X ) 、 垂直方向の距離が （L Ay) となるよう、 低解像度フレーム LF上 に配置する。 このとき、 上記距離 （ΗΔ χ) ノ距離 （L A x) 、 及び距離 （ΗΔ y ) /距離 （L A y) は、 高解像度画像の空間解像度と低解像度画像の空間解像 度の比率 （ここでは 2Z1とする。 ） と一致するようにしている。
このようにして低解像度フレーム L F上にて矩形領域 LRの位置を設定するこ とにより、 低解像度フレーム L F上での低解像度矩形領域 LRの空間位置 （基準 位置） を、 高解像度フレーム HF上での高解像度矩形領域 HRの空間位置 （基準 位置） に一致させることができる。
そして、 上記のように低解像度フレーム LF上に設定された低解像度矩形領域 L Rに対応する画像信号 L O gがブロック化器 6にて、 上記矩形領域 L Rを区分 する各プロック LMBに対応するよう分割される。 さらにプロック化された画像 ^号 L B sが符号化器 7にて符号化されて、 低解像度符号化信号 L E gとして出 力される。 ここで、 上記ブロック LMBは 16 X 16画素からなる画像空間であ る。
また、 この低解像度符号化信号 LE gは、 復号化器 9 aにより低解像度復号化 信号 L d gに変換され、 さらにこの信号 L d gはアップサンプル器 10 aにより 補間されて、 空間解像度が高解像度画像信号 HS gと等しい補問画像信号 L A g に変換される。 この場合、 上記低解像度符号化信号 LE gのアップサンプルによ り得られる捕間画像信号 L A gに対応する補間矩形領域 ARを区分するプロ ク AMBは、 32 X 32画素からなる画像空問となる。
第 2 (c)図は、 上記補間画像信号 L A gに対応する、 髙解像度フレーム HFと 同一の空間解像度を有する補間フレーム AF、及び該捕間フレーム AFにおける、 補間画像信号 L A gに対応する補間画像 A o bを示しており、 上記補問フレーム A Fに対する、 該補間画像に対応する補間矩形領域 ARの相対的な位置は、 高解 像度フレーム H Fに対する高解像度矩形領域 HRの相対的な位置と一致している。 一方、 高解像度画像信号 HS gが領域抽出器 14に入力されると、 該領域抽出 器 14では、 上記領域検出器 1 2からの矩形信号 HR gに基づいて、 高解像度矩 形領域 HRに対応する画像信号 HO gが抽出され、 さらに、 ブロック化器 1 5に て、 該画像信号 H〇 gが該矩形領域 HRを区分する各ブロンク HMB 1に対応す るよう分割され、 各プロック HMB 1に対応する画像信号 HB gが出力される。 そして、 符号化器 1 6 aにて、 該ブロック化画像信号 HB gは、 上記補間画像信 号 L A gを参照して符号化処理により高解像度符号化信号 HE gに変換される。 ここで上記ブロック HMB 1は 32 X 32画素からなる画像空間である。
このとき、 上記補間矩形領域 A Rの、 フレーム A F上での相対的な位置は、 高 解像度矩形領域 HRの、 フレーム HF上での相対的な位置と一致するため、 上記 符号化器 1 6 aでは、 各矩形領域のブロック単位で容易にブロック化画像信号の 差分値を計算することができ、 高解像度画像を構成する画素の画像値と、 補間画 像を構成する画素の画素値との差分値を簡単に符号化することができる。
なお、 第 2 (d)図は、 上記差分値 （誤差） Dに対応する差分画像 Dを高解像度 フレーム HF上にて示している。
このように本実施の形態 1では、 高解像度矩形領域 H Rを構成するブロック H M B 1の空間位置と、 低解像度矩形領域 L Rを解像度変換して得られる補間矩形 領域 A Rを構成するプロック AM Bの空間位置とがー致するので、 高解像度フレ ーム H F内の個々の物体に対応する矩形領域 H Rを対象とする階層符号化処理を 行う際、 高解像度画像信号 H S gの符号化処理を低解像度画像信号 L S gを参照 して、 符号化効率の低下を招くことなく行うことができる。
実施の形態 2 .
第 3図は本発明の実施の形態 2による画像処理装置 （階層画像符号化装置） を 説明するためのプロック図である。
上記実施の形態 1では、 階層画像符号化装置として、 低解像度画像信号を解像 度変換した補間画像信号と、 髙解像度画像信号との差分値を誤差として符号化す る構成のものを示したが、 画像信号が 2値の画像信号， つまり 2値形状信号であ る場合は、 プロックの差分値を直接符号化するよりも有効な方法がある。
そこで、 この実施の形態 2の階層画像符号化装置 1 0 2は、 低解像度画像信号 を解像度変換して得られる補間画像信号と髙解像度画像信号との差分値を符号化 する実施の形態 1の符号化器 1 6 aに代えて、 低解像度画像信号から得られる画 像の境界と、 高解像度画像信号から得られる画像の境界とのずれの大きさを符号 化する符号化器 1 6 bを備えたものであり、 その他の構成は実施の形態 1の階層 画像符号化装置 1 0 1 と同一である。 つまりこの実施の形態 2の階層画像符号化 装置 1 0 2を構成する低解像度符号化部 1 0 2 Lは、 上記実施の形態 1のものと 同一構成であり、 またこの階層画像符号化装置 1 0 2を構成する高解像度符号化 部 1 0 2 Hは、 符号化器 1 6 bの構成のみ上記実施の形態 1のものと異なってい る。
次に作用効果について説明する。
第 4図は、 上記実施の形態 2の階層画像符号化装置による符号化処理を説明す るための模式図であり、第 4 (a)図は低解像度画像信号に対応するフレーム L F、 第 4 (b)図は高解像度画像信号に対応するフレーム H F、 第 4 (c)図は解像度変換 画像信号 （補間画像信号） に対応するフレーム A Fを示している。 また、 第 4 (d) 図はフレーム H F上に設定された矩形領域 H R内の物体 H o bの境界 H B、 第 4 〈《)図はフレーム A F上に設定された矩形領域 A R内の物体 A o bの境界 A Bを 示している。 第 4 (f)図は、 上記フレーム HF上にて高解像度画像信号に対応す る物体 H o gの境界 HBと、 補間画像信号に対応する物体 A o bの境界 ABとを 重ね合わせて示している。
ここで物体の境界とは、 画像信号を構成する 2値の形状信号の値が空間的に変 化する画素の位置である。
この実施の形態 2では、 上記実施の形態 1 と同様、 高解像度符号化部 1 02H の領域検出器 1 2により髙解像度画像信号 HS gに基づいて対応する物体の矩形 領域 HRが検出され （第 4 (b)図参照） 、 低解像度符号化部 1 0 2 Lの領域検出 器 3 0 aにより、 この矩形領域 HRと空間位置が一致するように低解像度画像信 号 L S gの矩形領域 LRの空間位置 LRpが検出される （第 4 (a)図参照） 。 このようにして低解像度フレーム LF上にて矩形領域 LRの位置 LR pを設定 することにより、 低解像度フレーム： L F上での低解像度矩形領域 LRの位置 L R Pを、 高解像度フレーム HF上での高解像度矩形領域 HRの位置 HR pに一致さ せることができる。
そして、 上記のように低解像度フレーム上に設定された低解像度矩形領域に対 応する画像信号 LO gがプロック化器 6にてプロック化され、 さらに該ブロック 化された画像信号 L B gが符号化器 7にて符号化されて、 低解像度符号化信号 L E gとして出力される。 この低解像度符号化信号 LE gは、 復号化器 3 aによる 復号化処理及びアップサンプル器 1 0 aによる補間処理が施されて、 高解像度画 像信号と等しい空間解像度を有する補問画像信号 L A gに変換されろ （第 4 (c) 図参照） 。
一方、 領域抽出器 1 4では、 高解像度画像信号 HS gから、 高解像度矩形領域 HRに対応する画像信号 HO gが抽出され、 この画像信号 HO gは、 ブロック化 器 1 5にてブロック化される。
そして、 符号化器 1 6 bでは、 該ブロック化された画像信号 HB gから得られ る物体 H o bの境界位置 HBと、 上記補間画像信号 L A gから得られる物体 A o bの境界位置 ABとに基づいて、 両者のずれ量 Δ Bが符号化されて高解像度符号 化信号 HE gとして出力される。
このように本実施の形態 2では、 低解像度画像信号から得られる補間画像の境 界と、 高解像度画像信号から得られる画像の境界とのずれの大きさを符号化する 符号化器 1 6 bを備えたので、 画像信号が 2値画像信号である場合に階層符号化 処理を符号化効率よく行うことが可能となる。
なお、 上記実施の形態 2では、 高解像度画像 H o bの境界 H Bと、 補間画像 A o bの境界 A Bとのずれを符号化する階層符号化処理を示したが、 2値画像信号 に対する階層符号化処理は、 低解像度画像信号から得られる補問画像信号に応じ て、 高解像度画像信号の符号化処理に用いる符号化テーブルを画素毎に切り替え るようにしてもよレ、。
実施の形態 3 .
第 5図は本癸明の実施の形態 3による画像処理装置 （階層画像符号化装置） を 説明するためのブロック図である。
上記実施の形態 1では、 低解像度矩形領域を解像度変換して得られる補間矩形 領域における各プロックの位置と、 高解像度矩形領域における各プロックの位置 が完全に一致する例を示したが、 高解像度矩形領域の複数のブロックを統合した 統合ブロックが、 補間矩形領域の 1つのブロックと一致する場合も、 上記実施の 形態 1 と同様に符号化効率の低下を回避しつつ階層符号化処理を行うことができ る。
そこで、 この実施の形態 3の階層画像符号化装置 1 0 3は、 ブロック化した補 間画像信号とプロック化した高解像度画像信号とを比較して差分値を求める構成 の符号化器 1 6 aに代えて、 ブロック化した高解像度画像信号を統合した統合信 号を、 ブロック化した補間画像信号と比較して、 該統合信号と補間画像信号との 差分値を求め、この差分値を符号化する符号化器 1 6 cを備えた構成としている。 また、 この実施の形態 3では、 高解像度矩形領域 H Rを構成する高解像度ブロッ ク H M B 2 (第 6 (b)図参照） は、 低解像度矩形領域 L Rを構成する低解像度ブ ロック L M B (第 6 (a)図参照） と同様、 1 6 X 1 6画素からなる画像空間とし、 補間矩形領域 A Rを構成する補間プロック AM B (第 6 (c)図参照） は、 3 2 X 3 2画素からなる面像空間としている。 従って、 この実施の形態 3では、 ブロッ ク化器 1 5は、 高解像度画像信号のブロック化処理を、 1 6 X 1 6画素からなる ブロンク HM B 2を単位として行う構成となっている。 そして、 この実施の形態 3の階層画像符号化装置 1 03におけるその他の構成は上記実施の形態 1の階層 画像符号化装置 101と同一としている。 つまりこの実施の形態 3の階層画像符 号化装置 103を構成する低解像度符号化部 103 Lは、 上記実施の形態 1のも のと同一構成であり、 またこの階層画像符号化装置 103を構成する高解像度符 号化部 103 Hは、 符号化器 1 6 cの構成のみ上記実施の形態 1のものと異なつ ている。
次に作用効果について説明する。
第 6図は、 上記実施の形態 3の階層画像符号化装置による符号化処理を説明す るための模式図であり、 第 6 (a)図は低解像度画像信号に対応する表示画面 （フ レーム） LFを、 第 6 (b)図は高解像度画像信号に対応する表示画面 （フレーム）
HFを示す。 また、 第 6 (c)図は、 低解像度画像信号を解像度変換した補間画像 信号に対応する表示画面 （フレーム） AFを示す。
この実施の形態 3では、 領域検出器 1 2により高解像度画像信号 H S gに基づ いて、 この信号に対応する物体 H o bの矩形領域 HRを検出し （第 6 (b)図参照） 、 領域検出器 30 aにより、 上記矩形領域 H Rの空間位置 H R pと補間矩形領域 A
Rの空間位置 AR pとが一致するよう、 低解像度画像信号 L S gの矩形領域 LR の空間位置 L R pを検出する （第 6 (a)図参照） 。
このようにして低解像度フレーム LF上にて矩形領域 LRの空間位置 LR pを 設定することにより、 低解像度フレーム LF上での低解像度矩形領域 LRの空間 位置 LR pを、 高解像度フレーム HF上での高解像度矩形領域 HRの空問位置 H
R pに実質的に一致させることができる。
そして、 上記のように低解像度フレーム L F上に設定された低解像度矩形領域 に対応する画像信号 LO gがブロック化器 6にてブロック化され、 さらに該ブロ ック化された画像信号 L B gが符号化器 7にて符号化されて、 低解像度符号化信 号 LE gとして出力される。 この低解像度符号化信号 L E gは、 復号化器 9 aに よる復号化処理及びアップサンプル器 1 0 aによる補間処理が施されて、 高解像 度画像信号と等しい空間解像度を有する補間画像信号 L A gに変換される （第6
(c)図） 。
—方、 領域抽出器 14では、 高解像度画像信号 HS gから、 矩形領域 HRに対 応する画像信号 H O gが抽出され、 この画像信号 H O gは、 ブロック化器 1 5に て 1 6 X 1 6画素からなるブロック HM B 2に対応するよぅブロック化される。 このとき、 上記補間画像 A o bの矩形領域 A Rを構成する 1つのプロック AM Bと、 高解像度画像 H o bの矩形領域 H Rを構成する 4つのブロック HM B 2を 統合した領域とがー致するため、 上記符号化器 1 6 cでは、 1つのブロック AM Bに対応する補完画像信号を参照して、 該ブロックに一致する、 高解像度矩形領 域の 4つのブロック H M B 2に対応する画像信号 H B gを符号化する。 つまり、 VA つのブロック HM B 2に対応する画像信号 H O gと上記 1つのブロック AM Bに対応する補完画像信号 L A gとの差分値を符号化して、 高解像度符号化信号 H E gとして出力する。
このように本実施の形態 3では、 4つの高解像度ブロック H M B 2を統合した 統合領域に対応する高解像度画像信号 H O gと、 該統合領域と一致する 1つの補 間プロック A M Bに対応する補完画像信号 A L g との差分信号を符号化するので、 高解像度プロックと補間ブロックとが一対一に対応しない場合でも、 高解像度ブ ロックにおける画素と、 補問ブロックにおける画素との対応を取ることができ、 低解像度画像信号を参照して高解像度画像信号を符号化することができる。
また、 上記のように高解像度プロックと補間プロックとの対応をとることがで きるため、 ブロック単位の情報 （符号化モード情報等） の予測符号化を容易に実 現でき、 しかも両ブロック間での空間位置の対応がとれるため、 符号化効率も向 上する。
また、 この実施の形態 3では、 低解像度矩形領域を分割するブロックのサイズ と高解像度矩形領域を分割するプロックとが同じサイズであるため、 低解像度符 号化部における符号化器 7と高解像度符号化部における符号化器 1 7の構成が殆 ど同じとなり、 時分割処理等により符号化部のハ一ドウユア資源の共用化を容易 に実現できる。
実施の形態 4 .
第 7図は本発明の実施の形態 4による画像処理装置 （階層画像符号化装置） を 説明するためのブロック図である。
この実施の形 fi 4の階層画像符号化装置 1 0 4は、 実施の形態 1における低解 像度画像信号に対応する領域検出器 3 0 aを省略し、 実施の形態 1の領域抽出器 5に代えて、 実施の形態 1における領域検出器 1 2の出力 H R gに基づいて、 低 解像度フレーム L F上にて高解像度矩形領域 H Rの空問位置に対応する空間位置 にある低解像度矩形領域 L Rを抽出する領域抽出器 3 1 dを備えたものである。 つまり、 この実施の形態 4の階層画像符号化装 g l 0 4の低解像度符号化部 1 0 4 Lは、 上記領域抽出器 3 1 dと、 その出力をプロック化するプロック化器 6 と、 ブロックされた画像信号を符号化する符号化器 7とから構成されている。 ま た、 上記階層画像符号化装置 1 0 4の高解像度符号化部 1 0 4 Hは、 実施の形態 1の高解像度符号化部 1 0 1 Hと全く同様、 領域検出器 1 2， 領域抽出器 1 4， ブロック化器 1 5， 及び符号化器 1 6 a とから構成されている。
次に作用効果について説明する。
サブサンプル器 2の空間解像度変換方法の動作原理から、 低解像度画像信号を 解像度変換して得られる補間画像信号に対応する物体の形状が、 常に、 高解像度 画像信号に対応する物体の形状の大きさよりも大きくならないことが分かってい る場合には、 矩形信号 H R gが示す高解像度矩形領域 H Rに対応する空間位置 H R p (第 2 (b)図参照） を、 これに対応する低解像度矩形領域 L Rの空間位置 L R p (第 2 (a)図参照） とすることによって、 低解像度画像信号の物体 L 0 bを 低解像度矩形領域 L Rに完全に包含できる。
このことは、 実施の形態 1における、 低解像度画像信号 L S gから、 物体を含 む矩形領域 L Rに対応する矩形信号 L R gを抽出することが不要であることを意 味するので、 上記サブサンプル器 2が上記条件を満足するものであれば、 実施 の形態 1の画像符号化装置と同じ効果をより簡単な構成で実現できる。
つまり、 この実施の形態 4の階層画像符^化装置 1 0 4では、 画像入力信号で ある高解像度画像信号 H S gは、 高解像度符号化部 1 0 4 Hにより上記実施の形 態 1 と全く同様な処理が施される。
また、 上記高解像度画像信号 H S gのサブサンプルにより得られる低解像度画 像信号 L S gは、 上記実施の形態 1 とほぼ同様な処理により、 低解像度符号化部 1 0 4 Lにて符号化される。 このとき、 領域抽出器 3 I dでは、 低解像度画像信 号 L S gを受け、 高解像度符号化部 1 0 4 Hの領域検出器 1 2の出力 H R gに S づいて、 低解像度フレーム上での矩形領域の位置を決定し、 該矩形領域に対応す る画像信号 L O gをプロック化器 6に出力する。 該画像信号 L O gはプロック化 器 6にてプロック化され、 さらにプロック化された画像信号 L B gが符号化器 7 にて符号化され、 低解像度符号化部 1 0 4 Lから各ブロックに対応した低解像度 符号化信号 L E gが出力される。
この低解像度符号化信号 L E gは復号化器 9 aにて復号化され、 該復号化器 9 aの出力 L d gはアップサンプル器 1 0 aにて、 高解像度画像信号と同じ空問解 像度を有する補完画像信号 L A gに変換されて高解像度符号化部 1 0 4 Hの符号 化器 1 6 aに出力される。
このように本実施の形態 4では、 低解像度符号化部 1 0 4 Lの領域抽出器 3 1 dでは、 高解像度符号化部 1 0 4 Hの領域検出器 1 2の出力である矩形信号 H R gに基づいて、 低解像度フレーム上での矩形領域 L Rの位置を決定するので、 低 解像度符号化部 1 0 4 Lでは領域抽出のための回路構成が不要となり、 実施の形 態 1の画像符号化装置と同じ効果をより簡単な構成で実現できる。
実施の形態 5 .
第 8図は本発明の実施の形態 5による画像処理装置 （階層画像復号化装置） を 説明するためのブロック図である。
この実施の形態 5の階層画像復号化装置 1 0 5は、 第 7図に示す実施の形態 4 の階層画像符号化装置 1 0 4により符号化された低解像度符号化信号 L E g及び 高解像度符号化信号 H E gを入力信号として、 階層復号化処理を行う構成となつ ている。 つまり、 この階層画像復号化装置 1 0 5は、 従来の階層画像復号化装置 2 0 0 bと同様、 上記低解像度符号化信号 L E gに対して復号化処理を施して、 低解像度再生信号 L C gを生成する低解像度復号化部 1 0 5 Lと、 該復号化部 1 0 5 Lでの復号化信号 L D gをアップサンプルにより補間するアンプサンプル器 1 0 bと、 該アップサンプル器 1 0 bの出力 L A gに基づいて上記高解像度符号 化信号 H E gを復号化して高解像度再生信号 H C gを生成する髙解像度復号化部
1 0 5 Hとを有している。
ここで、 上記各復号化部 1 0 5 L及び 1 0 5 Hはそれぞれ、 従来の階層画像復 号化装置 2 0 0 bと同様、 復号化器 9及び 3 0、 逆ブロック化器 2 0及び 3 1、 領域合成器 3 4及び 3 2を有している。
そして本実施の形態 5では、 上記領域合成器 3 4は、 上記実施の形態 4の階層 画像符号化装置 1 0 4からの髙解像度矩形信号 H R gを参照して、 低解像度フレ ーム上の、 該矩形信号 H R gが示す位置に低解像度矩形領域が配置されるよう、 該矩形領域に対^する画像信号 L 1 gを、 フレームに対応するその他の画像信号 に合成する構成となっており、 この点のみ第 2 4図に示す従来の階層画像復号化 装置 2 0 0 bと異なっている。
次に動作について説明する。
本階層画像復号化装置 1 0 5に、 上記実施の形態 4の階層画像符号化装置 1 0 4の出力である低解像度符号化信号 L E g及び高解像度符号化信号 H E gが入力 されると、 低解像度符号化信号 L E gは低解像度復号化部 1 0 5 Lにて、 復号化 器 9により復号化され、 さらに復号化器 9の出力 L D gが逆ブロック化器 2 0に より統合され、 さらに逆ブロック化器 2 0の出力 L I gカ^ 高解像度矩形信号 H R gに基づいて、 低解像度フレームに対応する画像信号と合成される。
このとき、 上記復号化器 9の出力 L D gはアップサンプル器 1 0 bにて補間さ れて高解像度復号化部 1 0 5 Hに出力される。
また、 上記高解像度符号化信号 H E gは高解像度符号化部 1 0 5 Hにて、 上記 従来の階層画像復号化装置 2 0 0 bと全く同様にして、 上記アップサンプル器 1 0 bからの補間画像信号 A D g及び高解像度矩形信号 H R gに基づいて復号化さ れる。
このように本実施の形態 5では、 実施の形態 4の階層画像符号化装置 1 0 4か らの符号化信号 L E g及び H E g、 並びに矩形信号 gを受け、 領域合成器 3 4では、 実施の形態 4の領域抽出器 3 0 dと同様な動作により、 低解像度矩形領 域を、 低解像度フレーム上の、 高解像度矩形信号 H R gが示す空間位置に合成す ることができる。
従って、 低解像度フ レーム上に設定された低解像度空間領域内に、 逆ブロック 化器 2 0により統合された画像復号化信号に対応する画像を配置することにより . 上記実施の形態 4の階層画像符号化装置で符号化した符号化信号 L E gおよび H E sを正しく復^化することができる。 実施の形態 6 .
第 9 (a)図及び第 9 (b)図は本発明の実施の形態 6による画像処理装置 （階層画 像符号化装置） を説明するためのブロック図である。
この実施の形態 6の階層画像符号化装置 1 0 6は、 第 1図に示す実施の形態 1 の階層画像符号化装置 1 0 1 と同様、 サブサンプル器 2と、 低解像度符号化部 1 0 6 Lと、 復号化器 9 a と、 アツプサンプル器 1 0 aと、 高解像度符号化部 1 0 6 Hとを有している。 ここで、 上記実施の形態 1と同一符号を付したものは、 実 施の形態 1 と全く同一構成となっている。
そしてこの実施の形態 6では、 低解像度画像信号 L S gを符号化する低解像度 符号化部 1 0 6 Lは、 実施の形態 1の低解像度符号化部 1 0 1 Lにおける符号化 器 7に代えて、 プロック化された低解像度画像信号 L B gに対応する低解像度符 号化信号 L E gとともに、 該各ブ口ック化画像信号 L B gの符号化モードを示す 符号化モード信号 M gを生成して出力する符号化器 7 ίを有しており、 その他の 構成は実施の形態 1 と全く同一である。
また、 本実施の形態 6では、 高解像度画像信号 H S gを符号化する高解像度符 号化部 1 0 6 Hは、 上記実施の形態 1の高解像度符号化部 1 0 1 Hにおける符号 化器 1 6 aに代えて、 アップサンプル器 1 0 aの出力 L A gだけでなく上記符号 化モード信号 M gにも基づいて、 プロック化された高解像度画像信号 H B gの符 号化処理を行う符号化器 1 6 f を有しており、 その他の構成は実施の形態 1 と全 く同一となっている。
この符号化器 1 6 f は、上記プロック化された高解像度画像信号 H B gを受け、 その符号化モ一ドを判定して高解像度プロックの符号化モ一ド信号 M Dを出力す るモード判定器 5 0と、 該符号化モード信号 M Dを、 ブロック化された低解像度 画像信号 L B gの符号化モード ί言号 M gに基づいて符号化してモード符号化信号 E M gを出力するモード符号化器 5 1 と、 高解像度ブロンク化画像信号 H B gに 対する符号化方法が異なる第 1及び第 2の符号化器 5 3及び 5 とを有している (第 9 (b)図参照） 。
ここで第 1の符号化器 5 3は、 低解像度復号化信号 L d gをアップサンプルし て得られる補問信号 L A gを参照して、 高解像度プロック化画像信号 H B gの符 号化処理を行う構成となっており、 上記第 2の符号化器 5 4は、 上記補間信号 L A gを参照せずに、 高解像度プロック化画像信号 H B gの符号化処理を行う構成 となっている。 さらに、 上記モード判定器 5 0は、 具体的には、 上記高解像度ブ πック化画像信号 H B に基づいて、 該ブロック化画像信号 H B gを低解像度画 像信号に対応する補間信号 L A gを参照して符号化すべきか、 該画像信号 H B g を該補間信号 L A gを参照せずに符号化すべきかを判定する構成となっている。 また、 上記符号化器 1 6 f は、 上記モード判定器 5 0の出力 （符号化モード信 号） MDに応じて、 上記高解像度ブロック化画像信号 H B gを上記第 1及び第 2 の符号化器 5 3， 5 4のいずれか一方に供給すろ前段スィ ッチ 5 2と、 上記モー ド判定器 5 0の出力 MDに応じて、 上記第 1及び第 2の符号化器 5 3 , 5 4のレヽ ずれかの出力 H E 1あるいは H E g 2を選択する後段スィツチ 5 5と、 該後段 スィッチ 5 5の出力 S H E gと上記モード符号化信号 E M gとを多重化する多重 化器 5 6とを有している。
次に作用効果について説明する。
本階層画像符号化装置 1 0 6に画像入力信号である高解像度画像信号 H S gが 入力されると、 サブサンプル器 2では、 高解像度画像信号 H S gのサブサンプル により低解像度画像信号 L S gが生成され、 この信号 L S gが上記低解像度符^ 化部 1 0 6 Lにて符号化される。 この符号化部 1 0 6 Lの符号化器 7 f では、 低 解像度プロック化画像信号 L B gの符号化処理の際、 該画像信号 L B gに対応す る符号化モード信号 M gを出力する。
一方、 高解像度符号化部 1 0 6 Hでは、 高解像度画像信号 H S gに対する、 実 施の形態 1 と同様な領域検出処理及び領域抽出処理により、 高解像度矩形領域 H Rに対応する画像信号 H O gが生成され、 さらにブロック化処理により、 画像信 号 H〇 gから高解像度プロック HM B 1に対応するプロック化画像信号 H B gが 生成される。 そして、 このブロンク化画像信号 H B gは、 符号化器 1 6 ίにて、 上記ァップサンプル出力 L A g及び符号化モード信号 M gに基づいて符号化され る。
つまり、 この実施の形態 6の階層画像符号化装置 1 0 6による階層符号化処理 では、 低解像度符号化部 1 0 6 Lの符号化器 7 ίから、 符号化モード信号 が 高解像度符号化部 1 0 6 Hの符号化器 1 6 f に出力され、 この符号化器 1 6 f に て、 低解像度ブロック化画像信号 L B gの符号化モード M gを参照して、 ブロッ ク化された高解像度画像信号 H B gが符号化される点で、 上記実施の形態 1の符 号化処理と異なっている。
以下、 上記符号化器 1 6 f の詳細な動作について簡単に説明する。
上記符号化器 1 6 ίでは、 モード判定器 5 0でのモー ド判定により、 ブロック 化された高解像度画像信号 H B gに基づいて、 該画像信号 H B gに対する符号化 方法が決定される。 つまり該画像信号 H B gを補間信号 A L gを参照して符号化 するか、 あるいは該画像信号 H B gを補間信号 A L gを参照せずに符号化するか が決定される。 すると、 このモード判定結果に対応する符号化モード信号 MDが 上記モード判定器 5 0から出力され、 上記各スィ ッチ 5 2及び 5 5では、 該符号 化モ一ド信号 MDに応じて、 上記第 1及び第 2の符号化器 5 3及び 5 4のいずれ かが選択される。 これにより、 上記高解像度画像信号 H B gは、 選択された符号 化器 5 3あるいは 5 4にて符号化されて多重化器 5 6に出力される。
またこのとき、 上記モード符号化器 5 1では、 上記符号化モード信号 MDの符 号化処理が、 低解像度ブロックの符号化モード M gに基づいて行われており、 上 記多重化器 5 6では上記スィツチ 5 5の出力 S H E gと上記モード符号化器 5 1 の出力 E M gとが多重化されて、 高解像度符号化信号 H E gとして出力される。 このように本実施の形態 6では、 符号化器 1 6 f にて、 低解像度ブロックの符 号化モードを参照して、 高解像度ブロックの符号化処理を行うので、 さらに符号 化効率のよい階層符号化処理を実現することができる。
つまり、 上記高解像度ブロックの符号化モードは、 対応する低解像度ブロック の符号化モードと相関がある。 例えば、 低解像度ブロックが物体の境界部分に位 置する場合には、 対応する高解像度プロックも境界部分に位置する確率が高く、 同様に、 低解像度ブロックが物体外部あるいは物体内部に位置する場合は、 対応 する高解像度プロックも物体外部あるいは物体内部に位置する確率が高い。 このように低解像度プロックの符号化モードと、 高解像度プロックの符号化モ —ドとは一致する確率が高いため、 高解像度符号化部 1 0 6 Hにおける符号化器 I 6 f にて、 低解像度ブロ ックの符号化モード信号 M gを参照し、 この符号化モ 一ド信号 Mgとモードが同じである高解像度プロックの符号化モ一ド信号に短い 符号を割り当てる予測符号化を行うことにより、 低解像度プロックの符号化モ 一ド信号 Mgを参照しない場合よりも符号化ビッ ト数を削減することができる。 なお、 上記実施の形態 6では、 低解像度ブロックの符号化モードに応じて、 高 解像度画像信号の符号化方法を切り替えるとともに、 高解像度ブロックの符号化 モ一 ドの符号化方法を切り替える構成を示したが、 低解像度プロックの符号化モ 一ドに応じて、 高解像度画像信号の符号化方法及び高解像度プロックの符号化方 法の一方のみを切り替えるようにしてもよレ、。
また、 この実施の形態 6では、 階層画像符号化装置 106として、 第 1図に示 す上記実施の形態 1の階層画像符号化装置 101における階層符号化処理を、 低 解像度画像信号だけでなく低解像度プロックの符号化モ一ドにも基づいて行う構 成のものを示したが、 このような階層画像符号化装笸は、 上記実施の形態 6のも のに限らず、例えば、第 5図に示す上記実施の形態 3における階層符号化処理を、 低解像度画像信号と低解像度プロックの符号化モ一ドとに基づいて行う構成とし たものでもよい。
この場合、 1 6 X 16画素からなる低解像度ブロック LMB (第 6 (a)図参照） に対応する符号化モードを参照する、 1 6 X 16画素からなる髙解像度ブロック HMB 2 (第 6 (b)図参照） に対応する符号化モードの符号化処理は、 上記低解 像度プロック LMBの解像度変換処理により得られる 32 X 32画素からなる 1 つの補間ブロック AMB (第 6 (c)図参照） に対応する、 4つの高解像度ブロッ ク HMB 2からなる統合領域を単位として行われる。 ただしこの場合も、 低解像 度プロック LMBより小さい単位に対応する情報 （つまり画素値の予測誤差等） については、 上記実施の形態 3と同様、 例えば、 第 6 (d)図に示すように画素単 位で、 高解像度フレーム HFに対応する画素値 （第 6 (b)図） と、 解像度変換 （補 間） フレーム A Fに対応する画素値 （第 6 (c)図） との誤差 （差分画像 D) を計 算し、 この誤差信号を 1 6 X 1 6画素からなる小さいプロック単位で符号化処理 を行う。
実施の形態 7.
第 10 (a)図及び第 10 (b)図は本発明の実施の形態 7による画像処理装置 （階 層画像複号化装置） を説明するためのブロック図である。
この実施の形態 7の階層画像復号化装置 1 07は、 第 24図に示す従来の階層 画像復号化装置 200 bと同様、 低解像度復号化部 1 07 Lと、 アップサンプル 器 10 bと、 高解像度複号化部 107Hとを有している。 ここで、 上記従来の喈 層画像復号化装置 200 bにおけるものと同一符号を付したものは、 従来の階層 画像復号化装置 200 bのものと全く同一の構成となっており、 この実施の形態 7による階層画像復号化装置 1 07では、 低解像度の複号化器 9 gから出力され る符号化モ一ド Mgを参照して、 高解像度符号化信号 HE gの復号化処理が行わ れる点で、 上記第 24図に示す従来の階層画像復号化装置 200 bと異なってい る。
つまりこの実施の形態 7では、 低解像度符号化信号 LE gを復号化する低解像 度復号化部 107 Lは、 従来の階層画像複号化装置 200 bの低解像度符号化部 202 Lにおける復号化器 9に代えて、 低解像度復号化信号 LD gとともに符号 化モード信号 Mgを出力する復号化器 9 gを有しており、 その他の構成は従来の 階層画像復号化装置 200 bの構成と全く同一である。
また、 本実施の形態 7では、 高解像度符号化信号 HE gを復号化する高解像度 復号化部 1 07 Ιίは、 上記従来の階層画像復号化装置 200 bの高解像度符号化 部 201Hにおける復号化器 30に代えて、 上記アップサンプル器 1 0 bの出力 AD gだけでなく上記符号化モード信号 Mgにも基づいて、 入力された高解像度 符号化信号 HE gの復号化処理を行う復号化器 40 gを有しており、 その他の構 成は従来の階層画像復号化装置 200 bと全く同一となっている。
この復号化器 40 gは、 上記高解像度符号化信号 HE gからモード符号化信号 EMgを分離して抽出する分離器 60と、 該分離されたモード符号化信号 EMg を復号化するモ一ド復号化器 6 1と、 該モード符号化信号 EMgと分離された高 解像度符号化信号 SHE gに対する復号化方法が異なる第 1及び第 2の復号化器 63及び 64とを有している。
また、 上記復号化器 40 gは、 上記モード復号化器 6 1にて復号化された符号 化モ一ド信号 DM gに基づいて、 上記高解像度符号化信号 SHE gを上記第 1及 び第 2の復号化器 63及び 64のいずれか一方に供給する前段スィツチ 62と、 上記モード復号化器 6 1にて復号化された符号化モ一ド信号 DM gに基づいて、 上記第 1及び第 2の復号化器 6 3及び 6 4のいずれかの出力 HD g 1あるいは H D g 2を選択して高解像度復号化信号 HD gとして出力する後段スィツチ 6 5 と を有している。
ここで、 上記第 1の復号化器 6 3は、 低解像度復号化信号 LD gをアップサン プルして得られる補間信号 AD gを参照して高解像度符号化信号 HE gの復号化 処理を行う構成となっており、 また第 2の復号化器 6 4は、 上記補間信号 AD g を参照せずに、高解像度符号化信号 HE gの復号化処理を行う構成となっている。 次に作用効果について説明する。
本階層画像復号化装置 1 0 7に高解像度符号化信号 H E g及び低解像度符号化 信号 L E gが入力されると、 低解像度符号化部 1 0 7 Lでは、 上記符号化信号 L E gに対する複号化処理、 逆ブロック化処理が順次行われ、 該逆ブロック化処理 により統合された、 所定の矩形領域に対応する低解像度復号化信号 L I gが領域 合成器 2 1により、 フレームに対応するその他の画像信号と合成される。
この複号化処理の際には復号化器 9 gからは低解像度復号化信号 LD gととも に符号化モード信号 M gが出力され、 該低解像度復号化信号 LD gはアップサン プル器 1 0 bにより補間されて、 空間解像度が高解像度復号化信号 LD gと等し い補間復号化信号 AD gに変換される。
また、 高解像度符号化部 1 0 7Hでは、 上記高解像度符号化信号 HE gに対す る復号化器 4 0 gによる復号化処理が、 上記符号化モード信号 Mg及び補問復号 化信号 AD gに基づいて行われ、 さらに復号化器 4 0 gの出力 HD gに逆プロッ ク化器 3 1にて逆プロック化処理が施される。 そして該逆ブ口ック化処理により 統合された、 所定の矩形領域に対応する高解像度復号化信号 H I gが領域合成器 3 2により、 フレームに対応するその他の画像信号と合成され'る。
以下、 上記復号化器 4 0 gの詳細な動作について説明する。
上記復号化器 4 0 gでは、 分離器 6 0にて、 高解像度符号化信号 HE gは、 符 号化モ一ドに対応する符号部分 EMg とその他の符号部分 S HE gとに分離され、 符号化モードに対応する符号部分 EMgがモード復号化器 6 1に出力され、 その 他の符号部分 S HE gが前段スィツチ 6 2に出力される。 このとき上記モード復 号化器 6 1では、 低解像度ブロックの符号化モード信号 M gを参照して、 高解像 度ブロックに対応するモード符号化信号が復号化される。 上記各スィツチ 6 2及 び 6 5では、 高解像度ブロックの、 復号化された符号化モード信号 D M gを参照 して、 第 1の復号化器 6 3及び第 2の復号化器 6 4のいずれか一方が選択され、 いずれかの復号化器の出力 H D g 1あるいは H D g 2が復号化器 4 0 gの出力 H D gとして出力される。
このように本実施の形態 7では、 高解像度符号化信号 L E gの複号化処理を、 低解像度復号化信号 L D gをアップサンプルにより補間した補間復号化信号 A D gだけでなく、 低解像度ブロックの符号化モ一ド信号 M gにも基づいて行うよう にしたので、 第 9図に示す実施の形態 6の階層画像符号化装置 1 0 6により符号 化された高解像度符号化信号 H E gが、 復号化器 4 0 gにて符号化モード信号 M gを参照して復号化されることとなり、 実施の形態 6における符号化器 1 6 f に よる符号化処理に対応した復号化処理を行うことができる。 このため、 実施の 形態 6の階層画像符号化装置で符号化した低解像度符号化信号 L E gおよび髙解 像度符号化信号 H E gを正しく復号化することができる。
なお、 上記実施の形態 7では、 低解像度ブロックの符号化モードに応じて、 高 解像度符号化信号の復号化方法及び高解像度符号化の符号化モー ドの復号化方法 を切り替えるようにしたが、 上記高解像度符号化信号の復号化方法及び高解像度 プロックの符号化モードの復号化方法の一方のみを、 低解像度プロックの符号化 モードに応じて切り替えるようにしてもよレ、。
実施の形態 8 .
第 1 1図は、本発明の実施の形態 8による画像処理装置（階層画像符号化装置） を説明するための図であり、 第 1 1 (a)図はその全体構成を示すブロック図、 第 1 1 (b)図は、 該階層画像符号化装置を構成する符号化器の詳細な構成を示すブ ロック図である。
この実施の形態 8の階層画像符号化装置 1 0 8は、 第 9図に示す実施の形態 6 の階層画像復号化装置 1 0 6における符号化器 1 6 f に代えて、 物体の形状に応 じて符号化方式を切り替える符号化器 1 6 hを備えたものであり、 その他の構成 は、 上記実施の形態 6の階層画像符号化装置 1 0 6と同一である。 O 98/31151
PCT/JP98/00040
37 そして、 この実施の形態 8の符号化器 1 6 hは、 ブロック化された高解像度符 号化信号 H B gを受け、 この画像信号に対応するプロック内に物体の境界が含ま れるか否かを判定して、 判定結果に対応した判定信号 B Dを出力するとともに、 該ブロック内に物体の境界が含まれることを示す判定信号 B D 1を出力する境界 判定器 7 0と、 上記高解像度符号化信号 H B g及び上記判定信号 B D 1を受け、 上記プロック内に物体の境界が含まれるときに、 低解像度画像信号 L S gを参照 すべきか否かを示す識別信号 M D 1を出力するモ一ド判定器 7 5とを有している。 また、 上記符号化器 1 6 hは、 該判定信号 B D及び識別信号 MD 1を低解像度 符号化信号 L E gの符号化モード信号 M gに基づいて符号化してモード符号化信 号 E M gを出力するモード符号化器 7 1 と、 高解像度画像信号 H S gに対する任 意形状符号化処理の方法が異なる第 1及び第 2の任意形状符号化器 7 3 a及び 7 3 b と、 高解像度画像信号 H S gに対して固定形状符号化処理を施す固定形状符 号化器 7 4とを有している。
ここで、 上記第 1の任意形状符号化器 7 3 aは、 低解像度復号化信号 L d gを アップサンプルして得られる補間信号 L A gを参照して高解像度画像信号 H S g の任意形状符号化処理を行う構成となっており、 上記第 2の任意形伏符号化器 7 3 bは、 低解像度復号化信号をァップサンプルして得られる補間信号 L A gを参 照せずに高解像度画像信号 H S gの任意形状符号化処理を行う構成となっている。 また、 上記符号化器 1 6 hは、 上記境界判定器 7 0の出力 B D及びモー ド判定 器 7 5の出力 MD 1に基づいて、 上記高解像度面像信号 H S gを、 上記第 1， 第 2の任意形状符号化器 7 3 a， 7 3 b、 及び固定形状符号化器 7 4のいずれかに 供給する前段スィツチ 5 2と、 上記境界判定器 7 0の出力 MD及びモ一ド判定器 7 5の出力 M D 1に基づいて、 上記第 1 , 第 2の任意形状符号化器 7 3 a , 7 3 b ,及び固定形状符号化器 7 4のいずれかの出力を選択する後段スィツチ 5 5と、 該後段スィツチ 5 5の出力と上記モード符号化信号 E M g とを多重化する多重化 器 5 6とを有している。
次に作用効果について説明する。
物体の形状情報を有する画像信号に対しては、 物体の形状に応じて符号化方式 を切換えることが有効である。 すなわち、 高解像度ブロック内に物体境界が含まれる場合は、 任意形状符号 化器 7 3 aあるいは 7 3 bにより物体形状に応じた任意形状符号化処理を行い、 該高解像度プロックが物体外部に位置する場合あるいは高解像度プロックが物体 内部に位置する場合は、 ブロック内の画像信号 （固定形状） を効率よく符号化で きる固定形状復号化器 7 4で符号化を行う。
また、 低解像度ブロック内に物体境界が含まれる場合は、 対応する高解像度ブ 口ック内にも物体境界が含まれ、 低解像度プロックが物体内部または物体外部に 位置する場合は、 対応する高解像度プロックも物体内部および物体外部に位置す る確率が高い。 従って、 高解像度ブロックに対する符号化処理を、 低解像度プロ ックに対する符号化モード （つまり、 低解像度ブロックと物体の境界との位置関 係） を参照して行うことが、 符号化効率を高める上で有効なものとなる。
以下詳述すると、 第 1 2図は、 低解像度矩形領域及び高解像度矩形領域が物体 内部にあるか物体外部にあるかを示す図である。 第 1 2 (a)図は第 2 ）図に示す 低解像度矩形領域 L Rを構成する各プロンク L M Bが物体 L o b内にあるか否か を示し、 第 1 2 (b〉図は第 2 (b)図に示す高解像度矩形領域 H Rを構成する各プロ ック HM B 1が物体 H 0 b内にあるか否かを示している。 また、 第 1 2 (c)は、 第 2 (c)図に示す補間矩形領域 A Rを構成するプロック AM Bが物体 A o b内に あるか否かを示し、 第 1 2 (d)図は、 第 6 (d)図に示す高解像度矩形領域 H Rを構 成する各プロック H M B 2が物体 H o b内にあるか否かを示している。ここでは、 記号】 を付したブロックは、 物体内部に位置するブロックであり、 記号 Oを付し たブロックは、 物体外部に位置するブロックであり、 記号 I Oを付したブロック は、 物体境界に位置するブロックである。
第 1 2図から明らかなように、 低解像度画像信号 L S gを解像度変換した補問 画像信号 L A gに対応する補間矩形領域 A R (第 1 2 (c)図） を、 高解像度画像 信号 H S gに対応する矩形領域 H R (第 1 2 (b)図あるいは第 1 2 (d)図） と比較 すると、 低解像度ブロック L M Bが物体内部， 物体外部， あるいは物体境界のい ずれの位置に位置するかの判定結果と、 高解像度プロンク HM B 1あるいは H M B 2が物体内部， 物体外部， 物体境界のいずれの位置にあるかの判定結果との間 に大きな相関がある。 そこで、 境界判定器 70により、 物体の境界が高解像度ブロックに含まれるか どうかを判断し、 高解像度画像の境界の有無を示す符号化モード信号 BDを、 低 解像度画像の境界の有無を表す符号化モード信号 M gを参照してモード符号化器 7 1により符号化する際、 低解像度ブロックとこれに対応する高解像度プロック との間で物体境界の有無が一致する場合に、 上記高解像度ブロックの符号化モー ド信号 BD及び BD 1に短い符号長の符号を割り当てることにより、 符号化ビッ ト数を節約できる。
以下、 上記符号化器 16 hの具体的な動作について簡単に説明する。
上記符号化器 1 6 hでは、 境界判定器 70により、 ブロック化された高解像度 画像信号 HB gに基づいて、 該画像信号 HB gに対して任意形状符号化処理を施 すか、 あるいは固定形状符号化処理を施すかが決定される。 また、 モード判定器 75では、 境界判定器 70からの判定結果に対応する判定信号 BD 1、 及びブロ ック化された高解像度画像信号 HB gに基づいて、 低解像度複号化信号 L d gを 補間して得られる補間画像信号 LA gを参照して高解像度画像信号 HB gに対す る任意形状符号化処理を行うか、 該補間画像信号 L A gを参照せずに高解像度画 像信号 HB gに対する任意形状符号化処理を行うかが決定される。
すると、 上記各スィッチ 52及び 55では、 上記各判定器 70及び 7 Sでの判 定結果に応じて、 上記第 1, 第 2の任意形状符号化器 73 a , 73 b , 及び固定 形状符号化器 74のいずれかが選択される。 これにより、 上記高解像度画像信号 HB gは、 選択された符号化器 73 a , 73 b, あるいは 74にて符号化されて 多重化器 56に出力される。
またこのとき、 上記モード符号化器 7 1では、 上記境界判定器 70の判定信号 B D及びモ一ド判定器 75の判定信号 MD 1の符号化処理が、 低解像度ブロック の符号化モ一 KM gに基づいて行われており、 上記多重化器 56には上記スィッ チ 56の出力 SHE gと上記モード符号化器 71の出力 EMgとが多重化されて、 高解像度符号化信号 HE gとして出力される。
このように本実施の形態 8では、 符号化器 16 hにて、 低解像度ブロックの符 号化モード Mgを参照して高解像度プロックの符号化モ一ドを符号化するので、 符号化モ一ドの符号化に必要なビッ ト数を削減することができる。 40 また、 高解像度ブロックと物体との位置関係を判定し、 かつ高解像度ブロック に対する符号化処理の方法を判定して、 これらの判定結果に応じて、 低解像度画 像信号を参照した任意形状符号化処理， 低解像度画像信号を参照しない任意形状 符号化処理， 及び固定形状符号化処理のいずれかを、 高解像度画像信号に施すよ うにしたので、 より一層符号化効率の高い階層符号化処理を行うことができる。 なお、 上記実施の形態 8では、 低解像度ブロックの符号化モードに応じて、 高 解像度画像信号の符号化方法を切り替えるとともに、 高解像度プロックの符号化 モードの符号化方法を切り替える構成を示したが、 低解像度プロックの符号化モ ―ドに応じて、 高解像度画像信号の符号化方法及び高解像度プロックの符号化方 法の一方のみを切り替えるようにしてもよレ、。
実施の形態 9 .
第 1 3図は本発明の実施の形態 9による画像処理装置 （階層画像復号化装置） を説明するための図であり、 第 1 3 (a)図は、 その全体構成を示すブロック図、 第 1 3 (b)図は、 該階層画像復号化装置を構成する復号化器の詳細な構成を示す ブロック図である。
この実施の形態 9の階層画像復号化装置 1 0 9は、 第 1 1図に示す実施の形態 8の階層画像符号化装置 1 0 8により符号化した低解像度符号化信号及び高解像 度符号化信号を復号化するものであり、 第 1 0図に示す実施の形態 7の階層画像 符号化装置 1 0 7における復号化器 4 0 gに代えて、 復号化した符号化モード信 号に応じて複号化方式を切り替える複号化器 4 0 iを備えている。 そしてこの階 層画像符号化装置 1 0 9におけるその他の構成は、 上記実施の形態 7の階層画像 符号化装置 1 0 7と同一である。
そして、 この実施の形態 9の復号化器 4 0 iは、 上記高解像度符号化信号 H E gからモ一ド符号化信号 E M gを分離して抽出する分離器 6 0と、 該分離された モード符号化信号 E M gを、 低解像度画像信号の符号化モード信号 M gを参照し て復号化するモード複号化器7 5 aと、 高解像度符号化信号 H S gに対する復号 化方法が異なる第 1及び第 2の任意形状復^化器 7 6 a及び 7 6 bと、 固定形状 復号化器 7 7とを有している。 ここで、 上記第 1の任意形状復号化器7 6 aは、 低解像度復号化信号をアップサンプルした補間信号を参照して高解像度符号化信 号の復号化処理を行う構成となっており、上記第 2の任意形状復号化器 7 6 bは、 低解像度復号化信号をアップサンプルした補間信号を参照せずに、 髙解像度符号 化信号の復号化処理を行う構成となっている。
また、 上記復号化器 4 0 iは、 上記モード復号化器 7 5 aにて復号化された符 号化モード信号 D M gに基づいて、 上記髙解像度符号化信号 H E gを上記第 1， 第 2の任意形状復号化器 7 6 a， 7 6 b及び固定形状複号化器 7 7のいずれかに 供給する前段スィツチ 6 2と、 上記モード複号化器 7 5 aにて復号化された符号 化モード信号 D M gに基づいて、 上記第 1， 第 2の任意形状複号化器 7 6 a , 7 6 b及び固定形状復号化器 7 7のいずれかの出力を選択して高解像度復号化信号 H D gとして出力する後段スィッチ 6 5とを有している。
次に作用効果について説明する。
本実施の形態 9の階層画像復号化装置 1 0 9では、 復号化器 4 0 i以外の動作 は、 上記実施の形態 7の階層画像復号化装置 1 0 7と全く同一であるので、 以下 には復号化器 4 0 i の動作についてのみ説明する。
上記復号化器 4 0 1のモード復号化器 7 5 aでは、 低解像度画像の符号化モー ド信号 M g (即ち物体の内であるか外部であるか） を参照して高解像度画像のモ 一ド符号化信号 E M gを復号化する。 上記前段スィツチ 6 2及び後段スィツチ 6 5では、 復号化した高解像度画像の符号化モードに応じて上記 3つの復号化器の いずれか 1つを選択することとなる。
これにより任意形状符号化された画像符号化信号は、 第 1あるいは第 2の任意 形状復号化器 7 6により復号化され、 固定形状符号化された画像信号は固定形状 複号化器 7 7により復号化される。
このようにして、 上記実施の形態 8の階層画像符号化装置 1 0 8により物体の 形状に応じて符号化された符号化信号を、 正しく復号化することができる。 実施の形態 1 0 .
第 1 4図は、 本発明の実施の形態 1 0による画像符号化装置 （階層画像符号化 装置） を説明するための図であり、 第 1 4 (a)図はその全体構成を示すブロック 図、 第 1 4 (b)図は、 該階層画像符号化装置を構成する符号化器の詳細な構成を 示すブロック図である。 この実施の形態 1 0の階層画像符号化装置 1 1 0は、 第 9図に示す実施の形態 6の階層画像符号化装置 1 0 6における符号化器 1 6 f に代えて、 画素値の相関 の大きい走査方向に応じて符号化方式を切り替える符号化器 1 6 j を備えたもの であり、 その他の構成は、 上記実施の形態 6の階層画像符号化装置 1 0 6と同一 である。
上記符号化器 1 6 j は、 プロック化された高解像度符号化信号 H B gを受け、 各プロックにおける画像値の相関の大きい走査方向を判定する走査方向判定器 8 0と、 該判定結果を示す信号 S Dを、 低解像度符号化信号 L E gに対する、 画素 値の相関の大きい走査方向を示すモード信号 M gに基づいて符号化してモード符 号化信号 E M gを出力するモー ド符号化器 8 1 と、 高解像度画像信号 H S gに対 して水平走査符号化処理を行う水平走査符号化器 8 3と、 上記高解像度画像信号 H S gに対して垂直方向符号化処理を行う垂直方向符号化器 8 4とを有している。 また、 上記符号化器 1 6 j は、上記走査方向判定器 8 0の出力 S Dに基づいて、 上記高解像度画像信号 H S gを、 上記水平走査符号化器 8 3及び垂直走査符号化 器 8 4のいずれかに供給する前段スィ ッチ 5 2と、 上記走査方向判定器 8 0の出 力 S Dに基づいて、 上記水平走査符号化器 8 3及び垂直走査符号化器 8 4のいず れかの出力を選択する後段スィツチ 5 5と、 該後段スィツチ 5 5の出力と上記モ 一ド符号化信号 E M gとを多重化する多重化器 5 6とを有レている。
次に作用効果について説明する。
この実施の形態 1 0の階層画像符号化装置では、 符号化器 1 6 j以外の動作は 実施の形態 6の階層画像符号化装置 1 0 6と全く同様に行われるため、 符号化器 1 6 j に関する動作についてのみ説明する。
画像信号を走査線方向に符号化する符号化方式の場合は、 走査方向によって 符号化効率が変化する。 即ち、 画素値の水平方向の相関が大きい画像信号では 水平走査方向に沿って順次各画素の画素値を符号化することにより、 水平方向の 相関を有効に利用した符号化が可能であり、 また画素値の垂直方向の相関が大 きい画像信号では垂直走査方向に沿って順次各画素の画素値を符号化することに より、 画素値の垂直方向の相関を有効に利用した符号化が可能である。
そこで、 この実施の形態 1 0の階層画像符号化装置 1 1 0における符号化器 1 43
6 j では、 走査方向判定器 8 0により画素値の相関の大きい走査方向を判定し、 その判定結果に基づいて水平走査符号化器 8 3と垂直走査符号化器 8 4のいずれ かをスィ ッチ 5 2及び 5 5により選択し、 該選択した符号化器により、 高解像度 画像信号に対する符号化処理を行うようにしている。 これにより階層符号化処理 における符号化効率を向上することができる。
また、 高解像度画像は、 低解像度画像との間で画素値に関する相関が大きいも のであるので、 低解像度画像における画素値の相関の大きい走査方向と、 高解 像度画像における画素値の相関の大きい走査方向との間にも相関がある
そこで、 本実施の形態 1 0では、 走査方向判定器 8 0により判定した、 高解像 度画像における画素値の相関の大きい走査方向を示す符号化モード信号を、 低解 像度画像における画素値の相関の大きい走査方向を表す符号化モード信号 M gを 参照してモード符号化器 8 1で符号化する際に、 低解像度画像と高解像度画像と の間で画素値の相関の大きい走査方向が一致する場合に、 上記高解像度画像信号 に対応する符号化モード信号に短い符号長の符号を割り当てるようにしている。 これにより、 符号化モード信号の符号化に必要な符号化ビッ ト数を一層節約でき る。
実施の形態 1 1 .
第 1 5図は本発明の実施の形態 1 1による画像処理装置 （階層画像復号化装 置） を説明するための図であり、 第 1 5 (a)図は、 その全体構成を示すブロック 図、 第 1 5 (b)図は、 該階層画像復号化装置を構成する復号化器の詳細な構成を 示すブロック図である。
この実施の形態 1 1の階層画像復号化装置 1 1 1は、 第 1 4図に示す実施の形 態 1 0の階層画像符号化装置 1 1 0により符号化した低解像度符号化信号及び高 解像度符号化信号を複号化するものであり、 上記実施の形態 7における復号化器 4 0 gに代えて、 復号化した符号化モード信号に応じて復号化方式を切り替える 復号化器 4 0 kを備えている。 そして、 この階層画像符号化装置 1 1 0における その他の構成は、 第 1 0図に示す実施の形態 7の階層画像符号化装置 1 0 7と同 一である。
そして、 この実施の形態 1 ] の復号化器 4 0 kは、 上記高解像度符号化信号 H O 98/31151
PCT/JP98/00040
44
E gからモード符号化信号 E M gを分離して抽出する分離器 6 0と、 該分離され たモ一ド符号化信号 E M gを復号化するモード復号化器 8 5と、 高解像度符号化 信号 H S gに対して水平走査復号化処理を行う水平走査復号化器 8 6と、 高解像 度符号化信号 H S gに対して垂直走査復号化処理を行う垂直走査復号化器 8 7と を有している。
また、 上記復号化器 4 O kは、 上記モード復号化器 8 5にて復号化された符号 化モード信号 D M gに基づいて、 上記高解像度符号化信号 H E gを上記水平走査 復号化器 8 6及び垂直走査復号化器 8 7のいずれかに供給する前段スィツチ 6 2 と、 上記モード復号化器 8 5にて復号化された符号化モード信号 D M gに基づい て、 上記水平走查復号化器 8 6及び垂直走査復号化器 8 7のいずれかの出力を選 択して高解像度復号化信号 H D gとして出力する後段スィツチ 6 5とを有してい る。
次に作用効果について説明する。
この実施の形態 1 1の階層画像復号化装置 1 1 1では、 復号化器 4 O k以外の 動作は、 上記実施の形態 7の階層画像復号化装置 1 0 7と全く同様に行われるた め、 復号化器 4 0 kの動作についてのみ説明する。
上記復号化器 4 0 kのモード復号化器 8 5では、 低解像度画像の符号化モ一ド M g (即ち、 画素値の相関の大きい走査方向） を参照して高解像度画像のモード 符号化信号 E M gを復号化する。復号化した高解像度画像の符号化モード信号（画 素値の相関の大きい走査方向を示す信号） DM gに応じてスィ ッチ 6 2及びスィ ツチ 6 5を切換えることにより、 水平走査符号化処理された画像信号は水平走査 復号化器 8 6で復号化され、 垂直走査符号化処理された画像信号は垂直走査復号 ィ匕器 8 7で復号化される。
このように本実施の形態 1 1では、 物体の形状に応じて水平走査符号化処理あ るいは垂直走査符号化処理が施された符号化信号を、 正しく復号化することがで さる。
実施の形態 1 2 .
第 1 6図は、 本発明の実施の形態 1 2による画像処理装置 （階層画像符号化装 置） を説明するための図であり、第 1 6 (a)図はその全体構成を示すブロンク図、 第 1 6 (b)図は、 該階層画像符号化装置を構成すろ符号化器 1 6 mの詳細な構成 を示すブロック図、 第 1 6 (c)図は、 該符号化器 1 6 mを構成する第 2の符号化 器 5 4 mの具体的な構成を示すプロック図である。
この実施の形態 1 2の階層画像符号化装置 1 1 2は、 上記実施の形態 6におけ る符号化器 1 6 ίに代えて、 低解像度画像の動きべク トルを参照して髙解像度画 像信号の符号化を行う符号化器 1 6 mを備えたものであり、 その他の構成は、 第 9図に示す実施の形態 6の階層画像符号化装置 1 0 6と同一である。
この符号化器 1 6 mは、 上記実施の形態 6の符号化器 1 6 f における第 2の符 号化器 5 4を、 必要に応じて画面間予測符号化を行う構成としたものであり、 そ の他の構成は、 上記符号化器] 6 f と同一である。
すなわち、 この実施の形態における符号化器 1 6 mを構成する第 2の符号化器 5 4 mは、 予測信号 P cに基づいて高解像度画像信号 H B gを符号化して高解像 度符号化信号 H F- gを出力する符号化器 9 2と、 上記予測信号: P cに基づいて髙 解像度符号化信号 H E gを復号化して高解像度局所復号化信号 H d gを出力する 局所復号化器 9 3と、 該高解像度局所復号化信号 H d gを記億するメモリ 9 4と を有している。 また、 上記第 2の符号化器 5 4 πιは、 上記高解像度画像信号 H B gを受け、 上記メモリ 9 4に記憶された高解像度局所復 S-化 ί言号 H d g、 及び低 解像度画像の符号化モード M gとしての動きべク トル L M Vを参照して、 高解像 度画像に対応する動きべク トル HMVを検出する動き検出器 9 0と、 該動きべク トル HMVに基づいて、 上記メモリ 9 4から上記予測信号 P cを抽出する動き補 償器 9 1 と、 上記高解像度画像の動きべク トル HMVを、 低解像度画像の動きべ ク トル L MVに基づいて符号化して動きべク トル符号化信号 H MV cを出力する 動き符号化器 9 5と、 該動きべク トル符号化信号 HM V c と上記高解像度符号化 信号 H E gとを多重化して出力する多重化器 5 6 mとを有している。
次に作用効果について説明する。
この実施の形態 1 2の階層画像符号化装置 1 1 2では、 符号化器 1 6 m以外の 動作は実施の形態 6の階層画像符号化装置 1 0 6と全く同様に行われるため、 符 号化器 1 6 mに関する動作についてのみ説明する。
画像 ί言号は時間方向の相関， つまり前後のフレーム間での画素値の相関がある ので、 動きベク トルを用いて動き補償することにより、 符号化効率が向上するこ とが知られている。
上記符号化器 1 6 mの動き検出器 9 0では、 メモリ 9 4に記憶された復号化済 画像信号 H d g及びプロック化された高解像度画像信号 H B gに基づいて高解像 度画像の動きベク トル H MVが検出され、 動き補償器 9 1では、 検出した高解 像度画像の動きベク トル HMVに基づいて動き補償画像 （予測信号） P cが生成 される。
そして符号化器 9 2では、 動き補償画像 P cを参照して高解像度画像のプロッ ク化画像信号 H B gに対する符号化処理が行われる。 この処理により得られる高 解像度符号化信号 H E gは復号化器 9 3により復号化されて、 高解像度局所復号 化信号 H d gとしてメモリ 9 4に記憶される。
また、 髙解像度画像と低解像度画像との問では画素値の相関が大きいので、 低 解像度画像の動きべク トル L MVと高解像度画像の動きべク トル HMVとの間に もべク トル値の相関がある。
そこで、 動き符号化器 9 5では、 低解像度画像の動きべク トル L MVに相当す る符号化モード信号 を参照して、 動き検出器 9 0にて検出した高解像度画像 の動きべク トル HMVを符号化する際に、 低解像度画像と高解像度画像との問で 動きべク トルが一致する場合に、 該高解像度画像の動きべク トル HM Vに短い符 号長の符号を割り当てるようにしている。 これにより、 高解像度画像の動きべク トルの符号化に要する符号化ビッ ト数を節約できる。
実施の形態 1 3 .
第 1 7図は、 本発明の実施の形態 1 3による画像処理装置 （階層画像復号化装 置） を説明するための図であり、第 1 7 (a)図はその全体構成を示すプロック図、 第 1 7 (b)図は、 該階層画像復号化装置を構成する復号化器 4 0 nの詳細な構成 を示すブロック図、 第 1 7 (c)図は、 該復号化器 4 0 nを構成する第 2の復号化 器 6 4 nの具体的な構成を示すプロック図である。
この実施の形態 1 3の階層画像複号化装置 1 1 3は、 第 1 6図に示す実施の形 1 2の階層画像符号化装置 1 1 2により符号化された符 化信号を階層複号化 するものである。 この階層画像復号化装置 1 1 3は、 第 1 0図に示す実施の形態 7における復号化器 4 0 gに代えて、 低解像度画像の動きべク トルを参照して高 解像度符号化信号の復号化を行う復号化器 4 0 nを備えたものであり、 その他の 構成は、第 1 0図に示す実施の形態 7の階層画像復号化装置 1 0 7と同一である。 また、 上記復号化器 4 0 nを構成する複号化器 6 4 nは、 上記実施の形態 7の 複号化器 1 0 7における第 2の複号化器 6 4を、 必要に応じて画面間予測復号化 を行う構成としたものであり、 その他の構成は上記実施の形態 7の復号化器 4 0 gと同一である。
すなわち、 この実施の形態における復号化器 4 0 nを構成する第 2の復号化器 6 4 nは、 予測信号 P dに基づいて高解像度符号化信号 H E gを復号化して高解 像度復号化信号 H D g 2を出力する復号化器 9 3 bと、 該高解像度復号化信号 H d g 2を記憶するメモリ 9 4 bとを有している。 また、 上記第 2の復号化器 6 4 nは、 低解像度画像の符号化モード （動きベク トル） L MVを参照して、 分離さ れたモ一ド符号化信号 E M gに対する復号化処理を施して、 高解像度画像の動き べク トル HMVを再生する動き復号化器 9 6 と、 該再生動きべク トル HMVに基 づいて、 メモリ 9 4 bに記憶された高解像度復号化信号 H D g 2から予測信号 P dを抽出する動き補償器 9 1 bとを有している。
次に動作について説明する。
この実施の形態 1 3の階層画像復号化装置 1 1 3では、 復号化器 4 O ri以外の 動作は、 上記実施の形態 7の階層画像復号化装置 1 0 7と全く同様に行われるた め、 復号化器 4 0 nに関する動作についてのみ説明する。
上記復号化器 4 0 nにおける分離器 6 0では、 高解像度符号化信号 H E gから モード情報 （動きベク トル情報） E M gに対応する符号部分が分離される。
そして、 該モード情報 E M g及び高解像度符号化信号 H E gが上記復号化器 4 0 nを構成する第 2の復号化器 6 4 nに供給されると、 該復号化器 6 4 nでは、 動き復号化器 9 6により、 低解像度画像の符号化モード M g (即ち動きベク トル L MV ) を参照して、 分離器 6 0で分離したモード情報の符号から高解像度画像 の動きべク トル HM Vが復号化され、 この動きべク トル HM Vが動き補償器 9 1 bに供給される。
すると、 上記動き補償器 9 1 bではメモリ 9 4 bに記憶された復号化済高解像 度画像信号 P dを参照して動き補償が行われ、 復号化器 9 3 bでは、 動き補償器 9 1 bの出力 P dを参照して、 高解像度符号化信号 H E gのモード情報以外の符 号部分が復号化され、 高解像度復号化信号 H D g 2が出力される。 この復号化信 号 H D g 2は、 メモリ 9 4 bに記憶され、 後続のブロックの復号化処理の際に 参照される。
このように本実施の形態 1 3では、 実施の形態 1 2の階層画像符号化装置 1 1 2にて低解像度画像の動きべク トル L MVを参照して符号化された高解像度符号 化信号 H E gを正しく復号化することができる。
実施の形態 1 4 .
第 1 8図は、 本発明の実施の形態 1 4による画像処理装置 （階層画像符号化装 置） を説明するための図であり、第 1 8 (a)図はその全体構成を示すプロック図、 第 1 8 (b)図は、 該階層画像符号化装置を構成する符号化器 1 6 pの詳細な構成 を示すプロック図、 第 1 8 (c)図は、 該符号化器 1 6 pを構成する第 2の符号化 器 5 4 pの具体的な構成を示すプロック図である。
この実施の形態 1 4の階層画像符号化装置 1 1 4は、 第 9図に示す実施の形態 6における符号化器 1 6 f に代えて、 低解像度画像の動きべク トル及び符号化済 の高解像度画像の動きべク トルから予測した予測べク トルを参照して、 高解像度 画像信号の符号化を行う符号化器 1 6 pを備えたものであり、 その他の構成は、 上記実施の形態 6の階層画像符号化装置 1 0 6と同一である。
この符号化器 1 6 pは、 上記実施の形態 6の符号化器 1 6 f における第 2の符 号化器 5 4を、 必要に応じて画面問予測符号化を行う構成としたものであり、 そ の他の構成は上記符号化器 1 6 f と同一である。
すなわち、 この実施の形態 1 4における符号化器 1 6 pを構成する第 2の符号 化器 5 4 pは、 第 1 6図に示す実施の形態 1 2における符号化器 1 6 mを構成す る第 2の符号化器 5 4 mの構成に加えて、 低解像度画像に対応する動きベク トル の符号化信号と、 符号化済の高解像度画像に対応する動きべク トルの符号化信号 とに基づいて、 予測動きべク トル P MVを生成する動きべク トル予測器 9 7を備 えたものであり、 その他の構成は上記実施の形態 1 2における符号化器 1 6 mを 構成する第 2の符号化器 5 4 mと同一である。 次に作用効果について説明する。
この実施の形態 1 4における第 2の符号化器 5 4 pと、 実施の形態 1 2の第 2 の符号化器 5 4 mとの違いは、 第 1 6図に示す実施の形態 1 2の符号化器 5 4 m では、 低解像度画像の動きべク トルを参照して、 高解像度画像の動きべク トルを 符号化するのに対し、 第 1 8図に示す実施の形態 1 4の符号化器 5 4 pでは、 低解像度の画像の動きべク トルと符号化済の高解像度画像の動きべク トルから予 測生成した動きべク トルを参照して、 高解像度画像の動きべク トルを符号化する 点である。
笫 1 9図は動きべク トルの参照に関する説明図である。 第 1 9 (a)図は低解像 度画像の動きベク トル L MV、 第 1 9 (b)図は高解像度画像の動きベク トル H M V、 第 1 9 (c)図は低解像度画像を解像度変換した補間動きべク トル A M Vを示 す。
詳述すると、 第 1 9 (d)図に示す高解像度画像に対する被符号化プロック B X の動きべク トルを、 同じ空間位置の低解像度画像の動きべク トル L MV (第 1 9 図（a)参照） から得られる補問動きベク トル AMV (第 1 9 (c)図参照） と、 符号 化済高解像度画像の動きベク トル MMV 1〜H MV 3 (第 1 9 (b)図参照） とか ら予測生成する。 これにより、 単純に同じ空間位置の低解像度画像の動きべク ト ルのみを参照して、 高解像度画像の動きベク トルを符号化する場合より、 動きべ ク トルの符号化効率を向上できる。
そこで、 動き予測器 9 7では、 動き符号化器 9 5で符号化した、 高解像度画像 の動きベク トル HMV (HMV 1〜HMV 3 ) の符号化信号 H E m vと、 低解像 度画像の動きベク トルの符号化信号 M g ( L E m v ) とを参照して高解像度画像 の動きベク トルの予測値 P M Vを生成し、 動き符号化器 9 5では、 予測生成し た動きべク トル P MVを参照して、 動き検出器 9 0で検出した高解像度両像の動 きベク トル HMVを符号化する。 なお、 上記動き符号化器 9 5で符号化された予 測動きベク トル P E m Vは、 多重化器 5 6 mにて、 符号化器 9 2の出力である高 解像度符号化信号と多重化されて、 第 2の符号化器 5 4 pの出力 H D g 2として 出力される。
このように本実施の形態 1 4では、 低解像度画像の動きべク トルと高解像度画 像の動きべク トルから予測生成した予測動きべク トルを参照して、 高解像度画像 の動きべク トルを符号化するので、 上記実施の形態 1 2に比べて、 高解像度画像 の動きべク トルに対する符号化ビッ ト数をより大きく節約できる。
なお、 上記実施の形態 1 2， 1 4では、 動き検出器 9 0により、 メモリ 9 4に 記憶された局所復号化信号から、 符号化処理の対象となっている対象高解像度ブ ロックに対応する予測信号 （予測領域） を抽出する際には、 低解像度画像の動き べク トルにできるだけ近い値を持つ動きべク トルが高解像度画像の動きべク トル として選択されるようにする、 つまり上記対象高解像度ブロックからできるだけ 近い予測領域が選択されるようにすることにより、 動き符号化器 9 5の符号化ビ ッ ト数をより削減することができる。
また、 上記実施の形態 1 2 , 1 4では、 低解像度画像の符号化モードに応じて、 高解像度画像信号の符号化方法及び高解像度画像信号の符号化モードの符号化方 法を切り替えるようにしているが、 低解像度画像の符号化モードに応じて、 高解 像度画像信号の符号化方法とその符号化モードの符号化方法の一方のみを切り替 えるようにしてもよレヽ。
実施の形態 1 5 .
第 2 0図は、 本発明の実施の形態 1 5による画像処理装置 （階層画像復号化装 置） を説明するための図であり、第 2 0 (a)図はその全体構成を示すプロンク図、 第 2 0 (b)図は、 該階層画像複号化装置を構成する復号化器 4 0 qの詳細な構成 を示すブロック図、 第 2 0 (c)図は、 該復号化器 4 0 qを構成する第 2の複号化 器 6 4 qの具体的な構成を示すプロック図である。
この実施の形態 1 5の階層画像復号化装置 1 1 5は、 第 1 8図に示す実施の形 態 1 4の階層画像符号化装置 1 1 4により符号化された符号化信号を階層復号化 するものである。 この階層画像復号化装置 1 1 5は、 第 1 0図に示す実施の形態 7における符号化器 4 0 gに代えて、 低解像度画像の動きべク トル及び符号化済 の高解像度画像の動きべク トルから予測した予測べク トルを参照して、 高解像度 画像信号の復号化を行う復号化器 4 0 qを備えたものであり、 その他の構成は、 上記実施の形態 7の階層画像復号化装置 1 0 7と同一である。
この複号化器 4 0 αは、 上記実施の形態 7の復号化器 4 0 gにおける第 2の符 号化器 6 4を、 必要に応じて画面問予測符号化を行う構成としたものであり、 そ の他の構成は上記復号化器 4 0 gと同一である。
すなわち、 この実施の形態における復号化器 4 0 qを構成する第 2の復号化器 6 4 qは、 第 1 7図に示す実施の形態 1 3における第 2の復号化器 6 4 nの構成 に加えて、 低解像度画像に対応する動きべク トル L MVと、 符号化済の高解像度 面像に対応する動きべク トル HMVとに基づいて、 予測動きべク トル P MVを生 成する動きべク トル予測器 9 8を備えたものであり、 その他の構成は上記実施の 形態 1 3における第 2の符号化器 6 4 nと同一である。
次に作用効果について説明する。
この実施の形態 1 5の階層画像復号化装置 1 1 5では、 復号化器 4 0 qにおけ る第 2の復号化器 6 4 q以外の動作は、 上記実施の形態 1 3の階層画像復号化装 置 1 1 3と全く同様に行われるため、 復号化器 4 0 qにおける第 2の復号化器 6 4 qに関する動作についてのみ説明する。
上記第 2の復号化器 6 4 qにおける動き予測器 9 8では、 動き復号化器 9 6で 復号化した高解像度画像の動きベク トル HMVと、 モード復号化器 6 1から供給 される低解像度画像の動きべク トル L MV ( D M g ) を参照して、 高解像度画像 ブロックの動きベク トルの予測値 P MVが生成される。 すると、 動き復号化器 9 6では、 上記予測生成した動きベク トル P MVを参照して、 高解像度画像に対 する動きべク トルの符号化信号 E M gが復号化される。 その他の動作は第 1 7図 の実施の形態 1 3の階層画像復号化装置 1 1 3と同じである。
このようにして本実施の形態 1 5では、 符号化済の高解像度画像の動きべク ト ルと低解像度画像の動きべク トルとを参照して符号化された動きべク トル符号化 信号を正しく復号化できる。
なお、 上記各実施の形態で示した画像符号化処理および画像復号化処理を実現 するための符号化あるいは復号化プログラムを、 フロッピ一ディスク等のデータ 記録媒体に記録するようにすることにより、 上記各実施の形態で示した処理を、 独立したコンピュータシステムにおいて簡単に実施することが可能となる。 第 2 1図は、 上記各実施の形態の画像処理装置による階層画像符号化処理、 あ るいは階層画像復号化処理を、 これらの画像処理に対応したプログラムを格納し たフロッピーディスクを用いて、 コンピュータシステムにより実施する場合を説 明するための図である。
第 2 1 (b)図は、 フロッピ一ディスク F Dの正面からみた外観、 断面構造、 及 び記録媒体であるフロッピ一ディスク本体を示し、 図 2 1 (a) は、 フロッピー ディスク本体 Dの物理フォーマッ トの例を示している。 フロッピ一ディスク本体 Dはケース F内に內蔵され、 該ディスク本体 Dの表面には、 同心円状に外周から 內周に向かって複数のトラック T rが形成され、 各トラックは角度方向に 1 6の セクタ S eに分割されている。 従って、 上記プログラムを格納したフロッピ一デ イスク本体 Dでは、 上記フロッピーディスク本体 D上に割り当てられた領域に、 上記プログラムとしてのデータが記録されている。
また、 第 2 1 (c)図は、 フロッピーディスク F Dに対する上記プログラムの記 録再生を行うための構成を示す。 上記プログラムをフロツビ一ディスク F Dに記 録する場合は、 コンピュータシステム C sから上記プログラムとしてのデータを フロッピ一ディスク ドライブ F DD を介してフロッビディスク F Dに書き込む。 また、 フロッピ一ディスク F D内のプログラムにより上記復号化方法をコンビュ —タシステム C s中に構築する場合は、 フロ ッピ一ディスク ドライブ F DD によ りプログラムをフロッピーディスク F Dから読み出し、 コンピュータシステム C sに転送する。
なお、 上記説明では、 データ記録媒体としてフロ ンピーディスクを用いたコン ピュータシステムによる画像処理の説明を行ったが、 この画像処理は、 光デイス クを用いても同様に行うことができる。 また、 記録媒体はこれに限らず、 I C力 ード、 R OMカセッ ト等、 プログラムを記録できるものであれば同様に上記画像 処理を実施することができる。
なお、 実施の形態 6、 実施の形態 8および実施の形態 1 0の符号化器では、 モ ード判定器 5 0 (第 9 (b)図） 、 境界判定器 7 0 (第 1 1 (b)図） および走査方向 判定器 8 0 (第 1 4 (b)図） は、 符号化処理前に、 外部から入力される高解像度 画像信号に基づいて符号化方式を判定する構成としている力 これらの判定器は、 複数の符号化方式で符号化した結果 （符号化信号） を比較して、 符号化方式， つ まり符号化モードを決定するようにしてもよレ、。 産業上の利用可能性
以上のように本発明に係る画像処理方法及び画像処理装置、 並びにデータ記録 媒体は、 画像信号の圧縮処理における符号化効率の向上を図ることができ、 画像 信号の伝送や記憶を行うシステムにおける画像符号化処理や画像復号化処理を実 現するものとして極めて有用であり、 特に、 M P E G 4等の規格に準拠した動画 像の圧縮， 伸長処理に適している。

Claims

請 求 の 範 囲
1 . 物体の形状情報を有する画像入力信号に基づいて、 空間解像度が異なる複 数の画像空間を形成する階層画像信号として、 少なく とも低解像度画像信号及び 高解像度画像信号を生成し、
上記高解像度画像信号を、 高解像度画像空間における所定数の画素からなる高 解像度ブロックに対応するよう区分するとともに、 上記低解像度画像信号を、 低 解像度画像空間における所定数の画素からなる低解像度プロックに対応するよう 区分し、
処理対象となる対象高解像度プロックを形成する高解像度画像信号に対する符 号化処理を、 該高解像度プロックに対応する低解像度プロックを形成する低解像 度画像信号を参照して順次行う階層面像符号化方法であって、
上記符号化処理の際に参照される参照低解像度プロックは、 その低解像度画像 空間における空間位置が、 該参照低解像度プロックに対応する上記対象高解像度 ブロックの、 高解像度画像空問における空問位置に対応付けられた低解像度ブロ ックであることを特徴とする画像処理方法。
2 . 請求の範囲第 1項記載の画像処理方法において、
上記高解像度画像空問を構成する個々の画素は、 上記低解像度画像空間の解像 度変換により得られる、 空問解像度が上記高解像度画像空問と等しい解像度変換 画像空間における個々の画素と一対一に対応することを特徴とする画像処理方法。
3 . 請求の範囲第 1項記載の画像処理方法において、
上記参照低解像度プロックを構成する画素の数と、 上記対象高解像度プロック を構成する画素の数とがー致することを特徴とする画像処理方法。
4 . 請求の範囲第 1項記載の画像処理方法において、
上記参照低解像度ブロックの低解像度画像空間における相対位置と、 対象高解 像度プロックの高解像度画像空間における相対位置とがー致することを特徴とす る画像処理方法。
5 . 請求の範囲第 1項記載の画像処理方法において、
上記参照低解像度プロックに対する、 符号化処理方法を識別するための符号化 モードに応じて、 上記対象高解像度ブロックに対する、 符号化処理方法を識別す るための符号化モードを示すモード信号の符号化方式を切換えることを特徴とす る画像処理方法。
6 . 請求の範囲第 5項記載の画像処理方法において、
上記符号化モードは、 画像空間上に表示される物体の形状の境界が上記対象高 解像度プロック内に含まれるか否かを示す符号化モードであることを特徴とする 画像処理方法。
7 . 請求の範囲第 5項記載の画像処理方法において、
上記符号化モードは、 参照低解像度プロックに対応する画像信^を画素毎に順 次符号化する符号化処理が、 水平走査方向と垂直走査方向のいずれの走査方向に 沿って行われているかを示す符号化モードであることを特徴とする画像処理方法。
8 . 請求の範囲第 1項記載の画像処理方法において、
上記参照低解像度のプロックに対応する、 上記低解像度画像空間での物体の動 きを示す動き情報を参照して、 上記対象高解像度ブロックに対応する、 上記高解 像度画像空間での物体の動きを示す動き情報の符号化方法を切換えることを特徴 とする画像処理方法。
9 . 請求の範囲第 1項記載の画像処理方法において、
符号化処理がすでに施された処理済高解像度プロックの、 高解像度画像空間で の物体の動きを示す動き情報、 及び上記参照低解像度ブロックに対応する、 上記 低解像度画像空間での物体の動きを示す動き情報を参照して、 上記対象高解像度 ブロックに対応する、 上記高解像度画像空間での物体の動きを示す動き情報の符 号化方法を切換えることを特徴とする画像処理方法。
1 0 . 物体の形状情報を有する画像信号に階層符号化処理を施して得られる少 なく とも 2つのプロ 'ンク化された階層符号化信号のうちの低解像度符号化信号を 復号化して、 低解像度画像空間における所定数の画素からなる低解像度ブロック に対応した低解像度復号化信号を生成し、
該低解像度復号化信号を統合して上記低解像度画像空間に対応する低解像度統 合信号を生成し、
上記 2つのプロック化された階層符号化信号のうちの高解像度符号化信号を、 対応する低解像度復号化信号を参照して復号化して、 高解像度画像空問における 所定数の画素からなる高解像度プロックに対応した高解像度復号化信号を生成し、 該高解像度復号化信号を統合して上記高解像度画像空間に対応する高解像度統 合信号を生成する階層画像複号化方法であって、
上記高解像度符号化信号の復号化処理の際に参照される参照低解像度ブロック は、 その低解像度画像空間における空間位置が、 該参照低解像度ブロックに対応 する、 上記復号化処理の対象となる対象高解像度ブロックの、 高解像度画像空間 における空間位置に対応付けられた低解像度プロックであることを特徴とするこ とを特徴とする画像処理方法。
1 1 . 請求の範囲第 1 0項記載の画像処理方法において、
上記高解像度画像空間を構成する個々の画素は、 上記低解像度画像空間の解像 度変換により得られる、 空間解像度が上記高解像度画像空間と等しい解像度変換 画像空間における個々の画素と一対一に対応することを特徴とする画像処理方法。
1 2 . 請求の範囲第 1 0項記載の画像処理方法において、
上記参照低解像度ブロックを構成する画素の数と、 上記対象高解像度ブロック を構成する画素の数とがー致することを特徴とする画像処理方法。
1 3 . 請求の範囲第 1 0項記載の画像処理方法において、
上記参照低解像度プロックの低解像度画像空問における相対位置と、 対象高解 像度プロックの高解像度画像空間における相対位置とがー致することを特徴とす る画像処理方法。
1 4 . 請求の範囲第 1 0項記載の画像処理方法において、
上記参照低解像度プロックに対する、 復号化処理方法を識別するための符号化 モードに応じて、 上記対象高解像度ブロックに対する、 復号化処理方法を識別す るための符号化モードを示すモード符号化信号の復号化方式を切換えることを特 徴とする画像処理方法。
1 5 . 請求の範囲第 1 4項記載の画像処理方法において、
上記符号化モードは、 画像空問上に表示される物体の形状の境界が上記対象高 解像度ブロンク内に含まれるか否かを示す符号化モー ドであることを特徴とする 画像処理方法。
1 6 . 請求の範囲第 1 4項記載の画像処理方法において、
上記符号化モードは、 参照低解像度プロックに対応する画像信号を画素毎に順 次復号化する復号化処理が、 水平走査方向と垂直走査方向のいずれの走査方向に 沿って行われているかを示す符号化モードであることを特徴とする画像処理方法。
1 7 . 請求の範囲第 1 0項記載の画像処理方法において、
上記参照低解像度のプロソクに対応する、 上記低解像度面像空間での物体の動 きを示す動き情報を参照して、 上記対象高解像度ブロックに対応する、 上記髙解 像度画像空間での物体の動きを示す動き情報の復号化方法を切換えることを特徴 とする画像処理方法。
1 8 . 請求の範囲第 1 0項記載の画像処理方法において、
復号化処理がすでに施された処理済高解像度プロックの、 高解像度画像空間で の物体の動きを示す動き情報、 及び上記参照低解像度ブロンクに対応する、 上記 低解像度画像空間での物体の動きを示す動き情報を参照して、 上記対象高解像度 プロックに対応する、 上記高解像度画像空間での物体の動きを示す動き情報の復 号化方法を切換えることを特徴とする画像処理方法。
1 9 . 物体の形状情報を有する画像入力信号を受け、 空間解像度が異なる複数 の画像空間を形成する階層画像信号を符号化する階層画像符号化装置であって、 上記画像入力信号をサブサンプルして低解像度画像信号を生成するサブサンプ ル手段と、
該低解像度画像信号を、 低解像度画像空間における所定数の画素からなる低解 像度ブロックに対応するよぅブロック化する第 1のブロック化手段と、
符号化処理の対象となる低解像度プロックを形成する低解像度画像信号に対す る符号化処理を順次行う第 1の符号化手段と、
上記画像入力信号を高解像度画像信号として、 高解像度画像空間における所定 数の画素からなる高解像度ブロックに対応するようブロック化する第 2のブロッ ク化手段と、
符号化処理の対象となる高解像度ブロックを形成する高解像度画像信号に対す る符号化処理を、 該高解像度ブロックに対応する低解像度ブロックを形成する低 解像度画像信号を参照して順次行う第 2の符号化手段とを備え、 上記符号化処理の際に参照される参照低解像度プロックは、 その低解像度画像 空間における空間位置が、 該参照低解像度プロックに対応する上記対象高解像度 ブロックの、 高解像度画像空間における空間位置に対応付けられた低解像度プロ ックであることを特徴とする画像処理装置。
2 0 . 物体の形状情報を有する画像信号に階層符号化処理を施して得られる少 なく とも 2つのプロック化された階層符号化信号を復号化する階層画像復号化装 置であって、
上記 2つのプロック化された階層符号化信号のうちの低解像度符号化信号を復 号化して、 低解像度画像空問における所定数の画素からなる低解像度プロックに 対応した低解像度復号化信号を生成する第 1の復号化手段と、
該各低解像度プロックに対応した低解像度復号化信号を統合して、 上記低解像 度画像空問に対応する低解像度統合信号を生成する第 1の逆ブ πシク化手段と、 上記 2つのプロック化された階層符号化信号のうちの高解像度符号化信号を、 対応する低解像度復号化信号を参照して復号化して、 高解像度画像空問における 所定数の画素からなる高解像度ブ πックに対応した高解像度復号化信号を生成す る第 2の復号化手段と、
該各高解像度プロックに対応する高解像度複号化信号を統合して、 上記高解像 度画像空間に対応すろ高解像度統合信号を生成する第 2の逆プロック化手段とを 備え、
上記高解像度符号化信号の復号化処理の際に参照される参照低解像度プロック は、 その低解像度画像空間における空間位置が、 該参照低解像度ブロックに対応 する上記復号化処理の対象となる対象高解像度ブロンクの、 高解像度画像空問に おける空間位置に対応付けられた低解像度ブロックであることを特徴とする画像 処理装置。
2 1 . コンピュータに階層画像符号化処理を行わせるためのプログラムを格納 したデータ記録媒体であって、
上記プログラムは、
請求の範囲第 1項記載の画像処理方法による階層画像符号化処理を、 コンビュ —タが行うよう構成されていることを特徴とするデータ記録媒体。
2 2 . コンピュータに階層画像複号化処理を行わせるためのプログラムを格納 したデータ記録媒体であって、
上記プログラムは、
請求の範囲第 1 0項記載の画像処理方法による階層画像復号化処理を、 コンビ ユータが行うよう構成されていることを特徴とするデータ記録媒体。
PCT/JP1998/000040 1997-01-10 1998-01-09 Image processing method, image processing device, and data recording medium WO1998031151A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP98900183A EP0971545A4 (en) 1997-01-10 1998-01-09 IMAGE PROCESSING METHOD AND DEVICE, AND DATA RECORDING MEDIUM
US09/341,472 US6690724B1 (en) 1997-01-10 1998-01-09 Image processing method, image processing device, and data recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP265997 1997-01-10
JP9/2659 1997-01-10

Publications (1)

Publication Number Publication Date
WO1998031151A1 true WO1998031151A1 (en) 1998-07-16

Family

ID=11535475

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1998/000040 WO1998031151A1 (en) 1997-01-10 1998-01-09 Image processing method, image processing device, and data recording medium

Country Status (6)

Country Link
US (1) US6690724B1 (ja)
EP (1) EP0971545A4 (ja)
KR (1) KR100341079B1 (ja)
CN (1) CN1243635A (ja)
TW (1) TW395131B (ja)
WO (1) WO1998031151A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
US6259738B1 (en) 1996-10-31 2001-07-10 Kabushiki Kaisha Toshiba Video encoding apparatus and video decoding apparatus
TWI249144B (en) * 2003-02-21 2006-02-11 Via Tech Inc Single level MIP filtering algorithm for anisotropic texturing
JP3772846B2 (ja) * 2003-03-24 2006-05-10 ソニー株式会社 データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法
EP1608164A1 (en) * 2003-03-24 2005-12-21 Sony Corporation Data encoding apparatus, data encoding method, data output apparatus, data output method, signal processing system, signal processing apparatus, signal processing method, data decoding apparatus, and data decoding method
JP2005142654A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
WO2006008681A1 (en) * 2004-07-13 2006-01-26 Koninklijke Philips Electronics N.V. Method of spatial and snr picture compression
US20080267291A1 (en) * 2005-02-18 2008-10-30 Joseph J. Laks Thomson Licensing Llc Method for Deriving Coding Information for High Resolution Images from Low Resolution Images and Coding and Decoding Devices Implementing Said Method
WO2006087319A2 (en) 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution pictures from low resoluton pictures and coding and decoding devices implementing said method
KR100891662B1 (ko) 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR20070038396A (ko) 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
EP1969853A1 (en) * 2006-01-05 2008-09-17 Thomson Licensing Inter-layer motion prediction method
EP1879399A1 (en) * 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
US8374247B2 (en) * 2008-01-14 2013-02-12 Broadcom Corporation Method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing
JP5147597B2 (ja) * 2008-08-13 2013-02-20 キヤノン株式会社 画像形成装置、画像形成方法およびプログラム
JP5081113B2 (ja) 2008-09-17 2012-11-21 キヤノン株式会社 画像符号化装置及び画像復号装置、並びにそれらの制御方法
JP5173873B2 (ja) 2008-11-20 2013-04-03 キヤノン株式会社 画像符号化装置及びその制御方法
JP2011244210A (ja) * 2010-05-18 2011-12-01 Sony Corp 画像処理装置および方法
EP2645716A4 (en) 2010-11-24 2016-04-13 Panasonic Ip Corp America MOTION VECTOR CALCULATION METHOD, IMAGE ENCODING METHOD, IMAGE DECODING METHOD, MOTION VECTOR CALCULATING DEVICE, AND IMAGE ENCODING / DECODING DEVICE
JP2012124653A (ja) * 2010-12-07 2012-06-28 Canon Inc 符号化装置、符号化方法およびプログラム
EP2665271A4 (en) * 2011-01-12 2014-06-18 Panasonic Corp VIDEO ENCODING METHOD AND VIDEO DECODING METHOD
JP6108309B2 (ja) 2011-02-22 2017-04-05 サン パテント トラスト 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
JP5358746B2 (ja) 2011-03-03 2013-12-04 パナソニック株式会社 動画像符号化方法、動画像符号化装置及びプログラム
JP5492139B2 (ja) 2011-04-27 2014-05-14 富士フイルム株式会社 画像圧縮装置、画像伸長装置、方法、及びプログラム
US20120300844A1 (en) * 2011-05-26 2012-11-29 Sharp Laboratories Of America, Inc. Cascaded motion compensation
KR101756841B1 (ko) * 2011-06-07 2017-07-11 삼성전자주식회사 블록 기반 영상의 해상도 변환 방법 및 장치
CN105981051B (zh) * 2014-10-10 2019-02-19 北京旷视科技有限公司 用于图像解析的分层互连多尺度卷积网络
CN106296578B (zh) * 2015-05-29 2020-04-28 阿里巴巴集团控股有限公司 一种图像处理方法及装置
CN110915196B (zh) * 2017-07-24 2023-01-10 索尼公司 成像设备、图像处理方法和程序

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07212761A (ja) * 1994-01-17 1995-08-11 Toshiba Corp 階層符号化装置及び階層復号化装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69322769T2 (de) 1992-03-03 1999-07-22 Toshiba Kawasaki Kk Koder für zeitveränderliche bilder
JPH06197334A (ja) * 1992-07-03 1994-07-15 Sony Corp 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体
JP3135692B2 (ja) 1992-08-28 2001-02-19 株式会社日立製作所 階層的動画像信号符号化装置及び方法
NL9201594A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende ten minste één encoder voor het coderen van een digitaal signaal en ten minste één decoder voor het decoderen van een gecodeerd digitaal signaal, en encoder en decoder voor toepassing in het systeem.
JP2979900B2 (ja) * 1993-05-26 1999-11-15 日本ビクター株式会社 記録媒体
CA2127151A1 (en) * 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
WO1996008114A1 (en) * 1994-09-02 1996-03-14 David Sarnoff Research Center, Inc. Method and apparatus for global-to-local block motion estimation
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
JP3210862B2 (ja) * 1996-06-27 2001-09-25 シャープ株式会社 画像符号化装置及び画像復号装置
JP3191922B2 (ja) * 1997-07-10 2001-07-23 松下電器産業株式会社 画像復号化方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07212761A (ja) * 1994-01-17 1995-08-11 Toshiba Corp 階層符号化装置及び階層復号化装置

Also Published As

Publication number Publication date
EP0971545A1 (en) 2000-01-12
KR20000070003A (ko) 2000-11-25
US6690724B1 (en) 2004-02-10
TW395131B (en) 2000-06-21
EP0971545A4 (en) 2003-08-13
CN1243635A (zh) 2000-02-02
KR100341079B1 (ko) 2002-06-20

Similar Documents

Publication Publication Date Title
WO1998031151A1 (en) Image processing method, image processing device, and data recording medium
US6198768B1 (en) Video encoding apparatus and video decoding apparatus
CN1535024B (zh) 视频编码设备和方法及视频解码设备和方法
US6766061B2 (en) Method and apparatus for digital image coding and decoding, and data recording media
KR19990013748A (ko) 화상 전송용 데이터 구조, 화상 부호화 방법 및 화상 복호화 방법
US6259738B1 (en) Video encoding apparatus and video decoding apparatus
KR100256859B1 (ko) 동화상을 코딩/인코딩하는 장치와 방법 그리고동화상을 저장하는 저장매체
JPH10257505A (ja) 画像処理方法及び画像処理装置、並びにデータ記録媒体
JPH06351000A (ja) 画像信号符号化装置と画像信号復号装置
JPH10276437A (ja) 階層的動画像信号符号化／復号化方法及び装置
JPH104549A (ja) 画像符号化装置および画像復号化装置
JP3222876B2 (ja) 画像符号化方法および画像符号化装置並びに画像符号化プログラムを記録した記録媒体
JP2008228336A (ja) 画像符号化方法及び装置
JP2001160971A (ja) デジタル画像符号化方法及びデジタル画像符号化装置，デジタル画像復号化方法及びデジタル画像復号化装置，並びにデータ記憶媒体
JP2000324501A (ja) 画像符号化装置、画像復号化装置および動きベクトル検出装置
JP2008011564A (ja) 画像符号化装置および画像復号化装置
JP2007110748A (ja) 動き補償予測方法、映像信号復号方法、映像信号復号化装置
JP2001069509A (ja) 画像処理装置及びその方法
JP2001086498A (ja) 符号化装置及び符号化方法
JP2000069470A (ja) 画像復号化装置および方法、画像符号化・復号化システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 98801758.X

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1019997006218

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1998900183

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09341472

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1998900183

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1019997006218

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1019997006218

Country of ref document: KR

WWW Wipo information: withdrawn in national office

Ref document number: 1998900183

Country of ref document: EP