WO1998026601A1 - Picture encoder and picture decoder - Google Patents

Picture encoder and picture decoder Download PDF

Info

Publication number
WO1998026601A1
WO1998026601A1 PCT/JP1997/004557 JP9704557W WO9826601A1 WO 1998026601 A1 WO1998026601 A1 WO 1998026601A1 JP 9704557 W JP9704557 W JP 9704557W WO 9826601 A1 WO9826601 A1 WO 9826601A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
field
frame
pixel
encoding
Prior art date
Application number
PCT/JP1997/004557
Other languages
English (en)
French (fr)
Inventor
Taisuke Matsumoto
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to DE69735437T priority Critical patent/DE69735437T2/de
Priority to AU54102/98A priority patent/AU5410298A/en
Priority to US09/117,543 priority patent/US6263024B1/en
Priority to KR1019980706237A priority patent/KR100355324B1/ko
Priority to EP97947892A priority patent/EP0889651B1/en
Publication of WO1998026601A1 publication Critical patent/WO1998026601A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the present invention relates to an image encoding device for encoding and decoding a digital image, and a recording medium on which a computer program for realizing the image encoding device by software is recorded.
  • ITU-T H.262 is a standard recommendation for a method of encoding and decoding a digital image having an interlace structure, and can efficiently encode and decode television signals such as NTSC.
  • the method of encoding / decoding not only the luminance signal and chrominance signal value of the pixel but also the shape information signal indicating the shape of the object is based on ISO / IEC. It has been adopted as an evaluation model of MPEG4 (IS0 / IEC JTC / SC29 / WG11 N1469 November 1996).
  • H.262 considers the motion compensation method and the discrete cosine transform in consideration of the interlace structure for the luminance signal and the color difference signal. Since special methods that are not considered in H.262, such as sampling and prediction of pixel value change positions, are used, encoding / decoding corresponding to the interlace structure adopted in H.262 The means cannot simply be adopted. Disclosure of the invention
  • the present invention has been made in view of the above circumstances, and when encoding an input image and performing Z-decoding, the shape information image is also encoded or decoded for each block in units of fields or encoded in units of frames. It is an object of the present invention to provide an image coding apparatus and an image decoding method for improving coding efficiency by adaptively selecting whether to perform coding / decoding.
  • the present invention provides a two-dimensional block in which a binary digitized image having an interlace structure in which one frame is composed of two fields is input and the image is composed of a plurality of pixels.
  • an image coding apparatus that divides a frame into blocks and performs coding for each block, a method of performing coding processing in units of fields and a method of performing coding in units of frames are determined for each block. Encoding is performed in units of fields or frames.
  • a binary digital image having an inlaid lace structure in which one frame is composed of two fields is converted into a two-dimensional block composed of a plurality of pixels from the image coded signal coded by the image coding device.
  • the decoding process is performed for each block in a field unit or a frame unit according to the mode information.
  • the image coding apparatus of the present invention is an image coding apparatus that divides a binary digital image into blocks composed of a plurality of pixels and performs coding for each block. And the frame unit coding process, whichever has better coding efficiency, is determined for each block.
  • the image decoding apparatus of the present invention is an image decoding apparatus for decoding an image coded signal into a binary digital image, wherein a field unit decoding process and a frame unit decoding process are mode information. Switch for each block.
  • the more efficient one of the field-based downsampling processing and the frame-based downsampling processing is determined for each block.
  • the image decoding apparatus of the present invention switches between field-based downsampling processing and frame-based downsampling processing for each block according to mode information.
  • the image encoding device of the present invention determines which of the field unit motion compensation and the frame unit motion compensation is more efficient for each block.
  • the image decoding apparatus of the present invention switches between field-based motion compensation and frame-based motion compensation for each block according to mode information.
  • the image encoding apparatus of the present invention when encoding a binary digital image, encodes a positional relationship between a target pixel and a pixel whose pixel value changes. The detection of a change point is performed by judging whichever of the fields or the frame is more efficient for each block.
  • An image decoding apparatus according to the present invention is an image decoding apparatus that decodes a binary digital image based on a positional relationship between a pixel of interest and a pixel whose pixel value changes. Whether the position calculation is performed in field units or frame units is switched for each block according to the mode information.
  • the image encoding device of the present invention determines the probability distribution of the pixel value of the target pixel from the distribution state of the pixel values of the peripheral pixels, and determines the pixel of interest according to the probability distribution.
  • An image encoding device that encodes pixel values of pixels, and investigates the distribution state of neighboring pixel values to determine the probability distribution by blocking either the field unit or the frame unit, whichever is more efficient. Judge every time.
  • An image decoding apparatus is an image decoding apparatus that determines a probability distribution of a pixel value of a target pixel from a distribution state of pixel values of peripheral pixels, and decodes a pixel value according to the probability distribution. Whether the investigation of the distribution state of peripheral pixel values for determining the probability distribution is performed on a field-by-field basis or on a frame-by-frame basis is switched for each block according to mode information.
  • the image encoding apparatus of the present invention determines the probability distribution of the pixel value of the target pixel from the distribution state of the pixel value of the motion compensation predicted image, and encodes the pixel value of the target pixel according to the probability distribution.
  • the investigation of the distribution state of the pixel values of the motion compensation prediction image for determining the probability distribution is determined for each block, whichever is more efficient, on a per-field basis or on a per-frame basis.
  • An image decoding apparatus is an image decoding apparatus that determines a probability distribution of pixel values of a target pixel from a distribution state of pixel values of a motion compensation predicted image, and decodes pixel values according to the probability distribution. According to the mode information, whether to investigate the distribution state of the pixel values of the motion-compensated prediction image for determining the probability distribution in units of fields or in units of frames is switched for each block.
  • the image encoding apparatus of the present invention comprises a binary digital image and a multi-level digital image.
  • the selection of whether to perform binary digit image encoding in field units or frame units is made based on the mode information of the multi-level digital image of the block. Perform subordinately. As a result, there is an effect that it is not necessary to use a special code for the mode information of the binary digital image, and the encoding efficiency can be improved.
  • the image coding apparatus of the present invention when decoding a binary digital image and a multi-valued digital image for each block from an image-encoded signal, performs the processing of the code of the binary digital image.
  • the determination as to whether to perform in the field unit or the frame unit is made according to the mode information of the multi-valued digital image of the block. This has an effect that the mode information of the binary digital image can be correctly decoded without using a special code.
  • the image encoding apparatus of the present invention when encoding a binary digital image and a multi-valued digital image for each block, performs one of the field unit encoding process and the frame unit encoding process on a binary digital image basis. Judgment is made as image coding processing, and the determined mode information is reflected in the judgment of the mode information of the multi-value digital image of the block. As a result, there is an effect that it is not necessary to use a special code for the mode information of the multilevel digital image, and an improvement in coding efficiency can be achieved.
  • the image decoding apparatus when decoding a binary digital image and a multi-valued digital image from an image-encoded signal for each block, transmits mode information of the binary digital image to the block. This is reflected in the selection of the mode information of the multi-valued digital image. This has the effect that the mode information of the multilevel digital image can be correctly decoded without using a special code.
  • the recording medium of the present invention has an effect that it can be easily realized by an independent computer system by recording and transferring to a recording medium of a computer in which a program for realizing at least one of the above inventions is recorded.
  • FIG. 1 is a functional block diagram of an image encoding device according to a first embodiment of the present invention
  • FIG. 2 is a diagram showing a pixel value change position and a change prediction position
  • FIG. 3 is a diagram showing a change position of a pixel value, a change prediction position, and a detection result of a difference value.
  • FIG. 4 is a functional block diagram of an image encoding device according to a second embodiment of the present invention.
  • FIG. 5 is a functional block diagram of the image decoding apparatus according to the third embodiment of the present invention.
  • FIG. 6 is a diagram showing a change position and a change prediction position of a pixel value in the field mode decoding.
  • FIG. 7 is a diagram showing a field mode decoding block.
  • FIG. 8 is a diagram showing a change position and a change prediction position of a pixel value in frame mode decoding
  • FIG. 9 is a diagram showing a frame mode decoding block.
  • FIG. 10 is a functional block diagram of an image decoding device according to the fourth embodiment of the present invention.
  • FIG. 11 shows a digital image block having a field structure.
  • FIG. 12 shows a digital image block having a frame structure.
  • FIG. 13 is a functional block diagram of an image encoding device according to a fifth embodiment of the present invention.
  • FIG. 14 is a diagram showing an encoding process in a frame mode in the fifth embodiment
  • FIG. 15 shows an encoding process in the field mode in the fifth embodiment.
  • FIG. 16 is a functional block diagram of an image decoding apparatus according to the sixth embodiment of the present invention.
  • FIG. 17 is a functional block diagram of an image encoding device according to a seventh embodiment of the present invention.
  • FIG. 18 is a functional block diagram of an image decoding apparatus according to the eighth embodiment of the present invention.
  • FIG. 19 is a diagram showing a predicted image generation process in a frame mode according to the eighth embodiment.
  • FIG. 20 is a diagram showing a process of generating a predicted image of an odd field in the field mode according to the eighth embodiment.
  • FIG. 21 is a diagram showing a predicted image generation process of an even field in the field mode in the eighth embodiment.
  • FIG. 22 is a functional block diagram of an image decoding device according to the ninth embodiment of the present invention.
  • FIG. 23 is a functional block diagram of the image coding apparatus according to the tenth embodiment of the present invention.
  • FIG. 24 is a functional block diagram of the image decoding apparatus according to the first embodiment of the present invention.
  • FIG. 25 is a functional block diagram of the image encoding device according to the 12th embodiment of the present invention.
  • FIG. 26 is a functional block diagram of the image decoding apparatus according to the thirteenth embodiment of the present invention.
  • FIG. 27 is a functional block diagram of the image encoding device according to the fourteenth embodiment of the present invention.
  • FIG. 28 is a diagram showing a probability distribution table in the 14th embodiment
  • FIGS. 29A and 29B are diagrams showing an encoding situation in a block of 8 ⁇ 8 pixels
  • FIG. FIG. 27 is a functional block diagram of the image decoding apparatus according to the fifteenth embodiment of the present invention.
  • FIG. 31 is a functional block diagram of an image encoding device according to a sixteenth embodiment of the present invention.
  • FIG. 32 is a drawing showing a part of the 16th embodiment
  • FIGS. 33A and 33B are diagrams showing a field mode coded Z-decoding block
  • FIGS. 34A and 34B are diagrams showing a frame mode coded Z-decoding block
  • FIG. 36 is a functional block diagram of the image coding apparatus according to the seventeenth embodiment of the present invention.
  • FIG. 37 is a diagram illustrating an example of a recording medium of a computer according to the eighteenth embodiment of the present invention.
  • FIG. 1 is a block diagram of the image encoding device according to the first embodiment of the present invention.
  • the image encoding apparatus includes a field change position detection unit 101, a memory 102, a change position prediction unit 103, a difference value calculation unit 104, and an encoding unit 10 5, a processing block for encoding a field image, a frame change position detection unit 106, a memory 107, a change position prediction unit 108, a difference value calculation unit 109, and coding. And a processing block for encoding a frame image composed of sections 110. Further, the image coding apparatus determines a coding mode. And a switching unit 112 for switching the output signal to that of the determined encoding mode.
  • a coding mode for transmitting coded data coded in a field image processing block is called a field mode
  • a code for transmitting coded data coded in a frame image processing block This mode is called the frame mode.
  • the field change position detection unit 101 is an image processing function that detects a change point where a pixel value changes in units of fields.
  • the frame change position detection unit 106 detects a change point in which a pixel value changes in units of a frame. This is an image processing function to be detected.
  • the change position prediction unit 103 predicts a change point of the prediction target line from a preceding detected (preceding multiple lines) pixel change point of the field image, and the other change position prediction unit 10 3
  • Reference numeral 8 denotes a portion for predicting a change point of the prediction target line from a preceding detected (preceding plural lines) pixel change point.
  • preceding detected (preceding plural lines) pixel change points are stored for change position prediction.
  • the difference value calculation unit 104 calculates the actual change position 122 and the change position prediction unit 103 of the line to be predicted detected by the field change position detection unit 101 from the change point several lines before. This is a calculation function for calculating a difference from the predicted position 1 2 3.
  • the other difference value calculation unit 109 calculates the actual change position 125 of the line to be predicted detected by the frame change position detection unit 106 and the change position prediction unit 108 from the change point several lines before. This is a calculation function for calculating the difference between the predicted position of the prediction target line and the predicted position 126.
  • the encoding unit 105 encodes the difference value 124 obtained in the field mode, and the encoding unit 110 encodes the difference value 127 obtained in the frame mode. This is the part to be encoded.
  • the mode determination unit 111 is a code output from the two encoding units 105 and 110. It has a function of comparing the encoded data, selecting an encoding mode having higher encoding efficiency, and instructing the switching unit 112 and a transmission unit (not shown).
  • the switching unit 112 switches the connected encoding units 105 and 110 so as to output the input signal on the encoding mode side instructed from the mode determination unit 111 to the transmission unit. .
  • a binary digital image 1 2 1 divided into a two-dimensional block composed of a plurality of pixels by a block dividing unit (not shown) is converted into a field change position detection unit 101 and a frame change position detection unit 106. Respectively.
  • FIG. 2 shows an example of an encoding target block composed of 8 ⁇ 8 pixels.
  • the upper reference pixel is a coded pixel that already belongs to the bottom row of the block immediately above the block to be coded
  • the left reference pixel is a coded pixel that already belongs to the rightmost column of the block next to the block to be coded. It is.
  • the pixel I (X, y) of the block to be coded the pixel whose y is odd belongs to the first field, and the pixel whose y is even belongs to the second field.
  • the field change position detector 101 detects a pixel value change point in each line for the odd field and the even field.
  • the field change position detection unit 101 scans pixels in the input signal in the horizontal direction from the already coded pixel of interest A, and determines the position of the pixel that changes to a pixel value different from that of the pixel on the left by the same field. Detected within the field and output as field change position 1 2 2.
  • pixel B is the field change position.
  • the pixel value change point of each line in the odd field of the block to be encoded is a change point.
  • the data is stored in the memory 102 as a temporary storage.
  • the change position prediction unit 103 predicts the change position of the pixel of interest from the change position of each line from the line to which the pixel of interest belongs to a plurality of lines before, and outputs it as the predicted change position. For example, if the change point of the fourth line of the odd field (corresponding to the seventh line of the frame image) is the pixel of interest, the second and third lines (the third and fifth lines of the frame image Since the change position of (equivalent) is the seventh, the target pixel is also predicted to be the seventh.
  • the predicted position 123 is output to the difference value calculation unit 104.
  • the difference value calculation unit 104 receives the actual pixel value change point data 122 on the fourth line of the odd field from the field change position detection unit 101.
  • the difference between the actual pixel value change position and the predicted position is calculated for each line of the even field in the same manner as the odd field described above, and the difference value is coded by the coding unit 105. I do.
  • the frame change position detection unit 101 scans pixels in the horizontal direction for each line forming a frame image, and detects the position of a pixel that changes to a pixel value different from the pixel on the left.
  • the position of a pixel that changes from the pixel of interest A to a pixel value different from that of the pixel on the left is detected in the frame and output as the frame change position 125 Power.
  • the pixel C is a frame change position.
  • the detected change position is stored in the memory 107.
  • the difference value calculation unit 109 obtains a difference value between the detected change position and the predicted change position. For example, if the change point of the sixth line of the frame image in FIG. 2 is the pixel of interest, the difference value 13 between the frame change detection position C and the frame change prediction position F is output as the frame difference value 127 Is done.
  • the encoding unit 110 encodes the difference value calculated for the frame image using a predetermined Huffman code table.
  • Figure 3 shows the change position 1 2 2, predicted position 1 2 3 and difference value 1 2 4 in the field mode and the change position 1 2 5 in the frame mode, and the predicted position in the pixel block shown in FIG. 12 shows the detection results of 126 and the difference value 127.
  • the difference values (0, +6, 0, 0,) (0, +6, -1, +2) of the odd field and the even field are encoded.
  • the difference value of each line (0, 0, +6, -1, +2, -3, +4, 1-3) is encoded.
  • the mode determination unit 111 compares the coded image signal obtained in the field unit with the coded image signal obtained in the frame unit, determines a mode having a high coding efficiency, and determines a mode having a high coding efficiency. Is output as mode information 1 2 8.
  • the switching section 112 selects either the field-based coded image signal or the frame-based coded image signal according to the mode information 128, and outputs it as a coded image signal 129.
  • the mode determination unit 1 1 1 determines and switches between the method of detecting and encoding the position of change in value and the method of detecting and encoding the position of change of pixel value in frame units, whichever is more efficient, for each block. This can improve the coding efficiency.
  • FIG. 4 illustrates a functional block of the image encoding device according to the second embodiment.
  • the processing block in the field mode and the processing block in the frame mode always operate on each block, but in the present embodiment, the correlator 1441 performs coding in advance. Determine the mode and operate only one processing block.
  • the correlator 14 1 is provided with a binary digital image having an interlaced structure in block units.
  • the line data of the interlaced image is extracted at one line interval, the correlation value between the lines is obtained, and stored as the correlation value of the field image.
  • the correlation value between the lines is obtained for each line data forming the frame image and stored as the correlation value of the frame image.
  • the mode with the higher correlation value is selected and output as mode information 1 2 8.
  • the first switching unit 142 switches the binary digital image to the processing block 144 in the field mode. If the mode information 128 indicates the frame mode, the binary digital image To the processing block 1 4 4 in the frame mode.
  • the processing block 144 in the field mode is a processing block that executes a series of processing from the field change position detection unit 101 to the encoding unit 105 shown in FIG.
  • the processing block 144 is a processing block that executes a series of processes from the frame change position detection unit 108 to the encoding unit 110 shown in FIG.
  • the second switching unit 145 switches the processing blocks 143 and 154 to be connected based on the mode information 128 so that the coded data 1 of the processing block corresponding to the selected mode is changed. 2 9 is output.
  • the coding efficiency can be improved, and the coding mode is selected in advance and only one of the processing blocks is operated, so that the processing efficiency is improved. You can also.
  • FIG. 5 is a block diagram of the image decoding device according to the third embodiment of the present invention.
  • the same signals as those in the first embodiment shown in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted.
  • This image decoding apparatus includes a coded image signal 1 29 which encodes a difference value between the detected change position and the predicted change position, which is output from the image coding apparatus according to the first embodiment. Is given to the decoding unit 15 1. Also, the image decoding apparatus adds a difference value obtained by adding the difference value decoded from the coded image signal 129 to a prediction position of a corresponding line predicted from a change position of a plurality of previously decoded lines. Part 15 2 is provided. Further, the image decoding apparatus includes a field binary image decoding unit 154, to which the output of the difference value adding unit 152 is selectively supplied via a first switching unit 153, and a frame binary image decoding. And a conversion section 1 5 5.
  • the field binary image decoding section 15 4 is a section for restoring a field image from the output of the difference value adding section 15 2
  • the frame binary image decoding section 15 5 is a difference value adding section 15 2 From the output of This is the part for restoring the system image.
  • the signals output from the field binary image decoding unit 154 and the frame binary image decoding unit 155 are output as the restored image signal 159 via the second switching unit 156, and are stored in the memory. Buffered to 157.
  • the change position prediction unit 158 predicts the change position by the same method as the change position prediction unit 108 of the first embodiment, and outputs the change position to the difference value addition unit 152.
  • the decoding unit 151 decodes the difference value between the pixel value change position and the predicted position of the change position from the coded image signal 125, and outputs a decoded difference value.
  • the change position predicting unit 158 predicts the position where the pixel value of the previous plurality of lines that has already been decoded changes the pixel value, and outputs the predicted change position. .
  • the pixel A of interest and the X coordinate of the already decoded pixel C belonging to the same field as pixel A and changing from a black pixel to a white pixel similarly have already been decoded.
  • the predicted change position pixel B is obtained from the difference 0.
  • the predicted change is performed from the pixel E of interest and the already decoded pixel G that changes from a black pixel to a white pixel similarly to the pixel E.
  • the position pixel F is obtained.
  • the difference value adding unit 152 adds the decoded difference value and the predicted change position obtained from the decoded image, and outputs the added value as a pixel value change position. That is, when the difference value is 11, the pixel D is the pixel value change position in the block illustrated in FIG. 6, and the pixel H is the pixel value change position in the block illustrated in FIG.
  • the pixel value change position is input to either the field value image decoding section 154 or the frame binary image decoding section 155 according to the mode information 128.
  • the field binary image decoding unit 154 sequentially sets the pixels between the pixel position of interest and the pixel value change position to the same pixel value as the pixel value on the left side, thereby obtaining a binary binary image.
  • the decoded image is decoded to obtain the decoded image shown in Fig. 6.
  • the same operation is performed from the upper left pixel to the lower right pixel in the order of field 1 and field 2 to obtain a block decoded image.
  • the frame binary image decoder 155 sequentially sets the pixels between the pixel position of interest and the pixel value change position to the same pixel value as the pixel value on the left side in the frame structure, thereby converting the binary digital image. Decoding results in the decoded image shown in FIG. By performing the same operation from the upper left pixel to the lower right pixel, a block decrypted image is obtained.
  • the second switching unit 156 selects either the output of the field value image decoding unit 154 or the output of the frame binary image decoding unit 155 according to the mode information 128. , And is output as a binary digital decoded image signal 159.
  • the mode information 12 2 is obtained for the encoded image signal encoded based on the position where the pixel value of the binary digital image having the in-line lace structure changes. 8 and the first switching unit 15 3, the second switching unit 15 6 can be used for correct decoding.
  • the output destination first switching section 15 3 and the input source second switching section 15 6 are used, but the first switching section 15 3 or the second switching section 15 6 The same effect can be obtained by using only one of them.
  • FIGS. 6, 7, 8 and 9 show blocks of 8 ⁇ 8 pixels
  • the present invention can be similarly applied to a block composed of arbitrary m ⁇ n pixels.
  • FIG. 10 is a block diagram of the image decoding device according to the fourth embodiment of the present invention. In the figure, the same blocks and signals as those in the third embodiment shown in FIG.
  • the change pixel position output from the difference value adding section 152 is binary.
  • the image is input to the image decoding unit 161, and the binary image decoding unit 161 restores the binary image from the position where the pixel value changes.
  • the restored binary image is input to the field frame rearranging unit 162 via the first switching unit 153.
  • the field Z frame rearranging section 162 operates to rearrange the field structure block image into the frame structure.
  • the output of the field Z frame rearranging section 16 2 and the output of the binary image decoding section 16 1 are selectively output via the second switching section 15 56.
  • the first and second switching units 15 3 and 15 6 perform switching operation based on the mode information 128.
  • the decoding unit 15 1 decodes the difference value from the coded image signal 12 9.
  • the change position predicting section 158 predicts the next position where the pixel value changes from the position where the pixel value of the already decoded binary image changes, and outputs the predicted change position.
  • the difference value addition unit 152 calculates the sum of the difference value and the predicted change position and outputs the pixel value change position.
  • the binary image decoding unit 161 decodes the binary image by setting the pixel value of the pixel between the decoded target pixel and the pixel change position to the same pixel value as the pixel on the left.
  • the image is input to the field Z frame rearranging unit 16 2, and the mode information 1 28 indicates the frame mode. If so, skip the field Z frame rearranging section 16 2.
  • the Z-frame rearranging unit 16 2 rearranges the field structure block, which consists of two consecutive fields shown in Fig. 11 for each line, into two fields shown in Fig. 12.
  • the pixel structure is converted to a frame structure in which the pixels belong alternately for each line.
  • the second switching unit 156 selects either the output of the field / frame rearranging unit 162 or the signal skipped by the field / frame rearranging unit 162 according to the mode information 128, and Output the digital decoded image signal 159.
  • a binary digital block is used for an encoded image signal encoded based on a position where a pixel value of a binary digital image having an interlaced structure changes.
  • the binary digitized image is correctly decoded by selecting whether to rearrange the field structure to the frame structure according to the mode information 128 and output it or to output it as it is. be able to.
  • the output destination first switching section 15 3 and the input source second switching section 15 6 are used, but either the first switching section 15 3 or the second switching section 15 6 The same effect can be obtained by using only one of them.
  • FIGS. 11 and 12 show a block of 8 ⁇ 8 pixels
  • the present invention can be similarly applied to a block composed of arbitrary m ⁇ n pixels.
  • FIG. 13 is a block diagram of an image encoding device according to the fifth embodiment of the present invention.
  • the image encoding apparatus includes a frame down sampling section 302 for down-sampling a binary digital block image in a field-by-field block image in frame units, and an encoding section 3 for encoding a down-sampled image. 0 3 is provided.
  • the image coding apparatus further includes a mode determination unit 304 that determines a coding mode suitable for the input block, a first switching unit 3005 that switches between a field down sample and a frame down sample according to the determination mode, Second switching unit 3 0 6 that switches downsampling results to be encoded according to the mode It has.
  • a binary digital image divided into a two-dimensional block composed of a plurality of pixels by a block dividing unit (not shown) is used as a mode determining unit 3 0 4 as an input image signal 310 for each block.
  • the first switching unit 300 The mode determination unit 304 determines either field-based downsampling or frame-based downsampling using a variance value, a correlation value between lines, and the like, and outputs the determination result as mode information 311.
  • the input image signal 310 is input to the field downsampling section 301 or the frame downsampling section 302 in accordance with the mode information 311.
  • the field down-sampling unit 301 down-samples the input block image for each field and outputs it as a field down-sampled image.
  • the frame down-sampling unit 302 down-samples the input block image while keeping the frame structure, and outputs it as a frame down-sampled image.
  • the second switching unit 303 selects either the field down-sampled image or the frame down-sampled image according to the mode information 311 and inputs the selected image to the encoding unit 303.
  • the encoding unit 303 encodes the input binary block image, and outputs an encoded image signal 312.
  • the restoration accuracy when restoring by frame downsampling and field upsampling is large depending on the nature of the image. It may be very different.
  • FIG. 14 shows a state in which a 4 ⁇ 4 pixel block is down-sampled into a 2 ⁇ 2 pixel block and then restored to a 4 ⁇ 4 pixel block.
  • the restoration error remains over four pixels.
  • FIG. 15 shows a state in which the 4 ⁇ 4 pixel block shown in FIG. 14 is field-downsampled to a 2 ⁇ 2 pixel block and then restored to a 4 ⁇ 4 pixel block.
  • the mode determination unit 304 should determine the mode of the field down sampling in the case of the input lock shown in FIG.
  • the mode determination unit 304 divides each of the frame image and the field image of the input block into a plurality of regions corresponding to the pixel size after downsampling, and calculates a variance value Q for each region.
  • P is the pixel value in the area
  • a V is the average of the pixel values in the area.
  • the mode with the smaller variance is selected as the use mode.
  • the mode determination unit 304 selects either the efficiency of downsampling in field units or downsampling in frame units. By selecting a method that has good performance, it is possible to achieve an improvement in coding efficiency.
  • the first switching unit 305 and the second switching unit 306 are used, but the same effect can be obtained by using only one of them.
  • FIG. 16 is a block diagram of an image decoding device according to the sixth embodiment of the present invention.
  • the same signals as those in the fifth embodiment shown in FIG. 13 are denoted by the same reference numerals, and description thereof is omitted.
  • the image decoding apparatus includes a decoding unit 611 for decoding a binary block image from an image coded signal, a field upsampling unit 612 for upsampling the binary block image in field units, and a binary block.
  • a frame upsampling unit 613 for upsampling an image in frame units is provided.
  • the output of the decoding unit 6 11 is supplied to the field up-sampling unit 6 12 or the frame up-sampling unit 6 13 via the first switching unit 6 14 which is switched and controlled by the mode information 3 11.
  • the output of the field up-sampling unit 612 or the frame up-sampling unit 613 is output via a second switching unit 615 controlled to be switched by the mode information 311.
  • the decoding unit 6 11 decodes the block image from the image coded signal 3 12, and outputs a binary block decoded image signal 6 20.
  • the first switching section 6 14 inputs the binary block decoded image signal 6 20 to either the field up sampling section 6 12 or the frame up sampling section 6 13 according to the mode information 3 11.
  • the field upsampling section 6 12 upsamples the given block image for each field and outputs a binary block decoded image.
  • the frame up-sampling section 6 13 up-samples the given block image in the frame structure and outputs a binary block decoded image.
  • either the output of the field up sampling section 6 12 or the output of the frame up sampling section 6 13 is selected according to the mode information 3 11, and the binary digital decoded image signal 6 is selected. 2 Outputs 1.
  • mode information 311, first and second switching sections 6 1-1 are applied to encoded image signals that have been down-sampled in consideration of the synch lace structure. By using 4,6,15, it is possible to correctly decode a binary digital image having a lace structure.
  • first switching unit 6 14 and the second switching unit 6 15 are used in the present embodiment, the same effect can be obtained by using only one of them.
  • FIG. 17 is a block diagram of the image decoding apparatus according to the seventh embodiment of the present invention.
  • the same blocks and signals as those in the fourth embodiment shown in FIG. 10 and the sixth embodiment shown in FIG. 16 are denoted by the same reference numerals, and description thereof will be omitted.
  • the image encoding apparatus includes a decoding unit 611 for decoding a binary block image from an encoded image signal, an upsampling unit 701 for upsampling a block image, and reordering block images from a field structure to a frame structure. And a first and second switching units 15 3 and 15 6 disposed before and after the field Z frame rearranging unit 16 2 and the field Z frame rearranging unit 16 2, respectively.
  • the decoding unit 6 11 decodes a block image from the image coded signal 3 12 and outputs a binary block decoded image signal.
  • the up-sampling unit 701 performs up-sampling of the block-decoded image signal.
  • mode information 311 at the time of downsampling the block-decoded image signal to be upsampled is supplied to the first and second switching units 153, 156.
  • the first switching section 15 3 sends the up-sampled image to the field frame rearranging section 16 2.
  • the mode information 311 indicates the frame mode, the image is field skipped.
  • the field Z frame rearranging section 16 2 rearranges the field structure block in which the two fields shown in FIG. 11 have a continuous structure on a line-by-line basis. It is converted to a frame structure in which pixels belonging to one field are alternately arranged for each line.
  • the second switching unit 156 selects one of the output of the field Z frame rearranging unit 162 and the signal skipped by the field Z frame rearranging unit 162 according to the mode information 331, and selects the second signal. Output the digital decoded image signal 159.
  • the mode information 311, the first switching section 15 3, and the 15 6 are applied to the coded image signal that has been downsampled in consideration of the interlace structure.
  • the field / frame rearranging section 16 2 and the binary digit image having the lace structure can be correctly decoded.
  • FIG. 18 is a block diagram of an image encoding device according to an eighth embodiment of the present invention.
  • This image coding apparatus includes a field motion estimator 801 for performing motion estimation on a field basis using a field image of an input block and a decoded reference image, and a frame image of an input block and a decoded image.
  • a frame motion estimator 802 that performs motion estimation on a frame-by-frame basis using a reference image, and motion compensation that is the estimation result of the field motion estimator 801 and a reference image perform motion compensation on a field-by-field basis.
  • a frame motion compensator 804 that performs motion compensation on a frame-by-frame basis from the motion vector and the reference image, which are the estimation results of the frame motion estimator 802.
  • this image encoding apparatus A coding unit 805 for coding the predicted image output from the frame motion compensation unit 803 and the frame motion compensation unit 804, a decoding unit 806 for decoding the predicted image, and A memory 807 for holding an image. Also, based on the determination result of the mode determining unit 808 based on the prediction error of the predicted image output from the field motion compensating unit 803 and the frame motion compensating unit 804, the first switching unit 80 9 and the second switching section 8 10 is controlled to be switched. The operation of the image coding apparatus configured as described above will be described below.
  • a binary digital image divided into a two-dimensional block composed of a plurality of pixels by a block dividing unit not shown in the figure is converted into an input image signal 8 21 for each block as a mode determination unit 8 08 and a code. Input to the conversion section 805.
  • the mode determination unit 808 compares the field prediction image signal 824 with the frame prediction image signal 825, selects a mode in which the motion compensation prediction error is smaller, and outputs it as mode information 826.
  • the field motion estimating unit 800 1 performs motion estimation for each field from the input image signal 8 21 and the reference image signal 8 28, and outputs a field motion vector 8 22.
  • the frame motion estimator 802 performs motion estimation with the frame structure from the input image signal 8 21 and the reference image signal 8 28, and outputs a frame motion vector 8 23.
  • the field motion compensation unit 803 performs motion compensation for each field using the reference image signal 828 and the field motion vector 8222, and outputs a field prediction image 824.
  • the frame motion compensation unit 804 performs motion compensation with the frame structure from the reference image signal 828 and the frame motion vector 823, and outputs a frame prediction image signal 825.
  • the first switching section 809 selects either the field prediction image signal 824 or the frame prediction image signal 825 according to the mode information 826, and outputs the coded section 805 and the decoding section 800. Enter 6
  • the encoding unit 805 encodes the input image signal 8221 using the predicted image signal and the mode information 826, and outputs an encoded image signal 827.
  • the decoding unit 806 decodes the binary digital image using the coded image signal, the predicted image signal, and the mode information 826, and outputs a decoded image signal.
  • the memory 807 holds the decoded image signal and outputs a reference image signal 828 for the input block.
  • the second switching section 810 selects either the field motion vector 822 or the frame motion vector 823 according to the mode information 826 and outputs it as a motion vector signal 829.
  • the reference image obtained by decoding the already coded image again is fetched from the memory 807.
  • a search window corresponding to the input block (pixel position (i, j) at the upper left corner) is set, and the search window is moved on the reference image to obtain a pixel state similar to the input block.
  • Search for. In the reference image shown in FIG. 19, the area surrounded by the solid line is the initial position of the search window, and the area surrounded by the dotted line is the searched area.
  • the moving direction and distance from the area surrounded by the solid line to the area surrounded by the dotted line are the motion vectors 8 23. In Figure 19, the motion vector is (1-1, -1).
  • the frame motion compensator 804 moves the search window according to the motion vector 823 on the reference image 828, and outputs the pixels included in the moved search window as the predicted image 825.
  • the field motion estimator 801 detects a motion vector using the odd-field block and the odd-field reference image shown in FIG. 20, and the even-field block and the even-field shown in FIG. The motion vector is detected using the reference image.
  • the field motion compensation unit 824 predicts an odd field prediction image from the odd field reference image and the detected motion vector, and predicts an even field prediction image from the even field reference image and the detected motion vector. You.
  • the mode determining unit 808 checks the degree of coincidence between the odd field of the original input block and the odd field predicted image. For even fields, the degree of coincidence between the even field in the entrance and the predicted image of the even field is also checked. The value obtained by combining the coincidences of both the even field and the odd field is held as the field evaluation value. Also, the matching degree between the input block and the predicted frame image is checked. Then, the frame evaluation value and the field evaluation value are compared, and the mode having the higher matching value is selected, and the mode information 827 is set. According to the present embodiment described above, the mode determining unit 808 selects a motion compensation unit that reduces the motion compensation prediction error to a smaller value for a binary digital image having an in-lace structure. It is possible to achieve an improvement in gasification efficiency.
  • FIG. 22 is a block diagram of an image decoding device according to the ninth embodiment of the present invention.
  • the same signals as those in the eighth embodiment shown in FIG. 18 are denoted by the same reference numerals, and description thereof will be omitted.
  • This image decoding apparatus includes a field motion compensation unit 1 201 that performs motion compensation for each field using a reference image and a motion vector, and performs motion compensation with a frame structure using the reference image and the motion vector.
  • Frame motion compensator 1 2 0 2
  • the input stage of the field motion compensation unit 1221 and the frame motion compensation unit 122 has a first switching unit 1224 for switching the input destination of the motion vector, and an input of the decoded reference image.
  • a second switching unit 1205 that switches the destination is arranged.
  • the output stage of the field motion compensation unit 122 1 and the frame motion compensation unit 122 2 has a second switching unit 1 2 for switching the output source of the predicted image to be output to the decoding unit 120 3. 06 is arranged.
  • the memory 127 is a storage unit in which the image decoded by the decoding unit 123 is stored as a reference image.
  • the reference image signal 122 0 is input by the second switching section 125 to either the field motion compensating section 120 1 or the frame motion compensating section 122 in accordance with the mode information 8 26.
  • the motion vector signal 8229 is input to either the field motion compensator 1201 or the frame motion compensator 122 according to the mode information 8226 by the first switching unit 124.
  • the field motion compensator 1 201 performs motion compensation for each field using the reference image signal 1 210 and the motion vector signal 8 29, and outputs a field prediction image signal 8 24.
  • the frame motion compensation unit 1222 performs motion compensation with the frame structure using the reference image signal 12210 and the motion vector signal 829, and outputs a frame prediction image signal 825.
  • the third switching section 1206 selects either the field prediction image signal 824 or the frame prediction image signal 825 in accordance with the mode information 826 and inputs it to the decoding section 1203. .
  • the decoding unit 1203 uses the mode information 826 and the prediction image signal to code It decodes the decoded image signal 827 and outputs a binary digitally decoded image signal 1 2 1 1.
  • the memory 1207 holds the decoded image signal 1 2 1 1 and outputs the reference image signal 1 2 1 0.
  • the mode information 826 and the first and second modes are applied to the coded image signal obtained by performing motion compensation in consideration of the in-lace structure and encoding the residual.
  • the third switching sections 122, 124, and 1206 By using the third switching sections 122, 124, and 1206, a binary digital image having an interlaced structure can be correctly decoded.
  • three switching units 1204, 1205, and 1206 are used. However, only one of the first, second, and third switching units is used. Even when used, the same effect can be obtained.
  • FIG. 23 is a block diagram of the image coding apparatus according to the tenth embodiment of the present invention.
  • This image coding apparatus is provided with a color image field coding unit 1301 and a color image frame coding unit 1302 for color image coding, and binary image coding. And a binary image frame encoding unit 1305 and a binary image frame encoding unit 1305 and a binary image frame encoding unit 133 And a mode determination unit 1306 for determining for each block whether to perform encoding.
  • a first switching unit 1307 that switches the input destination of the color block image is arranged.
  • a second switching unit 1308 for inputting mode information 133 to the encoding unit corresponding to the determination mode is arranged.
  • a third switching unit 1309 for switching the destination of the binary block image is provided. Arrangement Have been.
  • the output side of the color image field encoding unit 1301 and the color image frame encoding unit 1302 has a fourth terminal for switching the encoded image signal to be output to the outside between the two encoding units.
  • a switching section 1310 is arranged.
  • the output side of the binary image field encoding unit 1304 and the binary image frame encoding unit 1305 has a fifth terminal for switching the encoded image signal to be output to the outside between the two encoding units.
  • the switching unit 1 3 1 1 is arranged.
  • the color image field encoding unit 1301 is a processing function that encodes a color block image in units of fields
  • the color image frame encoding unit 1302 is a process that encodes a color block image in units of frames.
  • the binary image field encoding unit 13 04 is a processing function for encoding a binary block image in units of fields
  • the binary image frame encoding unit 13 05 is a unit for encoding a binary block image in units of frames. This is a processing function of encoding.
  • the operation of the image coding apparatus configured as described above will be described below.
  • the color digital image is divided into a two-dimensional block composed of a plurality of pixels by a block division unit not shown in the figure, and a mode determination unit 13306 and a first switching unit are formed as a color block image 1321. It is input to 1307.
  • the mode determination unit 1306 selects either field-based coding or frame-based coding from the input color block image 1321 using the variance and correlation of pixel values.
  • the selected encoding mode is output as mode information 1 3 3 3.
  • the first switching unit 1307 converts the color block image 1 3 2 1 into the color image field encoding unit 1 3 0 1 or the color image frame encoding unit 1 3 0 2 according to the mode information 1 3 3 3. Enter one of them.
  • the second switching section 13 08 sets the mode according to the mode information 13 33.
  • the information 1333 is input to either the color image field encoding unit 1301 or the color image frame encoding unit 1302.
  • the input image field encoding unit 1301 first encodes the mode information 1333, and then encodes and outputs the color block image signal 13221 for each field.
  • the color image frame encoding unit 1302 first encodes the mode information 1333, and then encodes and outputs the color block image signal 13321 in the frame structure.
  • the fourth switching section 1310 selects the output of the color image field encoding section 1301 or the output of the color image frame encoding section 130.2 in accordance with the mode information 1333, and performs encoding. Output as the converted color image signal 1 3 3 4
  • the third switching unit 1309 is configured to generate a binary block image 13 3 divided into a two-dimensional block composed of a plurality of pixels by a block dividing unit (not shown) according to the mode information 13 33. 22 is input to either the binary field encoding unit 1304 or the binary frame encoding unit 1305.
  • the binary image field encoding unit 1304 encodes the binary block image 1322 for each field and outputs it.
  • the binary image frame encoding unit 1305 encodes the binary block image 1322 in the frame structure and outputs the encoded binary image.
  • the fifth switching unit 1311 selects the output of the binary image field encoding unit 13304 or the output of the binary image frame encoding unit 13305 in accordance with the mode information 1333. And outputs it as a coded binary image signal.
  • a binary digital image signal is encoded in accordance with the color digital image mode information for a color digital image signal and a binary digital image signal having an interlaced structure.
  • the first to third switching units 1307, 1308, 1309 and the fourth and fifth switching units 1310, 1311 are used.
  • the same effect can be obtained by using only one of the input side and the output side of the encoding unit.
  • FIG. 24 is a block diagram of the image decoding device according to the first embodiment of the present invention.
  • the same signals as those in the tenth embodiment shown in FIG. 23 are denoted by the same reference numerals, and description thereof will be omitted.
  • the image decoding apparatus includes a mode decoding determination unit 1401 for decoding coding mode information from the coded color image signal 1334, and a power decoding unit for each field from the coded color image signal.
  • a binary image frame decoding unit 1405 for decoding a binary block image in frame units is provided.
  • a first switching unit 144 is disposed on the input side of the color image field decoding unit 1442 and the color image frame decoding unit 1443, and the binary image field decoding unit 140 is provided.
  • a second switching unit 1407 is arranged on the input side of the 4 and binary image frame decoding unit 1405.
  • a third switching unit 144 is arranged on the output side of the color image field decoding unit 1442 and the color image frame decoding unit 1443, and the binary image field decoding unit is provided.
  • a fourth switching section 1449 is arranged on the output side of the 1404 and binary image frame decoding section 144.
  • the mode decoding unit determination unit 1401 outputs a signal from the encoded color image signal 1334 The mode information 1 4 1 0 of the original image is decoded.
  • the first switching unit 1406 converts the color image signal 1334 into the color image field decoding unit 1442 or the color image frame decoding unit according to the mode information 14410. Input to any of 1 4 0 3.
  • the color image field decoding unit 1402 decodes a color block image from the encoded color image signal 133 4 in field units.
  • the color image frame decoding unit 144 decodes the color block image from the encoding color image signal 133 4 with the frame structure maintained.
  • the third switching section 1408 selects either the output of the color image field encoding section 1442 or the output of the color image frame encoding section 1443 according to the mode information 14410. Then, it outputs as a decoded color block image 1 4 1 1.
  • the second switching unit 1407 decodes the binary coded image signal 1335 into the binary image field decoding unit 1404 or the binary image frame according to the color image mode information 1140. Enter it in one of the parts 1405.
  • the binary image field decoding unit 1404 decodes a binary block image from the encoded binary image signal 133 5 in field units.
  • the binary image frame decoding unit 1405 decodes a binary block image from the encoded binary image signal 1335 while keeping the frame structure.
  • the output of the binary image field decoding section 144 or the output of the binary image frame decoding section 1405 is determined according to the mode information 14410. Output as the selected and decoded binary block image 1 4 1 2.
  • a mode decoding determination unit is used for both the power image and the binary image for the encoded image signal of the digital image and the binary digital image having the interlace structure.
  • the mode information of the binary image is used by decoding according to the mode information of the color image decoded in 1401 Decoding can be performed correctly without any problem.
  • the first and second switching units 1406 and 1407 and the third and fourth switching units 1408 and 1409 are used, but only one of them is used. The same effect can be obtained by using.
  • FIG. 25 is a block diagram of an image encoding device according to the 12th embodiment of the present invention.
  • it is determined whether encoding is performed on a field basis or on a frame basis from the color block image signal 13 21, but in this embodiment, the binary image signal 13 From 22 it is decided whether to encode in field units or in frame units.
  • 25, blocks having the same functions as those of the tenth embodiment shown in FIG. 23 and the same signals are denoted by the same reference numerals, and description thereof is omitted.
  • the operation of the image coding apparatus configured as described above will be described below.
  • the binary digital input image signal is divided into a two-dimensional block composed of a plurality of pixels by a block dividing unit not shown in the figure, and a mode determining unit 13 0 2 is formed as a binary block image 13 22. 6 ′ and the first switching section 1307.
  • the mode determination unit 13 06 ′ determines either field-based coding or frame-based coding from the input binary block image 1 3 2 2 using the variance and correlation of pixel values, Output as 1800.
  • the first switching section 1307 converts the binary block image 1322 into the binary image field encoding section 1304 'or the binary image frame encoding section 1305 according to the mode information 1800.
  • the second switching unit 13 08 converts the mode information 18 00 into the binary image field encoding unit 13 0 4 ′ or the binary image frame encoding unit 13 05 ′ according to the mode information 18 00. Enter one of them.
  • the binary image field encoding unit 1304 ′ first encodes the mode information 1800 ′, and then encodes and outputs the binary block image 1322 for each field.
  • the binary image frame encoding unit 1305 'first encodes the mode information 1800, and then encodes and outputs the binary block image 1322 in the frame structure.
  • the fourth switching unit 1310 selects the output of the binary image field encoding unit 13 0 4 'or the output of the binary image frame encoding unit 13 05' according to the mode information 18 00 Then, the encoded binary image signal 1801 is output.
  • the third switching unit 1309 is a power-rough mouth image divided into a two-dimensional block composed of a plurality of pixels by a block dividing unit (not shown) according to the mode information 1800. 1 3 2 1 is input to either the color field encoder 1 3 0 1 'or the color image frame encoder 1 3 0 2'.
  • the color block image 1 3 2 1 When the color block image 1 3 2 1 is input to the input image field encoding unit 1 3 0 1 ′, the color block image 1 3 2 1 is encoded and output for each field.
  • the color image frame encoding unit 1 3 0 2 ′ encodes and outputs the color block image 1 3 2 1 in a frame structure.
  • the fifth switching section 1311 outputs the output of the color image field encoding section 13 0 1 ′ or the output of the color image frame encoding section 13 0 2 ′ according to the mode information 18 00.
  • the output is selected and output as an encoded color image signal 1802.
  • the color digital image signal having the in-lace pattern and the binary digital image signal are encoded according to the mode information of the binary digital image.
  • FIG. 26 is a block diagram of the image decoding device according to the thirteenth embodiment of the present invention.
  • FIG. 25 is an example of a decoding device of the coded image signal coded in the above-described first embodiment, and is the same signal as the signal of the first embodiment shown in FIG. 25, and FIG. Portions having the same functions as the respective portions of Embodiment 11 are denoted by the same reference numerals.
  • a mode decoding determination section 1401 ' is a section for decoding mode information 1800 from an encoded binary image signal.
  • the mode decoding determination unit 1401 ′ decodes the mode information 1800 of the binary image from the encoded binary image signal 1801.
  • the first switching unit 1406 converts the encoded binary image signal 1801 into a binary image field decoding unit 1440 or a binary image frame decoding unit 1400 according to the mode information 1800. Enter in any of 5
  • the binary block image is generated in units of fields from the coded binary image signal 1801. Is decrypted.
  • the binary image frame decoding unit 1405 decodes the binary block image from the encoded binary image signal 1801 while keeping the frame structure.
  • the third switching unit 14008 outputs the output of the binary image field encoding unit 1440 or the output of the binary image frame encoding unit 1445 in accordance with the mode information 1800. One of them is selected and output as a decoded binary block image 1 4 1 2.
  • the second switching unit 1407 converts the coding color image signal 1802 into a color image field decoding unit 1442 or a color image frame decoding unit 1 according to the mode information 1800 of the binary image. Enter in any of 4 0 3.
  • the power color image field decoding unit 1402 When the coded color image signal 1802 is input, the power color image field decoding unit 1402 outputs the power color image signal 1802 in units of fields from the coded color image signal 1802. Decode the image. In addition, the image frame decoding unit 14 0 3 When the coded color image signal 1802 is input, decodes a color block image from the coded color image signal 1802 while maintaining the frame structure.
  • the fourth switching unit 14009 selects either the output of the color image field decoding unit 1402 or the color image frame decoding unit 1443 according to the mode information 1800,
  • the decoded color block image is output as 1 4 1 1.
  • both the color image and the binary image are subjected to the mode decoding for the encoded image signals of the color digital image and the binary digital image having the in-line lace structure.
  • the decoding can be performed correctly without using the mode information of the color image.
  • FIG. 20 is a block diagram of the image coding apparatus according to the fourteenth embodiment of the present invention.
  • This image coding apparatus includes a memory 190 in which an input image is stored, a field pixel value distribution investigating unit 1901, which examines a distribution state of pixel values of peripheral pixels of a pixel of interest in units of fields, and a frame.
  • the frame pixel value distribution investigation unit 1902 which examines the distribution state of the pixel values of the peripheral pixels of the target pixel in units, uses the probability distribution table of Fig.
  • Probability distribution determiners 1903, 1905 which determine the value probabilities
  • arithmetic encoders 1904 1900, which arithmetically encode the pixel value of the pixel of interest according to the determined probability distribution.
  • the mode determination unit 1907 which compares the coded signal coded in the field unit and the coded signal coded in the frame unit to determine the field frame mode, and outputs the mode information.
  • the output signal is switched between the arithmetic encoders 1904 and 1906 according to And a switching unit 1 9 0 8.
  • the operation of the image coding apparatus configured as described above will be described below. It is composed of a plurality of pixels by a block division unit not shown in the figure.
  • the binary digital image 1910 divided into two-dimensional blocks is input, and is first stored in the memory 190.
  • the field pixel value distribution investigating unit 1901 and the frame pixel value distribution inspecting unit 1902 read out pixel values around the encoding target pixel from the memory 1900 and detect the distribution state of the pixel values.
  • FIGS. 29A and 29B show a block divided into 8 ⁇ 8 pixels, and the pixel at pixel position A is the pixel to be encoded. Pixels hatched in black indicate encoded pixels.
  • the field pixel value distribution investigation unit 1901 outputs the pixel values at pixel positions B, C, and D shown in FIG. 29A as peripheral pixel values of the encoding target pixel A.
  • the frame pixel value distribution examining unit 1902 outputs the pixel values at the pixel positions B, C, and D shown in FIG. 29B as peripheral pixel values of the encoding target pixel A.
  • the probability distribution determining unit 1903 for the field image determines the probability distribution of the pixel value of the encoding target pixel from the distribution state of the peripheral pixel values determined by the field pixel value distribution examining unit 1901. You. For example, if (B, C, D) is (black, white, black), the probability that the pixel A to be coded is black is 0.75 and the probability that it is white is from the probability distribution table in Fig. 28. 0.25.
  • the arithmetic encoding unit 1904 arithmetically encodes the pixel value of the target pixel A based on the probability distribution determined by the probability distribution determining unit 1903, and outputs an encoded image signal.
  • the probability distribution determining unit 1905 for the frame image determines the probability distribution of the pixel value of the encoding target pixel from the distribution state of the peripheral pixel values determined by the frame pixel value distribution examining unit 1902. To decide. For example, if (B, C, D) is (black, black, black), the probability that the encoding target pixel A is black is 0.955 from the probability distribution table in Fig. 28, and the probability that it is white is Is set to 0.05.
  • the arithmetic coding unit 1906 arithmetically codes the pixel value of the target pixel A based on the probability distribution determined by the probability distribution determining unit 1905, and outputs a coded image signal.
  • the mode determination unit 1907 determines the coded image signal obtained based on the probability distribution obtained by examining the distribution of pixel values on a field basis, and the probability distribution obtained by examining the distribution of pixel values on a frame basis.
  • the coded image signal selected on the basis is compared for each block, and the field frame mode is determined by selecting the shorter code length, and is output as mode information 1915.
  • the switching section 1908 selects either the field-based coded image signal or the frame-based coded image signal in accordance with the mode information 1915 and outputs it as a coded image signal 1916.
  • a binary digital image having an interlaced structure is arithmetically encoded by determining the probability distribution of the pixel values of the encoding target pixels according to the distribution state of the peripheral pixel values.
  • the mode determination unit determines and switches between the method of determining the probability distribution on a field basis and the method of determining the probability distribution on a frame basis for each block. Can be achieved.
  • an 8 ⁇ 8 pixel block is shown, but the present invention can be similarly applied to a block composed of arbitrary m ⁇ n pixels.
  • pixels B, C, and D are used as peripheral pixels of the encoding target pixel, but more pixels can be used.
  • FIG. 30 is a block diagram of the image decoding apparatus according to the fifteenth embodiment of the present invention. In the figure, the same signals as in the 14th embodiment shown in FIG.
  • This image coding apparatus includes a field pixel value distribution checking unit 2001 for checking the distribution state of peripheral pixels of a target pixel in a field unit with respect to pixel values of already decoded pixels. Note the pixel value data of the pixel in frame units.
  • Frame pixel value distribution investigating unit 2002 for examining the distribution state of the peripheral pixels of the eye pixel, probability distribution determining unit 2003 for determining the probability distribution corresponding to the distribution state of the peripheral pixels of the pixel of interest, decoding target
  • an arithmetic decoding unit 204 that arithmetically decodes the encoded image signal.
  • a memory 200 that stores the image decoded by the arithmetic decoding unit 204 and an image that is stored in the memory 205 are stored in the field pixel value distribution checking unit 2001 or the frame pixel.
  • the first switching unit 2006 which selectively inputs to one of the value distribution investigation units 2002, and the second switching, which switches the distribution state of peripheral pixels input to the probability distribution determining unit 2003 Unit 207.
  • the pixel value data of already decoded pixels held in the memory 2000 in accordance with the mode information 1915 are stored in the field pixel value distribution inspection unit 200. 1 or input to the frame pixel value distribution investigation unit 202.
  • the field pixel value distribution examining unit 2001 assuming that the pixel position A is the pixel to be decoded in the decoding target block illustrated in FIG. 29A, the pixels shaded black are already decoded.
  • the pixel values at pixel positions B, C, and D are output as the peripheral pixel values of the decoding target pixel A, and the frame pixel value distribution examination unit 2002 decodes the image illustrated in FIG. 29B.
  • the pixel values at pixel positions B, C, and D are output as peripheral pixel values around the decoding target pixel A.
  • the second switching unit 2007 determines the distribution state of pixel values in field units or the pixel value distribution units in frame units according to the mode information 1915 in the probability distribution determination unit 2003 To enter.
  • the probability distribution determination unit 2003 determines the pixel value of the encoding target pixel from the distribution state of the peripheral pixel values determined by the field pixel value distribution investigation unit 2001 or the frame pixel value distribution investigation unit 2002. Is determined. As in the case of coding, if (B, C, D) is (black, white, black), the coding target is calculated using the probability distribution table in Fig. 28. The probability that pixel A is black is 0.75, and the probability that pixel A is white is 0.25.
  • the arithmetic decoding unit 204 decodes the pixel value by arithmetic decoding based on the probability distribution determined by the probability distribution determining unit 203, and outputs the decoded image signal as a decoded image signal 208.
  • the output decoded image signal is input to and held in the memory 2000.
  • a probability distribution of pixel values of a decoding target pixel is decoded.
  • the interlacing is performed by using the mode information 1915 and the second and second switching units 2006 and 2007. Even an image having a structure can be correctly decoded.
  • FIG. 29A and FIG. 29B three pixels B, C, and D are used as peripheral pixels of the encoding target pixel, but more pixels can be used.
  • FIG. 31 is a block diagram of an image encoding device according to a sixteenth embodiment of the present invention.
  • the same blocks and signals as those in the eighth embodiment shown in FIG. 18 and the fourteenth embodiment shown in FIG. 27 are denoted by the same reference numerals, and description thereof will be omitted.
  • Block 2301 is composed of the field motion estimator 801 and the field motion compensator 803 shown in FIG. 18, and block 2302 is the frame motion estimator 802 shown in FIG. It is composed of part 804.
  • the motion vector 829 output from the field motion estimator 8 01 and the frame motion estimator 8 02 is transmitted via the switch 8 26.
  • Block 2303 is composed of a field pixel value distribution investigator 1901, a probability distribution determiner 1903 and an arithmetic encoder 1904 of FIG.
  • Reference numeral 4 includes a frame pixel value distribution investigation unit 1902, a probability distribution determination unit 1905, and an arithmetic coding unit 1906.
  • FIG. 32 shows functional blocks relating to the blocks 2303 and 2304.
  • the mode determination unit 2305 selects the mode having a shorter codeword length by comparing the coded image signals of the field predicted image and the frame predicted image output from the blocks 2303 and 2304. Information 2 3 2 1
  • a second switching unit 2306 for selectively switching the encoded image signal output from the blocks 2303 and 2304 is arranged on the output side of the blocks 2303 and 2304. I have.
  • Field arithmetic decoding unit 2307 for decoding an encoded image signal arithmetically encoded in field mode, and frame arithmetic decoding for decoding an encoded image signal arithmetically encoded in frame mode 238.
  • Switching of input / output to / from the field arithmetic decoding section 2307 and the frame arithmetic decoding section 2308 is determined by the third and fourth switching sections 2309 and 2310 arranged in the preceding and succeeding stages. Perform in synchronization with the mode.
  • the pixel at the same position as the pixel to be coded in the motion-compensated predicted image signal 824 (825) and its surrounding pixels Investigate pixel values.
  • Figures 33 and 34 show blocks divided into 8 x 8 pixels
  • Figure 33A and Figure 34A are motion compensated predicted blocks
  • Figure 33B and Figure 34B are coding Indicates the target block.
  • the pixel to be encoded is the pixel A shown in FIG. 33B
  • the pixel A at the same position as the pixel A in the motion compensation prediction block
  • the pixel value of A and the pixel values of C and D which are the peripheral pixels in the field unit, are output as the distribution state of the peripheral pixel values of the encoding target pixel A.
  • the pixel to be encoded is the pixel A shown in FIG. 34B
  • the pixel A shown in FIG. 34A at the same position as the pixel A in the motion compensation prediction block
  • the pixel values of pixels B and C and D which are the peripheral pixels in frame units, are output as the distribution state of the peripheral pixel values of the encoding target pixel A.
  • the distribution of peripheral pixel values determined by the field pixel value distribution investigation section 1901 and frame pixel value distribution investigation section 1902 The probability distribution of the pixel value of the encoding target pixel is determined. That is, when (B, C, D) is (black, white, black), the probability that the pixel value of the encoding target pixel A is black is 0.75 from the probability distribution table shown in FIG. The probability of being white is 0.25.
  • the pixel value encoding means 1904, 1906 arithmetically encodes pixel values based on the probability distribution determined by the probability distribution determination sections 1903, 1905, and outputs an encoded image signal. I do.
  • the mode determination unit 2305 based on the coded image signal obtained based on the probability distribution obtained by examining the distribution of pixel values on a field basis and the probability distribution obtained by examining the distribution of pixel values on a frame basis
  • the selected coded image signal is compared for each block, and the field frame mode is determined by judging the shorter code length, and is output as mode information 232 1.
  • the second switching section 2306 selects either the field-based coded image signal or the frame-based coded image signal in accordance with the mode information 2321, and outputs it as a coded image signal 232.
  • a binary having an interlaced structure When an image is subjected to arithmetic coding by determining the probability distribution of the pixel value of the pixel to be coded according to the distribution state of the pixel value of the motion-compensated predicted image, the method of determining the probability distribution on a field basis and the method on a frame basis Either of the methods of determining the probability distribution is determined by the mode determination unit 2305 for each block by the mode determination unit 2305, and switching is performed, thereby improving the coding efficiency.
  • FIG. 36 is a block diagram of the image decoding device according to the seventeenth embodiment of the present invention.
  • the same blocks and signals as those in the ninth embodiment shown in FIG. 22 and the sixteenth embodiment shown in FIG. 31 are denoted by the same reference numerals, and description thereof will be omitted.
  • This image decoding apparatus includes a field Z-frame motion compensation unit 2500 that generates a motion-compensated predicted image from a decoded reference image and a received motion vector or the like.
  • the field frame motion compensator 250 is composed of a field motion compensator 1221, a frame motion compensator 122, and a field mode.
  • This section includes a section 124, a section 125, a section 126, a memory 127 for storing the decoded image as a reference image, and the like.
  • the image decoding apparatus includes a field pixel value distribution investigation unit 2501 for detecting a pixel state of a peripheral pixel of a target pixel from the motion compensation predicted image in field units, A frame pixel value distribution investigation unit 2502 for detecting a pixel state of a peripheral pixel is provided.
  • a probability distribution determining unit 2503 which determines the probability corresponding to the target pixel from the distribution state output from the field pixel value distribution research unit 2501, and the frame pixel value distribution research unit 2502, the determined probability Arithmetic decoding unit 2504 for performing arithmetic decoding based on
  • the motion-compensated predicted image signal obtained by the block 2500 in accordance with the mode information 2321 is used as the field pixel value distribution investigating section 2501 or the frame pixel value distribution.
  • the pixel value of pixel B at the same position as pixel A and the pixel values of pixels C and D, which are the peripheral pixels of pixel B are output as the peripheral pixel values of pixel A to be decoded.
  • the motion compensation illustrated in FIG. 34A is assumed.
  • the pixel value of pixel B at the same position as pixel A and the pixel values of pixels C and D, which are the peripheral pixels of pixel B are output as the peripheral pixel values of pixel A to be decoded.
  • the distribution state of pixel values in field units or the distribution state of pixel values in frame units is determined according to the mode information 232 1. One of them is input to the probability distribution determination unit 2503.
  • the probability distribution determination unit 2503 determines the pixel value of the encoding target pixel from the distribution state of the peripheral pixel values determined by the field pixel value distribution investigation unit 2501 or the frame pixel value distribution investigation unit 2502. Is determined. That is, when (B, C, D) is (black, white, black), the probability that the encoding target pixel A is black is 0.75 and white according to the probability distribution table shown in FIG. The probability is 0.25.
  • the arithmetic decoding unit 2504 decodes the pixel value by arithmetic decoding based on the probability distribution determined by the probability distribution determining unit 2503, and outputs it as a decoded image signal 2510.
  • the mode information 23 is used.
  • the 21st and first and second switching units 255, 506 it is possible to correctly decode even an image having an interlace structure.
  • the processing contents of the functional blocks shown in the first to the seventeenth embodiments are implemented in software by a program, and are recorded on a recording medium such as a floppy disk and transferred. By doing so, it can be easily implemented on another independent computer system.
  • Fig. 37 shows a floppy disk as an example of a recording medium.
  • a floppy disk is shown as a recording medium.
  • the present invention can be similarly implemented as long as it can record a program such as an IC card, a CD_ROM, or a magnetic tape.
  • the image encoding apparatus and the image decoding apparatus according to the present invention are useful for dividing a digital image having an in-lace structure into blocks and encoding / decoding the blocks. It is suitable for improving coding efficiency by selecting a mode with good coding efficiency in consideration of the field structure or frame structure for each block.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

明 細 書 画像符号化装置及び画像復号化装置 技術分野
本発明は、 ディジタル画像を符号化 Z復号化する画像符号化装置 画像復号 化装置およびそれをソフトウエアによって実現するためのコンピュータプログ ラムが記録された記録媒体に関するものである。 背景技術
現在ィンターレ一ス構造を持つディジタル画像を符号化 Z復号化する方法の 標準勧告として ITU- T H. 262があり、 NTSCなどのテレビジョン信号を効率よく符 号化ノ復号化することができる。
また、 ディジタル画像を符号化 Z復号化する際に、 画素の輝度信号および色 差信号値だけでなく、物体の形状を表す形状情報信号も含めて符号化/復号化を 行なう方法が ISO/IEC MPEG4の評価モデルとして採用されている(IS0/IEC JTC/SC29/WG1 1 N1469 November 1996)。
この方法では、 形状情報によって示された有意な画素についてのみ輝度信号 および色差信号の符号化 Z復号化を行なうことによって符号量の効果的な削減 を行なえるだけでなく、 形状情報に従って画像の合成などが容易に行なえると いう特徴がある。
しかしながら、上記に示した MPEG4の評価モデルでは 1フレームが 2つのフィ 一ルドによって構成されているイン夕一レース構造を持つ画像については考慮 されていない。 そのためィン夕レース構造をもつ入力画像に対しては効率の良 い符号化ノ復号化を行うことができない。 また、 H. 262では輝度信号および色差信号についてはインターレース構造を考 慮した動き補償方法や離散コサイン変換について考慮されているが、 有意形状 を示す二値画像の符号化方法としてはダウンサンプリング、 アップサンプリン グ、画素値の変化位置の予測などといった H. 262では考慮されていない特別な方 法が使用されているため、 H. 262で採用されているインターレース構造に対応し た符号化ノ復号化手段を単純に採用することはできない。 発明の開示
本発明は以上のような実情に鑑みてなされたもであり、 入力画像を符号化 Z 復号化する際に、 形状情報画像についてもブロック毎にフィールド単位で符号 化 復号化するかフレーム単位で符号化/復号化するかを適応的に選択するこ とによつて符号化効率の改善を行なう画像符号化装置及び画像復号化方法を提 供することを目的とする。
この課題を解決するために本発明は、 1フレームが 2つのフィールドによつ て構成されたィンタレース構造を持つ二値ディジ夕ル画像を入力として、 前記 画像を複数画素から構成される 2次元プロックに分割しプロック毎に符号化を 行なう画像符号化装置において、 符号化処理をフィ一ルド単位で行なう方法と フレーム単位で行なう方法をブロック毎に判定し、 モード判定結果に従ってブ ロック毎にフィ一ルド単位またはフレーム単位で符号化を行なう。
また、 上記画像符号化装置によって符号化した画像符号化信号から 1フレー ムが 2つのフィールドによって構成されたイン夕レース構造を持つニ値デイジ タル画像を複数画素から構成された 2次元プロック毎に復号化する画像復号化 装置において、 モード情報に従ってプロック毎にフィ一ルド単位またはフレ一 ム単位で復号化処理を行なう。
これにより、 プロック毎にフィールド単位で符号化 復号化するかフレーム 単位で符号化 Z復号化するかを適応的に選択することによって高効率の画像符 号化装置 Z画像復号化装置を実現できる。
また本発明の画像符号化装置は、 二値ディジ夕ル画像を複数画素から構成さ れたブロックに分割しブロック毎に符号化を行なう画像符号化装置であって、 フィ一ルド単位符号化処理とフレーム単位符号化処理のいずれか符号化効率の 良い方をブロック毎に判定する。
また本発明の画像復号化装置は、 画像符号化信号から二値ディジ夕ル画像に 復号化する画像復号化装置であって、 フィ一ルド単位復号化処理とフレーム単 位復号化処理をモード情報によってブロック毎に切替える。
また本発明は、 二値ディジタル画像を符号化する際に、 フィールド単位ダウ ンサンプリング処理とフレーム単位ダウンサンプリング処理のいずれか効率の 良い方をブロック毎に判定する。
また本発明の画像復号化装置は、 二値ディジタル画像を復号する際に、 フィ —ルド単位ダウンサンプリング処理とフレーム単位ダウンサンプリング処理を モード情報によってブロック毎に切替える。
また本発明の画像符号化装置は、 二値ディジタル画像を符号化する際に、 フ ィ一ルド単位動き補償とフレーム単位動き補償のいずれか効率の良い方をプロ ック毎に判定する。
また本発明の画像復号化装置は、 二値ディジタル画像を復号する際に、 フィ ールド単位動き補償とフレーム単位動き補償をモード情報によってプロック毎 に切替える。
また本発明の画像符号化装置は、 二値ディジタル画像を符号化する際に、 着 目画素と画素値が変化する画素との位置関係を符号化する画像符号化装置にお いて、 画素値の変化点の検出をフィールド単位とフレーム単位のいずれか効率 の良い方をブロック毎に判定して行なう。 また本発明の画像復号化装置は、 着目している画素と画素値が変化する画素 との位置関係から二値ディジタル画像を復号する画像復号化装置であって、 画 素値が変化する画素の位置の計算をフィ一ルド単位で行なうかフレーム単位で 行なうかをモード情報によってブロック毎に切替える。
また本発明の画像符号化装置は、 二値ディジタル画像を符号化する際に、 着 目画素の画素値の確率分布を周辺の画素の画素値の分布状態から決定し、 その 確率分布に従って着目画素の画素値を符号化する画像符号化装置であって、 確 率分布を決定するための周辺画素値の分布状態の調査をフィ一ルド単位とフレ —ム単位のいずれか効率の良い方をブロック毎に判定する。
また本発明の画像復号化装置は、 着目画素の画素値の確率分布を周辺の画素 の画素値の分布状態から決定し、 その確率分布に従って画素値を復号化する画 像復号化装置であって、 確率分布を決定するための周辺画素値の分布状態の調 査をフィールド単位で行うかフレーム単位で行うかをモード情報によってプロ ック毎に切り替える。
また本発明の画像符号化装置は、 着目画素の画素値の確率分布を動き補償予 測画像の画素値の分布状態から決定し、 その確率分布に従って着目画素の画素 値を符号化する画像符号化装置において、 確率分布を決定するための動き補償 予測画像の画素値の分布状態の調査をフィールド単位とフレーム単位のいずれ か効率の良い方をプロック毎に判定する。
また本発明の画像複号化装置は、 着目画素の画素値の確率分布を動き補償予 測画像の画素値の分布状態から決定し、 その確率分布に従って画素値を復号化 する画像復号化装置において、 確率分布を決定するための動き補償予測画像の 画素値の分布状態の調査をフィールド単位で行うかフレーム単位で行うかをモ ―ド情報に従ってプロック毎に切り替える。
また本発明の画像符号化装置は、 二値ディジタル画像および多値ディジ夕ル 画像をブロック毎に符号化する際に、 二値ディジ夕ル画像の符号化処理をフィ —ルド単位とフレーム単位のいずれかで行なうかの選択を、 当該プロックの多 値ディジタル画像のモード情報に従属して行なう。 これにより、 二値ディジタ ル画像のモード情報について特別な符号を用いる必要がなく符号化効率の向上 が達成できるという作用を有する。
また本発明の画像符号化装置は、 画像符号化信号から二値ディジ夕ル画像お よび多値ディジ夕ル画像をブロック毎に復号化する際に、 ニ値デイジ夕ル画像 の符号か処理をフィ一ルド単位とフレーム単位のいずれかで行なうかの判定を、 当該プロックの多値ディジ夕ル画像のモード情報に従属して行う。これにより、 ニ値デイジ夕ル画像のモード情報について特別な符号を用いることなく正しく 復号化できるという作用を有する。
また本発明の画像符号化装置は、 二値ディジタル画像および多値ディジタル 画像をプロック毎に符号化する際に、 フィ一ルド単位符号化処理とフレーム単 位符号化処理のいずれかを二値ディジタル画像の符号化処理として判定し、 判 定されたモ一ド情報を当該プロックの多値ディジタル画像のモード情報の判定 に反映させる。 これにより、 多値ディジタル画像のモード情報について特別な 符号を用いる必要がなく符号化効率の向上が達成できるという作用を有する。 また本発明の画像復号化装置は、 画像符号化信号から二値ディジタル画像お よび多値ディジ夕ル画像をブロック毎に復号化する際に、 二値ディジ夕ル画像 のモード情報を、 当該プロックの多値ディジタル画像のモード情報の選択に反 映させる。 これにより、 多値ディジタル画像のモード情報について特別な符号 を用いることなく正しく復号化できるという作用を有する。
また本発明の記録媒体は、 上記各発明の少なくとも 1つを実現させるプログ ラムが記録されているコンピュータの記録媒体に記録して移送することにより、 独立したコンピュータシステムで容易に実現できるという作用を有する。 図面の簡単な説明
図 1は、 本発明の第 1の実施の形態における画像符号化装置の機能プロック 図、
図 2は、 画素値の変化位置及び変化予測位置を示す図、
図 3は、 画素値の変化位置、 変化予測位置及び差分値の検出結果を示す図、 図 4は、 本発明の第 2の実施の形態における画像符号化装置の機能プロック 図、
図 5は、 本発明の第 3の実施の形態における画像復号化装置の機能プロック 図、
図 6は、 フィールドモード復号化の画素値の変化位置及び変化予測位置を示 す図、
図 7は、 フィールドモ一ド復号化ブロックを示す図、
図 8は、 フレームモード復号化の画素値の変化位置及び変化予測位置を示す 図、
図 9は、 フレームモード復号化ブロックを示す図、
図 1 0は、 本発明の第 4の実施の形態における画像復号化装置の機能ブロッ ク図、
図 1 1は、 フィールド構造のディジタル画像ブロックを示す図、
図 1 2は、 フレーム構造のディジタル画像プロックを示す図、
図 1 3は、 本発明の第 5の実施の形態における画像符号化装置の機能ブロッ ク図、
図 1 4は、 第 5の実施の形態におけるフレームモードでの符号化過程を示す 図、
図 1 5は、 第 5の実施の形態におけるフィールドモードでの符号化過程を示 す図、
図 1 6は、 本発明の第 6の実施の形態における画像復号化装置の機能ブロッ ク図、
図 1 7は、 本発明の第 7の実施の形態における画像符号化装置の機能ブロッ ク図、
図 1 8は、 本発明の第 8の実施の形態における画像復号化装置の機能ブロッ ク図、
図 1 9は、 第 8の実施の形態におけるフレームモードでの予測画生成過程を 示す図、
図 2 0は、 第 8の実施の形態におけるフィールドモードでの奇数フィールド の予測画生成過程を示す図、
図 2 1は、 第 8の実施の形態におけるフィールドモードでの偶数フィールド の予測画像生成過程を示す図、
図 2 2は、 本発明の第 9の実施の形態における画像復号化装置の機能ブロッ ク図、
図 2 3は、 本発明の第 1 0の実施の形態における画像符号化装置の機能プロ ック図、
図 2 4は、 本発明の第 1 1の実施の形態における画像復号化装置の機能プロ ック図、
図 2 5は、 本発明の第 1 2の実施の形態における画像符号化装置の機能プロ ック図、
図 2 6は、 本発明の第 1 3の実施の形態における画像復号化装置の機能プロ ック図、
図 2 7は、 本発明の第 1 4の実施の形態における画像符号化装置の機能プロ ック図、 図 2 8は、 第 1 4の実施の形態における確率分布表を示す図、 図 2 9 A、 図 2 9 Bは、 8 X 8画素のブロックにおける符号化状況を示す図、 図 3 0は、 本発明の第 1 5の実施の形態における画像復号化装置の機能プロ ック図、
図 3 1は、 本発明の第 1 6の実施の形態における画像符号化装置の機能プロ ック図、
図 3 2は、 第 1 6の実施の形態の一部を抜き出した図、
図 3 3 A, 図 3 3 Bは、 フィールドモード符号化 Z復号化ブロックを示す図、 図 3 4 A, 図 3 4 Bは、 フレームモード符号化 Z復号化ブロックを示す図、 図 3 5は、 画素値の確率分布表の一例を示す図、
図 3 6は、 本発明の第 1 7の実施の形態における画像符号化装置の機能プロ ック図及び
図 3 7は、 本発明の第 1 8の実施の形態におけるコンピュータの記録媒体の 一例を示す図である。 発明を実施するための最良の形態
以下、 本発明の実施の形態について図面を参照して具体的に説明する。
(第 1の実施の形態)
図 1は、 本発明の第 1の実施の形態における画像符号化装置のプロック図で ある。 第 1の実施の形態にかかる画像符号化装置は、 フィールド変化位置検出 部 1 0 1、 メモリ 1 0 2、 変化位置予測部 1 0 3、 差分値計算部 1 0 4及び符 号化部 1 0 5からなるフィールド画像の符号化のための処理ブロックと、 フレ —ム変化位置検出部 1 0 6、 メモリ 1 0 7、 変化位置予測部 1 0 8、 差分値計 算部 1 0 9及び符号化部 1 1 0からなるフレーム画像の符号化のための処理ブ ロックとを備えている。 また、 この画像符号化装置は、 符号化モードを判定す るモード判定部 1 1 1と、 出力信号を判定された符号化モードのものに切替え る切替え部 1 1 2とを備える。 以下の説明では、 フィールド画像の処理ブロッ クで符号化された符号データを伝送する符号化モードをフィ一ルドモ一ドと呼 び、 フレーム画像の処理プロックで符号化された符号データを伝送する符号化 モ一ドをフレームモードと呼ぶ。
フィールド変化位置検出部 1 0 1は、 画素値が変化する変化点をフィールド 単位で検出する画像処理機能であり、 フレーム変化位置検出部 1 0 6は、 画素 値が変化する変化点をフレーム単位で検出する画像処理機能である。
変化位置予測部 1 0 3は、 フィールド画像の先行する検出済み (先行する複 数ライン) 画素変化点から予測対象ラインの変化点を予測する部分であり、 も う一方の変化位置予測部 1 0 8は、 フレーム画像の先行する検出済み (先行す る複数ライン)画素変化点から予測対象ラインの変化点を予測する部分である。 メモリ 1 0 2、 1 0 7には、 変化位置予測のために、 先行する検出済み (先 行する複数ライン) 画素変化点 (座標データ) が記憶される。
差分値計算部 1 0 4は、 フィ一ルド変化位置検出部 1 0 1で検出した予測対 象ラインの実際の変化位置 1 2 2と変化位置予測部 1 0 3で数ライン前の変化 点から予測した予測位置 1 2 3との差分を計算する演算機能である。 もう一方 の差分値計算部 1 0 9は、 フレーム変化位置検出部 1 0 6で検出した予測対象 ラインの実際の変化位置 1 2 5と変化位置予測部 1 0 8で数ライン前の変化点 から予測した予測対象ラインの予測位置 1 2 6との差分を計算する演算機能で ある。
符号化部 1 0 5は、 フィールドモ一ドで得られた差分値 1 2 4を符号化する 部分であり、 符号化部 1 1 0は、 フレームモードで得られた差分値 1 2 7を符 号化する部分である。
モード判定部 1 1 1は、 2つの符号化部 1 0 5、 1 1 0から出力される符号 化データを比較して符号化効率の良い方の符号化モードを選択して切替え部 1 1 2と不図示の伝送部へ指示する機能を有する。
切替え部 1 1 2は、 モード判定部 1 1 1から指示された符号化モード側の入 力信号を上記伝送部へ出力するように接続先の符号化部 1 0 5、 1 1 0を切替 える。
以上のように構成された画像符号化装置について、 以下にその動作を説明す る。 図中に示されていないブロック分割部によって複数の画素から構成された 2次元プロックに分割された二値ディジタル画像 1 2 1がフィールド変化位置 検出部 1 0 1及びフレーム変化位置検出部 1 0 6へ夫々供給される。
図 2に、 8 X 8画素から構成された符号化対象ブロックの例を示す。 同図中 の上参照画素はすでに符号化対象プロック上隣プロックの最下行に属する符号 化済みの画素、 左参照画素はすでに符号化対象プロック左隣プロックの最右列 に属する符号化済みの画素である。 この符号化対象ブロックの画素 I ( X , y ) において yが奇数の画素は第 1フィールドに属し、 yが偶数の画素は第 2フィ —ルドに属する。
いま、 図 2に示す 8 X 8の画素ブロックが符号化対象ブロック 1 2 1として フィールド変化位置検出部 1 0 1およびフレーム変化位置検出部 1 0 6に入力 されたものとする。
フィールド変化位置検出部 1 0 1では、 奇数フィールドと偶数フィールドに ついて各ラインでの画素値変化点を検出する。 フィールド変化位置検出部 1 0 1は入力された信号についてすでに符号化済みの着目画素 Aから水平方向に画 素をスキャンし、 左隣の画素と異なる画素値に変化する画素の位置を同じフィ —ルド内で検出し、 フィールド変化位置 1 2 2として出力する。 図 2の例では 画素 Bがフィールド変化位置となる。
符号化対象プロックの奇遇フィ一ルドでの各ラインの画素値変化点は変化位 置デ一夕としてメモリ 1 0 2に保存される。
変化位置予測部 1 0 3では、 注目画素の属するラインから複数ライン前まで の各ラインの変化位置から注目画素の変化位置を予測し、 予測変化位置として 出力する。 例えば、 奇数フィールドの 4番目のライン (フレーム画像の 7番目 のラインに相当) の変化点が注目画素であれば、 2番目、 3番目のライン (フ レーム画像の 3番目、 5番目のラインに相当) の変化位置が共に 7番目である ので、 注目画素も 7番目であると予測する。 この予測位置 1 2 3を差分値計算 部 1 0 4へ出力する。
差分値計算部 1 0 4には、 奇数フィールドの 4番目のラインでの実際の画素 値変化点のデータ 1 2 2がフィールド変化位置検出部 1 0 1から与えられるの で、 フィールド変化位置検出部 1 0 1から与えられる奇数フィールドの 4番目 のラインでの実際の変化位置と変化位置予測部 1 0 3から与えられる奇数フィ —ルドの 4番目のラインでの予測位置との差分を計算する。 例えば、 図 2に示 す例であれば、 実際の変化位置が 7で予測位置が 7であるので、 差分値 = 0が 計算結果として符号化部 1 0 5へ送出される。
符号化部 1 0 5では、 奇数フィールドの 4番目のラインの変化位置データと して差分値 = 0を、 予め定められたハフマン符号テーブルを用いて符号化する ことになる。
偶数フィールドについても、 上記した奇数フィールドと同様に偶数フィ一ル ドの各ラインについて実際の画素値変化位置と予測位置との差分値を計算し、 符号化部 1 0 5で差分値を符号化する。
フレーム変化位置検出部 1 0 1は、 フレーム画像を形成する各ラインについ て水平方向に画素をスキャンし、 左隣の画素と異なる画素値に変化する画素の 位置を検出する。 図 2の例では、 着目画素 Aから左隣の画素と異なる画素値に 変化する画素の位置をフレーム内で検出し、 フレーム変化位置 1 2 5として出 力する。 図 2の画素ブロックでは画素 Cがフレーム変化位置となる。 検出した 変化位置はメモリ 1 0 7に格納される。
変化位置予測部 1 0 8では、 注目画素の属するラインから複数ライン前まで の各ラインの変化位置から注目画素の変化位置を予測し、 予測変化位置として 出力する。 例えば、 フレーム画像の 5番目のラインの変化点が注目画素であれ ば、 3番目、 4番目のラインの変化位置が 7、 6と 1画素単位で減少している ので、 5番目のラインの注目画素は 4番目のラインの変化位置 = 6から更に 1 画素減少した 5画素目であると予測する。 この予測位置 1 2 6を差分値計算部 1 0 9へ出力する。
差分値計算部 1 0 9では、 検出された変化位置と予測された変化位置の差分 値を求める。 例えば、 図 2のフレーム画像の 6番目のラインの変化点が注目画 素の場合であれば、 フレーム変化検出位置 Cとフレーム変化予測位置 Fの差分 値一 3がフレーム差分値 1 2 7として出力される。
符号化部 1 1 0では、 フレーム画像について計算された差分値を予め定めら れたハフマン符号テーブルを用いて符号化する。
図 3に、 図 2の画素プロックについて実行したフィールドモ一ドでの変化位 置 1 2 2、 予測位置 1 2 3及び差分値 1 2 4と、 フレームモードでの変化位置 1 2 5、 予測位置 1 2 6及び差分値 1 2 7の検出結果を示している。
フィールドモードでは奇数フィ一ルド及び偶数フィールドの各差分値である ( 0、 + 6、 0、 0、 ) (0、 + 6、 ー 1、 + 2 ) が符号化される。 また、 フ レームモードでは各ラインの差分値である (0、 0、 + 6、 — 1、 + 2、 — 3、 + 4、 一 3 ) が符号化される。
モード判定部 1 1 1では、 フィールド単位で求められた符号化画像信号とフ レーム単位で求められた符号化画像信号を比較し、 符号化効率の良いモードを 判定し、 符号化効率の良い側のモードをモード情報 1 2 8として出力する。 切替え部 1 1 2では、 モード情報 1 2 8に従ってフィールド単位符号化画像 信号またはフレーム単位符号化画像信号のいずれかを選択し符号化画像信号 1 2 9として出力する。
上記により説明した本実施の形態によれば、 インタレース構造を持つニ値デ ィジ夕ル画像に対してその画像を画素値が変化する位置に基づいて符号化する 際に、 フィールド単位で画素値の変化位置を検出し符号化する手法とフレーム 単位で画素値の変化位置を検出し符号化する手法のいずれか効率の良い方をモ —ド判定部 1 1 1によってブロック毎に判定し切替えることによって符号化効 率の向上を達成することができる。
(第 2の実施の形態)
図 4に、 第 2の実施の形態にかかる画像符号化装置の機能プロックを示して いる。 上記第 1の実施の形態では、 フィールドモードの処理ブロックとフレー ムモードの処理ブロックとが個々のブロックに対して必ず動作しているが、 本 実施の形態は相関器 1 4 1で事前に符号化モードを判定し、 一方の処理ブロッ クだけを動作させる。
相関器 1 4 1は、 インタレース構造を持つ二値ディジタル画像がプロック単 位で与えられる。 フィ一ルド画像の相関値を検出するためにィンタレース画像 のラインデータを 1ライン間隔で抽出してライン間の相関値を求め、 フィ一ル ド画像の相関値として保存する。 また、 フレーム画像の相関値を検出するため にフレーム画像を形成する各ラインデータについてライン間の相関値を求めて フレーム画像の相関値として保存する。 相関値の高い方のモードを選択してモ —ド情報 1 2 8として出力する。
第 1切替え部 1 4 2は、 モード情報 1 2 8がフィールドモードを示していれ ば二値ディジタル画像をフィールドモードの処理ブロック 1 4 3へ切替える。 また、 モード情報 1 2 8がフレームモードを示していれば二値ディジタル画像 をフレームモードの処理ブロック 1 4 4へ切替える。 フィールドモードの処理 ブロック 1 4 3とは、 図 1に示すフィールド変化位置検出部 1 0 1から符号化 部 1 0 5までの一連の処理を実行する処理ブロックのことであり、 フレームモ ードの処理ブロック 1 4 4とは図 1に示すフレーム変化位置検出部 1 0 8から 符号化部 1 1 0までの一連の処理を実行する処理ブロックのことである。
第 2切替え部 1 4 5は、 モード情報 1 2 8に基づいて接続対象となる処理ブ ロック 1 4 3、 1 4 4を切替えることにより、 選択モードに対応する処理ブロ ックの符号化データ 1 2 9を出力する。
このような実施の形態によれば、 符号化効率の向上を達成することができる 上、事前に符号化モ一ドを選択して一方の処理プロックのみを動作させるので、 処理効率の向上を図ることもできる。
(第 3の実施の形態)
図 5は、 本発明の第 3の実施の形態における画像復号化装置のプロック図で ある。 同図において、 図 1に示す第 1の実施の形態と同一の信号については同 じ番号を付し説明を省略する。
この画像復号化装置は、 上記第 1の実施の形態の画像符号化装置から出力さ れた、 検出した変化位置と予測した変化位置との差分値を符号化した符号化画 像信号 1 2 9が、 復号化部 1 5 1に与えられる。 また画像復号化装置は、 符号 化画像信号 1 2 9から復号化された差分値と、 既に復号化された前複数ライン の変化位置から予測された該当ラインの予測位置とを加算する差分値加算部 1 5 2を備える。 さらに画像復号化装置は、 差分値加算部 1 5 2の出力が第 1切 替え部 1 5 3を介して選択的に供給されるフィールド二値画像復号化部 1 5 4 とフレーム二値画像復号化部 1 5 5とを備える。 フィールド二値画像復号化部 1 5 4は、 差分値加算部 1 5 2の出力からフィールド画像を復元する部分であ り、 フレーム二値画像復号化部 1 5 5は差分値加算部 1 5 2の出力からフレー ム画像を復元する部分である。 フィールド二値画像復号化部 1 5 4及びフレー ムニ値画像復号化部 1 5 5から出力される信号は第 2切替え部 1 5 6を介して 復元画像信号 1 5 9として出力されるとともに、 メモリ 1 5 7にバッファリン グされる。 変化位置予測部 1 5 8が、 第 1の実施の形態の変化位置予測部 1 0 8と同様の手法で変化位置を予測して差分値加算部 1 5 2へ出力する。
以上のように構成された画像復号化装置について、 以下にその動作を説明す る。 復号化部 1 5 1では、 符号化画像信号 1 2 9から画素値変化する位置と変 化する位置の予測位置との差分値を復号化し、 復号化差分値を出力する。
一方、 変化位置予測部 1 5 8では、 すでに復号化されている前複数ラインの 画素値が変化する位置から該当ライン上の次に画素値が変化する位置を予測し、 予測変化位置を出力する。 図 6に例示した復号化対象ブロックでは着目画素 A と、 画素 Aと同じフィールドに属し同様に黒画素から白画素に変化するすでに 複号化済みの画素 Cから画素 Aと画素 Cの X座標の差 0から予測変化位置画素 Bが得られ、 図 8に例示した復号化対象ブロックでは着目画素 Eと、 画素 Eと 同様に黒画素から白画素に変化するすでに復号化済みの画素 Gから予測変化位 置画素 Fが得られる。
差分値加算部 1 5 2では、 復号した差分値と復号画像から求めた予測変化位 置とを加算し、 その加算値を画素値変化位置として出力する。 すなわち、 差分 値が一 1の場合、図 6に例示したプロックでは画素 Dが画素値変化位置であり、 図 8に例示したプロックでは画素 Hが画素値変化位置となる。
第 1切替え部 1 5 3では、 モード情報 1 2 8に従って画素値変化位置をフィ ールドニ値画像復号化部 1 5 4またはフレーム二値画像復号化部 1 5 5のいず れかに入力する。
フィールドニ値画像復号化部 1 5 4では、 着目画素位置と画素値変化位置の 間の画素を順次左隣の画素値と同じ画素値に設定することによってニ値デイジ タル画像を復号化し、 図 6に示した複号化画像を得る。 同様の作業をフィ一ル ド 1、 フィールド 2の順に左上の画素から右下の画素へと行なうことによって ブロック復号化画像を得る。
フレーム二値画像復号化部 1 5 5では、 フレーム構造のまま着目画素位置と 画素値変化位置との間の画素を順次左隣の画素値と同じ画素値に設定すること によって二値ディジタル画像を復号化し、 図 8に示した復号化画像を得る。 同 様の作業を左上の画素から右下の画素へと行なうことによってブロック複号化 画像を得る。
第 2切替え部 1 5 6では、 モ一ド情報 1 2 8に従ってフィ一ルドニ値画像復 号化部 1 5 4の出力またはフレーム二値画像復号化部 1 5 5の出力のいずれか を選択し、 二値ディジタル復号化画像信号 1 5 9として出力する。
上記により説明した本実施の形態によれば、 ィン夕レース構造を持つニ値デ イジタル画像の画素値が変化する位置に基づいて符号化された符号化画像信号 に対して、 モード情報 1 2 8及び第 1切替え部 1 5 3、 第 2切替え部 1 5 6を 用いることにより正しく復号化することができる。
なお、 本実施の形態では出力先の第 1切替え部 1 5 3と入力元の第 2切替え 部 1 5 6を用いているが、 第 1切替え部 1 5 3または第 2切替え部 1 5 6のい ずれか一方のみを使用しても同一の効果を得ることができる。
また、 図 6、 7、 8、 9では 8 X 8画素のブロックを示したが任意の m X n 画素から構成されたプロックについて同様に実施することができる。
(第 4の実施の形態)
図 1 0は、 本発明の第 4の実施の形態にかかる画像復号化装置のプロック図 である。 同図において、 図 5に示す第 3の実施の形態と同一のブロックおよび 信号については同じ番号を付し説明を省略する。
この画像復号化装置は、 差分値加算部 1 5 2の出力する変化画素位置が二値 画像復号化部 1 6 1に入力され、 そして二値画像復号化部 1 6 1が画素値の変 化する位置から二値画像を復元する。 復元した二値画像を第 1切替え部 1 5 3 を介してフィールド フレーム並べ替え部 1 6 2に入力する。 フィールド Zフ レーム並べ替え部 1 6 2はフィールド構造のブロック画像をフレーム構造に並 ベ換えるように動作する。 このフィールド Zフレーム並べ替え部 1 6 2の出力 及び二値画像復号化部 1 6 1の出力を第 2切替え部 1 5 6を介して選択的に出 力する。 第 1、 第 2切替え部 1 5 3、 1 5 6はモ一ド情報 1 2 8に基づいて切 替え動作する。
以上のように構成された画像復号化装置について、 以下にその動作を説明す る。 復号化部 1 5 1では、 符号化画像信号 1 2 9より差分値を復号化する。 変化位置予測部 1 5 8では、 すでに復号化済みの二値画像の画素値が変化す る位置から次に画素値が変化する位置を予測し、 予測変化位置を出力する。 差 分値加算部 1 5 2では、 差分値と予測変化位置の和を求め画素値変化位置を出 力する。
二値画像復号化部 1 6 1では、 復号化済みの着目画素と画素変化位置の間の 画素の画素値を左隣の画素と同じ画素値に設定することにより二値画像を復号 化する。
第 1切替え部 1 5 3では、 モード情報 1 2 8がフィールドモードを示してい る場合は、 画像をフィールド Zフレーム並べ換え部 1 6 2に入力し、 モード情 報 1 2 8がフレームモードを示している場合はフィールド Zフレーム並べ換え 部 1 6 2をスキップする。
フィールド Zフレーム並べ換え部 1 6 2では、 図 1 1に示した 2つのフィー ルドが連続する構造になっているフィールド構造プロックをライン毎に並べ換 えることによって、 図 1 2に示す 2つのフィールドに属する画素がライン毎に 交互に並ぶフレーム構造に変換する。 第 2切替え部 1 5 6では、 モード情報 1 2 8に従ってフィールド/フレーム 並べ替え部 1 6 2の出力またはフィールド フレーム並べ替え部 1 6 2をスキ ップしてきた信号のいずれかを選択して二値ディジタル復号化画像信号 1 5 9 を出力する。
上記により説明した本実施の形態によれば、 インタレース構造を持つニ値デ イジタル画像の画素値が変化する位置に基づいて符号化された符号化画像信号 に対して、 二値ディジタルブ口ック画像を復号化後にモ一ド情報 1 2 8に従つ てフィールド構造からフレーム構造に並べ換えて出力するか、 そのまま出力す るかを選択することによって正しく二値ディジ夕ル画像を復号化することがで きる。
なお、 本実施の形態では出力先第 1切替え部 1 5 3と入力元第 2切替え部 1 5 6を用いているが、 第 1切替え部 1 5 3または第 2切替え部 1 5 6のいずれ か一方のみを使用しても同一の効果を得ることができる。
また図 1 1, 1 2では 8 X 8画素のブロックを示したが任意の m X n画素か ら構成されたブロックについて同様に実施することができる。
(第 5の実施の形態)
図 1 3は、 本発明の第 5の実施の形態にかかる画像符号化装置のブロック図 である。 この画像符号化装置は、 二値ディジタルブロック画像をフィールド単 ィジ夕ルブロック画像をフレーム単位でダウンサンプリングするフレームダウ ンサンプリング部 3 0 2、 ダウンサンプリングされた画像を符号化する符号化 部 3 0 3を備える。 また、 この画像符号化装置は、 入力ブロックに適した符号 化モードを判定するモード判定部 3 0 4、 判定モードに従ってフィールドダウ ンサンプルとフレームダウンサンプルとを切替える第 1切替え部 3 0 5、 判定 モードに従って符号化するダウンサンプル結果を切替える第 2切替え部 3 0 6 を備えている。
以上のように構成された画像符号化装置について、 以下にその動作を説明す る。 図中に示されていないブロック分割部によって複数の画素から構成された 2次元プロックに分割された二値ディジ夕ル画像は、 プロック毎に入力画像信 号 3 1 0としてモード判定部 3 0 4および第 1切替え部 3 0 5に入力される。 モード判定部 3 0 4では、 分散値、 ライン間の相関値などを用いてフィール ド単位ダウンサンプリングまたはフレーム単位ダウンサンプリングのいずれか を判定し、 判定結果をモード情報 3 1 1として出力する。
第 1切替え部 3 0 5では、 モード情報 3 1 1に従つて入カブ口ック画像信号 3 1 0をフィールドダウンサンプリング部 3 0 1またはフレームダウンサンプ リング部 3 0 2へ入力する。
フィールドダウンサンプリング部 3 0 1では、 入力されたブロック画像をフ ィールド毎にダウンサンプリングし、 フィールドダウンサンプリング画像とし て出力する。
フレームダウンサンプリング部 3 0 2では、 入力されたブロック画像をフレ ーム構造のままダウンサンプリングし、 フレームダウンサンプリング画像とし て出力する。
第 2切替え部 3 0 6は、 モード情報 3 1 1に従ってフィールドダウンサンプ リング画像またはフレームダウンサンプリング画像のいずれかを選択し符号化 部 3 0 3に入力する。
符号化部 3 0 3では、 入力された二値ブロック画像を符号化し、 符号化画像 信号 3 1 2を出力する。
例えば、 4 X 4の画素ブロックを 2 X 2の画素ブロックにダウンサンプリン グする場合、 画像の性質によってフレームダウンサンプリングとフィールドダ ップサンプリングして復元したときの復元精度が大 きく異なる場合が有る。
図 1 4には 4 X 4の画素ブロックを 2 X 2の画素ブロックにフレームダウン サンプリングしてから 4 X 4の画素プロックに復元した状態が示されている。 図 1 4に示す入力ブロックの場合、 復元したときに復元誤差が 4画素に亙って 残っている。
図 1 5には、 図 1 4に示す 4 X 4の画素ブロックを 2 X 2の画素ブロックに フィールドダウンサンプリングしてから 4 X 4の画素ブロックに復元した状態 が示されている。 図 1 5に示すように奇数フィールドと偶数フィールドを合成 したものをダウンサンプリングし、 2 X 2の画素ブロックを元の 4 X 4にアツ プサンプリングした後、 フィールド並べ替えをして復元したものは復元誤差が 無いことが判る。 したがって、 モード判定部 3 0 4では図 1 4に示す入カブ口 ックの場合はフィールドダウンサンプリングのモードを判定すべきである。 モード判定部 3 0 4は、 入力ブロックのフレーム画像及びフィールド画像の それぞれについて、 ダウンサンプリング後の画素サイズに応じた複数領域に分 割し、 各領域について分散値 Qを計算する。
Q =∑ ( p - a v ) 2
Pは領域内の画素値、 a Vは領域内の画素値の平均値である。 分散値の小さい 方のモードを使用モードとして選定する。
上記により説明した本実施の形態によれば、 イン夕レース構造を持つニ値デ イジタル画像に対してモード判定部 3 0 4によってフィールド単位でのダウン サンプリングまたはフレーム単位でのダウンサンプリングのいずれか効率の良 い手法を選択することによって符号化効率の向上を達成することができる。 なお、 本実施の形態では第 1切替え部 3 0 5と第 2切替え部 3 0 6を用いて いるが、 いずれか一方のみを使用しても同一の効果を得ることができる。
(第 6の実施の形態) 図 1 6は、 本発明の第 6の実施の形態にかかる画像復号化装置のブロック図 である。 同図において、 図 1 3に示す第 5の実施の形態と同一の信号について は同じ番号を付し説明を省略する。
この画像復号化装置は、 画像符号化信号から二値ブロック画像を復号化する 復号化部 6 1 1、 二値ブロック画像をフィールド単位でアップサンプリングす るフィールドアップサンプリング部 6 1 2、 二値ブロック画像をフレーム単位 でアップサンプリングするフレームアップサンプリング部 6 1 3を備える。 ま た、 復号化部 6 1 1の出力はモード情報 3 1 1によって切替え制御される第 1 切替え部 6 1 4を介してフィールドアップサンプリング部 6 1 2又はフレーム アップサンプリング部 6 1 3へ与えられ、 フィールドアップサンプリング部 6 1 2又はフレームアップサンプリング部 6 1 3の出力はモード情報 3 1 1によ つて切替え制御される第 2切替え部 6 1 5を介して出力される。
以上のように構成された画像復号化装置について、 以下にその動作を説明す る。 復号化部 6 1 1は、 画像符号化信号 3 1 2からブロック画像を復号化し、 二値ブロック復号化画像信号 6 2 0を出力する。
第 1切替え部 6 1 4は、 モード情報 3 1 1に従って二値ブロック復号化画像 信号 6 2 0をフィールドアップサンプリング部 6 1 2またはフレームアップサ ンプリング部 6 1 3のいずれかに入力する。
フィールドアップサンプリング部 6 1 2では、 与えられたブロック画像をフ ィールド毎にアップサンプリングし二値ブロック復号化画像を出力する。 フレームアップサンプリング部 6 1 3では、 与えられたブロック画像をフレ ーム構造のままアップサンプリングし二値ブロック復号化画像を出力する。 第 2切替え部 6 1 5では、 モード情報 3 1 1に従ってフィールドアップサン プリング部 6 1 2の出力またはフレームアップサンプリング部 6 1 3の出力の いずれかを選択して二値ディジタル復号化画像信号 6 2 1を出力する。 上記により説明した本実施の形態によれば、 ィン夕レース構造を考慮したダ ゥンサンプリングを行なった符号化画像信号に対して、 モード情報 3 1 1、 第 1、 第 2切替え部 6 1 4, 6 1 5を用いることによって正しくン夕レース構造 を持つ二値ディジタル画像を復号化することができる。
なお、 本実施の形態では第 1切替え部 6 1 4と第 2切替え部 6 1 5を用いて いるが、 いずれか一方のみを使用しても同一の効果を得ることができる。
(第 7の実施の形態)
図 1 7は、 本発明の第 7の実施の形態にかかる画像復号化装置のプロック図 である。 同図において、 図 1 0に示す第 4の実施の形態、 図 1 6に示す第 6の 実施の形態と同一のブロックおよび信号については同じ番号を付し説明を省略 する。
この画像符号化装置は、 符号化画像信号から二値プロック画像を復号化する 復号化部 6 1 1、 プロック画像をアツプサンプリングするアツプサンプリング 部 7 0 1、 ブロック画像をフィールド構造からフレーム構造に並べ換えるフィ —ルド Zフレーム並べ換え部 1 6 2、 及びフィールド Zフレ一ム並べ換え部 1 6 2の前後に配置される第 1、 第 2切替え部 1 5 3 , 1 5 6を備える。
以上のように構成された画像復号化装置について、 以下にその動作を説明す る。 復号化部 6 1 1は、 画像符号化信号 3 1 2からブロック画像を復号化し、 二値ブロック復号化画像信号を出力する。
ァップサンプリング部 7 0 1は、 ブロック復号化画像信号のァップサンプル を行なう。 このとき、 アップサンプリングの対象となっているブロック復号化 画像信号をダウンサンプリングしたときのモード情報 3 1 1が第 1、 第 2切替 え部 1 5 3 , 1 5 6へ与えられる。
第 1切替え部 1 5 3は、 モード情報 3 1 1がフィールドモードを示している 場合、 アップサンプルされた画像をフィールド フレーム並べ換え部 1 6 2に 入力し、 モード情報 3 1 1がフレームモードを示している場合画像をフィ一ル ド Zフレーム並べ換え部 1 6 2をスキップする。
フィールド Zフレーム並べ換え部 1 6 2では、 図 1 1に示した 2つのフィ一 ルドが各々連続する構造になっているフィールド構造ブロックをライン毎に並 ベ換えることによって、 図 1 2に示した 2つのフィールドに属する画素がライ ン毎に交互に並ぶフレーム構造に変換する。
第 2切替え部 1 5 6は、 モード情報 3 1 1に従ってフィールド Zフレーム並 ベ換え部 1 6 2の出力またはフィールド Zフレーム並べ換え部 1 6 2をスキッ プしてきた信号のいずれかを選択して二値ディジタル復号化画像信号 1 5 9を 出力する。
上記により説明した本実施の形態によれば、 インタレース構造を考慮したダ ゥンサンプリングを行なった符号化画像信号に対して、 モード情報 3 1 1、 第 1切替え部 1 5 3、 1 5 6およびフィールド/フレーム並べ換え部 1 6 2を用 いることによって正しくン夕レース構造を持つ二値ディジ夕ル画像を復号化す ることができる。
(第 8の実施の形態)
図 1 8は、 本発明の第 8の実施の形態にかかる画像符号化装置のブロック図 である。 この画像符号化装置は、 入力ブロックのフィールド画像と複号化され た参照画像とを使ってフィールド単位で動き推定を行うフィールド動き推定部 8 0 1と、 入力ブロックのフレーム画像と復号化された参照画像とを使ってフ レーム単位で動き推定を行うフレーム動き推定部 8 0 2と、 フィールド動き推 定部 8 0 1の推定結果である動きべクトルと参照画像とからフィールド単位で 動き補償を行うフィールド動き補償部 8 0 3と、 フレーム動き推定部 8 0 2の 推定結果である動きべクトルと参照画像とからフレーム単位で動き補償を行う フレーム動き補償部 8 0 4とを備える。 また、 この画像符号化装置は、 フィー ルド動き補償部 8 0 3とフレーム動き補償部 8 0 4の出力する予測画像を符号 化する符号化部 8 0 5と、 上記予測画像を復号する復号化部 8 0 6と、 復号化 された画像を保持するメモリ 8 0 7とを備える。 また、 フィールド動き補償部 8 0 3とフレーム動き補償部 8 0 4の出力する予測画像の予測誤差に基づいて モード判定を行うモード判定部 8 0 8の判定結果に基づいて第 1切替え部 8 0 9を切替え制御し、かつ第 2切替え部 8 1 0を切替え制御するようにしている。 以上のように構成された画像符号化装置について、 以下にその動作を説明す る。 図中に示されていないブロック分割部によって、 複数の画素から構成され た 2次元プロックに分割された二値ディジタル画像は、 プロック毎に入力画像 信号 8 2 1としてモード判定部 8 0 8及び符号化部 8 0 5に入力される。
モード判定部 8 0 8では、 フィールド予測画像信号 8 2 4とフレーム予測画 像信号 8 2 5を比較し、 動き補償予測誤差がより少なくなるモードを選択して モード情報 8 2 6として出力する。
フィールド動き推定部 8 0 1では、 入力画像信号 8 2 1および参照画像信号 8 2 8からフィールド毎に動き推定を行い、 フィールド動きべクトル 8 2 2を 出力する。
フレーム動き推定部 8 0 2では、 入力画像信号 8 2 1及び参照画像信号 8 2 8からフレーム構造のまま動き推定を行いフレーム動きべクトル 8 2 3を出力 する。
フィールド動き補償部 8 0 3では、 参照画像信号 8 2 8およびフィールド動 きべクトル 8 2 2を用いてフィールド毎に動き補償を行いフィールド予測画像 8 2 4を出力する。
フレーム動き補償部 8 0 4では、 参照画像信号 8 2 8およびフレーム動きべ クトル 8 2 3からフレーム構造のまま動き補償を行いフレーム予測画像信号 8 2 5を出力する。 第 1切替え部 8 0 9では、 モード情報 8 2 6に従ってフィールド予測画像信 号 8 2 4またはフレーム予測画像信号 8 2 5のいずれかを選択し、 符号化部 8 0 5および復号化部 8 0 6へ入力する。
符号化部 8 0 5では、 予測画像信号およびモード情報 8 2 6を用いて入力画 像信号 8 2 1を符号化し、 符号化画像信号 8 2 7を出力する。
復号化部 8 0 6では、 符号化画像信号、 予測画像信号およびモード情報 8 2 6を用いて二値ディジ夕ル画像を復号化し、 復号化画像信号を出力する。
メモリ 8 0 7は、 復号化画像信号を保持し、 入力ブロックに対する参照画像 信号 8 2 8を出力する。
第 2切替え部 8 1 0では、 モード情報 8 2 6に従ってフィールド動きべクト ル 8 2 2またはフレーム動きべクトル 8 2 3のいずれかを選択し動きべクトル 信号 8 2 9として出力する。
例えば、 図 1 9に示す画素状態の入力ブロックが入力画像信号 8 2 1として 入力した場合について具体的に説明する。
フレーム動き推定部 8 0 2に、 図 1 9に示す入力ブロックが入力すると、 既 に符号化した画像を再び復号して得た参照画像をメモリ 8 0 7から取込む。 参 照画像上で、 入力ブロック (左上コーナの画素位置 ( i , j ) ) に相当する検 索窓を設定し、 検索窓を参照画像上で移動して入力ブロックと類似した画素状 態の領域を検索する。 図 1 9に示す参照画像上で実線で囲んだ領域が検索窓の 初期位置であり、 点線で囲んだ領域が検索された領域である。 実線で囲んだ領 域から点線で囲んだ領域までの移動方向及び距離が動きべクトル 8 2 3となる。 図 1 9では動きベクトルは (一 1、 — 1 ) となっている。
フレーム動き補償部 8 0 4では、 参照画像 8 2 8上で動きべクトル 8 2 3に したがって検索窓を移動して、 移動後の検索窓に含まれた画素を予測画像 8 2 5として出力する。 一方、 フィールド動き推定部 8 0 1では、 図 2 0に示す奇数フィールドのブ ロックと奇数フィールド参照画像を用いて動きベクトルを検出し、 また図 2 1 に示す偶数フィ一ルドのブロックと偶数フィールド参照画像を用いて動きべク トルを検出する。 フィールド動き補償部 8 2 4では、 奇数フィールド参照画像 と検出した動きべクトルとから奇数フィールド予測画像を予測し、 偶数フィ一 ルド参照画像と検出した動きべクトルとから偶数フィールド予測画像を予測す る。
モード判定部 8 0 8では、 オリジナルの入力ブロックの奇数フィールドと奇 数フィ一ルド予測画像との一致度をチェックする。 偶数フィ一ルドについても 入カブ口ックの偶数フィ一ルドと偶数フィールド予測画像との一致度をチェッ クする。 偶数フィールドと奇数フィールドの双方の一致度を合成した値をフィ 一ルド評価値として保持する。 また、 入力ブロックとフレーム予測画像との一 致度をチェックする。 そして、 フレーム評価値とフィールド評価値とを比較し て、 一致度の高い評価値の方のモードを選択し、 モード情報 8 2 7とする。 上記により説明した本実施の形態によれば、 イン夕レース構造を持つニ値デ イジタル画像に対してモード判定部 8 0 8によってより動き補償予測誤差が少 なくなる動き補償部を選択することによって符号化効率の向上を達成すること ができる。
(第 9の実施の形態)
図 2 2は、 本発明の第 9の実施の形態にかかる画像復号化装置のブロック図 である。 同図において、 図 1 8に示す第 8の実施の形態と同一の信号について は同じ番号を付し説明を省略する。
この画像復号化装置は、 参照画像及び動きべクトルを用いてフィールド毎に 動き補償を行うフィールド動き補償部 1 2 0 1と、 参照画像及び動きべクトル を用いてフレーム構造のまま動き補償を行うフレーム動き補償部 1 2 0 2と、 符号化画像信号を復号化する復号化部 1 2 0 3とを備えている。 また、 フィー ルド動き補償部 1 2 0 1及びフレーム動き補償部 1 2 0 2の入力段には、 動き べクトルの入力先を切り替える第 1切替え部 1 2 0 4と、 復号した参照画像の 入力先を切替える第 2切替え部 1 2 0 5とが配置されている。 また、 フィ一ル ド動き補償部 1 2 0 1及びフレーム動き補償部 1 2 0 2の出力段には復号化部 1 2 0 3へ出力する予測画像の出力元を切替える第 2切替え部 1 2 0 6が配置 されている。 メモリ 1 2 0 7は復号化部 1 2 0 3の復号化した画像が参照画像 として保存される記憶部である。
以上のように構成された画像復号化装置について、 以下にその動作を説明す る。 参照画像信号 1 2 1 0は、 第 2切替え部 1 2 0 5によりモード情報 8 2 6 に従ってフィールド動き補償部 1 2 0 1またはフレーム動き補償部 1 2 0 2の いずれかに入力される。
動きべクトル信号 8 2 9は、 第 1切替え部 1 2 0 4によりモード情報 8 2 6 に従ってフィールド動き補償部 1 2 0 1またはフレーム動き補償部 1 2 0 2の いずれかに入力される。
フィールド動き補償部 1 2 0 1は、 参照画像信号 1 2 1 0及び動きべクトル 信号 8 2 9を用いてフィールド毎に動き補償を行い、 フィールド予測画像信号 8 2 4を出力する。
フレーム動き補償部 1 2 0 2は、 参照画像信号 1 2 1 0及び動きべクトル信 号 8 2 9を用いてフレーム構造のまま動き補償を行いフレーム予測画像信号 8 2 5を出力する。
第 3切替え部 1 2 0 6では、 モード情報 8 2 6に従ってフィ一ルド予測画像 信号 8 2 4またはフレーム予測画像信号 8 2 5のいずれかを選択し、 復号化部 1 2 0 3へ入力する。
復号化部 1 2 0 3では、 モード情報 8 2 6および予測画像信号を用いて符号 化画像信号 8 2 7を復号化し、 二値ディジタル復号化画像信号 1 2 1 1を出力 する。 メモリ 1 2 0 7は、 復号化画像信号 1 2 1 1を保持し参照画像信号 1 2 1 0を出力する。
上記により説明した本実施の形態によれば、 イン夕レース構造を考慮した動 き補償を行いその残差を符号化した符号化画像信号に対して、 モード情報 8 2 6及び第 1、 第 2、 第 3切り替え部 1 2 0 4, 1 2 0 5 , 1 2 0 6を用いるこ とによって正しくインタレース構造を持つ二値ディジ夕ル画像を復号化するこ とができる。
なお、 本実施の形態では、 3つの切り替え部 1 2 0 4, 1 2 0 5, 1 2 0 6 を用いているが、 第 1、 第 2切替え部または第 3切替え部のいずれか一方のみ を使用しても同一の効果を得ることができる。
(第 1 0の実施の形態)
図 2 3は、 本発明の第 1 0の実施の形態にかかる画像符号化装置のブロック 図である。 この画像符号化装置は、 カラー画像の符号化に対応するためのカラ —画像フィールド符号化部 1 3 0 1及びカラ一画像フレーム符号化部 1 3 0 2 と、 二値画像の符号化に対応するための二値画像フィールド符号化部 1 3 0 4 及び二値画像フレーム符号化部 1 3 0 5とからなる 4つの処理ブロックと、 力 ラ一画像信号からフィールド単位で符号化するかフレーム単位で符号化するか をブロック毎に判定するモード判定部 1 3 0 6とを備えている。
カラー画像フィールド符号化部 1 3 0 1及びカラー画像フレーム符号化部 1 3 0 2の入力側には、 カラ一プロック画像の入力先を切替える第 1切替え部 1 3 0 7が配置されるとともに、 判定モードに対応する符号化部へモード情報 1 3 3 3を入力するための第 2切替え部 1 3 0 8が配置される。 また、 二値画像 フィールド符号化部 1 3 0 4及び二値画像フレーム符号化部 1 3 0 5の入力側 には、 二値ブロック画像の先を切り替えるための第 3切替え部 1 3 0 9が配置 されている。
一方、 カラー画像フィールド符号化部 1 3 0 1及びカラ一画像フレーム符号 化部 1 3 0 2の出力側には、 外部へ出力する符号化画像信号を両符号化部間で 切替えるための第 4切替え部 1 3 1 0が配置される。 二値画像フィールド符号 化部 1 3 0 4及び二値画像フレーム符号化部 1 3 0 5の出力側には、 外部へ出 力する符号化画像信号を両符号化部間で切替えるための第 5切替え部 1 3 1 1 が配置される。
カラ一画像フィールド符号化部 1 3 0 1はカラーブロック画像をフィールド 単位で符号化する処理機能であり、 カラー画像フレーム符号化部 1 3 0 2は力 ラーブロック画像をフレーム単位で符号化する処理機能である。 また、 二値画 像フィールド符号化部 1 3 0 4は二値プロック画像をフィールド単位で符号化 する処理機能であり、 二値画像フレーム符号化部 1 3 0 5は二値ブロック画像 をフレーム単位で符号化する処理機能である。
以上のように構成された画像符号化装置について、 以下にその動作を説明す る。 カラーディジタル画像は、 図中に示されていないブロック分割部によって 複数の画素から構成された 2次元ブロックに分割されカラ一ブロック画像 1 3 2 1としてモード判定部 1 3 0 6および第 1切替え部 1 3 0 7に入力される。 モード判定部 1 3 0 6は、 入力されたカラ一ブロック画像 1 3 2 1から画素 値の分散や相関などを用いてフィールド単位符号化またはフレーム単位符号化 のいずれかを選択する。 選択した符号化モードをモード情報 1 3 3 3として出 力する。
第 1切替え部 1 3 0 7は、 モード情報 1 3 3 3に従ってカラ一ブロック画像 1 3 2 1をカラ一画像フィールド符号化部 1 3 0 1またはカラ一画像フレーム 符号化部 1 3 0 2のいずれかに入力する。
その一方で、 第 2切替え部 1 3 0 8は、 モード情報 1 3 3 3に従ってモード 情報 1 3 3 3をカラ一画像フィ一ルド符号化部 1 3 0 1または力ラ一画像フレ —ム符号化部 1 3 0 2のいずれかに入力する。
力ラ一画像フィールド符号化部 1 3 0 1では、 まずモード情報 1 3 3 3を符 号化し、 次にカラーブロック画像信号 1 3 2 1をフィールド毎に符号化し出力 する。
カラ一画像フレーム符号化部 1 3 0 2では、 まずモ一ド情報 1 3 3 3を符号 化し、 次にカラ一ブロック画像信号 1 3 2 1をフレーム構造のまま符号化し出 力する。
第 4切替え部 1 3 1 0では、 モード情報 1 3 3 3に従ってカラー画像フィ一 ルド符号化部 1 3 0 1の出力またはカラー画像フレーム符号化部 1 3 0 2の出 力を選択し、 符号化カラー画像信号 1 3 3 4として出力する。
また、 第 3切替え部 1 3 0 9は、 モード情報 1 3 3 3に従って図中に示され ていないプロック分割部によって複数の画素から構成された 2次元プロックに 分割された二値ブロック画像 1 3 2 2をニ値フィ一ルド符号化部 1 3 0 4また は二値フレーム符号化部 1 3 0 5のいずれかに入力する。
二値画像フィ一ルド符号化部 1 3 0 4は、 二値プロック画像 1 3 2 2をフィ 一ルド毎に符号化し出力する。 二値画像フレーム符号化部 1 3 0 5は、 ニ値ブ ロック画像 1 3 2 2をフレーム構造のまま符号化し出力する。
第 5切替え部 1 3 1 1は、 モード情報 1 3 3 3に従つて二値画像フィ一ルド 符号化部 1 3 0 4の出力または二値画像フレーム符号化部 1 3 0 5の出力を選 択し符号化二値画像信号 1 3 3 5として出力する。
上記により説明した本実施の形態によれば、 インタレース構造を持つカラ一 ディジタル画像信号および二値ディジタル画像信号に対して、 カラーディジ夕 ル画像のモード情報に従って二値ディジタル画像の符号化を行うことにより二 値ディジタル画像のモード情報を符号化する必要がなく符号化効率の向上が達 成できる。
なお、 本実施の形態では、 第 1〜第 3切替え部 1 3 0 7 , 1 3 0 8, 1 3 0 9と第 4、 第 5切替え部 1 3 1 0、 1 3 1 1を用いているが、 符号化部の入力 側又は出力側の一方のみを使用しても同一の効果を得ることができる。
(第 1 1の実施の形態)
図 2 4は、 本発明の第 1 1の実施の形態にかかる画像復号化装置のブロック 図である。 同図において、 図 2 3に示す第 1 0の実施の形態と同一信号につい ては同一の番号を付し説明を省略する。
この画像復号化装置は、 符号化カラー画像信号 1 3 3 4から符号化モード情 報を復号化するモード復号化判定部 1 4 0 1、 符号化カラー画像信号からフィ ールド単位で力ラーブ口ック画像を復号化するカラー画像フィールド復号化部 1 4 0 2、 符号化カラー画像信号 1 3 3 4からフレーム構造のままカラ一ブロ ック画像を復号化するカラ一画像フレーム複号化部 1 4 0 3、 符号化二値画像 信号 1 3 3 5からフィールド単位で二値ブロック画像を復号化する二値画像フ ィールド復号化部 1 4 0 4、 符号化二値画像信号 1 3 3 5からフレーム単位で 二値プロック画像を復号化する二値画像フレーム復号化部 1 4 0 5を備える。 カラー画像フィールド復号化部 1 4 0 2及びカラ一画像フレーム復号化部 1 4 0 3の入力側には第 1切替え部 1 4 0 6が配置され、 二値画像フィールド復 号化部 1 4 0 4及び二値画像フレーム復号化部 1 4 0 5の入力側には第 2切替 え部 1 4 0 7が配置されている。 また、 カラー画像フィールド復号化部 1 4 0 2及びカラ一画像フレーム復号化部 1 4 0 3の出力側には第 3切替え部 1 4 0 8が配置され、 二値画像フィ一ルド復号化部 1 4 0 4及び二値画像フレーム復 号化部 1 4 0 5の出力側には第 4切替え部 1 4 0 9が配置されている。
以上のように構成された画像復号化装置について、 以下にその動作を説明す る。 モード復号化部判定部 1 4 0 1は、 符号化カラー画像信号 1 3 3 4から力 ラ一画像のモード情報 1 4 1 0を復号化する。
第 1切替え部 1 4 0 6は、 モ一ド情報 1 4 1 0に従って符号化力ラー画像信 号 1 3 3 4をカラー画像フィールド復号化部 1 4 0 2またはカラ一画像フレー ム復号化部 1 4 0 3のいずれかに入力する。
力ラー画像フィ一ルド復号化部 1 4 0 2は、 符号化力ラー画像信号 1 3 3 4 からフィールド単位でカラ一プロック画像を復号化する。 カラ一画像フレ一ム 復号化部 1 4 0 3は、 符号化力ラー画像信号 1 3 3 4からフレーム構造のまま カラーブロック画像を復号化する。
第 3切替え部 1 4 0 8は、 モード情報 1 4 1 0に従ってカラー画像フィ一ル ド符号化部 1 4 0 2の出力またはカラー画像フレーム符号化部 1 4 0 3の出力 のいずれかを選択し、 復号化されたカラーブロック画像 1 4 1 1として出力す る。 第 2切替え部 1 4 0 7では、 カラ一画像のモード情報 1 4 1 0に従って二 値符号化画像信号 1 3 3 5を二値画像フィールド復号化部 1 4 0 4または二値 画像フレーム復号化部 1 4 0 5のいずれかに入力する。
二値画像フィールド復号化部 1 4 0 4では、 符号化二値画像信号 1 3 3 5か らフィールド単位で二値プロック画像を復号化する。 二値画像フレーム復号化 部 1 4 0 5では、 符号化二値画像信号 1 3 3 5からフレーム構造のままニ値ブ ロック画像を復号化する。
第 4切替え部 1 4 0 9では、 モード情報 1 4 1 0に従って二値画像フィ一ル ド復号化部 1 4 0 4の出力または二値画像フレーム復号化部 1 4 0 5のいずれ 力、を選択し復号化された二値ブロック画像 1 4 1 2として出力する。
上記により説明した本実施の形態によれば、 ィンタレース構造を持つ力ラ一 ディジタル画像および二値ディジ夕ル画像の符号化画像信号に対して、 力ラー 画像、 二値画像ともにモード復号化判定部 1 4 0 1で復号化されたカラー画像 のモード情報に従つて復号化することにより、 二値画像のモード情報を用いる ことなく正しく復号化することができる。
なお、 本実施の形態では第 1、 第 2切替え部 1 4 0 6 , 1 4 0 7と第 3、 第 4切替え部 1 4 0 8、 1 4 0 9を用いているが、 いずれか一方のみを使用して も同一の効果を得ることができる。
(第 1 2の実施の形態)
図 2 5は、 本発明の第 1 2の実施の形態にかかる画像符号化装置のブロック 図である。 上記第 1 0の実施の形態ではカラ一ブロック画像信号 1 3 2 1から フィールド単位で符号化するかフレーム単位で符号化するか決定しているが、 本実施の形態では二値画像信号 1 3 2 2からフィールド単位で符号化するかフ レーム単位で符号化するかを決定するようにしている。 図 2 5において、 図 2 3に示す第 1 0の実施の形態と同一機能を有するプロック及び同じ信号につい て同一番号を付し説明を省略する。
以上のように構成された画像符号化装置について、 以下にその動作を説明す る。 二値ディジタル入力画像信号は、 図中に示されていないブロック分割部に よって複数の画素から構成された 2次元プロックに分割され、 二値プロック画 像 1 3 2 2としてモード判定部 1 3 0 6 ' および第 1切替え部 1 3 0 7に入力 される。
モード判定部 1 3 0 6 ' は、 入力された二値プロック画像 1 3 2 2から画素 値の分散や相関などを用いてフィールド単位符号化またはフレーム単位符号化 のいずれかを判定し、 モード情報 1 8 0 0として出力する。
第 1切替え部 1 3 0 7は、 モード情報 1 8 0 0に従って二値ブロック画像 1 3 2 2を二値画像フィールド符号化部 1 3 0 4 ' または二値画像フレーム符号 化部 1 3 0 5 ' のいずれかに入力する。 第 2切替え部 1 3 0 8は、 モード情報 1 8 0 0に従ってモード情報 1 8 0 0を二値画像フィールド符号化部 1 3 0 4 ' または二値画像フレーム符号化部 1 3 0 5 ' のいずれかに入力する。 二値画像フィールド符号化部 1 3 0 4 ' は、 まずモード情報 1 8 0 0を符号 化し、 次に二値ブロック画像 1 3 2 2をフィールド毎に符号化し出力する。 二 値画像フレーム符号化部 1 3 0 5 ' は、 まずモード情報 1 8 0 0を符号化し、 次に二値ブロック画像 1 3 2 2をフレーム構造のまま符号化し出力する。 第 4切替え部 1 3 1 0では、 モード情報 1 8 0 0に従って二値画像フィール ド符号化部 1 3 0 4 ' の出力または二値画像フレーム符号化部 1 3 0 5 ' の出 力を選択し、 符号化二値画像信号 1 8 0 1として出力する。 第 3切替え部 1 3 0 9は、 モード情報 1 8 0 0に従って図中に示されていないブロック分割部に よって、 複数の画素から構成された 2次元プロックに分割された力ラーブ口ッ ク画像 1 3 2 1をカラーフィールド符号化部 1 3 0 1 ' またはカラー画像フレ —ム符号化部 1 3 0 2 ' のいずれかに入力する。
力ラ一画像フィ一ルド符号化部 1 3 0 1 ' にカラ一プロック画像 1 3 2 1が 入力された場合は、 カラ一ブロック画像 1 3 2 1をフィールド毎に符号化し出 力する。 カラ一画像フレーム符号化部 1 3 0 2 ' はカラ一ブロック画像 1 3 2 1が入力された場合は、 カラーブロック画像 1 3 2 1をフレーム構造のまま符 号化し出力する。
第 5切替え部 1 3 1 1は、 モ一ド情報 1 8 0 0に従ってカラ一画像フィ一ル ド符号化部 1 3 0 1 ' の出力またはカラ一画像フレーム符号化部 1 3 0 2 ' の 出力を選択し符号化カラ一画像信号 1 8 0 2として出力する。
上記により説明した本実施の形態によれば、 イン夕レース構造を持つカラー ディジタル画像信号および二値ディジタル画像信号に対して、 二値ディジ夕ル 画像のモード情報に従ってカラーディジ夕ル画像の符号化を行うことにより力 ラーディジ夕ル画像のモ一ド情報を符号化する必要がなく符号化効率の向上が 達成できる。
(第 1 3の実施の形態) 図 2 6は、 本発明の第 1 3の実施の形態にかかる画像復号化装置のプロック 図である。 上記第 1 2の実施の形態で符号化された符号化画像信号の復号化装 置の例であり、 図 2 5に示す第 1 2の実施の形態の信号と同一信号、 および図 2 4に示す実施の形態 1 1の各部と同一機能の部分には同一符号を付している。 同図において、 モード復号化判定部 1 4 0 1 ' は符号化二値画像信号からモ 一ド情報 1 8 0 0を復号化する部分である。
以上のように構成された画像復号化装置について、 以下にその動作を説明す る。 モード復号化判定部 1 4 0 1 ' は、 符号化二値画像信号 1 8 0 1から二値 画像のモ一ド情報 1 8 0 0を復号化する。
第 1切替え部 1 4 0 6は、 モード情報 1 8 0 0に従って符号化二値画像信号 1 8 0 1を二値画像フィールド復号化部 1 4 0 4または二値画像フレーム復号 化部 1 4 0 5のいずれかに入力する。
二値画像フィ一ルド復号化部 1 4 0 4に符号化二値画像信号 1 8 0 1が入力 された場合は、 符号化二値画像信号 1 8 0 1からフィールド単位で二値ブロッ ク画像を復号化する。 また、 二値画像フレーム復号化部 1 4 0 5に符号化二値 画像信号 1 8 0 1からフレーム構造のまま二値ブロック画像を復号化する。 第 3切替え部 1 4 0 8は、 モード情報 1 8 0 0に従つて二値画像フィ一ルド 符号化部 1 4 0 4の出力または二値画像フレーム符号化部 1 4 0 5の出力のい ずれかを選択し復号化された二値ブロック画像 1 4 1 2として出力する。
第 2切替え部 1 4 0 7は、 二値画像のモード情報 1 8 0 0に従って符号化力 ラー画像信号 1 8 0 2をカラー画像フィールド復号化部 1 4 0 2またはカラー 画像フレーム復号化部 1 4 0 3のいずれかに入力する。
力ラー画像フィ一ルド復号化部 1 4 0 2では、 符号化力ラー画像信号 1 8 0 2が入力された場合、 符号化カラ一画像信号 1 8 0 2からフィールド単位で力 ラーブ口ック画像を復号化する。 また力ラ一画像フレーム復号化部 1 4 0 3で は、 符号化カラー画像信号 1 8 0 2が入力された場合、 符号化カラー画像信号 1 8 0 2からフレーム構造のままカラ一ブロック画像を復号化する。
第 4切替え部 1 4 0 9では、 モード情報 1 8 0 0に従ってカラー画像フィ一 ルド復号化部 1 4 0 2の出力またはカラー画像フレーム復号化部 1 4 0 3のい ずれかを選択し、 復号化されたカラ一ブロック画像 1 4 1 1として出力する。 上記により説明した本実施の形態によれば、 イン夕レース構造を持つカラ一 ディジ夕ル画像および二値ディジ夕ル画像の符号化画像信号に対して、 カラー 画像、 二値画像ともにモード復号化判定部 1 4 0 1, で復号化された二値画像 のモード情報に従って復号化することにより、 カラー画像のモード情報を用い ることなく正しく復号化することができる。
(第 1 4の実施の形態)
図 2 0は本発明の第 1 4の実施の形態にかかる画像符号化装置のプロック図 である。 この画像符号化装置は、 入力画像が保存されるメモリ 1 9 0 0、 フィ ールド単位で着目画素の周辺画素の画素値の分布状態を調べるフィ一ルド画素 値分布調査部 1 9 0 1、 フレーム単位で着目画素の周辺画素の画素値の分布状 態を調べるフレーム画素値分布調査部 1 9 0 2、 図 2 8の確率分布表を用いて 周辺画素値の分布状態に応じて着目画素の画素値の確率を決定する確率分布決 定部 1 9 0 3、 1 9 0 5、 決定した確率分布に応じて着目画素の画素値を算術 符号化する算術符号化部 1 9 0 4, 1 9 0 6、 フィールド単位で符号化された 符号化信号とフレーム単位で符号化された符号化信号を比較しフィールド フ レームモードを判定し、 モード情報を出力するモード判定部 1 9 0 7、 モード 情報に応じて算術符号化部 1 9 0 4, 1 9 0 6間で出力信号を切替える切替え 部 1 9 0 8を備えている。
以上のように構成された画像符号化装置について、 以下にその動作を説明す る。 図中に示されていないブロック分割部によって複数の画素から構成された 2次元ブロックに分割された二値ディジタル画像 1 9 1 0が入力され、 まずメ モリ 1 9 0 0に保持される。
フィールド画素値分布調査部 1 9 0 1およびフレーム画素値分布調査部 1 9 0 2は、 符号化対象画素の周辺の画素値をメモリ 1 9 0 0から読み出し画素値 の分布状態を検出する。
図 2 9 Aおよび図 2 9 Bは 8 X 8画素に分割されたブロックを示し、 画素位 置 Aの画素が符号化対象画素である。 また黒くハッチングされた画素は符号化 済みの画素を示す。 フィールド画素値分布調査部 1 9 0 1では図 2 9 Aに示し た画素位置 B、 C、 Dの画素値を符号化対象画素 Aの周辺画素値として出力す る。 また、 フレーム画素値分布調査部 1 9 0 2では図 2 9 Bに示した画素位置 B、 C、 Dの画素値を符号化対象画素 Aの周辺画素値として出力する。
フィールド画像を対象とする確率分布決定部 1 9 0 3では、 フィールド画素 値分布調査部 1 9 0 1で決定した周辺画素値の分布状態より、 符号化対象画素 の画素値の確率分布を決定するる。 例えば (B, C, D) が (黒, 白, 黒)であ つた場合、 図 2 8の確率分布表より符号化対象画素 Aが黒である確率は 0 . 7 5、 白である確率は 0 . 2 5とする。 算術符号化部 1 9 0 4では、 確率分布決 定部 1 9 0 3によって決定した確率分布に基づいて注目画素 Aの画素値を算術 符号化し、 符号化画像信号を出力する。
一方で、 フレーム画像を対象とする確率分布決定部 1 9 0 5では、 フレーム 画素値分布調査部 1 9 0 2で決定した周辺画素値の分布状態より、 符号化対象 画素の画素値の確率分布を決定するる。 例えば (B, C , D) が (黒, 黒, 黒) であった場合、図 2 8の確率分布表より符号化対象画素 Aが黒である確率は 0 . 9 5 5、 白である確率は 0 . 0 5とする。 算術符号化部 1 9 0 6では、 確率分 布決定部 1 9 0 5によって決定した確率分布に基づいて注目画素 Aの画素値を 算術符号化し、 符号化画像信号を出力する。 モード判定部 1 9 0 7では、 フィ一ルド単位で画素値の分布状態を調査した 確率分布に基づいて得られた符号化画像信号と、 フレーム単位で画素値の分布 状態を調査した確率分布に基づいて選られた符号化画像信号とを一ブロック毎 に比較し、 符号長の短い方を選択することによってフィールド フレームモ一 ドを判定し、 モード情報 1 9 1 5として出力する。
切替え部 1 9 0 8では、 モード情報 1 9 1 5に従ってフィールド単位符号化 画像信号またはフレーム単位符号化画像信号のいずれかを選択し符号化画像信 号 1 9 1 6として出力する。
上記により説明した本実施の形態によれば、 インターレース構造を持つ二値 ディジ夕ル画像を、 周辺画素値の分布状態に応じて符号化対象画素の画素値の 確率分布を決定し算術符号化するする際に、 フィールド単位で確率分布を決定 する手法とフレーム単位で確率分布を決定する手法のいずれか効率の良い方を モード判定部によってブロック毎に判定し切替えることによつて符号化効率の 向上を達成することができる。
なお、 本実施の形態では 8 X 8画素のブロックを示したが任意の m X n画素 から構成されたブロックについて同様に実施することができる。
また、 図 2 9では符号化対象画素の周辺画素として B、 C、 Dの 3画素を用 いたがさらに多くの画素を用いることも可能である。
(第 1 5の実施の形態)
図 3 0は、 本発明の第 1 5の実施の形態にかかる画像復号化装置のプロック 図である。 同図において、 図 2 7に示す第 1 4の実施の形態と同一信号につい ては同じ番号を付し説明を省略する。
この画像符号化装置は、 既に復号化済みの画素の画素値デ一夕についてフィ ールド単位で注目画素の周辺画素の分布状態を調査するフィールド画素値分布 調査部 2 0 0 1、 復号化済みの画素の画素値データについてフレーム単位で注 目画素の周辺画素の分布状態を調查するフレーム画素値分布調査部 2 0 0 2、 注目画素の周辺画素の分布状態に対応した確率分布を決定する確率分布決定部 2 0 0 3、 復号化対象の符号化画像信号を算術復号化する算術復号化部 2 0 0 4を備えている。 また、 算術復号化部 2 0 0 4で復号した画像を記憶するメモ リ 2 0 0 5と、 メモリ 2 0 0 5に記憶した画像をフィ一ルド画素値分布調査部 2 0 0 1又はフレーム画素値分布調査部 2 0 0 2のいずれかに選択的に入力す る第 1切替え部 2 0 0 6と、 確率分布決定部 2 0 0 3に入力する周辺画素の分 布状態を切替える第 2切替え部 2 0 0 7とを備えている。
以上のように構成された画像復号化装置について、 以下にその動作を説明す る。 第 1切替え部 2 0 0 6では、 モード情報 1 9 1 5に従ってメモリ 2 0 0 5 内に保持されている既に復号化済みの画素の画素値デ一夕をフィールド画素値 分布調査部 2 0 0 1またはフレーム画素値分布調査部 2 0 0 2に入力する。 フィ一ルド画素値分布調査部 2 0 0 1では、 図 2 9 Aに例示する復号化対象 ブロックにおいて、 画素位置 Aが復号化対象画素であるとすると、 黒くハッチ ングされた画素は既に復号化済みであり、 画素位置 B、 C、 Dの画素値を復号 化対象画素 Aの周辺画素値として出力し、 また、 フレーム画素値分布調査部 2 0 0 2では、 図 2 9 Bに例示した復号化対象ブロックにおいて、 同様に復号化 対象画素 Aの周辺の周辺画素値として画素位置 B、 C、 Dの画素値を出力する。 第 2切替え部 2 0 0 7では、 モード情報 1 9 1 5に従ってフィールド単位で の画素値の分布状態、 または、 フレーム単位での画素値の分布状態のいずれか を確率分布決定部 2 0 0 3に入力する。
確率分布決定部 2 0 0 3では、 フィールド画素値分布調査部 2 0 0 1または フレーム画素値分布調査部 2 0 0 2で決定した周辺画素値の分布状態より、 符 号化対象画素の画素値の確率分布を決定する。 符号化の場合と同様に、 (B, C , D ) が (黒, 白, 黒)であった場合、 図 2 8の確率分布表により符号化対象 画素 Aが黒である確率は 0 . 7 5、 白である確率は 0 . 2 5となる。
算術復号化部 2 0 0 4では、 確率分布決定部 2 0 0 3によって決定した確率 分布に基づいて画素値を算術復号化により復号化し、 復号化画像信号 2 0 0 8 として出力する。 また出力された復号化画像信号はメモリ 2 0 0 5に入力され 保持される。
上記により説明した本実施の形態によれば、 二値ディジタル画像の画素値を 算術復号化を用いて復号化する画像復号化装置において、 復号化対象画素の画 素値の確率分布を、 復号化対象画素の周辺画素の画素値の分布状態に応じて決 定する際に、 モ一ド情報 1 9 1 5および第、 第 2切替え部 2 0 0 6、 2 0 0 7 を用いることによって、 インターレース構造を持つ画像においても正しく復号 化することができる。
なお、 図 2 9 A、 図 2 9 Bでは符号化対象画素の周辺画素として B、 C、 D の 3画素を用いたがさらに多くの画素を用いることも可能である。
(第 1 6の実施の形態)
図 3 1は本発明の第 1 6の実施の形態にかかる画像符号化装置のブロック図 である。 同図において、 図 1 8に示す第 8の実施の形態、 図 2 7に示す第 1 4 の実施の形態と同一のブロックおよび信号については同じ番号を付し説明を省 略する。
ブロック 2 3 0 1は図 1 8のフィールド動き推定部 8 0 1、 フィールド動き 補償部 8 0 3で構成され、 ブロック 2 3 0 2は図 1 8のフレーム動き推定部 8 0 2、 フレーム動き補償部 8 0 4で構成される。 フィールド動き推定部 8 0 1 及びフレーム動き推定部 8 0 2の出力する動きベクトル 8 2 9は切替え部 8 2 6を介して伝送される。
また、 ブロック 2 3 0 3は図 2 7のフィ一ルド画素値分布調査部 1 9 0 1、 確率分布決定部 1 9 0 3及び算術符号化部 1 9 0 4からなり、 ブロック 2 3 0 4はフレーム画素値分布調査部 1 9 0 2、 確率分布決定部 1 9 0 5及び算術符 号化部 1 9 0 6からなる。 図 3 2にブロック 2 3 0 3及びブロック 2 3 0 4に 関する部分の機能ブロックを示している。
モード判定部 2 3 0 5は、 ブロック 2 3 0 3および 2 3 0 4の出力するフィ ールド予測画像及びフレーム予測画像の符号化画像信号を比較して符号語長の 短いモードを選択してモード情報 2 3 2 1とする。
また、 ブロック 2 3 0 3および 2 3 0 4の出力側にブロック 2 3 0 3および 2 3 0 4の出力する符号化画像信号を選択的に切替える第 2切替え部 2 3 0 6 が配置されている。
フィールドモードで算術符号化された符号化画像信号を復号化するフィ一ル ド算術復号化部 2 3 0 7と、 フレームモードで算術符号化された符号化画像信 号を復号化するフレーム算術復号化部 2 3 0 8とを備えている。 フィールド算 術復号化部 2 3 0 7及びフレーム算術復号化部 2 3 0 8に対する入出力の切替 えは前後段に配置した第 3、 第 4切替え部 2 3 0 9、 2 3 1 0で判定モードに 同期して行う。
以上のように構成された画像符号化装置について、 以下にその動作を説明す る。 フィールド動き推定 Z補償部 2 3 0 1によって既に符号化済みの画像から 動き補償予測されて得られた動き補償予測画像はフィ一ルド画素値分布調査部 1 9 0 1、 およびフレーム画素値分布調査部 1 9 0 2に入力される。
フィールド画素値分布調査部 1 9 0 1およびフレーム画素値分布調査部 1 9 0 2では、 動き補償予測画像信号 8 2 4 ( 8 2 5 ) における符号化対象画素と 同じ位置およびその周辺の画素の画素値を調査する。
図 3 3および図 3 4は 8 X 8画素に分割されたブロックを示し、 図 3 3 Aお よび図 3 4 Aは動き補償予測されたプロック、 図 3 3 Bおよび図 3 4 Bは符号 化対象ブロックを示す。 フィ一ルド画素値分布調査部 1 9 0 1では、 符号化対象画素が図 3 3 Bに示 される画素 Aであるとすると、 動き補償予測プロック内で画素 Aと同じ位置に ある図 3 3 Aの画素 Bおよびフィールド単位でその周辺画素となる Cおよび D の画素値を符号化対象画素 Aの周辺画素値の分布状態として出力する。
フレーム画素値分布調査部 1 9 0 2では、 符号化対象画素が図 3 4 Bに示さ れる画素 Aであるとすると、 動き補償予測プロック内で画素 Aと同じ位置にあ る図 3 4 Aの画素 Bおよびフレーム単位でその周辺画素となる Cおよび Dの画 素値を符号化対象画素 Aの周辺画素値の分布状態として出力する。
確率分布決定部 1 9 0 3、 1 9 0 5では、 フィ一ルド画素値分布調査部 1 9 0 1およびフレーム画素値分布調査部 1 9 0 2で決定した周辺画素値の分布状 態より、 符号化対象画素の画素値の確率分布を決定する。 すなわち、 (B, C , D) が (黒, 白、 黒) であった場合、 図 3 5に示す確率分布表より符号化対象 画素 Aの画素値が黒である確率は 0 . 7 5、 白である確率は 0 . 2 5となる。 画素値符号化手段 1 9 0 4、 1 9 0 6では、 確率分布決定部 1 9 0 3, 1 9 0 5によって決定した確率分布に基づいて画素値を算術符号化し、 符号化画像 信号を出力する。
モード判定部 2 3 0 5では、 フィールド単位で画素値の分布状態を調査した 確率分布に基づいて得られた符号化画像信号と、 フレーム単位で画素値の分布 状態を調査した確率分布に基づいて選られた符号化画像信号とを一ブロック毎 に比較し、 符号長の短い方を判定することによってフィールド フレームモ一 ドを決定し、 モード情報 2 3 2 1として出力する。
第 2切替え部 2 3 0 6では、 モード情報 2 3 2 1に従ってフィールド単位符 号化画像信号またはフレーム単位符号化画像信号のいずれかを選択し符号化画 像信号 2 3 2 0として出力する。
上記により説明した本実施の形態によれば、 インターレース構造を持つ二値 画像を、 動き補償予測画像の画素値の分布状態に応じて符号化対象 画素の画素値の確率分布を決定し算術符号化するする際に、 フィールド単位で 確率分布を決定する手法とフレーム単位で確率分布を決定する手法のいずれか 効率の良い方をモード判定部 2 3 0 5によってブロック毎に判定し切替えるこ とによって符号化効率の向上を達成することができる。
(第 1 7の実施の形態)
図 3 6は、 本発明の第 1 7の実施の形態にかかる画像復号化装置のプロック 図である。 同図において、 図 2 2に示す第 9の実施の形態、 図 3 1に示す第 1 6の実施の形態と同一のプロックおよび信号については同じ番号を付し説明を 省略する。
この画像復号化装置は、 復号化した参照画像と受信した動きべクトル等から 動き補償予測画像を生成するフィールド Zフレーム動き補償部 2 5 0 0を備え ている。 フィールド フレーム動き補償部 2 5 0 0は、 図 2 2に示すようにフ ィ一ルド動き補償部 1 2 0 1、 フレーム動き補償部 1 2 0 2、 フィールドモー ド Zフレームモードを切替える複数の切替え部 1 2 0 4、 1 2 0 5、 1 2 0 6、 復号化画像を参照画像として保存するメモリ 1 2 0 7等から構成される。
また、 この画像復号化装置は、 フィールド単位で動き補償予測画像から注目 画素の周辺画素の画素状態を検出するフィールド画素値分布調査部 2 5 0 1、 フレーム単位で動き補償予測画像から注目画素の周辺画素の画素状態を検出す るフレーム画素値分布調査部 2 5 0 2を備える。
さらに、 フィールド画素値分布調査部 2 5 0 1、 フレーム画素値分布調査部 2 5 0 2の出力する分布状態から注目画素に対応する確率を決定する確率分布 決定部 2 5 0 3、 決定した確率に基づいて算術復号化する算術復号化部 2 5 0 4を有する。
以上のように構成された画像復号化装置について、 以下にその動作を説明す る。 第 1切替え部 2 5 0 5では、 モード情報 2 3 2 1に従って、 プロック 2 5 0 0によつて得られた動き補償予測画像信号をフィールド画素値分布調査部 2 5 0 1またはフレーム画素値分布調査部 2 5 0 2に入力する。
フィールド画素値分布調査部 2 5 0 1では、 図 3 3 Bに例示した 8 X 8画素 からなる復号化対象プロックにおいて画素 Aが復号化対象画素であるとすると、 図 3 3 Aに例示した動き補償予測ブロックにおいて画素 Aと同じ位置の画素 B、 およびフィールド単位で画素 Bの周辺画素である画素 Cおよび Dの画素値を復 号化対象画素 Aの周辺画素値として出力し、 また、 フレーム画素値分布調査部 2 5 0 2では図 3 4 Bに例示した 8 X 8画素からなる復号化対象ブロックにお いて画素 Aが復号化対象画素であるとすると、 図 3 4 Aに例示した動き補償予 測ブロックにおいて画素 Aと同じ位置の画素 B、 およびフレーム単位で画素 B の周辺画素である画素 Cおよび Dの画素値を復号化対象画素 Aの周辺画素値と して出力する。
出力側に配置された第 2切替え部 2 5 0 6では、 モード情報 2 3 2 1に従つ てフィ一ルド単位での画素値の分布状態、 またはフレーム単位での画素値の分 布状態のいずれかを確率分布決定部 2 5 0 3に入力する。
確率分布決定部 2 5 0 3では、 フィールド画素値分布調査部 2 5 0 1または フレーム画素値分布調査部 2 5 0 2で決定した周辺画素値の分布状態より、 符 号化対象画素の画素値の確率分布を決定する。 すなわち、 (B , C , D ) が(黒, 白,黒)であった場合、図 3 5に示す確率分布表により符号化対象画素 Aが黒で ある確率は 0 . 7 5、 白である確率は 0 . 2 5となる。
算術復号化部 2 5 0 4では、 確率分布決定部 2 5 0 3によって決定した確率 分布に基づいて画素値を算術復号化により復号化し、 復号化画像信号 2 5 1 0 として出力する。
上記により説明した本実施の形態によれば、 二値ディジ夕ル画像の画素値を 算術復号化を用いて復号化する画像復号化装置において、 復号化対象画素の画 素値の確率分布を、 動き補償予測画像の画素値の分布状態に応じて決定する際 に、 モード情報 2 3 2 1および第 1、 第 2切替え部 2 5 0 5 , 2 5 0 6を用い ることによって、 インターレース構造を持つ画像においても正しく復号化する ことができる。
(第 1 8の実施の形態)
本発明は、 第 1の実施の形態から第 1 7の実施の形態に示した機能ブロック の処理内容をプログラムによってソフト的に実現し、 これをフロッピ一デイス ク等の記録媒体に記録して移送することにより、 独立した他のコンピュー夕シ ステムで容易に実施することができる。 図 3 7に、 記録媒体の例としてフロッ ピ一ディスクを示す。
なお、 この実施の形態においては、 記録媒体としてフロッピ一ディスクを示 したが、 I Cカードや C D _ R OM、 磁気テープ等プログラムを記録できるも のであれば、 同様に実施することができる。
なお、 上述した画像符号化装置の機能と画像復号化装置の機能とを併せ持つ 画像符号化 Z復号化装置を構成することもできる。
産業上の利用可能性
以上のように、 本発明にかかる画像符号化装置及び画像復号化装置は、 イン 夕レース構造を持つディジ夕ル画像をプロック分割しプロック毎に符号化/復 号化するのに有用であり、 プロック毎にフィ一ルド構造またはフレーム構造を 考慮し符号化効率の良いモードを選択することにより符号化効率の改善を図る のに適している。

Claims

請 求 の 範 囲
1 . 二値ディジ夕ル画像を分割した画素ブロックをフィールド単位で処理する フィールド単位処理手段と、
前記二値ディジタル画像を分割した画素プロックをフレーム単位で処理す るフレーム単位処理手段と、
前記画素ブロックをフィールド単位で処理すべきかフレーム単位で処理す べきかをプロック単位で判定するモ一ド判定手段と、
前記モード判定手段の判定結果を示すモード情報に応じて前記フィールド 単位処理手段及び前記フレーム単位処理手段に対する入力又は出力を切替える 切替え手段と、 を具備する画像符号化装置。
2 . 請求項 1記載の画像符号化装置において、
前記フィ一ルド単位処理手段は、 前記画素プロックをフィールド単位で符 号化処理し、
前記フレーム単位処理手段は、 前記画素プロックをフレーム単位で符号化 処理する、 ことを特徴とする画像符号化装置。
3 . 請求項 1記載の画像符号化装置において、
前記フィールド単位処理手段は、 前記画素プロックをフィールド単位でダ 前記フレーム単位処理手段は、 前記画素プロックをフレーム単位でダウン 前記モード判定手段は、 前記二値ディジタル画像を符号化する際に、 前記 画素ブロックをフィールド単位でダウンサンプリングを行なうかフレーム単位
'をブロック毎に判定し、 判定結果を示すモ一 ド情報を出力する、 ことを特徴とする画像符号化装置。
4 . 請求項 1記載の画像符号化装置において、
前記フィールド単位処理手段は、 前記画素プロックをフィールド単位で動 き補償してフィ一ルド予測画像を生成し、
前記フレーム単位処理手段は、 前記画素プロックをフレーム単位で動き補 償してフレーム予測画像を生成し、
前記モード判定手段は、 前記二値ディジタル画像を符号化する際に、 フィ 一ルド単位で動き補償を行なうかフレーム単位で動き補償を行なうかをブロッ ク毎に判定し、 判定結果を示すモード情報を出力する、 ことを特徴とする画像 符号化装置。
5 . 請求項 1記載の画像符号化装置において、
前記フィ一ルド単位処理手段は、
フィールド画像について画素値の変化点を検出するフィールド変化点検出 手段と、
同一フィールド画像内で先に画素値変化の検出されている変化位置から次 の画素値の変化位置を予測するフィールド予測手段と、
前記フィールド変化点検出手段によって検出された変化点検出位置と前記 フィールド予測手段によって予測された変化点予測位置との差分値を符号化す るフィールド符号化手段とを有し、
前記フレーム単位処理手段は、
フレーム画像について画素値の変化点を検出するフレーム変化点検出手段 と、
同一フレーム画像内で先に画素値変化の検出されている変化位置から次の 画素値の変化位置を予測するフレーム予測手段と、
前記フレーム変化点検出手段によって検出された変化点検出位置と前記フ レーム予測手段によって予測された変化点予測位置との差分値を符号化するフ レーム符号化手段とを有し、
前記モード判定手段は、
前記フィールド符号化手段の出力する符号化画像信号の符号語長と前記フ レーム符号化手段の出力する符号化画像信号の符号語長とを比較してモード判 定する、 ことを特徴とする画像符号化装置。
6 . 請求項 1記載の画像符号化装置において、
前記フィールド単位処理手段は、
フィールド画像における着目画素周辺の符号化済み画素の画素値分布状態 を調査する手段と、
前記着目画素の画素値に関する確率分布を前記調査結果に現われた分布状 態から決定する手段と、
前記決定した確率分布に従って前記着目画素の画素値を算術符号化する手 段とを有し、
前記フレーム単位処理手段は、
フレーム画像における着目画素周辺の符号化済み画素の画素値分布状態を 調査する手段と、
前記着目画素の画素値に関する確率分布を前記調査結果に現われた分布状 態から決定する手段と、
前記決定した確率分布に従つて前記着目画素の画素値を算術符号化する手 段とを有する、 ことを特徴とする画像符号化装置。
7 . 請求項 1記載の画像符号化装置において、
前記フィールド単位処理手段は、
前記画素プロックをフィールド単位で動き補償してフィ一ルド予測画像を 生成する手段と、 前記フィールド予測画像における着目画素周辺の符号化済み画素の画素値 分布状態を調査する手段と、
前記着目画素の画素値に関する確率分布を前記調査結果に現われた分布状 態から決定する手段と、
前記決定した確率分布に従って前記着目画素の画素値を算術符号化する手 段とを有し、
前記フレーム単位処理手段は、
前記画素プロックをフレーム単位で動き補償してフレーム予測画像を生成 する手段と、
前記フレーム予測画像における着目画素周辺の符号化済み画素の画素値分 布状態を調査する手段と、
前記着目画素の画素値に関する確率分布を前記調査結果に現われた分布状 態から決定する手段と、
前記決定した確率分布に従って前記着目画素の画素値を算術符号化する手 段とを有する、 ことを特徴とする画像符号化装置。
8 . 請求項 1記載の画像符号化装置において、
前記フィールド単位処理手段は、
カラ一ディジ夕ル画像の符号化処理をフィールド単位で行なうカラ一画像 フィールド符号化手段と、
前記カラーディジタル画像の有意形状を示す二値ディジタル画像をフィ一 ルド単位で符号化する二値画像フィ一ルド符号化手段とを有し、
前記フレーム単位処理手段は、
前記カラ一ディジタル画像の符号化処理をフレーム単位で行なうカラー画 像フレーム符号化手段と、
前記カラーディジタル画像の有意形状を示す二値ディジタル画像をフレー ム単位で符号化する二値画像フレーム符号化手段とを有し、
前記モード判定手段は、
前記力ラーディジタル画像の符号化処理をフィ一ルド単位で行なうかフレ ーム単位で行なうかブロック毎に判定し、 判定結果を示すモード情報を出力す る、 ことを特徴とする画像符号化装置。
9 . 請求項 1記載の画像符号化装置において、
前記フィールド単位処理手段は、
カラーディジ夕ル画像の符号化処理をフィールド単位で行なう力ラー画像 フィールド符号化手段と、
前記カラ一ディジタル画像の有意形状を示す二値ディジタル画像をフィー ルド単位で符号化する二値画像フィ一ルド符号化手段とを有し、
前記フレーム単位処理手段は、
前記カラ一ディジタル画像の符号化処理をフレーム単位で行なうカラー画 像フレーム符号化手段と、
前記カラーディジ夕ル画像の有意形状を示す二値ディジ夕ル画像をフレー ム単位で符号化する二値画像フレーム符号化手段とを有し、
前記モード判定手段は、
前記二値ディジ夕ル画像の符号化処理をフィ一ルド単位で行なうかフレー ム単位で行なうかブロック毎に判定し、判定結果を示すモード情報を出力する、 ことを特徴とする画像符号化装置。
1 0 . 画像符号化装置でフィールド単位又はフレーム単位で符号化された画素 プロックの符号化画像信号をフィ一ルド単位で復号化のための処理を行うフィ —ルド単位処理手段と、
前記画素プロックの符号化画像信号をフレーム単位で復号化のための処理 を行うフレーム単位処理手段と、 前記画像符号化装置でフィールド単位又はフレーム単位のいずれで画素ブ ロックを符号化したかを示すモ一ド情報に応じて前記フィ一ルド単位処理手段 及び前記フレーム単位処理手段に対する入力又は出力を切替える切替え手段と、 を具備する画像復号化装置。
1 1 . 請求項 1 0記載の画像復号化装置において、
前記フィールド単位処理手段は、 前記符号化画像信号をフィールド単位で 復号化処理し、
前記フレーム単位処理手段は、 前記符号化画像信号をフレーム単位で復号 化処理する、 ことを特徴とする画像復号化装置。
1 2 . 請求項 1 0記載の画像復号化装置において、
前記フィールド単位処理手段は、 前記符号化画像信号をフィールド単位で アップサンプリングし、
前記フレーム単位処理手段は、 前記符号化画像信号をフレーム単位でァッ プサンプリングし、
前記切替え手段は、 フィールド単位又はフレーム単位のいずれで画素プロ ックをダウンサンプリングしたかを示すモード情報に応じて切替え処理する、 ことを特徴とする画像復号化装置。
1 3 . 請求項 1 0記載の画像復号化装置において、
前記フィールド単位処理手段は、 先に復号化された参照画像と復号化対象 画素プロックの符号化時に検出された動きべクトルとに基づいてフィ一ルド単 位で動き補償を行い、
前記フレーム単位処理手段は、 先に復号化された参照画像と復号化対象画 素プロックの符号化時に検出された動きべクトルとに基づいてフレーム単位で 動き補償を行い、
前記切替え手段は、 フィールド単位又はフレーム単位のいずれで画素プロ ックを動き補償したかを示すモード情報に応じて切替え処理する、 ことを特徴 とする画像復号化装置。
1 4 . 請求項 1 0記載の画像復号化装置において、
画素ブロック内の変化点検出位置と変化点予測位置との差分値を符号化し た符号化画像信号から前記差分値を復号化する差分値復号化手段と、
先に復号化された画素プロック内の画素の画素値変化位置から次の画素値 変化位置を予測する予測手段と、
前記予測手段で予測された画素値変化位置に前記復号化された差分値を加 算する加算手段とを備え、
前記フィールド単位処理手段は、 前記加算手段の出力する加算結果からフ ィールド単位でフィールド画像を復元し、
前記フレーム単位処理手段は、 前記加算手段の出力する加算結果からフレ ーム単位でフレーム画像を復元する、 ことを特徴とする画像復号化装置。
1 5 . 請求項 1 0記載の画像復号化装置において、
注目画素周辺の画素値分布に基づいて当該着目画素の画素値の確率分布を 決定する確率分布決定手段と、
その決定した前記注目画素の確率分布を用いて当該着目画素の算術符号化 された画像符号化信号を復号化する算術復号化手段と、 をさらに具備し、
前記フィ一ルド単位処理手段は、 前記算術復号化手段で先に復号化した復 号画像からフィ一ルド単位で注目画素の周辺画素について画素値分布を調査し、 調査結果の画素値分布を前記確率分布決定手段に対して出力し、
前記フレーム単位処理手段は、 前記復号画像からフレーム単位で注目画素 の周辺画素について画素値分布を調査し、 調査結果の画素値分布を前記確率分 布決定手段に対して出力する、 ことを特徴とする画像復号化装置。
1 6 . 請求項 1 0記載の画像復号化装置において、 注目画素周辺の画素値分布に基づいて当該着目画素の画素値の確率分布を 決定する確率分布決定手段と、
その決定した前記注目画素の確率分布を用いて当該着目画素の算術符号化 された画像符号化信号を復号化する算術復号化手段と、 をさらに具備し、 前記フィ一ルド単位処理手段は、
先に前記算術復号化手段で復号化された復号化画像から復号化対象の画素 プロックをフィールド単位で動き補償してフィ一ルド予測画像を生成する手段 と、
前記フィールド予測画像における着目画素周辺の符号化済み画素の画素値 分布状態を調査する手段とを有し、
前記フレーム単位処理手段は、
先に前記算術復号化手段で復号化された復号化画像から復号化対象の画素 プロックをフレーム単位で動き補償してフレーム予測画像を生成する手段と、 前記フレーム予測画像における着目画素周辺の符号化済み画素の画素値分 布状態を調査する手段とを有する、 ことを特徴とする画像復号化装置。
1 7 . 請求項 1 0記載の画像復号化装置において、
前記フィールド単位処理手段は、
カラーディジタル画像の復号化処理をフィールド単位で行なう力ラ一画像 フィールド復号化手段と、
前記カラ一ディジ夕ル画像の有意形状を示す二値ディジタル画像をフィ一 ルド単位で復号化する二値画像フィールド復号化手段とを有し、
前記フレーム単位処理手段は、
前記カラーディジ夕ル画像の符号化処理をフレーム単位で行なう力ラー画 像フレーム復号化手段と、
前記力ラーディジタル画像の有意形状を示す二値ディジタル画像をフレ一 ム単位で復号化する二値画像フレーム復号化手段とを有し、
前記切替え手段は、
画像符号化装置で力ラーディジタル画像をフィールド単位又はフレーム単 位のいずれで符号化したかを示すモード情報に応じて切替え処理する、 ことを 特徴とする画像復号化装置。
1 8 . 請求項 1 0記載の画像復号化装置において、
前記フィールド単位処理手段は、
カラ一ディジタル画像の復号化処理をフィールド単位で行なうカラー画像 フィールド復号化手段と、
前記カラーディジタル画像の有意形状を示す二値ディジ夕ル画像をフィ一 ルド単位で復号化する二値画像フィールド復号化手段とを有し、
前記フレーム単位処理手段は、
前記力ラーディジ夕ル画像の符号化処理をフレーム単位で行なう力ラー画 像フレーム復号化手段と、
前記カラーディジタル画像の有意形状を示す二値ディジ夕ル画像をフレー ム単位で復号化する二値画像フレーム復号化手段とを有し、
前記切替え手段は、
画像符号化装置で前記二値ディジタル画像をフィールド単位又はフレーム 単位のいずれで符号化したかを示すモード情報に応じて切替え処理する、 こと を特徴とする画像復号化装置。
1 9 . 請求項 3記載の画像符号化装置と請求項 1 2記載の画像復号化装置とか ら構成される画像符号化/復号化装置。
2 0 . 請求項 6記載の画像符号化装置と請求項 1 5記載の画像復号化装置とか ら構成される画像符号化 Z復号化装置。
2 1 . 請求項 7記載の画像符号化装置と請求項 1 6記載の画像復号化装置とか ら構成される画像符号化 Z復号化装置。
2 2 . コンピュータによる読み取り可能な記録媒体であって、
二値ディジタル画像を分割した画素ブロックをコンピュータ ·プロセッサ にフィールド単位でダウンサンプリングさせる第 1のプログラム命令手段と、 前記画素ブロックをコンピュータ ·プロセッサにフレーム単位でダウンサ ンプリングさせる第 2のプログラム命令手段と、
前記二値ディジ夕ル画像を符号化する際に、 前記画素プロックをフィ一ル ド単位でダウンサンプリングを行なうかフレーム単位でダウンサンプリングを 行なうかをコンピュータ ·プロセッサにブロック毎に判定させる第 3のプログ ラム命令手段と、
前記モード情報に応じてコンピュータ ·プロセッサにフィールド単位のダ ゥンサンプリングとフレーム単位のダウンサンプリングのうち有効なダウンサ ンプリングを選択させる第 4のプログラム命令手段と、
が実行可能な形式で記憶された記録媒体。
2 3 . コンピュータによる読み取り可能な記録媒体であって、
符号化画像信号をコンピュータ ·プロセッサにフィールド単位でアップサ ンプリングさせる第 1のプログラム命令手段と、
前記符号化画像信号をコンピュータ ·プロセッサにフレーム単位でアップ サンプリングさせる第 2のプログラム命令手段と、
フィールド単位又はフレーム単位のいずれで画素ブロックをダウンサンプ リングしたかを示すモード情報に応じてコンピュータ ·プロセッサに有効なモ ードでのアップサンプリングを選択させる第 3のプログラム命令手段と が実行可能な形式で記憶された記録媒体。
2 4 . コンピュータによる読み取り可能な記録媒体であって、
二値ディジ夕ル画像を符号化する際に、 画素ブロックをフィールド単位で 符号化するかフレーム単位で符号化するかをコンピュータ ·プロセッサにプロ ック毎に判定させる第 1のプログラム命令手段と、
フィールド画像における着目画素周辺の符号化済み画素の画素値分布状態 をコンピュータ ·プロセッサに調査させる第 2のプログラム命令手段と、 前記着目画素の画素値に関する確率分布をコンピュータ ·プロセッサに前 記調査結果に現われた分布状態から決定させる第 3のプログラム命令手段と、 前記決定した確率分布に従って前記着目画素の画素値をコンピュータ ·プ 口セッサに算術符号化させる第 4のプロダラム命令手段と、
フレーム画像における着目画素周辺の符号化済み画素の画素値分布状態を コンピュータ ·プロセッサに調査させる第 5のプログラム命令手段と、
前記着目画素の画素値に関する確率分布をコンピュータ ·プロセッサに前 記調査結果に現われた分布状態から決定させる第 6のプログラム命令手段と、 前記決定した確率分布に従って前記着目画素の画素値をコンピュータ ·プ 口セッサに算術符号化させる第 7のプログラム命令手段と、
前記画素プロックをフィールド単位で符号化するかフレーム単位で符号化 するかを示すモード情報に応じてコンピュータ ·プロセッサにフィールド単位 の算術符号化とフレーム単位の算術符号化のうち有効な算術符号化を選択させ る第 8のプログラム命令手段と、
が実行可能な形式で記憶された記録媒体。
2 5 . コンピュータによる読み取り可能な記録媒体であって、
先に復号化した復号画像からフィールド単位で注目画素の周辺画素につい て画素値分布を調査する第 1のプロダラム命令手段と、
復号画像からフレーム単位で注目画素の周辺画素について画素値分布を調 査する第 2のプロダラム命令手段と、
フィールド単位又はフレーム単位のいずれで画素プロックを符号化したか を示すモード情報により注目画素周辺の画素値分布について有効な画素値分布 をコンピュータ ·プロセッサに選択させる第 3のプログラム命令手段と、 選択された有効な画素値分布に基づいて当該着目画素の画素値の確率分布 をコンピュータ ·プロセッサに決定させる第 4のプログラム命令手段と、 その決定した前記注目画素の確率分布を用いて当該着目画素の算術符号化 された画像符号化信号をコンピュータ ·プロセッサに復号させる第 5のプログ ラム命令手段と、
が実行可能な形式で記憶された記録媒体。
2 6 . 二値ディジ夕ル画像を分割した画素プロックをフィ一ルド単位で処理す るステップと、
前記ニ値デイジ夕ル画像を分割した画素ブロックをフレーム単位で処理す るステップと、
前記画素ブロックをフィ一ルド単位で処理すべきかフレーム単位で処理す べきかをブロック単位で判定するステップと、
モード判定結果を示すモード情報に応じて前記フィ一ルド単位での処理と 前記フレーム単位での処理のうち有効な処理を選択するステップと、 を具備す る画像符号化方法。
2 7 . 画像符号化装置でフィールド単位又はフレーム単位で符号化された画素 プロックの符号化画像信号をフィ一ルド単位で復号化のための処理を行うステ ップと、
前記画素プロックの符号化画像信号をフレーム単位で復号化のための処理 を行うステップと、
前記画像符号化装置でフィールド単位又はフレーム単位のいずれで画素ブ ロックを符号化したかを示すモード情報に応じて前記フィールド単位での処理 と前記フレーム単位での処理のうち有効な処理を選択するステップと、 を具備 する画像復号化方法。
PCT/JP1997/004557 1996-12-12 1997-12-11 Picture encoder and picture decoder WO1998026601A1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE69735437T DE69735437T2 (de) 1996-12-12 1997-12-11 Bildkodierer und bilddekodierer
AU54102/98A AU5410298A (en) 1996-12-12 1997-12-11 Picture encoder and picture decoder
US09/117,543 US6263024B1 (en) 1996-12-12 1997-12-11 Picture encoder and picture decoder
KR1019980706237A KR100355324B1 (ko) 1996-12-12 1997-12-11 화상부호화장치및화상복호화장치
EP97947892A EP0889651B1 (en) 1996-12-12 1997-12-11 Picture encoder and picture decoder

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP33176296 1996-12-12
JP8/331762 1996-12-12

Publications (1)

Publication Number Publication Date
WO1998026601A1 true WO1998026601A1 (en) 1998-06-18

Family

ID=18247342

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1997/004557 WO1998026601A1 (en) 1996-12-12 1997-12-11 Picture encoder and picture decoder

Country Status (7)

Country Link
US (1) US6263024B1 (ja)
EP (1) EP0889651B1 (ja)
KR (2) KR100413153B1 (ja)
CN (1) CN1160967C (ja)
AU (1) AU5410298A (ja)
DE (1) DE69735437T2 (ja)
WO (1) WO1998026601A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0924932A2 (en) * 1997-09-29 1999-06-23 Hyundai Electronics Industries Co., Ltd. Apparatus and method of adaptively coding/decoding interlaced shape information
CN111866432A (zh) * 2020-06-19 2020-10-30 成都东方盛行电子有限责任公司 一种场模式下的非编帧率转换方法

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100258111B1 (ko) * 1997-10-31 2000-06-01 전주범 이진형상신호적응적부호화장치
US6904174B1 (en) * 1998-12-11 2005-06-07 Intel Corporation Simplified predictive video encoder
US6408029B1 (en) 1998-04-02 2002-06-18 Intel Corporation Method and apparatus for simplifying real-time data encoding
US7046734B2 (en) * 1998-04-02 2006-05-16 Intel Corporation Method and apparatus for performing real-time data encoding
JP2000295609A (ja) * 1999-03-19 2000-10-20 Mitsubishi Electric Inf Technol Center Europ Bv インタレースビデオ信号の符号化方法、及び復号化方法、並びに符号化装置、及び復号化装置
US6654502B1 (en) * 2000-06-07 2003-11-25 Intel Corporation Adaptive early exit techniques in image correlation
US6907080B1 (en) * 2000-06-07 2005-06-14 Intel Corporation Adaptive early exit techniques in image correlation
US6608867B2 (en) * 2001-03-30 2003-08-19 Koninklijke Philips Electronics N.V. Detection and proper scaling of interlaced moving areas in MPEG-2 compressed video
JP2003143609A (ja) * 2001-08-21 2003-05-16 Canon Inc 画像処理装置、画像処理方法、記録媒体及びプログラム
US20030043916A1 (en) * 2001-09-05 2003-03-06 Koninklijke Philips Electronics N.V. Signal adaptive spatial scaling for interlaced video
US20030099294A1 (en) * 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
CA2738322C (en) * 2001-11-21 2013-12-31 General Instrument Corporation Picture level adaptive frame/field coding for digital video content
EP1322121A3 (en) * 2001-12-19 2003-07-16 Matsushita Electric Industrial Co., Ltd. Video encoder and decoder with improved motion detection precision
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
JP2003319391A (ja) * 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
KR100693669B1 (ko) * 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법
KR100517504B1 (ko) * 2003-07-01 2005-09-28 삼성전자주식회사 B-픽처의 움직임 보상 모드 결정방법 및 장치
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7580584B2 (en) * 2003-07-18 2009-08-25 Microsoft Corporation Adaptive multiple quantization
US7602851B2 (en) * 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US8218624B2 (en) * 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
US7426308B2 (en) * 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7418146B2 (en) * 2004-02-10 2008-08-26 Sanyo Electric Co., Ltd. Image decoding apparatus
US8467447B2 (en) * 2004-05-07 2013-06-18 International Business Machines Corporation Method and apparatus to determine prediction modes to achieve fast video encoding
JP4421940B2 (ja) * 2004-05-13 2010-02-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置および方法、並びに動画像復号化装置および方法
US7801383B2 (en) * 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
US7602998B2 (en) * 2004-09-15 2009-10-13 Panasonic Corporation Image signal processing apparatus
US20060222251A1 (en) * 2005-04-01 2006-10-05 Bo Zhang Method and system for frame/field coding
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
US7889789B2 (en) * 2006-04-07 2011-02-15 Microsoft Corporation Making interlace frame level coding mode decisions
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8130828B2 (en) * 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US7995649B2 (en) * 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US7974340B2 (en) 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US20070237237A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Gradient slope detection for video compression
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
KR101025847B1 (ko) * 2007-01-19 2011-03-30 삼성전자주식회사 이진 영상을 효과적으로 압축하고 복원하는 방법 및 장치
US20080175313A1 (en) * 2007-01-24 2008-07-24 Icuiti Corporation Methods of adaptive encoding and decoding video signals
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US7522076B1 (en) * 2007-10-16 2009-04-21 Mediatek Inc. Parallel context adaptive binary arithmetic coding
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JP2010016806A (ja) * 2008-06-04 2010-01-21 Panasonic Corp フレーム符号化とフィールド符号化の判定方法、画像符号化方法、画像符号化装置およびプログラム
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US9071848B2 (en) * 2011-03-15 2015-06-30 Broadcom Corporation Sub-band video coding architecture for packet based transmission
KR101347750B1 (ko) * 2012-08-14 2014-01-16 성균관대학교산학협력단 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템
WO2019085985A1 (en) * 2017-11-02 2019-05-09 Shenzhen United Imaging Healthcare Co., Ltd. Systems and methods for generating semantic information for scanning image
CN110545417B (zh) * 2018-05-28 2023-07-14 深信服科技股份有限公司 一种桌面场景的图像编码、解码方法及相关装置
CN110545435B (zh) * 2018-05-28 2023-05-12 深信服科技股份有限公司 一种基于概率模型的桌面像素编码方法、装置及存储介质
CN111836051B (zh) * 2019-04-15 2023-07-14 深信服科技股份有限公司 一种桌面图像编码、解码方法及相关装置
CN111968151B (zh) * 2020-07-03 2022-04-05 北京博雅慧视智能技术研究院有限公司 一种运动估计精细搜索方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284415A (ja) * 1993-03-30 1994-10-07 Toshiba Corp 動き補償予測符号化および復号化装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4749983A (en) * 1986-04-29 1988-06-07 International Business Machines Corporation Compression of multilevel signals
US5091782A (en) * 1990-04-09 1992-02-25 General Instrument Corporation Apparatus and method for adaptively compressing successive blocks of digital video
US5068724A (en) * 1990-06-15 1991-11-26 General Instrument Corporation Adaptive motion compensation for digital television
US5539466A (en) * 1991-07-30 1996-07-23 Sony Corporation Efficient coding apparatus for picture signal and decoding apparatus therefor
US5235419A (en) * 1991-10-24 1993-08-10 General Instrument Corporation Adaptive motion compensation using a plurality of motion compensators
JPH05130544A (ja) * 1991-10-31 1993-05-25 Sony Corp 映像信号処理装置
JPH05161103A (ja) * 1991-12-04 1993-06-25 Ricoh Co Ltd 映像データ表示方法と装置
ATE171831T1 (de) * 1991-12-27 1998-10-15 Sony Corp Bilddatenkodier/dekodierverfahren und - vorrichtung
JPH0698311A (ja) * 1992-09-11 1994-04-08 Sony Corp 画像信号の高能率符号化及び復号化装置
KR0166722B1 (ko) * 1992-11-30 1999-03-20 윤종용 부호화 및 복호화방법 및 그 장치
JPH06205400A (ja) * 1993-01-08 1994-07-22 Kubota Corp 画像処理装置
ES2431289T3 (es) * 1993-03-24 2013-11-25 Sony Corporation Método de decodificación de señal de imagen y aparato asociado
JP3374989B2 (ja) * 1993-03-26 2003-02-10 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、ならびに画像信号復号化方法および画像信号復号化装置
US6078615A (en) * 1993-03-31 2000-06-20 Canon Kabushiki Kaisha Encoding/decoding apparatus which performs an inverse orthogonal transformation on decoded data
TW301098B (ja) * 1993-03-31 1997-03-21 Sony Co Ltd
US5610657A (en) * 1993-09-14 1997-03-11 Envistech Inc. Video compression using an iterative error data coding method
JPH07123447A (ja) * 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JP3050736B2 (ja) * 1993-12-13 2000-06-12 シャープ株式会社 動画像符号化装置
TW283289B (ja) * 1994-04-11 1996-08-11 Gen Instrument Corp
KR970010091B1 (en) * 1994-06-13 1997-06-21 Lg Electronics Inc Address generating apparatus for image moving compensation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284415A (ja) * 1993-03-30 1994-10-07 Toshiba Corp 動き補償予測符号化および復号化装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PREPRINTS OF 1996 WINTER MEETING OF IMAGE MEDIA SECTION, THE INSTITUTE OF TELEVISION ENGINEERS OF JAPAN, (04-12-96), (Tokyo), KOTARO ASAI, "MPEG-4 Video Verification Model (in Japanese)", p. 33-38. *
See also references of EP0889651A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0924932A2 (en) * 1997-09-29 1999-06-23 Hyundai Electronics Industries Co., Ltd. Apparatus and method of adaptively coding/decoding interlaced shape information
EP0924932A3 (en) * 1997-09-29 1999-12-01 Hyundai Electronics Industries Co., Ltd. Apparatus and method of adaptively coding/decoding interlaced shape information
CN111866432A (zh) * 2020-06-19 2020-10-30 成都东方盛行电子有限责任公司 一种场模式下的非编帧率转换方法

Also Published As

Publication number Publication date
KR100355324B1 (ko) 2002-11-18
US6263024B1 (en) 2001-07-17
CN1160967C (zh) 2004-08-04
CN1211372A (zh) 1999-03-17
KR100413153B1 (ko) 2003-12-31
EP0889651A4 (en) 2001-03-14
DE69735437D1 (de) 2006-05-04
DE69735437T2 (de) 2006-08-10
EP0889651B1 (en) 2006-03-08
AU5410298A (en) 1998-07-03
KR19990082504A (ko) 1999-11-25
EP0889651A1 (en) 1999-01-07

Similar Documents

Publication Publication Date Title
WO1998026601A1 (en) Picture encoder and picture decoder
US6542642B2 (en) Image coding process and motion detecting process using bidirectional prediction
EP1120969B1 (en) Motion compensated video decoder
CA2065803C (en) Motion compensation predicting coding method and apparatus
KR100788569B1 (ko) 동화상 복호화 장치 및 방법
KR100776182B1 (ko) 동화상 부호화 방법, 동화상 복호화 방법, 동화상 부호화프로그램, 동화상 복호화 프로그램, 동화상 부호화 장치 및동화상 복호화 장치
JPH1155667A (ja) 画像符号化装置および画像復号化装置および画像符号化データを記録した記録媒体
KR970025185A (ko) 특징적 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
JPS60186179A (ja) 画像信号の予測符号化方式とその装置
JPH11177980A (ja) 適応的インタレース走査形状情報符号化/復号化装置および方法
KR100632072B1 (ko) 동화상 압축 부호화장치 및 모션벡터 검출방법
US6263115B1 (en) Method and apparatus for encoding a binary shape signal
JPH0662389A (ja) 映像信号符号化装置
JP3191753B2 (ja) 画像符号化装置、画像復号化装置および画像符号化方法、画像復号化方法
JP2004511978A (ja) 動きベクトルの圧縮
KR100238829B1 (ko) 화상신호 처리장치 및 화상신호 처리방법
JP3063380B2 (ja) 高能率符号化装置
JPH06225289A (ja) 映像信号符号化装置
JPH10150665A (ja) 予測画像の作成方法及び画像符号化方法及び画像符号化装置
JP3400428B2 (ja) 画像伝送方法
JPH07203425A (ja) 動画像の符号化・復号化装置
JPH0974567A (ja) 動画像符号化・復号方法および装置
JPH08205167A (ja) 動きベクトル検出回路
WO1996022656A1 (en) Predictive encoding method for picture information
JPH0965341A (ja) 動画像符号化・復号方法および装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 97192230.6

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AL AM AT AU AZ BA BB BG BR BY CA CH CN CU CZ DE DK EE ES FI GB GE GH HU IL IS KE KG KR KZ LC LK LR LS LT LU LV MD MG MK MN MW MX NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT UA UG US UZ VN YU ZW AM AZ BY KG KZ MD RU TJ TM

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW SD SZ UG ZW AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT

WWE Wipo information: entry into national phase

Ref document number: 09117543

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1997947892

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1019980706237

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1997947892

Country of ref document: EP

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

WWP Wipo information: published in national office

Ref document number: 1019980706237

Country of ref document: KR

WWR Wipo information: refused in national office

Ref document number: 1019980706237

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1997947892

Country of ref document: EP