WO2000025523A1 - Image decoding device - Google Patents

Image decoding device Download PDF

Info

Publication number
WO2000025523A1
WO2000025523A1 PCT/JP1999/005820 JP9905820W WO0025523A1 WO 2000025523 A1 WO2000025523 A1 WO 2000025523A1 JP 9905820 W JP9905820 W JP 9905820W WO 0025523 A1 WO0025523 A1 WO 0025523A1
Authority
WO
WIPO (PCT)
Prior art keywords
partial image
error
image area
decoded
block
Prior art date
Application number
PCT/JP1999/005820
Other languages
English (en)
French (fr)
Inventor
Yoshimi Isu
Shunichi Sekiguchi
Kohtaro Asai
Fuminobu Ogawa
Shinichi Kuroda
Hirofumi Nishikawa
Yoshihisa Yamada
Original Assignee
Mitsubishi Denki Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Denki Kabushiki Kaisha filed Critical Mitsubishi Denki Kabushiki Kaisha
Priority to AU62279/99A priority Critical patent/AU6227999A/en
Priority to EP99949350A priority patent/EP1126725A4/en
Priority to US09/601,404 priority patent/US6697433B1/en
Priority to KR1020017005073A priority patent/KR20010080299A/ko
Publication of WO2000025523A1 publication Critical patent/WO2000025523A1/ja
Priority to NO20011957A priority patent/NO20011957L/no

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Definitions

  • the present invention various image compression: - in decompression method, error affected bit errors that occur during the encoding bitstream - and an image decoding apparatus that detect the partial image area.
  • the bitstream coded in this way is subjected to inverse quantization and inverse DCT after being subjected to variable length decoding for each block data on the decoding side, and is restored as an image signal.
  • variable-length codeword in this block data area if a bit error occurs in the variable-length codeword in this block data area, and if the variable-length codeword in which the error occurs is a value defined in a predetermined variable-length decoding table, Since decoding is performed without detecting an error, an erroneous image signal is restored.
  • each block data has a variable length
  • the division of the block data cannot be determined until decoding.
  • Wrong variable length codeword In the case of decryption, the delimiter of block data is often erroneously determined, and the decryption of data after the next block is also erroneous. In this case, image quality degradation due to errors propagates to the next block and beyond.
  • the conventional image decoding device is configured as described above, for example, if a bit error occurs in the block data area, decoding is continued until a value not defined in the variable-length decoding table appears. Therefore, an erroneously decoded image is significantly degraded from the position where the error occurred until the error is detected, and the image is used as a predicted image when decoding an image in a subsequent frame. Since it is used, there is a problem that a decoded image of a subsequent frame also deteriorates.
  • the present invention has been made to solve the above-described problems, and it is possible to reliably detect an erroneous block based on the statistical properties of an image signal, and to degrade image quality due to the occurrence of an error. Another object of the present invention is to provide an image decoding apparatus that minimizes the propagation of errors. Disclosure of the invention
  • An image decoding apparatus decodes an encoded bit stream generated by compressing and encoding an input image signal in units of partial image regions.
  • the error partial image area detecting means may include a first pixel level difference value between adjacent pixels across a boundary between the decoded partial image area and a partial image area adjacent thereto.
  • a second pixel level difference value and a third pixel level difference value between pixels in the partial image area adjacent to the decoded partial image area are obtained, and the first pixel level difference value and the second pixel
  • An error partial image area is detected based on a difference value between the level difference value, a difference value between the second pixel level difference value and the third pixel level difference value, and a predetermined threshold value. Things.
  • An image decoding apparatus includes a predetermined threshold value when an error partial image area detection unit detects an error partial image area based on a quantization step size decoded from an encoded bit stream. Control the threshold It is provided with value control means.
  • An image decoding apparatus which decodes an encoded bit stream generated by compressing and encoding an input image signal in partial image area units, wherein the encoded bit stream is A partial image area data decoding means for decoding in image area units; a first pixel level representative value in a decoded partial image area decoded by the partial image area data decoding means; In the partial image area near the partial image area,
  • Error partial image area detection for detecting that the decoded partial image area is an error partial image area affected by a bit error generated in the encoded bit stream, based on a predetermined threshold value related to Means.
  • the error partial image area detecting means obtains an average value of the first pixel level as a representative value of the first pixel level, and obtains a plurality of partial images near the decoded partial image area.
  • the average value of the plurality of second pixel levels is obtained as the representative value of the plurality of second pixel levels in the area, and the average value of the first pixel level and the average value of the above second pixel levels are obtained.
  • a partial error image area is detected.
  • the error partial image area detecting means may be configured such that, based on a correlation between the decoded partial image area and each of the neighboring partial image areas, an average value of the first pixel level and an average value of each second pixel level are obtained. The difference from the average value is weighted.
  • An image decoding apparatus decodes an encoded bit stream generated by compressing and encoding an input image signal in units of partial image regions.
  • a partial image area data decoding means for decoding on an area basis, and an inter-adjacent pixel spanning the boundary between the decoded partial image area decoded by the partial image area data decoding means and the adjacent partial image area
  • a second pixel level change amount between pixels in a partial image region adjacent to the decoded partial image region, and a first pixel level change amount
  • the decoding unit based on the second pixel level change amount, the first pixel level change amount, and the first predetermined threshold value related to the second pixel level change amount; Determining the continuity between the image area and the adjacent partial image area; and determining the representative value of the first pixel level in the decoded partial image area and the second pixel level in the partial image area near the decoded partial image area
  • the continuity between the decoded partial image area and the adjacent partial image area is determined, and the representative value of the first pixel
  • An image decoding apparatus includes a first and a second decoding unit that detects an error partial image area by an error partial image area detection unit based on a quantization step size decoded from an encoded bit stream.
  • Threshold value control means for controlling the predetermined threshold value.
  • An image decoding apparatus decodes an encoded bit stream generated by compressing and encoding an input image signal in units of partial image regions.
  • a partial image area data decoding unit that decodes the image data in units of regions; and a decoding unit that decodes the decoded partial image region based on a comparison between a decoded image signal decoded by the partial image region data decoding unit and a prediction error signal.
  • an error partial image area detecting means for detecting an error partial image area affected by a bit error generated in the coded bit stream.
  • the error partial image area detecting means obtains a representative value of the decoded image signal and a representative value of the prediction error signal, and calculates the representative value of the decoded image signal, the representative value of the prediction error signal. , And based on a predetermined threshold value relating to the representative value of the decoded image signal and the representative value of the prediction error signal, to detect that there is a partial error image area.
  • An image decoding device receives a media packet sequence including an encoded bit stream generated by compressing and encoding an input image signal in units of partial image regions, and outputs the encoded bit stream.
  • a partial image area decoding means for decoding the coded bit stream in units of the partial image area, and decoding by the partial image area data decoding means Based on the comparison of the image signal characteristics between the decoded partial image area and the adjacent partial image area, the error partial image in which the decoded partial image area is affected by the bit error generated in the coded bit stream
  • An error partial image region detecting means for detecting the region as the partial image region unit, and an error detection code included in the media packet sequence.
  • Monitoring means for monitoring the frequency of occurrence of bit errors when receiving the media packet sequence, and controls the error partial image area detecting means based on the monitoring result of the monitoring means.
  • An image decoding apparatus is characterized in that an error partial image region detecting unit compares image signal characteristics in a decoded partial image region and a partial image region in the vicinity thereof based on a monitoring result of a monitoring unit. It controls the comparison conditions.
  • An image decoding apparatus controls a partial image area unit when an error partial image area detecting means detects an error partial image area based on a monitoring result of a monitoring means.
  • FIG. 1 is a diagram showing a structure of a texture data area of an encoded bit stream of an MPEG-4 simple profile.
  • FIG. 2 is a block diagram showing a configuration of an image decoding device according to Embodiment 1 of the present invention.
  • FIG. 3 is a block diagram showing an internal configuration of an error macro block detection unit according to Embodiment 1 of the present invention.
  • FIG. 4 is a flowchart showing the operation of the error macro block detection unit according to the first embodiment of the present invention.
  • FIG. 5 is a diagram for explaining the processing of the horizontal difference calculator and the vertical difference calculator according to Embodiment 1 of the present invention.
  • FIG. 6 is a block diagram showing an internal configuration of an error macro block detection unit according to Embodiment 2 of the present invention.
  • FIG. 7 is a flowchart showing the operation of the threshold control unit according to Embodiment 2 of the present invention.
  • FIG. 8 is a block diagram showing an internal configuration of an error macro block detection unit according to Embodiment 3 of the present invention.
  • FIG. 9 is a flow chart showing the operation of the error map block detection unit according to Embodiment 3 of the present invention.
  • FIG. 10 is a diagram showing a block near a target for calculating a difference according to the third embodiment of the present invention.
  • FIG. 11 is a diagram showing an internal configuration of an error macro block detection unit according to Embodiment 4 of the present invention.
  • FIG. 12 is a diagram showing an internal configuration of an error macro block detector according to Embodiment 5 of the present invention.
  • FIG. 13 is a flowchart showing the operation of the error macro block determining section according to Embodiment 5 of the present invention.
  • FIG. 14 is a diagram showing an internal configuration of an error macro block detection unit according to Embodiment 7 of the present invention.
  • FIG. 15 is a flowchart showing the operation of the error port block detection unit according to Embodiment 7 of the present invention.
  • FIG. 16 is a block diagram showing a configuration of an image decoding apparatus according to Embodiment 8 of the present invention.
  • FIG. 17 is a diagram showing the configuration of a media packet sequence.
  • FIG. 18 is a block diagram showing a configuration of an error monitoring unit according to Embodiment 8 of the present invention.
  • FIG. 1 is a diagram showing a structure of a texture data overnight area in an encoded bit stream of an MPEG-4 simple profile.
  • the texture data of the object to be coded is called a “macroblock”, which is a block consisting of a 16x16 pixel size luminance component and an 8x8 pixel size color difference component. Encode in units.
  • the luminance component of the 16 ⁇ 16 pixel size is further divided into blocks of 8 ⁇ 8 pixel size, and DCT and quantization are performed in blocks of 8 ⁇ 8 pixel size.
  • a block having a size of 8 ⁇ 8 pixels in the “macro block” is hereinafter particularly referred to as a “block”.
  • the texture data area consists of a plurality of macroblock data areas, and each macroblock data area contains information on the coding vector of the macroblock and the motion vector. It consists of macroblock data header information, four luminance block data (Y), and two color difference block data (Cb / Cr).
  • Y luminance block data
  • Cb / Cr color difference block data
  • FIG. 2 is a block diagram showing a configuration of the image decoding apparatus according to the first embodiment.
  • reference numeral 1 denotes a variable-length decoding unit, which inputs an encoded bit stream 101, decodes a block block 102, a motion vector 103, and additional information 10 Outputs 4.
  • Reference numeral 2 denotes a motion compensation unit which inputs a motion vector 103 and outputs a predicted image 107 using a reference image 106 stored in a memory 3.
  • a switching unit 4 outputs a predicted image 107 or 0 signal based on the additional information 104.
  • reference numeral 5 denotes an inverse quantization unit, which receives the decoded block data 102 and performs inverse quantization.
  • Reference numeral 6 denotes an inverse DCT unit, which receives the inversely quantized data 108 and performs inverse DCT processing to generate a prediction error signal 109.
  • Power denotes an adder that adds the predicted image 107 or 0 signal from the switching unit 4 to the prediction error signal 109 and outputs a decoded image signal 110.
  • reference numeral 8 denotes an error macro block detecting section (error partial image area detecting means), which inputs the decoded image signal 110 to determine whether an error has occurred. Then, the error macro block judgment result 1 1 1 is output.
  • Reference numeral 9 denotes a switching unit that switches the output destination of the decoded image signal 110 based on the error macro block determination result 111.
  • Reference numeral 10 denotes an error macro block correction unit which corrects the decoded image signal 110 in which an error has occurred and outputs a corrected image signal 112.
  • Numeral 1 denotes a partial image area data decoding means, which includes a variable length decoding unit 1, a motion compensation unit 2, a memory 3, a switching unit 4, an inverse quantization unit 5, an inverse DCT unit 6, and an addition unit 7. It is configured.
  • the variable length decoding unit 1 extracts a macro block data from the encoded bit stream 101 and performs variable length decoding.
  • the motion compensation unit 2 extracts the predicted image 107 by referring to the reference image 106 in the memory 3 based on the decoded motion vector 103.
  • the inverse quantization unit 5 inversely quantizes the decoded block data 102, and the inverse DCT unit 6 receives the inversely quantized data 108 and performs inverse DCT processing.
  • the switching unit 4 selects the 0 signal when the macroblock type included in the additional information 104 decoded by the variable-length decoding unit 1 indicates intra coding. If it outputs to the addition unit 7 and indicates encoding other than the intra coding, the prediction image 107 extracted by the motion compensation unit 2 is selected and output to the addition unit 7.
  • the adding unit 7 adds the 0 signal or the predicted image 107 from the switching unit 4 to the prediction error signal 109 from the inverse DCT unit 6, and outputs a decoded image signal 110.
  • the decoded image signal 1 1 0 is No. means macro block, which consists of four luminance blocks and two color difference blocks.
  • the error macro block detecting section (error partial image area detecting means) 8 inputs the decoded image signal 110, determines whether or not the image signal of the macro block in which the error has occurred, and determines whether or not the error macro block has an error. Outputs the lock judgment result 1 1 1
  • the switching unit 9 switches the output of the decoded image signal 110 based on the error macroblock determination result 111 output from the error macroblock detection unit 8. If the decoded image signal 110 is an error macroblock according to the error macroblock determination result 111, the decoded image signal 110 is converted to the error macroblock correction unit 1 Output to 0. On the other hand, if the error—macroblock determination result 111 indicates that the decoded image signal 110 is not an error macroblock, the decoded image signal 111 is output as it is, In the subsequent decoding process, it is stored in the memory 3 for use as the reference image 106.
  • the error macro block correction unit 10 performs processing for making the error inconspicuous for the error macro block, and outputs a corrected image signal 112.
  • the simplest method is to extract the macroblock located at the same position as the macroblock determined to have an error from the reference image 106 in the memory 3, and There is a method such as replacing with a hook.
  • the corrected image signal 112 corrected by the error macro block correction unit 10 is output as a decoded image and used as a reference image 106 in the subsequent decoding processing. To be stored in memory 3.
  • FIG. 3 is a block diagram showing an internal configuration of an error macro block detecting section (error partial image area detecting means) 8 which is a feature of the first embodiment.
  • reference numeral 21 denotes a horizontal difference calculating unit, which is a decoded image signal. 1 110 and the horizontal block signal 1 2 1 are input, and the pixel level change amount between adjacent pixels straddling the border of the horizontal adjacent block and the horizontal adjacent signal The amount of change in pixel level between pixels in the block is obtained and output as the horizontal pixel difference 123.
  • reference numeral 22 denotes a vertical direction difference calculation unit which inputs the decoded image signal 110 and the block signal 122 in the vertical direction, and detects the adjacent block in the vertical direction. The amount of change in pixel level between adjacent pixels across the boundary and the amount of change in pixel level between pixels in blocks adjacent in the vertical direction are obtained and output as the vertical pixel difference 124.
  • reference numeral 23 denotes a horizontal continuity determination unit which receives a horizontal pixel difference 1 23 to determine continuity with a block in the horizontal direction to determine horizontal continuity. 1 2 5 is output.
  • Reference numeral 24 denotes a vertical continuity determination unit which receives the vertical pixel difference 124 and determines continuity with the block in the vertical direction, and outputs vertical continuity 126.
  • reference numeral 25 denotes a block continuity determination unit, which inputs the horizontal continuity 125 and the vertical continuity 126 to determine the continuity with an adjacent block. And outputs adjacent block continuity 1 2 7.
  • Reference numeral 26 denotes an error macro block determination unit which inputs an adjacent block continuity 1 27 to determine whether it is an error macro block, and determines an error macro block determination result 1 1 1. Output.
  • FIG. 4 is a flowchart showing the operation of the error macro block detection unit 8.
  • the error macro block detector 8 determines whether or not the decoded image signal 110 is an image signal of a macro block in which an error has occurred, based on the continuity of the image signal. Normally, the image signal has a large correlation with neighboring pixels, and the pixel value changes continuously within the same object. However, an error In many cases, the generated image signal of a block does not maintain continuity with the image signal of an adjacent block. In this embodiment, an erroneous macro block is detected by using continuity with an adjacent block.
  • FIG. 5 is a diagram for explaining the processing of the horizontal difference calculator 21 and the vertical difference calculator 22.
  • the horizontal direction difference calculation unit 21 calculates the decoded image signal 110 from the determination target block (m, n) in FIG.
  • the block signal 121 in the horizontal direction from the block (m, n-1) is input, and the chrominance block and the luminance block of the decoded image signal 110 are input to the The three rows of pixels ( ⁇ ⁇ , ⁇ —, (i, 5) through P, n-1 (i, 7)) near the block boundary at the block (m, n-1) in Fig.
  • the amount of change (difference value) between adjacent pixels is obtained by the following equation (1).
  • DP I> n (i, 0) P B , n-1 (i, 7)-P B , n (i, 0)
  • step ST2 the vertical difference calculating unit 22 calculates the decoded image signal 1 10 from the determination target block (m, n) by The vertical block signal 122 from the vertical block (m-1, n) in FIG. 5 is input, and the chrominance block and the luminance block of the decoded image signal 110 are respectively input.
  • P a , n (0, j) near the block boundary of the block to be determined (m, n)
  • step ST3 in FIG. 4 the horizontal direction continuity determination unit 23 calculates the amount of change (difference value) of the pixel near the block boundary calculated by the horizontal direction difference calculation unit 21, that is, ), Whether the decoded block (m, n) is correlated with the block on the left (m, n-1) based on the horizontal pixel difference 123 shown in Eq. Is determined, and horizontal continuity 1 25 is output. If there is no correlation with the block on the left, pixels near the boundary with the block on the left are discontinuous.
  • n-1 (i, 7) DP ,, n-1 (i, 6) -D ⁇ ⁇ > ⁇ -1 (i, 7)
  • ⁇ P B , n (i, 0) D ⁇ ⁇ > ⁇ -1 (i, 7)-DP B , n (i, 0)
  • step ST4 in Fig. 4 the vertical direction continuity determination unit 24 is similar to the horizontal direction continuity determination unit 23. Similarly to the block boundary around the block boundary calculated by the vertical direction difference calculation unit 22. Based on the pixel change (difference value), that is, the vertical pixel difference 124, it is determined whether or not the decoded block has a correlation with the upper block. Outputs 1 2 6
  • step ST5 the block continuity judging unit 25 sets the decoding block to the block on the left based on the horizontal continuity 125 obtained by the horizontal continuity judging unit 23. It is determined whether or not it is continuous. As a result of the determination, if the decrypted block is continuous with the block on the left, in step ST8, the block continuity determination unit 25 determines that the block is continuous with the adjacent block. judge.
  • step ST6 determines the vertical continuity. It is determined whether or not the decoding block is continuous with the upper block based on the vertical continuity 1 26 as the determination result of the unit 24. If the result of the determination is that the decoded block is continuous with the above block, in step ST8, the block continuity determining unit 25 determines that the block is continuous with the adjacent block . If the result of the determination in step ST6 above indicates that the decoded block is not continuous with the upper block, in step S ⁇ 7, the block continuity determination unit 25 determines whether the adjacent block is not continuous with the adjacent block. It is determined that they are continuous. As described above, when both the horizontal direction and the vertical direction are discontinuous, it is determined that the adjacent block is discontinuous.
  • step S ⁇ 9 for all luminance blocks and chrominance blocks, the continuity determination with the adjacent blocks is completed. Output block continuity 1 2 7.
  • step S # 10 the error macro block determination unit 26 determines whether or not there is an error macro block based on the adjacent block continuity 127.
  • the error macro block determination unit 26 determines whether or not the decoding macroblock is an error macro block based on the continuity of the luminance block and the chrominance block with the neighboring blocks. I do. For example, if discontinuity is detected in one of the two color difference blocks or the four luminance blocks, the macro block containing the block is replaced with the macro block in which the error occurred. Is determined. Also, the determination can be made by a combination of the two color difference blocks and the four luminance blocks, which are discontinuous.
  • the error block determination was performed using the difference value between adjacent pixels of (i, 0)), but the pixel columns and the number of pixel columns to be used are not particularly limited, and the pixel columns in a wider range are used. It is also possible to examine the amount of change (difference value) and use it for judgment of an error block. In this embodiment, the change amount (difference value) between adjacent pixels is used in FIG. It is also possible to take the amount of change (difference value) at the time. These can be applied to adjacent vertical blocks (m-1, n).
  • the horizontal direction continuity determining unit 23 calculates the change amount ⁇ P a , n-1 (i, 7) obtained by the above equation (2) and the above ( 3) with the determined amount delta [rho beta, using eta (i, 0), (4) than by Ri with a predetermined threshold value TH 1 in formula, determines the horizontal continuity
  • the amount of change ⁇ P a , n (i, 0) obtained by the above equation (3) is compared with another predetermined threshold value TH 1 a to obtain a horizontal value.
  • the direction continuity may be determined. This can be applied to the vertical continuity determination unit 24 as well.
  • an error is detected early by detecting a macroblock in which an error has occurred by using continuity of an image signal with an adjacent block.
  • error propagation and deterioration of image quality due to errors can be minimized, and not only the amount of change between the block to be decoded and the neighboring pixels of the adjacent block, but also By taking into account the amount of change in the pixel, the effect of being able to reliably detect a macroblock in which an error has occurred is obtained.
  • the block diagram showing the configuration of the image decoding device according to the second embodiment of the present invention is the same as FIG. 2 in the first embodiment.
  • the threshold values of the horizontal continuity determination unit 23 and the vertical continuity determination unit 24 of the error macro block detection unit 8 described in the first embodiment are set to the values of each macro plot. It switches adaptively based on the quantization step size of the clock.
  • error macro block detection section 8 in the second embodiment is provided with a threshold control section that adaptively controls a threshold value in consideration of the influence of block distortion.
  • FIG. 6 is a block diagram showing the internal configuration of an error macro block detection unit (partial error image area detection means) 8 according to the second embodiment.
  • reference numeral 27 denotes a threshold value control unit, and the quantization step size of the macroblock included in the additional information 104 decoded by the variable length decoding unit 1 in FIG. Control the thresholds 1 2 8 based on Horizontal difference calculator 21, horizontal continuity determiner 23, vertical difference calculator 22, vertical continuity determiner 24, block continuity determiner 25, error macro block
  • the operation of the judgment unit 26 is the same as in the first embodiment.
  • FIG. 7 is a flowchart showing the operation of threshold control section 27 according to the second embodiment.
  • the threshold controller 27 controls the threshold 1 28 based on the quantization step size of the macro block included in the additional information 104.
  • the threshold control unit 27 checks whether the quantization step size of the macroblock included in the additional information 104 is larger than a predetermined value Q1, and is larger than Q1. In this case, since the amount of change (difference value) between pixels near the block boundary may increase due to the block distortion, in step ST12, the threshold control unit 27 The threshold for discontinuity determination is also set to a correspondingly large value THa.
  • step ST11 if the quantization step size is smaller than the predetermined value Q1, in step ST13, the threshold control unit 27 sets the quantization step size to the predetermined value Q2 (Q 2 ⁇ Q 1) If it is larger than Q2, in step ST14, the threshold controller 27 sets the threshold value of the discontinuity determination to a value THb smaller than THa accordingly. I do.
  • the processing of steps ST 15, ST 16, and ST 17 is performed, and when the quantization step size is larger than a predetermined value Q 3 (Q 3 ⁇ Q 2 ⁇ Q 1), If the threshold value is set to THc, and if the threshold value is small, the effect of the block distortion is small, the threshold value is set to a correspondingly small value THd (THd ⁇ THc ⁇ THb ⁇ THa).
  • the range of the quantization step size is divided into four levels, and the threshold value is set according to each value.
  • the threshold value is not limited to four levels, but is adapted according to the quantization characteristics. Can be set manually.
  • a threshold value 1 28 set by a threshold value control unit 27 is output to a horizontal direction continuity determination unit 23 and a vertical direction continuity determination unit 24. Similar to 1, it is used as a threshold when judging the continuity between the block signal 122 in the horizontal direction and the block signal 122 in the vertical direction.
  • the threshold value used for determining the continuity between adjacent blocks is controlled by the quantization step size.
  • the discontinuity at the block boundary due to block distortion can be distinguished from the discontinuity at the block boundary due to error, and the macroblock with block distortion is regarded as the macroblock with error. There is an effect that erroneous determination can be avoided.
  • the block diagram showing the configuration of the image decoding device according to the third embodiment of the present invention is the same as FIG. 2 in the first embodiment.
  • the discontinuity between the blocks was determined based on the difference signal between pixels near the block boundary, and the error macro block was detected.
  • the calculation is performed for each block.
  • the error macro block is detected based on the representative value of the pixel level thus obtained.
  • FIG. 8 is a block diagram showing an internal configuration of an error macro block detecting section (error partial image area detecting means) 8 which is a feature of this embodiment.
  • reference numeral 31 denotes a block average pixel value calculating unit which receives the decoded image signal 110 and calculates the pixel average value within the block as a representative value of the pixel level for each block. It is calculated and output as the pixel level average value 13 1.
  • Reference numeral 32 denotes a pixel average difference calculation unit, which is a pixel level average value 13 1 and a neighborhood block pixel level average value which is a representative value of the pixel level of the neighborhood block stored in a predetermined memory (not shown).
  • Reference numeral 33 denotes an error macro block determination unit which receives the pixel average difference 13 3 to determine whether the error is a macro block, and outputs an error macro block determination result 1 11.
  • FIG. 9 is a flowchart showing the operation of the error macro block detector 8 according to the third embodiment.
  • the error macro block detection unit 8 performs the following processing for each of the color difference block and the luminance block of the decoded image signal 110.
  • the average pixel value calculating section 31 in block receives the decoded image signal 110 and calculates the average value of the pixel levels in the block according to the following equation (5). I do.
  • the pixel average difference calculation section 32 calculates the decoding block calculated by the intra-block pixel average value calculation section 31 by the following equation (6).
  • the pixel average difference between the average pixel level 13 1 (AV e P vinegar, makeup) of the lock and the average pixel level 13 2 (AV e P s> t ) of the neighboring circuits 1 3 3 ( ⁇ AVePionat > n , s> t ) is calculated.
  • Fig. 10 is a diagram showing the neighboring blocks for which the difference is to be calculated. There are four possible blocks.
  • s and t are the neighboring blocks (m, n-1), (m-1, n-1), (m-l, n), (m m—l, n + l).
  • the error macro block determination unit 33 uses the pixel average difference 13 3 from the neighboring block calculated by the pixel average difference calculation unit 32 by the processing from step ST Judge the macro block and output the error macro block judgment result 1 1 1.
  • the error macro block determining unit 33 determines, for example, by using the following equation (7), for each of the color difference block and the luminance block, The absolute difference of the pixel average with the neighboring block is calculated, and the value C B , n obtained by adding the absolute difference of the pixel average with the neighboring block is calculated.
  • n I ⁇ AV e ⁇ ,, ⁇ , ⁇ -1> ⁇ -1 I + I ⁇ ⁇ ⁇ e P m , n , B-1 , n I
  • the error macroblock determination unit 33 Based on equation (8), the error macro block is determined by comparing the value C diligent, n obtained by equation (7) with a predetermined threshold value TH2. When the following equation (8) holds for a predetermined threshold value TH2, the block is regarded as an error block.
  • step ST 25 the error macroblock determination unit 33 Judgment of a macroblock containing a lab block as an error macroblock
  • step ST26 the error of all blocks is checked. It is determined whether or not the determination has been performed. If it is determined that all the blocks are not error blocks, in step ST27, the error macro block determination unit 33 sets the decoded image signal 1 Judge 10 as a normal macro block.
  • each absolute difference value can be weighted by the following equation (9).
  • the force s using the average value of the pixel level and the variance of the pixel level may be used as the representative value of the pixel level of the block.
  • a macroblock in which an error has occurred is detected by calculating a representative value for each decoded image block and comparing it with a representative value of a neighboring block. Therefore, it is possible to obtain an effect that errors can be detected early, and propagation of errors and deterioration of image quality due to errors can be minimized.
  • the block diagram showing the configuration of the image decoding device according to the fourth embodiment of the present invention is the same as FIG. 2 in the first embodiment. This embodiment is different from the error macro block detector 8 of the error macro block detector 8 described in the third embodiment.
  • the threshold value in the block determination unit 33 is adaptively controlled based on the quantization step size of each macro block.
  • a threshold value control unit that controls a threshold value is provided in consideration of the influence of the quantization step size.
  • FIG. 11 is a block diagram showing an internal configuration of an error macro block detecting section (error partial image area detecting means) 8 in the fourth embodiment.
  • reference numeral 34 denotes a threshold value control unit, and a quantization step of the macroblock included in the additional information 104 decoded by the variable length decoding unit 1 in FIG. Set thresholds 1 3 4 based on size.
  • the operations of the in-block pixel average value calculation unit 31, pixel average difference calculation unit 32, and error macro block determination unit 33 are the same as those in the third embodiment.
  • the threshold controller 34 controls the threshold 13 4 based on the quantization step size of the macroblock included in the additional information 104. For example, if the quantization step size is large, the average value may be small because the amplitude of the image signal is small, so the threshold value is set to a small value. Also, if the quantization step size is small, the amplitude of the image signal is maintained and the average value does not decrease, so set the threshold value to a large value.
  • the threshold value 1 34 set by the threshold value control unit 3 4 is output to the error macro block determination unit 3 3, and as in the third embodiment, the error macro block It is used as a threshold when determining a low block.
  • Embodiment 5 by controlling the threshold value used for judging an error macroblock by the quantization step size, the macroblock in which an error has occurred can be controlled. As a result, it is possible to avoid erroneous discrimination of the task.
  • Embodiment 5 by controlling the threshold value used for judging an error macroblock by the quantization step size, the macroblock in which an error has occurred can be controlled. As a result, it is possible to avoid erroneous discrimination of the task.
  • the block diagram showing the configuration of the image decoding device according to the fifth embodiment of the present invention is the same as FIG. 2 in the first embodiment.
  • an error macro block is determined by combining the error macro block determination methods described in the first to fourth embodiments.
  • FIG. 12 is a block diagram showing an internal configuration of an error macro block detecting section (error partial image area detecting means) 8 according to the fifth embodiment.
  • reference numeral 41 denotes a threshold value control unit, and a quantization step size of a macro block included in the additional information 104 decoded by the variable length decoding unit 1 in FIG. Based on the above, a predetermined threshold value 14 1 and a predetermined threshold value 14 2 are set.
  • Reference numeral 42 denotes an error macro block determination unit, which determines an error macro block based on the adjacent block continuity 127 and the pixel average difference 133.
  • the intra-block pixel average value calculation unit 31 and the pixel average difference calculation unit 32 are the same as in the first and third embodiments.
  • FIG. 13 shows an error macro block determination unit 4 according to the fifth embodiment.
  • 7 is a flowchart showing the operation of FIG.
  • the error macro block determination unit 42 calculates the error macro block based on the continuity of adjacent blocks 127 for each color difference block and luminance block, and the average pixel difference 133. Is determined.
  • the error block checker 42 determines the adjacent blocks in order from the chrominance block to the luminance block based on the adjacent block continuity 1 27. Is determined.
  • step ST 35 the error macro block determination unit 42 performs an error determination for all the blocks. It is checked whether or not it has been performed. If all blocks have not been judged, the process returns to step ST31 to check the continuity of the next block with the adjacent block. On the other hand, if the result of determination in step ST 31 is that the block is discontinuous with the adjacent block, in step ST 32, the error macro block determination unit 42 returns to the state described in the third embodiment. Then, based on the pixel average difference 1 33, it is determined whether or not there is an error block.
  • step ST34 the error macroblock determination unit 42 determines the macroblock including the block as an error macroblock. And outputs the error macro block determination result 111 to the switch 9 shown in FIG.
  • step ST35 the above determination is performed for all the blocks, and the error is determined for any block. If the block is not determined to be a block, in step ST36, the error macro block determination unit 42 determines that the macro block is normal and switches the error macro block determination result 1 1 1 Output to container 9.
  • the normal macroblock is determined in step ST36 as described above because it is determined in step ST31 that there is continuity with an adjacent block, or the pixel average is determined in step ST33. Although it is not determined as an error block by the difference, in step ST31, it is determined that there is continuity with the adjacent block, and in step ST33, the error is determined by the average pixel difference. If the block is not determined as one block, it may be determined as a normal macro block in step ST36.
  • the threshold controller 41 controls the predetermined threshold 14 1 and the predetermined threshold 14 2 based on the quantization step size of the macro block.
  • the control need not be performed based on the quantization step size.
  • the error macroblock is determined based on a plurality of determination methods, so that a macroblock in which an error has occurred can be determined more reliably. This has the effect that erroneous determination can be avoided.
  • the determination process is performed hierarchically from the color difference block to the luminance block, and when a certain block is determined to be an error block, the macro block including that block is replaced by an error macro block. Since the judgment is made and the subsequent block judgment processing is not performed, the effect of reducing the amount of calculation required for the judgment processing can be obtained.
  • the first to fifth embodiments have described the image decoding apparatus based on the MPEG-4 encoding method for moving images, but can be applied to still images.
  • the coding method that performs DCT and quantization on a block-by-block basis has been described.
  • the present invention is not limited to this. It can be applied to all schemes that perform coding on a block basis, such as when transform is used.
  • the continuity of neighboring blocks was examined in units of 8 ⁇ 8 pixels, but the present invention is not limited to this.
  • the neighborhood of 16 ⁇ 16 pixels in macro blocks In addition to the continuity with the Mac mouth block, it is also possible to check the continuity with neighboring areas in the same way when coding not only in block units but also in arbitrary-shaped region units. In addition, it can be applied to all schemes that perform coding in units of arbitrary-shaped regions.
  • the block diagram showing the configuration of the image decoding device according to the seventh embodiment of the present invention is the same as FIG. 2 in the first embodiment.
  • a macroblock in which a bit error has occurred is detected using the continuity of the image signal in the spatial direction.
  • the correlation of the image signal in the time direction is detected. Is used to detect a macroblock in which a bit error has occurred.
  • inter-frame prediction coding is performed using the correlation between frames.
  • a typical method is motion compensation prediction, in which a block with the smallest difference signal is searched from a past frame within a predetermined range in blocks of a predetermined image size, and the search is performed. The displacement between the resulting block and the block to be coded is used as the motion vector, and this motion vector and the difference signal (prediction error signal) are coded and multiplexed into the coded bitstream. I do.
  • the variance of the prediction error signal will be small, and coding can be performed efficiently. In contrast however, if there is no similar block in the past frame, the variance of the prediction error signal becomes large, so that encoding (intra coding) is performed using only the information in the frame.
  • the motion vector 103 and the prediction error signal 1 ⁇ 9 are decoded from the coded bit stream 101 and the decoded motion vector is decoded.
  • the predicted image 107 is extracted based on the vector 103 and is added to the decoded prediction error signal 109 to restore the decoded image signal 110.
  • the variance of the prediction error signal 109 becomes large on the encoding device side, the fact that intra-coding is selected is used, and decoding is performed on the decoding device side.
  • threshold processing By performing threshold processing on the variance of the predicted error signal 109 thus detected, a macroblock in which a bit error has occurred is detected.
  • FIG. 14 is a block diagram showing an internal configuration of an error macro block detecting section (error partial image area detecting means) 8 according to the seventh embodiment.
  • reference numeral 51 denotes a prediction error signal variance calculation unit, which calculates the variance of the prediction error signal 109 and outputs a prediction error signal variance 15 1.
  • Numeral 52 denotes a decoded image signal variance calculation unit, which obtains the variance of the decoded image signal 110 and outputs the decoded image signal variance 15 2.
  • 53 is an error macroblock determination unit, which determines whether there is an error macroblock based on the prediction error signal variance 15 1 and the decoded image signal variance 152, and determines the error macroblock determination result. 1 1 1 is output.
  • FIG. 15 is a flowchart showing the operation of the error macro block detector 8.
  • the error macro block detection unit 8 in this embodiment is applied only to an intra macro block, and is not applied to an intra macro block.
  • step ST41 decoding is performed by the variable-length decoding unit 1 in FIG. Based on the additional information 104, it is determined whether the macro block is an intra macro block or an intra macro block. In the case of an intra-macro block, any of the methods according to the first to fifth embodiments can be used. In the case of an in-between macro block, an error macro block is determined by the subsequent processing.
  • step ST 42 the prediction error signal variance calculation unit 51 calculates the following (
  • the variance of the decoded prediction error signal 109 is obtained, and the prediction error signal variance 15 51 is output.
  • 2 (P) is the prediction error signal variance
  • p '' is the pixel value of the i-th row and j-th column of the prediction error block of the NXN pixel size
  • mp is the pixel value of the N x N pixel size. Shows the average of the values.
  • step ST43 the decoded image signal variance calculating unit 52 determines the following (
  • the variance of the decoded image signal 110 is obtained according to the expression (1 1), and the decoded image signal variance 152 is output.
  • beauty 2 (D) is the prediction error signal variance, "the i-th row of the decoded block of XN pixel size, the pixel value of the j-th column, m d represents the average of the pixel values of NXN pixel size.
  • a (D) dm d ) md
  • the error macroblock determination unit 53 includes the prediction error signal variance 15 1 obtained by the prediction error signal variance calculation unit 51, and the decoded image signal variance calculation unit 5 2 Using the decoded image signal variance 15 2 obtained by the above and a predetermined threshold value TH 3, a comparison is made according to the following equation (12).
  • step S ⁇ 4 In 5 the error macro block determination section 53 determines that the macro block is an error macro block.
  • the error macro block determination unit 53 determines that the macro block is a normal macro block.
  • the prediction error signal variance 2 ( ⁇ ) and the decoded image signal variance ⁇ 2 (D) are representative values of the prediction error signal 109 and the decoded image signal 110, respectively.
  • the average or the sum of squares may be used as the representative value.
  • the error macroblock can be determined by combining the method described in this embodiment with the method described in Embodiments 1 to 5.
  • Embodiment 7 For example, by comparing the variance of the prediction error signal 15 1 with the variance of the decoded image signal 15 2, it is possible to detect an error macro block by utilizing the correlation of the image signal in the time direction. This has the effect of detecting errors early and minimizing the propagation of errors and the degradation of image quality due to errors.
  • Embodiment 8 of the present invention is an image decoding device that receives an encoded bit stream from a transmission path or a recording medium, and decodes and displays an image. If the occurrence frequency is determined to be high, the error macro block detection unit is activated to reduce malfunctions of the error macro block detection unit, and image quality is degraded due to decoding errors. Is stably suppressed.
  • the error macro block detection unit detects a fatal error in image data that cannot be decoded in the course of syntax analysis, or that has been decoded from illegal data. Earlier, errors are estimated and detected based on the stationary nature of the image signal, so there is a possibility of false detection. Therefore, in this embodiment, only in a reception situation where bit errors frequently occur, the error macro block detection unit is activated to increase the error resilience, and the total is stable. It performs the decryption operation.
  • FIG. 16 is a block diagram showing a configuration of an image decoding apparatus according to the eighth embodiment.
  • reference numeral 61 denotes an error monitoring unit, which inputs a media packet sequence 201 and outputs a bit error count value 202.
  • Reference numeral 62 denotes an error detection start control unit, which inputs a bit error count value 202 and outputs an error detection start instruction flag 203 to thereby control the error detection block detection unit 8.
  • Reference numeral 63 denotes a switching unit, which inputs the decoded image signal 110 from the adding unit 7 to the error macroblock detecting unit 8 according to the error detection start instruction flag 203.
  • Reference numeral 71 denotes a monitoring unit, which includes an error monitoring unit 61 and an error detection activation control unit 62. Other configurations are the same as those of the first embodiment shown in FIG.
  • FIG. 17 is a diagram showing the configuration of the media bucket row 201.
  • a media packet is a format that unifies a variety of media, such as video data, audio data that is decoded and presented in synchronization with it, and text, graphics, and still images, according to predetermined rules. It is defined as a unit of digital data that is packaged in the Internet. For example, MPEG-2 (IS0 / IEC13818-1) Packetized E1ementary Stream (PES), ITU-TH.223AL-PDU, and the like can be mentioned.
  • the bucket header is various types of header information describing attributes of the bucket, the type of media, and the like, and the media data is a unique encoded data such as video, audio, and data.
  • the error detection code is an additional bit for error detection such as s CRC (Cyclic Redundancy Check). It is transmitted in the form of a unified media packet as shown in Fig. 17, and only the image coded data (coded bit stream 101) is the variable length decoding in Fig. 16. Supplied to chemical unit 1.
  • CRC Cyclic Redundancy Check
  • the operations of the partial image area data decoding means 11 and the error macroblock detection unit 8 and thereafter are the same as those of the first embodiment.
  • the error monitoring unit 61 inputs the media packet sequence 201, monitors the frequency of bit errors using the error detection code included therein, and counts the number of detected bits. Then, the bit error count value 202 is output.
  • the error detection activation control unit 62 checks the bit error count value 202, which is the error detection result from the error monitoring unit 61, at a predetermined unit time interval, and checks the bit at the predetermined unit time interval. If the error count value exceeds a predetermined threshold value, the reception status is judged to be poor (such as a large bit error rate on the transmission line or unstable reading from the storage medium). Output the error detection start flag 203. On the other hand, if the bit error count value 202 at the predetermined unit time interval does not exceed the predetermined threshold value, it is determined that the reception status is good, and the error detection activation flag 20 Does not output 3.
  • the switching unit 63 When the error detection activation flag 203 is input from the error detection activation control unit 62, the switching unit 63 causes the decoded image signal 110 from the addition unit 7 to be input to the error macro block detection unit 8, Error macro block detector 8 Start. On the other hand, when the error detection activation flag 203 from the error detection activation control unit 62 is not input, the switching unit 63 does not activate the error macro block detection unit 8 and the decoded image from the addition unit 7 Output signal 110 as it is.
  • the error macro block detection unit 8 detects a macro block in which an error has occurred in various configurations from the first embodiment to the seventh embodiment, and the error macro block correction unit 10 detects the lost image area. To correct.
  • FIG. 18 is a block diagram showing the internal configuration of the error monitoring unit 61.
  • the bit error detecting section 81 inputs the media packet sequence 201, detects a bit error in the packet by the error detection code added in the packet unit, and outputs the packet error in the packet unit. Outputs bit error count value 2 1 1.
  • the bit error count 82 is obtained by accumulating the bit error count value 2 11 in bucket units from the bit error detector 81 for each media packet, and accumulating the accumulated bit error count.
  • the value 202 is output to the error detection activation control unit 62.
  • the error monitoring unit 61 monitors the progress of the bit error count value 202 to determine the frequency of occurrence of bit errors during transmission on the transmission line, Monitors the frequency of bit errors during reading from the medium.
  • the reception electric field strength of the radio wave carrying the media packet sequence and the phase information after the delay detection of the radio wave may be monitored. It is also possible to monitor the status of bit errors in other media packets, such as audio, and consider the monitoring results.
  • the threshold value is controlled based on the quantization step size of the macro block included in the additional information 104.
  • the threshold may be controlled based on the bit error count value 202 from the viewing unit 61.
  • the threshold value is set small.
  • the threshold value is set to a large value because the reception status is stable and the probability of occurrence of an error is low. In this way, by setting the threshold value according to the output result of the error monitoring unit 61, the processing of the error macro block detection unit 8 is controlled, and when the reception status is good, the error macro Erroneous detection of the block detector 8 can be avoided.
  • the continuity evaluation range can be changed.
  • the continuity is determined for each block of 8 ⁇ 8 pixels for each of the luminance block and the chrominance block, and the discontinuity is determined for at least one block.
  • the macro block including the block was determined to be an error macro block, but the output result of the error monitoring unit 61 determined that the reception status was stable. In this case, the probability of occurrence of an error is low. Therefore, in order to make the detection conditions of the error macro block strict, in the case of the luminance block, it is not possible to use a unit of 16 ⁇ 16 pixel macro block.
  • the continuity may be determined. Also, the number of pixels to be evaluated for the pixel-to-pixel difference used in the determination may be increased.
  • the error macro block detector 8 is adaptively operated according to the line quality of the transmission path, the reliability of reading from the storage medium, and the like. In other words, when the reception status is good, it is possible to avoid erroneous detection by the error-macroblock detection unit 8, and to obtain an effect that a total stable decoding operation can be performed.
  • the image decoding apparatus detects an error-occurring macroblock, detects an error early in the image decoding process, and transmits the error due to error propagation or error. Suitable for minimizing image quality degradation.

Description

明 細 画像復号化装 技術分野
この発明は、 各種の画像圧縮 :· 伸長方式において、 符号化ビッ トス ト リーム中に発生する ビッ ト誤りの影響を受けたエラ - 部分画像領域を検 出する画像復号化装置に関するものである。 背景技術
画像信号を効率的に符号化する方法と して、 例えば、 I S 0 / I E C J T C 1 1 /S C 2 9 /WG 1 1にて標準化作業が進められている Μ P E G— 4 (M o v i n g P i c t u r e E p e r t s G r o u p P h a s e— 4 ) で採用されているように、 ブロ ック毎に、 離散 コサイ ン変換 （ D C T : D i s c r e t e C o s i n e T r a n s f o r m) を行い、 量子化後に、 得られた量子化変換係数を可変長符号 化する方法が用いられている。
このように符号化されたビッ トス ト リームは、 復号化側で、 各ブロ ッ クデータ毎に、 可変長復号化された後、 逆量子化、 逆 D C Tが施され、 画像信号として復元される。 このとき、 例えば、 このブロ ックデータ領 域の可変長符号語でビッ ト誤りが発生した場合、 誤りが発生した可変長 符号語が予め決められた可変長復号テーブルに定義されている値のとき は、 誤りが検出されることなく復号化されるため、 誤った画像信号が復 元される。
また、 各ブロ ックデータは、 可変長であるため、 ブロ ックデータの区 切りは、 復号化するまで判別することができない。 可変長符号語を誤つ て復号化した場合には、 ブロ ックデ一夕の区切り も誤って判別されるこ とが多く、 次ブロ ック以降のデータの復号化も誤ったものになる。 この 場合、 誤り による画質劣化は次プロ ック以降に伝播する。
従来の画像復号化装置は以上のように構成されているので、 例えば、 プロ ックデータ領域でビッ ト誤りが発生した場合に、 可変長復号テープ ルに定義されていない値が現われるまで復号化を続行するため、 誤りが 発生した位置から、 誤りが検出されるまでに誤って復号化された画像が 著しく劣化すると共に、 以降のフレームにおける画像の復号化の際に、 その画像が予測画像と して用いられるため、 以降のフレームの復号画像 も劣化して しまう という課題があった。
上記課題に関連する先行技術と して、 特開平 7 - 1 5 4 7 8 3号公報 に示されたものがある。 これは、 符号化された所定サイズのブロ ックを 復号化する際に、 ブロックの周辺画素と隣接ブロ ックの周辺画素との変 化量を求めて、 所定の臨界値と比較することによ りエラーを検出してい る。 しかし、 ブロ ックの周辺画素と隣接ブロ ックの周辺画素との変化量 だけでは、 エラ一を確実に検出することが困難な場合があった。
この発明は上記のような課題を解決するためになされたもので、 画像 信号の持つ統計的性質によ り、 誤りの発生したブロ ックを確実に検出し 、 誤りの発生による、 画質の劣化や、 誤りの伝播を最小限に抑える画像 復号化装置を得ることを目的とする。 発明の開示
この発明に係る画像復号化装置は、 入力画像信号を部分画像領域単位 で圧縮符号化して生成された符号化ビッ トス ト リームを復号化するもの において、 上記符号化ビッ トス ト リームを上記部分画像領域単位で復号 化する部分画像領域データ復号化手段と、 上記部分画像領域データ復号 化手段によって復号化された復号部分画像領域とそれに隣接する部分画 像領域の境界にまたがった隣接画素間における第 1の画素レベルの変化 量と、 上記復号部分画像領域に隣接する部分画像領域内の画素間におけ る第 2の画素レベルの変化量を求め、 上記第 1の画素レベルの変化量、 上記第 2の画素レベルの変化量、 並びに上記第 1の画素レベルの変化量 及び上記第 2の画素レベルの変化量に係わる所定のしきい値に基づき、 上記復号部分画像領域が上記符号化ビッ トス ト リームに発生したビッ 卜 誤りの影響を受けたエラー部分画像領域であることを検出するエラ一部 分画像領域検出手段とを備えたものである。
このことによって、 誤りの発生を早期にしかも確実に検出し、 誤りの 伝播や誤りによる画質の劣化を最小限に抑えることができるという効果 がある。
この発明に係る画像復号化装置は、 エラ一部分画像領域検出手段が、 復号部分画像領域とそれに隣接する部分画像領域の境界にまたがった隣 接画素間における第 1の画素レベルの差分値と、 上記復号部分画像領域 に隣接する部分画像領域内の画素間における第 2の画素レベルの差分値 と第 3の画素レベルの差分値を求め、 上記第 1 の画素レベルの差分値と 上記第 2の画素レベルの差分値との差分値、 上記第 2の画素レベルの差 分値と上記第 3の画素レベルの差分値との差分値、 及び所定のしきい値 に基づき、 エラー部分画像領域を検出するものである。
このことによって、 誤りの発生を早期にしかも確実に検出し、 誤りの 伝播や誤り による画質の劣化を最小限に抑えることができるという効果 がある。
この発明に係る画像復号化装置は、 符号化ビッ トス ト リームよ り復号 化された量子化ステップサイズに基づき、 エラー部分画像領域検出手段 がエラー部分画像領域を検出する際の所定のしきい値を制御する しきい 値制御手段を備えたものである。
このことによって、 誤りの発生したマクロブロ ックの誤判別を避ける ことができるという効果がある。
この発明に係る画像復号化装置は、 入力画像信号を部分画像領域単位 で圧縮符号化して生成された符号化ビ 卜ス ト リームを復号化するもの において、 上記符号化ビッ トス 卜 リームを上記部分画像領域単位で復号 化する部分画像領域データ復号化手段と、 上記部分画像領域デ一夕復号 化手段によって復号化された復号部分画像領域における第 1の画素レべ ルの代表値と、 上記復号部分画像領域の近傍の部分画像領域における第
2の画素レベルの代表値を求め、 上記第 1の画素レベルの代表値、 上記 第 2の画素レベルの代表値、 並びに上記第 1の画素レベルの代表値及び 上記第 2の画素レベルの代表値に係わる所定のしきい値に基づき、 上記 復号部分画像領域が上記符号化ビッ トス ト リームに発生したビッ ト誤り の影響を受けたエラ一部分画像領域であることを検出するエラ一部分画 像領域検出手段とを備えたものである。
このことによって、 誤りの発生を早期に検出し、 誤りの伝播や誤りに よる画質の劣化を最小限に抑えることができるという効果がある。
この発明に係る画像復号化装置は、 エラー部分画像領域検出手段が、 第 1の画素レベルの代表値として、 第 1の画素レベルの平均値を求め、 復号部分画像領域の近傍の複数の部分画像領域における複数の第 2の画 素レベルの代表値と して、 複数の第 2の画素レベルの平均値を求め、 上 記第 1の画素レベルの平均値と上記各第 2の画素レベルの平均値との差 分、 及び上記差分に係わる所定のしきい値に基づき、 エラ一部分画像領 域を検出するものである。
このことによって、 誤りの発生を早期に検出し、 誤りの伝播や誤り に よる画質の劣化を最小限に抑えることができるという効果がある。 この発明に係る画像復号化装置は、 エラー部分画像領域検出手段が、 復号部分画像領域と近傍の各部分画像領域の相関に基づき、 第 1の画素 レベルの平均値と各第 2の画素レベルの平均値との差分に対して重み付 けを行う ものである。
このことによって、 近傍のブロ ック との相関を考慮し、 一層確実に誤 りの発生を検出することができるという効果がある。
この発明に係る画像復号化装置は、 入力画像信号を部分画像領域単位 で圧縮符号化して生成された符号化ビッ トス ト リームを復号化するもの において、 上記符号化ビッ トス ト リームを上記部分画像領域単位で復号 化する部分画像領域データ復号化手段と、 上記部分画像領域データ復号 化手段によつて復号化された復号部分画像領域とそれに隣接する部分画 像領域の境界にまたがった隣接画素間における第 1の画素レベルの変化 量と、 上記復号部分画像領域に隣接する部分画像領域内の画素間におけ る第 2の画素レベルの変化量を求め、 上記第 1の画素レベルの変化量、 上記第 2の画素レベルの変化量、 並びに上記第 1の画素レベルの変化量 及び上記第 2の画素レベルの変化量に係わる第 1の所定のしきい値に基 づき、 上記復号部分画像領域と上記隣接する部分画像領域との連続性を 判定し、 上記復号部分画像領域における第 1の画素レベルの代表値と、 上記復号部分画像領域の近傍の部分画像領域における第 2の画素レベル の代表値を求め、 上記復号部分画像領域と上記隣接する部分画像領域と の連続性の判定、 並びに上記第 1の画素レベルの代表値、 上記第 2の画 素レベルの代表値、 上記第 1の画素レベルの代表値及び上記第 2の画素 レベルの代表値に係わる第 2の所定のしきい値に基づき、 上記復号部分 画像領域が上記符号化ビッ トス ト リームに発生したビッ ト誤りの影響を 受けたエラ一部分画像領域であることを検出するエラー部分画像領域検 出手段とを備えたものである。 このことによって、 誤りの発生を一層確実に検出することができ、 誤 判別を避けることができるという効果がある。
この発明に係る画像復号化装置は、 符号化ビッ トス ト リームよ り復号 化された量子化ステップサイズに基づき、 エラー部分画像領域検出手段 がエラー部分画像領域を検出する際の第 1及び第 2の所定のしきい値を 制御する しきい値制御手段を備えたものである。
このことによって、 誤りの発生したマクロブロ ックの誤判別を避ける ことができるという効果がある。
この発明に係る画像復号化装置は、 入力画像信号を部分画像領域単位 で圧縮符号化して生成された符号化ビッ トス ト リームを復号化するもの において、 上記符号化ビッ トス ト リームを上記部分画像領域単位で復号 化する部分画像領域データ復号化手段と、 上記部分画像領域データ復号 化手段によって復号化された復号画像信号と予測誤差信号の比較に基づ き、 上記復号部分画像領域が上記符号化ビッ トス 卜 リームに発生したビ ッ ト誤りの影響を受けたエラ一部分画像領域であることを検出するエラ 一部分画像領域検出手段とを備えたものである。
このことによって、 時間方向の画像信号の相関性を利用してエラ一マ クロブロ ックの検出を行う ことができ、 誤り を早期に検出し、 誤りの伝 播ゃ誤り による画質の劣化を最小限に抑えることができるという効果が
¾)
この発明に係る画像復号化装置は、 エラー部分画像領域検出手段が、 復号画像信号の代表値と予測誤差信号の代表値を求め、 上記復号画像信 号の代表値、 上記予測誤差信号の代表値、 並びに上記復号画像信号の代 表値及び上記予測誤差信号の代表値に係わる所定のしきい値に基づき、 エラ一部分画像領域であるこ とを検出するものである。
このことによって、 時間方向の画像信号の相関性を利用してエラ一マ クロブロ ックの検出を行う ことができ、 誤りを早期に検出し、 誤りの伝 播ゃ誤りによる画質の劣化を最小限に抑えることができるという効果が ある。
この発明に係る画像復号化装置は、 入力画像信号を部分画像領域単位 で圧縮符号化して生成された符号化ビッ トス ト リームを含むメディ アパ ケッ ト列を受信し、 符号化ビッ トス ト リームを上記復号化するものにお いて、 上記符号化ビッ トス ト リームを上記部分画像領域単位で復号化す る部分画像領域デ一夕復号化手段と、 上記部分画像領域データ復号化手 段によって復号化された復号部分画像領域とその近傍の部分画像領域に おける画像信号特性の比較に基づき、 上記復号部分画像領域が上記符号 化ビッ トス ト リームに発生したビッ 卜誤りの影響を受けたエラ一部分画 像領域であることを、 上記部分画像領域単位で検出するエラー部分画像 領域検出手段と、 上記メディ ァバケツ ト列に含まれている誤り検出符号 に基づき、 上記メディ ァパケッ ト列を受信する際のビッ ト誤り発生頻度 を監視する監視手段とを備え、 上記監視手段の監視結果に基づき、 上記 エラー部分画像領域検出手段を制御するものである。
このことによって、 受信状況が良好な場合には、 エラー部分画像領域 検出手段による誤検出を回避でき、 トータルで安定した復号化動作を行 わせることができるという効果がある。
この発明に係る画像復号化装置は、 監視手段の監視結果に基づき、 ェ ラー部分画像領域検出手段が復号化された復号部分画像領域とその近傍 の部分画像領域における画像信号特性を比較するときの比較条件を制御 するものである。
このことによって、 受信状況が良好な場合には、 エラ一部分画像領域 検出手段による誤検出を回避でき、 トータルで安定した復号化動作を行 わせることができるという効果がある。 この発明に係る画像復号化装置は、 監視手段の監視結果に基づき、 ェ ラー部分画像領域検出手段がエラ一部分画像領域を検出する際の部分画 像領域単位を制御するものである。
このことによって、 受信状況が良好な場合には、 エラ一部分画像領域 検出手段による誤検出を回避でき、 トータルで安定した復号化動作を行 わせることができるという効果がある。 図面の簡単な説明
第 1図は M P E G— 4シンプルプロファイルの符号化ビッ トス ト リー ムのテクスチャデータ領域の構造を示す図である。
第 2図はこの発明の実施の形態 1 による画像復号化装置の構成を示す ブロ ヅク図である。
第 3図はこの発明の実施の形態 1 によるエラ一マクロブロ ック検出部 の内部構成を示すブロ ック図である。
第 4図はこの発明の実施の形態 1 によるエラ一マクロブロ ック検出部 の動作を示すフローチヤ一卜である。
第 5図はこの発明の実施の形態 1 による水平方向差分算出部及び垂直 方向差分算出部の処理を説明する図である。
第 6図はこの発明の実施の形態 2 によるエラ一マクロブロ ック検出部 の内部構成を示すブロ ック図である。
第 7図はこの発明の実施の形態 2 による しきい値制御部の動作を示す フローチヤ一 卜である。
第 8図はこの発明の実施の形態 3 によるエラ一マクロブロ ック検出部 の内部構成を示すブロ ック図である。
第 9図はこの発明の実施の形態 3 によるエラーマク口プロ ヅク検出部 の動作を示すフローチヤ一 トである。 第 1 0図はこの発明の実施の形態 3 による差分算出の対象となる近傍 のプロ ックを示す図である。
第 1 1図はこの発明の実施の形態 4におけるエラ一マクロブロ ック検 出部の内部構成を示す図である。
第 1 2図はこの発明の実施の形態 5 によるエラーマクロブロ ック検出 部の内部構成を示す図である。
第 1 3図はこの発明の実施の形態 5によるエラーマクロブロ ック判定 部の動作を示すフローチヤ一トである。
第 1 4図はこの発明の実施の形態 7 によるエラ一マクロブロ ック検出 部の内部構成を示す図である。
第 1 5図はこの発明の実施の形態 7によるエラ一マク口プロ ック検出 部の動作を示すフローチヤ一トである。
第 1 6図はこの発明の実施の形態 8による画像復号化装置の構成を示 すブロ ック図である。
第 1 7図はメディ アパケッ ト列の構成を示す図である。
第 1 8図はこの発明の実施の形態 8 による誤り監視部の構成を示すブ ロ ック図である。 発明を実施するための最良の形態
以下、 この発明をよ り詳細に説明するために、 この発明を実施するた めの最良の形態について、 添付の図面に従って説明する。
実施の形態 1 .
この発明の実施の形態 1 は、 符号化ビッ トス ト リ一ムのプロ ックデ一 夕領域に誤りが発生したときに、 誤りが検出されずに復号化されたプロ ックを、 ブロ ック境界付近の画像信号の連続性に基づいて検出するもの である。 第 1図は M P E G— 4シンプルプロファイルの符号化ビヅ トス ト リ一 ムにおけるテクスチャデ一夕領域の構造を示す図である。 MP E G— 4 では、 符号化対象となるオブジェク トのテクスチャデータを 「マクロブ ロック」 と呼ばれる 1 6 x 1 6画素サイズの輝度成分と、 8 x 8画素サ ィズの色差成分からなるブロ ック単位で符号化する。 1 6 X 1 6画素サ ィズの輝度成分は、 さらに 8 X 8画素サイズのブロ ックに分割され、 8 X 8画素サイズのブロ ック単位で D C T， 量子化が行われる。 ここでは 、 「マクロブロ ック」 内における 8 X 8画素サイズのブロ ックのことを 、 以下、 特に 「ブロ ック」 と呼ぶ。
第 1図に示すように、 テクスチャデータ領域は、 複数のマクロブロ ッ クデ一夕領域からなり、 各マクロブロックデータ領域は、 マクロブロッ クの符号化夕ィプゃ動きべク トルの情報が含まれているマクロブロック デ—夕ヘッダ情報、 4つの輝度ブロ ックデータ （Y) , 及び 2つの色差 ブロ ックデ一夕 （ C b/C r ) から構成されている。 この実施の形態で は、 このマクロブロックデータ領域に誤りが発生したときに、 エラ一の 発生したマクロブロ ックを早期に検出するものである。
第 2図は実施の形態 1 による画像復号化装置の構成を示すブロ ック図 である。 第 2図において、 1は可変長復号化部であり、 符号化ビッ トス ト リ一ム 1 0 1 を入力し、 復号ブロ ックデ一夕 1 0 2， 動きベク トル 1 0 3 , 付加情報 1 0 4を出力する。 2は動き補償部であ り、 動きべク ト ル 1 0 3を入力し、 メモリ 3に記憶されている参照画像 1 0 6を用いて 予測画像 1 0 7を出力する。 4は切替部であり、 付加情報 1 0 4に基づ き、 予測画像 1 0 7又は 0信号を出力する。
また、 第 2図において、 5は逆量子化部であり、 復号ブロ ックデ一夕 1 0 2を入力し逆量子化を行う。 6は逆 D C T部であ り、 逆量子化後の データ 1 0 8を入力して逆 D C T処理を行い、 予測誤差信号 1 0 9を出 力する。 7は加算部であり、 予測誤差信号 1 0 9 に、 切替部 4からの予 測画像 1 0 7又は 0信号を加算し、 復号画像信号 1 1 0 を出力する。
さ らに、 第 2図において、 8はエラーマクロブロ ック検出部 （エラ一 部分画像領域検出手段） であ り、 復号画像信号 1 1 0を入力し、 誤りが 発生しているかを判定して、 エラ一マクロブロ ック判定結果 1 1 1 を出 力する。 9は切替部であ り、 エラ一マクロブロ ック判定結果 1 1 1 に基 づき、 復号画像信号 1 1 0の出力先を切り替える。 1 0はエラ一マクロ プロ ック修正部であり、 エラーの発生した復号画像信号 1 1 0を修正し 、 修正画像信号 1 1 2 を出力する。 1 1 は部分画像領域データ復号化手 段であ り、 可変長復号化部 1 ， 動き補償部 2 , メモリ 3 , 切替部 4 , 逆 量子化部 5 ， 逆 D C T部 6 ， 加算部 7 よ り構成されている。
次に動作について説明する。
可変長復号化部 1は、 符号化ビッ トス ト リーム 1 0 1 よ りマクロプロ ックデ一夕を取り出し可変長復号化を行う。 動き補償部 2は、 復号化さ れた動きべク トル 1 0 3に基づいて、 メモリ 3内の参照画像 1 0 6 を参 照して予測画像 1 0 7を取り出す。 逆量子化部 5は復号化された復号ブ ロ ックデ一夕 1 0 2 を逆量子化し、 逆 D C T部 6は逆量子化後のデ一夕 1 0 8 を入力して逆 D C T処理を行い、 予測誤差信号 1 0 9 を出力する o
切替部 4は、 可変長復号化部 1 によ り復号化された付加情報 1 0 4に 含まれるマクロブロ ックタイ プが、 ィ ン トラ符号化を示している場合に は、 0信号を選択して加算部 7に出力し、 イ ン トラ符号化以外の符号化 を示している場合には、 動き補償部 2 にて取り出された予測画像 1 0 7 を選択して加算部 7 に出力する。 加算部 7は、 逆 D C T部 6からの予測 誤差信号 1 0 9 に、 切替部 4からの 0信号又は予測画像 1 0 7を加算し て、 復号画像信号 1 1 0 を出力する。 ここで、 復号画像信号 1 1 0は復 号マクロブロ ックを意味し、 4つの輝度プロ ヅクと 2つの色差プロ ック から構成されている。
エラーマクロブロ ック検出部 （エラ一部分画像領域検出手段） 8は、 復号画像信号 1 1 0 を入力し、 誤りが発生したマクロブロ ックの画像信 号か否かの判定を行い、 エラーマクロブロ ック判定結果 1 1 1 を出力す る
切替部 9はエラ一マクロブロック検出部 8から出力されるエラーマク ロブ口 ツク判定結果 1 1 1 に基づき、 復号画像信号 1 1 0の出力を切り 替える。 エラーマクロブロ ック判定結果 1 1 1 によ り、 復号画像信号 1 1 0がエラーマクロブロ ックであることを示している場合は、 復号画像 信号 1 1 0をエラーマクロプロ ヅク修正部 1 0に出力する。 一方、 エラ —マクロブロック判定結果 1 1 1 によ り、 復号画像信号 1 1 0がエラー マクロブ口 ックではないことを示している場合は、 復号画像信号 1 1 ◦ はそのまま出力されると共に、 以降の復号化処理において、 参照画像 1 0 6 として用いるため、 メモリ 3 に格納される。
エラーマクロブロ ック修正部 1 0は、 エラーマクロブロックに対して 誤りを目立たなく する処理を行い、 修正画像信号 1 1 2を出力する。 最 も簡単な方法と しては、 メモリ 3内の参照画像 1 0 6から、 誤りの発生 したと判定されたマクロブロ ックと同位置にあるマクロブロ ックを取り 出し、 誤りが発生したマクロブロ ックと入れ替える等の方法がある。 ェ ラーマクロプロ ック修正部 1 0 にて、 修正された修正画像信号 1 1 2は 、 復号画像と して出力されると共に、 以降の復号化処理において、 参照 画像 1 0 6 と して用いるためにメモリ 3に格納される。
第 3図は、 この実施の形態 1の特徴であるエラ一マクロブロ ック検出 部 （エラー部分画像領域検出手段） 8の内部構成を示すブロ ック図であ る。 第 3図において、 2 1 は水平方向差分算出部であ り、 復号画像信号 1 1 0 と水平方向のブロ ック信号 1 2 1 を入力して、 水平方向に隣接す るブロ ックの境界にまたがつた隣接画素間における画素レベルの変化量 と、 水平方向に隣接するブロ ック内の画素間における画素レベルの変化 量を求めて、 水平方向画素間差分 1 2 3 と して出力する。
また、 第 3図において、 2 2は垂直方向差分算出部であ り、 復号画像 信号 1 1 0 と垂直方向のブロ ック信号 1 2 2 を入力して、 垂直方向に隣 接するプロ ックの境界にまたがった隣接画素間における画素レベルの変 化量と、 垂直方向に隣接するブロ ック内の画素間における画素レベルの 変化量を求めて、 垂直方向画素間差分 1 2 4 として出力する。
さらに、 第 3図において、 2 3は水平方向連続性判定部であり、 水平 方向画素間差分 1 2 3を入力して、 水平方向のブロ ック との連続性を判 定し水平方向連続性 1 2 5 を出力する。 2 4は垂直方向連続性判定部で あり、 垂直方向画素間差分 1 2 4を入力して垂直方向のブロ ックとの連 続性を判定し垂直方向連続性 1 2 6 を出力する。
さらに、 第 3図において、 2 5はプロ ック連続性判定部であり、 水平 方向連続性 1 2 5 と垂直方向連続性 1 2 6 を入力して、 隣接ブロ ック と の連続性を判定し、 隣接プロ ック連続性 1 2 7 を出力する。 2 6はエラ 一マクロブロ ック判定部であり、 隣接ブロ ック連続性 1 2 7を入力して 、 エラーマクロブロ ックかの判定を行い、 エラーマクロブロ ック判定結 果 1 1 1 を出力する。
次にエラ一マクロブロ ック検出部 8の動作について説明する。
第 4図はエラ一マクロプロ ック検出部 8の動作を示すフローチャー ト である。 エラ一マクロブロ ック検出部 8は、 画像信号の連続性に基づき 、 復号画像信号 1 1 0が誤りの発生したマクロブロ ックの画像信号か否 かの判定を行う。 通常、 画像信号は、 近隣画素間と大きな相関を持って おり、 同一物体内では、 画素値は連続的に変化する。 しかし、 誤りが発 生したプロ ックの画像信号は、 隣接するプロ ックの画像信号との連続性 が保たれないことが多い。 この実施の形態では、 隣接ブロ ックとの連続 性を利用し、 誤りの発生したマクロブロ ックを検出する。
第 5図は水平方向差分算出部 2 1及び垂直方向差分算出部 2 2の処理 を説明する図である。 第 4図のステップ S T 1において、 水平方向差分 算出部 2 1は、 第 5図の判定対象ブロ ック （m， n) からの復号画像信 号 1 1 0と、 第 5図の水平方向のブロ ック （m， n— 1 ) からの水平方 向のブロ ック信号 1 2 1を入力して、 復号画像信号 1 1 0の色差ブロ ッ ク、 輝度ブロ ック各々に対して、 第 5図のブロ ック （ m， n— 1 ) にお けるブロ ック境界付近の画素 3列 （ ΡΒ,η— , ( i , 5 ) 乃至 P ,n-1 ( i , 7 ) ) と、 判定対象ブロ ック （m， n ) のブロ ック境界付近の画素 1列 ( PB,n ( i , 0 ) ) について、 それそれ隣接画素間の変化量 （差分値 ) を算出し、 水平方向画素間差分 1 2 3として出力する。
隣接画素間の変化量 （差分値） は次の （ 1 ) 式によって求められる。
D P1>n-1 ( i , j + 1 ) = PB>n-1 ( i , j ) -P„,n-i ( i , J + 1 ) ( i = 0 , 1， ···， 7 , j = 5 , 6 )
D PI>n ( i， 0 ) =PB,n-1 ( i , 7 ) - PB,n ( i， 0 )
( i = 0 , 1， ···， 7 ) ( 1 ) ステップ S T 2において、 垂直方向差分算出部 2 2は、 判定対象プロ ック （m, n ) からの復号画像信号 1 1 0と、 第 5図の垂直方向のプロ ヅク （m— 1， n) からの垂直方向のブロ ック信号 1 2 2を入力して、 復号画像信号 1 1 0の色差ブロ ック、 輝度ブロ ック各々に対して、 第 5 図のブロ ック （m_ l , n ) におけるブロ ック境界付近の画素 3行 （ P m-1,n ( 5 , j ) 乃至 PB-1,n ( 7 , j ) ) と、 判定対象ブロ ック （m， n ) のブロ ック境界付近の画素 1行 （Pa,n ( 0， j ) ) について、 それ それ隣接画素間の差分値を算出し、 垂直方向画素間差分 1 2 4と して出 力する。
第 4図のステップ S T 3において、 水平方向連続性判定部 2 3は、 水 平方向差分算出部 2 1で算出されたブロ ック境界付近の画素の変化量 （ 差分値） 、 すなわち上記 （ 1 ) 式で示される水平方向画素間差分 1 2 3 に基づき、 復号化されたブロ ック （ m , n ) が、 左隣のブロ ック （ m， n - 1 ) と相関があるか否かを判定して、 水平方向連続性 1 2 5を出力 する。 左隣のブロ ックと相関がない場合には、 左隣のブロ ックとの境界 付近の画素は不連続になる。
ブロ ック境界の画素が不連続になる場合には、 PB,n-1 ( i， 5 ) 乃至 PB,n-1 ( i , 7 ) の隣接する画素レベルの変化量 （差分値） に比べて、 Pa>n-1 ( i， 7 ) から Pa,n ( i， 0 ) への画素レベルの変化量 （差分 値） が大き く なる。 そこで、 この 2種類の画素レベルの変化量 （差分値 ) に基づいて不連続性を判定する。 まず、 次の （ 2 ) 式によって、 PB,n ( i , 5 ) と PB,n-1 ( i , 6 ) の隣接画素間の変化量 （差分値） D P B,n-1 ( i , 6 ) と、 PB,n-1 ( i , 6 ) と PB,n-1 ( i , 7 ) の隣接画素間 の変化量 （差分値） D PB,n-1 ( i， 7 ) との変化量 （差分値） Δ ΡΒ,η-1 ( i , 7 ) を求める。
Δ PI>n-1 ( i , 7 ) =D P,,n-1 ( i , 6 ) -D ΡΒ>η-1 ( i , 7 )
( i = 0， 1， …， 7 ) ( 2 ) 同様に、 次の （ 3 ) 式によって、 PB,n-1 ( i， 6 ) と PB,n-1 ( i , 7 ) の隣接画素間の変化量 （差分値） D PB,n-1 ( i， 7 ) と、 PB,n— i ( i ， 7 ) と PB,n ( i， 0 ) の隣接画素間の変化量 （差分値） D Pm,n ( i , 0 ) との変化量 （差分値） Δ ΡΒ,η ( i , 0 ) を求める。
Δ PB,n ( i， 0 ) =D ΡΕ>η-1 ( i , 7 ) - D PB,n ( i， 0 )
( i = 0， 1 , ···, 7 ) ( 3 ) 次に、 （ 2 ) 式によって求められた変化量 （差分値） Δ ΡΒ,η-1 ( i , 7 ) と （ 3 ) 式によって求められた変化量 （差分値） Δ ΡΒ,η ( i , 0 ) との変化量 （差分値） を、 所定のしきい値 T H 1に基づき判定するこ とによ り不連続性を判定する。 すなわち、 予め決められた所定のしきい 値 T H 1に対して、 次の （ 4 ) 式が成り立つとき、 i行目の画素は不連 続であると判定する。
I Δ PI>n ( i , 0 ) I - I Δ Pi>n-1 ( i， 7 ) I > T H 1 ( 4 ) プロ ック境界のすべての画素について、 不連続と判定された場合には、 そのブロ ックは水平方向のプロ ックと不連続であるとする。
第 4図のステップ S T 4において、 垂直方向連続性判定部 2 4は、 水 平方向連続性判定部 2 3と.同様に、 垂直方向差分算出部 2 2で算出され たブロ ック境界付近の画素の変化量 （差分値） 、 すなわち垂直方向画素 間差分 1 24をもとに、 復号化されたブロ ックが上のブロ ックと相関が あるか否かを判定して、 垂直方向連続性 1 2 6を出力する。
ステップ S T 5において、 プロ ック連続性判定部 2 5は、 水平方向連 続性判定部 2 3の判定結果である水平方向連続性 1 2 5に基づき、 復号 プロ ックが左隣のブロ ックと連続であるか否かを判定する。 判定した結 果、 復号ブロ ックが左隣のブロ ックと連続である場合には、 ステップ S T 8において、 ブロ ック連続性判定部 2 5は、 隣接するブロ ックと連続 であると判定する。
上記ステップ S T 5において、 判定した結果、 復号ブロ ックが左隣の ブロ ックと連続でない場合には、 ステップ S T 6において、 ブロ ック連 続性判定部 2 5は、 垂直方向連続性判定部 2 4の判定結果である垂直方 向連続性 1 2 6に基づき、 復号ブ口 ヅクが上のプロ ック と連続であるか 否かを判定する。 判定した結果、 復号ブロ ックが上のブロ ック と連続で ある場合には、 ステップ S T 8において、 ブロ ック連続性判定部 2 5は 、 隣接するブロ ックと連続であると判定する。 上記ステップ S T 6 において、 判定した結果、 復号ブロ ックが上のブ ロ ックと連続でない場合には、 ステップ S Τ 7 において、 ブロ ック連続 性判定部 2 5は、 隣接するブロックと不連続であると判定する。 以上の ように、 水平方向、 垂直方向ともに不連続である場合に、 隣接するプロ ックと不連続であると判定する。
ステップ S Τ 9 において、 全ての輝度ブロ ック、 色差ブロ ックについ て、 隣接するブロ ックとの連続性の判定を終了したら、 ブロ ック連続性 判定部 2 5は判定結果である隣接プロ ック連続性 1 2 7 を出力する。 ス テツプ S Τ 1 0 において、 エラ一マクロブロ ック判定部 2 6は、 隣接ブ ロ ック連続性 1 2 7 に基づき、 エラーマクロブロ ックか否かの判定を行 Ό。
エラ一マクロブロ ック判定部 2 6は、 輝度ブロック、 色差ブロ ックの 各々の近傍プロ ックとの連続性に基づいて、 復号マク口プロ ックがエラ 一マクロブロ ックか否かを判定する。 例えば、 2つの色差ブロ ック又は 4つの輝度プロ ックのいずれか 1つで、 不連続性が検出された場合には 、 そのブロ ックを含むマクロブロ ックを誤りが発生したマクロブロ ック と判定する。 また、 2つの色差ブロ ック、 4つの輝度ブロ ックの不連続 判定の組合せによ り判定することもできる。
なお、 この実施の形態 1では、 隣接する水平方向のブロ ック （m , n 一 1 ) のブロ ック境界付近の画素 3列 （ P„,n- 1 ( i， 5 ) 乃至 P n, n- 1 ( i , 7 ) ) と、 判定対象ブロ ックのブロ ック境界付近の画素 1列 （ P B, n
( i， 0 ) ) の隣接画素間の差分値を用いて、 エラーブロ ッ ク判定を 行ったが、 用いる画素列や画素列数については、 特に限定するものでは なく、 よ り広範囲に画素間の変化量 （差分値） を調べて、 エラ一ブロ ッ クの判定に用いることも可能である。 また、 この実施の形態では、 第 5 図において、 隣接する画素間の変化量 （差分値） を用いたが、 1画素お きの変化量 （差分値） をとることも可能である。 これらのことは、 隣接 する垂直方向のブロ ック （m— 1 , n ) に対しても適用できる。
さらに、 この実施の形態では、 上記ステップ S T 3において、 水平方 向連続性判定部 2 3が、 上記 （ 2 ) 式で求めた変化量△ Pa,n-1 ( i , 7 ) と上記 （ 3 ) 式で求めた量 Δ ΡΒ,η ( i , 0 ) を使用して、 上記 （ 4 ) 式によ り所定のしきい値 T H 1 と比較して、 水平方向の連続性を判定 しているが、 上記 （ 2 ) 式を使用せず、 上記 （ 3 ) 式で求めた変化量△ Pa,n ( i , 0 ) と別の所定のしきい値 T H 1 aと比較して水平方向の 連続性を判定しても良い。 このことは、 垂直方向連続性判定部 2 4につ いても適用できる。
以上のように、 この実施の形態 1によれば、 隣接するブロックとの画 像信号の連続性を利用して、 誤りの発生したマクロブロ ックを検出する ことによ り、 誤りを早期に検出し、 誤りの伝播や誤りによる画質の劣化 を最小限に抑えることができると共に、 復号化対象のブロ ックと隣接す るプロ ックの周辺画素との変化量だけでなく、 隣接するブロック内の画 素の変化量も考慮することによ り、 確実に誤りの発生したマクロプロ ッ クを検出することができるという効果が得られる。 実施の形態 2.
この発明の実施の形態 2における画像復号化装置の構成を示すブロ ッ ク図は、 実施の形態 1における第 2図と同一である。 この実施の形態は 、 実施の形態 1で述べたエラ一マクロブロ ック検出部 8の水平方向連続 性判定部 2 3， 垂直方向連続性判定部 2 4における しきい値を、 各マク 口プロ ックの量子化ステップサイズに基づいて適応的に切り替えるもの である。
実施の形態 1で述べたようにブロ ック単位で D C T等の直交変換後、 量子化を行う場合、 ブロ ック歪みと呼ばれる直交変換符号化特有の雑音 が生じる。 このブロ ック歪みによっても、 ブロ ック境界の画素間変化量
(差分値） が大き く なることがある。 そこで、 この実施の形態 2 におけ るエラーマクロブロ ック検出部 8では、 ブロ ック歪みの影響を考慮して 、 しきい値を適応的に制御する しきい値制御部を設ける。
第 6図は実施の形態 2 によるエラ一マクロブロ ック検出部 （エラ一部 分画像領域検出手段） 8の内部構成を示すブロ ック図である。 図におい て、 2 7はしきい値制御部であ り、 第 2図の可変長復号化部 1 によ り復 号化された付加情報 1 0 4に含まれるマクロブロ ックの量子化ステップ サイズに基づいて、 しきい値 1 2 8 を制御する。 水平方向差分算出部 2 1 ， 水平方向連続性判定部 2 3 , 垂直方向差分算出部 2 2 ， 垂直方向連 続性判定部 2 4 , プロ ック連続性判定部 2 5 ， エラ一マクロブロ ック判 定部 2 6の動作は実施の形態 1 と同様である。
次に動作について説明する。
第 7図はこの実施の形態 2 による しきい値制御部 2 7の動作を示すフ 口—チャー トである。 しきい値制御部 2 7は、 付加情報 1 0 4に含まれ るマクロプロ ックの量子化ステップサイズに基づいて、 しきい値 1 2 8 を制御する。 ステップ S T 1 1 において、 しきい値制御部 2 7は付加情 報 1 0 4に含まれるマクロブロ ックの量子化ステップサイズが所定の値 Q 1 よ り大きいかを確認し、 Q 1 よ り大きい場合には、 ブロ ック歪みに よ り ブロ ック境界付近の画素間変化量 （差分値） が大き く なることがあ るので、 ステップ S T 1 2 において、 しきい値制御部 2 7は、 不連続判 定性のしきい値もそれに応じて大きな値 T H aに設定する。
上記ステップ S T 1 1 において、 量子化ステップサイズが所定の値 Q 1 よ り小さい場合には、 ステップ S T 1 3において、 しきい値制御部 2 7は量子化ステップサイズが所定の値 Q 2 ( Q 2 < Q 1 ) よ り大きいか を確認し、 Q 2よ り大きい場合には、 ステップ S T 1 4において、 しき い値制御部 2 7は、 不連続判定性のしきい値もそれに応じて T H aよ り 小さな値 T H bに設定する。
以下、 同様にして、 ステップ S T 1 5 , S T 1 6 , S T 1 7の処理を 行い、 量子化ステップサイズが所定の値 Q 3 ( Q 3 < Q 2 < Q 1 ) よ り 大きい場合には、 しきい値を T H cに設定し、 小さい場合には、 ブロ ヅ ク歪みの影響が少ないので、 しきい値もそれに応じて小さい値 T H d ( T H d < T H c < T H b< T H a) に設定する。
第 7図の処理では、 量子化ステップサイズの範囲を 4段階に区切って 、 それそれの値に応じてしきい値を設定したが、 4段階に限るものでは なく、 量子化特性に応じて適応的に設定することができる。
第 6図において、 しきい値制御部 2 7によ り設定されたしきい値 1 2 8は、 水平方向連続性判定部 2 3， 垂直方向連続性判定部 24に出力さ れ、 実施の形態 1 と同様に水平方向のブロ ック信号 1 2 1， 垂直方向の ブロ ック信号 1 2 2との連続性を判定する際のしきい値として用いられ る。
以上のように、 この実施の形態 2によれば、 隣接するブロ ックとの連 続性を判定する際に用いる しきい値を、 量子化ステップサイズによ り制 御することによ り、 ブロ ック歪みによるブロ ック境界における不連続性 と誤りによるブロ ック境界における不連続性を区別することができ、 ブ ロック歪みが生じたマクロブロ ックを、 誤りの発生したマクロブロ ック として誤判別することを避けることができるという効果が得られる。 実施の形態 3.
この発明の実施の形態 3における画像復号化装置の構成を示すプロ ッ ク図は、 実施の形態 1における第 2図と同一である。 実施の形態 1では 、 プロ ック境界付近の画素間差分信号によ り プロ ック間の不連続性を判 定し、 エラ一マクロブロ ックの検出を行ったが、 この実施の形態では、 プロ ヅク毎に算出した画素レベルの代表値に基づいて、 エラ一マクロブ ロックを検出するものである。
第 8図は、 この実施の形態の特徴であるエラーマクロブロック検出部 (エラ一部分画像領域検出手段） 8の内部構成を示すプロ ック図である 。 第 8図において、 3 1はブロ ック内画素平均値算出部であり、 復号画 像信号 1 1 0を入力し、 ブロ ックごとの画素レベルの代表値としてプロ ック内画素平均値を求めて画素レベル平均値 1 3 1 と して出力する。 3 2は画素平均差分算出部であ り、 画素レベル平均値 1 3 1と図示されて いない所定のメモリに記憶されている近傍プロ ックの画素レベルの代表 値である近傍プロック画素レベル平均値 1 3 2を入力して、 差分をと り 画素平均差分 1 3 3を出力する。 3 3はエラ一マクロブロ ック判定部で あり、 画素平均差分 1 3 3を入力して、 エラ一マクロブロ ックかの判定 を行い、 エラ一マクロブロ ック判定結果 1 1 1を出力する。
次に動作について説明する。
第 9図は実施の形態 3によるエラーマクロブロ ック検出部 8の動作を 示すフローチャー トである。 エラ一マクロブロ ック検出部 8は、 復号画 像信号 1 1 0の色差プロ ック、 輝度プロ ック各々について以下の処理を 行う。 ステップ S T 2 1において、 ブロ ック内画素平均値算出部 3 1は 、 復号画像信号 1 1 0を入力して、 次の （ 5 ) 式によ り ブロック内の画 素レベルの平均値を算出する。
Av e Pm, n= Pm. n ( i， j ) / 64 ( 5 )
i, J = 0 ステップ S T 2 2において、 画素平均差分算出部 3 2は、 次の （ 6 ) 式によって、 ブロ ック内画素平均値算出部 3 1によ り算出された復号ブ ロ ックの画素レベルの平均値 1 3 1 ( A V e P„,„ ) と、 近傍のプロ ヅ クにおける画素レベルの平均値 1 3 2 ( A V e P s>t ) との画素平均差 分 1 3 3 ( Δ A V e P„>n,s>t ) を算出する。
厶 A V e PB,n,Sit = A v e PSit -Av e PB,n ( 6 ) 第 1 0図は差分算出の対象となる近傍のブロックを示す図であり、 例 えば、 図に示すように 4つのブロ ックが考えられる。 上記 （ 6 ) 式にお ける s , tは、 第 1 0図における近傍のブロ ック （ m , n - 1 ) , ( m - 1 , n - 1 ) , (m— l， n) , (m— l , n+ l ) を示している。 エラーマクロブロ ック判定部 3 3は、 ステップ S T 2 3以降の処理に よ り、 画素平均差分算出部 3 2にて算出された近傍ブロックとの画素平 均差分 1 3 3を用いて、 エラーマクロブロ ックを判定し、 エラ一マクロ ブロ ック判定結果 1 1 1を出力する。
エラ一マクロブロックの判定方法としては、 ステップ S T 2 3におい て、 エラーマクロブロ ック判定部 3 3が、 例えば次の （ 7 ) 式によって 、 色差プロ'ック、 輝度ブロ ック各々について、 近傍のブロ ックとの画素 平均の絶対差分を計算し、 近傍プロ ックとの画素平均の絶対差分をすベ て加えた値 CB,n を求める。
CI>n = I Δ A V e Ρ,,η,Β-1>η-1 I + I Δ Α ν e Pm,n,B-1,n I
+ I Δ A v e PB,n>I-1,n+1 I + I Δ A v e Ρ^,^ I ( 7 ) 次にステップ S T 2 4において、 エラーマクロブロック判定部 3 3が 、 次の （ 8 ) 式に基づいて、 （ 7 ) 式によって求められた値 C„,n を、 所定のしきい値 T H 2と比較するこ とによ りエラーマクロブロ ックを判 定する。 すなわち、 予め決められたしきい値 T H 2に対して、 次の （ 8 ) 式が成り立つとき、 そのブロ ックをエラ一ブロックとする。
CIin > T H 2 ( 8 ) ステップ S T 2 5において、 エラーマクロブロック判定部 3 3は、 ェ ラーブ口 ヅクを含むマクロブロ ックをエラ一マクロブ口 ックと判定する 上記ステップ S T 2 4において、 上記 （ 8 ) 式を満足しない場合、 ス テツプ S T 2 6において、 全てのプロ ックのエラ一判定を行ったか否か を調べ、 全てのブロ ックについて、 エラーブロ ックではないと判定され た場合には、 ステップ S T 2 7において、 エラ一マクロブロ ック判定部 3 3は、 復号画像信号 1 1 0を正常マクロブロ ック と判定する。
また、 近傍のブロ ックとの画素平均の絶対差分の総和を求める際に、 次の （ 9 ) 式によって各絶対差分値に重みづけをして加えることもでき る。
CB,n = w! I Δ A V e PB>n,B-1,n-1 I +w2 I Δ A v e Pm>n>D-1>n I
+ w3 I Δ A v e PB,n,s-1,n+1 I + w4 I厶 A v e PB,n>B>n-1 I ( 9 ) これによ り、 近傍のブロ ックとの相関が一様ではないときに、 相関が 強いと思われるブロ ックとの差分を優先的に扱うことができる。
この実施の形態では、 ブロ ックの画素レベルの代表値と して、 画素レ ベルの平均値を使用している力 s、 画素レベルの分散を使用しても良い。 以上のようにこの実施の形態 3によれば、 復号画像プロ ック毎に代表 値を算出し、 近傍ブロ ックの代表値と比較することによ り、 誤りの発生 したマクロブロ ックを検出することができるため、 誤りを早期に検出し 、 誤りの伝播や誤り による画質の劣化を最小限に抑えることができると いう効果が得られる。 実施の形態 4.
この発明の実施の形態 4における画像復号化装置の構成を示すプロ ッ ク図は、 実施の形態 1 における第 2図と同一である。 この実施の形態は 、 実施の形態 3で述べたエラーマクロブロ ヅク検出部 8のエラ一マクロ ブロ ック判定部 3 3 における しきい値を、 各マクロブロ ックの量子化ス テップサイズに基づいて適応的に制御するものである。
実施の形態 1で述べたように、 ブロ ック単位で D C Tなどの直交変換 後、 量子化を行う場合、 量子化ステップサイズが大きいときには、 画像 信号の振幅が平滑化されて振幅が小さ く なる。 従って、 ブロ ック毎の平 均値は、 量子化ステップサイズが大きいときには、 小さ くなる場合があ る。 そこで、 この実施の形態におけるエラ一マクロブロ ック検出部 8で は、 量子化ステップサイズの影響を考慮し、 しきい値を制御する しきい 値制御部を設ける。
第 1 1 図は、 この実施の形態 4におけるエラ一マクロブロ ック検出部 (エラ一部分画像領域検出手段） 8の内部構成を示すブロ ック図である 。 第 1 1図において、 3 4はしきい値制御部であり、 第 2図の可変長復 号化部 1 によ り復号化された付加情報 1 0 4に含まれるマクロブロ ック の量子化ステップサイズに基づいて、 しきい値 1 3 4を設定する。 プロ ック内画素平均値算出部 3 1 ， 画素平均差分算出部 3 2 ， エラ一マクロ ブロック判定部 3 3の動作は実施の形態 3 と同様である。
次に動作について説明する。
しきい値制御部 3 4は、 付加情報 1 0 4に含まれるマクロブロ ックの 量子化ステップサイズに基づいてしきい値 1 3 4を制御する。 例えば、 量子化ステップサイズが大きい場合には、 画像信号の振幅が小さ くなる ので、 平均値が小さ く なることがあるので、 しきい値を小さい値に設定 する。 また、 量子化ステップサイズが小さい場合には、 画像信号の振幅 が保たれ、 平均値は小さ く ならないので、 しきい値を大きい値に設定す る
しきい値制御部 3 4によ り設定されたしきい値 1 3 4は、 エラーマク ロブロ ック判定部 3 3 に出力され、 実施の形態 3 と同様に、 エラ一マク ロブロ ックを判定する際のしきい値として用いられる。
以上のように、 この実施の形態 4によれば、 エラ一マクロブロ ックを 判定する際に用いる しきい値を、 量子化ステップサイズによ り制御する ことによ り、 誤りの発生したマクロブロ ックに対する誤判別を避けるこ とができるという効果が得られる。 実施の形態 5 .
この発明の実施の形態 5 における画像復号化装置の構成を示すプロ ッ ク図は、 実施の形態 1 における第 2図と同一である。 この実施の形態で は、 実施の形態 1から実施の形態 4で述べたエラーマクロブロ ック判定 方法を組合せてエラ一マクロブロ ックを判定するものである。
第 1 2図は、 この実施の形態 5 によるエラ一マクロブロ ック検出部 （ エラ一部分画像領域検出手段） 8の内部構成を示すプロ ック図である。 第 1 2図において、 4 1 はしきい値制御部であり、 第 2図の可変長復号 化部 1 によ り復号化された付加情報 1 0 4に含まれるマクロブロ ックの 量子化ステップサイズに基づいて、 所定のしきい値 1 4 1 と所定のしき い値 1 4 2 を設定する。 4 2はエラ一マクロブロ ック判定部であ り、 隣 接プロ ック連続性 1 2 7 と画素平均差分 1 3 3に基づいて、 エラ一マク ロブロ ックを判定する。
第 1 2図において、 水平方向差分算出部 2 1 , 水平方向連続性判定部 2 3 , 垂直方向差分算出部 2 2 ， 垂直方向連続性判定部 2 4 , ブロ ック 連続性判定部 2 5 , ブロ ック内画素平均値算出部 3 1 , 画素平均差分算 出部 3 2は、 実施の形態 1及び実施の形態 3 と同様である。
次に動作について説明する。
しきい値制御部 4 1の動作は、 実施の形態 2及び実施の形態 4 と同様 である。 第 1 3図は実施の形態 5 によるエラ一マクロブロ ック判定部 4 2の動作を示すフローチヤ一トである。 エラ一マクロプロ ック判定部 4 2は、 色差プロ ック、 輝度プロ ック毎の隣接プロ ック連続性 1 2 7 と、 画素平均差分 1 3 3 に基づいて、 エラ一マクロプロ ックを判定する。 ス テツプ S T 3 1 において、 エラ一マク口プロ ック判定部 4 2は、 色差ブ 口 ックから輝度プロ ックへ順番に隣接プロ ック連続性 1 2 7 に基づき、 隣接するプロ ックとの連続性を判定する。
ステップ S T 3 1 における判定の結果、 隣接するブロ ックと連続であ る場合には、 ステップ S T 3 5 において、 エラ一マクロブロ ック判定部 4 2は、 全てのブロ ックについてエラ一判定を行ったか否かを調べ、 全 てのブロ ックについて判定を行っていない場合には、 ステップ S T 3 1 に戻り、 次のブロ ックについて隣接するブロ ックとの連続性を調べる。 一方、 ステップ S T 3 1 における判定の結果、 隣接するブロ ックと不 連続である場合には、 ステップ S T 3 2 において、 エラ一マクロブロ ッ ク判定部 4 2は、 実施の形態 3で述べたように、 画素平均差分 1 3 3に 基づいて、 エラ一ブロ ックか否かの判定を行う。
ここで、 ステップ S T 3 3 において、 エラーブロ ックと判定された場 合には、 ステップ S T 3 4において、 エラ一マクロブロ ック判定部 4 2 は、 そのブロックを含むマクロブロ ックをエラ一マクロブロ ックと判定 し、 エラーマクロブロ ック判定結果 1 1 1 を第 2図に示す切替器 9へ出 力する。
上記ステップ S T 3 3において、 エラ一ブロ ックと判定されない場合 には、 ステップ S T 3 5 において、 全てのブロ ックについて、 上記の判 定を行い、 いずれのプロ ックに対してもエラ一プロ ックと判定されなか つた場合には、 ステップ S T 3 6 において、 エラーマクロブロ ック判定 部 4 2は、 正常なマクロブロ ックと判定し、 エラーマクロブロ ック判定 結果 1 1 1 を切替器 9へ出力する。 上記ステップ S T 3 6で、 正常マクロブロ ックと判定されるのは、 ス テツプ S T 3 1で隣接するプロ ック との連続性があり と判定するか、 又 はステップ S T 3 3で、 画素平均差分によ りエラーブロ ックとして判定 されない場合であるが、 ステップ S T 3 1で隣接するプロ ックとの連続 性があり と判定し、 かつ上記ステップ S T 3 3で、 画素平均差分によ り エラ一プロ ックとして判定されない場合に、 上記ステップ S T 3 6で、 正常マクロブロ ックと判定しても良い。
この実施の形態では、 マクロプロ ックの量子化ステップサイズに基づ いて、 しきい値制御部 4 1が所定のしきい値 1 4 1 と所定のしきい値 1 4 2 を制御しているが、 実施の形態 1及び実施の形態 3 と同様に、 量子 化ステツプサイズに基づいて、 制御しなくても良い。
以上のように、 この実施の形態 5 によれば、 複数の判定方法に基づき エラ一マク口プロ ックを判定するため、 よ り確実に誤りの発生したマク ロブロ ックを判定することができ、 誤判別を避けることができるという 効果が得られる。
また、 判定処理を色差ブロ ックから輝度ブロ ックへ階層的に行い、 あ るプロ ヅクでエラ一プロ ヅク と判定された場合に、 そのプロ ックを含む マクロブロ ックをエラーマクロブロ ック と判定し、 以降のブロックの判 定処理を行わないため、 判定処理にかかる計算量を削減することができ るという効果が得られる。 実施の形態 6 .
実施の形態 1から実施の形態 5では、 動画像における M P E G— 4の 符号化方式による画像復号化装置について説明したが、 静止画像に対し ても適用できる。 また、 ブロ ック単位に D C T， 量子化を行う符号化方 式について説明したが、 これに限ったものではなく、 D C T以外の直交 変換を用いる場合等、 ブロ ック単位で符号化を行う全ての方式に適用す ることが可能である。
さらに、 8 X 8画素のブロ ック単位で近傍のブロ ックの連続性を調べ たが、 これに限ったものではなく、 例えば、 1 6 X 1 6画素のマクロブ ロ ック単位で、 近傍のマク口プロ ックとの連続性を調べることもできる さらに、 ブロ ック単位のみならず、 任意形状の領域単位で符号化する 場合にも、 近傍の領域との連続性を同様に調べればよ く、 任意形状の領 域単位で符号化を行う全ての方式に適用することが可能である。 実施の形態 Ί .
この発明の実施の形態 7 における画像復号化装置の構成を示すブロ ッ ク図は、 実施の形態 1 における第 2図と同一である。 実施の形態 1 から 実施の形態 6では、 空間方向の画像信号の連続性を用いて、 ビッ ト誤り が発生したマクロブロ ックを検出したが、 この実施の形態は、 時間方向 の画像信号の相関を用いて、 ビッ ト誤りが発生したマクロブロ ックを検 出するものである。
画像を符号化する際に、 動きが少ない場合には、 フレーム間に相関が あることを利用したフレーム間予測符号化が行われる。 代表的な方式が 動き補償予測で、 ある決められた画像サイズのブロ ック単位で、 予め决 められた範囲に、 差分信号が最も小さ く なるブロ ックを過去のフレーム から探索し、 探索した結果のブロ ックと符号化対象ブロ ックとの位置の ずれを動きベク トルとし、 この動きベク トルと差分信号 （予測誤差信号 ) を符号化して、 符号化ビッ トス ト リームに多重化する。
過去のフレーム内に似通つたプロ ックが存在すれば、 予測誤差信号の 分散は小さ く なるため、 効率的に符号化することができる。 これに対し 、 過去のフレーム内に似通ったブロ ックが存在しない場合には、 予測誤 差信号の分散が大き く なるため、 フ レーム内の情報のみで符号化 （イ ン トラ符号化） を行う。 復号化装置側では、 実施の形態 1で述べたように 、 符号化ビッ トス ト リーム 1 0 1 よ り動きベク トル 1 0 3 と予測誤差信 号 1 ◦ 9 を復号化し、 復号化した動きべク トル 1 0 3 に基づいて予測画 像 1 0 7を取り出し、 復号化した予測誤差信号 1 0 9 と加算することに よ り、 復号画像信号 1 1 0を復元する。
この実施の形態では、 符号化装置側で、 予測誤差信号 1 0 9の分散が 大き くなる場合に、 イ ン トラ符号化が選択されていることを利用し、 復 号化装置側で復号化された予測誤差信号 1 0 9の分散をしきい値処理す ることによ り、 ビッ 卜誤りが発生したマクロブロ ックを検出する。
第 1 4図は実施の形態 7 によるエラーマクロブロ ック検出部 （エラ一 部分画像領域検出手段） 8の内部構成を示すブロ ック図である。 第 1 4 図において、 5 1は予測誤差信号分散算出部であり、 予測誤差信号 1 0 9の分散を求めて予測誤差信号分散 1 5 1 を出力する。 5 2は復号画像 信号分散算出部であり、 復号画像信号 1 1 0の分散を求めて復号画像信 号分散 1 5 2 を出力する。 5 3はエラ一マクロブロ ック判定部であ り、 予測誤差信号分散 1 5 1及び復号画像信号分散 1 5 2 に基づき、 エラ一 マクロブロ ックかの判定を行い、 エラーマクロブロ ック判定結果 1 1 1 を出力する。
次に動作について説明する。
第 1 5図はエラーマクロブロ ック検出部 8 の動作を示すフローチヤ一 トである。 この実施の形態におけるエラ一マクロブロ ック検出部 8は、 ィ ン夕ーマクロブロ ックについてのみ適用され、 ィ ン トラマクロブロ ヅ クの場合は適用されない。
ステ ッ プ S T 4 1 において、 第 2図の可変長復号化部 1 によ り復号化 された付加情報 1 0 4によ り、 イ ン夕一マクロブロ ックかイ ン トラマク ロブ口 ヅクかの判定が行われる。 ィ ン トラマクロプロ ヅクの場合には、 実施の形態 1から実施の形態 5のいずれかの手法を用いることができる 。 イ ン夕一マクロブロ ックの場合には、 以降の処理によ りエラ一マクロ ブロ ックを判定する。
ステップ S T 4 2において、 予測誤差信号分散算出部 5 1は、 次の （
1 0 ) 式によ り、 復号化された予測誤差信号 1 0 9の分散を求めて予測 誤差信号分散 1 5 1 を出力する。 こ こで、 び2 ( P ) は予測誤差信号分 散、 p 」. は N X N画素サイズの予測誤差ブロ ックの i行、 j 列の画素 値で、 mp は N x N画素サイズの画素値の平均を示す。 び 2 ( P ) =W ∑ ( P i' j - mp) 2 , rnp = w J P i ' J
iN| i, j = 1 i J i , j = l
( 1 0 ) ∑一
ステップ S T 4 3において、 復号画像信号分散算出部 5 2は、 次の （
1 1 ) 式によ り、 復号画像信号 1 1 0の分散を求めて復号画像信号分散 1 5 2を出力する。 ここで、 び2 ( D ) は予測誤差信号分散、 」 は X N画素サイズの復号ブロ ックの i行、 j列の画素値で、 m d は N X N 画素サイズの画素値の平均を示す。 a (D ) = d md ) m d
N2 - u N N2 ，丁 =1
( 1 1 ) ステップ S T 4 4において、 エラ一マクロブロック判定部 5 3は、 予 測誤差信号分散算出部 5 1が求めた予測誤差信号分散 1 5 1 と、 復号画 像信号分散算出部 5 2が求めた復号画像信号分散 1 5 2 と、 所定のしき い値 T H 3を用いて、 次の （ 1 2 ) 式によ り比較を行う。
σ2 ( Ρ ) > σ2 ( D ) + T H 3 ( 1 2 ) 上記ステップ S T 4 4において、 予測誤差信号分散び2 ( Ρ ) が復号 画像信号分散び2 ( D ) に所定のしきい値 Τ Η 3を加えた値よ り大きい 場合には、 ステップ S Τ 4 5 において、 エラーマクロブロ ック判定部 5 3は、 そのマクロブロ ックをエラ一マクロブロ ック と判定する。
上記ステップ S Τ 4 4 において、 予測誤差信号分散び2 ( Ρ ) が復号 画像信号分散び2 ( D ) に所定のしきい値 Τ Η 3を加えた値よ り大き く ない場合には、 ステップ S Τ 4 6 において、 エラ一マクロブロ ック判定 部 5 3は、 そのマクロブロ ックを正常マクロブロ ックと判定する。
この実施の形態において、 予測誤差信号分散び2 ( Ρ ) と復号画像信 号分散 σ 2 ( D ) を、 それそれ予測誤差信号 1 0 9及び復号画像信号 1 1 0の代表値としているが、 平均や二乗和を代表値と しても良い。 なお 、 この実施の形態で述べた手法と実施の形態 1 から実施の形態 5で述べ た手法を組み合わせてエラ一マクロブロックの判定を行うこともできる 以上のように、 この実施の形態 7によれば、 予測誤差信号分散 1 5 1 と復号画像信号分散 1 5 2 を比較することによ り、 時間方向の画像信号 の相関性を利用してエラ一マクロブロ ックの検出を行う ことができ、 誤 りを早期に検出し、 誤りの伝播や誤り による画質の劣化を最小限に抑え ることができるという効果が得られる。
実施の形態 8 .
この発明の実施の形態 8は、 伝送路又は記録媒体から符号化ビッ トス ト リームを受信して、 画像の復号化及び表示を行う画像復号化装置で、 ビッ ト誤りの発生頻度を検知して、 発生頻度が高いと判定された場合に 、 上記のエラーマクロブロ ック検出部を起動させることによ り、 エラー マクロブロ ック検出部の誤動作を少なく して、 復号誤り による画質劣化 を安定して抑制するものである。
上記のエラ一マクロブロ ック検出部は、 シンタ ツクス解析の過程で復 号化が不可能になった、 又は不正なデ一夕を復号化したような画像デー 夕にとって致命的な誤り を検出するよ り以前に、 画像信号の定常的性質 に基づいて誤り を推定して検出するため、 誤検出の可能性がある。 そこ で、 この実施の形態は、 ビッ ト誤りが頻繁に発生する受信状況の場合の み、 エラーマクロブロ ック検出部を起動させて、 誤りに対する耐性を高 めて、 ト一タルで安定した復号化動作を行う ものである。
第 1 6図は実施の形態 8による画像復号化装置の構成を示すブロ ック 図である。 図において、 6 1は誤り監視部であり、 メディ アパケッ ト列 2 0 1を入力して、 ビッ ト誤りカウン ト値 2 0 2を出力する。 6 2は誤 り検出起動制御部であり、 ビッ ト誤りカウン ト値 2 0 2を入力し、 誤り 検出起動指示フラグ 2 0 3を出力することによ り、 ェラーマク口プロ ヅ ク検出部 8の起動を制御する。 6 3は切替部であり、 誤り検出起動指示 フラグ 2 0 3によ り、 加算部 7からの復号画像信号 1 1 0をエラ一マク ロブロ ック検出部 8に入力させる。 7 1は監視部であり、 誤り監視部 6 1と誤り検出起動制御部 6 2によ り構成されている。 その他の構成は、 実施の形態 1における第 2図の構成と同等のものである。
第 1 7図はメディ アバケツ ト列 2 0 1の構成を示す図である。 メディ ァパケッ ト とは、 ビデオデ一夕のほか、 それと同期して復号化 · 提示さ れるオーディオデ一夕や、 テキス ト · グラフィ ックス · 静止画といった 種々のメディ ァを所定のルールに従って統一されたフォーマツ トでパッ キングするデジタルデ一夕単位と定義する。 例えば、 MP E G— 2 ( I S 0 / I E C 1 3 8 1 8 - 1 ) P a c k e t i z e d E 1 e m e n t a r y S t r e am (P E S ) , I TU- T H . 2 2 3 A L - P D U等が挙げられる。 第 1 7図において、 バケツ トヘッダは、 バケツ 卜の属性やメディ アの 種別等を記述する各種のヘッダ情報であ り、 メディ アデ一夕は、 ビデオ 、 オーディオ、 データ等の固有の符号化デ一夕であり、 誤り検出符号は s C R C ( C y c l i c R e d u n d a n c y C h e c k) 等の誤 り検出のための付加ビッ トである。 第 1 7図のような統一されたメディ ァパケッ トの形式で伝送され、 そのうちの画像符号化デ一夕 （符号化ビ ッ トス ト リーム 1 0 1 ) だけが、 第 1 6図における可変長復号化部 1 に 供給される。
次に動作について説明する。
部分画像領域データ復号化手段 1 1及びエラ一マクロブロック検出部 8以降の動作は、 実施の形態 1 と同等である。 誤り監視部 6 1は、 メデ ィ ァパケヅ ト列 2 0 1 を入力して、 そこに含まれている誤り検出符号に よって、 ビッ ト誤り発生頻度を監視し、 検出されたビッ ト数をカウン ト して、 ビッ ト誤りカウン ト値 2 0 2を出力する。
誤り検出起動制御部 6 2は、 誤り監視部 6 1からの誤り検出結果であ る ビッ ト誤りカウン ト値 2 0 2を、 所定の単位時間間隔でチェック し、 所定の単位時間間隔における ビッ ト誤りカウン ト値 2 0 2せ、 所定のし きい値を超える場合に、 受信状況が劣悪 （伝送路のビッ トエラ一レー ト が大きい、 記憶媒体からの読み出しが不安定等） であると判断して、 誤 り検出起動フラグ 2 0 3を出力する。 一方、 所定の単位時間間隔におけ るビッ ト誤りカウン ト値 2 0 2が、 所定のしきい値を超えない場合には 、 受信状況が良好であると判断して、 誤り検出起動フラグ 2 0 3を出力 しない。
切替部 6 3は、 誤り検出起動制御部 6 2からの誤り検出起動フラグ 2 0 3を入力したときには、 加算部 7からの復号画像信号 1 1 0をエラー マクロブロ ック検出部 8に入力させ、 エラーマクロブロ ック検出部 8を 起動させる。 一方、 切替部 6 3は、 誤り検出起動制御部 6 2からの誤り 検出起動フラグ 2 0 3を入力しないときには、 エラ一マクロブロ ック検 出部 8 を起動させず、 加算部 7からの復号画像信号 1 1 0をそのまま出 力する。
エラ一マクロブロ ック検出部 8は、 実施の形態 1 から実施の形態 7 ま での種々の構成で誤りの発生したマクロブロ ックを検出し、 エラーマク ロブロック修正部 1 0は、 損失した画像領域を修正処理する。
第 1 8図は誤り監視部 6 1の内部構成を示すブロック図である。 ビヅ ト誤り検出部 8 1は、 メディ アパケッ ト列 2 0 1 を入力して、 パケッ ト 単位に付加されている誤り検出符号によって、 バケツ ト中のビッ ト誤り を検出し、 パケッ ト単位のビッ ト誤りカウン ト値 2 1 1 を出力する。 ビ ッ ト誤りカウン夕 8 2は、 ビッ ト誤り検出部 8 1 からのバケツ ト単位の ビッ ト誤りカウン ト値 2 1 1 をメディ アパケッ ト毎に累算し、 累算した ビッ ト誤りカウン ト値 2 0 2 を誤り検出起動制御部 6 2 に出力する。 以 上のようにして、 誤り監視部 6 1 は、 ビッ ト誤りカウン ト値 2 0 2の推 移を監視することによ り、 伝送路における伝送最中のビッ 卜誤り発生頻 度や、 記憶媒体からの読み出し最中のビッ ト誤り発生頻度を監視する。 誤り監視部 6 1の監視方法として、 上記の誤り検出符号に基づく方法 のほか、 メディ アパケッ ト列を搬送する電波の受信電界強度や、 電波の 遅延検波後の位相情報を監視しても良い。 また、 オーディオ等他のメデ ィ ァパケッ トにおけるビッ ト誤りの状況を監視し、 その監視結果も含め て考慮しても良い。
誤り検出起動制御部 6 2 における制御についても上記に示したオン、 オフ制御だけでなく、 種々の制御方法が考えられる。 例えば、 実施の形 態 2及び実施の形態 4では、 付加情報 1 0 4に含まれるマクロブロ ック の量子化ステップサイズに基づいてしきい値を制御していたが、 誤り監 視部 6 1 からのビッ ト誤りカウン ト値 2 0 2 に基づいて、 しきい値を制 御しても良い。
すなわち、 ビッ ト誤りカウン ト値 2 0 2が大きい場合には、 受信状況 が劣悪で誤りが発生する確率が高いので、 しきい値を小さ く設定する。 一方、 ビッ ト誤りカウン ト値 2 0 2が小さい場合には、 受信状況が安定 し誤りが発生する確率が低いので、 しきい値を大き く設定する。 このよ うに、 誤り監視部 6 1の出力結果に応じてしきい値を設定することによ り、 エラ一マクロブロ ック検出部 8の処理を制御し、 受信状況が良好な ときに、 エラーマクロブロ ック検出部 8の誤検出を回避することができ る。
誤り検出起動制御部 6 2の別の制御方法と して、 連続性の評価範囲を 変化させることもできる。 実施の形態 1では、 輝度ブロ ック、 色差プロ ック毎に 8 X 8画素サイズのブロ ック単位で連続性の判定を行い、 少な く とも 1つのブロ ックで不連続性の判定がなされた場合に、 そのブロ ッ クを含むマクロブロ ックをエラ一マクロブロ ックと判定していたが、 誤 り監視部 6 1の出力結果によ り、 安定した受信状況であると判断された 場合には、 誤りが発生する確率が低いので、 エラーマクロブロ ックの検 出条件を厳しく するために、 輝度ブロ ックの場合には、 1 6 X 1 6画素 のマクロブロ ック単位で不連続性を判定しても良い。 また、 判定の際に 用いる画素間差分の評価対象画素を増やしても良い。
以上のように、 この実施の形態 8 によれば、 伝送路の回線品質や記憶 媒体からの読み出しの信頼性等に応じて、 適応的にエラーマクロブロ ッ ク検出部 8 を作動させることによ り、 受信状況が良好な場合には、 エラ —マクロブロ ック検出部 8 による誤検出を回避でき、 トータルで安定し た復号化動作を行わせることができるという効果が得られる。 産業上の利用可能性
以上のように、 この発明に係る画像復号化装置は、 誤りの発生したマ クロブロ ックを検出することによ り、 画像の復号化過程で誤りを早期に 検出し、 誤りの伝播や誤り による画質の劣化を最小限に抑えるのに適し ている。

Claims

請 求 の 範 囲
1 . 入力画像信号を部分画像領域単位で圧縮符号化して生成された符号 化ビッ トス ト リームを復号化する画像復号化装置において、 上記符号化 ビッ トス ト リームを上記部分画像領域単位で復号化する部分画像領域デ 一夕復号化手段と、 上記部分画像領域データ復号化手段によって復号化 された復号部分画像領域とそれに隣接する部分画像領域の境界にまたが つた隣接画素間における第 1の画素レベルの変化量と、 上記復号部分画 像領域に隣接する部分画像領域内の画素間における第 2の画素レベルの 変化量を求め、 上記第 1の画素レベルの変化量、 上記第 2の画素レベル の変化量、 並びに上記第 1の画素レベルの変化量及び上記第 2の画素レ ベルの変化量に係わる所定のしきい値に基づき、 上記復号部分画像領域 が上記符号化ビッ トス ト リームに発生したビッ ト誤りの影響を受けたェ ラー部分画像領域であることを検出するエラー部分画像領域検出手段と を備えたことを特徴とする画像復号化装置。
2 . エラー部分画像領域検出手段が、 復号部分画像領域とそれに隣接す る部分画像領域の境界にまたがった隣接画素間における第 1の画素レべ ルの差分値と、 上記復号部分画像領域に隣接する部分画像領域内の画素 間における第 2の画素レベルの差分値と第 3の画素レベルの差分値を求 め、 上記第 1の画素レベルの差分値と上記第 2の画素レベルの差分値と の差分値、 上記第 2の画素レベルの差分値と上記第 3の画素レベルの差 分値との差分値、 及び所定のしきい値に基づき、 上記復号部分画像領域 が上記符号化ビッ トス ト リームに発生したビッ ト誤りの影響を受けたェ ラー部分画像領域であることを検出することを特徴とする請求の範囲第 1項記載の画像復号化装置。
3 . 符号化ビッ トス ト リームよ り復号化された量子化ステップサイズに 基づき、 エラー部分画像領域検出手段がエラー部分画像領域を検出する 際の所定のしきい値を制御する しきい値制御手段を備えたことを特徴と する請求の範囲第 1項記載の画像復号化装置。
4 . 入力画像信号を部分画像領域単位で圧縮符号化して生成された符号 化ビッ トス ト リームを復号化する画像復号化装置において、 上記符号化 ビッ トス ト リームを上記部分画像領域単位で復号化する部分画像領域デ 一夕復号化手段と、 上記部分画像領域データ復号化手段によつて復号化 された復号部分画像領域における第 1の画素レベルの代表値と、 上記復 号部分画像領域の近傍の部分画像領域における第 2の画素レベルの代表 値を求め、 上記第 1の画素レベルの代表値、 上記第 2の画素レベルの代 表値、 並びに上記第 1の画素レベルの代表値及び上記第 2の画素レベル の代表値に係わる所定のしきい値に基づき、 上記復号部分画像領域が上 記符号化ビッ トス ト リームに発生したビッ ト誤りの影響を受けたエラ一 部分画像領域であることを検出するエラー部分画像領域検出手段とを備 えたことを特徴とする画像復号化装置。
5 . エラ一部分画像領域検出手段が、 第 1の画素レベルの代表値として 、 第 1の画素レベルの平均値を求め、 復号部分画像領域の近傍の複数の 部分画像領域における複数の第 2の画素レベルの代表値と して、 複数の 第 2の画素レベルの平均値を求め、 上記第 1 の画素レベルの平均値と上 記各第 2の画素レベルの平均値との差分、 及び上記差分に係わる所定の しきい値に基づき、 エラー部分画像領域を検出することを特徴とする請 求の範囲第 4項記載の画像復号化装置。
6 . エラー部分画像領域検出丰段が、 復号部分画像領域と近傍の各部分 画像領域の相関に基づき、 第 1の画素レベルの平均値と各第 2の画素レ ベルの平均値との差分に対して重み付けを行う ことを特徴とする請求の 範囲第 5項記載の画像復号化装置。
7 . 符号化ビッ トス ト リームよ り復号化された量子化ステップサイズに 基づき、 エラー部分画像領域検出手段がエラー部分画像領域を検出する 際の所定のしきい値を制御する しきい値制御手段を備えたことを特徴と する請求の範囲第 4項記載の画像復号化装置。
8 . 入力画像信号を部分画像領域単位で圧縮符号化して生成された符号 化ビッ トス ト リームを復号化する画像復号化装置において、 上記符号化 ビッ トス ト リームを上記部分画像領域単位で復号化する部分画像領域デ 一夕復号化手段と、 上記部分画像領域データ復号化手段によつて復号化 された復号部分画像領域とそれに隣接する部分画像領域の境界にまたが つた隣接画素間における第 1の画素レベルの変化量と、 上記復号部分画 像領域に隣接する部分画像領域内の画素間における第 2の画素レベルの 変化量を求め、 上記第 1の画素レベルの変化量、 上記第 2の画素レベル の変化量、 並びに上記第 1の画素レベルの変化量及び上記第 2の画素レ ベルの変化量に係わる第 1の所定のしきい値に基づき、 上記復号部分画 像領域と上記隣接する部分画像領域との連続性を判定し、 上記復号部分 画像領域における第 1の画素レベルの代表値と、 上記復号部分画像領域 の近傍の部分画像領域における第 2の画素レベルの代表値を求め、 上記 復号部分画像領域と上記隣接する部分画像領域との連続性の判定、 並び に上記第 1の画素レベルの代表値、 上記第 2の画素レベルの代表値、 上 記第 1の画素レベルの代表値及び上記第 2の画素レベルの代表値に係わ る第 2の所定のしきい値に基づき、 上記復号部分画像領域が上記符号化 ビッ トス ト リームに発生したビッ ト誤りの影響を受けたエラー部分画像 領域であることを検出するエラー部分画像領域検出手段とを備えたこと を特徴とする画像復号化装置。
9 . 符号化ビッ トス ト リームよ り復号化された量子化ステップサイズに 基づき、 エラ一部分画像領域検出手段がエラー部分画像領域を検出する 際の第 1及び第 2の所定のしきい値を制御する しきい値制御手段を備え たことを特徴とする請求の範囲第 8項記載の画像復号化装置。
1 0 . 入力画像信号を部分画像領域単位で圧縮符号化して生成された符 号化ビッ トス ト リームを復号化する画像復号化装置において、 上記符号 化ビッ トス ト リームを上記部分画像領域単位で復号化する部分画像領域 データ復号化手段と、 上記部分画像領域データ復号化手段によって復号 化された復号画像信号と予測誤差信号の比較に基づき、 上記復号部分画 像領域が上記符号化ビッ トス ト リームに発生したビッ ト誤りの影響を受 けたエラ一部分画像領域であることを検出するエラ一部分画像領域検出 手段とを備えたことを特徴とする画像復号化装置。
1 1 . エラー部分画像領域検出手段が、 復号画像信号の代表値と予測誤 差信号の代表値を求め、 上記復号画像信号の代表値、 上記予測誤差信号 の代表値、 並びに上記復号画像信号の代表値及び上記予測誤差信号の代 表値に係わる所定のしきい値に基づき、 エラー部分画像領域であるこ と を検出することを特徴とする請求の範囲第 1 0項記載の画像復号化装置
1 2 . 入力画像信号を部分画像領域単位で圧縮符号化して生成された符 号化ビッ トス ト リ一ムを含むメディ アバケツ ト列を受信し、 符号化ビッ トス ト リームを上記復号化する画像復号化装置において、 上記符号化ビ ッ トス ト リームを上記部分画像領域単位で復号化する部分画像領域デー 夕復号化手段と、 上記部分画像領域データ復号化手段によって復号化さ れた復号部分画像領域とその近傍の部分画像領域における画像信号特性 の比較に基づき、 上記復号部分画像領域が上記符号化ビッ トス ト リーム に発生したビッ ト誤りの影響を受けたエラ一部分画像領域であることを 、 上記部分画像領域単位で検出するエラー部分画像領域検出手段と、 上 記メディ アパケッ ト列に含まれている誤り検出符号に基づき、 上記メデ ィ ァバケツ ト列を受信する際のビッ ト誤り発生頻度を監視する監視手段 とを備え、 上記監視手段の監視結果に基づき、 上記エラー部分画像領域 検出手段を制御することを特徴とする画像復号化装置。
1 3 . 監視手段の監視結果に基づき、 エラー部分画像領域検出手段が復 号化された復号部分画像領域とその近傍の部分画像領域における画像信 号特性を比較するときの比較条件を制御することを特徴とする請求の範 囲第 1 2項記載の画像復号化装置。
1 4 . 監視手段の監視結果に基づき、 エラー部分画像領域検出手段がェ ラ一部分画像領域を検出する際の部分画像領域単位を制御することを特 徴とする請求の範囲第 1 2項記載の画像復号化装置。
PCT/JP1999/005820 1998-10-23 1999-10-21 Image decoding device WO2000025523A1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
AU62279/99A AU6227999A (en) 1998-10-23 1999-10-21 Image decoding device
EP99949350A EP1126725A4 (en) 1998-10-23 1999-10-21 IMAGE DECODING DEVICE
US09/601,404 US6697433B1 (en) 1998-10-23 1999-10-21 Image decoding apparatus
KR1020017005073A KR20010080299A (ko) 1998-10-23 1999-10-21 화상 복호화 장치
NO20011957A NO20011957L (no) 1998-10-23 2001-04-20 Bildedekoder

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP10/303040 1998-10-23
JP30304098A JP3576402B2 (ja) 1998-10-23 1998-10-23 画像復号化装置

Publications (1)

Publication Number Publication Date
WO2000025523A1 true WO2000025523A1 (en) 2000-05-04

Family

ID=17916208

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1999/005820 WO2000025523A1 (en) 1998-10-23 1999-10-21 Image decoding device

Country Status (8)

Country Link
US (1) US6697433B1 (ja)
EP (1) EP1126725A4 (ja)
JP (1) JP3576402B2 (ja)
KR (1) KR20010080299A (ja)
AU (1) AU6227999A (ja)
NO (1) NO20011957L (ja)
TW (1) TW450008B (ja)
WO (1) WO2000025523A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7031393B2 (en) * 2000-10-20 2006-04-18 Matsushita Electric Industrial Co., Ltd. Block distortion detection method, block distortion detection apparatus, block distortion removal method, and block distortion removal apparatus
JP2002191048A (ja) * 2000-12-22 2002-07-05 Ando Electric Co Ltd 動画符号通信評価方法及び動画符号通信評価装置
US20030012286A1 (en) * 2001-07-10 2003-01-16 Motorola, Inc. Method and device for suspecting errors and recovering macroblock data in video coding
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
KR100548316B1 (ko) * 2002-11-08 2006-02-02 엘지전자 주식회사 동영상 에러 보정 방법 및 장치
KR100504824B1 (ko) 2003-04-08 2005-07-29 엘지전자 주식회사 이미지 신호 블록오류 보정 장치 및 방법
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
KR100987765B1 (ko) * 2003-09-30 2010-10-13 삼성전자주식회사 동영상 부호화기에서의 예측 수행 방법 및 장치
US20050137911A1 (en) * 2003-12-18 2005-06-23 Conn John P. Systems and methods for data insurance
KR101044935B1 (ko) 2004-01-14 2011-06-28 삼성전자주식회사 전송 에러가 발생한 지점을 탐지하여 바르게 디코딩된데이터를 복원하는 디코딩 방법 및 그 디코딩 장치
JP2006065834A (ja) * 2004-07-26 2006-03-09 Murata Mach Ltd 画像処理装置および画像処理方法
KR101354151B1 (ko) * 2006-08-24 2014-01-28 삼성전자주식회사 영상 변환 방법 및 장치, 역변환 방법 및 장치
JPWO2008139721A1 (ja) * 2007-05-07 2010-07-29 パナソニック株式会社 復号化装置及び復号化方法
US9564988B2 (en) * 2007-07-26 2017-02-07 The Directv Group, Inc. Method and system for forming a formatted content stream and using a cyclic redundancy check
KR100935608B1 (ko) * 2008-05-14 2010-01-07 이디텍 주식회사 움직임 보상 보간 프레임의 보간 오류 은닉 방법
WO2010017166A2 (en) 2008-08-04 2010-02-11 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
US8934545B2 (en) * 2009-02-13 2015-01-13 Yahoo! Inc. Extraction of video fingerprints and identification of multimedia using video fingerprinting
US8379715B2 (en) * 2009-08-27 2013-02-19 Nxp B. V. System and method for video compression using non-linear quantization and modular arithmetic computation
JP2017103744A (ja) * 2015-12-04 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0346482A (ja) * 1989-07-14 1991-02-27 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像符号化のブロック歪除去方法および装置
JPH04180381A (ja) * 1990-11-14 1992-06-26 Matsushita Electric Ind Co Ltd 画像信号の復号化装置
JPH0879752A (ja) * 1994-08-31 1996-03-22 Sanyo Electric Co Ltd ブロック歪み検出装置
JPH08251422A (ja) * 1995-03-08 1996-09-27 Sharp Corp ブロック歪み補正器及び画像信号伸張装置
JPH0927955A (ja) * 1995-07-11 1997-01-28 Matsushita Electric Ind Co Ltd 画像処理装置
JPH09116905A (ja) * 1995-10-24 1997-05-02 Kyocera Corp 画像復号化処理方法
JPH1023431A (ja) * 1996-07-08 1998-01-23 Nec Corp 動画像復号装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU587297B2 (en) * 1985-10-02 1989-08-10 Deutsche Thomson-Brandt Gmbh Correction of transmission errors
KR0166716B1 (ko) 1992-06-18 1999-03-20 강진구 블럭 dpcm을 이용한 부호화/복호화방법 및 장치
KR960014184B1 (ko) 1993-08-31 1996-10-14 대우전자 주식회사 분류 벡터 양자화된 영상의 클라스(Class) 오류 검출 방법
KR960012931B1 (ko) * 1993-08-31 1996-09-25 대우전자 주식회사 분류 벡터 양자화된 영상의 채널 오류 은폐 방법
US5471252A (en) * 1993-11-03 1995-11-28 Matsushita Electric Industrial Corporation Of America Method and apparatus for estimating motion vector fields by rejecting local outliers
KR100197366B1 (ko) * 1995-12-23 1999-06-15 전주범 영상 에러 복구 장치
KR100197368B1 (ko) * 1995-12-23 1999-06-15 전주범 영상 에러 복구 장치
JP3466032B2 (ja) * 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
US20030012286A1 (en) * 2001-07-10 2003-01-16 Motorola, Inc. Method and device for suspecting errors and recovering macroblock data in video coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0346482A (ja) * 1989-07-14 1991-02-27 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像符号化のブロック歪除去方法および装置
JPH04180381A (ja) * 1990-11-14 1992-06-26 Matsushita Electric Ind Co Ltd 画像信号の復号化装置
JPH0879752A (ja) * 1994-08-31 1996-03-22 Sanyo Electric Co Ltd ブロック歪み検出装置
JPH08251422A (ja) * 1995-03-08 1996-09-27 Sharp Corp ブロック歪み補正器及び画像信号伸張装置
JPH0927955A (ja) * 1995-07-11 1997-01-28 Matsushita Electric Ind Co Ltd 画像処理装置
JPH09116905A (ja) * 1995-10-24 1997-05-02 Kyocera Corp 画像復号化処理方法
JPH1023431A (ja) * 1996-07-08 1998-01-23 Nec Corp 動画像復号装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHU W-J ET AL.: "Detection and concealment of transmission errors in H.261 images", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 8, no. 1, 1 February 1998 (1998-02-01), pages 74 - 84
CHUA K C ET AL.: "Error detection and correction of vector quantised digital images", IEE PROCEEDINGS, vol. 137, no. 6, December 1990 (1990-12-01), pages 417 - 423
KIM J W ET AL.: "Error resilient decoding of randomly impaired MPEG-2 bit stream", PROCEEDINGS OF THE SPIE, vol. 2727, 17 March 1996 (1996-03-17), pages 78 - 88

Also Published As

Publication number Publication date
KR20010080299A (ko) 2001-08-22
AU6227999A (en) 2000-05-15
TW450008B (en) 2001-08-11
NO20011957D0 (no) 2001-04-20
US6697433B1 (en) 2004-02-24
NO20011957L (no) 2001-06-12
EP1126725A4 (en) 2006-09-20
EP1126725A1 (en) 2001-08-22
JP2002027475A (ja) 2002-01-25
JP3576402B2 (ja) 2004-10-13

Similar Documents

Publication Publication Date Title
WO2000025523A1 (en) Image decoding device
JP5007012B2 (ja) ビデオ符号化方法
JP5118127B2 (ja) 適応符号器支援フレーム・レート・アップコンバージョン
JP5563042B2 (ja) 適応性のあるビデオフレーム補間
EP0933948B1 (en) Video encoder and video encoding method
JP3933718B2 (ja) 画像を表す信号を処理するシステム
JP3840020B2 (ja) 動画像符号化装置
KR20000050599A (ko) 오류 은폐방법
KR100556450B1 (ko) 움직임 벡터 추정에 의한 오류 복원 방법
JP3519441B2 (ja) 動画像伝送装置
US20050013496A1 (en) Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder
JPH08251596A (ja) 動画像符号化／復号化装置
JP4432582B2 (ja) 動画像情報復元装置、動画像情報復元方法、動画像情報復元プログラム
JPH1093964A (ja) 映像信号のエラー隠ぺい装置
JP3884003B2 (ja) 画像復号化装置
JP4485409B2 (ja) 動画像復号装置
JP2002077922A (ja) 画像制御システム及び画像復号化装置
JP4302093B2 (ja) 動画像符号化装置及び動画像符号化方法
KR100388802B1 (ko) 오류은폐장치및방법
JP4302094B2 (ja) 動画像復号化装置及び動画像復号化方法
KR20050089457A (ko) 동영상 복호화 시 에러 은닉 방법
KR100299962B1 (ko) 동영상 부호화 시스템의 프레임간 적응 평활화 장치 및 방법
JP3756902B2 (ja) 動画像復号化装置及び動画像復号化方法
KR20050099079A (ko) 동영상 복호화 시 에러 은닉 방법
JP3756901B2 (ja) 動画像復号化装置及び動画像復号化方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AL AU BA BB BG BR CA CN CR CU CZ DM EE GD GE HR HU ID IL IN IS KP KR LC LK LR LT LV MA MG MK MN MX NO NZ PL RO SG SI SK SL TR TT TZ UA US UZ VN YU

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 09601404

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1999949350

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020017005073

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1999949350

Country of ref document: EP

Ref document number: 1020017005073

Country of ref document: KR

WWR Wipo information: refused in national office

Ref document number: 1020017005073

Country of ref document: KR