WO2002093935A1 - Image processing apparatus - Google Patents

Image processing apparatus Download PDF

Info

Publication number
WO2002093935A1
WO2002093935A1 PCT/JP2002/004596 JP0204596W WO02093935A1 WO 2002093935 A1 WO2002093935 A1 WO 2002093935A1 JP 0204596 W JP0204596 W JP 0204596W WO 02093935 A1 WO02093935 A1 WO 02093935A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
unit
block
value
block distortion
Prior art date
Application number
PCT/JP2002/004596
Other languages
English (en)
French (fr)
Inventor
Yusuke Monobe
Toshiharu Kurosawa
Akio Kojima
Yasuhiro Kuwahara
Tatsumi Watanabe
Hirotaka Oku
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP02724766A priority Critical patent/EP1401210A4/en
Priority to JP2002590677A priority patent/JP4145665B2/ja
Priority to US10/477,317 priority patent/US7561752B2/en
Publication of WO2002093935A1 publication Critical patent/WO2002093935A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • the present invention relates to an image processing apparatus for processing a restored image obtained by decoding compressed data obtained by compressing data forming an original image.
  • the compression coding technology of image data has been remarkably advanced.
  • the compression coding technology is effective not only for efficient use of storage media, but also for shortening the time required to transmit and receive image data over a network.
  • an irreversible image compression method in which the original image and the restored image do not completely match is used.
  • Many irreversible image compression methods divide image data into multiple blocks in units of MXN pixels, perform orthogonal transformation on each block, quantize the obtained orthogonal transformation coefficients, and then encode them. I have.
  • a typical example of the irreversible image compression method is J PEG, which is widely used as a color still image compression method.
  • the color conversion unit 10 converts the data of each pixel composed of multi-value data (density data) of red (R), green (G), and blue (B) into a luminance component ( Y) and color difference components (C r, C b).
  • RGB space There are several definitions of RGB space, one of which is s.
  • conversion from RGB data to YC r C b data is performed based on the following formula (Equation 1). It is.
  • the DCT converter 11 performs a discrete cosine transform (DCT transform) of the YCrCb data in units of 8 ⁇ 8 pixel blocks.
  • DCT transform discrete cosine transform
  • the DCT conversion is performed based on the following equation (Equation 2).
  • the above X indicates the horizontal position of the original image before DCT conversion in each block
  • the above y indicates the vertical position of the original image before DCT conversion in each block.
  • the above u indicates the horizontal position of the DCT coefficient after DCT conversion in each block
  • the above V indicates the vertical position of the DCT coefficient after DCT conversion in each block.
  • sub-sampling is performed on the chrominance component to increase the compression efficiency.
  • sub-sampling is performed so that one pixel of the chrominance component corresponds to the luminance component of 2 ⁇ 2 pixels. Therefore, for the color difference component, data of 8 ⁇ 8 pixels is thinned out from a block of 16 ⁇ 16 pixels, and DCT conversion is performed.
  • the quantization unit 12 quantizes the DCT coefficient. Assuming that the quantized DCT coefficient is QDCT [V] [u] and the value to quantize each component of the DCT coefficient is Qtable [V] [u], the quantization is based on the following equation (Equation 3). Done.
  • each value of the quantization table 13 is used, which can be set arbitrarily by the user.
  • the human eye has a lower sensitivity to high-frequency components than low-frequency components, and a lower sensitivity to color-difference components than luminance components.
  • a relatively larger value is used for the quantization step value for the high frequency component than for the quantization step value.
  • a relatively large value is used for the quantization step value for the chrominance component than for the luminance component.
  • Figures 2 and 3 show the quantization tables recommended by the JPEG standard method. FIG.
  • FIG. 2 is a quantization table for the luminance component (Y)
  • FIG. 3 is a quantization table for the chrominance components (C r, C b). Since each quantization step value of the quantization table used for quantization is required at the time of decoding, it is stored in the encoded JPEG compressed data.
  • the quantized DCT coefficient is encoded by the entropy encoding unit 14.
  • Huffman coding is used as entropy coding.
  • the above processing is the outline of the encoding processing from image data to JPEG compressed data.
  • the above encoding process is basically performed in reverse order.
  • the procedure of the decoding process will be described.
  • the entropy decoding unit 15 performs entropy decoding on the JPEG compressed data.
  • the inverse quantization unit 16 performs inverse quantization.
  • the inverse quantization unit 16 reads the quantization table 13 used at the time of encoding from the JPEG compressed data, and inversely quantizes each quantization step value of the quantization table 13 to each encoded component. Used as the value to be quantified. That is, the inverse quantization unit 16 uses the inverse quantization table 17 having the same value as each quantization step value of the quantization table 13 used in the encoding as the inverse quantization step value, and Inverse quantization table 1 Each coded component is inversely quantized using the quantization step value.
  • the DCT coefficient after inverse quantization is RDCT [V] [u]
  • the inverse quantization operation is performed based on the following equation (Equation 4).
  • RD CT [V] [u] QDCT [v] [u] XQ tab 1 e [v] [u]
  • the DCT coefficients inversely quantized based on (Equation 4) above are quantized at the time of encoding. Since the values are calculated from the coefficients rounded by the quantization, the DCT coefficients obtained from the original image are not accurately reproduced. However, the exact DCT coefficient obtained from the original image is equal to or more than the lower limit value d DCT [V] [u] shown below (Equation 5) and the upper limit value p DCT [V] [ u].
  • the inverse DCT transform unit 18 After the inverse quantization is performed in this way, the inverse DCT transform unit 18 next performs the inverse DCT transform.
  • this inverse DCT conversion conversion from DCT coefficients to YC r C b data is performed.
  • Y C r C b after the inverse DCT transformation is G [y] [X]
  • the inverse DCT transformation is performed based on the following equation (Equation 7).
  • the color conversion unit 19 performs a color conversion process from the YC r C b data to the RGB data to obtain a restored image.
  • the following equation (Equation 8) is a conversion equation used when converting YC r C b data to s RGB data. (Equation 8)
  • FIG. 4 shows an example of the original image
  • FIG. 5 shows an example of a restored image obtained by JPEG-compressing the original image and decoding the compressed data.
  • mosquito noise shown in Fig. 5.
  • the mosquito noise is a gradation fluctuation that makes it appear that mosquitoes are flying around the edges in the restored image. This is due to the fact that when encoding data, many high-frequency components were lost due to quantization of the DCT coefficients, and the strong edges that existed in the original image were not accurately restored.
  • Block distortion refers to a phenomenon in which gradation is discontinuous at the block boundary of a restored image because encoding processing is performed in units of 8 ⁇ 8 pixels blocks. This noise appears remarkably in the area where the gradation value has changed gradually in the original image.
  • Japanese Patent No. 2962828 discloses that when encoding the original image, the original edge existing in the original image is blocked.
  • a method is disclosed in which information for specifying a block located at a boundary is added to compressed data. Then, at the time of decoding, based on the above information, the restored image is distinguished into blocks in which the original edge existing in the original image is located at the block boundary and blocks other than those described above.
  • the processing to remove the block distortion is performed for the blocks of the original image, and the processing to leave the edges for the blocks located at the block boundaries is performed for the original edge that existed in the original image. is there.
  • the block where the original edge existing in the original image is located at the block boundary is specified. Information needs to be added to the compressed data. For this reason, the coding device adds a function to identify the block where the original edge existing in the original image is located at the block boundary, and adds information to identify the identified block to the compressed data. There is a problem that functions must be provided.
  • the convex projection method refers to a method of alternately and repeatedly performing a smoothing process and a projection process based on constraints. The processing procedure of the convex projection method will be described below with reference to FIG.
  • the constraint condition calculation unit 21 calculates the constraint condition for the projection processing.
  • the above constraint condition is a condition for limiting each DCT coefficient of each block forming an image to be finally output to a range of DCT coefficients which may have been in the original image.
  • the DCT coefficients are quantized in the process of JPEG encoding and decoding. As described in the description of the JPEG decoding process, the DCT coefficients before quantization have the lower limit d It is guaranteed that it is equal to or more than DCT [v] [u] and less than the upper limit p DCT [v] [u]. For this reason, the constraint condition calculation unit 21 calculates the lower limit value d DCT [V] [u] and the upper limit value pDCT [V] [u] indicating the variable range of the DCT coefficient as the constraint condition in the projection processing. (See (Equation 5) and (Equation 6) above).
  • the smoothing processing section 22 performs filter processing on the restored image to smooth it uniformly.
  • the smoothed image data is color-converted into YCrCb data by the color conversion unit 23, and then DCT-converted by the DCT conversion unit 24.
  • the projection processing unit 25 calculates the lower limit value d DCT [V] [u] and the upper limit value p DCT [V] of the DCT coefficients calculated by the constraint condition calculating unit 21. u], and perform projection processing. That is, if the DCT coefficient calculated by the DCT conversion unit 24 is smaller than the lower limit d DCT [v] [u] or equal to or larger than the upper limit pDCT [V] [u], the DCT coefficient is changed to a variable range. Round to the limit value.
  • the projection processing unit 25 converts the DCT coefficient into the lower limit d DCT [V ] [u], and if it is equal to or more than the upper limit value p DCT [V] [u], the projection processing unit 25 replaces the DCT coefficient with the upper limit value p DCT [v] [u] .
  • the color conversion unit 27 color-converts the YC r C b data into RGB data.
  • the end determination unit 28 determines whether to end or continue the noise removal processing. When it is determined that the processing is to be continued, the components from the smoothing processing unit 22 to the color conversion unit 27 repeat the same processing again.
  • FIG. 7 shows an image obtained by processing the restored image of FIG. 5 by the conventional convex projection method. As shown in Fig. 7, by repeating the smoothing process and the projection process based on the constraint conditions, the noise existing in the restored image was reduced without generating large blur. I understand.
  • the end determination unit 28 does not repeat the smoothing process and the projection process a preset number of times, but repeats the smoothing process and the projection process based on the evaluation index obtained from the image. May be determined. As an example, the end determination unit 28 terminates the smoothing process and the projection process when the amount of change in the image after performing the smoothing process and the projection process in each iterative process decreases. You may do so. Specifically, if the image after the k-th processing is expressed as f k (X, y), and the image after the k + 1-th processing is expressed as f k + i (x, y), the k + 1 processing The amount of change E of the image at is calculated by the following equation (Equation 9).
  • the end determination unit 28 determines to end the smoothing processing and the projection processing.
  • Japanese Patent Laid-Open No. 7-175018 discloses that an image is divided into a plurality of small areas by sequentially connecting pixels having a pixel value change smaller than a predetermined value with respect to adjacent pixels. In contrast to this, there is disclosed a technique in which each small area is not necessarily of the same size.) And the smoothing process is performed in each area. When this method is used, the region is divided at the edge portion, so that the smoothing process is not performed across the edge, and there is an effect that the blur at the edge portion can be relatively suppressed.
  • the region may be divided by the discontinuity of the gradation generated at the block boundary as the block distortion.
  • the block distortion cannot be reduced, and the block distortion is reduced. Will remain.
  • an object of the present invention is to provide an image processing apparatus capable of suppressing blur at an edge portion and removing block distortion in consideration of the above-described conventional problems.
  • the original edge added to the compressed data and existing in the original image is blocked.
  • the block in the restored image to be subjected to the block distortion removal processing is specified.
  • the value of the pixel a 1 of the corner a in the block of interest X, and the three blocks L, LU, and U adjacent to the block of interest X respectively
  • the values of the pixels a 2, a 3, and a 4 at the corner a are averaged, and the averaged value is estimated as the value of the pixel a 1 at the corner a in the block X of interest.
  • the value of the pixel a 1 in the restored image is subtracted from the estimated value of the pixel a 1, and the value is regarded as the correction amount for the pixel a 1.
  • the correction is performed for the pixels bl, cl, and dl located at the corners b, c, and d in the block of interest X, respectively. Calculate the amount.
  • the amount of correction for the pixels al, bl, cl, and dl is weighted according to the distance from the pixels a1, bl, cl, and dl, and averaged by weighting.
  • the correction amount of each pixel in the block X is calculated.
  • the calculated correction amount of each pixel is added to the value of the corresponding pixel of the restored image to obtain an image with reduced block distortion.
  • each corner of the block of interest X the pixel value of the corner in the block of interest X and the pixel value of each of the corners of three adjacent blocks all have the same value.
  • each corner of each block has the same pixel value, and a problem occurs that a smooth gradation change is not reproduced at each corner of each block.
  • an object of the present invention is to provide an image processing apparatus that reproduces a smooth gradation change at each corner of each block constituting a restored image and removes block distortion.
  • Japanese Patent Application Laid-Open No. 8-214309 discloses a technique of switching a smoothing filter in accordance with a compression ratio of compressed data to an original image and performing a filtering process on a restored image.
  • the magnitude of the adverse effects of noise such as mosquito noise and block distortion on the visual sense depends not only on the strength of compression of the compressed data to the original image, but also greatly on the output size of the restored image. .
  • the above noise is very conspicuous and has a large adverse effect on the visual image.On the other hand, when the restored image is reduced and output, the noise becomes less conspicuous and the visual adverse effect is reduced. .
  • the present invention provides an image processing apparatus that performs efficient noise removal processing suitable for outputting a restored image in consideration of the above-described conventional problems and a magnification when outputting the restored image.
  • the purpose is to do. Disclosure of the invention
  • an image processing apparatus is an apparatus for processing a restored image obtained by decoding compressed data obtained by compressing data forming an original image.
  • the image processing apparatus further includes an area specifying unit that specifies a block distortion area to which the block distortion removal processing is applied in the restored image.
  • the image processing apparatus of the present invention further includes a block distortion region noise removing unit that performs a noise removal process on the block distortion region specified by the region specifying unit.
  • an image processing method of the present invention is a method of processing a restored image obtained by decoding compressed data obtained by compressing data forming an original image, wherein the restored image includes And a region specifying step of specifying a block distortion region to which block distortion removal processing is applied.
  • the image processing method of the present invention further includes a block distortion region noise removing step of performing a noise removal process on the block distortion region specified in the region specifying step.
  • an image processing apparatus of the present invention is an apparatus for processing a restored image obtained by decoding compressed data obtained by compressing a data forming an original image, and An enlargement ratio detection unit that detects an enlargement ratio of an output image with respect to the image; and an enlargement ratio detected by the enlargement ratio detection unit. It is characterized by having a noise removing unit for removing existing noise.
  • the image processing device of the present invention also includes an image enlargement unit that enlarges the restored image from which noise has been removed by the noise removal unit based on the enlargement ratio detected by the enlargement ratio detection unit. I have.
  • an image processing method of the present invention is a method of processing a restored image obtained by decoding compressed data obtained by compressing data forming an original image, comprising: An enlargement ratio detection step for detecting an enlargement ratio of an image; and a noise removal step for removing noise present in the restored image based on the enlargement ratio detected in the enlargement ratio detection step. are doing.
  • the image processing method according to the present invention also includes an image enlargement step for enlarging the restored image from which noise has been removed in the noise removal step based on the enlargement ratio detected in the enlargement ratio detection step.
  • FIG. 1 is a diagram showing a JPEG encoding and decoding processing procedure.
  • FIG. 2 is a diagram showing a quantization table recommended by the JPEG standard method for luminance components.
  • FIG. 3 is a diagram showing a quantization table recommended by the JPEG standard method for color difference components.
  • FIG. 4 is a diagram showing an example of the original image.
  • FIG. 5 is a diagram showing a restored image obtained by decoding the JPEG compressed data of the original image of FIG.
  • FIG. 6 is a diagram showing a convex projection method processing procedure.
  • FIG. 7 is a diagram showing an image obtained by subjecting the restored image shown in FIG. 5 to conventional convex projection processing.
  • FIG. 8 is a diagram for explaining conventional block distortion removal processing.
  • FIG. 9 is a diagram illustrating a configuration and a processing procedure of the image processing apparatus according to the first embodiment.
  • FIG. 10 is a diagram for explaining a method of specifying a block distortion region.
  • FIG. 11 is a diagram for explaining a method of specifying a block distortion region.
  • FIG. 12 is a diagram for explaining a method of specifying an edge region.
  • FIG. 13 is a diagram for explaining a block intersection.
  • FIG. 14 is a diagram showing the internal configuration of the block distortion region noise elimination unit 104.
  • FIG. 15 is a diagram for explaining the density of block intersection pixels.
  • FIG. 16 is a diagram for explaining pixel values in the block distortion region X to be processed.
  • FIG. 17 is a diagram illustrating an image from which block distortion has been removed by the image processing apparatus according to the first embodiment.
  • FIG. 18 is a diagram illustrating a configuration and a processing procedure of another image processing apparatus according to the first embodiment.
  • FIG. 19 is a diagram illustrating a configuration and a processing procedure of the image processing apparatus according to the second embodiment.
  • FIG. 20 is a diagram illustrating an example of a fill-in determination table.
  • FIG. 21 is a diagram illustrating an example of the filter determination table.
  • FIG. 22 is a diagram illustrating an example of the filter determination table.
  • FIG. 23 is a diagram showing an internal configuration of the configuration of the noise removing unit 305.
  • FIG. 24 is a diagram illustrating a configuration and a processing procedure of the block distortion region noise elimination unit 401.
  • FIG. 25 is a diagram for explaining the block distortion removal processing.
  • FIG. 26 is an explanatory diagram of a process for removing block distortion at the left and right block boundaries of the block distortion region.
  • FIG. 27 is a diagram for explaining the block distortion removal processing.
  • FIG. 28 is an explanatory diagram of the processing for removing the block distortion at the upper and lower block boundaries of the block distortion area.
  • FIG. 9 shows a configuration and a processing procedure of the image processing apparatus according to the first embodiment.
  • the DCT transform unit 101 transforms the restored image obtained from the JPEG compressed data by DCT, and the constraint condition calculating unit 102 uses it in the projection processing. Is calculated. Note that the constraints calculated here are the same as the constraints used in the ordinary convex projection method.
  • the DCT transform coefficient is an example of the orthogonal transform coefficient.
  • the area specifying unit 103 specifies a “block distortion area”, an “edge area”, and a “homogeneous area” in the restored image decoded from the JPEG compressed data.
  • the area specifying unit 103 divides the restored image into three areas: a “block distortion area”, an “edge area”, and a “homogeneous area”.
  • the region specifying unit 103 first specifies a “block distortion region” in the restored image, and specifies an “edge region” from the region excluding the “block distortion region” in the restored image. Then, an area that does not belong to the block distortion area or the edge area is specified as a “homogeneous area”.
  • the value of the quantization table is set to be larger for the chrominance component than for the luminance component.
  • the amount is significantly degraded compared to the luminance component. Therefore, in the first embodiment, the RGB data of the restored image is color-converted into YC r C b data, and only the luminance component (Y) is used to convert the RGB data into the “block distortion area” and “edge area”. ”, And“ homogeneous region ”.
  • the area where the block distortion is obstructive and needs to be corrected is the area where the gradation value changes gradually in the original image. That is, it is a region that does not contain much high-frequency components. Therefore, the area specifying unit 103 performs DCT conversion on all blocks constituting the restored image, and performs a plot in which all DCT coefficient values equal to or higher than a predetermined frequency (order) are equal to or lower than a predetermined predetermined value.
  • the block is identified as a block distortion region. For example, as shown in FIG. 10, the region specifying unit 103 specifies a block in which the values of DCT coefficients of the third order or higher are all zero as a block distortion region.
  • the block specified as a block distortion region is subjected to noise removal processing by a method described later.
  • the mosquito noise generated in the block adjacent to the block specified as the area may cause the correction amount of each pixel value in the block specified as the block distortion area to be an inappropriate value.
  • the region specifying unit 103 sets a predetermined frequency (order) or higher among DCT coefficient values in a block having a predetermined value or less. It is preferable to identify a block surrounded by only blocks in which all DCT coefficient values equal to or higher than the frequency (order) are equal to or lower than a predetermined value as a block distortion region.
  • the region identifying unit 103 determines, among the blocks whose DCT coefficients satisfy the conditions shown in FIG. 10, only the blocks surrounded by only the blocks whose DCT coefficients satisfy the conditions shown in FIG. 10, It is preferable to specify a block distortion region.
  • a certain block of interest X is a block in which all DCT coefficient values equal to or higher than a predetermined frequency (order) are equal to or lower than a predetermined value.
  • the DCT coefficient of the block of interest X is such that only the DC component, the primary AC component, and the secondary AC component have arbitrary values as shown in FIG.
  • the block is zero.
  • all of the eight blocks LU, U, RU, L, R, LD, D, and RD surrounding the block of interest X have a predetermined frequency (order, as shown in FIG.
  • FIG. 12 is a diagram showing a configuration unit for specifying an edge region in the region specifying unit 103. As shown in FIG.
  • the smoothing processing unit 201 performs a smoothing process using a Gaussian filter or the like on the restored image decoded from the JPEG compressed data.
  • the restored image contains much noise, and it is necessary to reduce the noise.
  • the secondary differential filter processing unit 202 performs a secondary differential filter process (for example, a Laplacian filter process) on the image smoothed by the smoothing processing unit 201, and thereafter,
  • the edge candidate pixel detection unit 203 detects an edge candidate pixel using the zero-crossing method.
  • a major feature of the detection method using the zero-crossing method is that the center of the edge can be detected with high accuracy.
  • edge candidate pixels include pixels having an edge component caused by block distortion or mosquito noise.
  • the edge candidate pixel detection unit 203 uses the zero-crossing method to change the value from positive to negative or from negative to positive in the second derivative filter processing result (for example, Laplacian filter processing result). This is because all the existing pixels are detected. In other words, the edge candidate pixel detection unit 203 determines that the value changes from positive to negative or negative from the second derivative filter processing result (for example, the Laplacian filter processing result) even if the gradation change is extremely small. If the pixel changes to positive, all of the pixels are detected as edge candidate pixels.
  • the block distortion edge specifying unit 204 sets the edge candidate pixel detecting unit 2
  • an edge candidate pixel caused by block distortion is specified. For example, if an edge candidate pixel located at a block boundary and not adjacent to an edge candidate pixel located inside the block is an edge candidate pixel caused by block distortion, the block distortion edge characteristic Set part 204 is specified.
  • the mosquito noise edge specifying unit 205 selects the edge candidate pixel detecting unit 205.
  • the edge candidate pixels caused by mosquito noise are specified. If a strong edge exists in a block in the original image, a weak gradation fluctuation around the original edge, that is, mosquito noise occurs in the restored image. Therefore, if there is an edge candidate pixel having a relatively high edge intensity and an edge candidate pixel having a relatively low edge intensity in the same block, the pixel having a relatively low edge intensity is caused by mosquito noise. It is highly likely that the pixel is an edge candidate pixel.
  • the mosquito noise edge identification unit 205 examines the connectivity of the four neighborhoods with respect to the edge candidate pixels detected in each block. Specifically, the mosquito noise edge identification unit 205 examines the pixels located at the top, bottom, left, and right of the detected edge candidate pixels, and when an edge candidate pixel exists in these, It is determined that those edge candidate pixels are connected. In this way, as a result of examining the connectivity in the vicinity of 4 for all edge candidate pixels in the block, it is the total convenience of edge candidate pixels that were finally determined to be connected in each block. Are called connected edge candidates. If there are a plurality of connected edge candidates in the same block, the mosquito noise edge specifying unit 205 uses a level filter (Sobe1Fi1ter) to determine the edge of each edge candidate pixel.
  • Sobe1Fi1ter level filter
  • the average value is calculated for each connected edge candidate.
  • the mosquito noise edge specifying unit 205 determines that the average value is relatively weaker than the predetermined ratio in the same block. All the pixels constituting the edge candidate are specified as edge candidate pixels caused by mosquito noise. For example, when the average value of the edge strength of a certain connected edge candidate is less than 80% of the connected edge candidate having the highest average edge strength in the same block, the mosquito noise edge specifying unit 20 5 specifies all pixels constituting the connected edge candidate as edge candidate pixels caused by mosquito noise.
  • the minute gradation change edge identifying unit 206 detects edge candidate pixels whose absolute edge intensity is smaller than a predetermined value among the edge candidate pixels detected by the edge candidate pixel detecting unit 203.
  • the minute gradation changing edge specifying unit 206 calculates the edge strength of each edge candidate pixel by a process using a Sobel filter, and determines a pixel whose strength is equal to or less than a predetermined value to a small scale. It is specified as a tonal change pixel.
  • the edge pixel specifying unit 207 determines, from the edge candidate pixels detected by the edge candidate pixel detecting unit 203, an edge candidate pixel caused by the block distortion specified by the block distortion edge specifying unit 204, Pixels excluding the edge candidate pixel caused by the mosquito noise specified by the mosquito noise edge specifying unit 205 and the minute gradation changing pixel specified by the minute gradation changing edge specifying unit 206 are edge pixels. And specify.
  • the edge region specifying unit 208 specifies an edge region in the restored image based on the edge pixel specified by the edge pixel specifying unit 207.
  • the edge pixel specified by the edge pixel specifying unit 207 is a pixel located at the center of the edge, and the surrounding pixels adjacent to this pixel also have a relatively sharp gradation change in the original image. Probability is high.
  • the edge region specifying unit 208 specifies a region including a plurality of pixels within a predetermined distance range from the edge pixel specified by the edge pixel specifying unit 207 as an edge region.
  • the block distortion edge identification unit 204 identifies the edge candidate pixel caused by the block distortion, and then the mosquito noise edge identification unit 205 identifies the edge candidate pixel caused by the mosquito noise. Thereafter, the minute gradation change edge specifying unit 206 specifies the minute gradation change pixel.
  • the order of specifying the edge candidate pixels caused by block distortion, the edge candidate pixels caused by mosquito noise, and the minute gradation change pixels is not limited.
  • the region specifying unit 103 determines the region that does not belong to the block distortion region or the edge region in the restored image. Is identified as a homogeneous region.
  • This homogeneous area is an area composed of an area where mosquito noise occurs in the restored image and an area where the gradation value changes relatively smoothly.
  • the block distortion region noise removing unit 104 and the edge region noise removing unit 100 5 perform image processing corresponding to the block distortion region, the edge region, or the homogenous region.
  • the block distortion region in which the block distortion is obstructive is a region where the gradation gradually changes mainly in the original image. This is due to the fact that encoding is performed independently on a block-by-block basis, so that the continuity of gradation is no longer maintained at the boundary between adjacent blocks due to quantization.
  • To remove this block distortion simply performing smoothing by simple fill-in processing will result in discontinuities in gradation. It is difficult to eliminate sex. For this reason, special processing is required to effectively remove block distortion.
  • a block distortion removal method for effectively removing block distortion by applying pixel interpolation will be described below.
  • the processing procedure of the block distortion removal method according to the first embodiment will be described with reference to FIGS. 13 to 16.
  • a block intersection a point at which four blocks intersect when a restored image is divided into blocks of 8 ⁇ 8 pixels. This point corresponds to the block intersection point 180 (180A to 180D) in FIG.
  • the virtual pixel density (pixel value) at each block intersection 180 is referred to as the density of the block intersection pixel.
  • FIG. 14 shows the internal configuration of the block distortion region noise elimination unit 104.
  • the block intersection pixel density assigning section 160 calculates the density of the block intersection pixels.
  • the density of the block intersection pixels is individually given from four blocks adjacent to each block intersection 180 of each block distortion area specified by the area specifying unit 103. That is, each block intersection 180 is given the density of four block intersection pixels.
  • FIG. Figure 15 shows that the block distortion area to be processed (8 x 8 pixel block) X has 8 block distortion areas (8 x 8 pixel block) LU, U, RU, L, R, LD, D , RD. At each corner of the block distortion region X to be processed, as shown in FIG. 15, there are block intersections 180 (180A to 180D).
  • the block intersection 18 OA is given the density A [4] of the block intersection pixel calculated from the pixels belonging to the block distortion area X to be processed.
  • the block intersection 180 A has a block intersection pixel density A [1] calculated from pixels belonging to the block distortion region LU at the upper left of the block distortion region X, and a block distortion above the block distortion region X.
  • the density A [2] of the pixel at the block intersection calculated from the pixels in the area U and the block distortion area X
  • each block intersection 180 (180A to 180D) at each corner of the block distortion region X to be processed has four blocks surrounding the block intersection 180, respectively.
  • the densities of the four block intersection pixels calculated from the pixels belonging to are given.
  • the block intersection pixel density imparting unit 160 targets the pixels whose distance from the block intersection 180 is within a certain value for each block intersection 180 at each corner of the block distortion region X to be processed. Then, the pixel value of the pixel is weighted and averaged according to the reciprocal of the distance from the block intersection 180 to calculate the density of the block intersection pixel.
  • the block intersection pixel density assigning section 160 calculates the average value of the pixels whose Euclidean distance from the block intersection 180 is within 2 using the reciprocal of the Euclidean distance as a weight, and calculates the average value.
  • Is assigned to the block intersection 180 as the density of the block intersection pixel As an example, a method of calculating the density A [4] of block intersection pixels at block intersection 180 A using pixel values in the block distortion region X to be processed will be described.
  • the pixel density A [4] is calculated based on the following equation (Equation 10).
  • a [4] 2xf (0'0) +7 "2 //" 5x (f (l, 0) + f (0, l)) I (2 +, 2 / + 2 // ⁇ 5)
  • f (0, 0), f (1, 0), f (0, 1) are within 2 Euclidean distances from the block intersection point 180A in the block distortion region X of the processing target shown in Fig. 16.
  • the block intersection pixel density assigning unit 160 assigns the density of the four block intersection pixels to each of the four block intersections 180 A to 180 D surrounding the block distortion area X to be processed. I do.
  • the corner correction amount calculation section 1661 calculates the correction amount of each block intersection 180 using the density of the block intersection pixel assigned to each block intersection 180.
  • the correction amount of each block intersection 180 is referred to as the density correction amount of the block intersection pixel.
  • the corner correction amount calculation unit 161 calculates the density of four block intersection pixels for each block intersection 180 (for example, at the block intersection 180A, A [1] to A [4] ), The density of block intersection pixels calculated from the pixels in the block distortion region X to be processed (for example, at block intersection 180 A, A [4]) is subtracted, and the block intersection pixels are subtracted. Is calculated.
  • a method of calculating the density correction amount of the block intersection pixel will be described with an example of calculating the density correction amount of the block intersection pixel at the block intersection 180A.
  • the density correction amount d A of the block intersection pixel is calculated based on the following equation (Equation 11).
  • the correction amount calculation unit 16 2 The correction amount (pixel value correction amount) of each pixel in the block distortion region X to be processed is calculated based on the density correction amount of the block intersection pixel at each of the four block intersection points 180 surrounding the distortion region X. . Specifically, the density correction amounts of the block intersection pixels at the block intersections 180 A to 180 D are dA, d B, d C, and d D, respectively.
  • the correction amount calculation unit 162 calculates the above dA, dB, dC, dD Each is weighted and averaged by the reciprocal of the Euclidean distance between each of the block intersections 180 A to 180 D and the center of the pixel, and the weighted average value is used as the correction amount of the pixel.
  • dA, dB, dC, dD Each is weighted and averaged by the reciprocal of the Euclidean distance between each of the block intersections 180 A to 180 D and the center of the pixel, and the weighted average value is used as the correction amount of the pixel.
  • the pixel value correction unit 163 calculates the above equation (Equation 1 2 )), A new pixel value is obtained by adding the pixel value correction amount g (X, y) calculated to the corresponding pixel value in the block distortion region X to be processed. Thus, the noise removal processing in the block distortion region is performed.
  • the above-described block distortion removal processing is very effective as a method for removing block distortion that has occurred in a region where the gradation changes gradually.
  • the values of the four pixels surrounding the corner at each corner of the block distortion area X to be processed are not the same.
  • the block distortion region As described in the description of the method of specifying the block distortion region by the region specifying unit 103, in the block distortion region, all the values of the DCT coefficient having a predetermined frequency (order) or more are predetermined. Among the blocks having a predetermined value or less, the blocks surrounded by only those blocks having all DCT coefficient values equal to or higher than a predetermined frequency (order) are equal to or lower than a predetermined value. Is preferred.
  • Blocks adjacent to the block distortion region specified in this manner are unlikely to contain edges. As described above, mosquito noise is often present around the edge, but if no edge is included, it is unlikely that mosquito noise is present. Therefore, the pixel value near the block intersection of the block adjacent to the block distortion region specified as described above is rarely locally inappropriate due to the influence of mosquito noise. Therefore, it is possible to avoid that the density correction amount of the block intersection pixel becomes an inappropriate value. In addition, by performing the above-described block distortion removal processing individually for each of the RGB components in the restored image, all the color components can be corrected.
  • the edge area noise removing unit 105 is configured to remove the edge area specified by the area specifying unit 103, that is, the area formed by the original edge pixels existing in the original image and the surrounding pixels. Edge-preserving smoothing such as median fill processing is performed on each RGB color component of each pixel to reduce noise while leaving edges.
  • the edge area noise removing unit 105 performs edge-preserving smoothing processing such as median fill processing on the edge area, and removes noise while retaining the edge. It is.
  • the homogeneous area specified by the area specifying unit 103 is composed of an area where mosquito noise is generated in the restored image and an area where the gradation value is relatively smoothly changed. You. In an area where the gradation change is smooth, adjacent pixels have similar pixel values, so that even if a strong smoothing process is performed, the change amount of the pixel value is small and the influence on the image quality is small.
  • the homogeneous region noise elimination unit 106 performs a smoothing process using FIR (Finite I mulse Response) for each of the RGB color components of each pixel forming the homogeneous region, and a 3 ⁇ 3 A strong smoothing process that uses the simple average of neighboring pixels as a new pixel value is performed to reduce mosquito noise.
  • FIR Finite I mulse Response
  • the restored image is analyzed, and the restored image is divided into three regions: a block distortion region, an edge region, and a homogeneous region, and noise removal processing suitable for each region is performed.
  • Strongly occurring block distortion can be effectively removed while retaining the original edges that existed in the image.
  • projection processing based on the constraint conditions calculated by the constraint condition calculation unit 102 is performed on the image on which noise removal processing has been performed for each area.
  • color conversion is performed on the image data composed of the color conversion unit 107 RGB to YCrCb data.
  • the DCT transform unit 108 performs a DCT transform on the YC r C b data, and projects based on the constraints calculated by the projection processing unit 109 and the constraint condition calculating unit 102. Perform processing.
  • the inverse DCT transform unit 110 restores the rounded DCT coefficients to image data composed of YC r C b by inverse DCT transform, and the color transform unit 111 converts the YC r C b data to RGB. The restored image is obtained by color conversion into data.
  • the end determination unit determines whether to end or continue the noise removal processing. If the end determination unit 112 determines that the processing has ended, the processing ends, and an image from which noise has been removed is output. On the other hand, if it is determined that the processing has not been completed, the area specifying unit 103 returns to the procedure of specifying the block distortion area, the edge area, and the homogeneous area, and repeats the subsequent processing.
  • the luminance component (Y) is often coded by subsampling (subsampling) the information of the chrominance components (Cr, Cb).
  • one chrominance component pixel is assigned to a luminance component of 2 ⁇ 2 pixels.
  • the conversion unit 1108 performs DCT conversion on the sub-sampled data to calculate DCT coefficients
  • the projection processing unit 1109 calculates the DCT coefficients of the luminance component and the color difference component. Perform projection processing for each.
  • the processing unit 109 projects the color difference components using the values of the constraint conditions corresponding to the sub-sampled data.
  • the inverse DCT transform unit 110 performs an inverse DCT transform on the projected DCT coefficients, performs an inverse transform of the sub-sampling, and obtains the data of the chrominance components being thinned out. Interpolation is performed up to the same number of pixels as the luminance component. With the above processing, similar noise removal processing can be realized even when sub-sampling was performed during JPEG encoding.
  • FIG. 17 shows an image obtained by processing the restored image shown in FIG. 5 by the image processing apparatus according to the first embodiment.
  • the unsightly block distortion is sufficiently removed by the image processing by the image processing apparatus of the first embodiment.
  • the image processing apparatus according to the first embodiment performs the image processing according to the first embodiment described above so that the original edge existing in the original image is not dulled.
  • the annoying block distortion present in the restored image shown in FIG. 5 can be sufficiently removed.
  • the image processing apparatus according to the first embodiment can also remove mosquito noise.
  • the same processing can be performed for a monochrome halftone image.
  • the processing of the color conversion unit 107 and the color conversion unit 111 is omitted, and the area specifying unit 103 uses the grayscale value of the monochrome image to generate the block distortion area, the edge area,
  • the block noise region noise elimination unit 104, the edge region noise elimination unit 105, and the homogenous region noise elimination unit 106 determine the block distortion region, the edge region, and the homogenous region. Then, the same processes as those described above are performed.
  • the region identifying unit 103 identifies only the block distortion region in the restored image, and the block distortion region noise removing unit 104
  • the noise removal processing performed by the block distortion area noise removing unit 104 may be performed.
  • the homogeneous area noise removing unit 106 may perform the noise removing processing performed by the homogeneous area noise removing unit 106 in the above-described first embodiment. Even in this case, unsightly block distortions present in the restored image can be effectively removed.
  • the homogenous area noise removing unit 106 performs strong smoothing processing on the area other than the block distortion area, the original edge existing in the original image becomes dull.
  • the area specifying unit 103 determines that the block in which all the DCT coefficient values equal to or higher than the predetermined frequency (order) are equal to or lower than the predetermined predetermined value is a block distortion. It was specified as an area.
  • all DCT coefficient values equal to or higher than a predetermined frequency (order) are used in advance. It is preferable to specify a block surrounded by only blocks having a predetermined value or less as a block distortion region.
  • the area specifying unit 103 may specify the block distortion area as described later.
  • the region specifying unit 103 first specifies the edge pixels in the plurality of blocks constituting the restored image as described above, and the possibility that an edge exists in the original image may be determined. Identifies a block as an edge block. Then, the area specifying unit 103 determines, among blocks in which all DCT coefficient values equal to or higher than a predetermined frequency (order) are equal to or lower than a predetermined value, blocks that are not adjacent to the edge of the edge. And may be specified as a block distortion region.
  • a block that is not adjacent to an edge block is identified as a block distortion region.
  • the mosquito noise due to the edge does not exist in the block adjacent to the block distortion region.
  • the pixel value near the block intersection of the block adjacent to the block distortion region is rarely locally inappropriate due to the influence of mosquito noise, and the density correction amount of the block intersection pixel is inappropriate. Value can be avoided.
  • the block distortion is removed, and the pixel value of each pixel in the block distortion region is removed. Can be appropriately corrected.
  • the region identifying unit 103 may first identify an edge pixel among a plurality of blocks constituting the restored image as described above, and an edge may exist in the original image. Identify the block as an edge block. Then, the region specifying unit 103 may specify a block other than the edge block in the restored image that is not adjacent to the edge block as a block distortion region. In this case as well, mosquito noise due to edges does not exist in the block adjacent to the block distortion region, and the pixel value near the block intersection of the block adjacent to the block distortion region is affected by the mosquito noise. Is rarely locally inappropriate. Therefore, it is possible to prevent the density correction amount of the block intersection pixel from being an inappropriate value.
  • the block distortion can be removed and the pixel value of each pixel in the block distortion region can be appropriately corrected.
  • blocks other than the edge blocks in the restored image and adjacent to the edge block are regarded as a homogeneous region, and the homogeneous region noise elimination unit 106 for the homogeneous region is Perform strong smoothing processing.
  • the area specifying unit 103 performs DCT conversion on all blocks constituting the restored image, and determines all DCT coefficient values having a predetermined frequency (order) or higher in advance.
  • a block having a value equal to or less than the predetermined value is specified as a block distortion region.
  • the region identification unit 103 does not perform DCT conversion on each block constituting the restored image, but decodes and inversely quantizes the JPEG compressed data block by block and obtains a DCT of a predetermined frequency or higher.
  • a block in which all of the coefficient values are equal to or less than a predetermined value may be specified as a block distortion region.
  • the region specifying unit 103 may specify a block that is not adjacent to an edge block as a block distortion region.
  • a block in which the true edge of the original image is located at the block boundary may exist in the block distortion area specified by the area specifying unit 103.
  • each pixel in the block distortion area X to be processed is calculated using the density of the block intersection pixel calculated from the pixel value of the block crossing the edge. If you correct the value, the edges that were at the block boundaries will be completely lost.
  • the density of the block intersection pixel calculated from the pixels in the block distortion area X to be processed and the processing target If the difference between the block distortion area X and the density of block intersection pixels calculated from pixels in three adjacent blocks exceeds a predetermined value, the block intersection pixel X The density correction amount of the block intersection pixel is calculated without using the density.
  • the density of the block intersection pixel is calculated so as to be significantly different from the density of the block intersection pixel calculated from the pixels in the block distortion area X to be processed, the edge of the block boundary in the original image Is determined, and the density of the block intersection pixels calculated from the pixels in the block distortion area X to be processed is subtracted from the average value of the density of the remaining three or less block intersection pixels, The density correction amount of the block intersection pixel is calculated.
  • FIG. 19 shows the configuration and processing procedure of the image processing apparatus according to the second embodiment. The operation of the image processing apparatus according to the second embodiment will be briefly described.
  • the decoding unit 301 decodes the JPEG compressed data to generate a restored image. obtain.
  • the compression ratio detector 302 detects the compression ratio when the restored image has been JPEG-compressed.
  • the enlargement ratio detection unit 303 detects the enlargement ratio when outputting the restored image.
  • the processing content determination unit 304 determines the content of the noise removal processing based on the compression ratio detected by the compression ratio detection unit 302 and the enlargement ratio detected by the enlargement ratio detection unit 303. To determine.
  • the noise elimination unit 3005 performs a noise elimination process on the restored image based on the content determined by the processing content determination unit 304.
  • the image enlargement unit 303 performs an image enlargement process based on the enlargement ratio detected by the enlargement ratio detection unit 303.
  • the decoding unit 301 performs a decoding process from JPEG compressed data to image data. This decoding process is realized by the processes from the entropy decoding unit 15 to the color conversion unit 19 in FIG. 1 described above.
  • the decoding unit 301 detects the compression rate of the data amount of the JPEG compressed data before decoding and the data amount of the image data after decoding.
  • the compression ratio detection unit 302 detects the compression ratio when the restored image has been JPEG-compressed based on the information transferred from the decoding unit 301. For example, the compression ratio detection unit 302 detects the compression ratio when the restored image is JPEG-compressed from the ratio of the data amount after decoding to the data amount before decoding.
  • the enlargement ratio detection unit 303 detects the enlargement ratio when outputting the restored image. For example, the enlargement ratio detection unit 303 detects the enlargement ratio of the output image with respect to the restored image from the relationship between the number of pixels of the restored image, the resolution of the output device, and the output image size. Specifically, when a restored image of VGA (Video Graphics Array, 64 0 X 48 0 pixe 1 s) size is output in A4 size at a resolution of 600 dpi, it is enlarged. The ratio becomes about 8 times in each of the vertical and horizontal directions.
  • VGA Video Graphics Array, 64 0 X 48 0 pixe 1 s
  • the processing content determination unit 304 based on the compression ratio detected by the compression ratio detection unit 302 and the enlargement ratio detected by the enlargement ratio detection unit 303, The content of the noise removal processing performed by the 305 is determined.
  • the processing content determination unit 304 has a file determination table indicating a predetermined relationship between the compression ratio and the enlargement ratio and the file size as shown in FIG.
  • the filter determination table indicates a predetermined relationship between the compression ratio and the enlargement ratio and the filter size when there are three levels of the compression ratio and the enlargement ratio, respectively.
  • the processing content determination unit 304 selects the compression ratio detected by the compression ratio detection unit 302 and the expansion ratio detected by the expansion ratio detection unit 303. Select a filter that is uniquely determined by the rate.
  • the processing content is determined.
  • the unit 304 selects the filter “B-1” as a filter to be used by the noise removing unit 305.
  • the compression ratio level 1 has a higher compression ratio than the compression ratio level 2, and the compression ratio level 2 has a higher compression ratio than the compression ratio level 3. It also states that enlargement level 1 is higher than enlargement level 2 and enlargement level 2 is higher than enlargement level 3. Also, for example, enlargement level 1 is the level when the restored image is output by multiplying both vertically and horizontally by 8 times, and enlargement level 2 is the case when the restored image is output by 4 times both vertically and horizontally.
  • the enlargement ratio level 3 is a level when the restored image is output in the same size.
  • the processing content determination unit 304 may have a filter determination table shown in FIG. 21 or 22 instead of the filter determination table shown in FIG. In this case, the processing content determination unit 304 determines the compression ratio detected by the compression ratio detection unit 302 and the enlargement ratio detection unit 304 according to the file determination table shown in FIG. 21 or FIG. Select a filter that is uniquely determined by the enlargement factor detected by 3.
  • the filter determination table of FIG. 20 shows the relationship between the compression ratio and the enlargement ratio and the filter size when the filter coefficients are all the same and the sizes differ according to the compression ratio and the enlargement ratio.
  • the filter determination table of FIG. 21 shows the relationship between the compression ratio and the enlargement ratio and the filter coefficient when the filter sizes are all equal and the coefficients differ according to the compression ratio and the enlargement ratio.
  • the filter determination table of FIG. 22 shows the relationship between the compression ratio and the enlargement ratio and the filter when both the filter size and the coefficient are different depending on the compression ratio and the enlargement ratio.
  • the fill-in determination table in FIG. 20 when the compression ratio is level 3 and the enlargement ratio is level 3, the fill-in of “C_3” is determined before and after the processing. Is a filter that does not cause a change in When such a filter is selected by the processing content determining unit 304, the noise removing unit 304 may not perform the noise removing process.
  • the processing content determination unit 304 has three types of filter determination tables shown in FIGS. 20, 21, and 22, and before the processing content determination unit 304 determines the processing content.
  • the user may instruct the processing content determination unit 304 which one of the file determination tables to use. For example, in the filter determination table of FIG. 22, the coefficient near the center of the filter has a larger value than that of the filter determination table of FIG. For this reason, in the filter decision table of FIG. 22, smoothing is performed weaker than in the filter decision table of FIG. Therefore, if the user wants to give a higher priority to the suppression of edge blurring than to the reduction of mosquito noise, the user is instructed to use the filter determination table of FIG. 22.
  • the processing content determining unit 304 selects a filter to be used by the noise removing unit 300 by using the filter determining table instructed by the user.
  • the noise elimination unit 305 performs a noise elimination process on the restored image based on the content determined by the processing content determination unit 304.
  • a noise removal process capable of effectively removing the block distortion among the noises generated in the restored image.
  • FIG. 23 shows a configuration of the noise removing unit 305.
  • the noise elimination section 305 is composed of an area identification section 103, a block distortion area noise elimination section 401, and a remaining area noise elimination section 402.
  • the area specifying unit 103 specifies a “block distortion area” in which the block distortion is determined to be strongly generated and other areas in the restored image.
  • a method of specifying the “block distortion region” by the region specifying unit 103 the method performed by the region specifying unit 103 in Embodiment 1 above is used.
  • FIG. 24 shows a configuration and a processing procedure of the block distortion region noise elimination unit 401 performing the processing of the present method.
  • Fig. 25 to Fig. 28 are explanatory diagrams of the algorithm of this method. Note that ⁇ , ⁇ , ⁇ , ⁇ , ⁇ , and ⁇ in FIG. 25 each represent a pixel, and the bold line represents a block boundary.
  • a block composed of pixels represented by Pij is a block distortion region to be processed, and is referred to as a target block in the following description.
  • the left-side correction amount calculation unit 501, the right-side correction amount calculation unit 502, the horizontal direction correction amount calculation unit 503, and the horizontal direction pixel value correction unit 504 correspond to the block of interest.
  • the discontinuity of gradation at the left and right block boundaries is removed. The following describes the method of removing the discontinuity of gradation at the left block boundary of the block of interest. I will tell.
  • the left-side correction amount calculation unit 501 calculates a left-side correction amount (HLj) for each row in the block of interest as preprocessing for removing block distortion on the left side of the block of interest.
  • the left side correction amount calculating section 5 0 1 is based on the following equation (1 3), for each row in the target block shown in FIG. 2 5, the leftmost pixel (P 0 j), the left an intermediate position between the adjacent pixels (7j B), i.e., the position of the block boundary, to impart left correction amount (HLJ) (see Fig. 2 6).
  • the left-side correction amount calculating unit 501 determines the pixel (P 0 j) from the average value of the value of the pixel at the left end (P 0 j) in the target block and the value of the pixel (B 7 j) on the left. Subtract the value of P 0 j) to calculate the left-side correction amount (HLj) for each row.
  • the right-side correction amount calculation section 502 calculates a right-side correction amount (HRj) for each row in the block of interest as preprocessing for removing block distortion on the right side of the block of interest. Specifically, based on the following (Equation 14), the right-side correction amount calculation unit 502 determines, for each row in the block of interest shown in FIG. 25, the rightmost pixel (P 7j ) The right-side correction amount ( ⁇ ) is added to the middle position of the pixel (C 0 j), that is, the position on the block boundary (see Fig. 26).
  • the right correction amount calculating section 5 0 for each row, the right end of the pixels in the target block ( ⁇ 7;) and the value of the pixel from the average value of the value of its right adjacent pixel of (C 0 j) ( Subtract the value of P 7 j) to calculate the right-side correction amount (HRj) for each row.
  • the horizontal direction correction amount calculation unit 503 calculates the left side correction amount (HLj) and the right side correction amount (HRj) for each pixel in each row in the target block based on the following (Equation 15). ) Is weighted and averaged according to the distance between each pixel and the left and right block boundaries of the target block, and the correction amount ⁇ of each pixel for each row in the target block is calculated. (Number 1 5)
  • the horizontal pixel value correction unit 504 calculates the correction amount Y ij of each pixel for each row calculated by the horizontal direction correction amount calculation unit 503 as shown in (Equation 16) below.
  • the value of each pixel (Q ij) after correction is calculated for each row by adding to the value of the corresponding pixel (P ij).
  • the discontinuity of the gradation at the left and right block boundaries of the target block is evenly distributed to the pixels within the block, so that the block distortion at the left and right block boundaries of the target block is effectively removed.
  • the same processing is performed in the vertical direction. That is, for the image from which the block distortion at the left and right block boundaries of the block of interest has been removed, the upper correction amount calculator 505, the lower correction amount calculator 506, and the vertical correction amount calculator in FIG.
  • the output unit 507 and the vertical pixel value correction unit 508 remove discontinuities in gradation at the upper and lower block boundaries of the target block. In the following, a method of removing the discontinuity of gradation at the upper and lower block boundaries of the target block will be described.
  • the upper correction amount calculator 505 calculates an upper correction amount (VTi) for each column in the target block as preprocessing for removing block distortion above the target block.
  • the upper correction amount calculating section 5 0 5 the following are based on the equation (1-7), for each column in the target block shown in FIG. 2 7, the upper end of the pixel (Q i0) thereon
  • An upper correction amount (VTi) is assigned to an intermediate position between the adjacent pixel (Ai7), that is, a position on the block boundary (see FIG. 28).
  • the upper correction amount calculation unit 505 calculates the pixel (Q i ) from the average value of the value of the pixel (Q i0 ) at the upper end in the block of interest and the value of the pixel (A i7 ) adjacent above it. io) is subtracted, and the upper correction amount (VTi) is calculated for each column.
  • FIG. 27 is a diagram showing each pixel QU constituting an image from which block distortion has been removed at the left and right block boundaries of the target block. (Number 1 7)
  • the lower correction amount calculation unit 506 calculates a lower correction amount (VBi) for each column in the target block as preprocessing for removing block distortion below the target block. Specifically, based on the following (Equation 18), the lower correction amount calculation unit 506 determines, for each column in the block of interest shown in FIG. 27, the pixel at the lower end (Q i7 ) and its The lower correction amount (VBi) is added to the intermediate position with the lower neighboring pixel (D i0 ), that is, the position on the block boundary (see Fig. 28). That is, for each column, the lower correction amount calculation unit 506 calculates the pixel (Q 17 Subtract the value of Q i7 ) and calculate the lower correction amount (VBi) for each column.
  • Equation 18 the lower correction amount calculation unit 506 determines, for each column in the block of interest shown in FIG. 27, the pixel at the lower end (Q i7 ) and its The lower correction amount (VBi) is added to the intermediate position with the lower neighboring pixel (
  • the vertical correction amount calculation unit 507 calculates the upper correction amount (VTi) and the lower correction amount for each pixel in each block in the target block as shown in (Equation 19) below.
  • the amount (VBi) is weighted and averaged according to the distance between each pixel and the upper and lower block boundaries of the target block, and the correction amount ZU of each pixel for each column in the target block is calculated.
  • the vertical pixel value correction unit 508 calculates the correction amount Z ij of each pixel for each column calculated by the vertical direction correction amount calculation unit 507 based on the following (Equation 20).
  • the value of each corrected pixel (Ru) is calculated by adding it to the value of the pixel (Qij) to be corrected.
  • K ij Q ij + Z ij
  • the discontinuity of the gradation at the upper and lower block boundaries of the target block is evenly distributed to the pixels in the block, so that Block distortion at the lower block boundary is effectively removed.
  • the remaining region noise elimination unit 402 performs filtering to remove noise such as mosquito noise.
  • the filter size is increased, the smoothing effect increases, and noise is strongly removed, but the image blur increases.
  • the smoothing effect is reduced and the image blur is reduced, but the noise removal effect is also reduced.
  • the processing content determination unit 304 and the remaining area noise elimination unit 402 perform filter processing. Before performing the above, the content of the noise removal processing performed by the remaining area noise remover 402 is determined as described above.
  • the remaining area noise removing section 402 performs a filtering process on the area other than the block distortion area based on the processing content determined by the processing content determining section 304.
  • the image enlargement unit 303 enlarges the image data image-processed by the noise elimination unit 305 based on the enlargement ratio detected by the enlargement ratio detection unit 303 to remove noise.
  • the obtained output image can be obtained.
  • output includes display and printing.
  • compression ratio detecting section 302 detects the compression ratio from the ratio of the data amount after decoding to the data amount before decoding.
  • the compression ratio detection unit 302 may detect the compression ratio based on the information of the quantization table used when encoding the compressed data.
  • the compression ratio detector 302 focuses on the value of the DC component of the quantization table, Assuming that the predetermined value S1 is larger than the predetermined value S2, if the value of the DC component is equal to or more than the predetermined value S1, the compression level 1 and the value of the DC component are the predetermined value S2 If the value is less than the predetermined value S1, the compression level 2 can be detected. If the value of the DC component is less than the predetermined value S2, the compression level 3 and the compression ratio can be detected.
  • the compression ratio detection unit 302 focuses on a plurality of values of the quantization table, and calculates a value S1 [i] and a predetermined value S1 [i] set for each of the focused values.
  • a predetermined value S2 [i] (value S1 [i] is larger than value S2 [i]) is compared. Then, if the number of coefficients that are equal to or more than the value S 1 [i] is equal to or more than a predetermined ratio, the compression level 1 is set.
  • the compression rate detector 302 uses the method of setting the compression level to 2 if the number of coefficients equal to or more than 2 [i] is equal to or greater than a predetermined ratio, and to the compression level 3 otherwise. You may.
  • the enlargement ratio detection unit 303 determines the enlargement ratio of the output image with respect to the restored image from the relationship between the number of pixels of the restored image, the resolution of the output device, and the output image size. Was detected.
  • the enlargement ratio detection unit 303 may detect the enlargement ratio of the output image with respect to the restored image by detecting information of the enlargement ratio input by the user using an input unit (not shown) in advance.
  • the processing content determination unit 304 determines the processing content by using only one of the compression ratio when the restored image is compressed and the enlargement ratio when outputting the restored image. Is also good.
  • Embodiment 2 described above when noise is removed from the block distortion region, first, the block distortion at the left and right block boundaries of the block distortion region is reduced. After removal, the block distortion at the upper and lower block boundaries is removed. However, the above order may be changed, and the noise removal in the block distortion region may be performed by removing the block distortion at the upper and lower block boundaries and then removing the block distortion at the left and right block boundaries. Even in this case, the block distortion can be sufficiently removed. Further, in the above-described second embodiment, the remaining area noise removing section 402 performs filtering on an area other than the block distortion area based on the processing content determined by the processing content determining section 304.
  • the block distortion area noise elimination section 401 does not perform the noise elimination processing on the block distortion area, and the remaining area noise elimination section 402 performs processing on the entire restored image by the processing content determination section 304.
  • Filter processing may be performed based on the determined processing content.Also, the above-described method of removing noise in the block distortion region in the second embodiment may be used as the method of removing noise in the block distortion region in the first embodiment. Good. Further, the method for removing noise in the block distortion region in the first embodiment may be used as the method for removing noise in the block distortion region in the second embodiment.
  • the DCT transform is used as an example of the orthogonal transform.
  • the block distortion removal processing method described in the first and second embodiments uses the discrete sine transform (DST; It is also effective when removing block distortion in a reconstructed image obtained from compressed data that has been subjected to orthogonal transform such as iscrete Sine Transform (DFT) or discrete Fourier transform (DFT).
  • DFT discrete Sine Transform
  • DFT discrete Fourier transform
  • the DCT coefficient is used as an example of the orthogonal transform coefficient.
  • DST coefficients or DFT coefficients are used as the orthogonal transform coefficients.
  • Embodiments 1 and 2 described above JPEG is used as an example of encoding.
  • the block distortion removal processing method described in Embodiments 1 and 2 uses a code such as MPEG or H.261. It is also effective when removing block distortion in a restored image obtained from compressed data subjected to quantization.
  • each component of the image processing apparatus according to the first and second embodiments described above may be configured by hardware or may be configured by software.
  • a program for causing a computer to function as a component of all or a part of the image processing apparatus according to the first and second embodiments is applied to a predetermined computer, and the computer executes the above-described embodiment. It is also possible to realize the functions of all or some of the components of the image processing device in 1 and 2.
  • Specific examples of the embodiment of the program include recording the program on a recording medium such as a CD-ROM, transferring a recording medium on which the program is recorded, and using the Internet. Communication of the above-mentioned program by the communication means in the above is included. It also includes installing the program on a computer.
  • the present invention can provide an image processing apparatus that identifies a block distortion region in a restored image by analyzing the restored image and removes block distortion.
  • the present invention can provide an image processing apparatus which removes block distortion by reproducing a smooth gradation change even at each corner of each block constituting a restored image.
  • the present invention can provide an image processing apparatus that performs efficient noise removal processing suitable for outputting a restored image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

明細書
画像処理装置 技術分野
本願発明は、 原画像を形成するデータを圧縮することによって得られた圧縮 データを復号化処理して得られる復元画像を処理する画像処理装置に関するも のである。 背景技術
近年、 画像データの圧縮符号化技術は著しく進歩してきている。 その圧縮符 号化技術は、 記憶媒体を効率的に使用するのに有効なだけでなく、 ネッ トヮー クを介して画像データを送受信する時間を短縮化するためにも有用である。 通 常、 高い圧縮率での符号化が要求される場合は、 原画像と復元画像が完全には 一致しない非可逆画像圧縮方式が用いられる。 非可逆画像圧縮方式の多くは、 画像データを MXN画素単位で複数のブロックに分割し、 各ブロックにおいて 直交変換を行ない、 得られた直交変換係数を量子化した後に符号化する方式を 採用している。 この非可逆画像圧縮方式の代表例に、 カラー静止画像圧縮方式 として広く普及している J P E Gがある。
J P E G圧縮に関する符号化及び復号化処理の概要を図 1 を用いて説明する 。 J P E G圧縮を行なう場合、 まず、 色変換部 1 0が、 赤 （R)、 緑 （G)、 青 (B) の多値データ （濃度データ） で構成される各画素のデータを、 輝度成分 (Y) 及び色差成分 （C r , C b) のデータに変換する。 R G B空間の定義は 複数存在するが、 その中の一つである s R G B空間を例にとると、 R G Bデー 夕から Y C r C bデータへの変換は、 次式 （数 1 ) に基づいて行なわれる。
(数 1 )
Y = 0. 2 9 9 0 0 XR + 0. 5 8 7 0 0 XG + 0. 1 1 4 0 0 X B C r = 0. 5 0 0 0 0 XR - 0. 4 1 8 6 9 XG - 0. 0 8 1 3 1 X B C b = _ 0. 1 6 8 74 XR - 0. 3 3 1 2 6 XG+ 0. 5 00 0 0 X B + 1 2 8
次に、 D C T変換部 1 1が、 Y C r C bデータを 8 X 8画素のプロック単位 で離散コサイン変換 （D CT変換） する。 変換後の D C T係数を D C T [ V ] [u]、 変換前の Y C r C bデータを F [ y ] [ x ] とすると、 DCT変換は、 次式 （数 2 ) に基づいて行なわれる。 なお、 上記の Xは、 各ブロックにおける D C T変換前の原画像の横方向の位置を示し、 上記の yは、 各ブロックにおけ る D CT変換前の原画像の縦方向の位置を示している。 また、 上記の uは、 各 ブロックにおける DCT変換後の D CT係数の横方向の位置を示し、 上記の V は、 各ブロックにおける D C T変換後の D C T係数の縦方向の位置を示してい る。
(数 2 )
D CT [ V ] [ u ] = l / 4 xC u - C v -∑∑F [ y ] [ x ] · c o s (( 2 x + 1 ) u π/ 1 6 ) · c o s (( 2 y -t- 1 ) v TC / 1 6 )
C u, CV= 1 / T2 (u， v = 0), 1 (o t h e r w i s e)
なお、 人間の目は輝度成分に比べて色差成分に対する感度の方が低感度であ るため、 色差成分に対してサブサンプリ ングを行なって圧縮効率を上げている 。 一般に、 2 X 2画素の輝度成分に対して色差成分の 1画素が対応するように サブサンプリ ングを行なう。 したがって、 色差成分については、 1 6 X 1 6画 素単位のプロックから 8 X 8画素分のデータを間引いてきて D C T変換を行な うことになる。
次に、 量子化部 1 2が D C T係数の量子化を行なう。 量子化後の D CT係数 を QDCT [ V ] [u]、 D C T係数の各成分を量子化する値を Q t a b l e [ V ] [ u ] とすると、 量子化は次式 （数 3 ) に基づいて行なわれる。
(数 3)
QD C T [ V ] [ u ] = I N T { D C T [ v ] [ u ] /Q t a b 1 e [ v ] [ u ] + 0. 5 }
ただし、 I NT { a } は値 aを超えない最大の整数値を意味する。 なお、 各周波数に対応する D C T係数を量子化するときに用いる量子化ステ ップ値としては、 量子化テーブル 1 3の各値が用いられ、 それはユーザが任意 に設定することができる。 一般に、 人間の目は低周波成分に比べて高周波成分 に対する感度の方が低感度であり、 また、 輝度成分に比べて色差成分に対する 感度の方が低感度であることから、 低周波成分に対する量子化ステップ値より も高周波成分に対する量子化ステツプ値の方が、 相対的に大きな値が用いられ る。 また、 輝度成分に対する量子化ステップ値よりも色差成分に対する量子化 ステップ値の方が、 相対的に大きな値が用いられる。 参考に、 J P E Gの標準 方式が推奨する量子化テーブルを図 2及び図 3に示す。 図 2は輝度成分 （Y ) に対する量子化テーブルであり、 図 3は色差成分 （C r , C b ) に対する量子 化テーブルである。 なお、 量子化に使用した量子化テーブルの各量子化ステツ プ値は復号時に必要となるため、 符号化された J P E G圧縮デ一夕に格納され る。
量子化された D C T係数は、 ェントロピー符号化部 1 4によって符号化され る。 J P E Gの標準方式では、 エントロピー符号化としてハフマン符号化が用 レ られる。
以上の処理が、 画像データから J P E G圧縮データへの符号化処理の概要で ある。 それに対し、 J P E G圧縮データを画像データへ復号化する場合には、 基本的に上の符号化処理を逆順に迪ることになる。 以下では、 復号化処理の手 順について説明する。
まず、 エントロピ一復号化部 1 5が、 J P E G圧縮データに対してェントロ ピー復号化を行なう。
次に、 逆量子化部 1 6が逆量子化を行なう。 このとき、 逆量子化部 1 6は、 符号化時に使用した量子化テーブル 1 3を J P E G圧縮データから読み取り、 その量子化テーブル 1 3の各量子化ステップ値を、 符号化された各成分を逆量 子化する値として使用する。 すなわち、 逆量子化部 1 6は、 符号化時に使用し た量子化テーブル 1 3の各量子化ステツプ値と同じ値を逆量子化ステツプ値と して持つ逆量子化テーブル 1 7を用い、 その逆量子化テーブル 1 7の各逆量子 化ステップ値を用いて、 符号化された各成分を逆量子化する。 ここで、 逆量子 化後の D C T係数を R D C T [ V ] [ u ] とすると、 逆量子化の演算は次式 （ 数 4) に基づいて行なわれる。
(数 4 )
RD C T [ V ] [ u ] = Q D C T [ v ] [ u ] X Q t a b 1 e [ v ] [ u ] なお、 上記 （数 4) に基づいて逆量子化された D C T係数は、 符号化時に量 子化によって丸められた係数から算出された値であるため、 原画像から得られ る D CT係数を正確には再現していない。 ただし、 原画像から得られる正確な D C T係数は、 下記 （数 5) で示される下限値 d D C T [ V ] [ u ] 以上、 下 記 （数 6) で示される上限値 p D C T [ V ] [ u ] 未満であることが保証され ている。
(数 5 )
d D C T [ V ] [ u ] = (QD C丁 [ V ] [ u ] 一 0. 5) XQ t a b l e [ V ] [ u ]
(数 6 )
p DCT [ V ] [ u ] = ( Q D C T [ V ] [ u ] + 0. 5) XQ t a b l e [ v] [u]
このようにして、 逆量子化が行なわれると、 次に、 逆 DCT変換部 1 8が逆 D CT変換を行なう。 この逆 D C T変換によって、 D C T係数から YC r C b データへの変換が行なわれる。 逆 D C T変換後の Y C r C bデ一夕を G [y ] [ X ] とすると、 逆 D CT変換は、 次式 （数 7) に基づいて行なわれる。
(数 7 )
G [ y ] [ X ] = 1 /4 -∑∑CU - C v - RD CT [ v ] [ u ] · c o s (( 2 x + 1 ) u 7t / 1 6 ) · c o s (( 2 y + 1 ) ν π/ 1 6 )
C u, Cv= l / 2 ( u , v = 0 ) , 1 (o t h e r w i s e)
最後に、 色変換部 1 9が、 YC r C bデータから RGBデータへの色変換処 理を行ない、 復元画像を得る。 次式 （数 8 ) は、 Y C r C bデータを s R G B データへ変換する際に用いる変換式である。 (数 8 )
R = Y + 1. 4 0 2 0 0 X (C r 一 1 2 8 )
G = Y— 0. 7 1 4 1 4 X (C r — 1 2 8 ) - 0. 3 4 4 1 4 X (C b - 1 2 8 )
B =Y + 1. 7 7 2 0 0 X (C b - 1 2 8 )
以上が、 J P E G圧縮に関する符号化及び復号化処理の概要であるが、 符号 化処理の中で量子化が行なわれるためにデータの劣化が生じる。 このデータの 劣化は復元画像においてノイズとして現れ、 原画像に比べて復元画像の画質は 劣化する。 図 4に原画像の一例を、 図 5に、 その原画像を J P E G圧縮し、 そ の圧縮データを復号化した復元画像の一例を、 それぞれ示す。
復元画像に現れるノイズのうち、 視覚的に悪影響を及ぼすものに、 図 5に表 われているモスキートノイズと呼ばれるノイズがある。 モスキー卜ノイズとは 、 復元画像中のエッジの周辺に蚊が飛んでいるように見える階調の揺らぎのこ とをいう。 これは、 データを符号化する際に、 D C T係数の量子化によって高 周波成分の多くが欠落したことにより、 原画像に存在していた強いエッジが正 確に復元されないことに起因している。
また、 別のノイズとして、 図 5に表われているブロック歪と呼ばれるノイズ がある。 ブロック歪とは、 8 X 8画素のブロック単位で符号化処理が行なわれ るために、 復元画像のブロック境界部で階調が不連続になる現象のことをいう 。 このノイズは、 原画像において階調値が緩やかに変化していた領域において 顕著に表われる。
これらのノイズを除去する従来技術として、 復元画像に対してフィル夕処理 (平滑化処理） を行なって、 復元画像に存在する目障りなモスキートノイズや ブロック歪を除去する技術がある。 この技術を利用して、 均一に復元画像を平 滑化すると、 ノイズは低減される。 しかしその反面、 原画像に存在していた本 来のエッジも鈍ってしまい、 画像にぼけが生じる。
画像に不必要なぼけを生じさせないために、 特許第 2 9 6 2 8 1 5号公報に は、 原画像を符号化する際に、 原画像に存在していた本来のエッジがブロック 境界に位置しているブロックを特定する情報を圧縮データに付加しておく とい う手法が開示されている。 そして、 復号化時に、 上記の情報に基づいて、 復元 画像を、 原画像に存在していた本来のエッジがブロック境界に位置しているブ ロックとそれ以外のブロックとに区別し、 上記それ以外のブロックに対しては ブロック歪を除去するための処理を行ない、 原画像に存在していた本来のエツ ジがブロック境界に位置しているブロックに対してはエツジを残すための処理 を行なうのである。
しかしながら、 上記の特許第 2 9 6 2 8 1 5号公報に開示されている手法で は、 符号化時に、 原画像に存在していた本来のエッジがブロック境界に位置し ているブロックを特定する情報を、 圧縮デ一夕に付加しておく必要がある。 そ のため、 符号化装置に、 原画像に存在していた本来のエッジがブロック境界に 位置しているブロックを特定する機能と、 その特定したブロックを識別するた めの情報を圧縮データに付加する機能とを、 設けておかなければならないとい う課題がある。
これに対し、 符号化装置に上記のような特殊な機能を付加することなく、 復 号化装置の機能だけで、 原画像に存在していた本来のエッジを鈍るのを抑制し 、 つまり画像にぼけが生じるのを抑えて、 ブロック歪やモスキートノイズを低 減化する手法も提案されている。 このような手法のうち、 特に有力な手法とし て凸射影法がある。 凸射影法とは、 平滑化処理と制約条件に基づく射影処理と を交互に繰り返し行なう手法のことをいう。 以下では、 図 6を参照しながら凸 射影法の処理手順について説明する。
まず、 D C T変換部 2 0が、 J P E G圧縮データから復号化された復元画像 を D C T変換した後、 制約条件算出部 2 1が、 射影処理用の制約条件を算出す る。 ここで上記制約条件とは、 最終的に出力される画像を形成する各ブロック が有する各 D C T係数を、 原画像が有していた可能性のある D C T係数の範囲 内に制限するための条件をいう。
J P E G符号化及び復号化の過程で D C T係数の量子化が行なわれるが、 J P E G復号化処理の説明で述べたように、 量子化前の D C T係数は、 下限値 d D C T [v] [ u ] 以上、 且つ、 上限値 p DCT [v] [ u ] 未満であることが 保証されている。 このため、 制約条件算出部 2 1は、 射影処理における制約条 件として、 D C T係数の可変範囲を示す下限値 d D C T [ V ] [ u ] 及び上限 値 p DC T [ V ] [u] を算出する （上記 （数 5) 及び上記 （数 6) 参照）。 次に、 制約条件算出部 2 1によって算出された制約条件 （下限値 d D C T [ V ] [ u ] 及び上限値 p D CT [ V ] [ u ]) を用いた射影処理と平滑化処理と を交互に繰り返すことにより、 復元画像に対してノイズ除去を行なう処理につ いて説明する。
まず、 平滑化処理部 2 2が、 復元画像にフィルタ処理を行なって均一に平滑 化する。 平滑化された画像データは、 色変換部 2 3により Y C r C bデータに 色変換された後、 D C T変換部 24によって D C T変換される。
ここで得られた D C T係数に対して、 射影処理部 2 5が、 制約条件算出部 2 1によって算出された D C T係数の下限値 d D C T [ V ] [ u ] 及び上限値 p D C T [ V ] [ u ] に基づいて、 射影処理を行なう。 すなわち、 D C T変換部 2 4によって算出された D C T係数が、 下限値 d D C T [ v ] [ u ] 未満か上 限値 p D CT [ V ] [ u ] 以上の場合には、 D C T係数を可変範囲限界の値に 丸める。 すなわち、 DCT変換部 24によって算出された D CT係数が、 下限 値 d D C T [ V ] [ u ] 未満の場合には、 射影処理部 2 5は、 DC T係数を、 下限値 d D CT [ V ] [ u ] に置き換え、 上限値 p DCT [ V ] [u] 以上の場 合には、 射影処理部 2 5は、 D CT係数を、 上限値 p D C T [ v ] [ u ] に置 き換える。
そして、 この丸められた D C T係数を、 逆 D C T変換部 2 6が逆 D C T変換 した後、 色変換部 2 7が YC r C bデータを RGBデータに色変換する。
次に、 終了判定部 2 8が、 ノイズ除去処理を終了するか継続するかを判定す る。 処理を継続することが判定された場合は、 平滑化処理部 2 2から色変換部 2 7までの各構成部が再度同じ処理を繰り返す。
ところで、 このような平滑化処理と制約条件に基づく射影処理とを数多く繰 り返し行なうと、 ブロック歪やモスキートノイズは十分に除去されるが、 原画 像に存在していた本来のエッジが鈍り、 画像に生じるぼけが大きくなる。 そこで、 原画像に存在していた本来のエッジの鈍りを抑えて、 かつ、 ブロッ ク歪ゃモスキートノイズを除去することができる処理回数を、 終了判定部 2 8 に予め設定しておく。 そうすると、 終了判定部 2 8は、 予め設定された回数だ け、 平滑化処理と射影処理とを繰り返し行なわせる判定をすることになる。 そ の結果、 上述した凸射影法により、 原画像に存在していた本来のエッジの鈍り を抑えて、 復元画像に存在するプロック歪やモスキートノィズを除去すること ができる。
図 7に、 従来の凸射影法によって図 5の復元画像が処理された画像を示す。 図 7 に示すように、 平滑化処理と制約条件に基づく射影処理とを繰り返し行な うことにより、 大きなぼけを発生させることなく、 復元画像に存在していたノ ィズは低減されていることが分かる。
なお、 終了判定部 2 8は、 予め設定された回数だけ平滑化処理と射影処理と を繰り返し行なわせるのではなく、 画像から得られる評価指標に基づいて、 平 滑化処理と射影処理との繰り返しの終了を判定してもよい。 一例としては、 終 了判定部 2 8は、 各繰り返し処理において、 平滑化処理及び射影処理を行なつ た後の画像の変化量が小さくなった時点で、 平滑化処理及び射影処理を終了さ せるようにしてもよい。 具体的には、 k回目の処理後の画像を f k ( X , y ) 、 k + 1 回目の処理後の画像を f k + i ( x , y ) と表わすと、 k + 1回目の 処理における画像の変化量 Eは次式 （数 9 ) によって算出される。
(数 9 )
E = { f k +！ ( X， y ) 一 " ( X , y ) } 2
この変化量 Eが所定の値以下になった時点で、 終了判定部 2 8は、 平滑化処 理及び射影処理を終了するように判定するのである。
しかしながら、 この凸射影法によるノイズ除去処理では、 画像全体に対して 単一のフィルタによる平滑化処理を行なうため、 画像にはある程度のぼけが生 じる。 つまり、 図 7に表わされているように、 原画像に存在していた本来のェ ッジが鈍る。 この課題をさらに改善するために、 エッジを考慮して、 復元画像を領域分割 し、 それぞれの領域に対して異なるフィル夕を用いて平滑化処理を行なうよう に工夫されている手法もある。
特開平 7— 1 7 0 5 1 8には、 隣接する画素に関して画素値の変化が所定の 値よりも小さい画素を次々に連結していく ことによって画像を複数の小領域 （ この小領域はブロックとは異なり、 各小領域は同じ大きさを持つとは限らない 。） に分割し、 それぞれの領域内で平滑化処理を行なう技術が開示されている 。 この手法を用いると、 エッジ部分で領域が分けられるため、 エッジを横切つ て平滑化処理が行なわれることがなくなり、 エツジ部分でのぼけを比較的小さ く抑えられる効果がある。
しかし、 この手法では、 ブロック歪としてブロック境界部分に生じた階調の 不連続性によっても領域が分割される可能性があり、 この場合にはブロック歪 を低減することができず、 プロック歪は残ってしまう。
そこで、 本発明は、 上記従来の課題を考慮し、 エッジ部分でのぼけを抑える とともに、 ブロック歪を除去することができる画像処理装置を提供することを 目的とする。
次に、 上記の特許第 2 9 6 2 8 1 5号公報に開示されているブロック歪を除 去するための処理について図 8を用いて説明する。
上記の特許第 2 9 6 2 8 1 5号公報に開示されているプロック歪を除去する ための処理では、 まず、 圧縮データに付加されている、 原画像に存在していた 本来のエツジがブ口ック境界に位置しているプロックを特定する情報に基づい て、 復元画像の中の、 ブロック歪除去処理をすべきブロックを特定する。 以下 では、 図 8に示す注目ブロック Xは、 ブロック歪除去処理をすべきブロックと 特定されたブロックとする。
そして、 図 8に示すように、 注目ブロック Xの角部 aについて、 注目ブロッ ク X内の角部 aの画素 a 1の値と、 注目ブロック Xと隣接する三つのブロック L , L U , Uそれぞれの角部 aの画素 a 2 , a 3 , a 4 との値を平均化し、 そ の平均化した値を、 上記注目ブロック X内の角部 aの画素 a 1の値と推定する 。 次に、 推定した画素 a 1の値から、 復元されたときの画像の画素 a 1の値を 減算し、 その値を画素 a 1 についての補正量とみなす。
同様にして、 注目ブロック Xの残りの三つの角部 b , c， dそれぞれについ て、 注目ブロック X内の角部 b， c , dに位置する画素 b l , c l , d lそれ ぞれについての補正量を算出する。
その後、 注目ブロック X内の各画素について、 画素 a l , b l , c l , d l についての補正量を、 画素 a 1 , b l , c l , d lからの距離に応じて重み付 けして平均することにより、 注目ブロック X内の各画素の補正量を算出する。 そして、 算出した各画素の補正量を復元画像の対応する画素の値に加算して、 ブロック歪を低減した画像を得る。
このような方法を用いると、 プロック歪が低減された画像を得ることができ る。 しかしながら、 注目ブロック Xの各角部では、 注目ブロック X内の角部の 画素の値と、 隣接する三つのブロックの角部それぞれの画素の値が全て同じ値 になってしまう。 角部 aを例にとって具体的に説明すると、 注目ブロック X内 の角部 aの画素 a 1の値と、 注目ブロック Xと隣接する三つのブロック L， L U , Uそれぞれの角部 aの画素 a 2， a 3 , a 4の各値とが同じ値になるとい うことである。 そうすると、 ブロック歪は低減されるが、 各ブロックの各角部 が同じ画素値になり、 各ブロックの各角部において滑らかな階調変化が再現さ れないという問題が発生する。
そこで、 本発明は、 上記の課題を考慮し、 復元画像を構成する各ブロックの 各角部においても滑らかな階調変化を再現してブロック歪を除去する画像処理 装置を提供することをも目的とする。
また、 特開平 8 - 2 1 4 3 0 9号公報には、 圧縮データの原画像に対する圧 縮率に応じて、 平滑化フィルタを切り替えて復元画像をフィル夕処理するとい う技術が開示されている。 モスキートノイズやブロック歪といったノイズが視 覚に与える悪影響の大きさが、 圧縮データの原画像に対する圧縮の強さに依存 するのは勿論であるが、 復元画像の出力サイズにも大きく依存している。 すな わち、 プリ ンタ出力や画面表示において、 復元画像を拡大処理して出力する場 合には、 上記のノイズが非常に目立ち、 視覚的に大きな悪影響を与えるのに対 し、 復元画像を縮小処理して出力する場合には、 ノイズが目立たなくなり、 視 覚的な悪影響は小さくなる。
この効果を考慮せずにノイズ除去処理を行なうと、 ノイズが十分に除去され ない、 又は、 不必要に大きなぼけが生じるといった課題があった。
そこで、 本発明は、 上記従来の課題を考慮し、 復元画像を出力するときの拡 大率を考慮して、 復元画像の出力に適した効率的なノイズ除去処理を行なう画 像処理装置を提供することを目的とする。 発明の開示
上記目的を達成するために、 本発明の画像処理装置は、 原画像を形成するデ 一夕を圧縮することによって得られた圧縮データを復号化処理して得られる復 元画像を処理する装置であって、 上記復元画像の中でブロック歪の除去処理を 適用するブロック歪領域を特定する領域特定部を備えたことを特徴としている 。 そして、 本発明の画像処理装置は、 上記領域特定部によって特定されたプロ ック歪領域に対して、 ノィズ除去処理を行なうブロック歪領域ノイズ除去部を も備える。
また、 本発明の画像処理方法は、 原画像を形成するデータを圧縮することに よって得られた圧縮データを復号化処理して得られる復元画像を処理する方法 であって、 上記復元画像の中でブロック歪の除去処理を適用するブロック歪領 域を特定する領域特定ステップを備えたことを特徴としている。 そして、 本発 明の画像処理方法は、 上記領域特定ステップにおいて特定したブロック歪領域 に対して、 ノイズ除去処理を行なうブロック歪領域ノィズ除去ステップをも備 える。
また、 本発明の画像処理装置は、 原画像を形成するデ一夕を圧縮することに よつて得られた圧縮データを復号化処理して得られる復元画像を処理する装置 であって、 上記復元画像に対する出力画像の拡大率を検出する拡大率検出部と 、 その拡大率検出部によって検出された拡大率に基づいて、 上記復元画像に存 在するノィズを除去するノィズ除去部を備えたことを特徴としている。 そして 、 本発明の画像処理装置は、 上記ノイズ除去部によってノイズが除去された上 記復元画像を、 上記拡大率検出部によって検出された拡大率に基づいて拡大す る画像拡大部をも備えている。
また、 本発明の画像処理方法は、 原画像を形成するデータを圧縮することに よって得られた圧縮データを復号化処理して得られる復元画像を処理する方法 であって、 上記復元画像に対する出力画像の拡大率を検出する拡大率検出ステ ップと、 その拡大率検出ステップにおいて検出した拡大率に基づいて、 上記復 元画像に存在するノイズを除去するノイズ除去ステップを備えたことを特徴と している。 そして、 本発明の画像処理方法は、 上記ノイズ除去ステップにおい てノィズを除去した上記復元画像を、 上記拡大率検出ステツプにおいて検出し た拡大率に基づいて拡大する画像拡大ステツプをも備えている。 図面の簡単な説明
図 1 は、 J P E G符号化及び復号化処理手順を示す図である。
図 2は、 輝度成分に対する J P E Gの標準方式が推奨する量子化テーブルを 示す図である。
図 3は、 色差成分に対する J P E Gの標準方式が推奨する量子化テーブルを 示す図である。
図 4は、 原画像の一例を示す図である。
図 5は、 図 4の原画像の J P E G圧縮データを復号化することにより得られ た復元画像を示す図である。
図 6は、 凸射影法処理手順を示す図である。
図 7 は、 図 5に示す復元画像を従来の凸射影法処理することにより得られた 画像を示す図である。
図 8は、 従来のブロック歪の除去処理を説明するための図である。
図 9は、 本実施の形態 1の画像処理装置の構成及び処理手順を示す図である 図 1 0は、 ブロック歪領域の特定方法を説明するための図である。
図 1 1 は、 ブロック歪領域の特定方法を説明するための図である。
図 1 2は、 エッジ領域の特定方法を説明するための図である。
図 1 3は、 ブロック交点を説明するための図である。
図 1 4は、 ブロック歪領域ノイズ除去部 1 0 4の内部構成を示す図である。 図 1 5は、 ブロック交点画素の濃度を説明するための図である。
図 1 6は、 被処理対象のブロック歪領域 X内の画素値を説明するための図で ある。
図 1 7は、 実施の形態 1の画像処理装置によってプロック歪が除去された画 像を示す図である。
図 1 8は、 本実施の形態 1 における他の画像処理装置の構成及び処理手順を 示す図である。
図 1 9は、 本実施の形態 2の画像処理装置の構成及び処理手順を示す図であ る。
図 2 0は、 フィル夕決定テーブルの一例を示す図である。
図 2 1 は、 フィルタ決定テーブルの一例を示す図である。
図 2 2は、 フィルタ決定テーブルの一例を示す図である。
図 2 3は、 ノィズ除去部 3 0 5の構成の内部構成を示す図である。
図 2 4は、 ブロック歪領域ノイズ除去部 4 0 1の構成及び処理手順を示す図 である。
図 2 5は、 ブロック歪除去処理を説明するための図である。
図 2 6は、 ブロック歪領域の左右のブロック境界におけるブロック歪を除去 する処理の説明図である。
図 2 7は、 ブロック歪除去処理を説明するための図である。
図 2 8は、 ブロック歪領域の上下のブロック境界におけるブロック歪を除去 する処理の説明図である。 発明の実施をするための最良の形態 以下に、 本発明の実施の形態を図面を参照して説明する。
(実施の形態 1 )
まず、 本発明の実施の形態 1の画像処理装置を説明する。
図 9に、 本実施の形態 1の画像処理装置の構成及び処理手順を示す。 まず、 従来の凸射影法と同様に、 D C T変換部 1 0 1が、 J P E G圧縮データから復 号化された復元画像を D C T変換し、 制約条件算出部 1 0 2が、 射影処理で用 いるための制約条件を算出する。 なお、 ここで算出する制約条件は、 通常の凸 射影法で用いる制約条件と同じである。 なお、 本実施の形態 1及び後述する実 施の形態 2では、 直交変換の一例として D C T変換を用いた場合の処理につい て説明する。 したがって、 本寒施の形態 1及び後述する実施の形態 2では、 D C T係数が直交変換係数の一例となる。
他方、 領域特定部 1 0 3は、 上記 J P E G圧縮データから復号化された復元 画像の中の 「ブロック歪領域」、 「エッジ領域」、 及び 「均質領域」 を特定する 。 言い換えると、 領域特定部 1 0 3は、 復元画像を、 「ブロック歪領域」、 「ェ ッジ領域」、 「均質領域」 の三つの領域に分割する。 具体的には、 領域特定部 1 0 3は、 まず、 復元画像の中の 「ブロック歪領域」 を特定し、 復元画像の中の 「ブロック歪領域」 を除いた領域から 「エッジ領域」 を特定し、 ブロック歪領 域にもエッジ領域にも属さなかった領域を 「均質領域」 と特定する。
以下では、 この三つの領域を特定する方法について説明する。 なお、 J P E G符号化では、 色差成分に対してサブサンプリ ングが行なわれることに加え、 輝度成分に比べて色差成分の方が量子化テーブルの値が大きく設定されるため 、 復元画像における色差成分の情報量は輝度成分に比べて大幅に劣化している 。 そこで、 本実施の形態 1では、 復元画像の R G Bデータを Y C r C bデータ に色変換し、 このうち輝度成分 （Y ) だけを使用して、 上記の 「ブロック歪領 域」、 「エッジ領域」、 及び 「均質領域」 の三つの領域を特定する。
まず、 復元画像の中の 「ブロック歪領域」 を特定する方法を説明する。 J P E G復号化処理の説明で述べたように、 ブロック歪が目障り となり補正が必要 と判断される領域は、 原画像において階調値が緩やかに変化していた領域、 す なわち、 高周波成分を多く含まない領域である。 そこで、 領域特定部 1 0 3は 、 復元画像を構成する全てのブロックについて D C T変換し、 所定の周波数 （ 次数） 以上の D C T係数の値の全てが予め決められた所定の値以下であるプロ ックを、 プロック歪領域と特定する。 例えば、 領域特定部 1 0 3は、 図 1 0に 示すように、 3次以上の D C T係数の値が全てゼロであるブロックを、 ブロッ ク歪領域と特定する。
なお、 この方法によりブロック歪領域と特定されたブロックに隣接するプロ ックに高周波成分が含まれていると、 プロック歪領域と特定されたプロックを 後述する方法でノィズ除去処理した場合、 ブロック歪領域と特定されたブロッ クに隣接するブロックに生じているモスキートノイズによって、 ブロック歪領 域と特定されたブロック内の各画素値の補正量が不適切な値となる場合がある そこで、 そのような問題を回避するために、 領域特定部 1 0 3は、 所定の周 波数 （次数） 以上の D C T係数の値の全てが予め決められた所定の値以下であ るブロックのうちで、 所定の周波数 （次数） 以上の D C T係数の値の全てが予 め決められた所定の値以下であるブロックのみで囲まれているブロックを、 ブ ロック歪領域と特定することが好ましい。 例えば、 領域特定部 1 0 3は、 D C T係数が図 1 0に示される条件を満たすブロックのうちで、 D C T係数が図 1 0に示される条件を満たすブロックのみで囲まれているブロックのみを、 プロ ック歪領域と特定することが好ましい。
その特定方法の説明を図 1 1 を用いて補充する。 図 1 1 において、 ある注目 ブロック Xが、 所定の周波数 （次数） 以上の D C T係数の値の全てが予め決め られた所定の値以下であるブロックであるとする。 例えば、 注目ブロック Xの D C T係数が、 図 1 0に示すような， 直流成分、 1次の交流成分、 及び 2次の 交流成分のみが任意の値を有し、 3次以上の交流成分が全てゼロであるブロッ クであるとする。 その場合、 上記注目ブロック Xを取り囲む 8個のブロック L U , U , R U , L , R , L D , D , R Dの全てが、 上記注目ブロック Xと同様 に、 所定の周波数 （次数， 図 1 0のブロックの場合では 3次） 以上の D C T係 数の値の全てが予め決められた所定の値以下であるブロックである場合に、 領 域特定部 1 0 3は、 上記注目ブロック Xをブロック歪領域と特定するのである このようにしてブロック歪領域を特定すると、 領域特定部 1 0 3は、 次に、 復元画像の中のエッジ領域を特定する。 以下では、 領域特定部 1 0 3によるェ ッジ領域の特定方法について図 1 2を用いて説明する。 図 1 2は、 領域特定部 1 0 3内の、 エッジ領域を特定する構成部を示す図である。
まず、 平滑化処理部 2 0 1が、 J P E G圧縮データから復号化された復元画 像に対してガウシアンフィルタなどを用いた平滑化処理を行なう。 その平滑化 処理は、 復元画像にはノイズが多く含まれており、 そのノイズを低減する必要 があるからである。
次に、 2次微分フィルタ処理部 2 0 2が、 平滑化処理部 2 0 1 によって平滑 化処理された画像に対して 2次微分フィルタ処理 （例えば、 ラプラシアンフィ ル夕処理） を行ない、 その後、 エッジ候補画素検出部 2 0 3が、 零交差法を用 いてエッジ候補画素を検出する。 この零交差法を用いる検出方法は、 エッジの 中心を高精度に検出できることが大きな特徴である。
ところで、 このエッジ候補画素の中には、 ブロック歪やモスキートノイズに 起因するエッジ成分を有する画素も多く含まれている。 なぜなら、 エッジ候補 画素検出部 2 0 3は、 零交差法を用い、 2次微分フィルタ処理結果 （例えば、 ラプラシアンフィルタ処理結果） において、 値が正から負へ、 又は、 負から正 へ変化している画素を全て検出するからである。 つまり、 エッジ候補画素検出 部 2 0 3は、 非常に小さな階調変化であっても、 2次微分フィルタ処理結果 （ 例えば、 ラプラシアンフィルタ処理結果） において、 値が正から負へ、 又は、 負から正へ変化している画素であれば、 その画素全てをエッジ候補画素として 検出してしまうということである。
そのため、 エッジ候補画素検出部 2 0 3によって検出されたエッジ候補画素 から、 ブロック歪に起因するエッジ候補画素と、 モスキートノイズに起因する エツジ候補画素と、 階調変化の非常に小さいエツジ候補画素とを除外すること により、 原画像に存在していた本来のエツジ画素だけを特定する必要がある。 そこで、 まず、 ブロック歪エッジ特定部 2 0 4が、 エッジ候補画素検出部 2
0 3によって検出されたエッジ候補画素のうちで、 ブロック歪に起因するエツ ジ候補画素を特定する。 例えば、 ブロック境界に位置するエッジ候補画素であ つて、 且つ、 そのブロックの内部に位置するエッジ候補画素と隣接していない 画素を、 ブロック歪に起因するエッジ候補画素であると、 ブロック歪エッジ特 定部 2 0 4は特定する。
次に、 モスキートノイズエッジ特定部 2 0 5が、 エッジ候補画素検出部 2 0
3によって検出されたエッジ候補画素のうちで、 モスキートノイズに起因する エッジ候補画素を特定する。 原画像においてブロック内に強いエッジが存在し ていた場合、 復元画像には本来のエッジの周辺に弱い階調の揺らぎ、 すなわち 、 モスキートノイズが生じる。 したがって、 同一ブロック内において相対的に エツジ強度が強いエツジ候補画素と相対的にエツジ強度が弱いエツジ候補画素 とが存在する場合には、 相対的にエツジ強度が弱い画素はモスキートノィズに 起因するエツジ候補画素である可能性が高い。
そこで、 モスキートノイズエッジ特定部 2 0 5は、 各ブロック内で検出され たエッジ候補画素に関して 4近傍の連結性を調べる。 具体的には、 モスキート ノイズエツジ特定部 2 0 5は、 検出されたエツジ候補画素の、 上、 下、 左、 右 に位置する画素を調べ、 これらの中にエッジ候補画素が存在した場合には、 そ れらのエッジ候補画素は連結しているものと判定する。 このようにして、 プロ ック内の全てのエッジ候補画素について 4近傍の連結性を調べた結果、 最終的 に、 各プロックにおいて連結していると判定されたエツジ候補画素の計都合体 のことを、 それぞれ連結エッジ候補と呼ぶ。 同一ブロック内に複数の連結エツ ジ候補が存在した場合には、 モスキートノイズエッジ特定部 2 0 5は、 ソ一べ ルフィルタ （ S ο b e 1 F i 1 t e r ) を用いて各エッジ候補画素における エッジの強さを算出した後、 連結エッジ候補毎にその平均値を算出する。 モス キートノイズエッジ特定部 2 0 5は、 この平均値に関して、 同一ブロック内で 相対的にエッジの強さが予め決められた所定の割合より弱いと判断される連結 エッジ候補を構成する画素全てを、 モスキートノイズに起因するエッジ候補画 素であると特定する。 例えば、 ある連結エッジ候補のエッジ強度の平均値が、 同一ブロック内で最も強い平均エッジ強度を有する連結エッジ候補の 8 0 %未 満のエッジ強度である場合には、 モスキートノイズエッジ特定部 2 0 5は、 そ の連結エッジ候補を構成する画素全てを、 モスキー トノイズに起因するエッジ 候補画素であると特定する。
次に、 微小階調変化エッジ特定部 2 0 6が、 エッジ候補画素検出部 2 0 3に よって検出されたエツジ候補画素のうちで、 絶対的なエツジ強度が所定の値よ り小さいエッジ候補画素を、 微小階調変化画素と特定する。 例えば、 微小階調 変化エッジ特定部 2 0 6は、 ソーベルフィル夕を用いた処理によって各エッジ 候補画素のエッジの強さを算出し、 この強さが所定の値以下であった画素を微 小階調変化画素と特定する。
そして、 エッジ画素特定部 2 0 7が、 エッジ候補画素検出部 2 0 3によって 検出されたエッジ候補画素から、 ブロック歪エッジ特定部 2 0 4によって特定 されたプロック歪に起因するエッジ候補画素と、 モスキートノイズエッジ特定 部 2 0 5によって特定されたモスキートノイズに起因するエッジ候補画素と、 微小階調変化エッジ特定部 2 0 6によって特定された微小階調変化画素とを除 いた画素を， エッジ画素と特定する。
次に、 エッジ領域特定部 2 0 8は、 エツジ画素特定部 2 0 7によって特定さ れたエッジ画素に基づいて、 復元画像におけるエッジ領域を特定する。 エッジ 画素特定部 2 0 7 によって特定されたエッジ画素は、 エッジの中央に位置する 画素であり、 この画素に隣接する周辺の画素についても、 原画像で比較的急激 な階調変化が生じていた可能性が高い。 そこで、 エッジ領域特定部 2 0 8は、 エッジ画素特定部 2 0 7によって特定されたエッジ画素から所定の距離範囲内 の画素複数個で構成される領域を、 エッジ領域と特定する。
従来、 エッジ検出を行なう場合には、 ソーベルフィル夕などでフィルタ処理 された値に基づいて、 階調値が急激に変化している領域を検出するといつた手 法が多く用いられてきた。 この手法を J P E G復元画像に適用すると、 原画像 に存在していた本来のエッジだけでなく、 ブロック歪やモスキートノイズによ つて生じた階調の段差や揺らぎまでエッジとして検出してしまう。 しかしなが ら、 上述した本実施の形態におけるエッジ領域の特定方法によると、 原画像に 含まれていたエツジだけを特定することが可能となる。
なお、 上記では、 ブロック歪エッジ特定部 2 0 4がブロック歪に起因するェ ッジ候補画素を特定し、 次に、 モスキートノイズエッジ特定部 2 0 5がモスキ ートノイズに起因するエッジ候補画素を特定し、 その後、 微小階調変化エッジ 特定部 2 0 6が微小階調変化画素を特定するとした。 しかしながら、 ブロック 歪に起因するエツジ候補画素、 モスキートノイズに起因するエツジ候補画素、 及び微小階調変化画素を特定する順序は、 限定されるものではない。
さて、 上述したようにして、 領域特定部 1 0 3がブロック歪領域及びエッジ 領域を特定すると、 領域特定部 1 0 3は、 上記復元画像中のブロック歪領域に もエッジ領域にも属さない領域を、 均質領域と特定する。 この均質領域は、 復 元画像においてモスキートノィズが生じている領域と、 比較的階調値が滑らか に変化している領域とから構成される領域である。
このように、 領域特定部 1 0 3によって、 上記復元画像中のブロック歪領域 、 エッジ領域、 及び均質領域が特定されると、 ブロック歪領域ノイズ除去部 1 0 4、 エッジ領域ノイズ除去部 1 0 5、 及び均質領域ノイズ除去部 1 0 6それ ぞれが、 ブロック歪領域、 エッジ領域、 又は均質領域に対応した画像処理を行 なう。
以下に、 ブロック歪領域ノイズ除去部 1 0 4、 エッジ領域ノイズ除去部 1 0 5、 及び均質領域ノイズ除去部 1 0 6が行なう処理について説明する。
まず、 ブロック歪領域ノィズ除去部 1 0 4が行なう処理について説明する。 ブロック歪が目障りとなるブロック歪領域は、 上述したように、 主に原画像に おいて階調が緩やかに変化していた領域である。 これは、 ブロック単位で独立 に符号化が行なわれるために、 量子化によって隣接プロックの境界部で階調の 連続性が保持されなくなつたために生じたものである。 このブロック歪を除去 するために、 単なるフィル夕処理によって平滑化するだけでは、 階調の不連続 性を除去することは困難である。 このため、 ブロック歪を効果的に除去するた めの特別な処理が必要となる。
そこで以下に、 画素補間を応用したブロック歪を効果的に除去するためのブ ロック歪除去手法を説明する。 以下では、 図 1 3〜図 1 6 を参照しながら、 本 実施の形態 1 におけるブロック歪除去手法の処理手順について説明する。 本実施の形態 1 におけるプロック歪除去手法では、 復元画像を 8 X 8画素単 位のブロックに分割したときに、 四つのブロックが交わる点のことをブロック 交点と呼ぶことにする。 この点は、 図 1 3のブロック交点 1 8 0 ( 1 8 0 A〜 1 8 0 D) に対応する。 また、 各ブロック交点 1 8 0における仮想的な画素濃 度 （画素値） のことをブロック交点画素の濃度と呼ぶことにする。
図 1 4に、 ブロック歪領域ノイズ除去部 1 0 4の内部構成を示す。 ブロック 交点画素濃度付与部 1 6 0は、 ブロック交点画素の濃度を算出する。 ブロック 交点画素の濃度は、 領域特定部 1 0 3によって特定された各ブロック歪領域の 各ブロック交点 1 8 0に隣接する四つのブロックからそれぞれ個別に与えられ る。 すなわち、 各ブロック交点 1 8 0には、 四つのブロック交点画素の濃度が 与えられることになる。
図 1 5を用いて、 具体的にブロック交点画素の濃度を説明する。 図 1 5は、 被処理対象のブロック歪領域 （ 8 X 8画素のブロック） Xが、 8個のブロック 歪領域 （ 8 X 8画素のブロック） L U， U， RU, L, R, L D， D， RDで 囲まれている様子を示している。 被処理対象のブロック歪領域 Xの各角部には 、 図 1 5に示すように、 ブロック交点 1 8 0 ( 1 8 0 A〜 1 8 0 D) が存在す る。
そして、 ブロック交点 1 8 O Aを例にとると、 そのブロック交点 1 8 O Aに は、 被処理対象のブロック歪領域 Xに属する画素から算出されるプロック交点 画素の濃度 A [4 ] が付与される。 また、 ブロック交点 1 8 0 Aには、 ブロッ ク歪領域 Xの左上のブロック歪領域 L Uに属する画素から算出されるブロック 交点画素の濃度 A [ 1 ] と、 ブロック歪領域 Xの上のブロック歪領域 Uに厲す る画素から算出されるブロック交点画素の濃度 A [ 2 ] と、 ブロック歪領域 X の左のブロック歪領域 Lに属する画素から算出されるブロック交点画素の濃度 A [ 3 ] も付与される。
このように、 被処理対象のブロック歪領域 Xの各角部の各ブロック交点 1 8 0 ( 1 8 0 A〜 1 8 0 D) には、 そのブロック交点 1 8 0を取り囲む四つのブ ロックそれぞれに属する画素から算出される四つのプロック交点画素の濃度が 付与される。
各ブロック交点 1 8 0に付与されるプロック交点画素の濃度の算出方法を以 下に説明する。 ブロック交点画素濃度付与部 1 6 0は、 被処理対象のブロック 歪領域 Xの各角部の各ブロック交点 1 8 0について、 そのブロック交点 1 8 0 からの距離が一定値以内の画素を対象とし、 その画素の画素値をブロック交点 1 8 0からの距離の逆数に応じて重み付け平均してブロック交点画素の濃度を 算出する。
例えば、 互いに隣り合う二つの画素の中心同士の距離を 1 とする。 ブロック 交点 1 8 0 Aを取り囲む四つの画素 a l , a 2 , a 3 , a 4を例にとると、 画 素 a 1の中心と画素 a 2の中心との距離が 1であり、 画素 a 2の中心と画素 a 4の中心との距離が 1であり、 画素 a 4の中心と画素 a 3の中心との距離が 1 である、 ということである。 この場合、 ブロック交点画素濃度付与部 1 6 0は 、 ブロック交点 1 8 0からのユークリ ツ ド距離が 2以内である画素に関して、 ユークリ ッ ド距離の逆数を重みとして平均値を算出し、 その値をブロック交点 画素の濃度としてブロック交点 1 8 0に付与する。 例として、 被処理対象のブ 口ック歪領域 X内の画素値を使用して、 ブロック交点 1 8 0 Aにおけるブロッ ク交点画素の濃度 A [4 ] を算出する方法を説明すると、 ブロック交点画素の 濃度 A [ 4 ] は、 次式 （数 1 0 ) に基づいて算出される。
(数 1 0 )
A[4] = 2xf(0'0) +7"2//"5x( f(l,0) + f(0,l) ) I ( 2 + ,2/ + 2//~5) ただし、 f ( 0， 0 )、 f ( 1， 0 )、 f ( 0 , 1 ) は、 図 1 6に示す被処理 対象のプロック歪領域 X内のプロック交点 1 8 0 Aからユークリッ ド距離が 2 以内である各画素の画素値を意味する。 このようにしてブロック交点画素濃度付与部 1 6 0が被処理対象のプロック 歪領域 Xを囲む四つのプロック交点 1 8 0 A〜 1 8 0 Dそれぞれに、 四つのブ ロック交点画素の濃度を付与する。
次に、 角部補正量算出部 1 6 1が、 各ブロック交点 1 8 0に付与されたプロ ック交点画素の濃度を用いて、 各ブロック交点 1 8 0の補正量を算出する。 以 下、 各プロック交点 1 8 0の補正量をブロック交点画素の濃度補正量と呼ぶ。 さて、 角部補正量算出部 1 6 1は、 各ブロック交点 1 8 0について、 四つのブ ロック交点画素の濃度 （例えば、 ブロック交点 1 8 0 Aにおいては、 A [ 1 ] 〜A [4]) の平均値から、 被処理対象のブロック歪領域 X内の画素から算出 されたブロック交点画素の濃度 （例えば、 ブロック交点 1 8 0 Aにおいては、 A [ 4 ]) を減算し、 ブロック交点画素の濃度補正量を算出する。
ブロック交点画素の濃度補正量を算出する方法を、 ブロック交点 1 8 0 Aに おけるブロック交点画素の濃度補正量を算出する場合を例にとって説明する。 ここで、 ブロック交点 1 8 0 Aにおけるブロック交点画素の濃度補正量を d A とすると、 このブロック交点画素の濃度補正量 d Aは、 次式 （数 1 1 ) に基づ いて算出される。
(数 1 1 )
d A = 〔（A [ 1 ] + A [ 2 ] + A [ 3] + A [4]) / 4〕 一 A [4] 次に、 補正量算出部 1 6 2が、 被処理対象のプロック歪領域 Xを囲む四つの ブロック交点 1 8 0それぞれにおけるブロック交点画素の濃度補正量に基づい て、 被処理対象のブロック歪領域 X内の各画素の補正量 （画素値補正量） を算 出する。 具体的には、 ブロック交点 1 8 0 A~ 1 8 0 Dにおけるブロック交点 画素の濃度補正量を、 それぞれ dA， d B , d C, dDとする。 そして、 補正 量算出部 1 6 2は、 被処理対象のブロック歪領域 X内のある画素の補正量 （画 素値補正量） を算出する場合、 上記の dA， d B , d C , d Dそれぞれを、 ブ 口ック交点 1 8 0 A〜 1 8 0 Dそれぞれとその画素の中心とのユークリ ッ ド距 離の逆数で重み付けして平均し、 その重み付け平均値を、 その画素の補正量 （ 画素値補正量） とする。 図 1 6に示す f ( x , y ) の位置の画素の補正量 （画素値補正量） を g ( X y ) すると、 g ( x y ) は、 次式 （数 1 2) に基づいて算出される。 (数 1 2 )
Q ( x,y ) = (wA dA + wBx dB + wCx dC + wDx d D)/( wA wB + wG wD) wA = 1 （ C X + 0- 5" < ( x + ϋ. 5 ) + ( y + 0- 5 ) + ( y + 0- 5)
wB = 1 /V ( (フ - 5— x ) > x〕 + ( y +◦. 5 ) (y + 0- 5)
wC = 1 ( ( X 0， 5) > < ( +□. 5 ) + cフ · 5— y ) C7- 5- y ) 次に、 画素値補正部 1 6 3が、 上式 （数 1 2 ) に基づいて算出された画素値 補正量 g ( X , y ) を、 被処理対象のブロック歪領域 X内の対応する各画素値 に加算することにより新しい画素値を得る。 このようにして、 ブロック歪領域 におけるノイズ除去処理を行なう。
上述したブロック歪除去処理は、 階調が緩やかに変化している領域に生じた プロック歪を除去する手法として非常に有効である。
また、 上述したブロック歪除去処理を用いると、 被処理対象のブロック歪領 域 Xの各角部において、 その角部を取り囲む四つ画素の値は、 同じにならない
。 その結果、 各ブロックの各角部においても滑らかな階調変化を再現できる。 なお、 領域特定部 1 0 3によるブロック歪領域を特定する方法を説明する際 に述べたように、 ブロック歪領域は、 所定の周波数 （次数） 以上の D CT係数 の値の全てが予め決められた所定の値以下であるブロックのうちで、 所定の周 波数 （次数） 以上の D C T係数の値の全てが予め決められた所定の値以下であ るブロックのみで囲まれているブロックであるとすることが好ましい。
このようにして特定されたプロック歪領域に隣接するプロックには、 ェッジ が含まれている可能性が低い。 上述したように、 エッジの周辺にはモスキー卜 ノイズが存在していることが多いが、 エッジが含まれていなければ、 モスキ一 卜ノイズが存在している可能性は低い。 したがって、 上述したようにして特定 されたブロック歪領域に隣接するブロックのブロック交点付近の画素値は、 モ スキートノィズの影響によって局所的に不適切な値になっていることは少ない 。 そのため、 ブロック交点画素の濃度補正量が不適切な値となることを回避で さる。 また、 以上のブロック歪除去処理は、 復元画像における R G Bの各成分に対 して個別に行なうことにより、 全ての色成分を補正することができる。
次に、 エッジ領域ノイズ除去部 1 0 5が行なう処理について説明する。 エツ ジ領域ノィズ除去部 1 0 5は、 領域特定部 1 0 3によって特定されたエツジ領 域、 すなわち原画像に存在していた本来のエッジ画素及びその周囲の画素によ り形成される領域の各画素の R G Bの各色成分に対して、 それぞれメディアン フィル夕処理などのエッジ保存型平滑化処理を行ない、 エッジを残してノイズ の低減を図る。
ェッジ領域の画素に対して、 単純に例えば 3 X 3画素の平均値を新たな画素 値とするような強い平滑化処理を行なうと、 原画像に存在していた本来のエツ ジがぼけてしまい、 画像全体の鮮鋭さが失われる。 このため、 上述したように 、 エッジ領域ノイズ除去部 1 0 5は、 エッジ領域に対して、 メディアンフィル 夕処理などのエッジ保存型平滑化処理を行なって、 エッジを保持したままノィ ズを除去するのである。
次に、 均質領域ノイズ除去部 1 0 6が行なう処理について説明する。 領域特 定部 1 0 3によって特定された均質領域は、 上述したように、 復元画像におい てモスキートノイズが生じている領域と、 比較的階調値が滑らかに変化してい る領域とで構成される。 階調変化が滑らかな領域は、 隣接する画素が近い画素 値を有しているため、 強い平滑化処理を行なっても画素値の変化量は小さく、 画質に与える影響も小さい。 そこで、 均質領域ノイズ除去部 1 0 6は、 均質領 域を形成する各画素の R G Bの各色成分に対して、 それぞれ F I R ( F i n i t e I m u l s e R e s p o n s e ) を用いた平滑化処理や、 3 X 3近 傍画素の単純平均を新たな画素値とするような強い平滑化処理を行ない、 モス キー トノィズの低減を図る。
以上のように、 復元画像を解析して、 復元画像を 「ブロック歪領域」、 「エツ ジ領域」、 「均質領域」 の三つの領域に分割し、 各領域に適したノイズ除去処理 を行なうことによってノイズを効果的に除去することが可能となる。 特に、 高 圧縮で符号化された圧縮データを復号化して得られた復元画像に対して、 原画 像に存在していた本来のエッジを保持したまま、 強く生じたブロック歪を効果 的に除去することができる。
次に、 領域毎にノイズ除去処理された画像に対して、 制約条件算出部 1 0 2 によって算出された制約条件に基づく射影処理を行なう。 ここでは、 図 9に示 すように、 通常の凸射影法と同様に、 まず、 色変換部 1 0 7力 R G Bで構成 される画像データを Y C r C bデータに色変換する。 次に、 D C T変換部 1 0 8力 この Y C r C bデータに対して D C T変換し、 そして、 射影処理部 1 0 9力 、 制約条件算出部 1 0 2によって算出された制約条件に基づいて射影処理 を行なう。 ここで丸められた D C T係数を、 逆 D C T変換部 1 1 0が逆 D C T 変換することによって、 Y C r C bからなる画像データに復元し、 色変換部 1 1 1が Y C r C bデータを R G Bデータへ色変換して復元画像を得る。 最後に 、 終了判定部 1 1 2力 ノイズ除去処理を終了するか継続するかを判定する。 終了判定部 1 1 2によって処理終了と判定されれば処理を終了し、 ノィズが除 去された画像が出力される。 他方、 処理未終了と判定された場合には、 領域特 定部 1 0 3がブロック歪領域、 エッジ領域、 及び均質領域を特定する手順に戻 つて、 それ以降の処理を繰り返す。 ここでの終了判定を行なう条件としては、 従来の凸射影法の説明で述べたのと同様の判定条件を用いることができる。 なお、 J P E G符号化では、 輝度成分 （Y ) に対して色差成分 （C r， C b ) の情報を間引いて （サブサンプリ ングして） 符号化する場合が多い。 この場 合には、 凸射影法においても、 サブサンプリングして得られた D C T係数に対 して射影処理を行なうことが好ましい。 すなわち、 色変換部 1 0 7によって算 出された輝度成分及び色差成分のデータのうち、 色差成分に関しては、 J P E G符号化されていたときと同じサブサンプリ ングを行なって、 データの間引き を行なう。 一例としては、 2 X 2画素の輝度成分に対して色差成分 1画素が割 り当てられる。
0 (：丁変換部 1 0 8は、 このサブサンプリングされたデータに対して D C T 変換を行なって D C T係数を算出し、 その後、 射影処理部 1 0 9は、 輝度成分 、 色差成分の D C T係数に関してそれぞれ射影処理を行なう。 このとき、 射影 処理部 1 0 9は、 色差成分に対する射影を、 サブサンプリ ングされたデータに 対応する制約条件の値を用いて行なう。
次に、 逆 D C T変換部 1 1 0は、 射影された D C T係数に対して逆 D C T変 換を行なった後、 サブサンプリングの逆変換を行なって、 間引かれている色差 成分のデ一夕を輝度成分と同じ画素数まで補間する。 以上の処理により、 J P E G符号化時にサブサンプリ ングされていた場合にも、 同様のノイズ除去処理 が実現できる。
図 1 7に、 本実施の形態 1の画像処理装置によって、 図 5に示す復元画像が 処理された画像を示す。 図 1 7から分かるように、 本実施の形態 1の画像処理 装置による画像処理により、 目障りなブロック歪は十分に除去されていること がわかる。 さらに、 図 1 7から分かるように、 本実施の形態 1 の画像処理装置 は、 上述した本実施の形態 1 における画像処理を行なう ことによって、 原画像 に存在していた本来のエッジを鈍らせずに、 図 5に示す復元画像に存在する目 障りなブロック歪を十分に除去できる。 加えて、 図 1 7から分かるように、 本 実施の形態 1 の画像処理装置はモスキートノイズも除去できる。
なお、 以上の説明は全てカラー画像を例にとって行なってきたが、 モノクロ の中間調画像に対しても同様の処理を行なうことができる。 この場合には、 色 変換部 1 0 7及び色変換部 1 1 1の処理を省略し、 領域特定部 1 0 3が、 モノ クロ画像の階調値を用いて、 ブロック歪領域、 エッジ領域、 及び均質領域を特 定し、 ブロック歪領域ノイズ除去部 1 0 4、 エッジ領域ノイズ除去部 1 0 5 、 及び均質領域ノイズ除去部 1 0 6が、 ブロック歪領域、 エッジ領域、 及び均質 領域に対して、 上述した処理と同様の処理をそれぞれ行なう。
また、 上述した実施の形態 1では、 復元画像を、 ブロック歪領域、 エッジ領 域及び均質領域の三つの領域に分割する形態について説明した。 しかしながら 、 図 1 8に示すように、 領域特定部 1 0 3が、 復元画像の中のブロック歪領域 のみを特定し、 ブロック歪領域ノィズ除去部 1 0 4がブロック歪領域に対して 、 上述した本実施の形態 1 においてプロック歪領域ノィズ除去部 1 0 4が行な つたノイズ除去処理を行なってもよい。 そして、 ブロック歪領域以外の領域に 対しては、 均質領域ノイズ除去部 1 0 6が、 上述した本実施の形態 1 において 均質領域ノイズ除去部 1 0 6が行なったノイズ除去処理を行なってもよい。 こ の場合でも、 復元画像に存在する目障りなブロック歪を、 効果的に除去するこ とができる。 ただし、 この場合は、 均質領域ノイズ除去部 1 0 6が、 ブロック 歪領域以外の領域に対して、 強い平滑化処理を行なうので、 原画像に存在して いた本来のエッジは鈍る。
また、 上述した実施の形態 1では、 領域特定部 1 0 3は、 所定の周波数 （次 数） 以上の D C T係数の値の全てが予め決められた所定の値以下であるブロッ クを、 ブロック歪領域として特定するとした。 また、 所定の周波数 （次数） 以 上の D C T係数の値の全てが予め決められた所定の値以下であるブロックのう ちで、 所定の周波数 （次数） 以上の D C T係数の値の全てが予め決められた所 定の値以下であるブロックのみで囲まれているブロックを、 ブロック歪領域と して特定することが好ましいとした。
しかしながら、 領域特定部 1 0 3は、 後述するようにしてブロック歪領域を 特定してもよい。 例えば、 領域特定部 1 0 3は、 まず、 復元画像を構成する複 数個のブロックのうちで、 上述したようにしてエッジ画素を特定し、 原画像に おいてエツジが存在していた可能性があるプロックをエツジブロックと特定す る。 そして、 領域特定部 1 0 3は、 所定の周波数 （次数） 以上の D C T係数の 値の全てが予め決められた所定の値以下であるブロックのうちで、 エツジブ口 ックと隣り合わないブロックを、 ブロック歪領域と特定してもよい。
このように、 所定の周波数 （次数） 以上の D C T係数の値の全てが予め決め られた所定の値以下であるブロックのうちで、 エッジブロックと隣り合わない ブロックを、 ブロック歪領域と特定した場合、 ブロック歪領域に隣接するプロ ックには、 エッジに起因するモスキートノイズが存在しないことになる。 そう すると、 ブロック歪領域に隣接するブロックのブロック交点付近の画素値は、 モスキートノイズの影響によって局所的に不適切な値になっていることは少な く、 ブロック交点画素の濃度補正量が不適切な値となることを回避できる。 そ の結果、 ブロック歪を除去するとともに、 ブロック歪領域内の各画素の画素値 を適切に補正することができる。
又は、 領域特定部 1 0 3は、 まず、 復元画像を構成する複数個のブロックの うちで、 上述したようにしてエッジ画素を特定し、 原画像においてエッジが存 在していた可能性があるブロックをエッジブロックと特定する。 そして、 領域 特定部 1 0 3は、 復元画像の中のエッジブロック以外のブロックであってエツ ジブロックと隣り合わないブロックを、 ブロック歪領域と特定してもよい。 こ の場合も、 ブロック歪領域に隣接するブロックには、 エッジに起因するモスキ ートノイズが存在しないことになり、 ブロック歪領域に隣接するブロックのブ ロック交点付近の画素値は、 モスキー卜ノイズの影響によって局所的に不適切 な値になっていることは少ない。 そのため、 ブロック交点画素の濃度補正量が 不適切な値となることを回避できる。 そして、 ブロック歪を除去するとともに 、 ブロック歪領域内の各画素の画素値を適切に補正することができる。 なお、 この場合、 復元画像の中のエッジブロック以外のプロックであってエツジブ口 ックと隣り合うブロックは均質領域とみなされ、 その均質領域に対して、 均質 領域ノイズ除去部 1 0 6が、 強い平滑化処理を行なう。
また、 上述した実施の形態 1では、 領域特定部 1 0 3は、 まず、 復元画像を 構成する全てのブロックについて D C T変換し、 所定の周波数 （次数） 以上の D C T係数の値の全てが予め決められた所定の値以下であるブロックを、 プロ ック歪領域として特定するとした。 しかしながら、 領域特定部 1 0 3は、 復元 画像を構成する各ブロックを D C T変換するのではなく、 J P E G圧縮デ一夕 をブロック毎に復号化及び逆量子化して得られた所定の周波数以上の D C T係 数の値の全てが所定の値以下であるプロックを、 ブロック歪領域と特定しても よい。
さらに、 そのようにして特定されたブロック歪領域のうちで、 所定の周波数 (次数） 以上の D C T係数の値の全てが予め決められた所定の値以下であるブ ロックのみで囲まれているブロックを、 又はエッジブロックと隣り合わないブ ロックを、 領域特定部 1 0 3はブロック歪領域と特定してもよい。
このようにしてブロック歪領域を特定しても、 上記と同様、 目障りなブロッ ク歪を除去できる。 また、 ブロック歪領域内の各画素の値を適切に補正するこ とができる。
ところで、 非常に稀な場合ではあるが、 領域特定部 1 0 3によって特定され たブロック歪領域の中に、 ブロック境界において原画像の本当のエツジが位置 していたブロックが存在する場合がある。 このような原画像においてエッジが 存在していたブロックに対して、 エッジを横切るブロックの画素値から算出さ れたブロック交点画素の濃度を用いて被処理対象のブロック歪領域 X内の各画 素値を補正すると、 プロック境界に存在していたエッジは完全に失われてしま Ό。
この課題を解決するために、 各ブロック交点におけるブロック交点画素の濃 度補正量を算出する際、 被処理対象のブロック歪領域 X内の画素から算出され たブロック交点画素の濃度と、 被処理対象のプロック歪領域 Xと隣接する三つ のブロック内の画素から算出されたブロック交点画素の濃度との差が、 予め定 められた所定の値を超えていた場合には、 そのブロック交点画素の濃度を用い ずにブロック交点画素の濃度補正量を算出する。
すなわち、 被処理対象のブロック歪領域 X内の画素から算出されたブロック 交点画素の濃度と大きく異なるようなプロック交点画素の濃度が算出された場 合には、 そのプロック境界部分に原画像においてエツジが存在したものと判断 して、 残りの 3つ以下のブロック交点画素の濃度を平均した値から被処理対象 のブロック歪領域 X内の画素から算出されたブロック交点画素の濃度を減算し て、 ブロック交点画素の濃度補正量を算出する。
このような方法を用いると、 原画像において存在していたエッジを鈍らせず 、 ブロック歪を効果的に除去することができる。
(実施の形態 2 )
次に、 本発明の実施の形態 2の画像処理装置を説明する。
図 1 9に、 本実施の形態 2の画像処理装置の構成及び処理手順を示す。 簡単に、 本実施の形態 2の画像処理装置の動作を説明する。
まず、 復号化部 3 0 1が、 J P E G圧縮データを復号化処理して復元画像を 得る。 次に、 圧縮率検出部 3 02が、 復元画像が J P E G圧縮されていたとき の圧縮率を検出する。 また、 拡大率検出部 3 0 3が、 復元画像を出力するとき の拡大率を検出する。
次に、 処理内容決定部 3 04が、 圧縮率検出部 3 02によって検出された圧 縮率、 及び、 拡大率検出部 3 0 3によって検出された拡大率に基づいて、 ノィ ズ除去処理の内容を決定する。 ノイズ除去部 3 0 5は、 処理内容決定部 3 04 によって決定された内容により、 復元画像に生じているノイズの除去処理を行 なう。 最後に、 画像拡大部 3 06が、 拡大率検出部 3 0 3によって検出された 拡大率に基づいて、 画像の拡大処理を行なう。
以下に、 本実施の形態 2の画像処理装置の各構成部が行なう処理の内容を詳 しく説明する。
まず、 復号化部 3 0 1は、 J P E G圧縮データから画像データへの復号化処 理を行なう。 この復号化処理は、 前述した図 1におけるエントロピー復号化部 1 5から色変換部 1 9までの処理によって実現される。 復号化部 3 0 1は、 上 記の復号化処理を行なうと、 復号化する前の J P E G圧縮データのデータ量、 及び、 復号化した後の画像デ一夕のデ一夕量を圧縮率検出部 3 02に転送する 次に、 圧縮率検出部 3 0 2は、 復号化部 3 0 1から転送されてきた情報に基 づいて復元画像が J P E G圧縮されていたときの圧縮率を検出する。 例えば、 圧縮率検出部 3 0 2は、 復号化前のデ一夕量に対する復号化後のデータ量の比 から、 復元画像が J P EG圧縮されていたときの圧縮率を検出する。
次に、 拡大率検出部 3 0 3は、 復元画像を出力するときの拡大率を検出する 。 例えば、 拡大率検出部 3 0 3は、 復元画像の画素数と出力装置の解像度及び 出力画像サイズの関係から、 復元画像に対する出力画像の拡大率を検出する。 具体的に説明すると、 VGA (V i d e o G r a p h i c s A r r a y, 6 4 0 X48 0 p i x e 1 s ) サイズの復元画像を、 解像度 6 0 0 d p iのプ リ ン夕に A 4サイズで出力する場合、 拡大率は縦横方向にそれぞれ約 8倍とな る。 次に、 処理内容決定部 3 0 4は、 圧縮率検出部 3 0 2によって検出された圧 縮率、 及び、 拡大率検出部 3 0 3によって検出された拡大率に基づいて、 ノィ ズ除去部 3 0 5が行なうノイズ除去処理の内容を決定する。 以下に、 処理内容 決定部 3 0 4によるノィズ除去処理内容の決定方法を具体的に説明する。 処理内容決定部 3 0 4は、 図 2 0に示すような、 圧縮率及び拡大率とフィル 夕サイズとの予め決められた関係を示すフィル夕決定テーブルを有している。 そのフィルタ決定テーブルは、 圧縮率及び拡大率のレベルがそれぞれ 3段階あ る場合の、 圧縮率及び拡大率とフィル夕サイズとの予め決められた関係を示し ている。
そして、 処理内容決定部 3 0 4は、 上記図 2 0のフィルタ決定テーブルに従 つて、 圧縮率検出部 3 0 2によって検出された圧縮率と、 拡大率検出部 3 0 3 によって検出された拡大率とで一意に決まるフィルタを選択する。
例えば、 圧縮率検出部 3 0 2によって検出された圧縮率が圧縮率レベル 1で あり、 拡大率検出部 3 0 3によつて検出された拡大率が拡大率レベル 2であれ ば、 処理内容決定部 3 0 4は、 ノイズ除去部 3 0 5が使用すべきフィルタとし て 「B— 1」 のフィル夕を選択する。
なお、 図 2 0のフィルタ決定テーブルでは、 圧縮率レベル 1 は圧縮率レベル 2よりも圧縮率が高く、 圧縮率レベル 2は圧縮率レベル 3よりも圧縮率が高い としている。 また、 拡大率レベル 1 は拡大率レベル 2よりも拡大率が高く、 拡 大率レベル 2は拡大率レベル 3よりも拡大率が高いとしている。 また例えば、 拡大率レベル 1は、 復元画像を縦横ともに 8倍して出力するような場合のレべ ルであり、 拡大率レベル 2は、 復元画像を縦横ともに 4倍して出力するような 場合のレベルであり、 拡大率レベル 3は、 復元画像をそのままの大きさで出力 する場合のレベルである。
また、 処理内容決定部 3 0 4は、 図 2 0に示すフィルタ決定テーブルではな く、 図 2 1又は図 2 2に示すフィル夕決定テーブルを有していてもよい。 その 場合、 処理内容決定部 3 0 4は、 図 2 1又は図 2 2のフィル夕決定テーブルに 従って、 圧縮率検出部 3 0 2によって検出された圧縮率と、 拡大率検出部 3 0 3によって検出された拡大率とで一意に決まるフィルタを選択する。
ここで、 図 2 0、 図 2 1及び図 2 2それぞれのフィル夕決定テーブルの相違 を説明する。 図 2 0のフィルタ決定テーブルは、 フィル夕の係数が全て等しく 、 サイズが圧縮率及び拡大率に応じて異なる場合の、 圧縮率及び拡大率とフィ ルタサイズとの関係を示している。 また、 図 2 1のフィルタ決定テーブルは、 フィル夕のサイズが全て等しく、 係数が圧縮率及び拡大率に応じて異なる場合 の、 圧縮率及び拡大率とフィル夕係数との関係を示している。 さらに、 図 2 2 のフィルタ決定テーブルは、 フィルタのサイズ及び係数の両方が、 圧縮率及び 拡大率に応じて異なる場合の、 圧縮率及び拡大率とフィル夕との関係を示して いる。
なお、 例えば、 図 2 0のフィル夕決定テーブルを用いる場合、 圧縮率がレべ ル 3であり拡大率がレベル 3であるときの 「C _ 3」 のフィル夕は、 処理の前 後で何の変化も生じないフィルタである。 そのようなフィル夕が処理内容決定 部 3 0 4によって選択されたときは、 ノイズ除去部 3 0 5はノイズ除去処理を 行なわないようにしてもよい。
また、 処理内容決定部 3 0 4は、 図 2 0、 図 2 1及び図 2 2に示す 3種類の フィルタ決定テーブルを有しており、 処理内容決定部 3 0 4が処理内容を決定 する前に、 ユーザがどのフィル夕決定テーブルを用いるべきかを処理内容決定 部 3 0 4に指示するとしてもよい。 例えば、 図 2 2のフィルタ決定テーブルは 、 図 2 0のフィル夕決定テ一ブルに比べて、 フィル夕の中央付近の係数が大き な値になっている。 このため、 図 2 2のフィルタ決定テーブルでは、 図 2 0の フィル夕決定テーブルよりも弱い平滑化が行なわれる。 したがって、 ユーザが 、 モスキートノイズの低減化よりもエツジのぼけの抑制を優先したい場合には 図 2 2のフィルタ決定テーブルを用いるように指示し、 逆に、 エッジのぼけの 抑制よりもモスキートノィズの低減化を優先したい場合には図 2 0のフィルタ 決定テーブルを用いるように指示する。 そして、 処理内容決定部 3 0 4は、 ュ 一ザにより指示されたフィルタ決定テーブルを用いて、 ノィズ除去部 3 0 5が 使用すべきフィルタを選択する。 さて、 ノイズ除去部 3 0 5は、 処理内容決定部 3 0 4によって決定された内 容に基づいて、 復元画像に生じているノイズの除去処理を行なう。 以下に、 復 元画像に生じているノイズのうち、 特にブロック歪を有効に除去することが可 能なノイズ除去処理について詳しく説明する。
図 2 3に、 ノィズ除去部 3 0 5の構成を示す。 図 2 3に示すように、 ノイズ 除去部 3 0 5は、 領域特定部 1 0 3 と、 ブロック歪領域ノィズ除去部 4 0 1 と 、 残部領域ノイズ除去部 4 0 2 とで構成されている。
さて、 領域特定部 1 0 3は、 復元画像のうち、 ブロック歪が強く生じている と判断される 「ブロック歪領域」 とそれ以外の領域とを特定する。 なお、 領域 特定部 1 0 3による 「ブロック歪領域」 の特定の仕方としては、 上記実施の形 態 1 において領域特定部 1 0 3が行なった方法を用いる。
次に、 領域特定部 1 0 3によって特定されたブロック歪領域に生じているブ ロック歪を効果的に除去する方法について説明する。 一般に、 高圧縮によって 強く生じたブロック歪を、 均一にフィル夕処理するだけで十分に除去すること は困難である。 このため、 本実施の形態 2では、 ブロック境界における階調の 不連続分をプロック内の画素に均等に分散させることによってブロック歪を効 果的に除去する手法を採用する。
以下に、 図 2 4〜図 2 8を参照しながら、 本実施の形態 2におけるブロック 歪除去手法について詳しく説明する。 ここで、 図 2 4は本手法の処理を行なう ブロック歪領域ノイズ除去部 4 0 1の構成及び処理手順を示している。 図 2 5 〜図 2 8 は本手法のアルゴリ ズムの説明図である。 なお、 図 2 5 における Ρ,ί,Αϋ,Βϋ, Ου,ϋϋ は、 それぞれ画素を表わしており、 太線はブロック境界を表 わしている。 また、 Pij で表わされる画素からなるブロックは被処理対象のブ 口ック歪領域であるとし、 以下の説明では注目ブロックと呼ぶ。
まず、 図 2 4における左側補正量算出部 5 0 1、 右側補正量算出部 5 0 2 、 水平方向補正量算出部 5 0 3、 及び、 水平方向画素値補正部 5 0 4が、 注目ブ ロックの左右のブロック境界における階調の不連続を除去する。 以下に、 その 注目ブロックの左おのプロック境界における階調の不連続を除去する手法を説 明する。
まず、 左側補正量算出部 5 0 1 は， 注目ブロックの左側のブロック歪を除去 するための前処理として、 注目ブロック内の各行について左側補正量 （HLj) を算出する。 具体的には、 左側補正量算出部 5 0 1 は、 下記 （数 1 3 ) に基づ いて、 図 2 5 に示す注目ブロック内の各行について、 左端の画素 （P0j) と、 その左隣の画素 （B7j) との中間位置、 すなわち、 ブロック境界線上の位置に 、 左側補正量 （HLj) を付与する （図 2 6参照）。 つまり、 左側補正量算出部 5 0 1 は、 各行について、 注目ブロック内の左端の画素 （P0j) の値と、 その 左隣の画素 （B7j) の値との平均値から画素 （P0j) の値を減算し、 各行につい ての左側補正量 （HLj) を算出する。
(数 1 3 )
H
Figure imgf000036_0001
(B7j- P0j) / 2
同様に、 右側補正量算出部 5 0 2は、 注目ブロックの右側のブロック歪を除 去するための前処理として、 注目ブロック内の各行について右側補正量 （HRj ) を算出する。 具体的には、 右側補正量算出部 5 0 2は、 下記 （数 1 4) に基 づいて、 図 2 5 に示す注目ブロック内の各行について、 右端の画素 （P7j) と 、 その右隣の画素 （C0j) との中間位置、 すなわち、 ブロック境界線上の位置 に、 右側補正量 （Η ) を付与する （図 2 6参照）。 つまり、 右側補正量算出 部 5 0 2 は、 各行について、 注目ブロック内の右端の画素 （Ρ7;) の値と、 そ の右隣の画素 （C0j) の値との平均値から画素 （P7j) の値を減算し、 各行につ いての右側補正量 （HRj) を算出する。
(数 1 4 )
H
Figure imgf000036_0002
(C0j- P7j) / 2
次に、 水平方向補正量算出部 5 0 3は、 注目ブロック内の各行毎に、 各画素 に対して、 下記 （数 1 5 ) に基づいて、 左側補正量 （HLj) 及び右側補正量 （ HRj) を、 各画素と注目ブロックの左右のブロック境界線との距離に応じて重 み付け平均し、 注目ブロック内の各行についての各画素の補正量 Υϋ を算出す る。 (数 1 5 )
( H L jx ( 7 . 5 - i ) + H R jx ( i + 0 . 5 ) ) / 8
そして、 水平方向画素値補正部 5 0 4は、 下記 （数 1 6 ) に示すように、 水 平方向補正量算出部 5 0 3によって算出された各行についての各画素の補正量 Y ij を、 対応する画素 （ P ij) の値に加算して、 各行についての補正後の各画 素 （Q ij) の値を算出する。
(数 1 6 )
Figure imgf000037_0001
以上の処理によって、 注目ブロックの左右のプロック境界における階調の不 連続分がブロック内の画素に均等に分散されることにより、 注目ブロックの左 右のブロック境界におけるブロック歪が有効に除去される。
次に、 上下方向に関しても同様の処理を行なう。 すなわち、 注目ブロックの 左右のプロック境界におけるプロック歪が除去された画像に対して、 図 2 4に おける上側補正量算出部 5 0 5、 下側補正量算出部 5 0 6、 垂直方向補正量算 出部 5 0 7、 及び、 垂直方向画素値補正部 5 0 8が、 注目ブロックの上下のブ ロック境界における階調の不連続を除去する。 以下に、 その注目ブロックの上 下のブロック境界における階調の不連続を除去する手法を説明する。
まず、 上側補正量算出部 5 0 5は、 注目ブロックの上側のブロック歪を除去 するための前処理として、 注目ブロック内の各列について上側補正量 （VTi) を算出する。 具体的には、 上側補正量算出部 5 0 5は、 下記 （数 1 7 ) に基づ いて、 図 2 7 に示す注目ブロック内の各列について、 上端の画素 （Q i0) と、 その上隣の画素 （Ai7 ) との中間位置、 すなわち、 ブロック境界線上の位置に 、 上側補正量 （VTi) を付与する （図 2 8参照）。 つまり、 上側補正量算出部 5 0 5は、 各列について、 注目ブロック内の上端の画素 （Q i0) の値と、 その 上隣の画素 （Ai7) の値との平均値から画素 （Q io) の値を減算し、 各列につい ての上側補正量 （VTi) を算出する。 なお、 上記の図 2 7は、 注目ブロックの 左右のブロック境界におけるブロック歪が除去された画像を構成する各画素 Q Uを示す図である。 (数 1 7 )
V T , = (Qi0+ Ai7) / 2 - Qi0= ( Ai7- Qio) / 2
同様に、 下側補正量算出部 5 0 6は、 注目ブロックの下側のブロック歪を除 去するための前処理として、 注目ブロック内の各列について下側補正量 （VBi ) を算出する。 具体的には、 下側補正量算出部 5 0 6は、 下記 （数 1 8 ) に基 づいて、 図 2 7に示す注目ブロック内の各列について、 下端の画素 （Qi7) と 、 その下隣の画素 （Di0) との中間位置、 すなわち、 ブロック境界線上の位置 に、 下側補正量 （VBi) を付与する （図 2 8参照）。 つまり、 下側補正量算出 部 5 0 6は、 各列について、 注目ブロック内の下端の画素 （Ql7) の値と、 そ の下隣の画素 （Dio) の値との平均値から画素 （Qi7) の値を減算し、 各列に ついての下側補正量 （VBi) を算出する。
(数 1 8 )
V B , = (Qi7+ Dio) / 2 - Qi7= (Di0- Qi?) / 2
次に、 垂直方向補正量算出部 5 0 7は、 注目ブロック内の各列毎に、 各画素 に対して、 下記 （数 1 9 ) に示すように、 上側補正量 （VTi) 及び下側補正量 (VBi) を、 各画素と注目ブロックについての上下のブロック境界線との距離 に応じて重み付け平均し、 注目ブロック内の各列についての各画素の補正量 Z Uを算出する。
(数 1 9 )
Z u= ( V Τ , ( 7. 5 - j ) + V B i x ( j + 0. 5 )) / 8
そして、 垂直方向画素値補正部 5 0 8は、 下記 （数 2 0) に基づいて、 垂直 方向補正量算出部 5 0 7によって算出された各列についての各画素の補正量 Z ij を、 対応する画素 （Qij) の値に加算して、 補正後の各画素 （Ru) の値を算 出する。
(数 2 0 )
K ij = Q ij + Z ij
以上の処理によって、 注目ブロックの上下のブロック境界における階調の不 連続分がブロック内の画素に均等に分散されることにより、 注目ブロックの上 下のブロック境界におけるブロック歪が有効に除去される。
以上が、 プロック歪領域と判定された領域におけるノィズ除去処理である。 他方、 ブロック歪領域以外の領域に対しては、 残部領域ノイズ除去部 4 0 2 が、 モスキートノイズ等のノイズを除去するためにフィルタ処理を行なう。 上 述したように、 例えば、 フィルタサイズを大きくすると、 平滑化効果が大きく なり、 ノイズが強く除去される反面、 画像のぼけが大きくなる。 逆に、 フィル 夕サイズを小さくすると、 平滑化効果が小さくなり、 画像のぼけは小さくなる 反面、 ノイズ除去の効果も小さくなる。
そこで、 ノイズを十分に除去し、 且つ、 画像のぼけを必要最小限に押さえた ノイズ除去処理を行なうために、 処理内容決定部 3 0 4が、 残部領域ノイズ除 去部 4 0 2がフィルタ処理を行なう前に、 上述したようにして、 残部領域ノィ ズ除去部 4 0 2が行なうノイズ除去処理の内容を決定する。
そして、 残部領域ノイズ除去部 4 0 2は、 ブロック歪領域以外の領域に対し て、 処理内容決定部 3 0 4によって決定された処理の内容に基づいてフィルタ 処理を行なう。
以上の残部領域ノィズ除去部 4 0 2の動作により、 復元画像が圧縮されてい たときの圧縮率だけでなく、 出力時の拡大率が視覚に与える影響まで考慮し、 適切なノィズ除去対策を行なうことが可能となる。
最後に、 画像拡大部 3 0 6が、 拡大率検出部 3 0 3によって検出された拡大 率に基づいてノィズ除去部 3 0 5により画像処理された画像データを拡大処理 することにより、 ノイズが除去された出力画像を得ることができる。
なお、 本実施の形態 2では、 「出力」 には、 表示や印刷が含まれるものとす る。
また、 上述した実施の形態 2では、 圧縮率検出部 3 0 2は、 復号化前のデー 夕量に対する復号化後のデータ量の比から圧縮率を検出するとした。 しかしな がら、 圧縮率検出部 3 0 2は、 圧縮データの符号化時に使用された量子化テー ブルの情報に基づいて、 圧縮率を検出してもよい。
例えば、 圧縮率検出部 3 0 2は、 量子化テーブルの D C成分の値に着目し、 所定の値 S 1が所定の値 S 2より大きいとした場合、 上記 D C成分の値が上記 所定の値 S 1以上であれば圧縮レベル 1 と、 上記 D C成分の値が上記所定の値 S 2以上でかつ上記所定の値 S 1未満であれば圧縮レベル 2 と、 上記 D C成分 の値が上記所定の値 S 2未満であれば圧縮レベル 3 と、 圧縮率を検出すること ができる。
また例えば、 圧縮率検出部 3 0 2は、 量子化テーブルの複数の値に着目し、 その着目した値それぞれと、 上記複数の値それぞれに対して設定された所定の 値 S 1 [ i ] 及び所定の値 S 2 [ i ] (値 S 1 [ i ] は値 S 2 [ i ] より大き いとする。） とを比較する。 そして、 値 S 1 [ i ] 以上である係数の個数が所 定の割合以上であれば圧縮レベル 1 と、 値 S 1 [ i ] 以上である係数の個数は 所定の割合未満であるが値 S 2 [ i ] 以上である係数の個数が所定の割合以上 であれば圧縮レベル 2 と、 それ以外の場合は圧縮レベル 3 とする方法を、 圧縮 率検出部 3 0 2は圧縮率の検出に用いてもよい。
また、 上述した実施の形態 2では、 拡大率検出部 3 0 3は、 例えば、 復元画 像の画素数と出力装置の解像度及び出力画像サイズの関係から、 復元画像に対 する出力画像の拡大率を検出するとした。 しかしながら、 拡大率検出部 3 0 3 は、 予めユーザが不図示の入力手段を用いて入力した拡大率の情報を検出する ことにより、 復元画像に対する出力画像の拡大率を検出してもよい。
また、 上記処理内容決定部 3 0 4は、 復元画像が圧縮されていたときの圧縮 率と、 復元画像を出力するときの拡大率のいずれか一方だけを用いて、 処理内 容を決定してもよい。
また、 上述した実施の形態 2では、 図 2 4〜図 2 8を用いて説明したように 、 ブロック歪領域のノイズ除去を行なう際、 まずブロック歪領域の左右のプロ ック境界におけるブロック歪を除去した後に、 上下のブロック境界におけるブ ロック歪を除去するとした。 しかしながら、 上記の順序を入れ換えて、 ブロッ ク歪領域のノイズ除去を、 上下のブロック境界におけるブロック歪を除去した 後に、 左右のブロック境界におけるブロック歪を除去することにより行なって もよい。 このようにしても、 ブロック歪を十分に除去することができる。 また、 上述した実施の形態 2では、 残部領域ノイズ除去部 4 02は、 ブロッ ク歪領域以外の領域に対して、 処理内容決定部 3 04によって決定された処理 の内容に基づいたフィルタ処理を行なうとした。 しかしながら、 ブロック歪領 域ノィズ除去部 4 0 1がブロック歪領域に対してソィズ除去処理を行なわず、 残部領域ノイズ除去部 40 2が、 復元画像の全体に対して、 処理内容決定部 3 04によって決定された処理の内容に基づいたフィルタ処理を行なってもよい また、 上述した実施の形態 2におけるブロック歪領域のノイズ除去方法を、 実施の形態 1におけるブロック歪領域のノイズ除去方法として用いてもよい。 また、 実施の形態 1におけるブロック歪領域のノイズ除去方法を、 爽施の形態 2におけるブロック歪領域のノイズ除去方法として用いてもよい。
また、 上述した実施の形態 1及び 2では、 直交変換の一例として、 D CT変 換を用いたが、 実施の形態 1及び 2で説明したブロック歪除去処理法は、 離散 サイン変換 （D S T ; D i s c r e t e S i n e T r a n s f o r m) や 、 離散フーリエ変換 （D FT ; D i s c r e t e F o u r i e r T r a n s f o r m) といった直交変換が行なわれた圧縮データから得られた復元画像 におけるブロック歪を除去する場合にも有効である。 なお、 このように、 上述 した実施の形態 1及び 2では、 直交変換の一例として D C T変換を用いたので 、 直交変換係数の一例として DCT係数を用いた。 しかしながら、 直交変換と して上記の離散サイン変換や離散フーリエ変換を用いた場合、 直交変換係数と して D S T係数や D F T係数が用いられる。
また、 上述した実施の形態 1及び 2では、 符号化の一例として J P E Gを用 いたが、 実施の形態 1及び 2で説明したブロック歪除去処理法は、 MP E Gや H. 2 6 1等の符号化が行なわれた圧縮データから得られた復元画像における ブロック歪を除去する場合にも有効である。
また、 上述した実施の形態 1及び 2における画像処理装置の各構成要素は、 ハードウエアで構成されていてもよいし、 ソフ トウエアで構成されていてもよ い。 さらに、 上述した実施の形態 1及び 2 における画像処理装置の全部又は一部 の構成要素としてコンピュータを機能させるためのプログラムを、 所定のコン ピュー夕に適用し、 そのコンピュータで、 上述した実施の形態 1及び 2におけ る画像処理装置の全部又は一部の構成要素の機能を実現することも可能である 。 なお、 上記プログラムの実施態様の具体例としては、 C D— R O M等の記録 媒体に上記プログラムを記録することや、 そのプログラムが記録された記録媒 体を譲渡することや、 イン夕一ネッ ト等における通信手段で上記プログラムを 通信すること等が含まれる。 また、 コンピュータに、 上記プログラムをインス トールすることも含まれる。
以上説明したところから明らかなように、 本発明は、 復元画像を解析するこ とによって復元画像の中のブロック歪領域を特定し、 プロック歪を除去する画 像処理装置を提供することができる。
また、 本発明は、 復元画像を構成する各ブロックの各角部においても滑らか な階調変化を再現してプロック歪を除去する画像処理装置を提供することがで さる。
さらに、 本発明は、 復元画像の出力に適した効率的なノイズ除去処理を行な う画像処理装置を提供することができる。
上述した本発明の画像処理装置を用いれば、 J P E G圧縮等の原画像データ を圧縮することによって生じたノイズ、 特に、 高圧縮な場合に生じた強いプロ ック歪を有効に除去することが可能となる。 さらに、 ノイズが視覚に与える悪 影響の大きさに応じて、 適切なノイズ除去処理を行なうことが可能となる。

Claims

請求の範囲
1 . 原画像を形成するデータを圧縮することによって得られた圧縮デ一 夕を復号化処理して得られる復元画像を処理する画像処理装置において、 前記復元画像の中でブロック歪の除去処理を適用するプロック歪領域を特定 する領域特定部と、
前記領域特定部によって特定されたブロック歪領域に対して、 ノィズ除去処 理を行なうブロック歪領域ノイズ除去部とを
備えた画像処理装置。
2 . 前記圧縮データは、 複数のブロックに分割された前記原画像を形成 するデータに対して、 前記ブロック毎に直交変換、 量子化、 及び符号化が行な われて得られたデータである請求項 1 に記載の画像処理装置。
3 . 前記領域特定部は、 前記復元画像を構成する複数個のブロックのう ちで、 前記ブロック毎に直交変換し、 所定の周波数以上の直交変換係数の値の 全てが所定の値以下である前記ブロックを、 前記ブロック歪領域と特定する請 求項 1 に記載の画像処理装置。
4 . 前記領域特定部は、
前記所定の周波数以上の直交変換係数の値の全てが所定の値以下であるプロ ックのうちで、
前記所定の周波数以上の直交変換係数の値の全てが所定の値以下であるプロ ックのみで囲まれているブロックを、 前記ブロック歪領域と特定する
請求項 3に記載の画像処理装置。
5 . 前記領域特定部は、
前記復元画像を構成する複数個のプロックのうちで、 前記原画像においてェ ッジが存在していた可能性があるプロックをエッジブロックと特定し、 前記所定の周波数以上の直交変換係数の値の全てが所定の値以下であるプロ ックのうちで、 エッジブロックと隣り合わないブロックを、 前記ブロック歪領 域と特定する
請求項 3に記載の画像処理装置。
6 . 前記領域特定部は、 前記圧縮データを復号したときの所定の周波数 以上の直交変換係数の値の全てが所定の値以下である前記ブロックを、 前記ブ ロック歪領域と特定する請求項 1 に記載の画像処理装置。
7 . 前記領域特定部は、
前記所定の周波数以上の直交変換係数の値の全てが所定の値以下であるプロ ックのうちで、
前記所定の周波数以上の直交変換係数の値の全てが所定の値以下であるプロ ックのみで囲まれているブロックを、 前記ブロック歪領域と特定する
請求項 6 に記載の画像処理装置。
8 . 前記領域特定部は、
前記復元画像を構成する複数個のブロックのうちで、 前記原画像においてェ ッジが存在していた可能性があるブロックをエッジブロックと特定し、 前記所定の周波数以上の直交変換係数の値の全てが所定の値以下であるプロ ックのうちで、 エッジブロックと隣り合わないブロックを、 前記ブロック歪領 域と特定する
請求項 6 に記載の画像処理装置。
9 . 前記領域特定部は、 前記復元画像を構成する複数個のブロックのう ちで、 前記原画像においてエツジが存在していた可能性があるプロックをエツ ジブロックと特定し、 エッジブロック以外のブロックであってエッジブロック と隣り合わないブロックを、 前記ブロック歪領域と特定する請求項 1 に記載の 画像処理装置。
1 0 . 前記ブロック歪領域ノイズ除去部は、
前記プロック歪領域の各角部において、 前記ブロック歪領域と前記プロック 歪領域に接する三つのブロックの交点に位置するブロック交点に、 前記ブロッ ク交点から所定の距離範囲内に位置する前記プロック歪領域の画素の値を前記 プロック交点からの距離に応じて重み付けして平均した第 1 の値と、 前記プロ ック歪領域に接する三つのブロックそれぞれに関して、 前記ブロック交点から 所定の距離範囲内に位置する画素の値を前記プロック交点からの距離に応じて 重み付けして平均した第 2の値、 第 3の値、 及び第 4の値とを、 前記ブロック 歪領域及び前記プロック歪領域に接する三つのブロックそれぞれについてのブ 口ック交点画素値として付与するブロック交点画素値付与部と、
前記ブロック歪領域の四つの角部それぞれについて、 前記第 2の値、 前記第 3の値、 及び前記第 4の値のうちの前記第 1の値との差が所定の値以下である もの全てと前記第 1 の値との平均値から、 前記第 1の値を減算し、 各前記角部 の補正量を算出する角部補正量算出部と、
前記ブロック歪領域内の各画素について、 その画素と前記ブロック歪領域の 四つの角部それぞれに対応する四つの前記プロック交点それぞれとの距離に応 じて、 対応する前記四つの角部の補正量を重み付けして平均し、 その画素の補 正量を算出する補正量算出部と、
前記補正量算出部によって算出された各画素の補正量を、 前記ブロック歪領 域の対応する各画素の値に加算する画素値補正部とを
有する請求項 1 に記載の画像処理装置。
1 1 . 前記ブロック歪領域ノイズ除去部は、
前記復元画像の前記ブロック歪領域の各行毎に、 前記ブロック歪領域の左端 の画素の値と前記左端の画素の左隣の画素の値との平均値から、 前記左端の画 素の値を減算して、 前記ブロック歪領域の各行毎の左側補正量を算出する左側 補正量算出部と、
前記復元画像の前記ブロック歪領域の各行毎に、 前記ブロック歪領域の右端 の画素の値と前記右端の画素の右隣の画素の値との平均値から、 前記右端の画 素の値を減算して、 前記ブロック歪領域の各行毎の右側補正量を算出する右側 補正量算出部と、
前記ブロック歪領域の各行の各画素について、 その画素の前記左端及び右端 からの距離に応じて、 前記左側補正量及び前記右側補正量を重み付けして平均 し、 前記ブロック歪領域の行についてのその画素の補正量を算出する水平方向 補正量算出部と、
前記水平方向補正量算出部によって算出された行についての各画素の補正量 を、 対応する画素の値に加算する水平方向画素値補正部と、 前記水平方向画素値補正部によって補正された各画素で形成される画像の前 記プロック歪領域の各列毎に、 前記プロック歪領域の上端の画素の値と前記上 端の画素の上隣の画素の値との平均値から、 前記上端の画素の値を減算して、 前記プロック歪領域の各列毎の上側補正量を算出する上側補正量算出部と、 前記水平方向画素値補正部によつて補正された各画素で構成される画像の前 記プロック歪領域の各列毎に、 前記ブロック歪領域の下端の画素の値と前記下 端の画素の下隣の画素の値との平均値から、 前記下端の画素の値を減算して、 前記ブロック歪領域の各列毎の下側補正量を算出する下側補正量算出部と、 前記ブロック歪領域の各列の各画素について、 その画素の前記上端及び下端 からの距離に応じて、 前記上側補正量及び前記下側補正量を重み付けして平均 し、 前記ブロック歪領域の列についてのその画素の補正量を算出する垂直方向 補正量算出部と、
前記垂直方向補正量算出部によって算出された列についての各画素の補正量 を、 前記水平方向画素値補正部によって補正された対応する画素の値に加算す る垂直方向画素値補正部とを
有する請求項 1 に記載の画像処理装置。
1 2 . 前記ブロック歪領域ノイズ除去部は、
前記復元画像の前記ブロック歪領域の各列毎に、 前記ブロック歪領域の上端 の画素の値と前記上端の画素の上隣の画素の値との平均値から、 前記上端の画 素の値を減算して、 前記ブロック歪領域の各列毎の上側補正量を算出する上側 補正量算出部と、
前記復元画像の前記プロック歪領域の各列毎に、 前記ブロック歪領域の下端 の画素の値と前記下端の画素の下隣の画素の値との平均値から、 前記下端の画 素の値を減算して、 前記ブロック歪領域の各列毎の下側補正量を算出する下側 補正量算出部と、
前記ブロック歪領域の各列の各画素について、 その画素の前記上端及び下端 からの距離に応じて、 前記上側補正量及び前記下側補正量を重み付けして平均 し、 前記ブロック歪領域の列についてのその画素の補正量を算出する垂直方向 補正量算出部と、
前記垂直方向補正量算出部によって算出された列についての各画素の補正量 を、 対応する画素の値に加算する垂直方向画素値補正部と、
前記垂直方向画素値補正部によって補正された各画素で形成される画像の前 記ブロック歪領域の各行毎に、 前記ブロック歪領域の左端の画素の値と前記左 端の画素の左隣の画素の値との平均値から、 前記左端の画素の値を減算して、 前記ブロック歪領域の各行毎の左側補正量を算出する左側補正量算出部と、 前記垂直方向画素値補正部によって補正された各画素で構成される画像の前 記ブロック歪領域の各行毎に、 前記ブロック歪領域の右端の画素の値と前記右 端の画素の右隣の画素の値との平均値から、 前記右端の画素の値を減算して、 前記ブロック歪領域の各行毎の右側補正量を算出する右側補正量算出部と、 前記ブロック歪領域の各行の各画素について、 その画素の前記左端及び右端 からの距離に応じて、 前記左側補正量及び前記右側補正量を重み付けして平均 し、 前記ブロック歪領域の行についてのその画素の補正量を算出する水平方向 補正量算出部と、
前記水平方向補正量算出部によって算出された行についての各画素の補正量 を、 前記垂直方向画素値補正部によって補正された対応する画素の値に加算す る水平方向画素値補正部とを
有する請求項 1 に記載の画像処理装置。
1 3 . 前記領域特定部は、 前記復元画像の中の、 前記原画像においてェ ッジが存在していた可能性があるエツジ領域を特定し、
前記領域特定部によって特定されたエッジ領域に対して、 エッジを残してノ ィズ除去処理を行なうエツジ領域ノィズ除去部を
備えた請求項 1 に記載の画像処理装置。
1 4 . 前記領域特定部は、
前記復元画像に対して平滑化処理を行なう平滑化処理部と、
前記平滑化処理部よつて平滑化処理された画像に対して 2次微分フィルタを 用いたフィル夕処理を行なう 2次微分フィルタ処理部と、 前記 2次微分フィルタ処理部によってフィルタ処理された画像に対して零交 差法を行なってエッジ候補画素を検出するエッジ候補画素検出部と、
前記エツジ候補画素検出部によって検出された前記ェッジ候補画素のうちで 、 ブロック歪に起因して検出された可能性のある画素を特定するブロック歪ェ ッジ特定部と、
前記エッジ候補画素検出部によって検出された前記エツジ候補画素のうちで 、 モスキートノイズに起因して検出された可能性のある画素を特定するモスキ 一卜ノイズエツジ特定部と、
前記エッジ候補画素検出部によって検出された前記エツジ候補画素のうちで 、 エツジ強度が所定の値以下である画素を特定する微小階調変化エツジ特定部 と、
前記エッジ候補画素検出部によって検出された前記エッジ候補画素から、 前 記ブロック歪エッジ特定部、 前記モスキートノイズエッジ特定部、 及び前記微 小階調変化エッジ特定部によって特定された画素を除いた画素をエッジ画素と 特定するエッジ画素特定部と、
前記エツジ画素特定部によって特定されたエツジ画素に基づいて、 前記エツ ジ領域を特定するエツジ領域特定部とを
有する請求項 1 3に記載の画像処理装置。
1 5 . 前記エッジ領域特定部は、 前記エッジ画素特定部によって特定さ れたエツジ画素から所定の距離範囲内の画素複数個で構成される領域を、 前記 ェッジ領域と特定する請求項 1 4に記載の画像処理装置。
1 6 . 前記領域特定部は、 前記復元画像の中の前記ブロック歪領域にも 前記エツジ領域にも属さない領域を均質領域と特定し、
前記領域特定部によって特定された均質領域に対して、 ノイズ除去処理を行 なう均質領域ノィズ除去部を
備えた請求項 1 3に記載の画像処理装置。
1 7 . 原画像を形成するデータを圧縮することによって得られた圧縮デ 一夕を復号化処理して得られる復元画像を処理する画像処理装置において、 前記復元画像に対する前記出力画像の拡大率を検出する拡大率検出部と、 前記拡大率検出部によって検出された拡大率に基づいて、 前記復元画像に存 在するノイズを除去するノイズ除去部と、
前記ノイズ除去部によってノイズが除去された前記復元画像を、 前記拡大率 に基づいて拡大する画像拡大部とを
備えた画像処理装置。
1 8 . 前記復元画像に対する前記出力画像の拡大率と前記ノイズ除去部 が行なう処理の内容との予め決められた関係に従って、 前記拡大率検出部によ つて検出された拡大率に対応する前記ノィズ除去部が行なう処理の内容を決定 する処理内容決定部を備え、
前記ノィズ除去部は、 前記処理内容決定部によって決定された処理の内容に 基づいて、 前記復元画像を処理する
請求項 1 7に記載の画像処理装置。
1 9 . 前記処理の内容とは、 前記復元画像を形成する各画素を平滑化す る際の平滑化フィルタの大きさ及び係数を意味する請求項 1 8に記載の画像処
2 0 . 前記原画像に対する前記圧縮データの圧縮率を検出する圧縮率検 出部を備え、
前記処理の内容は、 前記原画像に対する前記圧縮データの圧縮率をも考慮し て決められる内容であり、
前記処理内容決定部は、 前記圧縮率検出部によつて検出された圧縮率をも考 慮して前記ノィズ除去部が行なう処理の内容を決定する
請求項 1 9に記載の画像処理装置。
2 1 . 前記圧縮率検出部は、 前記復元画像のデータ量と前記圧縮データ のデータ量との比に基づいて、 前記圧縮率を検出する請求項 2 0に記載の画像 処理装置。
2 2 . 前記圧縮率検出部は、 前記圧縮データの符号化時に用いられた量 子化テーブルの情報に基づいて、 前記圧縮率を検出する請求項 2 0に記載の画 像処理装置。
2 3 . 原画像を形成するデ一夕を圧縮することによって得られた圧縮デ —夕を復号化処理して得られる復元画像を処理する画像処理方法において、 前記復元画像の中でプロック歪の除去処理を適用するブロック歪領域を特定 する領域特定ステツプと、
前記領域特定ステツプにおいて特定したブロック歪領域に対して、 ノィズ除 去処理を行なうブロック歪領域ノィズ除去ステツプとを
備えた画像処理方法。
2 4 . 原画像を形成するデータを圧縮することによって得られた圧縮デ 一夕を復号化処理して得られる復元画像を処理する画像処理方法において、 前記復元画像に対する前記出力画像の拡大率を検出する拡大率検出ステツプ と、
前記拡大率検出ステップにおいて検出した拡大率に基づいて、 前記復元画像 に存在するノイズを除去するノイズ除去ステップと、
前記ノイズ除去ステップにおいてノィズが除去された前記復元画像を、 前記 拡大率に基づいて拡大する画像拡大ステツプとを
備えた画像処理方法。
2 5 . 原画像を形成するデータを圧縮することによって得られた圧縮デ —夕を復号化処理して得られる復元画像を処理するためのプログラムであって 前記復元画像の中でプロック歪の除去処理を適用するプロック歪領域を特定 する領域特定部と、
前記領域特定部によって特定されたプロック歪領域に対して、 ノイズ除去処 理を行なうブロック歪領域ノイズ除去部として
コンピュータを機能させるプログラム。
2 6 . 原画像を形成するデータを圧縮することによって得られた圧縮デ 一夕を復号化処理して得られる復元画像を処理するプログラムにおいて、 前記復元画像に対する前記出力画像の拡大率を検出する拡大率検出部と、 前記拡大率検出部によって検出された拡大率に基づいて、 前記復元画像に存 在するノイズを除去するノィズ除去部と、
前記ノィズ除去部によってノィズが除去された前記復元画像を、 前記拡大率 に基づいて拡大する画像拡大部として
コンピュータを機能させるプログラム。
PCT/JP2002/004596 2001-05-10 2002-05-10 Image processing apparatus WO2002093935A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP02724766A EP1401210A4 (en) 2001-05-10 2002-05-10 IMAGING DEVICE
JP2002590677A JP4145665B2 (ja) 2001-05-10 2002-05-10 画像処理装置及び画像処理方法
US10/477,317 US7561752B2 (en) 2001-05-10 2002-05-10 Image processing apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2001139764 2001-05-10
JP2001-139764 2001-05-10
JP2001-357139 2001-11-22
JP2001357139 2001-11-22

Publications (1)

Publication Number Publication Date
WO2002093935A1 true WO2002093935A1 (en) 2002-11-21

Family

ID=26614873

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/004596 WO2002093935A1 (en) 2001-05-10 2002-05-10 Image processing apparatus

Country Status (5)

Country Link
US (1) US7561752B2 (ja)
EP (1) EP1401210A4 (ja)
JP (1) JP4145665B2 (ja)
CN (1) CN1260978C (ja)
WO (1) WO2002093935A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1560438A1 (en) * 2004-01-27 2005-08-03 Canon Kabushiki Kaisha Resolution conversion method and device
WO2005086357A1 (ja) * 2004-03-08 2005-09-15 Mitsubishi Denki Kabushiki Kaisha 符号化データの復号プログラム及び方法並びに装置
JP2006055393A (ja) * 2004-04-22 2006-03-02 Shimadzu Corp 放射線撮像装置および放射線検出信号処理方法
JP2006127292A (ja) * 2004-10-29 2006-05-18 Kyocera Corp 画像処理装置およびその方法
JP2007511941A (ja) * 2003-10-29 2007-05-10 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 画像のノイズを除去するための変換
JP2008130095A (ja) * 2006-11-17 2008-06-05 Shindorico Co Ltd フォトプリンティングのための顔領域検出装置及び補正方法
JP2008311951A (ja) * 2007-06-14 2008-12-25 Sony Corp 画像処理装置、及び、画像処理方法
US7526133B2 (en) 2003-01-09 2009-04-28 Ricoh Company, Ltd. Image processing apparatus, image processing program, and storage medium
JP2010021668A (ja) * 2008-07-08 2010-01-28 Sharp Corp 画像処理方法、画像処理装置、ならびにそれを備える画像形成装置、画像処理プログラムおよび記録媒体
JP2015526046A (ja) * 2012-08-09 2015-09-07 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 処理方法及び処理装置
CN106846262A (zh) * 2016-12-23 2017-06-13 中国科学院自动化研究所 去除蚊式噪声的方法及系统

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040091173A1 (en) * 2002-07-17 2004-05-13 Hiroshi Akimoto Method, apparatus and system for the spatial interpolation of color images and video sequences in real time
KR100472464B1 (ko) * 2002-07-20 2005-03-10 삼성전자주식회사 직렬로 스케일링하는 장치 및 방법
US7242819B2 (en) * 2002-12-13 2007-07-10 Trident Microsystems, Inc. Method and system for advanced edge-adaptive interpolation for interlace-to-progressive conversion
US7379587B2 (en) * 2004-02-12 2008-05-27 Xerox Corporation Systems and methods for identifying regions within an image having similar continuity values
GB2415565B (en) * 2004-06-24 2007-10-31 Hewlett Packard Development Co Image processing
JP4483501B2 (ja) 2004-09-22 2010-06-16 株式会社ニコン 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法
US20060092440A1 (en) * 2004-11-01 2006-05-04 Bagai Farhan A Human visual system based design of color signal transformation in a color imaging system
US8194757B2 (en) * 2005-01-28 2012-06-05 Broadcom Corporation Method and system for combining results of mosquito noise reduction and block noise reduction
JP4520880B2 (ja) * 2005-02-17 2010-08-11 富士フイルム株式会社 しみ検査方法及びしみ検査装置
JP3895357B2 (ja) * 2005-06-21 2007-03-22 日東光学株式会社 信号処理装置
WO2006137309A1 (ja) * 2005-06-21 2006-12-28 Nittoh Kogaku K.K 画像処理装置
TWI332351B (en) * 2006-10-05 2010-10-21 Realtek Semiconductor Corp Image processing method and device thereof for reduction mosquito noise
TWI466547B (zh) 2007-01-05 2014-12-21 Marvell World Trade Ltd 用於改善低解析度視訊之方法與系統
WO2008100640A1 (en) 2007-02-16 2008-08-21 Marvell World Trade Lte. Methods and systems for improving low resolution and low frame rate video
US7813588B2 (en) * 2007-04-27 2010-10-12 Hewlett-Packard Development Company, L.P. Adjusting source image data prior to compressing the source image data
JP5125294B2 (ja) 2007-07-31 2013-01-23 株式会社ニコン プログラム、画像処理装置、撮像装置および画像処理方法
TWI343207B (en) * 2007-09-07 2011-06-01 Lite On Technology Corp Device and method for obtain a clear image
US20110188583A1 (en) * 2008-09-04 2011-08-04 Japan Science And Technology Agency Picture signal conversion system
JP5552290B2 (ja) * 2008-11-04 2014-07-16 キヤノン株式会社 画像処理装置、画像処理方法、フィルタ装置、その制御方法及びプログラム
KR20100050655A (ko) * 2008-11-06 2010-05-14 삼성전자주식회사 블록 노이즈 감소 시스템 및 방법
JP4788792B2 (ja) * 2009-03-11 2011-10-05 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
CN101909145B (zh) * 2009-06-05 2012-03-28 鸿富锦精密工业（深圳）有限公司 影像杂讯过滤系统及方法
JP5747378B2 (ja) * 2011-03-18 2015-07-15 株式会社日立国際電気 画像転送システム、画像転送方法、画像受信装置、画像送信装置、及び、画像撮像装置
JP5564553B2 (ja) 2012-10-22 2014-07-30 Ｅｉｚｏ株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP2015122618A (ja) * 2013-12-24 2015-07-02 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US9552628B2 (en) * 2014-03-12 2017-01-24 Megachips Corporation Image processor
US10003758B2 (en) 2016-05-02 2018-06-19 Microsoft Technology Licensing, Llc Defective pixel value correction for digital raw image frames
US10230935B2 (en) * 2016-10-11 2019-03-12 Marvel Digital Limited Method and a system for generating depth information associated with an image

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63209274A (ja) * 1987-02-25 1988-08-30 Canon Inc 画信号処理装置
JPH03166825A (ja) * 1989-11-27 1991-07-18 Ricoh Co Ltd 画像処理方法及び装置
JPH04209073A (ja) * 1990-09-07 1992-07-30 Ricoh Co Ltd 画像処理方法
JPH05308623A (ja) * 1992-04-30 1993-11-19 Olympus Optical Co Ltd 画像信号復号化装置
JPH0723227A (ja) * 1993-06-18 1995-01-24 Sharp Corp ノイズ除去装置
JPH07170512A (ja) * 1993-11-24 1995-07-04 Matsushita Electric Ind Co Ltd 画像信号復号化装置におけるポストフィルタ処理方法およびポストフィルタ処理装置
JPH08307870A (ja) * 1995-04-29 1996-11-22 Samsung Electron Co Ltd ブロッキング効果除去回路
JP2001078187A (ja) * 1999-09-01 2001-03-23 Matsushita Electric Ind Co Ltd 画像復号化装置
JP2001086367A (ja) * 1999-09-10 2001-03-30 Matsushita Electric Ind Co Ltd 映像表示装置及びその制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625714A (en) * 1991-01-10 1997-04-29 Olympus Optical Co., Ltd. Image signal decoding device capable of removing block distortion with simple structure
US5479211A (en) * 1992-04-30 1995-12-26 Olympus Optical Co., Ltd. Image-signal decoding apparatus
JP3466705B2 (ja) 1993-05-28 2003-11-17 ゼロックス・コーポレーション 圧縮画像の圧縮解除方法
JPH08186714A (ja) * 1994-12-27 1996-07-16 Texas Instr Inc <Ti> 画像データのノイズ除去方法及びその装置
EP0721286A3 (en) * 1995-01-09 2000-07-26 Matsushita Electric Industrial Co., Ltd. Video signal decoding apparatus with artifact reduction
KR0165497B1 (ko) * 1995-01-20 1999-03-20 김광호 블럭화현상 제거를 위한 후처리장치 및 그 방법
JPH08214309A (ja) 1995-02-07 1996-08-20 Canon Inc 画像信号復号装置
US6463182B1 (en) * 1995-12-28 2002-10-08 Canon Kabushiki Kaisha Image processing apparatus and method for removing noise near an edge of an image
JP3800704B2 (ja) * 1997-02-13 2006-07-26 ソニー株式会社 映像信号処理装置及び方法
WO1998054892A1 (en) * 1997-05-28 1998-12-03 Sony Corporation Block distortion reduction method and device and encoding method and device
AU717480B2 (en) * 1998-08-01 2000-03-30 Korea Advanced Institute Of Science And Technology Loop-filtering method for image data and apparatus therefor
CN1286575A (zh) * 1999-08-25 2001-03-07 松下电器产业株式会社 噪声检测方法、噪声检测装置及图象编码装置
US6823089B1 (en) * 2000-09-28 2004-11-23 Eastman Kodak Company Method of determining the extent of blocking and contouring artifacts in a digital image

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63209274A (ja) * 1987-02-25 1988-08-30 Canon Inc 画信号処理装置
JPH03166825A (ja) * 1989-11-27 1991-07-18 Ricoh Co Ltd 画像処理方法及び装置
JPH04209073A (ja) * 1990-09-07 1992-07-30 Ricoh Co Ltd 画像処理方法
JPH05308623A (ja) * 1992-04-30 1993-11-19 Olympus Optical Co Ltd 画像信号復号化装置
JPH0723227A (ja) * 1993-06-18 1995-01-24 Sharp Corp ノイズ除去装置
JPH07170512A (ja) * 1993-11-24 1995-07-04 Matsushita Electric Ind Co Ltd 画像信号復号化装置におけるポストフィルタ処理方法およびポストフィルタ処理装置
JPH08307870A (ja) * 1995-04-29 1996-11-22 Samsung Electron Co Ltd ブロッキング効果除去回路
JP2001078187A (ja) * 1999-09-01 2001-03-23 Matsushita Electric Ind Co Ltd 画像復号化装置
JP2001086367A (ja) * 1999-09-10 2001-03-30 Matsushita Electric Ind Co Ltd 映像表示装置及びその制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1401210A4 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526133B2 (en) 2003-01-09 2009-04-28 Ricoh Company, Ltd. Image processing apparatus, image processing program, and storage medium
JP2007511941A (ja) * 2003-10-29 2007-05-10 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 画像のノイズを除去するための変換
US7536063B2 (en) 2004-01-27 2009-05-19 Canon Kabushiki Kaisha Resolution conversion method and device
EP1560438A1 (en) * 2004-01-27 2005-08-03 Canon Kabushiki Kaisha Resolution conversion method and device
US8000394B2 (en) 2004-03-08 2011-08-16 Mitsubishi Denki Kabushiki Kaisha Program, method, and apparatus for decoding coded data
WO2005086357A1 (ja) * 2004-03-08 2005-09-15 Mitsubishi Denki Kabushiki Kaisha 符号化データの復号プログラム及び方法並びに装置
JP2006055393A (ja) * 2004-04-22 2006-03-02 Shimadzu Corp 放射線撮像装置および放射線検出信号処理方法
JP2006127292A (ja) * 2004-10-29 2006-05-18 Kyocera Corp 画像処理装置およびその方法
JP2008130095A (ja) * 2006-11-17 2008-06-05 Shindorico Co Ltd フォトプリンティングのための顔領域検出装置及び補正方法
JP2012185827A (ja) * 2006-11-17 2012-09-27 Shindorico Co Ltd フォトプリンティングのための顔領域検出装置及び補正方法
JP2008311951A (ja) * 2007-06-14 2008-12-25 Sony Corp 画像処理装置、及び、画像処理方法
JP4609457B2 (ja) * 2007-06-14 2011-01-12 ソニー株式会社 画像処理装置、及び、画像処理方法
JP2010021668A (ja) * 2008-07-08 2010-01-28 Sharp Corp 画像処理方法、画像処理装置、ならびにそれを備える画像形成装置、画像処理プログラムおよび記録媒体
JP2015526046A (ja) * 2012-08-09 2015-09-07 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 処理方法及び処理装置
US9715736B2 (en) 2012-08-09 2017-07-25 Thomson Licensing Method and apparatus to detect artificial edges in images
CN106846262A (zh) * 2016-12-23 2017-06-13 中国科学院自动化研究所 去除蚊式噪声的方法及系统
CN106846262B (zh) * 2016-12-23 2020-02-28 中国科学院自动化研究所 去除蚊式噪声的方法及系统

Also Published As

Publication number Publication date
US7561752B2 (en) 2009-07-14
CN1260978C (zh) 2006-06-21
US20040165785A1 (en) 2004-08-26
EP1401210A4 (en) 2011-12-21
JPWO2002093935A1 (ja) 2004-09-02
EP1401210A1 (en) 2004-03-24
JP4145665B2 (ja) 2008-09-03
CN1507749A (zh) 2004-06-23

Similar Documents

Publication Publication Date Title
JP4145665B2 (ja) 画像処理装置及び画像処理方法
JP4870743B2 (ja) デジタルイメージに対する選択的なクロミナンスデシメーション
JP3001094B2 (ja) リンギングノイズの減少のための信号適応フィルタリング方法及び信号適応フィルター
JP2960386B2 (ja) 信号適応フィルタリング方法及び信号適応フィルター
US7570834B2 (en) Image de-ringing filter
US6845180B2 (en) Predicting ringing artifacts in digital images
US20050100235A1 (en) System and method for classifying and filtering pixels
US6823089B1 (en) Method of determining the extent of blocking and contouring artifacts in a digital image
KR101112139B1 (ko) 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법
JPH08186714A (ja) 画像データのノイズ除去方法及びその装置
JP2004166266A (ja) 圧縮画像中のアーティファクトを除去する方法及びシステム
JPH07131757A (ja) 画像処理装置
JP2000232651A (ja) ブロック変換符号化された画像表現から復号した電子的画像の中の歪を除去する方法
JP4097587B2 (ja) 画像処理装置および画像処理方法
EP1168823A2 (en) A method of determining the extent of blocking artifacts in a digital image
US8340404B2 (en) Image processing device and method, learning device and method, program, and recording medium
EP1073014A2 (en) Method for enhancing image data with compression artifacts by selective sharpening
JP2000059782A (ja) 空間領域デジタル画像の圧縮方法
JP4053460B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、および記録媒体
JP4040528B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体、および画像処理装置を備えた画像形成装置
JP2005318614A (ja) 入力画像中のアーチファクトを低減する方法
JPH07307942A (ja) 画像雑音除去装置
JP2001346208A (ja) 画像信号復号化装置および方法
EP1182885A2 (en) Method and apparatus for image quality enhancement
JP5267140B2 (ja) 画像圧縮装置及び画像圧縮方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): DE GB

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2002590677

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 10477317

Country of ref document: US

Ref document number: 028096169

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2002724766

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2002724766

Country of ref document: EP