WO2003001793A1 - Procédé et dispositif de traitement d'images - Google Patents

Procédé et dispositif de traitement d'images Download PDF

Info

Publication number
WO2003001793A1
WO2003001793A1 PCT/JP2002/006106 JP0206106W WO03001793A1 WO 2003001793 A1 WO2003001793 A1 WO 2003001793A1 JP 0206106 W JP0206106 W JP 0206106W WO 03001793 A1 WO03001793 A1 WO 03001793A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
pixel
threshold
image processing
image
Prior art date
Application number
PCT/JP2002/006106
Other languages
English (en)
French (fr)
Inventor
Masami Ogata
Kazuhiko Ueda
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US10/362,201 priority Critical patent/US7127122B2/en
Priority to KR1020037002412A priority patent/KR100895207B1/ko
Priority to EP02743646A priority patent/EP1404120A4/en
Publication of WO2003001793A1 publication Critical patent/WO2003001793A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Definitions

  • the present invention can be suitably used for various types of image input / output devices such as a television, a video tape recorder, a still camera, a video camera, and a printer.
  • the present invention relates to an image processing method and apparatus for reproducing in an image apparatus having a narrow dynamic range.
  • a function having an input / output relationship as shown by a solid line in FIG. 18 for each pixel of an input image (hereinafter referred to as a “level conversion function”) ) (Hereinafter referred to as “level conversion”).
  • the horizontal axis represents the pixel level (input level) 1 of the input image
  • the vertical axis represents the pixel level (output level) T (1) of the output image obtained by the level conversion process.
  • L max represents the maximum level that each pixel of the input / output image can take.
  • the contrast of the image after level conversion increases as the slope of the level conversion function increases. In the example in Fig.
  • the slope of the straight line indicating the level conversion function between the high level side with the input level 1b as the boundary and the low level side with the input level 1s as the middle level (the input level 1 The slope is smaller than the slope of s ⁇ 1b). Therefore, in the level conversion using the function shown in Fig. 18, the contrast at the intermediate level is increased by sacrificing the contrast at the high level and the low level.
  • the level conversion function is not limited to the one shown in FIG. 18, and for example, the one shown by a solid line in FIG. 19 can be used. In the level conversion function shown in Fig. 19, the slope of the straight line at the high level is smaller than the slope at the low level and the middle level at the input level lk. Therefore, in the level conversion using the function shown in Fig.
  • the contrast at the low level and the intermediate level can be increased by sacrificing the contrast at the high level.
  • the gun shown in Equation 1 In some cases, a more continuous level conversion function is used than the functions shown in FIGS. 18 and 19, such as the MA function and the LOG function shown in Equation 2.
  • G in Equation 1 is a parameter for adjusting the slope of the function.
  • FIG. 2A and FIG. 20B illustrate the principle of this histogram equalization.
  • the horizontal axis represents the pixel level (input level) 1 of the input image
  • the vertical axis represents the frequency (frequency or cumulative frequency).
  • Fmax is the maximum value of the cumulative frequency, and is the total number of pixels used for calculating the frequency.
  • a frequency distribution H (1) for pixel level 1 of the input image is generated, and then, a cumulative frequency distribution C (1) is generated using Equation 3. .
  • the level conversion function T (1) is generated by normalizing the vertical axis of the cumulative frequency distribution C (1) to the level range that the output image can take using Equation 4 (see FIG. 20B). ). By using this function T (1), it is possible to increase the contrast of a region (a region with a large area) constituted by levels with a high frequency of appearance.
  • a level conversion function having a monotonous increasing property is used in order to avoid generation of an unnatural image. For this reason, when the contrast (gradient of the level conversion function) in one of the level ranges is increased, the contrast is reduced in the other level ranges.
  • the Muliiscale retine method makes it possible to reproduce images with higher contrast by sacrificing monotonicity, but when the lighting conditions change rapidly, the linear filter extracts the change And there is a problem that subjectively undesirable noise occurs.
  • Equation 5 is equivalent to dividing the input signal by the illumination component, meaning that the larger the illumination component is, the greater the compression is, and as a result, the BNB region of the reproduced image (the thick broken line in the figure) Overshoot occurs.
  • C Multiscale retine In order to avoid this problem, the method uses multiple linear low-pass filters with different scales and combines the results obtained from each low-pass filter with a linear load, but the weight for each scale is fixed. The above problems have not been sufficiently suppressed.
  • Epsilon filter Is superior in its ability to preserve edges compared to linear filters, and can extract illumination components more effectively even in images with different illumination light.
  • a fixed threshold epsilon filter which is generally used for noise removal, etc., produces a discontinuous waveform near the edge of its output, and is used for compression of the dynamic range. In this case, an unnatural image pattern that is not in the original image may occur in the compressed reproduced image.
  • the present invention has been made in view of such a problem, and an object of the present invention is to make it possible to appropriately extract the boundaries of a plurality of different illuminations using an epsilon filter even when a plurality of different illuminations exist.
  • An object of the present invention is to provide an image processing method and apparatus capable of realizing a subjectively preferable compression of a dynamic range while suppressing the occurrence of a natural image pattern. Disclosure of the invention
  • An image processing method includes: an edge strength calculating step of calculating an edge strength for each position on an input image; and a threshold control for controlling a threshold of an epsilon filter based on the calculated edge strength.
  • a filtering process in which an input image is filtered by an epsilon filter using the threshold value controlled in the threshold control process, and a pixel value is converted according to an output value of the filtering process.
  • a pixel value conversion process of converting a pixel value for each pixel based on the calculated coefficient.
  • An image processing apparatus includes: an edge strength calculation unit configured to calculate an edge strength for each position on an input image; and an epsilon filter configured to perform a filter process on the input image using a set threshold.
  • a threshold value controlling means for controlling a threshold value used in the epsilon filter based on the edge strength calculated by the edge strength calculating means; and a pixel value according to an output value from the epsilon filter.
  • Pixel value conversion means for calculating a coefficient for converting the pixel value, and converting a pixel value for each pixel using the calculated coefficient.
  • the edge strength is calculated for each position on the input image, and the edge strength is calculated based on the calculated edge strength.
  • the threshold used is controlled.
  • a coefficient for converting the pixel value is calculated according to the output value from the epsilon filter, and the calculated coefficient is used to convert the pixel value for each pixel.
  • the threshold value of the epsilon filter is controlled, for example, such that the value becomes smaller as the edge strength becomes larger.
  • the threshold value may be controlled to increase as the pixel value of the input image increases.
  • two thresholds having different magnitudes may be calculated and the thresholds may be controlled.
  • filter processing is performed using different threshold values depending on whether the value of the neighboring pixel is larger or smaller than that of the pixel of interest. Also in this case, in the filtering process, the influence of the illumination level on the change in the pixel value is reduced, and the illumination component is more appropriately extracted.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to a first embodiment of the present invention.
  • FIG. 2 is an explanatory diagram showing a scanning direction of an image.
  • FIG. 3 is an explanatory diagram showing an example of a level conversion function.
  • FIG. 4 is a block diagram showing a configuration of an epsilon filter in the image processing apparatus shown in FIG.
  • 5A to 5C are explanatory diagrams showing the difference between the reproduced image by the conventional method and the reproduced image by the image processing device shown in FIG.
  • 6A and 6B are explanatory diagrams showing the relationship between the level conversion function and the coefficient calculation function.
  • FIG. 7A and FIG. 7B are explanatory diagrams showing the effect of epsilon fill.
  • FIGS. 8A and 8B are explanatory diagrams showing the behavior of an epsilon filter with a fixed threshold value around an edge.
  • FIG. 9A and FIG. 9B are explanatory diagrams showing a reversal phenomenon of a level gradient occurring in an epsilon filter having a fixed threshold.
  • FIG. 10 is an explanatory diagram showing the relationship between the level conversion function used for the output of the epsilon filter and its differential value.
  • FIG. 11A and FIG. 11B are explanatory diagrams showing the magnitude function of the input level and the compression ratio in the level conversion curve.
  • FIG. 12 is a block diagram showing a configuration of an image processing apparatus according to a second embodiment of the present invention.
  • FIG. 13 is an explanatory diagram showing an example of a coefficient calculation function used in a coefficient calculator in the image processing device shown in FIG.
  • FIG. 14 is a block diagram showing a configuration of an image processing apparatus according to the third embodiment of the present invention.
  • FIG. 15 is a block diagram showing a configuration of the image processing apparatus according to the fourth embodiment of the present invention.
  • FIG. 16 is an explanatory diagram showing a configuration of an epsilon filter in the image processing apparatus shown in FIG.
  • FIG. 17 is a block diagram showing a configuration of an image processing apparatus according to a fifth embodiment of the present invention.
  • FIG. 18 is an explanatory diagram showing an example of a conventionally used level conversion function.
  • FIG. 19 is an explanatory diagram showing an example of another level conversion function conventionally used.
  • FIG. 2OA and FIG. 20B are explanatory diagrams showing the principle of histogram equalization.
  • FIG. 21 is a diagram for explaining a problem of the Multiscale int method. BEST MODE FOR CARRYING OUT THE INVENTION
  • the input image signal processed by the present image processing apparatus is a signal of time-series pixel values obtained by scanning a two-dimensional digital image in the horizontal and vertical directions in the order shown in FIG.
  • a pixel value corresponding to an arbitrary position (X, y) on a two-dimensional image is represented as I (x, y), and this is processed as an input image signal.
  • the image processing apparatus includes an edge strength calculator 10, a threshold controller 11, an epsilon filter 12, a divider 13, and a level converter 14. And a multiplier 15.
  • the edge strength calculator 10 has a function of calculating the edge strength G (x, y) of the pixel value I (X, y) at each position of the input image.
  • the edge strength G (x, y) for example, the first derivative of I (X, y) given by Equation 6 can be used.
  • Equation 7 it is also possible to use a value according to Equation 7 having a smoothing effect as the edge strength G (X, y) in order to suppress the influence of noise.
  • d is a constant indicating a minute distance for calculating the derivative.
  • the threshold controller 11 calculates a threshold E (x, y) used in an epsilon filter 12 described later. It has a function of determining the size for each pixel. By the function of the threshold controller 11, the threshold value E (X, y) is controlled so as to become smaller as the edge strength G (x, y) becomes larger, for example, by using Expression 8. You.
  • Grain, Graax, Emin, and Ema are constants for converting the edge strength G (, y) into a threshold ⁇ (x, y). Indicates the minimum value, maximum value, and minimum and maximum values of the threshold value E (x, y).
  • the threshold value E (x, y) determined by the threshold value controller 11 is sent to the epsilon filter 12.
  • the epsilon filter 12 includes, for example, a differentiator 20, an absolute value calculator 21, a comparator 22, and a linear one-pass filter (in the figure, denoted as LPF. 2) and 3).
  • the epsilon filter 12 is a two-dimensional filter, and performs a nonlinear filtering process on an input image using the threshold value E (x, y) determined by the threshold value controller 11. have.
  • the output R (X, y) of the Ebsilon filter 12 is sent to a divider 13 and a level converter 14 as an illumination component.
  • the divider 13 converts each pixel value I (X, y) of the input image into the illumination component R as shown in Expression 9. Divide by (x, y). The non-lighting component S (X, y) obtained as a result of the division is sent to a multiplier 15.
  • the level converter 14 compresses the illumination component R (X, y) calculated by the epsilon filter 12 by performing level conversion using a level conversion function T (1) as shown in Expression 10. It has a function of calculating the corrected illumination component CR (x, y).
  • level conversion function T (1) used in the level converter 14 for example, a function as shown in FIG. 3 can be used.
  • Rmax and C Rmax represent the maximum values of the input level and the output level, respectively.
  • the multiplier 15 restores the image signal by multiplying the non-illumination component S (X, y) by the correction pig light component CR (X, y).
  • the image signal 0 (X, y) indicating the restored result is output to a transmission line, a storage device, or a display device (not shown).
  • a signal indicating an input image is input to an edge strength calculator 10, an epsilon filter 12 and a multiplier 13.
  • the edge strength calculator 10 calculates the size of the edge for each position of the input image, that is, the edge strength G (X, 5).
  • the edge strength calculator 10 calculates, for example, Equation 6 or Equation 6.
  • the edge intensity G (x, y) is calculated such that the larger the first derivative of the pixel value in the vicinity of the target pixel becomes, the larger the edge intensity G (x, y) is.
  • the threshold controller 11 controls the threshold E of the epsilon filter 12 based on the edge strength G (x, y). More specifically, the threshold value controller 11 determines the magnitude of the threshold value E (X, y) for each pixel using, for example, Equation 8, and the edge intensity G (x, y) is Control is performed so that the threshold value E (X, y) decreases as the value increases. The threshold controller 11 outputs the determined threshold E (x, y) to the epsilon filter 12.
  • the filtering process in the epsilon filter 12 is performed as follows, for example, by the configuration shown in FIG.
  • the differentiator 20 includes a signal indicating the current value I (X, y) of the target pixel and the value I (X x + dx, y + dy) and are input.
  • the differentiator 20 calculates a difference between the value I (X, y) of the target pixel and the value I (x + dx, y + dy) of the pixel in the neighboring area NB.
  • the differentiator 20 sequentially calculates this difference value for all the pixels in the neighboring area NB, and outputs the value D (d X, dy) to the absolute value calculator 21 in association with each neighboring pixel. I do.
  • the absolute value calculator 21 calculates an absolute value AD (dx, dy) of each difference value D (dX, dy) sent from the differentiator 20.
  • the absolute value calculator 21 outputs the calculated absolute value AD (dX, dy) to the comparator 22.
  • the comparator 22 receives the absolute value AD (d X, dy) calculated by the absolute value calculator 21 and outputs a signal indicating the value I (x, y) of the pixel of interest and its neighboring area N A signal indicating the value I (x + dx, y + dy) of the pixel in B and the threshold value E (X, y) determined by the threshold controller 11 are input.
  • the comparator 22 compares the absolute value AD (d X, dy) with the threshold value E (, y) as shown in Expression 12, and according to the result, the value I (X, y ) Or the value I (x + d X, y + dy) of the neighboring pixel, and outputs it to the linear low-pass filter 23 as the value J (d, dy).
  • the linear low-pass filter 23 calculates the weighted average value R (x, y) according to Expression 13 when the value J (dx, dy) corresponding to all the pixels in the neighboring area NB is calculated by the comparator 22. I do.
  • NB is a set of relative coordinates that define a neighboring area in the filtering process.
  • a (dX, dy) is a weighting coefficient for each pixel value.
  • the linear low-pass filter 23 for example, an average value filter as shown in Expression 14 can be used.
  • Equation 14 N represents the number of NB pixels in the neighboring area.
  • the purpose of the Ebsilon filter 12 is to remove fine structures in an image and to extract a coherent area, and it is desirable that the area in the vicinity is large.
  • the value R (x, y) obtained in the epsilon fill 12 as described above is considered to approximately represent the illumination component contained in the image.
  • the epsilon filter 12 outputs the value R (x, y) to the divider 13 and the level converter 14 as an illumination component.
  • the divider 13 divides each pixel value I (X, y) of the input image by the illumination component R (X, y) as shown in Expression 9, thereby obtaining the input image by the epsilon filter 12.
  • the calculated illumination component is removed, and the resulting non-illumination component S (X, y) is output to the multiplier 15.
  • the level converter 14 performs level conversion of the illumination component R (X, y) calculated by the epsilon filter 12 using, for example, a level conversion function T (1) as shown in FIG. Compress and calculate the corrected illumination component CR (x, y).
  • the level converter 14 outputs the calculated corrected illumination component CR (X, y) to the multiplier 15.
  • the multiplier 15 multiplies the non-illumination component S (x, y) output from the divider 13 by the corrected illumination component CR (x, y) output from the level converter 14. Restore the image signal.
  • the non-illumination component S (x, y) is multiplied by the corrected illumination component CR (x, y).
  • a coefficient F (R (x, y)) for converting a pixel value according to the output value R (x, y) from the epsilon filter 12 is calculated, and By multiplying by the corresponding input pixel value I (x, y), it is equivalent to converting the pixel value for each pixel and compressing the dynamic range.
  • the image signal ⁇ (x, y) output from the multiplier 15 is an image device having a relatively smaller dynamic range than the input image, that is, an environment in which the number of bits representing the pixel level is small. It is used in cases such as transmission on a transmission line with a small number of bits, display on a display device, or storage in a storage device.
  • FIG. 5A is a diagram showing the pixel value I (X, y) of the input image and the output R (x, y) from the epsilon filter 12 in the present embodiment as a one-dimensional signal. is there.
  • FIG. 5B shows the result (reproduced image) of the dynamic range compression performed by the conventional level conversion method on the input image shown in FIG. 5A
  • FIG. 5C shows the dynamic image in the present embodiment. The result of range compression is shown.
  • Equation 16 shows that the dynamic range compression by the compression of the illumination component R (, y) reduces the coefficient F (R (X, y)) calculated for each pixel to the corresponding input pixel value I (X, y).
  • the coefficient calculation function F (1) has a function of converting the output value of the epsilon filter 12 into a gain coefficient to be applied to each pixel. Note that the minimum value C min of the value of the coefficient calculation function F (1) in FIG. 6B is given by Expression 17.
  • the conventional method can preserve the contrast in the low-level area (the area composed of levels 11 and 13 shown in FIG. 5A), In the level region (region composed of level 14 and level 16), the contrast is reduced. This is the result of the direct effect of the slope of the level conversion function T (1) for higher levels above the inflection point lk. In order to improve the contrast in the conventional method, it is necessary to increase the slope of the level conversion function T (1).
  • a single correction coefficient given by the coefficient calculation function F (1) is applied to each of the high-level region and the low-level region.
  • the contrast in each area depends on the magnitude of this correction coefficient.
  • the correction coefficient determined by the average level 12 is uniformly applied to the low-level area, but the value is the same as that for levels 11 and 13. 0, and the same level of contrast as the conventional method can be obtained.
  • a constant correction coefficient c5 determined by the average value 15 is applied, so that the contrast between the level 14 portion and the level 16 portion is determined by this gain. Will be secured.
  • the straight line corresponding to the inflection point level 1k or more is expressed by equation 18
  • the contrast is defined as "(maximum level minimum level) / average level”.
  • the correction coefficient c5 applied to the high-level region is given by: Given in nineteen.
  • the contrast in the region extracted by the epsilon filter 12 is determined by the value of the correction coefficient itself given by the coefficient calculation function F (1), and the level conversion function T (1)
  • the slope of the graph affects the contrast between regions. Therefore, according to the present embodiment, by compressing the contrast between the regions, the contrast within the region can be preserved, and a subjectively favorable output image can be obtained.
  • the large difference absolute value AD (d X, dy) exceeding the threshold value E (x, y) is set in the area NB near the pixel of interest of the epsin filter 12.
  • the pixel value I (x + dx, y + dy) is calculated by the comparator 22 (FIG. 4) as shown by the thick broken line (I ′ (dX, dy)) in FIG. 7A.
  • the value of the pixel of interest (the value at the center of the neighborhood NB) is replaced by I (X, y), so that it does not significantly contribute to the smoothing by Expression 13, and as a result, the edge shape is preserved.
  • I the value at the center of the neighborhood NB
  • AD the absolute difference value AD (dX, dy) becomes smaller than the threshold value E (, y) over the entire neighborhood NB of the target pixel.
  • J (d X, dy) in Equation 12 are all equal to the input pixel value I (x + dx, y + dy), and the epsilon filter is equivalent to a simple linear low-pass filter, and the neighborhood area Smoothing is performed over the entire area NB.
  • the epsilon filter 12 is superior in the ability to preserve edges as compared with the linear filter, and can extract the illumination component more effectively even in an image in which different illumination light exists.
  • a discontinuous waveform is formed near the edge of the output, and thus the dynamic range is reduced.
  • Figs. 8A and 8B show the output of a conventional epsilon filter with a fixed threshold value at the modeled edge and its surroundings.
  • the edge part where the level changes rapidly is approximated by a straight line with a slope a, and the other edges are approximated by a flat straight line with a slope of zero.
  • the input signal is indicated by a thin solid line 81
  • the output of the ipsi filter is indicated by a thick solid line 82
  • the output of the corresponding linear low-pass filter is indicated by a thick broken line 83.
  • the linear low-pass filter used in the epsilon filter is an average filter.
  • FIG. 8A shows the power of the epsilon filter when the relationship of equation 20 is established between a, N, and E.
  • the horizontal axis represents spatial position coordinates, and the coordinate value increases as going to the right.
  • ⁇ indicates the position N / 2 away from the edge falling point pe.
  • the epsilon filter behaves the same as a linear mouth-pass filter.
  • the level change on the image due to the change in the illumination light occurs steeply (the slope a is large), and a large filter must be used to effectively compress the dynamic range as described above.
  • FIG. 8B shows the output of the epsilon filter when Expression 20 does not hold.
  • the output from ⁇ to P0-E / a is the same as that of a linear filter, and then a constant value is output up to pe. From pe to pe—E / a, it descends according to the quadratic curve, but under the condition that Equation 20 does not hold, it always intersects the straight line 81 indicating the input signal during this time.
  • pe-E / a the value becomes discontinuously the same as the input signal, and then the input signal is output as it is.
  • This behavior of the fixed threshold epsilon filter is for a simplified edge model, but it is clear that it will output a complex waveform near the edge. In particular, it changes discontinuously around pe-E / a and outputs a waveform with a slope greater than that of the input signal.
  • the local shape (the direction of the spatial gradient) at each position on the image must be preserved. That is, as shown in Equation 21, the sign of the differential value O ′ (X, y) of the output image 0 (X, y) and the differential value I ′ (x, y) of the input image I (X, y) The sign of must match.
  • sign (x) represents the sign of x.
  • the condition of Expression 21 is not satisfied, the level gradient is reversed between the input image and the output image, and an image pattern that does not exist in the input image appears in the output image.
  • the input image shown in FIG. 9A is output as shown in FIG. 9B.
  • a pattern 90 that does not exist in the input image appears due to the reversal of the level gradient.
  • the discontinuous behavior of the epsilon filter near the edge shown in Fig. 8B may make it difficult to satisfy the condition of Equation 21, and the level gradient may be reversed.
  • Equation 21 Whether Equation 21 is satisfied or not depends on the behavior of the epsilon filter and the level conversion function T (1) applied to its output. To clarify this, first, Expression 9 is substituted into Expression 11 to obtain Expression 22 of the relation between the input image I (X, y) and the output image ⁇ (X, y).
  • FIG. 10 shows the relationship between the output of the epsilon filter and the output of the level conversion function T (1).
  • the horizontal axis represents the output of the epsilon filter (input to the level conversion function T (1)), and the vertical axis represents the output of the level conversion function T (1).
  • the output of the epsilon filter of a pixel be R
  • the value after its level conversion be CR
  • the ratio CRZR be a. That is, a corresponds to the inclination of the straight line passing through the origin and (R, CR) (Equation 24).
  • Equation 26 can be obtained which consists of a part R'ZR related to the output of the epsilon filter and a part related to the property of the level conversion function T (1) (1-1 b / a).
  • Equation 27 Since the level conversion function T (1) for compressing the illumination component usually has a monotonically increasing property, a and b are positive values, and Equation 27 is satisfied.
  • 11 ba ⁇ 0 means a ⁇ b.
  • the higher the level the greater the compression.
  • the compression ratio of level R is a and the area around it is uniform; when compressing, the level; the slope of the level conversion function T (1) in the vicinity must be a, The actual slope is smaller b, and as shown in Fig. 11A, the higher the level, the greater the compression.
  • 1-b / a that is, if a ⁇ b, as shown in FIG.
  • the vertical and horizontal axes in FIGS. 11A and 11B are the output (input to the level conversion function T (1)) and the level conversion function T ( 1) represents the output.
  • Equation 29 is obtained from I ′ / I ⁇ R VR obtained from Equation 28A and Equation 28B.
  • Equation 26 holds when I ′ is zero.
  • Equation 30 holds in this part. It is clear that 26 is satisfactory.
  • the epsilon filter 12 is removed and R (X, y)-I (x, y) is obtained, the result is equivalent to the conventional method using only level conversion. This corresponds to the case where the condition of Equation 30 is satisfied over the entire image, and in the conventional method, the reversal of the level gradient does not occur.
  • Equation 26 is satisfied depends on the output of the ipsi filter 12 and the characteristics of the level conversion function T (1). Since the characteristics of the level conversion function T (1) should be determined by how to compress the illumination components, here we will examine how the output of the epsilon filter 12 affects the establishment of Equation 26. Are explained in four cases (1) to (4).
  • Equation 26 always holds because the right side is positive and the left side is negative.
  • Equation 26 always holds because the right side is negative and the left side is positive.
  • Equation 26 always holds regardless of the value of R'ZR.
  • Equation 26 is as described above.
  • the threshold value E of the epsilon filter 12 is made variable, and a signal as close as possible to the input image is output at the edge portion, that is, the edge intensity G (X, y)
  • the threshold value so that the threshold value E of the epsilon filter 12 becomes smaller as the value is larger, the reversal of the gradient is suppressed to the minimum, and the unnaturalness as shown in Fig. 9B This makes it possible to reproduce a natural image so that the pattern 90 does not occur.
  • level conversion function T (1) shown in FIG. 3 is merely an example, and it goes without saying that any level conversion function can be used depending on the purpose.
  • the functions shown in Equations 1 and 2 may be used.
  • the edge intensity G (X, y) is calculated for each position on the input image, and the edge intensity G (x, y) is calculated based on the edge intensity G (x, y).
  • the input image is filtered by controlling the threshold value E (x, y) of the epsilon filter 12, and calculated according to the output value R (X, y) from the epsilon filter 12.
  • the coefficient F (R (x, y)) is multiplied by the input pixel value I (X, y) as shown in Equation 16 to convert the pixel value for each pixel and Compression, so that even if there are multiple different illuminations, it is possible to extract the boundaries of those illuminations appropriately, suppress the occurrence of unnatural image patterns, and provide a subjectively favorable dynamic range. Compression can be realized. That is, by using the epsilon filter 12 to extract the illumination component from the input image and compressing the illumination component, the overall dynamic range is reduced while preserving local contrast. A subjectively favorable reproduced image can be obtained.
  • the threshold value E of the epsilon filter 12 is adaptively changed according to the local gradient of the pixel value I (X, y) based on the edge strength G (X, y). Therefore, the illumination boundary can be extracted more accurately than when a linear low-pass filter is used or when an epsilon filter with a fixed threshold is used.
  • FIG. 12 shows the configuration of an image processing apparatus according to the second embodiment of the present invention.
  • the overall function of the image processing apparatus according to this embodiment is the same as that of the first embodiment, but in this embodiment, the divider 13 and the level converter 14 (FIG. 1) Instead, a point that a coefficient calculator 16 having these functions is provided is different from the first embodiment. That is, in the present embodiment, the dynamic range is compressed based on Equation 16 shown in the first embodiment.
  • the coefficient calculator 16 in the present embodiment performs a coefficient calculation function F (1) as shown in FIG. 13 on the output R (X, y) of the epsilon filter 12 to obtain a coefficient C Calculate (X, y).
  • the coefficient calculation function F (1) is obtained by Expression 15 using the level conversion function T (1).
  • the coefficient C (x, y) calculated by the coefficient calculator 16 is sent to the multiplier 15.
  • a signal indicating an input image is directly input, and the coefficient C (X, y) calculated by the calculator 16 is input.
  • the threshold value E (x, y) of the epsilon filter 12 is controlled based on the edge strength G (x, y) to perform a filtering process on the input image. Calculated in accordance with the output value R (x, y) from the epsilon filter 12 The coefficient F (R (x, y)) is multiplied by the input pixel value I (x, y) to convert the pixel value for each pixel and compress the dynamic range. The same effect as in the first embodiment can be obtained.
  • FIG. 14 shows the configuration of an image processing apparatus according to the third embodiment of the present invention.
  • the configuration of the image processing apparatus according to the present embodiment is almost the same as that of the first embodiment (FIG. 1), except that the threshold controller 11 has an output from the edge strength calculator 10.
  • the difference is that the pixel value I (x, y) of the input image is directly input in addition to the edge strength G (x, y).
  • the threshold E (x, y) used in the subsequent epsilon filter 12 is determined not only by the edge intensity G (x, y) but also by the input image. Is also controlled by the pixel level. More specifically, in the threshold controller 11 A, as the pixel value I (X, y) of the input image increases, the threshold E (x, y) increases, and the edge intensity G (X, The threshold value E (x, y) is controlled so that the threshold value E (X, y) decreases as y) increases.
  • Such threshold control can be realized as follows. For example, first, using a pre-set positive coefficient r (r ⁇ 1.0), Equation 31 shows that the larger the pixel value I (X, y) of the input image, the larger the value. Set a temporary threshold E imp (X, y) such that
  • the threshold E trap (x, y) is modified by the edge strength G (x, y) to determine the threshold E (x, y) to be actually used.
  • the constants Emin and Emax for normalization in Equation 8 are set to 0.0 and 1.0, respectively, and the coefficient G (x, y) according to the edge strength is calculated according to Equation 8. This is added to the provisional threshold value ⁇ ⁇ ( ⁇ , y) as in Equation 32 to obtain the final threshold value E (X, y).
  • the threshold value E (x, y) is controlled.
  • the threshold E (X, y) of the epsilon fill 1 or 2 plays the role of separating whether the spatial change of the input pixel is due to the change in the illumination component or the change in the reflectivity of the object surface. Even when the change in the reflectance of the surface is small, the change in the pixel value I (X, y) is large if the illumination level itself is large. In other words, how to distinguish between a large change in illumination level and a small change in reflectance under strong illumination is a problem.
  • the threshold value E (X, y) of the epsilon filter 12 is set to be larger as the pixel level is larger.
  • the effect of the illumination level on the change of (x, y) can be reduced, and the illumination component can be extracted more appropriately.
  • the illumination component can be more appropriately extracted in the epsilon filter 12.
  • FIG. 15 shows a configuration of an image processing apparatus according to the fourth embodiment of the present invention.
  • the configuration of the image processing apparatus according to the present embodiment is almost the same as that of the third embodiment (FIG. 14).
  • two types of threshold values Elo (x, y) are provided for each pixel.
  • Eup ( ⁇ , y) is different from the third embodiment in that the threshold control of the epsilon filter is performed.
  • the threshold controller 11 B in the present embodiment calculates two types of thresholds Elo (x, y) and Eup (x, y) having different sizes for each pixel, and uses them to calculate the thresholds. Performs threshold control of the Psilon filter 12 A. That is, in the threshold controller 1 IB, for example, using two coefficients r 1 and ru (0.0.0 ⁇ r 1, ru ⁇ 1.0) of different sizes set in advance, the equation 33 A Then, as shown in Equation 33B, two types of provisional threshold values E tmplo (x, y) and E trapup (x, y) are calculated. Then, they are output to the epsilon filter 12 A as the first threshold E lo (x, y) and the second Eup (x, y).
  • threshold processing is performed by two thresholds E lo (x, y) and Eup (x,) calculated by the threshold controller 11B. Do. More specifically, the processing in the epsilon filter 12A is performed as follows, for example, by the configuration shown in FIG. In the present embodiment, the difference value D (x, y) calculated by the differentiator 20 is also sent to the sign determiner 24 in addition to the absolute value calculator 21.
  • the sign determination unit 24 determines the sign of the difference value D (X, y), and sends the result to the switch 27.
  • the first comparator 25 uses the first threshold value Elo (x, y) sent from the threshold controller 11 B to calculate the equation (1) as in the first embodiment. Select the signal with. That is, the value AD (d X, dy) calculated by the absolute value calculator 21 is compared with the threshold value Elo (x, y), and the value I (x, y) or One of the neighboring pixel values I (x + dx, y + dy) is selected and output as the value J (dX, dy).
  • the second comparator 26 uses the second threshold value Eup (x, y) sent from the threshold controller 11B to calculate the signal by the equation 12 as in the first embodiment. Make a selection. That is, the value AD (dx, dy) calculated by the absolute value calculator 21 is compared with the threshold value Eup (X, y), and according to the result, the value I (x, y) or Select one of the neighboring pixel values I (x + dx, y + dy) and output it as value J (dx, dy).
  • the switch 27 selects either the output of the first comparator 25 or the output of the second comparator 26 based on the judgment result of the sign judging unit 24 and sends it to the linear port-pass filter 23. .
  • the switch 27 selects the output of the first comparator 25 when, for example, the sign determination result indicates that it is positive. Conversely, if the determination result is negative, the output of the second comparator 26 is selected.
  • the threshold is reached.
  • Value E up (x, y) is used, and if smaller, Elo (x, y) is used. That is, in the epsilon filter 12 A, it is possible to set different threshold values on the high level side and the low level side.
  • the second threshold value Eup (x, y) is set to be larger than the first threshold value Elo (x, y)
  • the pixel value change as in the third embodiment is achieved. Therefore, it is possible to reduce the influence of the illumination component included in the image, and to extract the illumination component more appropriately.
  • FIG. 17 shows the configuration of an image processing apparatus according to the fifth embodiment of the present invention.
  • the configuration of the image processing apparatus according to the present embodiment is similar to that of the first embodiment (FIG. 1).
  • a non-linear conversion such as a logarithmic conversion is performed on the pixel level of the input image. The difference is that they are applied.
  • a logarithmic converter 17 is installed at the input stage of the circuit, and first, the logarithmic conversion shown in Expression 1 is performed on each pixel value I (X, y) of the input image. It has become.
  • a divider 13 for subtracting the illumination component R (x, y) obtained by the epsilon filter 12 sends a compressed illumination component CR (X, y) to a subtractor 18.
  • a multiplier 15 for multiplying the non-illumination component S (X, y) has been replaced with an adder 19.
  • the pixel value IL (X, y) of the input image after logarithmic conversion by the logarithmic converter 17 is sent to the edge strength calculator 10, the epsilon filter 12, and the subtractor 18.
  • the edge strength calculator 10 and the epsilon filter 12 perform the same processing as in the first embodiment based on the pixel value IL (X, y).
  • the subtracter 18 subtracts the illumination component R (x, y) obtained by the epsilon filter 12 from each pixel value IL (x, y), thereby obtaining the illumination component from the input image.
  • the non-illumination component S (x, y) obtained as a result is output to the adder 19.
  • the adder 19 adds the corrected illumination component CR (x, y) to the non-illumination component S (x, y), The image signal is restored, and the resulting image signal O (x, y) is output to a transmission line, a storage device, a display device, or the like (not shown), as in the first embodiment.
  • the logarithmic transformation used in the present embodiment itself has the effect of compressing the dynamic range, and the pixel value I (X, y) is compressed more as the input level becomes higher.
  • the effect of the illumination level on the spatial change of the pixel value is reduced, and the illumination component can be more appropriately extracted. It becomes possible.
  • the threshold value used in the epsilon filter is controlled based on the edge strength calculated for each position on the input image.
  • a coefficient for converting the pixel value is calculated according to the output value from the epsilon filter whose threshold value is controlled, and the pixel value is converted for each pixel by the calculated coefficient.
  • E (x, y) (Emax-Emin) + EminGmin ⁇ G (x, y) ⁇ Gmax
  • R (x, y) ⁇ 7j- ⁇ J (dx, dy)

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

明細書 画像処理方法および装置 技術分野
本発明は、 テレビジョン、 ビデオテープレコーダー、 スチルカメラ、 ビデオ力 メラおよびプリンタなど、 各種の画像の入出力装置に好適に利用可能なものであ り、 特に、 入力された画像を、 相対的によりダイナミックレンジの狭い画像装置 において再現するための画像処理方法および装置に関する。 背景技術
従来、 例えば画像の階調特性の変換のために、 入力画像の各画素に対し、 その レベルを第 1 8図の実線で示すような入出力関係を持つ関数 （以下、 「レベル変 換関数」 と記す。 ） で変換する方法 （以下、 「レベル変換」 と記す。 ） がある。 第 1 8図において、 横軸は入力画像の画素レベル (入力レベル) 1を、 縦軸はレ ベル変換処理による出力画像の画素レベル （出力レベル） T ( 1 ) を表す。 L max は、 入出力画像の各画素が取り得る最大レベルを表す。 レベル変換後の画像 のコントラストは、 レベル変換関数の傾きが大きいほど増加することになる。 第 1 8図の例では、 入力レベル 1 bを境にして高レベル側と入力レベル 1 sを境に して低レベル側とにおけるレベル変換関数を示す直線の傾きが、 中間レベル （入 カレベル 1 s〜 1 b ) の傾きに比べて小さくなつている。 従って、 第 1 8図に示 した関数を用いたレベル変換では、 高レベルおよび低レベルにおけるコントラス トを犠牲にすることで、 中間レベルのコントラストを増加させていることになる。 レベル変換関数は、 第 1 8図に示したものに限らず、 例えば第 1 9図の実線で 示したものを用いることもできる。 第 1 9図に示したレベル変換関数は、 入カレ ベル l kを境にして、 高レベル側における直線の傾きが、 低レベル、 中間レベル での傾きに比べて小さくなつている。 従って、 第 1 9図に示した関数を用いたレ ベル変換では、 高レベルでのコントラストを犠牲にすることで、 低レベル、 中間 レベルでのコントラストを増加させることができる。 また、 数式 1に示したガン マ関数や数式 2に示した LOG関数等、 第 1 8図および第 1 9図に示した関数に 比べて、 より連続的なレベル変換関数が用いられることもある。 なお、 数式 1に おける gは関数の傾きを調整するパラ ータである。
また、 さらに別の従来例としては、 入力画像の画素レベルの頻度分布に応じて、 レベル変換関数を適応的に変化させる方法があり、 その代表例としてはヒストグ ラムィコライゼ一シヨンと呼ばれる方法が挙げられる。 第 2 OA図及び第 20 B 図に、 このヒストグラムィコライゼーシヨンの原理を示す。 第 2 OA図において、 横軸は入力画像の画素レベル （入力レベル） 1を、 縦軸は度数 （頻度または累積 頻度） を表す。 Fmax は、 累積頻度の最大値であり、 頻度を算出するために用い る画素の総数である。 この方法では、 第 20 A図に示したように、 はじめに入力 画像の画素レベル 1に関する頻度分布 H ( 1 ) が生成され、 次に数式 3を用いて 累積頻度分布 C ( 1 ) が生成される。
この累積頻度分布 C ( 1 ) の縦軸を、 数式 4を用いて出力画像が取り得るレべ ル範囲に正規化することにより、 レベル変換関数 T ( 1 ) が生成される （第 20 B図） 。 この関数 T ( 1 ) を用いることにより、 出現頻度の高いレベルによって 構成される領域 （面積が大きい領域） のコントラストを増加させることが可能と なる。
入力された画像を、 よりダイナミックレンジの小さい、 すなわち画素レベルを 表現するビット数が少ない環境で利用する場合 （ビット数の少ない伝送路で伝送 する場合や、 表示装置に表示する場合、 あるいは記憶装置に保存する場合など） には、 ダイナミックレンジの圧縮を行う必要がある。 従来は、 このような目的で のダイナミックレンジの圧縮処理にも、 上述した方法と同様のレベル変換が用い られている。 ただし、 この場合には、 レベル変換関数の出力画像の最大レベルが、 入力画像のそれよりも小さい値となる。
一力、 文献 「 Z. Rahman, et, alt.： " A ul tiscale retinex for color rendition and dynamic range compression in Applications of Digital image Processing", XIX Proc. SPIE 2847 (1996) J では、 空間的に緩やかに変化する 照明光の成分をローパスフィル夕によって抽出し、 これを圧縮することで全体的 なダイナミックレンジを圧縮する方法が提案されている （以下、 この方法を rMultiscale retine 法」 と記す。 ） 。 照明成分の抽出には帯域の狭い線形口 一パスフィル夕が用いられている。 この方法では、 数式 5に示すように、 入力画 素の値 I , y) 、 およびローパスフィルタ出力 L P F ( I (X, y) ) の対 数値を取り、 前者から後者を差し引くことによりダイナミックレンジの圧縮が行 われる。
ところで、 上述した従来のレベル変換方法では、 不自然な画像が生成されるの を回避するため、 単調増加性を有するレベル変換関数を用いている。 このため、 いずれかのレベル範囲のコントラスト （レベル変換関数の傾き） を増加させた場 合、 他のレベル範囲では逆にコントラストが低下してしまうといった問題がある。 また、 Muliiscale retine 法では、 単調増加性を犠牲にすることで、 よりコ ントラストの高い画像を再現することを可能としているが、 照明条件が急激に切 り替わる場合、 線形フィルタではその変化を抽出することができず、 主観的に好 ましくないノィズが発生してしまうという問題がある。
例えば、 第 2 1図に示すように、 照明条件の異なる 2つの領域が隣接している 画像 （図中、 実線） に対して線形ローパスフィルタを施すと、 図中、 細い破線で 示したように境界のぼけた信号がフィルタ出力として得られる。 これを照明成分 と見なした場合、 照明境界の左側の領域 （B領域） において、 境界付近 （BNB 領域） は、 境界より離れた部分 （B FB領域） よりも照明レベルが低いことにな る。 数式 5は入力信号を照明成分で割り算することと等価であり、 照明成分が大 きいほど大きく圧縮されることを意味するため、 結果として再現画像 （図中、 太 い破線） の BNB領域にはォ一バーシュートが発生する。 逆に、 照明境界の右側 の領域 （D領域） において、 境界付近 （DNB領域） は、 境界より離れた部分 (DFB) に比べて照明レベルが高いと見なされてアンダーシュートが発生する c Multiscale retine 法ではこの問題を回避するためにスケールの異なる複数の 線形ローパスフィル夕を用い、 それぞれのローパスフィル夕によって得られる結 果を線形荷重によって合成する方法を用いているが、 各スケールに対する重みは 固定されており、 上記の問題を十分に抑制できていない。
そこで、 照明成分の抽出に線形口一パスフィルタではなく、 例えばィプシロン フィルタなどの非線形フィルタを用いることが考えられる。 ィプシロンフィルタ は、 線形フィルタに比べエッジを保存する能力にすぐれ、 異なる照明光が存在す る画像においても照明成分をより有効に抽出することができる。 しかしながら、 ノイズ除去などを目的に一般的に用いられているしきい値固定のィプシロンフィ ルタでは、 その出力にエッジ近傍において不連続な波形が形成されるため、 これ をダイナミックレンジの圧縮用に用いた場合、 圧縮後の再現画像に原画像にはな い不自然な画像パターンが発生する可能性がある。
本発明はかかる問題点に鑑みてなされたもので、 その目的は、 ィプシロンフィ ルタを用いて、 複数の異なる照明が存在する場合にも、 それらの境界を適切に抽 出することを可能とし、 不自然な画像パターンの発生を抑えて、 主観的に好まし いダイナミックレンジの圧縮を実現できる画像処理方法おょぴ装置を提供するこ とにある。 発明の開示
本発明による画像処理方法は、 入力画像上の各位置ごとにエッジ強度を算出す るエッジ強度算出過程と、 算出されたエッジ強度に基づいて、 ィプシロンフィル 夕のしきい値を制御するしきい値制御過程と、 しきい値制御過程において制御さ れたしきい値を用いて、 入力画像にィプシロンフィルタによるフィルタ処理を施 すフィルタリング過程と、 フィルタリング過程の出力値に応じて、 画素値を変換 するための係数を算出し、 その算出した係数により、 各画素ごとに画素値の変換 を行う画素値変換過程とを含むものである。
本発明による画像処理装置は、 入力画像上の各位置ごとにエッジ強度を算出す るエッジ強度算出手段と、 設定されたしきい値を用いて、 入力画像にフィルタ処 理を施すィプシロンフィルタと、 エッジ強度算出手段によって算出されたエッジ 強度に基づいて、 ィプシロンフィルタで用いられるしきい値を制御するしきい値 制御手段と、 ィプシロンフィルタからの出力値に応じて、 画素値を変換するため の係数を算出し、 その算出した係数により、 各画素ごとに画素値の変換を行う画 素値変換手段とを備えたものである。
本発明による画像処理方法および装置では、 入力画像上の各位置ごとにエッジ 強度が算出され、 その算出されたエッジ強度に基づいて、 ィプシロンフィル夕で 用いられるしきい値が制御される。 そして、 ィプシロンフィルタからの出力値に 応じて、 画素値を変換するための係数が算出され、 その算出された係数により、 各画素ごとに画素値の変換が行われる。 これにより、 複数の異なる照明が存在す る場合にも、 ィプシロンフィルタによるフィルタ処理において、 それらの境界の 抽出を適切に行うことが可能とされる。
本発明において、 ィプシロンフィルタのしきい値は、 例えば、 エッジ強度が大 きいほど値が小さくなるように制御される。 このとき、 さらに、 入力画像の画素 値が大きいほどしきい値を大きくするように制御しても良い。 これにより、 イブ シロンフィル夕によるフィル夕処理において、 画素値の変化における照明レベル の影響が軽減され、 より適切に照明成分の抽出がなされる。
また、 大きさの異なる 2つのしきい値を算出して、 しきい値の制御を行うよう にしても良い。 このとき、 ィプシロンフィルタでは、 例えば、 近傍画素の値が注 目画素に比べて大きい場合と小さい場合とで異なるしきい値を用いてフィルタ処 理を行う。 これによつても、 フィルタ処理において、 画素値の変化における照明 レベルの影響が軽減され、 より適切に照明成分の抽出がなされる。 図面の簡単な説明
第 1図は、 本発明の第 1の実施の形態に係る画像処理装置の構成を示すプロッ ク図である。
第 2図は、 画像の走査方向を示す説明図である。
第 3図は、 レベル変換関数の例について示す説明図である。
第 4図は、 第 1図に示した画像処理装置におけるィプシロンフィルタの構成を. 示すブロック図である。
第 5 A図乃至第 5 C図は、 従来法による再現画像と第 1図に示した画像処理装 置による再現画像との違いについて示す説明図である。
第 6 A図および第 6 B図は、 レベル変換関数と係数算出関数との関係について 示す説明図である。
第 7 A図および第 7 B図は、 ィプシロンフィル夕の効果について示す説明図で ある。 第 8 A図および第 8 B図は、 しきい値固定のィプシロンフィルタのエッジ周辺 における振る舞いについて示す説明図である。
第 9 A図および第 9 B図は、 しきい値固定のィプシロンフィルタにおいて生ず るレベル勾配の逆転現象について示す説明図である。
第 1 0図は、 ィプシロンフィルタの出力に用いられるレベル変換関数とその微 分値との関係を示す説明図である。
第 1 1 A図および第 1 1 B図は、 レベル変換曲線における入力レベルと圧縮率 の大小関数について示す説明図である。
第 1 2図は、 本発明の第 2の実施の形態に係る画像処理装置の構成を示すプロ ック図である。
第 1 3図は、 第 1 2図に示した画像処理装置における係数算出器において用い られる係数算出関数の例について示す説明図である。
第 1 4図は、 本発明の第 3の実施の形態に係る画像処理装置の構成を示すプロ ック図である。
第 1 5図は、 本発明の第 4の実施の形態に係る画像処理装置の構成を示すプロ ック図である。
第 1 6図は、 第 1 5図に示した画像処理装置におけるィプシロンフィル夕の構 成を示す説明図である。
第 1 7図は、 本発明の第 5の実施の形態に係る画像処理装置の構成を示すプロ ック図である。
第 1 8図は、 従来用いられているレベル変換関数の例について示す説明図であ る。
第 1 9図は、 従来用いられている他のレベル変換関数の例について示す説明図 である。
第 2 O A図および第 2 0 B図は、 ヒストグラムィコライゼーシヨンの原理につ いて示す説明図である。
第 2 1図は、 Mu l t i scal e ret inex 法の問題点について説明するための図であ る。 発明を実施するための最良の形態
以下、 本発明の実施の形態について図面を参照して詳細に説明する。
[第 1の実施の形態]
まず、 本実施の形態に係る画像処理装置において処理される入力画像信号につ て説明する。 本画像処理装置において処理される入力画像信号は、 2次元ディジ タル画像を第 2図に示すように水平方向、 垂直方向の順に走査して得られた時系 列な画素値の信号である。 本実施の形態では、 2次元画像上の任意の位置 （X , y) に対応する画素値を I (x， y) と表し、 これを入力画像信号として処理す る。
次に、 本実施の形態に係る画像処理装置の構成について説明する。 本画像処理 装置は、 第 1図に示したように、 エッジ強度算出器 1 0と、 しきい値制御器 1 1 と、 ィプシロンフィルタ 1 2と、 除算器 1 3と、 レベル変換器 14と、 乗算器 1 5とを備えている。
エッジ強度算出器 1 0は、 入力画像の各位置において画素値 I (X , y) のェ ッジ強度 G (x, y) を算出する機能を有している。 エッジ強度 G (x， y) と しては、 例えば数式 6で与えられるような I (X , y) の 1次微分値を用いるこ とができる。
あるいは、 ノィズの影響を抑えるために平滑化効果を持つ数式 7による値をェ ッジ強度 G (X , y) として用いることも可能である。
ここで、 数式 6および数式 7において、 dは微分を算出するための微小距離を 示す定数である。 エッジ強度算出器 1 0において算出されたエッジ強度 G (x, y) は、 しきい値制御器 1 1に送られる。
しきい値制御器 1 1は、 エッジ強度算出器 1 0によって算出されたエッジ強度 G (x, y) に基づき、 後述のィプシロンフィルタ 1 2で用いるしきい値 E (x, y) の大きさを画素ごとに決定する機能を有している。 しきい値制御器 1 1の機 能により、 しきい値 E ( X , y) は、 例えば数式 8を用いることにより、 エッジ 強度 G (x, y) が大きいほど小さな値となるように制御される。
数式 8において、 Grain, Graax, Emin, Ema は、 エッジ強度 G ( , y ) をしきい値 Ε (x, y) に変換するための定数であり、 それぞれエッジ強度の最 小値、 最大値、 しきい値 E (x, y) の最小値、 最大値を表している。 しきい値 制御器 1 1において決定されたしきい値 E (x, y) は、 ィプシロンフィルタ 1 2に送られる。
ィプシロンフィルタ 12は、 第 4図に示したように、 例えば、 差分器 20と、 絶対値算出器 2 1と、 比較器 22と、 線形口一パスフィルタ （図では LP Fと記 す。 ） 2 3とを有して構成されている。 このィプシロンフィルタ 1 2は、 2次元 のフィルタであり、 しきい値制御器 1 1によって決定されたしきい値 E (x， y) を用いて、 入力画像に非線形なフィルタ処理を施す機能を有している。 イブ シロンフィルタ 1 2の出力 R (X , y) は、 照明成分として除算器 1 3およびレ ベル変換器 14に送られる。
除算器 1 3は、 入力画像からィプシロンフィルタ 1 2で算出された照明成分を 除去するために、 数式 9に示すように、 入力画像の各画素値 I (X, y) を照明 成分 R (x, y) で割り算するようになっている。 割り算した結果得られる非照 明成分 S ( X, y) は、 乗算器 1 5に送られる。
レベル変換器 14は、 ィプシロンフィルタ 1 2で算出された照明成分 R ( X , y) を、 数式 1 0に示すように、 レベル変換関数 T ( 1 ) によってレベル変換す ることによって圧縮し、 補正照明成分 CR (x, y) を算出する機能を有してい る。
レベル変換器 14で用いるレベル変換関数 T ( 1 ) としては、 例えば第 3図に 示すような関数を用いることができる。 なお、 第 3図において、 Rmax, C Rmax は、 それぞれ入力レベルおよび出力レベルの最大値を表している。
乗算器 1 5は、 数式 1 1に示すように、 非照明成分 S (X , y) に補正豚明成 分 CR ( X , y) を積算することで画像信号を復元するようになっている。 復元 された結果を示す画像信号 0 (X , y) は、 図示しない伝送路、 記憶装置、 また は表示装置などに出力される。
なお、 本実施の形態において、 除算器 1 3、 レベル変換器 14および乗算器 1 5が、 本発明における 「画素値変換手段」 の一具体例に対応する。
次に、 以上のように構成された画像処理装置の作用、 動作を説明する。 なお、 以下の説明は、 本実施の形態に係る画像処理方法の説明を兼ねている。 本画像処理装置において、 入力画像を示す信号は、 エッジ強度算出器 1 0、 ィ プシロンフィルタ 1 2および乗算器 1 3に入力される。 まず、 エッジ強度算出器 1 0では、 入力画像の各位置ごとにエッジの大きさ、 すなわちエッジ強度 G ( X , 5 を算出する。 このとき、 エッジ強度算出器 1 0は、 例えば数式 6または数式 7を用いることにより、 注目画素の近傍領域内の画素値の 1次微分値が大きいほ ど大きな値となるようにして、 エッジ強度 G (x, y) を算出する。 エッジ強度 算出器 1 0は、 算出したエッジ強度 G ( X , y) をしきい値制御器 1 1に出力す る。
しきい値制御器 1 1では、 エッジ強度 G (x, y) に基づいて、 ィプシロンフ ィルタ 1 2のしきい値 Eを制御する。 より詳しくは、 しきい値制御器 1 1は、 例 えば数式 8を用いて、 しきい値 E (X, y) の大きさを画素ごとに決定し、 エツ ジ強度 G (x, y) が大きいほどしきい値 E ( X , y) が小さくなるように制御 する。 しきい値制御器 1 1は、 決定されたしきい値 E (x, y) をィプシロンフ ィルタ 1 2に出力する。
ィプシロンフィルタ 1 2では、 しきい値制御器 1 1によって決定されたしきい 値 E ( X , y) を用いて、 入力画像にフィルタ処理を施す。
ィプシロンフィルタ 1 2でのフィルタ処理は、 より詳しくは、 例えば第 4図に 示した構成により、 以下のように行われる。 ィプシロンフィルタ 12において、 差分器 20には、 第 4図に示したように、 現在の注目画素の値 I (X, y) を示 す信号とその近傍領域 NB内の画素の値 I (x + d x, y + dy) を示す信号と が入力される。 差分器 20では、 注目画素の値 I (X , y) とその近傍領域 NB 内の画素の値 I (x + d x, y + d y) との差分を算出する。 差分器 20では、 近傍領域 NB内のすべての画素に対して順次この差分値を計算し、 各近傍画素に 対応づけて、 その値 D (d X , d y) を絶対値算出器 2 1に出力する。
絶対値算出器 2 1では、 差分器 20より送られてくる各差分値 D (d X , d y) の絶対値 AD (d x, d y) を算出する。 絶対値算出器 21では、 算出した 絶対値 AD (d X , d y) を比較器 22に出力する。
比較器 22には、 絶対値算出器 21で算出された絶対値 AD (d X , d y) が 入力されると共に、 注目画素の値 I (x， y) を示す信号およびその近傍領域 N B内の画素の値 I (x + d x, y + d y) を示す信号、 ならびに、 しきい値制御 器 1 1で決定されたしきい値 E ( X , y) が入力される。 比較器 22では、 数式 1 2に示すように、 絶対値 AD (d X , d y) としきい値 E ( , y) とを比較 し、 その結果に応じて、 注目画素の値 I (X, y) または近傍画素の値 I (x + d X , y + d y) のいずれか一方を選択し、 それを値 J (d , d y) として線 形ローパスフィルタ 2 3に出力する。
線形ローパスフィルタ 23では、 近傍領域 NB内のすべての画素に対応する値 J (d x， dy) が比較器 22によって算出された時点で、 数式 1 3による加重 平均値 R (x， y) を算出する。
ここで、 NBはフィルタリング処理における近傍領域を定義する相対的な座標 の集合である。 また、 a ( d X , d y) は各画素値に対する重み係数であり、 こ の線形ローパスフィルタ 23としては、 例えば数式 14に示すような平均値フィ ルタなどを用いることができる。
数式 14において、 Nは近傍領域内 NBの画素の数を表している。 なお、 イブ シロンフィルタ 1 2の目的は、 画像中の細かい構造を除去し、 まとまった領域を 抽出することであり、 その近傍領域は大きい方が望ましい。
以上のようにしてィプシロンフィル夕 1 2で得られた値 R (x, y ) は、 近似 的に画像に含まれる照明成分を表しているものと考えられる。 ィプシロンフィル タ 1 2は、 値 R (x, y) を照明成分として除算器 1 3およびレベル変換器 14 に出力する。
除算器 13では、 数式 9に示したように、 入力画像の各画素値 I (X , y) を 照明成分 R (X , y) で除算することにより、 入力画像からィプシロンフィルタ 1 2で算出された照明成分を除去し、 その結果得られる非照明成分 S (X , y) を乗算器 1 5に出力する。
一方、 レベル変換器 14では、 ィプシロンフィルタ 1 2で算出された照明成分 R (X , y) を、 例えば第 3図に示すようなレベル変換関数 T ( 1) によってレ ベル変換することによって圧縮し、 補正照明成分 CR (x, y) を算出する。 レ ベル変換器 14は、 算出した補正照明成分 CR (X , y) を乗算器 1 5に出力す る。 乗算器 1 5では、 除算器 1 3からの出力である非照明成分 S (x, y) にレべ ル変換器 14からの出力である補正照明成分 CR (x, y) を積算することで画 像信号を復元する。 ここで、 以上の除算器 1 3、 レベル変換器 14および乗算器 1 5での全体の演算について考察すると、 非照明成分 S (x， y) に補正照明成 分 CR (x, y) を積算することは、 数式 16に示すように、 ィプシロンフィル タ 1 2からの出力値 R (x， y ) に応じて画素値を変換するための係数 F (R (x, y) ) を算出し、 それを対応する入力画素値 I (x， y) に積算すること で、 各画素ごとに画素値の変換を行ってダイナミックレンジの圧縮を行っている ことに相当する。
以上のようにして乗算器 1 5から出力される画像信号〇 （x， y) は、 入力画 像よりも相対的にダイナミックレンジの狭い画像装置、 すなわち画素レベルを表 現するビット数が少ない環境 （ビット数の少ない伝送路で伝送する場合や、 表示 装置に表示する場合、 あるいは記憶装置に保存する場合など） において利用され る。
次に、 第 5 A図乃至第 6 B図を参照して、 本実施の形態におけるィプシロンフ ィル夕 1 2を用いてダイナミックレンジの圧縮を行った場合の、 従来法 （単調増 加性を有するレベル変換関数を用いて圧縮を行う場合） に対する有効性について 説明する。
第 5 A図は、 入力画像の画素値 I (X, y) 、 およぴ本実施の形態におけるィ プシロンフィルタ 1 2からの出力 R (x, y) を 1次元信号として表した図であ る。 第 5 B図は、 第 5 A図に示した入力画像に対して従来のレベル変換法による ダイナミックレンジの圧縮を行った結果 （再現画像) を示し、 第る C図は本実施 の形態におけるダイナミックレンジの圧縮を行った結果を示す。
また、 第 6 A図および第 6 B図には、 各領域の画素レベルとレベル変換関数 T ( 1 ) 、 および係数算出関数 F ( 1) との関係を示す。 ここで、 係数算出関数 F ( 1 ) とは、 レベル変換関数 T ( 1 ) を用いて数式 1 5のように定義される。 この係数算出関数 F ( 1 ) を用い、 数式 9および数式 10を考慮することで、 出力画像〇 （X, y) を与える数式 1 1は、 数式 1 6のように書き換えることが 可能となる。 数式 1 6は、 照明成分 R ( , y) の圧縮によるダイナミックレンジの圧縮が、 画素ごとに算出される係数 F (R (X, y) ) を、 対応する入力画素値 I (X, y) に積算することで実現できることを示している。 このとき、 係数算出関数 F ( 1 ) は、 ィプシロンフィル夕 12の出力値を各画素に施すゲイン係数に変換す る機能を持つ。 なお、 第 6 B図における係数算出関数 F ( 1 ) の値の最小値 C minは、 数式 17で与えられることになる。
第 5 B図からも分かるように、 従来法は低レベル領域 （第 5 A図に示すレベル 1 1とレベル 1 3とで構成されている領域） でのコントラストを保存することが できるが、 高レベル領域 (レベル 1 4とレベル 1 6とで構成されている領域） に おいてはコントラストの低下を招いている。 これは、 変曲点 l k以上の高いレべ ルに対するレベル変換関数 T ( 1 ) の傾きの影響を直接的に受けた結果である。 従来法においてコントラストを向上させるためにはレベル変換関数 T ( 1 ) の傾 きを大きくする必要がある。
これに対し、 本実施の形態 （第 5 C図） では、 高レベル領域および低レベル領 域のそれぞれには、 係数算出関数 F ( 1 ) によって与えられる単一の補正係数が 施されるため、 各領域内のコントラストはこの補正係数の大きさに依存すること になる。 本実施の形態では、 低レベル領域に対してはその平均レベル 1 2によつ て決まる補正係数が一様に施されるが、 その値は、 レベル 1 1およびレベル 1 3 に対するものと同じ 1. 0であり、 従来法と同程度のコントラストが得られる。 また、 高レベル領域に対しては、 その平均値 1 5で決まる一定の補正係数 c 5が 施されるため、 レベル 1 4の部分とレベル 1 6の部分の間のコントラストは、 こ のゲインで確保されることになる。
実際、 第 6 A図に示すような、 傾きの異なる 2本の直線からなるレベル変換関 数 T ( 1 ) を用い、 その変極点レベル 1 k以上に対応する直線が数式 1 8で表さ れる場合には、 従来法における高レベル領域のコントラストはその直線の傾き a に依存し、 「a ( 1 6- 1 4) / (a * 1 5 + b) = ( 1 6— 1 4) / ( 1 5 + b/a) 」 で与えられる。 ただし、 ここではコントラストを 「 （最大レベル最小 レベル） /平均レベル」 で定義している。
一方、 本実施の形態において高レベル領域に適用される補正係数 c 5は、 数式 1 9で与えられる。
従って、 本実施の形態では、 この領域のコントラストは、 c 5 ( 1 6 - 1 4) Zc 5氺 1 5 = ( 1 6 - 1 4) / 1 5となるが、 ダイナミックレンジの圧縮にお けるレベル変換関数 T ( 1 ) の高レベルにおける傾きは通常 1. 0より小さいた め、 切片 bは常に正の値を取る。 このことは、 従来法に比べて、 ィプシロンフィ ルタ 1 2を用いた本実施の形態による方法がより高いコントラストを実現できる ことを示している。
このように、 本実施の形態においては、 ィプシロンフィル夕 1 2によって抽出 された領域内のコントラストが、 係数算出関数 F ( 1 ) によって与えられる補正 係数の値そのものによって決まり、 レベル変換関数 T ( 1 ) の傾きは領域間のコ ントラストに影響を及ぼすことになる。 従って、 本実施の形態によれば、 領域間 のコントラストを圧縮することにより、 領域内のコントラストを保存することが でき、 主観的に好ましい出力画像を得ることができる。
次に、 線形ローパスフィルタを用いた従来法に対する本実施の形態の効果につ いて説明する。 ただしここでは、 説明を簡単にするため画像を 1次元信号として 表す。 従来法の問題点は既に [発明が解決しょうとする課題] の項目において第 2 1図を用いて説明したとおりであるが、 その問題点を解決するためには、 照明 条件の異なる領域の境界 （照明境界） を保存したまま、 同一照明下の領域内を平 滑化する必要がある。 ところで、 経験上、 照明強度の変化に起因する画素レベル の変化は、 物体表面の反射率に起因する画素レベルの変化よりもはるかに大きく、 その結果、 照明境界では画素レベルの大きなエッジが発生することになる。
第 7 A図に示すように、 このようなエッジ周辺では、 ィプシ Etンフィルタ 12 の注目画素の近傍領域 NB内にしきい値 E (x， y) を超える大きな差分絶対値 AD (d X, d y) を与える画素値 I (x + d x, y + d y) が存在することに なる。 この画素値 I (x + d x, y + d y) は、 比較器 22 (第 4図） によって、 第 7 A図の太い破鎵 ( I ' (d X, d y ) ) で示すように、 現在の注目画素の値 (近傍領域 NB中央の値） I (X, y) に置き換えられるため、 数式 1 3による 平滑化には大きく寄与せず、 結果的にエッジの形状が保存されることになる。 こ れに対し、 照明境界以外の部分では、 第 7 B図に示すように、 画素レベルの変化 はそれほど大きなものにはならず、 注目画素の近傍領域 N B全体に渡り、 差分絶 対値 A D ( d X , d y ) がしきい値 E ( , y ) よりも小さくなる。 この場合、 数式 1 2の J ( d X , d y ) はすべて入力画素値 I ( x + d x， y + d y ) と等 しく、 ィプシロンフィルタは単純な線形ローパスフィルタと等価になり、 近傍領 域 N B全体に渡る平滑化が行われる。
このようにィプシロンフィルタ 1 2は、 線形フィルタに比べエッジを保存する 能力にすぐれ、 異なる照明光が存在する画像においても照明成分をより有効に抽 出することができる。 しかしながら、 ノイズ除去などを目的に一般的に用いられ ているしきい値固定の従来のィプシロンフィルタでは、 その出力にエッジ近傍に おいて不連続な波形が形成されるため、 これをダイナミックレンジの圧縮用に用 いた場合、 圧縮後の再現画像に原画像にはない不自然な画像パターンが発生する 可能性がある。
この問題点を説明するために、 第 8 A図および第 8 B図にモデル化したエッジ とその周辺におけるしきい値固定の従来のィプシロンフィル夕の出力を示す。 こ こではエッジ中央部から高レベル側のみを考え、 レベルが急激に変化するエッジ 部分は傾き aの直線で、 それ以外のェッジ周辺部分は傾き 0の平坦な直線で近似 している。 第 8 A図および第 8 B図では、 入力信号を細い実線 8 1で、 ィプシ口 ンフィルタの出力を太い実線 8 2で、 対応する線形ローパスフィル夕の出力を太 い破線 8 3で示す。 但し、 ィプシロンフィルタで用いる線形ローパスフィルタは、 平均値フィルタであるものとする。 また、 用いるィプシロンフィル夕での注目画 素の近傍領域の大きさを N、 そのしきい値を Eとする。 第 8 A図は、 a， N， E の間に数式 2 0の関係が成立している場合のィプシロンフィルタの岀カである。 第 8 A図において、 横軸は空間的な位置座標を表し、 右に行くほど座標値が大 きくなるものとする。 ρ θは、 エッジの立下り点 p eから N / 2だけ離れた位置 を示している。 この場合、 ィプシロンフィルタは線形口一パスフィルタと同等に 振る舞う。 しかしながら、 照明光の変化による画像上のレベル変化は急峻に生じ ること （傾き aが大きい） 、 また上述したように効果的なダイナミックレンジの 圧縮を行うためには大きなフィルタを用いる必要があること （Nが大きい） から、 照明条件が変化する照明境界では通常数式 2 0の条件は成立しないと考えられる。 一方、 第 8 B図には、 数式 20が成立しない場合のィプシロンフィル夕の出力 を示す。 第 8 B図において、 出力波形を右側から左側へと見ていくと、 ρ θから P 0—E/ aまでは線形フィルタと同じ出力となり、 その後 p eまでは一定の値 を出力する。 p eから p e— E/aまでは 2次曲線に従って下降するが、 数式 2 0が成立しない条件のもとでは、 この間に必ず入力信号を示す直線 8 1と交差す る。 p e— E/aでは不連続的に入力信号と同じ値になり、 その後入力信号をそ のまま出力することになる。 しきい値固定のィプシロンフィルタのこの振る舞い は、 単純化したエッジモデルに対するものであるが、 エッジ付近で複雑な波形を 出力することは明らかである。 特に、 p e—E/aのあたりでは不連続に変化し、 入力信号よりも大きな傾きを持った波形を出力する。
出力画像 O (X , y) が自然な再現画像となるためには、 画像上の各位置にお ける局所的な形状 （空間的勾配の向き） が保存されていることが必要となる。 す なわち、 数式 21に示すように、 出力画像 0 (X , y) の微分値 O' (X , y) の符号と入力画像 I (X , y) の微分値 I ' (x , y) の符号とがー致しなけれ ばならない。
ここで、 sign (x) は xの符号を表す。 数式 2 1の条件が満たされない場合、 入力画像と出力画像との間でレベル勾配の逆転が生じ、 入力画像には存在しない 画像パ夕一ンが出力画像に現れることになる。 例えば第 9 A図に示す入力画像が、 第 9 B図に示すように出力される。 第 9 B図の出力画像では、 レベル勾配の逆転 により、 入力画像には存在しないパターン 90が出現している。 しかし、 第 8 B 図に示すエッジ付近におけるィプシロンフィル夕の不連続な振る舞いは、 この数 式 2 1の条件の成立を困難にする可能性があり、 レベル勾配の逆転が生じるおそ れがある。
数式 2 1が成立するか否かは、 ィプシロンフィルタの振る舞いとその出力に施 されるレベル変換関数 T ( 1 ) に依存する。 このことを明らかにするために、 は じめに数式 1 1に数式 9を代入して入力画像 I ( X , y ) と出力画像〇 （X , y) との関係数式 22を得る。
数式 22の右辺における CR ( X, y) /R (x , y) は、 先に述べた係数算 出関数 F (R (X , y) ) に相当する。 数式 22の両辺を微分し、 数式 2 1に代 入することで、 出力画像 O (X, y) が満たすべき条件は数式 23のように表さ れることになる。
この条件に対するレベル変換関数 T ( 1 ) の関与をさらに明確にするために、 第 1 0図にィプシロンフィル夕の出力に対するレベル変換関数 T ( 1 ) の出力の 関係を示す。 横軸はィプシロンフィル夕の出力 （レベル変換関数 T ( 1 ) への入 力） 、 縦軸はレベル変換関数 T ( 1 ) の出力を表している。 いま、 ある画素のィ プシロンフィルタの出力を R、 そのレベル変換後の値を CRとし、 これらの比の 値 CRZRを aとする。 すなわち、 aは原点と （R, CR) を通過する直線の傾 きに相当する （数式 24) 。
またこの同じ画素におけるィプシロンフィルタの出力の空間微分値を R'とす ると、 これは第 1 0図の横軸上における Rを中心とする微小範囲の大きさに相当 するものと考えられる （ただし Rは微分値を算出する画像上の方向に応じて適当 な符号を有する） 。 従って、 Rに対応するレベル変換関数 T ( 1) の 1に関する 微係数を bとすると、 レベル変換後の空間微分値は数式 2 5によって近似できる 数式 24および数式 25を数式 22に代入することで、 ィプシロンフィル夕の 出力に関する部分 R'ZRと、 レベル変換関数 T ( 1 ) の性質に関する部分 （1 一 b/a) とからなる数式 26の条件を得ることができる。
なお、 照明成分圧縮のためのレベル変換関数 T ( 1 ) は、 通常単調増加性を有 するため、 aおよび bは正の値となり、 数式 2 7が成立する。
なお、 1一 b a≥0は、 a≥bを意味するが、 この場合には照明成分レベル Rの近辺ではレベルが大きいほど大きな圧縮を施されることを意味している。 な ぜならば、 レベル Rの圧縮率は aであり、 その近辺を一様に.圧縮する場合にはレ ベル; 近辺におけるレベル変換関数 T ( 1 ) の傾きは aである必要があるが、 実 際の傾きはより小さい bであり、 第 1 1 A図に示すように高レベル側ほど大きく 圧縮されることになる。 逆に 1— b/a、 すなわち a <bの場合には、 第 1 1 B 図に示すように低レベル側ほど大きく圧縮されることになる。 なお、 第 1 1A図 および第 1 1 B図の縦軸および横軸は、 第 1 0図と同様、 それぞれィプシロンフ イルクの出力 （レベル変換関数 T ( 1 ) への入力） およびレベル変換関数 T ( 1 ) の出力を表す。 エッジ付近以外の平坦部分では、 ィプシロンフィルタは口一パスフィルタとし て機能するため、 一般的にその出力における空間的な変化の割合は、 入力画像の それよりも緩やかなものとなる。 従って、 これらの部分では数式 28 Aおよび数 式 28 Bに示す 2つの条件が成立していると仮定できる。
Γ≥0の場合、 数式 28 Αおよび数式 28 Βより R'≥ 0となるため、 1— b Z aが負であれば常に数式 26が成立することになる。 また、 0≤l— b/a 1である場合には、 数式 28 Aおよび数式 28 Bから得られる I '/I≥R VR より、 数式 29のようになる。
同様に、 I 'ぐ 0の場合にも数式 26が成立することは容易に分かる。
一方、 第 8 B図に示すとおり、 エッジ中央部分においてはィプシロンフィルタ は入力信号をそのまま出力することになるため、 この部分では数式 30が成立す ると考えられるが、 この場合にも数式 26が満足されることは明らかである。 本実施の形態においてィプシロンフィルタ 1 2を除去し、 R (X , y) - I (x, y) となるようにすれば、 その結果はレベル変換のみによる従来法と等価 となるが、 これは画像全体に渡って数式 30の条件が成立している場合に相当し、 従来法ではレベル勾配の逆転が発生しないことになる。
これらの条件が満たされない部分では、 数式 26が成立するか否かはィプシ口 ンフィル夕 12の出力とレベル変換関数 T ( 1) の特性に依存する。 レベル変換 関数 T (1 ) の特性は照明成分をどのように圧縮するかによって決められるべき ものであるため、 ここではィプシロンフィルタ 12の出力がどのように数式 26 の成立に影響を及ぼすかを 4つの場合 （1) 〜 （4) に分けて説明する。
(1) Γ≥ 0かつ R'が 1一 bZaと同じ符号の場合；
右辺、 左辺がともに正となるため、 R'/Rの絶対値が大きいほど数式 26の 成立が困難となる。
(2) 1 '≥0かっ が1一 b/ aと異なる符号の場合；
右辺が正、 左辺が負となるため、 常に数式 26が成立する。
(3) Γぐ 0かつ R'が 1— bZaと同じ符号の場合；
右辺が負、 左辺が正となるため、 常に数式 26が成立する。
(4) I '<かつ R'が 1一 bZaと異なる符号の場合； 右辺、 左辺がともに負となるため、 R'ノ; が大きいほど数式 26の成立が困 難となる。
上記 （2) および （3) の条件のもとでは、 近傍領域内において入力画像のレ ベルが高いほど少ない圧縮が施されることになるため、 勾配の逆転が発生する可 能性がない。 従って R'ZRがどのような値になっても常に数式 26が成立する ことになる。 これに対して （1) , (4) の条件では、 R'ZRの絶対値が大き いほど数式 26が満たされない可能性が高くなるが、 少なくともその比が入力画 像と同じであれば数式 26が成立することは上記に述べたとおりである。 本実施 の形態では、 ィプシロンフィルタ 1 2のしきい値 Eを可変とし、 エッジ部分にお いては入力画像にできる限り近い信号を出力することで、 すなわち、 エッジ強度 G ( X , y) が大きいほど、 ィプシロンフィルタ 1 2のしきい値 Eが小さくなる ようにしきい値を制御することで、 勾配の逆転を最小限に抑制し、 第 9 B図に示 したような不自然なパターン 90が生じることのないよう、 自然な画像を再現す ることを可能としている。
なお、 第 3図に示したレベル変換関数 T ( 1 ) はあくまでも一例であり、 目的 に応じて任意のものを用いることができることはいうまでもない。 例えば、 数式 1や数式 2に示した関数を用いても良い。
以上説明したように、 本実施の形態によれば、 入力画像上の各位置ごとにエツ ジ強度 G (X, y) を算出すると共に、 このエッジ強度 G (x， y) に基づいて、 ィプシロンフィルタ 12のしきい値 E (x, y ) を制御して入力画像にフィルタ 処理を施し、 また、 そのィプシロンフィルタ 1 2からの出力値 R (X , y) に応 じて算出される係数 F (R (x, y) ) を、 数式 1 6に示したように入力画素値 I (X, y) に積算することによって、 各画素ごとに画素値の変換を行ってダイ ナミックレンジの圧縮を行うようにしたので、 複数の異なる照明が存在する場合 にも、 それらの境界を適切に抽出することを可能とし、 不自然な画像パターンの 発生を抑えて、 主観的に好ましいダイナミックレンジの圧縮を実現できる。 すな わち、 ィプシロンフィルタ 1 2を用いて、 入力画像から照明成分を抽出し、 その 照明成分を圧縮することにより、 局所的なコントラストを保存したまま全体的な ダイナミックレンジを削減し、 主観的に好ましい再現画像を得ることができる。 このとき、 エッジ強度 G (X , y) に基づいて、 ィプシロンフィルタ 1 2のしき い値 Eを画素値 I (X , y) の局所的な勾配に応じて適応的に変化させるように したので、 線形ローパスフィルタを用いた場合やしきい値固定のィプシロンフィ ルタを用いた場合よりも、 より正確に照明境界を抽出することができる。
[第 2の実施の形態]
次に、 本発明の第 2の実施の形態について説明する。 なお、 以下の説明では、 上記第 1の実施の形態における構成要素と実質的に同一の機能を有する部分には 同一の符号を付し、 適宜説明を省略する。
第 1 2図は、 本発明の第 2の実施の形態に係る画像処理装置の構成を示してい る。 本実施の形態に係る画像処理装置の全体的な機能は、 上記第 1の実施の形態 と同様であるが、 本実施の形態では、 除算器 1 3およびレベル変換器 14 (第 1 図） の代わりに、 これらの機能をあわせ持った係数算出器 16が設置されている 点が、 上記第 1の実施の形態とは異なる。 すなわち、 本実施の形態は、 上記第 1 の実施の形態で示した数式 1 6に基づいてダイナミックレンジの圧縮を行うもの である。
本実施の形態における係数算出器 1 6では、 ィプシロンフィルタ 1 2の出力 R (X , y) に対して、 第 1 3図に示すような係数算出関数 F ( 1) を施して係数 C (X , y) を算出する。 係数算出関数 F ( 1 ) は、 上記第 1の実施の形態で述 ベたように、 レベル変換関数 T ( 1 ) を用いて数式 1 5によって得られる。 係数 算出器 16によって算出された係数 C (x, y) は、 乗算器 1 5に送られる。 本実施の形態における乗算器 1 5には、 入力画像を示す信号が直接入力される と共に、 算出器 1 6によって算出された係数 C (X , y) が入力される。 乗算器 1 5では、 入力画像の各画素値 I (x， y) に対して対応する係数 C (x, y) を積算することで画像信号を復元し、 上記第 1の実施の形態と同様、 その結果の 画像信号〇 （x， y) を図示しない伝送路、 記憶装置または表示装置などに出力 する。
本実施の形態においても、 エッジ強度 G (x, y) に基づいて、 ィプシロンフ ィル夕 1 2のしきい値 E (x, y) を制御して入力画像にフィルタ処理を施し、 また、 そのィプシロンフィルタ 1 2からの出力値 R (x, y) に応じて算出され る係数 F (R (x, y) ) を、 入力画素値 I (x， y) に積算することによって、 各画素ごとに画素値の変換を行ってダイナミックレンジの圧縮を行うようにして いるので、 上記第 1の実施の形態と同様の効果を得ることができる。
[第 3の実施の形態]
次に、 本発明の第 3の実施の形態について説明する。 なお、 以下の説明では、 上記第 1の実施の形態または上記第 2の実施の形態における構成要素と実質的に 同一の機能を有する部分には同一の符号を付し、 適宜説明を省略する。
第 1 4図は、 本発明の第 3の実施の形態に係る画像処理装置の構成を示してい る。 本実施の形態に係る画像処理装置の構成は、 上記第 1の実施の形態 （第 1 図） とほぼ同じであるが、 しきい値制御器 1 1に、 エッジ強度算出器 1 0からの 出力であるエッジ強度 G (x, y) のほかに、 さらに、 入力画像の画素値 I (x， y) が直接入力されている点が異なる。
本実施の形態におけるしきい値制御器 1 1 Aでは、 後段のィプシロンフィルタ 1 2で用いるしきい値 E (x, y) を、 エッジ強度 G (x, y) のみではなく、 入力画像の画素レベルによっても制御する。 より具体的には、 しきい値制御器 1 1 Aでは、 入力画像の画素値 I (X, y) が大きいほどしきい値 E (x, y) が 大きくなると共に、 エッジ強度 G (X , y) が大きいほどしきい値 E (X , y) が小さくなるようにしきい値 E (x， y) を制御する。
このようなしきい値制御は、 以下のようにして実現できる。 例えば、 まず、 あ らかじめ設定された正の係数 r (r≤ 1. 0) を用いて、 数式 3 1によって、 入 力画像の画素値 I ( X , y) が大きいほどその値が大きくなるような、 仮のしき い値 E imp (X , y) を設定する。
その後、 このしきい値 E trap (x， y) をエッジ強度 G (x, y) により修正 して実際に用いるしきい値 E (x, y) を決定する。 例えば、 数式 8における正 規化のための定数 Emin, Emax をそれぞれ 0. 0 , 1. 0として、 数式 8によ つてエッジ強度に応じた係数 G (x, y) を算出するようにする。 これを数式 3 2のように、 仮のしきい値 Ε ίϋ (χ, y) に積算して最終的なしきい値 E (X , y) を求める。 これにより、 入力画像の画素値 I (X , y) が大きいほどその値 が大きくなると共に、 エッジ強度 G (x， y) が大きいほどその値が小さくなる よう、 しきい値 E (x, y) が制御される。
ィプシロンフィル夕 1 2のしきい値 E (X , y) は、 入力画素の空間的変化が 照明成分の変化によるものか、 物体表面の反射率の変化によるものかを分離する 役割を担うが、 物体表面の反射率の変化が小さい場合でも照明レベル自体が大き いと画素値 I (X , y) の変化は大きくなる。 すなわち、 照明レベルの大きな変 化と強い照明下における小さな反射率の変化とをどのように区別するかが問題と なる。 本実施の形態では、 画素レベルが大きいほどィプシロンフィルタ 1 2のし きい値 E ( X , y) を大きく設定するようにしているが、 これにより画素値 I
(x, y) の変化における照明レベルの影響を軽減でき、 より適切に照明成分を 抽出することが可能となる。
以上説明したように、 本実施の形態によれば、 エッジ強度 G ( X, y) のみな らず、 入力画像の画素レベルを考慮して、 ィプシロンフィルタ 1 2のしきい値 E
(X , y ) の制御を行うようにしたので、 ィプシロンフィルタ 12において、 よ り適切に照明成分を抽出することが可能となる。
[第 4の実施の形態]
次に、 本発明の第 4の実施の形態について説明する。 なお、 以下の説明では、 上記第 1〜第 3の実施の形態における構成要素と実質的に同一の機能を有する部 分には同一の符号を付し、 適宜説明を省略する。
第 1 5図は、 本発明の第 4の実施の形態に係る画像処理装置の構成を示してい る。 本実施の形態に係る画像処理装置の構成は、 上記第 3の実施の形態 （第 14 図） とほぼ同じであるが、 特に、 各画素ごとに 2種類のしきい値 Elo (x， y) , Eup (χ, y) を用いてィプシロンフィルタのしきい値制御を行うようにした点 が上記第 3の実施の形態とは異なる。
本実施の形態におけるしきい値制御器 1 1 Bでは、 各画素ごとに大きさの異な る 2種類のしきい値 Elo (x, y) ， Eup (x, y) を算出し、 それらによって ィプシロンフィルタ 1 2 Aのしきい値制御を行う。 すなわち、 しきい値制御器 1 I Bでは、 例えば、 あらかじめ設定された大きさの異なる 2つの係数 r 1 , r u (0. 0≤ r 1 , r u≤ 1. 0 ) を用いて、 数式 3 3 Aおよび数式 33 Bのよう に、 2種類の仮のしきい値 E tmplo (x, y) ， E trapup (x, y) を算出する。 そして、 それらを第 1のしきい値 E lo (x, y) および第 2の Eup (x, y) と して、 ィプシロンフィルタ 1 2 Aに出力する。
本実施の形態におけるィプシロンフィルタ 12 Aでは、 しきい値制御器 1 1 B で算出された 2つのしきい値 E lo (x， y) , Eup (x, ) によりしきい値処 理を行う。 ィプシロンフィルタ 1 2 Aでの処理は、 より詳しくは、 例えば、 第 1 6図に示した構成により、 以下のようにして行われる。 差分器 20によって算出 された差分値 D (x, y) は、 本実施の形態においては絶対値算出器 2 1のほか に符号判定器 24にも送られる。
符号判定器 24では、 差分値 D (X , y) の符号を判定し、 その結果をスイツ チ 27に送る。
第 1の比較器 2 5では、 しきい値制御器 1 1 Bから送られてくる第 1のしきい 値 Elo (x， y) を用いて、 第 1の実施の形態と同様、 数式 1 2により信号の選 択を行う。 すなわち、 絶対値算出器 21で算出された値 AD (d X, d y) とし きい値 Elo (x, y) とを比較し、 その結果に応じて、 注目画素の値 I (x， y) または近傍画素の値 I (x + dx, y + d y) のいずれか一方を選択し、 そ れを値 J ( d X , d y) として出力する。
第 2の比較器 26では、 しきい値制御器 1 1 Bから送られてくる第 2のしきい 値 Eup (x, y) を用いて、 第 1の実施の形態と同様数式 1 2により信号の選択 を行う。 すなわち、 絶対値算出器 21で算出された値 AD (d x, dy) としき い値 Eup (X, y) とを比較し、 その結果に応じて、 注目画素の値 I (x， y) または近傍画素の値 I (x + d x, y + d y) のいずれか一方を選択し、 それを 値 J (dx, d y) として出力する。
スィッチ 27では、 符号判定器 24の判定結果をもとに、 第 1の比較器 25ま たは第 2の比較器 26の出力のいずれか一方を選択し、 線形口一パスフィル夕 2 3に送る。 スィッチ 27では、 例えば、 符号判定結果が正であることを示してい る場合には、 第 1の比較器 2 5の出力を選択する。 逆に、 判定結果が負である場 合には、 第 2の比較器 26の出力を選択する。
本実施の形態では、 近傍画素の値 I (x + d x， y + d y) が現在の注目画素 の値 （近傍領域 NBの中央の値） I (X , y) よりも大きい場合にはしきい値 E up (x, y ) が用いられ、 小さい場合には Elo (x, y) が用いられる。 すなわ ち、 ィプシロンフィルタ 1 2 Aにおいて、 高レベル側と低レベル側とで異なるし きい値を設定することが可能となっている。 特に、 第 2のしきい値 Eup (x， y) が第 1のしきい値 Elo (x, y) よりも大きくなるようにすることで、 第 3 の実施の形態と同様、 画素値の変化に含まれる照明成分の影響を軽減することが でき、 より適切に照明成分を抽出することが可能となる。
[第 5の実施の形態]
次に、 本発明の第 5の実施の形態について説明する。 なお、 以下の説明では、 上記第 1〜第 4の実施の形態における構成要素と実質的に同一の機能を有する部 分には同一の符号を付し、 適宜説明を省略する。
第 1 7図は、 本発明の第 5の実施の形態に係る画像処理装置の構成を示してい る。 本実施の形態に係る画像処理装置の構成は、 上記第 1の実施の形態 （第 1 図） と類似しているが、 特に、 はじめに入力画像の画素レベルに例えば対数変換 などの非線形な変換を施すようにした点が異なる。
すなわち、 本実施の形態においては、 回路の入力段に対数変換器 1 7を設置し、 はじめに入力画像の各画素値 I (X , y) に対して数式 1に示した対数変換を施 すようになっている。 またこれに伴い、 ィプシロンフィルタ 1 2で得られた照明 成分 R (x, y) を差し引くための除算器 1 3が減算器 1 8に、 圧縮された照明 成分 CR (X , y) を非照明成分 S (X , y) に積算するための乗算器 1 5が加 算器 1 9に置き換えられている。 これらは積算、 除算が対数変換後には加算、 減 算となるという良く知られた事実に基づくものである。
対数変換器 1 7によって対数変換された後の入力画像の画素値 I L ( X , y) は、 エッジ強度算出器 1 0、 ィプシロンフィルタ 12、 および減算器 1 8に送ら れる。 エッジ強度算出器 1 0およびィプシロンフィルタ 1 2では、 その画素値 I L ( X , y) に基づいて、 上記第 1の実施の形態と同様の処理を行う。 一方、 減 算器 1 8では、 各画素値 I L (x, y) から、 ィプシロンフィルタ 1 2で得られ た照明成分 R (x, y) を減算することにより、 入力画像から照明成分を除去し、 その結果得られる非照明成分 S (x, y) を加算器 1 9に出力する。 加算器 1 9 では、 非照明成分 S (x, y) に補正照明成分 CR (x, y) を加算することで 画像信号を復元し、 上記第 1の実施の形態と同様、 その結果の画像信号 O ( x， y ) を図示しない伝送路、 記憶装置または表示装置などに出力する。
本実施の形態で用いた対数変換は、 それ自体がダイナミックレンジの圧縮効果 を持ち、 入力レベルが高いほど画素値 I ( X , y ) が大きく圧縮される。 これに より、 上記第 3および第 4の実施の形態と実質的に同様、 画素値の空間的な変化 における照明レベルの影響が軽減されることになり、 より適切に照明成分を抽出 することが可能となる。
なお、 本実施の形態では、 非線形な変換として対数変換を行う例について説明 したが、 対数変換以外の他の非線形な変換を行うようにしても良い。
以上説明したように、 本発明の画像処理方法または画像処理装置によれば、 入 力画像上の各位置ごとに算出されたエッジ強度に基づいて、 ィプシロンフィルタ で用いられるしきい値を制御すると共に、 そのしきい値の制御されたィプシロン フィル夕からの出力値に応じて、 画素値を変換するための係数を算出し、 その算 出された係数により、 各画素ごとに画素値の変換を行うようにしたので、 複数の 異なる照明が存在する場合にも、 それらの境界を適切に抽出することが可能とな り、 不自然な画像パターンの発生を抑えて、 主観的に好ましいダイナミックレン ジの圧縮を実現できる。
以上の説明に基づき、 本発明の種々の態様や変形例を実施可能であることは明 らかである。 したがって'、 以下のクレームの均等の範囲において、 上記の詳細な 説明における態様以外の態様で本発明を実施することが可能である。
CO
Figure imgf000027_0001
<¾ V0
lI()() (pI。pI+xJx—— (数式 7 )
G(x，y) == ∑∑ [ T (x—d， y+dy) -I (x+d, y+dy)]！
' dy=—d
+ ∑ [Kx+dx, y-d)-I(x+dx, y+d)] >
I dx= - d I
(数式 8 )
Emin •G(x, y) >Gmax
Gmax~G(x, y)
E(x, y) = (Emax-Emin) +Emin • Gmin≤G (x, y)≤Gmax
Gmax-Gmin
Emax mm
(数式 9 )
I(x， y)
S(x, y) =
R(x, y)
(数式 1 0 )
CR(x, y) = T(R(x, y))
(数式 1 1 )
0(x, y) = S(x，y)CR(x，y) (数式 12 ) 一 y) … AD(dx， dy) >E(x， y)
J(dX' y+dy) · . · AD(dx
Figure imgf000029_0001
， dy)≤E(x, y)
(数式 13 )
R(x, y) ： ∑a(dx, dy)j(dx, dy)
(dx, dy) ENB
(数式 14 )
R(x, y) = ~7j- ∑ J (dx, dy)
1 (dx, dy) ^NB
(数式 15 )
T(l)
F(l)
(数式 16 )
0(x, y) = I(x, y)F(R(x， y))
(数式 17 )
CRmax
Cmin =
Rmax (数式 18 )
T(l) = al+b l≥lk
(数式 19 )
「 aXl5+h b
c5 = ― = a+-
15 15
(数式 20 )
2E
Nぐ
a
(数式 21 ) sign (0 (x, y)) = sign (I' (x, y))
(数式 22 )
CR(x,y)
0(x, y) = I (x， y)
R(x, y)
(数式 23 )
f R' (x> y) CR' (x, y) < I，
I'≥0 R(x, y) ~CR(x,y)' = ~T
R， (x, y) _ CR' (x, y) 、 ― I'
I'ぐ 0 L R(x,y) ~CRjx, yT ' Ί ( 数式 2 4 )
CR = aR
(数式 2 5 )
CR' ： bR，
( 数式 2 6 )
Figure imgf000031_0001
( 数式 2 7 ) b
1一
a
(数式 2 8 A )
( 数式 2 8 B
sign (1，
Figure imgf000031_0002
(数式 2 9 )
R' / b \ , I' b し I / ノ 1 ノ ——，
R ( 1 a ノ— I i 1 a ノー I (数式 3 0 )
R， (χ, y) Γ (x, y)
R(x, y) I(x, y)
(数式 3 1 )
Etmp (x, y) rl(x, y)
(数式 3 2 )
E(x, y) = Etmp (x, y)G(x, y)
(数式 3 3 A )
Etmplo (x, y) - rl X l ( y)
(数式 3 3 B )
Etmpup (x, y) = ruXI(x, y)

Claims

請求の範囲
1 . 入力された画像を、 相対的によりダイナミックレンジの小さい画像に変換す るための画像処理方法であつて、
入力画像上の各位置ごとにェッジ強度を算出するエツジ強度算出過程と、 算出された前記エッジ強度に基づいて、 ィプシロンフィルタのしきい値を制御 するしきい値制御過程と、
前記しきい値制御過程において制御されたしきい値を用いて、 前記入力画像に 前記ィプシロンフィルタによるフィルタ処理を施すフィルタリング過程と、 前記フィルタリング過程の出力値に応じて、 画素値を変換するための係数を算 出し、 その算出した係数により、 各画素ごとに画素値の変換を行う画素値変換過 程と
を含むことを特徴とする画像処理方法。
2 . 前記エッジ強度算出過程では、 前記エッジ強度として、 注目画素の近傍領域 内の画素値の 1次微分値が大きいほど大きな値を算出する
ことを特徴とする請求の範囲第 1項記載の画像処理方法。
3 . 前記しきい値制御過程では、 前記エッジ強度が大きいほど、 前記しきい値が 小さくなるように前記しきい値を制御する
ことを特徴とする請求の範囲第 1項記載の画像処理方法。
4 . 前記しきい値制御過程では、 前記入力画像の画素値が大きいほど前記しきい 値が大きくなると共に、 前記エッジ強度が大きいほど前記しきい値が小さくなる ように前記しきい値を制御する
'ことを特徴とする請求の範囲第 1項記載の画像処理方法。
5 . 前記しきい値制御過程において、 大きさの異なる 2つのしきい値を算出し、 前記フィルタリング過程において、 近傍画素の値が注目画素に比べて大きい場 合と小さい場合とで異なるしきい値を用いる
ことを特徴とする請求の範囲第 1項記載の画像処理方法。
6 . 前記フィルタリング過程において、 近傍画素の値が注目画素の値よりも大き い場合には、 前記 2つのしきい値のうち、 値の大きい方のしきい値を用い、 近傍 画素の値が注目画素の値よりも小さい場合には、 値の小さい方のしきい値を用い る
ことを特徴とする請求の範囲第 5項記載の画像処理方法。
7 . さらに、 前記入力画像の画素レベルに、 非線形な変換を施す過程を有し、 その非線形な変換が行われた後の入力画像に対して前記ィプシロンフィルタに よるフィル夕処理を施す
ことを特徴とする請求の範囲第 1項記載の画像処理方法。
8 . 前記非線形変換は対数変換である
ことを特徴とする請求の範囲第 7項記載の画像処理方法。
9 . 入力された画像を、 相対的によりダイナミックレンジの小さい画像に変換す るための画像処理装置であって、
入力画像上の各位置ごとにエッジ強度を算出するェッジ強度算出手段と、 設定されたしきい値を用いて、 前記入力画像にフィルタ処理を施すィプシロン フィル夕と、
前記ェッジ強度算出手 によつて算出された前記ェッジ強度に基づいて、 前記 ィプシロンフィルタで用いられるしきい値を制御するしきい値制御手段と、 前記ィプシロンフィル夕からの出力値に応じて、 画素値を変換するための係数 を算出し、 その算出した係数により、 各画素ごとに画素値の変換を行う画素値変 換手段と
を備えたことを特徴とする画像処理装置。
1 0 . 前記エッジ強度算出手段は、 前記エッジ強度として、 注目画素の近傍領域 内の画素値の 1次微分値が大きいほど大きな値を算出するよう構成されている ことを特徴とする請求の範囲第 9項記載の画像処理装置。
1 1 . 前記しきい値制御手段は、 前記エッジ強度が大きいほど、 前記しきい値が 小さくなるように前記しきい値を制御する
ことを特徴とする請求の範囲第 9項記載の画像処理装置。
1 2 . 前記しきい値制御手段は、 前記入力画像の画素値が大きいほど前記しきい 値が大きくなると共に、 前記エッジ強度が大きいほど前記しきい値が小さくなる ように前記しきい値を制御する
ことを特徴とする請求の範囲第 9項記載の画像処理装置。
1 3 . 前記しきい値制御手段は、 大きさの異なる 2つのしきい値を算出し、 前記ィプシロンフィルタは、 近傍画素の値が注目画素に比べて大きい場合と小 さい場合とで異なるしきい値を用いるよう構成されている
ことを特徴とする請求の範囲第 9項記載の画像処理装置。
1 4 . 前記ィプシロンフィルタは、 近傍画素の値が注目画素の値よりも大きい場 合には、 前記 2つのしきい値のうち、 値の大きい方のしきい値を用い、 近傍画素 の値が注目画素の値よりも小さい場合には、 値の小さい方のしきい値を用いるよ う構成されている
ことを特徴とする請求の範囲第 1 3項記載の画像処理装置。
1 5 . さらに、 前記入力画像の画素レベルに、 非線形な変換を施す手段を有し、 前記ィプシロンフィルタは、 前記非線形な変換が行われた後の入力画像に対し て前記フィルタ処理を施すよう構成されている
ことを特徴とする請求の範囲第 9項記載の画像処理装置。
1 6 . 前記非線形な変換を施す手段は、 前記入力画像の画素レベルに対数変換を 施すものである
ことを特徴とする請求の範囲第 1 5項記載の画像処理装置。
PCT/JP2002/006106 2001-06-20 2002-06-19 Procédé et dispositif de traitement d'images WO2003001793A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/362,201 US7127122B2 (en) 2001-06-20 2002-06-19 Image processing method and image processing apparatus
KR1020037002412A KR100895207B1 (ko) 2001-06-20 2002-06-19 화상 처리 방법 및 장치
EP02743646A EP1404120A4 (en) 2001-06-20 2002-06-19 METHOD AND DEVICE FOR PROCESSING IMAGES

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001187146A JP4649781B2 (ja) 2001-06-20 2001-06-20 画像処理方法および装置
JP2001-187146 2001-06-20

Publications (1)

Publication Number Publication Date
WO2003001793A1 true WO2003001793A1 (fr) 2003-01-03

Family

ID=19026482

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/006106 WO2003001793A1 (fr) 2001-06-20 2002-06-19 Procédé et dispositif de traitement d'images

Country Status (5)

Country Link
US (1) US7127122B2 (ja)
EP (1) EP1404120A4 (ja)
JP (1) JP4649781B2 (ja)
KR (1) KR100895207B1 (ja)
WO (1) WO2003001793A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7773824B2 (en) 2003-04-25 2010-08-10 Sony Corporation Signal processing device and method, recording medium, and program
US7995839B2 (en) 2006-04-14 2011-08-09 Fujifilm Corporation Image processing device and method with distance calculating on color space

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4045422B2 (ja) * 2002-07-23 2008-02-13 株式会社日立メディコ 画像処理装置
US7599578B2 (en) 2004-09-17 2009-10-06 Nikon Corporation Apparatus, program, and method for image tone transformation, and electronic camera
WO2006040960A1 (ja) * 2004-10-08 2006-04-20 Matsushita Electric Industrial Co., Ltd. 画像処理装置および画像処理プログラム
JP4127262B2 (ja) * 2004-11-29 2008-07-30 ソニー株式会社 画像処理装置及び画像処理方法
US7525579B2 (en) * 2004-12-27 2009-04-28 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method for use therein
US7961966B2 (en) * 2005-01-04 2011-06-14 Etron Technology, Inc. Digitized image stabilization using energy analysis method
JP4538358B2 (ja) * 2005-03-30 2010-09-08 パイオニア株式会社 画像処理装置
US8014034B2 (en) * 2005-04-13 2011-09-06 Acd Systems International Inc. Image contrast enhancement
JP2007011926A (ja) * 2005-07-04 2007-01-18 Fujifilm Holdings Corp 画像処理方法および装置並びにプログラム
JP4736598B2 (ja) * 2005-07-27 2011-07-27 ソニー株式会社 ノイズ除去回路及びノイズ除去方法
US7791656B2 (en) * 2005-08-16 2010-09-07 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method
JP4736939B2 (ja) * 2005-08-16 2011-07-27 コニカミノルタホールディングス株式会社 撮像装置及び画像処理方法
JP4135737B2 (ja) 2005-08-30 2008-08-20 ブラザー工業株式会社 画像処理プログラム
US7590303B2 (en) * 2005-09-29 2009-09-15 Samsung Electronics Co., Ltd. Image enhancement method using local illumination correction
JP4157592B2 (ja) * 2005-10-12 2008-10-01 松下電器産業株式会社 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
US7755670B2 (en) * 2005-10-24 2010-07-13 Nikon Corporation Tone-conversion device for image, program, electronic camera, and tone-conversion method
US7995058B2 (en) * 2006-01-27 2011-08-09 Tandent Vision Science, Inc. Method and system for identifying illumination fields in an image
US7843493B2 (en) * 2006-01-31 2010-11-30 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method
CN101427559B (zh) 2006-04-19 2011-11-30 松下电器产业株式会社 视觉处理装置、视觉处理方法、显示装置和集成电路
WO2007125732A1 (ja) 2006-04-28 2007-11-08 Panasonic Corporation 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路
EP2053557B1 (en) * 2006-08-17 2013-11-06 Fujitsu Limited Image processing device, image processing program, and image processing method
JP4208909B2 (ja) 2006-08-24 2009-01-14 株式会社東芝 画像処理装置と撮影装置
JP4859632B2 (ja) * 2006-11-15 2012-01-25 富士通セミコンダクター株式会社 画像処理装置及び画像処理方法
JP4288623B2 (ja) * 2007-01-18 2009-07-01 ソニー株式会社 撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体
US8396290B1 (en) 2007-03-09 2013-03-12 Pixar Saturation varying color space
US8942476B1 (en) 2007-03-09 2015-01-27 Pixar Saturation varying and lighting independent color color control for computer graphics
JP4746575B2 (ja) * 2007-03-16 2011-08-10 株式会社東芝 画像処理装置及びその方法
JP4772721B2 (ja) * 2007-03-26 2011-09-14 株式会社東芝 画像処理装置及びその方法
JP4527750B2 (ja) * 2007-05-30 2010-08-18 三菱電機株式会社 画像処理装置及び方法並びに画像表示装置
KR100901354B1 (ko) * 2007-05-31 2009-06-05 주식회사 코아로직 영상의 에지 보정장치 및 그 방법
EP2179589A4 (en) * 2007-07-20 2010-12-01 Fujifilm Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
US8330768B2 (en) * 2007-07-27 2012-12-11 Sharp Laboratories Of America, Inc. Apparatus and method for rendering high dynamic range images for standard dynamic range display
JP5012333B2 (ja) * 2007-08-30 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 画像処理装置および画像処理方法ならびに撮像装置
US8300974B2 (en) 2007-11-12 2012-10-30 Mitsubishi Electric Corporation Image processing device, image display device, and image processing method therefor
JP4502055B2 (ja) * 2007-11-12 2010-07-14 三菱電機株式会社 画像処理装置、画像表示装置、および画像処理方法
EP2216988B1 (en) * 2007-12-04 2013-02-13 Sony Corporation Image processing device and method, program, and recording medium
US7995854B2 (en) * 2008-03-28 2011-08-09 Tandent Vision Science, Inc. System and method for identifying complex tokens in an image
US8139883B2 (en) * 2008-07-29 2012-03-20 Sony Corporation System and method for image and video encoding artifacts reduction and quality improvement
US8103120B2 (en) 2008-09-22 2012-01-24 Solomon Systech Limited Method and apparatus of local contrast enhancement
EP2166509A1 (en) * 2008-09-22 2010-03-24 Solomon Systech Limited Method and apparatus of local contrast enhancement
KR100975221B1 (ko) * 2008-11-05 2010-08-10 매그나칩 반도체 유한회사 샤프니스 보정장치 및 그 방법
GB2468304A (en) * 2009-03-03 2010-09-08 Sharp Kk Video image processing method that smooths the jagged diagonal edges created by epsilon filtering
JP5233757B2 (ja) * 2009-03-09 2013-07-10 三菱電機株式会社 画像処理装置および画像表示装置
JP4585602B1 (ja) 2009-09-18 2010-11-24 株式会社東芝 画像処理装置、表示装置及び画像処理方法
JP2011090569A (ja) * 2009-10-23 2011-05-06 Sony Corp 画像処理装置および画像処理方法
CN101930599B (zh) * 2010-08-24 2013-02-13 黄伟萍 一种医学图像增强方法及系统
DE102010039807A1 (de) * 2010-08-26 2012-03-01 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur Filterung in Röntgenbildern
JP5470415B2 (ja) * 2012-03-30 2014-04-16 Ｅｉｚｏ株式会社 イプシロンフィルタの閾値決定方法およびローパスフィルタの係数決定方法
JP5267704B2 (ja) * 2012-06-06 2013-08-21 コニカミノルタアドバンストレイヤー株式会社 画像処理装置および画像処理方法ならびに撮像装置
JP2013017240A (ja) * 2012-10-10 2013-01-24 Konica Minolta Advanced Layers Inc 画像処理装置、画像処理方法、及び撮像装置
JP6625165B2 (ja) 2013-02-14 2019-12-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6362333B2 (ja) * 2013-02-14 2018-07-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6303816B2 (ja) * 2014-05-28 2018-04-04 富士ゼロックス株式会社 画像処理装置及びプログラム
JP2016086347A (ja) 2014-10-28 2016-05-19 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、及びプログラム
JP6548403B2 (ja) 2015-02-24 2019-07-24 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、及びプログラム
JP6548907B2 (ja) 2015-02-24 2019-07-24 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、及びプログラム
KR102495754B1 (ko) 2016-10-25 2023-02-02 한화테크윈 주식회사 광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법
JP6742231B2 (ja) * 2016-12-09 2020-08-19 キヤノン株式会社 画像処理装置及び方法、及び撮像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62155679A (ja) * 1985-12-27 1987-07-10 Olympus Optical Co Ltd 画像信号処理回路
JPH07212759A (ja) * 1994-01-27 1995-08-11 Sharp Corp 画像信号復号器
JPH0865673A (ja) * 1994-08-22 1996-03-08 Kyocera Corp 画像信号復号装置
JPH09247674A (ja) * 1996-03-11 1997-09-19 Matsushita Electric Ind Co Ltd 輪郭および輪郭近傍歪み除去装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4527265A (en) * 1983-06-30 1985-07-02 Staar S. A. Position memory for laser reproduction unit
BE902324A (fr) * 1985-04-30 1985-08-16 Staar Sa Appareil assurant la reproduction et/ou l'enregistrement selectif et/ou successif de supports d'informations.
JPS62214576A (ja) * 1986-03-14 1987-09-21 Pioneer Electronic Corp ピツクアツプの位置制御方法
US4878129A (en) * 1986-08-27 1989-10-31 Pioneer Electronic Corporation Method for reproduction of stored video signals with disk reproducing apparatus
JP2609542B2 (ja) * 1988-10-04 1997-05-14 パイオニア株式会社 ディスクプレーヤ
CA2020059C (en) * 1989-06-30 1995-05-23 Shigemi Maeda Modular ceramic igniter
JPH04254959A (ja) * 1991-02-05 1992-09-10 Sony Corp 記録媒体の再生装置
JP2970008B2 (ja) * 1991-02-22 1999-11-02 ソニー株式会社 ディスク状記録媒体再生装置
JP3396894B2 (ja) * 1992-05-14 2003-04-14 ソニー株式会社 音響再生装置
JPH07326175A (ja) * 1994-05-30 1995-12-12 Sony Corp 記録又は再生装置
JPH08147702A (ja) * 1994-11-11 1996-06-07 Mitsumi Electric Co Ltd 光ディスク書き込み方法
JPH08241565A (ja) * 1995-03-03 1996-09-17 Toshiba Corp ポータブルコンピュータ
JPH10508138A (ja) * 1995-08-22 1998-08-04 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 媒体のオーディオ信号及び／又はビデオ信号読取り用プレーヤ
US6463601B1 (en) * 1995-10-12 2002-10-15 Randy E. Fetty Self-contained waste and refuse disposal unit
KR100279147B1 (ko) * 1996-07-27 2001-01-15 구자홍 에지강조 오차확산법의 에지검출 방법
KR100283948B1 (ko) * 1997-09-12 2001-05-02 윤종용 디스크플레이어제어장치및그방법
JP3913356B2 (ja) * 1998-03-17 2007-05-09 富士フイルム株式会社 画像処理方法
JP3873523B2 (ja) * 1999-05-21 2007-01-24 ソニー株式会社 再生装置
JP3515019B2 (ja) * 1999-07-26 2004-04-05 日本電信電話株式会社 画像補正方法及びその装置及びその方法を記録した記録媒体及びその装置を組み込んだ画像撮影装置及びその装置を組み込んだ画像表示装置
EP1137267A3 (en) * 2000-02-07 2005-09-14 Sony Corporation Device and method for image processing
JP4556276B2 (ja) * 2000-03-23 2010-10-06 ソニー株式会社 画像処理回路及び画像処理方法
US6396777B1 (en) * 2000-05-30 2002-05-28 Delphi Technologies, Inc. Compact disk player instant-on feature

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62155679A (ja) * 1985-12-27 1987-07-10 Olympus Optical Co Ltd 画像信号処理回路
JPH07212759A (ja) * 1994-01-27 1995-08-11 Sharp Corp 画像信号復号器
JPH0865673A (ja) * 1994-08-22 1996-03-08 Kyocera Corp 画像信号復号装置
JPH09247674A (ja) * 1996-03-11 1997-09-19 Matsushita Electric Ind Co Ltd 輪郭および輪郭近傍歪み除去装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1404120A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7773824B2 (en) 2003-04-25 2010-08-10 Sony Corporation Signal processing device and method, recording medium, and program
US7995839B2 (en) 2006-04-14 2011-08-09 Fujifilm Corporation Image processing device and method with distance calculating on color space

Also Published As

Publication number Publication date
JP4649781B2 (ja) 2011-03-16
US7127122B2 (en) 2006-10-24
KR20030025294A (ko) 2003-03-28
EP1404120A4 (en) 2006-10-04
JP2003008935A (ja) 2003-01-10
KR100895207B1 (ko) 2009-05-04
US20030156761A1 (en) 2003-08-21
EP1404120A1 (en) 2004-03-31

Similar Documents

Publication Publication Date Title
WO2003001793A1 (fr) Procédé et dispositif de traitement d&#39;images
US8654221B2 (en) Image processing device and method, and program
US7570390B2 (en) Image processing device and method
EP1137258B1 (en) Image processing circuit and method for processing image
JP4210577B2 (ja) 選択的空間フィルタを使用するディジタル画像の階調及び空間特性の向上方法
EP1111907B1 (en) A method for enhancing a digital image with noise-dependent control of texture
EP2833317B1 (en) Image display device and/or method therefor
KR101031153B1 (ko) 신호 처리 장치 및 방법
EP1111906A2 (en) A method for enhancing the edge contrast of a digital image independently from the texture
JP4874184B2 (ja) 画像処理装置及び画像処理方法
JP4497160B2 (ja) 画像処理装置および方法、並びにプログラム
WO2001041425A1 (fr) Dispositif de correction de contour
US7916967B2 (en) Image processing apparatus and image processing method
US7421146B2 (en) Apparatus and method of processing shoot artifacts of image signals
US7894686B2 (en) Adaptive video enhancement gain control
JP5295854B2 (ja) 画像処理装置及び画像処理プログラム
KR101007840B1 (ko) 신호 처리 장치 및 방법, 기록 매체
JPH0944648A (ja) 画像処理装置及び画像処理方法
JP2003009178A (ja) 画像処理方法および装置
JP2004007292A (ja) モスキート歪み低減装置およびモスキート歪み低減方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

WWE Wipo information: entry into national phase

Ref document number: 2002743646

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020037002412

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 10362201

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1020037002412

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2002743646

Country of ref document: EP