WO2006025486A1 - 画像補正処理システム及び画像補正処理方法 - Google Patents

画像補正処理システム及び画像補正処理方法 Download PDF

Info

Publication number
WO2006025486A1
WO2006025486A1 PCT/JP2005/015995 JP2005015995W WO2006025486A1 WO 2006025486 A1 WO2006025486 A1 WO 2006025486A1 JP 2005015995 W JP2005015995 W JP 2005015995W WO 2006025486 A1 WO2006025486 A1 WO 2006025486A1
Authority
WO
WIPO (PCT)
Prior art keywords
gradation
image processing
local
image
value
Prior art date
Application number
PCT/JP2005/015995
Other languages
English (en)
French (fr)
Inventor
Tetsuaki Suzuki
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to EP05777032A priority Critical patent/EP1788795A4/en
Priority to US11/574,516 priority patent/US7949201B2/en
Priority to JP2006531980A priority patent/JP4577621B2/ja
Publication of WO2006025486A1 publication Critical patent/WO2006025486A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original

Definitions

  • the present invention relates to an image correction processing system and an image correction processing method, and more particularly to a technique for improving an intermediate gradation of an image.
  • a method for improving an intermediate gradation of an image is used to improve the gradation of an image in an apparatus that handles an image such as a camera, a scanner, or a printer.
  • a conventional method for improving the intermediate gradation of an image the gradation value of an input original image is converted using a gradation conversion curve called a tone curve.
  • a gradation conversion curve a global process is required in which the gradation conversion processing, which is fixed to the input gradation value and the output gradation value force, is applied to all pixels in the image.
  • a gradation conversion curve When using a gradation conversion curve, a global process is required in which the gradation conversion processing, which is fixed to the input gradation value and the output gradation value force, is applied to all pixels in the image.
  • the gradation conversion processing which is fixed to the input gradation value and the output gradation value force, is applied to all pixels in the image.
  • adjustments can be made to obtain an image with a balanced tone in
  • the halftone is improved by the processing flow shown in FIG. That is, in this conventional method, an image to be corrected is received as an input image (S801). At this time, a tone mask image is generated from the input image (S802). For each pixel value of the input image, a set of corrected pixel values is obtained (S803). The pixel value of the input image has a corresponding pixel mask value, and the corrected pixel value is obtained by a non-linear combination of the pixel value of the input image and the corresponding pixel mask value of the current pixel value.
  • an automatic exposure control device is disclosed in Japanese Patent Laid-Open No. 5-176220.
  • the average luminance of the entire screen of the image is detected, and the number of pixels having a luminance lower than a predetermined luminance is calculated.
  • a correction amount is calculated based on the number of low-luminance pixels, and a target luminance for the entire screen is calculated based on the correction amount.
  • the iris is controlled so that the average brightness follows the target brightness.
  • An image processing apparatus is disclosed in Japanese Patent Laid-Open No. 11-355578.
  • the correction amount of the granularity for each predetermined area is calculated based on each density of a plurality of predetermined areas obtained by dividing the area of the image data.
  • the granularity of the image data is corrected based on the correction amount.
  • 11-1 adjusts the intensity value for each position in each i-th spectral band.
  • the adjusted intensity values for each position in each i th spectral band are filtered with a common function and adjusted for each i th spectral band so filtered for each position.
  • An improved digital image based on the intensity value is displayed.
  • an image processing method is disclosed in Japanese Patent Application Laid-Open No. 2003-333331.
  • the signal is corrected so that nonlinear distortion of the input image data is reduced, and the relative ratio between the pixel value of the pixel of interest and the gray value of the surrounding distribution area is calculated with respect to the corrected signal. It is. From this relative ratio, the pixel value of the processing target pixel corresponding to the target pixel is determined.
  • the relative ratio between the pixel value of the pixel of interest and the gray value of the surrounding distribution area is calculated by changing the target area, and the gain coefficient is set according to the size of the target surrounding distribution area. Calculated. Each relative ratio obtained is multiplied by a predetermined weighting factor and gain factor, respectively, and a combined value is calculated. The pixel value of the processing target pixel corresponding to the pixel of interest is determined from this composite value.
  • An object of the present invention is to provide an image correction processing system, an image correction processing method, and an image correction processing program that can be processed with a small storage capacity.
  • an image processing system includes a local region selection unit that selects a local region of at least one correction target with an input image force, and the local region includes at least one pixel.
  • a correction amount calculation unit for calculating a gradation correction amount for the correction target local region, and a gradation correction for correcting the gradation value of the local region based on the gradation correction amount.
  • a local gradation correction unit that generates a gradation correction image.
  • the correction amount calculation unit calculates a gradation correction amount using a peripheral region gradation value calculation unit that calculates a gradation value of a peripheral region of the local region, and a calculated gradation value of the peripheral region. You may comprise the local correction amount conversion part to calculate.
  • the image processing system further includes a partial region luminance calculation unit that calculates a representative gradation value for each partial region of the input image, and the correction amount calculation unit includes a peripheral region of the local region to be corrected.
  • a partial area reference type peripheral area that calculates a gradation value using the representative gradation value of at least one partial area located in the vicinity of the local area to be corrected.
  • a local luminance calculation unit; and a local correction amount conversion unit that calculates the gradation correction amount using the calculated gradation value of the peripheral region.
  • the image processing system includes a global correction amount calculation unit that calculates a global correction amount of the local gradation correction image, and a gradation correction that corrects a global gradation in the local gradation correction image based on the global correction amount. And a global correction unit that generates a global gradation complementary image.
  • the image processing system may further include an image input unit that provides the input image, and an image output unit that outputs the local tone correction image or the global tone correction image.
  • the gradation value is preferably a luminance value or a gradation value expressed by a spectral component.
  • the gradation correction may be repeated a plurality of times with respect to the correction target local region while changing the width of the correction target local region or maintaining the width of the correction target local region. Good.
  • the gradation correction may be performed on the plurality of selected local regions.
  • the peripheral area gradation value calculation unit may calculate the gradation value of the peripheral area and a weighted average luminance value of Gaussian weight, or the average luminance value of the peripheral area as the gradation value of the peripheral area. Good.
  • one or more feature route lines connecting local regions and feature points are set, and one or more route feature points are obtained for each of the feature route lines, and the tone value of the route feature point or the route feature is obtained.
  • a weighted average luminance value of points may be calculated as the gradation value of the surrounding area.
  • the partial region reference type peripheral region luminance calculation unit is a product of a ratio of a distance between the local region to be corrected and at least one partial region located in the vicinity thereof and a representative gradation of the partial region. May be used to calculate the gradation of the surrounding area.
  • the representative gradation value is preferably an average value of all or some of the pixels included in the partial area, or a median value of all or some of the pixels.
  • the correction amount calculation unit is adapted to perform correction stronger than the shadow area and illite area.
  • the gradation correction amount may be calculated, or the gradation correction amount of the local region may be calculated using the region luminance around the local region and the luminance of the highlight region of the image.
  • the local gradation correction unit preferably performs the gradation correction using a nonlinear function.
  • the global tone correction preferably includes contrast enhancement.
  • an image processing method includes selecting at least one local area to be corrected for input image force, and including at least one pixel in the local area, and a gradation for the local area to be corrected. This is achieved by calculating a correction amount and generating a local tone correction image by performing tone correction for correcting the tone value of the local region based on the tone correction amount.
  • the calculation of the gradation correction amount means calculating the gradation value of the peripheral region of the local region, and calculating the gradation correction amount using the calculated gradation value of the peripheral region. To be achieved by doing so.
  • the image processing method further includes calculating a representative gradation value for each partial area of the input image, and calculating the gradation correction amount is positioned in the vicinity of the local area to be corrected. Calculating a gradation value of a peripheral area of the local area to be corrected using the representative gradation value of the at least one partial area, and using the calculated gradation value of the peripheral area It may be achieved by calculating a tone correction amount.
  • the image processing method further calculates a global correction amount of the local gradation correction image, and performs gradation correction for correcting the global gradation on the local gradation correction image based on the global correction amount! Which can be achieved by generating a global complementary image,
  • the image processing method may be further achieved by providing the input image and outputting the local tone correction image or the global tone correction image.
  • the gradation value is preferably a luminance value or a gradation value expressed by a spectral component.
  • the image processing method further applies the gradation correction to the correction target local area while changing the area of the correction target local area or maintaining the area of the correction target local area. On the other hand, it may be achieved by repeating a plurality of times.
  • selecting the local region includes selecting a plurality of local regions
  • the image processing method may be achieved by performing the gradation correction on the plurality of selected local regions.
  • the gradation correction amount is calculated by calculating the gradation value of the peripheral area and a Gaussian weighted weighted average luminance value, or the average luminance value of the peripheral area as the gradation value of the peripheral area. May be achieved.
  • the gradation correction amount is calculated by setting one or more feature route lines connecting a local region and feature points, obtaining one or more route feature points for each of the feature route lines, and calculating the route feature points. Or a weighted average luminance value of the route feature point may be calculated as the gradation value of the surrounding area.
  • calculating the gradation value of the peripheral area means a product of a ratio of a distance between the local area to be corrected and at least one partial area located in the vicinity thereof and a representative gradation of the partial area. It may be achieved by calculating the gradation of the peripheral region using.
  • the representative gradation value may be an average value of all or some of the pixels included in the partial area, or a median value of all or some of the pixels.
  • the calculation of the gradation correction amount may be achieved by calculating the gradation correction amount so that the shadow area is corrected more strongly than the highlight area.
  • the calculation of the gradation correction amount is achieved by calculating the gradation correction amount of the local region using the luminance of the area around the local region and the luminance of the highlight region of the image. May be.
  • the calculation of the gradation correction amount may be achieved by performing the gradation correction using a nonlinear function.
  • the global tone correction preferably includes contrast enhancement.
  • FIG. 1 is a flowchart showing the operation of a conventional halftone improvement method.
  • FIG. 2 is a block diagram showing a configuration of an image processing system according to the first embodiment of the present invention.
  • FIG. 3 is a block diagram showing the configuration of the image processing apparatus of the image processing system according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing the operation of the image processing system according to the first embodiment of the present invention.
  • FIG. 5 is a diagram showing an example of characteristic paths in the first embodiment.
  • FIG. 6 is a diagram showing a conversion relationship in luminance calculation of a peripheral region in the first example.
  • FIG. 7 is a diagram showing an example of local gradation correction in the first embodiment.
  • FIG. 8 is a block diagram showing a configuration of an image processing system according to a second embodiment of the present invention.
  • FIG. 9 is a flowchart showing the operation of the image processing system in the second embodiment.
  • FIG. 10A is a diagram showing a calculation method of a 4-neighbor weighted average luminance value exemplified as a partial region reference type peripheral region luminance calculation method in the second embodiment.
  • FIG. 10B is a diagram showing a 4-neighbor weighted average luminance value calculation method exemplified as a partial region reference type peripheral region luminance calculation method in the second embodiment.
  • FIG. 10C is a diagram showing a 4-neighbor weighted average luminance value calculation method exemplified as a partial region reference type peripheral region luminance calculation method in the second embodiment.
  • FIG. 10D is a diagram showing a 4-neighbor weighted average luminance value calculation method exemplified as a partial region reference type peripheral region luminance calculation method in the second embodiment.
  • FIG. 11 is a block diagram showing a configuration of an image processing system according to a third embodiment of the present invention.
  • FIG. 12 is a flowchart showing an operation of the image processing system according to the third embodiment.
  • FIG. 13 is a diagram for explaining an example of global gradation correction according to the third embodiment.
  • FIG. 14 is a block diagram showing a specific configuration of the image processing apparatus of the present invention.
  • FIG. 15A is a diagram showing an example of image processing according to the first embodiment.
  • FIG. 15B is a diagram illustrating an example of image processing according to the first embodiment.
  • FIG. 15C is a diagram illustrating an example of image processing according to the first embodiment.
  • FIG. 16A is a diagram illustrating an example of image processing according to the third embodiment.
  • FIG. 16B is a diagram showing an example of image processing according to the third embodiment.
  • FIG. 2 is a block diagram illustrating the configuration of the image processing system according to the first embodiment.
  • the image processing system includes an image input unit 1, an image processing device 2, and an image output unit 3.
  • image The input unit 1 is realized by an imaging device such as a camera or a scanner, an image database in which image data is captured and stored, or a network to which they are connected.
  • Original image data is input to the image processing device 2 from the image input unit 1.
  • the image processing device 2 performs a correction process for improving the intermediate gradation of the input original image, and outputs the corrected image to the image output unit 3.
  • the image output unit 3 is realized by a display, a printer, a storage medium such as a hard disk or a memory card that holds image data, or a network to which these are connected, and displays and stores images and transmits them.
  • the image processing apparatus 2 includes a local region selection unit 21, a correction amount calculation unit 22, a local gradation correction unit 23, and a control unit 24.
  • the local region selection unit 21 selects at least one local region from the original image data input from the image input unit 1 as a correction target.
  • the local area selection unit 21 outputs the image data to the correction amount calculation unit 22 and the local gradation correction unit 23.
  • the local area may be selected manually by the user or automatically. In the case of automatic selection, the average luminance of the image may be obtained, and a pixel region that is brighter or darker than the average luminance by a predetermined threshold value may be selected as the local region.
  • a local area is an image area composed of one or more pixels.
  • the local region may be a set of a plurality of pixels. Further, the image may be divided into a plurality of divided areas, and each of the divided areas may be a local area. When a plurality of local regions are present, the local regions may include regions that overlap each other. Data specifying the selected local area is sent to the control unit 24.
  • Image statistics include, for example, pixel dispersion in the local area and average luminance.
  • the control unit 24 extracts these image statistics, and sets a region that exceeds the threshold value or a value that falls below the threshold value as a local region to be corrected.
  • the control unit 24 holds local area designation data to be corrected.
  • the correction amount calculation unit 22 calculates a correction amount based on the peripheral area image data.
  • the correction amount calculation unit 22 includes a peripheral region luminance calculation unit 221 and a local correction amount conversion unit 222.
  • the peripheral region luminance calculation unit 221 calculates the luminance value of the peripheral region of the local region that is the correction target selected by the local region selection unit 21 in accordance with the instruction from the control unit 24.
  • Local correction variable The conversion unit 222 obtains the correction amount of the local region based on the luminance value of the peripheral region calculated by the peripheral region luminance calculation unit 221.
  • the peripheral area luminance calculation unit 221 determines image data of the peripheral area of the selected local area from the image data based on the local area specification data supplied from the control unit 24. Then, the luminance value of the image data of the determined peripheral area is calculated.
  • the local correction amount conversion unit 222 calculates the correction amount of the local region based on the calculated luminance value of the peripheral region.
  • a peripheral area is determined around the local area.
  • the peripheral region is a portion within a certain distance from the local region.
  • the center of the local area is the origin
  • the area of M pixels vertically and N pixels horizontally is the peripheral area.
  • M and N indicating the size of the region are preferably set based on the size of the image.
  • the peripheral area may not be a rectangular area but may be a circular (elliptical) area.
  • the peripheral area luminance calculation unit 221 uses the median or average value of the luminance histogram of the peripheral area, the weighted average luminance value obtained by weighted average of the luminance of the peripheral area, and the feature path as the luminance value of the peripheral area.
  • a weighted average luminance value of a reference point can be used.
  • the calculation method of the weighted average brightness AS of the area centered on the local area and the weighted average brightness FS of the reference point on the feature path will be described.
  • the weighted average luminance value AS of the region centered on the local region is calculated as follows. If the input original image is I (x, y) and the weighting factor is isotropic two-dimensional normal distribution H (x, y), the weight of the surrounding area centered on the center of the local area (X, y) Average brightness value AS is expressed by equation (2).
  • the reference point is a point that is on the feature path and is included as an element of the weighted average among the points that are characteristic in the surrounding area.
  • the peripheral areas areas with higher brightness than the surrounding area, areas with high edge strength, areas with characteristics such as RGB gradation values or luminance maximum and minimum values are set as feature points. .
  • the image processing apparatus 2 selects P feature points from among the feature points, and the feature path connecting these P feature points and the local regions. Set the line. This feature path line is set so as to connect P feature points and other unselected feature points between local regions as feature path points.
  • the characteristic paths and characteristic points set in this way are as shown in FIG. 5, for example.
  • the weighted average luminance FS is calculated using the feature point on the path P1 shown in Fig. 5 as a reference point.
  • the load average luminance value FS of the reference point on the feature path is obtained by the following equation (5).
  • FS , P n ⁇ ( ⁇ ⁇ , ⁇ , P , i)... ( ⁇ )
  • P (> 0) is the number of feature paths
  • Np (> 0) is the number of reference points on the feature path ⁇
  • a (x, y) is a coefficient.
  • a (x, y) for example, the two-dimensional normal distribution H (x, y) shown in Eqs. (3) and (4) is used.
  • a (x, y) may be a constant.
  • the feature path is an arbitrary link between the feature points given around the local area shown in path P1 in Fig. 5 and the local area. This is a route that connects the feature points on the line.
  • the local correction amount conversion unit 222 calculates the correction amount of the local region based on the peripheral region luminance value.
  • the local correction amount conversion unit 222 performs linear conversion or non-linear conversion on the luminance value of the peripheral region in the conversion process from the luminance value of the peripheral region to the correction amount of the local region, and the correction amount to the local gradation correction unit 23. Is output.
  • the local gradation correction unit 23 performs gamma correction
  • the luminance of the surrounding area can be converted into a correction amount as follows. That is, when the luminance value S of the peripheral region is obtained, the local correction amount conversion unit 222 calculates the correction amount Z of the local region based on the luminance value S of the peripheral region by the following equation (6).
  • the slope of the correction amount Z is shown.
  • b is a predetermined constant (0 ⁇ b ⁇ l. 0) and indicates the minimum value of the correction amount Z.
  • c is a predetermined constant (0 ⁇ c ⁇ l. 0), which indicates the constant of the saturation part of the correction amount.
  • the index ⁇ is a predetermined constant ( ⁇ 0), and the value is determined based on the image to be corrected. Therefore, if the brightness value S in the surrounding area is less than the brightness value S in the highlight area, the correction amount ⁇
  • the correction amount Z is a continuous value before and after the luminance value S of the peripheral region, and the value range of the correction amount Z
  • the highlight area is not corrected to be darker or corrected to be excessively bright. Therefore, it is possible to maintain good gradation in the highlight area.
  • S indicates the luminance value of the shadow area in the image.
  • a is a predetermined constant (> 0)
  • b is a predetermined constant (0 ⁇ b ⁇ l. 0).
  • c is a predetermined constant (0 ⁇ c ⁇ l. 0).
  • the index ⁇ is a predetermined constant ( ⁇ 0), and the value is determined based on the image to be corrected.
  • the correction quantity Z is determined by a function with intercept b (0 ⁇ b ⁇ l. 0), constant c (0 ⁇ c ⁇ l. 0), exponent a ⁇ 0).
  • the correction amount Z is fixed.
  • a highlight area is a set of pixels having gradation values or luminance values that are equal to or higher than a specific luminance.
  • a shadow area is a set of pixels having a gradation value or luminance value lower than a specific luminance.
  • a histogram of gradation values (luminance values) of an image is generated.
  • a pixel having a gradation value equal to or higher than the gradation value of the upper 768th pixel is the highlight area.
  • pixels having gradation values equal to or lower than the gradation value of the lower 768th pixel are shadow areas.
  • the ratio of the highlight area and the shadow area has been described as the same value, but may be different values.
  • the local gradation correction unit 23 selects a local region selected from the image data based on the image data supplied from the local region selection unit 21 and the correction amount supplied from the correction amount calculation unit 22. The tone value of is corrected.
  • the corrected image data that has been corrected is output to the image output unit 3.
  • the gradation value may be a luminance value or a gradation value expressed by a spectral component.
  • the local gradation correction processing can be realized using a nonlinear function such as a linear correction function or a sigmoid function.
  • a nonlinear function such as a linear correction function or a sigmoid function.
  • Equation 10 Imax is the maximum gradation value
  • ⁇ is the gamma value calculated by the correction amount calculation unit 22.
  • Equation (10) can also correct only the force / luminance component, which is an equation that processes R, G, and ⁇ independently.
  • the gradation value in the RGB space is first divided into a luminance component and a chromaticity component.
  • Equation (10) It is corrected as a value.
  • the converted luminance value and original chromaticity component are converted back to RGB space gradation values. By processing in this way, it is also possible to correct only the luminance component.
  • the processing of the correction amount calculation unit 22 and the local gradation correction unit 23 uses a gradation correction table obtained in advance corresponding to the luminance value S of the peripheral region calculated by the peripheral region luminance calculation unit 221. It can also be realized. The calculation time can be shortened by using the gradation correction table.
  • the original image input from the image input unit 1 is supplied to the local region selection unit 21.
  • the local region selection unit 21 selects a local region from the input original image.
  • the control unit 24 selects a correction target local region from the selected local regions (step S21).
  • the correction amount calculation unit 22 calculates the gradation correction amount of the selected local region of the original image (step S22).
  • the peripheral region luminance calculation unit 221 first calculates a weighted average luminance value obtained by using a median or average value of the luminance histogram of the peripheral region, a weighted average of the luminance of the peripheral region, The brightness value of the surrounding area is calculated based on the weighted average brightness value of the reference points on the feature path.
  • the peripheral correction amount conversion unit 222 the calculated luminance value of the peripheral region is converted into the gradation correction amount of the local region.
  • the gradation correction amount of this local area is determined by image quality factors such as local brightness and contrast of the input original image, and the gradation is adjusted so that the image quality of the local area of the image is optimized. It is a value that determines the intensity of gradation correction for correction.
  • This local gradation correction is sequentially performed on one or more local areas.
  • the control unit 24 determines whether or not the gradation correction of the local area has been performed for all the correction target local areas (step S24). If an unprocessed local area remains (NO in step S24), a correction amount is acquired and gradation correction is performed on the area. All local regions If the processing has been completed (step S24—YES), the gradation correction processing is terminated and the corrected image is supplied to the image output unit 3. The output of the corrected image to the image output unit 3 may be performed every time the correction process of each local region is completed.
  • the local gradation correction is performed once for each of the local regions.
  • this local gradation correction is performed. Tonal correction may be repeated multiple times.
  • gradation correction may be performed while maintaining the area of the local area, but if gradation correction is performed while buying the area of the local area, it is affected by local areas such as singular points. It is possible to prevent the correction from proceeding excessively.
  • the control unit 24 may supply the threshold for selecting the local region to the local region selecting unit 21 and perform correction while selecting a new local region to be corrected. Also, you can divide the entire image into multiple areas and use them as local areas for tone correction.
  • the system includes a CCD camera as the image input unit 1, a personal computer as the image processing device 2, and a display as the image output unit 3.
  • the personal computer includes a central processing unit (CPU: Central Processing Unit) 31, an input unit 32, an output unit 33, a memory unit 34, and an external storage unit 35.
  • the central processing unit 31 sequentially retrieves and executes the program stored in the memory unit 34, and performs image tone correction processing based on the image data and work data stored in the memory unit 34 or the external storage unit 35. I do.
  • the input unit 32 also captures image data using the CCD camera power.
  • the output unit 33 outputs the corrected image data to the display.
  • the memory unit 34 stores the captured image data, holds the progress of calculation, and stores a program for calculation processing.
  • the external storage unit 35 stores programs to be stored in the memory unit 34 and saves the contents of the memory unit 34.
  • the personal computer includes a local area selection unit 21, a correction amount calculation unit 22, and a local gradation correction unit 23 that are realized by software as the image processing apparatus 2.
  • Dedicated hardware may be implemented for parts with a large amount of repeated computation.
  • the correction amount calculation unit 22 calculates a gamma value in the case of gamma correction, and the local gradation correction unit performs gamma correction using the calculated gamma value.
  • the power sigmo If correction is performed using an id function, parameters such as the slope and shift amount of the sigmoid function are calculated.
  • the central processing unit 31 selects a local region, for example, one pixel in the input original image, and calculates the luminance value of the peripheral region of the local region as shown in FIG. 15B.
  • a local region for example, one pixel in the input original image
  • the luminance value of the peripheral region of the local region is indicated in FIG. 15B.
  • two forces are indicated as the local region
  • the peripheral region is indicated by a circle with a radius R centered on the local region.
  • the brightness value of this peripheral area is calculated.
  • a correction amount is calculated according to Equation (6) based on the luminance value of the peripheral area, and a gamma value for correcting the local area is obtained.
  • the gamma value for correcting the local area is close to the b value in Equation (6) (for example, 0.5).
  • the gradation value in the local area is corrected brightly by gamma correction.
  • the brightness value of the surrounding area is high, such as the local area in the upper left of Fig. 15B,
  • the processing ends by outputting the processing result to the display.
  • the personal computer executes the image correction processing program to determine the correction amount according to the image quality of the peripheral area and correct the image quality of the local area.
  • the tone correction function of the local area changes according to the brightness of the local area of the image as shown in FIG. . Therefore, a process is realized in which the dark area is bright and the bright area retains the gradation of the original image as it is. As a result, it is possible to improve the image quality of the dark portion while maintaining the image quality of the bright portion in the image.
  • the above gamma correction and Equation (8) it is possible to improve the image quality of the bright area while maintaining the image quality of the dark area in the image.
  • the configuration is such that the acquisition of the gradation correction amount of the local area from the image and the gradation correction are sequentially processed for each local area. For this reason, the amount of data held in the memory unit 34 and the external storage unit 35 out of the correction amount and various data necessary for obtaining the correction amount It can be made smaller than the data size of the input original image.
  • FIG. 8 is a block diagram showing a configuration of an image processing system according to the second embodiment of the present invention.
  • the image processing system according to the second embodiment of the present invention is different from the configuration of the first embodiment in that a storage device 5 having a partial region luminance value storage unit 51 and a partial region luminance calculation unit 25 are added. Is different.
  • the correction amount calculation unit 22 of the first embodiment is replaced with a correction amount calculation unit 26.
  • a partial region reference type peripheral region luminance calculation unit 261 is provided instead of the peripheral region luminance calculation unit 221. Therefore, the different points are explained below.
  • the partial area luminance calculation unit 25 divides the input image area into a horizontal m area and a vertical n area, calculates a representative luminance value of each area, and stores the representative luminance value in the partial area luminance value storage unit 51. Store the value.
  • the correction amount calculation unit 26 calculates a local region correction amount using the representative luminance value stored in the partial region luminance value storage unit 51. Specifically, the partial region reference type peripheral region luminance calculation unit 261 calculates the peripheral luminance value using the representative luminance value of the partial region located in the vicinity of the local region, and the local correction amount conversion unit 222 calculates the peripheral luminance. The local correction amount is determined using the value.
  • steps S21, S23 and S24 in FIG. 9 are the same as steps S21, S23 and S24 in the first embodiment shown in FIG.
  • the partial region luminance calculation unit 25 divides the region of the input image into a horizontal m region and a vertical n region (m, n> 0) (FIG. 10A). ), Representative brightness of each area The degree value is obtained (FIG. 10B), and the representative luminance value is stored in the partial area luminance value storage unit 51 (step S25).
  • the local area selection unit 21 selects a local area to be corrected in the same manner as in the first embodiment (step S21).
  • the partial region reference type peripheral region luminance calculation unit 261 of the correction amount calculation unit 26 calculates the peripheral luminance value of the local region using the representative luminance value calculated in step S25, and the local correction amount conversion unit 222 is selected.
  • the correction amount for the local area is calculated (step S26).
  • the partial area reference type peripheral area luminance calculating unit 261 calculates, for example, the 4-neighbor weighted average value IS as the luminance value of the peripheral area using the representative luminance value of the partial area.
  • the neighborhood weighted average value IS is linearly compensated using the representative luminance value S of the nearest neighbor region of the region of interest.
  • Region (1) Calculated from 4 neighboring regions
  • peripheral luminance value When the peripheral luminance value is calculated based on the above formula, it is possible to obtain a peripheral luminance value close to the peripheral luminance value obtained from the weighted average luminance value AS as shown in FIG. 10D.
  • a storage capacity of about several bytes is required to store the representative luminance value of the partial area. It is not necessary to refer to the calculation to calculate the route, and it is possible to operate at a high speed with fewer points to refer to the calculation compared to other methods of calculating the brightness value of the surrounding area.
  • gradation correction is performed in two stages, local gradation correction and global gradation correction.
  • the configuration of the image processing system has the same parts as those of the first embodiment shown in FIG. 2, and the configuration of the image processing apparatus 2 is as shown in FIG.
  • the image processing apparatus includes a local region selection unit 21, a correction amount calculation unit 22, a local tone correction unit 23, a global tone correction amount calculation unit 27, And a global tone correction unit 28.
  • the local area selection unit 21, the correction amount calculation unit 22, and the local gradation correction unit 23 are the same as those in the first embodiment.
  • the global tone correction amount calculation unit 27 and the global tone correction unit 28 perform global tone correction processing. Since the local gradation correction process is the same as the process in the first embodiment, the description thereof is omitted here.
  • the local tone corrected image from the local tone correcting unit 23 is output to the global tone correction amount calculating unit 27 and the global tone correcting unit 28.
  • the global tone correction amount calculation unit 27 calculates a global tone correction amount for improving the global image quality from the image locally corrected by the local tone correction unit 23.
  • the global gradation correction unit 28 corrects the gradation of the entire image based on the global gradation correction amount calculated by the global gradation correction amount calculation unit 27.
  • Image data that has been subjected to local gradation correction and global gradation correction is output from the global gradation correction unit 28 to the image output unit 3.
  • the global tone correction amount calculation unit 27 performs correction processing for obtaining an image quality that is globally optimized for an image whose image quality is locally optimized by the local tone correction unit 23. Determine the correction amount.
  • Global correction includes overall image quality such as contrast correction and gamma correction. It is possible to use a gradation correction method for adjusting the image quality.
  • the global tone correction amount calculation unit 27 calculates the correction amount of these global image quality correction methods. For example, when contrast correction is used, correction amounts a and b, which are coefficients of a contrast correction conversion formula, are calculated by the following formulas (14) and (15).
  • HL-SH Here, HLopt and SHopt indicate the optimum gradation values in the highlight and shadow areas of the image.
  • HL and SH are the luminance values of the highlight area and shadow area in the original image.
  • the brightness value HL of the highlight area is obtained by applying a low-pass filter LPF (x, y) to the input original image force and the created brightness image I (x, y) as shown in the following equation (16). This is the maximum gradation value in the image when applied.
  • the brightness value SH of the shadow area is expressed by the low pass filter LPF (X, y) for the brightness image I (x, y) created from the input original image as shown in the following equation (17). Is the minimum gradation value in the image when.
  • SH mm (/ ⁇ , ⁇ ) * LPF (x, ')) (17)
  • the operator * represents a convolution operation.
  • the function max () and the function min () are functions having the maximum value and the minimum value of the elements indicated in parentheses as function values, respectively.
  • the local gradation correction unit 28 then performs local gradation correction.
  • the corrected image data is subjected to global gradation correction based on the correction amount calculated by the global gradation correction amount calculation unit 27.
  • global correction a gradation correction method for adjusting the image quality of the entire image, such as contrast correction and gamma correction, can be used.
  • contrast correction is used, the gradation of each pixel is corrected by the following equation (18) using the correction amounts a and b calculated by the global gradation correction amount calculation unit 25.
  • the gradation values of the input original image are distributed up to the minimum gradation value SH power and the maximum gradation value HL.
  • a correction process is performed to convert this according to Expression (18) so that it is distributed from the minimum gradation value SHopt to the maximum gradation value HLopt, which is the optimum gradation value for the image.
  • the equation (18) can also correct only the force / luminance component, which is an equation for processing each primary color R, G, B independently.
  • the gradation value in the RGB space is divided into a luminance component and a chromaticity component. Of these, only the luminance component is corrected as the input value of equation (18). The luminance value after correction and the original chromaticity component are converted back to RGB space gradation values. In this way, it is possible to correct only the luminance component.
  • Steps S21 to S24 are the same as the overall operation in the first embodiment.
  • the original image input from the image input unit 1 is supplied to the local region selection unit 21.
  • the local area selection unit 21 selects a local area to be corrected from the input original image (step S21).
  • the correction amount calculation unit 22 calculates the gradation correction amount of the local region of the input original image (step S22).
  • the gradation correction amount for the local area is determined by first calculating the median or average value of the luminance histogram of the peripheral area, a weighted average luminance value obtained by weighted average of the luminance of the peripheral area, Based on the weighted average luminance value of the reference points on the collection route, the luminance value of the surrounding area is calculated.
  • the calculated luminance value of the peripheral area is converted into the gradation correction amount of the local area.
  • This local area gradation correction amount is determined by image quality factors such as local brightness and contrast of the input original image, and gradation correction is performed so that the image quality of the local area of the image is optimized. It is a value that determines the intensity of gradation correction for performing.
  • the gradation correction amount of the local region is calculated, the gradation of the corresponding local region is corrected based on the obtained local gradation correction amount (step S23).
  • the correction amount S for correcting the local region is calculated as the S gamma value
  • This local gradation correction is sequentially performed on one or more local regions. It is determined whether or not the local area tone correction is performed for all local areas to be corrected (step S24). If an unprocessed local area remains (step S24—NO), a correction amount is acquired and gradation correction is performed on the area. If the processing has been completed for all local regions (step S24—YES), the local tone correction processing is terminated, and the image after local correction is supplied to the global tone correction processing. The output of the local correction image to the global tone correction processing may be performed after the correction processing of each local region is completed.
  • global gradation correction is performed.
  • global tone correction first, the global image quality of an image is determined.
  • contrast correction global image quality is usually obtained by generating a luminance histogram of the entire image. That is, as shown in FIG. 13, the minimum luminance SH and the maximum luminance HL are obtained from the luminance histogram of the input image.
  • the correction amount a is calculated according to equations (14) and (15) using the optimal brightness value HLopt in the highlight area and the optimal brightness value SHopt in the shadow area. , B are calculated (step S25).
  • the global tone correction unit 28 performs global tone correction.
  • global tone correction is performed based on equation (18).
  • the image that has been subjected to the global tone correction is supplied to the image output unit 3, and the image correction process is completed.
  • the gradation correction processing in the local region and the global region is performed.
  • the applied system is the same as in the first example.
  • the personal computer program of the first embodiment is additionally equipped with a program for correcting the global gradation, that is, a program that becomes the global gradation correction amount calculation unit 27 and the global gradation correction unit 28.
  • the storage device 5 and the partial region luminance value storage unit 51 are added to this configuration, and the partial region luminance is calculated between the image input unit 1 and the local region selection unit 21.
  • the correction amount calculation unit 22 may be replaced with the correction amount calculation unit 26 by adding the unit 25.
  • the contrast of the image is corrected based on the contrast correction formula of Expression (18).
  • the result is an image with improved global image quality, as shown in Figure 16B.
  • This corrected image has improved visibility in dark areas as compared with the input original image. That is, it can be seen that the local image quality is also improved.
  • the image after processing as described above is displayed on the display, and the processing ends.
  • the global tone correction after performing the local tone correction, the global image quality of the image whose local image quality is improved is improved, and the image quality of the entire image is impaired.
  • the image quality in the local area can be improved without any problem.
  • an image processing device an image correction processing method, and an image correction that can be processed with a small storage capacity because they are sequentially processed and do not need to store intermediate results of the processing.
  • a processing program can be provided.
  • the corrected image since the global gradation correction is performed on the image obtained as a result of the local gradation correction, the corrected image has an appropriate image quality locally and globally.
  • An image processing device, an image correction processing method, and an image correction processing program can be provided. wear.
  • a computer readable software product that records code for a software product comprising:
  • the step of calculating the gradation correction amount includes:
  • the image processing method includes:
  • the image processing method includes:
  • a software product further comprising:
  • the image processing method includes:
  • the image processing method includes:
  • a software product further comprising:
  • the step of selecting the local region includes a step of selecting a plurality of local regions
  • the image processing method includes:
  • a software product further comprising the step of performing the tone correction on the plurality of selected local regions.
  • the step of calculating the gradation correction amount includes calculating a gradation value of the peripheral area and a weighted average luminance value of a Gaussian weight or an average luminance value of the peripheral area as the gradation value of the peripheral area.
  • a software product comprising:
  • the step of calculating the gradation correction amount includes:
  • One or more feature route lines connecting local regions and feature points are set, one or more route feature points are obtained for each of the feature route lines, and the tone value of the route feature point or the route feature point is obtained.
  • a software product comprising a step of calculating a weighted average luminance value of as the gradation value of the peripheral region.
  • the step of calculating the gradation value of the peripheral area includes:
  • a software product comprising:
  • the representative gradation value is an average value of all or some of the pixels included in the partial area, or a median value of all or some of the pixels.
  • the step of calculating the gradation correction amount includes:
  • a software product comprising:
  • the step of calculating the gradation correction amount includes:
  • a software product comprising:
  • the step of calculating the gradation correction amount includes:
  • a software product comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　画像処理システムは、入力画像から少なくとも１つの補正対象の局所領域を選択する局所領域選択部と、前記局所領域は少なくとも１画素を含み、前記補正対象の局所領域に対する階調補正量を算出する補正量算出部と、前記階調補正量に基づいて前記局所領域の階調値を補正する階調補正を行い局所階調補正画像を生成する局所階調補正部とを具備する。また、前記補正量算出部は、前記局所領域の周辺領域の階調値を算出する周辺領域階調値算出部と、前記周辺領域の算出された階調値を用いて前記階調補正量を算出する局所補正量変換部とを具備してもよい。

Description

明 細 書
画像補正処理システム及び画像補正処理方法
技術分野
[0001] 本発明は、画像補正処理システム及び画像補正処理方法に関し、特に画像の中 間階調を改善する技術に関する。
背景技術
[0002] 従来、画像の中間階調を改善する方法は、カメラ、スキャナ、プリンタなどの画像を 扱う装置で画像の階調を改善するために用いられて 、る。従来の画像の中間階調改 善方法としては、トーンカーブと呼ばれる階調変換曲線を用いて、入力される原画像 の階調値が変換されている。階調変換曲線を用いる場合、入力階調値と出力階調値 力 対 1に固定されている階調変換処理を、画像中の全ての画素に対して施す大域 的な処理が必要となる。このような大域的処理の場合、画像に明部領域 (ハイライト領 域)と暗部領域 (シャドー領域)があるときは、両方の領域で階調バランスの取れた画 像とするための調整が非常に困難である。この問題を解決するために、トーンマスクと 呼ばれる非線形マスクを用いて画質の改善を行う手法が特開 2001— 313844号公 報に開示されている。
[0003] このトーンマスクを用いる手法について説明する。この手法によれば、図 1に示され る処理フローにより中間階調の改善が行われる。すなわち、この従来手法は、補正対 象の画像が入力画像として受信される（S801)。このとき、トーンマスク画像が入力画 像から生成される（S802)。入力画像の画素値のそれぞれについて、修正された画 素値の集合が求められる（S803)。入力画像の画素値は、対応するピクセルマスク 値を有しており、修正された画素値は、入力画像の画素値と、現画素値の対応する ピクセルマスク値との非線形の組み合わせにより求められる。
[0004] トーンマスクを用いる手法では、画像の局所的な情報に基づ 、て作成されたトーン マスクを使用して画像が補正される。これにより、画質を局所的に補正することが可能 である。しかしながらこの手法には、（1)大きな記憶容量が必要とされる、（2)大域的 画質が劣化するという、問題点がある。 [0005] (1)の問題は、入力した画像と同サイズのバッファがトーンマスクに対しても必要と なるためである。（2)の問題は、利用されているトーンマスクが局所画質情報のみに 基づ 、て作成されるためである。
[0006] 上記説明と関連して、自動露光制御装置が特開平 5— 176220号公報に開示され ている。この従来例では、画像の全画面の平均輝度が検出され、また所定の輝度より 低輝度の画素数が算出される。低輝度の画素数に基づいて補正量が算出され、そ の補正量に基づいて全画面の目標輝度が算出される。平均輝度が目標輝度に追従 するように、絞りが制御される。
[0007] また、画像処理装が特開平 11— 355578号公報に開示されている。この従来例で は、画像データの領域を分割することにより得られる複数の所定領域の各濃度に基 づいて、所定領域毎の粒状度の補正量が算出される。補正量に基づいて、画像デ ータの粒状度が補正される。
[0008] また、ディジタル画像を改善する方法が特表 2000 - 511315号公報（PCTZUS
97Z07996に対応する）に開示されている。この従来例では、ディスプレイ上の位置 を表わすよう添字が付され、各 i番目のスペクトル帯域における各位置 (X, y)に対す る強度値 Ii (x, y)を示すディジタルデータが与えられる。 Sをディジタルデータに含ま れるユニークなスペクトル帯域の数とし、各 nについて、 Wnを重み係数、 Fn (x, y)を 各位置 (X, y)に適用されるユニークな周辺視野関数とし、 Nをユニークな周辺視野 関数の総数とすると、各 i番目のスペクトル帯域における各位置に対する調整された 強度値が生成されるように、以下の式（1)
[数 1]
∑ " (log ')- logん（ ， （ - =し. · · ·(!)
11- 1 によって各 i番目のスペクトル帯域における各位置に対する強度値が調整される。各 i 番目のスペクトル帯域における各位置に対する調整された強度値は共通関数でフィ ルタリングされ、各位置に対してそのようにしてフィルタリングされた各 i番目のスぺタト ル帯域に対して調整された強度値に基づいて改善されたディジタル画像が表示され る。
[0009] また、画像処理方法が特開 2003— 333331号公報に開示されている。この従来例 では、入力画像データの非線形歪が小さくなるように信号が補正され、補正後の信 号に対して、着目画素の画素値とその周辺分布領域の濃淡値との相対比が算出さ れる。この相対比から着目画素に対応する処理対象画素の画素値が決定される。さ らに、着目画素の画素値とその周辺分布領域の濃淡値との相対比が、対象となる領 域を異ならせて算出され、対象とする周辺分布領域の大きさに応じてゲイン係数が 算出される。得られた各相対比に、所定の重み係数とゲイン係数がそれぞれ掛けら れ、合成値が算出される。この合成値から着目画素に対応する処理対象画素の画素 値が決定される。
発明の開示
[0010] 本発明の目的は、少な 、記憶容量で処理することができる画像補正処理システム、 画像補正処理方法、および画像補正処理用プログラムを提供することにある。
本発明の他の目的は、補正画像を局所的および大域的に適切な画質にする画像 補正処理システム、画像補正処理方法、および画像補正処理用プログラムを提供す ることにめる。
[0011] 本発明の観点では、画像処理システムは、入力画像力 少なくとも 1つの補正対象 の局所領域を選択する局所領域選択部と、前記局所領域は少なくとも 1画素を含み
、前記補正対象の局所領域に対する階調補正量を算出する補正量算出部と、前記 階調補正量に基づ!、て前記局所領域の階調値を補正する階調補正を行!、局所階 調補正画像を生成する局所階調補正部とを具備する。
また、前記補正量算出部は、前記局所領域の周辺領域の階調値を算出する周辺 領域階調値算出部と、前記周辺領域の算出された階調値を用いて前記階調補正量 を算出する局所補正量変換部とを具備してもよい。
また、画像処理システムは、前記入力画像の部分領域ごとの代表階調値を算出す る部分領域輝度算出部を更に具備し、前記補正量算出部は、前記補正対象の局所 領域の周辺領域の階調値を、前記補正対象の局所領域の近傍に位置する少なくと も 1つの前記部分領域の前記代表階調値を用いて算出する部分領域参照型周辺領 域輝度算出部と、前記周辺領域の算出された階調値を用いて前記階調補正量を算 出する局所補正量変換部とを具備してもよ 、。
また、画像処理システムは、前記局所階調補正画像の大域補正量を算出する大域 補正量算出部と、前記大域補正量に基づいて前記局所階調補正画像に大域階調 を補正する階調補正を行い大域階調補画像を生成する大域補正部とを更に具備し てもよい。
また、画像処理システムは、前記入力画像を提供する画像入力部と、前記局所階 調補正画像または前記大域階調補正画像を出力する画像出力部とを更に具備して ちょい。
ここで、前記階調値は、輝度値、またはスペクトル成分で表現された階調値であるこ とが好ましい。
前記階調補正が、前記補正対象の局所領域の広さを変えながら、あるいは前記補 正対象の局所領域の広さを保ちながら、前記補正対象の局所領域に対して、複数回 繰り返されてもよい。
また、前記局所領域選択部は、複数の局所領域を選択するとき、前記階調補正が 、前記複数の選択された局所領域に対して施されてもよい。
また、前記周辺領域階調値算出部は、前記周辺領域の階調値とガウシアン重みの 加重平均輝度値、または前記周辺領域の平均輝度値を前記周辺領域の前記階調 値として算出してもよい。あるいは、局所領域と特徴点を結ぶ特徴経路線を 1個以上 設定し、前記特徴経路線のそれぞれで 1個以上の経路特徴点を求め、前記経路特 徴点の階調値、又は前記経路特徴点の加重平均輝度値を前記周辺領域の前記階 調値として算出してもよい。
また、前記部分領域参照型周辺領域輝度算出部は、前記補正対象となる局所領 域とその近傍に位置する少なくとも 1つの前記部分領域との距離の比と前記部分領 域の代表階調の積を用いて周辺領域の階調を算出してもよい。
前記代表階調値は、前記部分領域に含まれる全てまたは一部の画素の平均値、 全てまたは一部の画素の中央値であることが好ましい。
前記補正量算出部は、シャドー領域カ 、イライト領域より強い補正を施されるように 階調補正量を算出してもよし、局所領域の周辺の領域輝度と画像のハイライト領域の 輝度とを用いて局所領域の階調補正量を算出してもよい。
前記局所階調補正部は、非線形関数を用いて前記階調補正を行うことが好ま 、
。また、前記大域階調補正は、コントラスト強調を含むことが好ましい。
本発明の他の観点では、画像処理方法は、入力画像力 少なくとも 1つの補正対 象の局所領域を選択することと、前記局所領域は少なくとも 1画素を含み、前記補正 対象の局所領域に対する階調補正量を算出することと、前記階調補正量に基づい て前記局所領域の階調値を補正する階調補正を行い局所階調補正画像を生成する こととにより達成される。
前記階調補正量を算出することとは、前記局所領域の周辺領域の階調値を算出す ることとと、前記周辺領域の算出された階調値を用いて前記階調補正量を算出する こととにより達成されてちょ 、。
画像処理方法が、前記入力画像の部分領域ごとの代表階調値を算出することを更 に具備し、前記前記階調補正量を算出することは、前記補正対象の局所領域の近 傍に位置する少なくとも 1つの前記部分領域の前記代表階調値を用いて前記補正 対象の局所領域の周辺領域の階調値を算出することと、前記周辺領域の算出された 階調値を用いて前記階調補正量を算出することとにより達成されてもよい。
画像処理方法は、更に、前記局所階調補正画像の大域補正量を算出することと、 前記大域補正量に基づいて前記局所階調補正画像に大域階調を補正する階調補 正を行!、大域階調補画像を生成することにより達成されてもょ 、
また、画像処理方法は、更に、前記入力画像を提供することと、前記局所階調補正 画像または前記大域階調補正画像を出力することとにより達成されてもよい
また、前記階調値は、輝度値、またはスペクトル成分で表現された階調値であること が好ましい。
また、画像処理方法は、更に、前記階調補正を、前記補正対象の局所領域の広さ を変えながら、あるいは前記補正対象の局所領域の広さを保ちながら、前記補正対 象の局所領域に対して、複数回繰り返えすことにより達成されてもよい。
また、前記局所領域を選択することが、複数の局所領域を選択することとを含むとき 、画像処理方法は、前記階調補正を、前記複数の選択された局所領域に対して行う ことにより達成されてちよい。
前記階調補正量を算出することは、前記周辺領域の階調値とガウシアン重みの加 重平均輝度値、または前記周辺領域の平均輝度値を前記周辺領域の前記階調値と して算出することにより達成されてちよい。
前記階調補正量を算出することは、局所領域と特徴点を結ぶ特徴経路線を 1個以 上設定し、前記特徴経路線のそれぞれで 1個以上の経路特徴点を求め、前記経路 特徴点の階調値、又は前記経路特徴点の加重平均輝度値を前記周辺領域の前記 階調値として算出することにより達成されてもよい。
また、前記周辺領域の階調値を算出することとは、前記補正対象となる局所領域と その近傍に位置する少なくとも 1つの前記部分領域との距離の比と前記部分領域の 代表階調の積を用いて周辺領域の階調を算出することにより達成されてもよい。 前記代表階調値は、前記部分領域に含まれる全てまたは一部の画素の平均値、 全てまたは一部の画素の中央値であってもよい。
また、前記階調補正量を算出することとは、シャドー領域がハイライト領域より強い 補正を施されるように階調補正量を算出することにより達成されてもよい。
また、前記階調補正量を算出することとは、前記局所領域の周辺の領域輝度と画 像のハイライト領域の輝度とを用いて局所領域の階調補正量を算出することにより達 成されてもよい。
また、前記階調補正量を算出することとは、非線形関数を用いて前記階調補正を 行うことにより達成されてちよい。
また、前記大域階調補正は、コントラスト強調を含むことが好ましい。
図面の簡単な説明
[図 1]従来の中間階調改善手法の動作を示すフローチャートである。
[図 2]本発明の第 1実施例に係る画像処理システムの構成を示すブロック図である。
[図 3]本発明の第 1実施例に係る画像処理システムの画像処理装置の構成を示すブ ロック図である。
[図 4]本発明の第 1実施例に係る画像処理システムの動作を示すフローチャートであ る。
[図 5]第 1実施例における特徴経路の例を示す図である。
[図 6]第 1実施例の周辺領域の輝度算出における変換関係を示す図である。
[図 7]第 1実施例における局所階調補正の例を示す図である。
[図 8]本発明の第 2実施例に係る画像処理システムの構成を示すブロック図である。
[図 9]第 2実施例における画像処理システムの動作を示すフローチャートである。
[図 10A]図 10Aは、第 2実施例における部分領域参照型周辺領域輝度算出法として 例示された 4近傍加重平均輝度値の算出方法を示す図である。
[図 10B]図 10Bは、第 2実施例における部分領域参照型周辺領域輝度算出法として 例示された 4近傍加重平均輝度値の算出方法を示す図である。
[図 10C]図 10Cは、第 2実施例における部分領域参照型周辺領域輝度算出法として 例示された 4近傍加重平均輝度値の算出方法を示す図である。
[図 10D]図 10Dは、第 2実施例における部分領域参照型周辺領域輝度算出法として 例示された 4近傍加重平均輝度値の算出方法を示す図である。
[図 11]本発明の第 3実施例に係る画像処理システムの構成を示すプロック図である。
[図 12]第 3実施例に係る画像処理システムの動作を示すフローチャートである。
[図 13]第 3実施例に係る大域階調補正の例を説明する図である。
[図 14]本発明の画像処理装置の具体的な構成を示すブロック図である。
[図 15A]図 15Aは、第 1実施例に係る画像処理の例を示す図である。
[図 15B]図 15Bは、第 1実施例に係る画像処理の例を示す図である。
[図 15C]図 15Cは、第 1実施例に係る画像処理の例を示す図である。
[図 16A]図 16Aは、第 3実施例に係る画像処理の例を示す図である。
[図 16B]図 16Bは、第 3実施例に係る画像処理の例を示す図である。
発明を実施するための最良の形態
[0014] 以下に添付図面を参照して、本発明の画像補正処理システムについて詳細に説 明する。
[0015] 図 2は、第 1実施例に係る画像処理システムの構成を示すブロック図である。画像 処理システムは、画像入力部 1と画像処理装置 2と画像出力部 3とを具備する。画像 入力部 1は、カメラやスキャナなどの撮像機器、またはそれらにより撮影されて画像デ ータが蓄積される画像データベース、あるいは、それらが接続されるネットワークなど で実現される。画像入力部 1から原画像データが画像処理装置 2に入力される。画 像処理装置 2は、入力される原画像の中間階調を改善する補正処理を行い、補正画 像を画像出力部 3に出力する。画像出力部 3は、ディスプレイ、プリンタ、画像データ を保持するハードディスクやメモリカードなどの記憶媒体、あるいはそれらが接続され るネットワークなどで実現され、画像の表示や蓄積ある!/、は伝送を行う。
[0016] 画像処理装置 2は、図 3に示されるように、局所領域選択部 21、補正量算出部 22、 局所階調補正部 23、制御部 24とを備えている。
[0017] 局所領域選択部 21は、画像入力部 1から入力される原画像データから少なくとも 1 つの局所領域を補正対象として選択する。局所領域選択部 21は、画像データを補 正量算出部 22と局所階調補正部 23に出力する。
局所領域は、ユーザーがマニュアルで選択してもよいし、自動的に選択してもよい 。自動的に選択する場合には、画像の平均輝度を求め、その平均輝度より所定の閾 値だけ明るいあるいは暗い画素の領域を局所領域と選択してもよい。局所領域は、 1 画素以上で構成される画像領域である。局所領域は、複数の画素の集合でもよい。 また、画像を複数の分割領域に分割し、分割領域の各々を局所領域としてもよい。複 数の局所領域が存在するとき、局所領域が互いに重複する領域を含んでもよい。選 択された局所領域を指定するデータは制御部 24に送られる。
[0018] 選択された局所領域の全てを補正する必要はなぐ補正の必要性は、その局所領 域の画像統計量により判断することができる。画像統計量として、例えば、局所領域 の画素の分散や、平均輝度などがある。制御部 24は、これらの画像統計量を抽出し 、閾値を超えるもの、あるいは閾値を下回るものなどを補正対象の局所領域とする。 制御部 24は、補正対象の局所領域指定データを保持する。
[0019] 補正量算出部 22は、周辺領域画像データに基づいて補正量を算出する。補正量 算出部 22は、周辺領域輝度算出部 221と局所補正量変換部 222とを備える。周辺 領域輝度算出部 221は、制御部 24からの指示に従って局所領域選択部 21により選 択された補正対象である局所領域の周辺領域の輝度値を算出する。局所補正量変 換部 222は、周辺領域輝度算出部 221で算出される周辺領域の輝度値に基づいて 局所領域の補正量を求める。
[0020] より詳細には、周辺領域輝度算出部 221は、制御部 24から供給される局所領域指 定データに基づいて、画像データから、選択された局所領域の周辺領域の画像デー タを決定し、決定された周辺領域の画像データの輝度値を算出する。局所補正量変 換部 222は、算出される周辺領域の輝度値に基づいて、局所領域の補正量を求め る。
補正の対象となる局所領域が設定されると、その局所領域の周囲に周辺領域が決 定される。周辺領域は、局所領域から一定の距離の範囲にある部分とする。例えば、 局所領域の中心を原点として、縦に M画素、横に N画素分の領域を周辺領域とする 。このとき、領域の大きさを示す M、 Nは、画像のサイズに基づいて設定されることが 好ましい。また、周辺領域は矩形領域でなくてもよぐ円形 (楕円形)領域でもよい。
[0021] 周辺領域輝度算出部 221は、周辺領域の輝度値として、周辺領域の輝度ヒストグラ ムの中央値や平均値、周辺領域の輝度の加重平均をとつた加重平均輝度値、特徴 経路上の参照点の加重平均輝度値などを用いることができる。ここでは、局所領域を 中心とする領域の加重平均値輝度 ASと、特徴経路上にある参照点の加重平均輝度 値 FSの算出方法を説明する。
[0022] 局所領域を中心とする領域の加重平均輝度値 ASは、次のように算出される。入力 される原画像を I (x, y)とし、重み付け係数を等方的 2次元正規分布 H (x, y)とすると 、局所領域の中心 (X , y )を中心とする周辺領域の加重平均輝度値 ASは、（2)式
0 0
により求められる。
[数 2]
AS = H (x, y) ^ l (x^ y) - - - ( 2) ここで、演算子 *は、畳み込み演算を示す。 H (x, y)は、局所領域 (X , y )を中心と
0 0 し、標準偏差 σの等方的な 2次元正規分布であり、次の式 (3)、（4)を満たす。
[数 3]
Figure imgf000012_0001
[数 4]
∑H{x,y) ^ \ …(： 4)
[0023] 次に、特徴経路上にある参照点の加重平均輝度値の算出方法について説明する 。参照点は、周辺領域の中で特徴のある点のうち、特徴経路上にあり加重平均の一 要素として算入される点である。周辺領域の中で、輝度がその周囲に比べて高い領 域、エッジ強度が大きい領域、 RGBの階調値または輝度の極大値、極小値などの特 徴を有する領域が特徴点として設定される。
[0024] 特徴点決定後、画像処理装置 2は、この特徴点のうち中心の局所領域力 遠!、P 個の特徴点を選択し、これらの P個の特徴点と局所領域を結ぶ特徴経路線を設定す る。この特徴経路線は、 P個の特徴点と局所領域の間にある他の未選択の特徴点を 特徴経路点として、これらを結ぶように設定される。このようにして設定される特徴経 路、特徴点は、例えば、図 5に示されるようである。図 5に示される経路 P1上にある特 徴点を参照点としてその加重平均輝度 FSを算出する。特徴経路上の参照点の荷重 平均輝度値 FSは、以下の式（5)により求められる。
[数 5]
FS = ， Pn μ (χρ,ι， P,i ) … (· ·）
Figure imgf000012_0002
ここで、 P ( >0)は特徴経路の数、 Np ( >0)は特徴経路 ρ上の参照点の数、 a (x, y) は係数である。係数 a (x, y)は、例えば（3)式および (4)式で示される 2次元正規分 布 H (x, y)などを使用する。また、 a (x, y)は、定数であってもよい。特徴経路は図 5 の経路 P1に示される局所領域の周辺に与えられた特徴点と局所領域とを結ぶ任意 の線上にある特徴点を迪つて結ぶ経路である。
周辺領域の輝度値が算出されると、局所補正量変換部 222は、その周辺領域輝度 値に基づいて局所領域の補正量を算出する。局所補正量変換部 222は、周辺領域 の輝度値から局所領域の補正量への変換処理では、周辺領域の輝度値に対する線 形変換や非線形変換などを行い、局所階調補正部 23に補正量を出力する。特に、 局所階調補正部 23がガンマ補正を行う場合は、以下のように周辺領域の輝度を補 正量に変換することができる。即ち、周辺領域の輝度値 Sが得られると局所補正量変 換部 222は、この周辺領域の輝度値 Sに基づき、以下の式 (6)により局所領域の補 正量 Zを算出する。
[数 6]
Z = \a - Sa + h .. ,6)
c S≥ SH ここで、 S は画像中のハイライト領域の輝度値である。 aは、所定の定数（>0)であり
H
、補正量 Zの傾きを示す。 bは、所定の定数 (0≤b≤l. 0)であり、補正量 Zの最小値 を示す。 cは、所定の定数 (0≤c≤l. 0)であり、補正量の飽和部の定数を示す。指 数 αは、所定の定数（ α≥0)であり、補正対象の画像に基づいて値が決定される。 したがって、周辺領域の輝度値 Sがハイライト領域の輝度値 S未満の場合、補正量 Ζ
Η
は、傾き a ( >0)、切片 b (0≤b≤ 1. 0)、指数 a ≥0)を有する関数により決定され る。周辺領域の輝度値 Sがハイライト領域の輝度値 S 以上の場合、補正量 Ζは、定
Η
数 c (0≤c≤l. 0)となる。ここで、以下の式（7)が成り立つ時、補正量 Zは、周辺領域 の輝度値 Sがハイライト領域の輝度値 S の前後において連続となり、補正量 Zの値域
H
は、図 6に示されるように、 [b, c]となる。また、ハイライト領域の輝度値 S を超える周
H
辺輝度値を持つ領域の補正量 Zは、 cとなる。このため、 c = l. 0の時、ハイライト領域 では階調補正が施されないことになる。
[数 7] a - S j + b = c [0026] このようにハイライト領域の輝度 S を越える領域に対して階調補正を施さないことに
H
より、ハイライト領域が暗く補正される、あるいは、過度に明るく補正されることがなくな る。したがって、ハイライト領域では良好な階調性を維持することが可能である。
[0027] また、（6)式を以下の式 (8)とすることで、原画像中のシャドー領域の階調を保ち、 他の領域の画質を改善することができる。
Figure imgf000014_0001
ここで、 Sは画像中のシャドー領域の輝度値を示す。 aは、所定の定数（>0)であり、
し
補正量 Zの傾きを示す。 bは、所定の定数 (0≤b≤l. 0)である。 cは、所定の定数 (0 ≤c≤l . 0)である。指数 αは、所定の定数（α≥0)であり、補正対象の画像に基づ いて値が決定される。
即ち、周辺領域の輝度値 Sがシャドー領域の輝度値 S以上の場合は、傾き a ( >0)、
し
切片 b (0≤b≤l . 0)、定数 c (0≤c≤l . 0)、指数 a ≥0)を有する関数により補 正量 Zが決定される。周辺領域の輝度値 Sが輝度値 S未満の場合は、補正量 Zは定
し
数 cとなる。以下の式（9)が成立するとき、補正量 Zは、周辺領域の輝度値 Sがシャド 一領域の輝度値 Sの前後において連続となる。このとき、補正量 Zは、 c以上の値と
し
なる。シャドー領域の輝度値 s以下の周辺輝度値を持つ領域のガンマ補正量はじと
し
なる。このため、 c= l . 0の時、シャドー領域では階調補正は施されないことになる。
[数 9]
Figure imgf000014_0002
[0028] ここでハイライト領域とシャドー領域について説明しておく。ハイライト領域とは、特 定輝度以上の階調値または輝度値を有する画素の集合のことである。また、シャドー 領域とは、特定輝度以下の階調値または輝度値を有する画素の集合のことである。 これらの輝度値を制御部 24が保持しており、必要により、補正量算出部 22に供給す る。これらの輝度値は、様々な適用画像を対象にした実験に基づいて決定する場合 や、以下のように補正対象画像毎に適応的に求められる場合がある。
[0029] まず、画像の階調値 (輝度値)のヒストグラムを生成する。階調値 (輝度値)の大き ヽ 方の、ある割合の要素をハイライト領域の画素とする。例えば、画像が幅 320画素、 高さ 240画素で、その 1%をハイライト領域に指定するものとすると、ハイライト領域の 画素数は、 th= 320 X 240 X 0. 01 = 768画素である。階調値ヒストグラムにおいて 上位 768個目の画素が有する階調値以上の階調値を持つ画素がハイライト領域とな る。同様に、シャドー領域は、下位 768個目の画素が有する階調値以下の階調値を 持つ画素がシャドー領域となる。ここでは、ハイライト領域とシャドー領域の割合は同 じ値で説明したが、異なる値であってもよい。
[0030] 局所階調補正部 23は、局所領域選択部 21から供給される画像データと、補正量 算出部 22から供給される補正量とに基づいて画像データのうちの選択された局所領 域の階調値を補正する。補正処理された補正画像データは、画像出力部 3に出力さ れる。この例では、階調値は、輝度値であってもよいし、あるいはスペクトル成分で表 現された階調値であってもよ ヽ。
[0031] 局所階調補正処理は、線形補正関数やシグモイド関数などの非線形関数を用いて 実現されることが可能である。例えば、補正量算出部 22により、局所領域を補正する ための補正量がガンマ値として算出される場合、局所階調補正部 22は以下の式（10 )のガンマ補正式により局所領域の階調値を変換する。即ち、局所階調補正部 22は 、局所領域の階調値 Ii (x, y)を Oi (x, y)に変換する階調補正処理を施す (但し、 i= R, G, B)。
[数 10]
Figure imgf000015_0001
ここで、 Imaxは階調値の最大値、 γは補正量算出部 22により算出されたガンマ値で ある。また、式（10)は、 R, G, Βを独立に処理する式になっている力 輝度成分のみ の補正を行うことも可能である。輝度成分のみの補正を行う場合、まず、 RGB空間の 階調値は輝度成分と色度成分に分割される。次に、輝度成分のみが式（10)の入力 値として補正される。変換後の輝度値と元の色度成分は再び RGB空間の階調値へ と変換される。このように処理することで、輝度成分のみの補正を行うことも可能であ る。さらに、補正量算出部 22と局所階調補正部 23の処理は、周辺領域輝度算出部 221により算出される周辺領域の輝度値 Sに対応して事前に求められる階調補正テ 一ブルを用いることで実現することも可能である。階調補正テーブルを用いることによ り、演算時間を短縮できる。
[0032] 次に、第 1実施例の全体の動作について、図 4のフローチャートを参照して説明す る。
[0033] まず、画像入力部 1から入力された原画像は、局所領域選択部 21に供給される。
局所領域選択部 21では、入力される原画像から局所領域を選択する。制御部 24は 、選択された局所領域から補正対象の局所領域を選択する (ステップ S21)。
[0034] 次に、補正量算出部 22において、原画像の選択された局所領域の階調補正量を 算出する (ステップ S22)。選択された局所領域の階調補正量として、まず、周辺領域 輝度算出部 221において、周辺領域の輝度ヒストグラムの中央値や平均値、周辺領 域の輝度の加重平均をとつた加重平均輝度値、特徴経路上の参照点の加重平均輝 度値などに基づいて、周辺領域の輝度値が算出される。周辺補正量変換部 222に おいて、算出される周辺領域の輝度値は、局所領域の階調補正量に変換される。こ の局所領域の階調補正量とは、入力される原画像の局所的な明るさやコントラストな どの画質要因により決定されるものであり、画像の局所領域の画質が最適となるよう に階調補正を行うための階調補正の強度を決める値である。
[0035] 局所領域の階調補正量が算出されると、得られた局所階調補正量に基づいて該当 する局所領域の階調が補正される (ステップ S23)。局所領域を補正するための補正 量がガンマ値として算出される場合、局所階調補正部 22は、局所領域の階調値 Ii (x , y)を Oi (x, y)に変換する（i=R, G, B)。
[0036] この局所階調補正は、 1領域以上ある局所領域に対して逐次的に行われる。制御 部 24は、局所領域の階調補正が全ての補正対象の局所領域について行われたか 否かを判定する (ステップ S 24)。未処理の局所領域が残っている場合 (ステップ S 24 NO)、その領域に対して補正量の取得および階調補正を行う。全ての局所領域 に対して処理が終了している場合 (ステップ S24— YES)、階調補正処理を終了し、 画像出力部 3に補正後の画像を供給する。画像出力部 3への補正画像の出力は、 各局所領域の補正処理が終了するごとに行ってもよい。
[0037] また、ここでは、局所階調補正が局所領域の各々に対して 1度ずつ実行されると説 明したが、局所階調補正により各局所階調が補正されるので、この局所階調補正が 複数回繰り返されてもよい。その場合、局所領域の広さを保ちながら階調補正が行わ れてもよいが、局所領域の広さを買えながら階調補正が行われると、特異点のような 局所領域などに影響されて補正が過度に進行することが防止できる。この場合、制 御部 24が、局所領域の選択を行うための閾値を局所領域選択部 21に供給し、新た に補正対象の局所領域を選択しながら、補正を行ってもよい。また、画像全体を複数 の領域に分け、それらを局所領域として階調補正を行ってもょ 、。
[0038] 以上のように、局所領域における階調補正処理は行われる。ここで以上の処理を適 用した例を示す。そのシステムは、画像入力部 1として CCDカメラを、画像処理装置 2としてパーソナル 'コンピュータを、画像出力部 3としてディスプレイを備えている。
[0039] パーソナル 'コンピュータは、図 14に示されるように、中央演算処理部（CPU : Cent ral Processing Unit) 31、入力部 32、出力部 33、メモリ部 34、外部記憶部 35を 具備する。中央演算処理部 31は、メモリ部 34に格納されるプログラムを逐次取り出し て実行し、メモリ部 34あるいは外部記憶部 35に格納される画像データ、作業用デー タに基づいて、画像階調補正処理を行う。入力部 32は、 CCDカメラ力も画像データ を取り込む。出力部 33は、補正処理した画像データをディスプレイに出力する。メモ リ部 34は、取り込んだ画像データを記憶し、演算の途中経過を保持し、また、演算処 理するためのプログラムを格納する。外部記憶部 35は、メモリ部 34に格納するプログ ラムを記憶したり、メモリ部 34の内容を保存したりする。
[0040] パーソナル 'コンピュータは、画像処理装置 2としてソフトウェアにより実現される局 所領域選択部 21、補正量算出部 22、局所階調補正部 23を備える。繰り返し演算量 の多い部分に関しては、専用ハードウ アが実装されていてもよい。また、補正量算 出部 22は、ガンマ補正の場合はガンマ値を算出し、局所階調補正部は算出された ガンマ値を用いてガンマ補正を行う。以下ではガンマ補正として説明する力 シグモ イド関数による補正であれば、シグモイド関数の傾き、シフト量などのパラメータを算 出することになる。
[0041] CCDカメラから図 15Aに示される画像が入力されたとする。中央演算処理部 31は 、入力される原画像中の局所領域、例えば 1画素を選択し、図 15Bに示されるよう〖こ 、その局所領域の周辺領域の輝度値を算出する。図 15Bでは、局所領域として 2力 所示され、周辺領域は、その局所領域を中心とする半径 Rの円で示されている。まず この周辺領域の輝度値を算出する。周辺領域の輝度値が算出されると、この周辺領 域の輝度値を基に式 (6)に従って補正量が算出され、局所領域を補正するためのガ ンマ値が得られる。図 15Bの右下の局所領域のように、周辺領域の輝度値が低い場 合、局所領域を補正するためのガンマ値は式 (6)の b値 (例えば 0. 5)に近くなる。こ の結果、局所領域の階調値はガンマ補正により明るく補正される。一方、図 15Bの左 上の局所領域のように、周辺領域の輝度値が高い場合、特に式 (6)の S
H値を超えた 場合、ガンマ値は 1. 0 ( = c)となる。したがって、局所領域の階調値はガンマ補正の 影響を受けず、原画像のままとなる。このような処理を全局所領域に施すことにより、 画像中の暗部は明るく補正され、明部は原画像のまま保存されることになる。この結 果、図 15Cに示されるように画像中の暗部の視認性が改善される。最後に、処理の 結果をディスプレイに出力することで処理を終了する。
[0042] このように、パーソナル 'コンピュータは、画像補正処理のプログラムを実行すること により、周辺領域の画質に応じて補正量を決定し、局所領域の画質を補正する。上 記のガンマ補正と式 (6)とを適用する場合、局所領域の階調補正関数は、図 7に示さ れるように、画像の局所領域の明るさに応じて階調補正関数が変化する。したがって 、暗い領域は明るぐ明るい領域は元画像の階調をそのまま保持するというような処 理が実現される。その結果、画像中の明部の画質を保持しつつ暗部の画質を改善 することができる。また、逆に上記のガンマ補正と式 (8)を適用することで、画像中の 暗部の画質を保持しつつ明部の画質を改善することができる。
[0043] 本実施例では、画像からの局所領域の階調補正量の取得と階調補正を局所領域 ごとに逐次処理するように構成されている。そのため、補正量および補正量を求める ために必要な諸データのうち、メモリ部 34、外部記憶部 35に保持されるデータ量を 入力される原画像のデータサイズよりも少なくすることができる。
[0044] また、局所領域の画質に応じて階調補正を施すことができるため、局所領域の画質 を適切に補正することが可能である。
[0045] さらに、特徴経路の加重平均輝度値を用いた場合、他の周辺領域を算出する方法 と比べて演算参照する点数が少なぐ高速に動作することが可能である。したがって 、計算コストを削減することができる。
[0046] 次に、本発明の第 2実施例による画像処理システムについて詳細に説明する。図 8 は、本発明の第 2実施例による画像処理システムの構成を示すブロック図である。図 8参照して、本発明の第 2実施例による画像処理システムは、第 1実施例の構成とは 、部分領域輝度値格納部 51を有する記憶装置 5と部分領域輝度算出部 25が追加さ れている点で異なる。また、第 2実施例では、第 1実施例の補正量算出部 22が補正 量算出部 26に置換されている。補正量算出部 26では、周辺領域輝度算出部 221に 代えて部分領域参照型周辺領域輝度算出部 261が設けられている。従って、異なる 点を以下に説明する。
[0047] 部分領域輝度算出部 25は、入力画像の領域を横 m領域、縦 n領域に分割し、それ ぞれの領域の代表輝度値を算出し、部分領域輝度値格納部 51に代表輝度値を格 納する。
[0048] 補正量算出部 26は、部分領域輝度値格納部 51に格納されて ヽる代表輝度値を 用いて局所領域補正量を算出する。詳細には、部分領域参照型周辺領域輝度算出 部 261が局所領域の近傍に位置する部分領域の代表輝度値を用いて周辺輝度値 を算出し、局所補正量変換部 222は算出された周辺輝度値を用いて局所補正量を 決定する。
[0049] 次に、図 9のフローチャートを参照して第 2実施例の画像処理システムの動作につ いて詳細に説明する。図 9のステップ S21、 S23および S24で示されるプロセスは、 図 4に示される第 1実施例におけるステップ S21、 S23および S24と同一であるので、 説明は省略する。
[0050] 第 2実施例では、画像が入力されると、部分領域輝度算出部 25は、入力画像の領 域を横 m領域、縦 n領域 (m, n>0)に分割し（図 10A)、それぞれの領域の代表輝 度値を求め（図 10B)、部分領域輝度値格納部 51に代表輝度値を格納する (ステツ プ S25)。局所領域選択部 21は、第 1実施例と同様にして、補正対象の局所領域を 選択する (ステップ S21)。補正量算出部 26の部分領域参照型周辺領域輝度算出 部 261は、ステップ S25で算出された代表輝度値を用いて局所領域の周辺輝度値を 算出し、局所補正量変換部 222は選択された局所領域の補正量を算出する (ステツ プ S26)。
なお、部分領域の代表輝度値としては、部分領域の平均値や中央値などを用いる ことができる。また、部分領域参照型周辺領域輝度算出部 261は、例えば、部分領 域の代表輝度値を用いて 4近傍加重平均値 ISを周辺領域の輝度値として算出する 。 4近傍加重平均値 ISは、注目領域の最近傍領域の代表輝度値 Sを用いて線形補
し
間することで得られる。図 10Cの点 Eを注目画素とし、点 Eの X座標は線分 ABを XL: XRに内分する位置に、 y座標は線分 ACを YU:UDに内分する位置にあるとする。こ の場合、注目画素 Eが図 10Cの部分領域の中心点を結ぶ破線で囲まれる領域（1)、 (2)、（3)のどの領域にあるかに依存して、注目画素の平均輝度値は以下の式（11) , (12), (13)を用いて決定される。
領域 (1) :4近傍領域から算出
[数 11]
S(x, y) = XR-YD-SL ( θ. yC)) + XL -YD -8^x1 ■(：))
+ XR . YU . SL (xC), γή + XL- YU . SL (xl Yl) …ひ 1) 領域 (2) :2近傍領域から算出
[数 12]
, (χ, ·) = YD-SL (x(), ·(：)) + YU · SL (χθ, l) ··· (12) 領域 (3):単一領域から算出
[数 13]
S{x,y)=SL{x0,y0) …ひ 3) なお、 XL+XR= 1、 YU + UD= 1である。
[0052] 以上の式に基づいて周辺輝度値が計算された場合、図 10Dのように加重平均輝 度値 ASにより得られる周辺輝度値に近い周辺輝度値を得ることが可能である。 第 2実施例では、 4近傍加重平均値を用いた場合、部分領域の代表輝度値を格納 するための数バイト程度の記憶容量を必要とするが、特徴経路の加重平均輝度値の ように特徴経路を算出するための演算参照は必要なぐまた、その他の周辺領域の 輝度値を算出する方法と比べて演算参照する点数が少なぐ高速に動作することが 可能である。
[0053] 次に、本発明の第 3実施例による画像処理システムについて説明する。第 3実施例 は、階調補正が局所階調補正と大域階調補正の 2段階で施される。画像処理システ ムの構成は、図 2に示される第 1実施例と同様の部分を有し、画像処理装置 2の構成 が図 11に示されるようになる。
[0054] 第 3実施例に係る画像処理装置は、図 11に示されるように、局所領域選択部 21、 補正量算出部 22、局所階調補正部 23、大域階調補正量算出部 27、大域階調補正 部 28とを具備する。局所領域選択部 21、補正量算出部 22、局所階調補正部 23は、 第 1実施例におけるそれらと同様である。大域階調補正量算出部 27、大域階調補正 部 28は、大域階調補正処理を施す。局所階調補正処理は第 1実施例における処理 と同様であるので、ここでは説明を省略する。
[0055] 大域階調補正処理では、局所階調補正部 23から局所階調補正された画像が大域 階調補正量算出部 27と大域階調補正部 28に出力される。大域階調補正量算出部 2 7は、局所階調補正部 23により局所的に補正された画像から、大域的な画質を改善 するための大域階調補正量を算出する。大域階調補正部 28は、大域階調補正量算 出部 27で算出される大域階調補正量に基づいて画像全体の階調を補正する。局所 階調補正と大域階調補正が施された画像データは大域階調補正部 28から画像出 力部 3に出力される。
[0056] 大域階調補正量算出部 27は、局所階調補正部 23により局所的に画質が最適化さ れた画像に対して、大域的に最適な画質を得るために補正処理のための補正量を 決定する。大域補正としては、コントラスト補正やガンマ補正などの画像全体の画質 を整える階調補正手法を用いることができる。大域階調補正量算出部 27では、これ らの大域画質補正の手法の補正量を算出する。例えば、コントラスト補正を用いる場 合は、コントラスト補正の変換式の係数である補正量 a、 bを以下の式（14)、 (15)に より算出する。
[数 14] a =
Figure imgf000022_0001
…
HL - SH
[数 15]
HL · ^>H n ― SH -†ii^nnf
b = - - - (15)
HL - SH ここで、 HLoptと SHoptは、画像のハイライト領域とシャドー領域の最適な階調値を 示す。また、 HLと SHは、原画像中のハイライト領域とシャドー領域の輝度値である。 ハイライト領域の輝度値 HLは、以下の式（16)に示されるように、入力される原画像 力 作成した輝度画像 I (x, y)に対して、ローパスフィルタ LPF (x, y)を施した時の 画像中の最大階調値である。シャドー領域の輝度値 SHは、以下の式（17)に示され るように、入力される原画像から作成された輝度画像 I (x, y)に対して、ローパスフィ ルタ LPF (X, y)を施した時の画像中の最小階調値である。
[数 16]
HL = max (/ (χ, γ) * LPF (x, ')) ... (16)
[数 17]
SH = mm(/ ίχ, γ) * LPF(x, ')) ... (17) なお、演算子 *は、畳み込み演算を表す。また、関数 max ( )、関数 min ( )はそれ ぞれ括弧内に示される要素の最大値、最小値を関数値とする関数である。
大域階調補正量が算出されると、次に、大域階調補正部 28において、局所階調補 正された画像データに対して、大域階調補正量算出部 27によって算出される補正 量に基づいて大域階調補正が施される。大域補正としては、コントラスト補正やガン マ補正などの画像全体の画質を整える階調補正手法を用いることができる。コントラ スト補正を用いる場合は、大域階調補正量算出部 25により算出された補正量 a, bを 用いて以下の式（18)により各画素の階調を補正する。
[数 18]
0} (χ. γ) = al} (λ', y) + b (i = I J.B) · · · (18) ここで、 iは、 3原色 (i=R, G, B)を表わし、 Ii (x, y)は入力画素値、 Oi (x, y)は出力 画素値である。
[0058] コントラスト補正の場合、図 13に示されるように、入力される原画像の階調値は最小 階調値 SH力 最大階調値 HLまで分布して ヽる。これをその画像にとって最適な階 調値である、最小階調値 SHoptから最大階調値 HLoptまで分布するように、式（18 )により変換する補正処理が行われる。
[0059] また、式（18)は、各原色 R、 G、 Bを独立に処理する式になっている力 輝度成分 のみの補正を行うことも可能である。輝度成分のみの補正を行う場合、 RGB空間の 階調値を輝度成分と色度成分に分ける。そのうち輝度成分のみを式（18)の入力値 として補正する。補正後の輝度値と元の色度成分を再び RGB空間の階調値へと変 換する。このようにすることで、輝度成分のみの補正を行うことができる。
[0060] 次に、第 3実施例による画像処理システムの動作について、図 12のフローチャート を参照して説明する。ステップ S 21からステップ S 24までは第 1実施例における全体 動作と同じである。
[0061] まず、画像入力部 1から入力された原画像は、局所領域選択部 21に供給される。
局所領域選択部 21では、入力される原画像から補正対象の局所領域を選択する（ ステップ S21)。
[0062] 次に、補正量算出部 22において、入力される原画像の局所領域の階調補正量を 算出する (ステップ S22)。局所領域の階調補正量は、まず、周辺領域の輝度ヒストグ ラムの中央値や平均値、周辺領域の輝度の加重平均をとつた加重平均輝度値、特 徴経路上の参照点の加重平均輝度値などに基づ 、て、周辺領域の輝度値が算出さ れる。算出される周辺領域の輝度値は、局所領域の階調補正量に変換される。この 局所領域の階調補正量とは、入力される原画像の局所的な明るさやコントラストなど の画質要因により決定されるものであり、画像の局所領域の画質が最適となるように 階調補正を行うための階調補正の強度を決める値である。
[0063] 局所領域の階調補正量が算出されると、得られた局所階調補正量に基づいて該当 する局所領域の階調を補正する (ステップ S23)。局所領域を補正するための補正量 力 Sガンマ値として算出される場合、局所階調補正部 22は、局所領域の階調値 Ii (x, y)を Oi (x, y)に変換する（i=R, G, B)。
[0064] この局所階調補正は、 1領域以上ある局所領域に対して逐次的に行われる。局所 領域の階調補正が全ての補正されるべき局所領域について行われた力否かを判定 する (ステップ S24)。未処理の局所領域が残っている場合 (ステップ S24— NO)、そ の領域に対して補正量の取得および階調補正を行う。全ての局所領域に対して処理 が終了している場合 (ステップ S24— YES)、局所階調補正処理を終了し、大域階調 補正処理に局所補正後の画像を供給する。大域階調補正処理への局所補正画像 の出力は、各局所領域の補正処理が終了するごとに行ってもょ 、。
[0065] 局所領域の階調補正処理が終了すると、大域階調補正が行われる。大域階調補 正では、まず、画像の大域的な画質が判定される。コントラスト補正の場合、大域的 な画質は、通常画像全体の輝度ヒストグラムを生成することにより求められる。即ち、 図 13に示されるように、入力画像の輝度ヒストグラムにより、最小輝度 SHと最大輝度 HLが求められる。最小輝度 SHと最大輝度 HLが算出されると、ハイライト領域の最 適な輝度値 HLoptとシャドー領域の最適な輝度値 SHoptとを用いて、式（14)、 (15 )にしたがって補正量 a、 bが算出される（ステップ S25)。
[0066] 補正量 a、 bが算出されると、大域階調補正部 28において、大域階調補正が行われ る。コントラスト補正の場合、大域階調補正は、式（18)に基づいて行われる。大域階 調補正が施された画像は、画像出力部 3に供給されて、画像補正処理は終了する。
[0067] 以上のように、局所領域および大域における階調補正処理は行われる。ここで以上 の処理を適用した例を示す。適用したシステムは、第 1実施例と同様に、画像入力部 1として CCDカメラを、画像処理装置 2としてパーソナル 'コンピュータを、画像出力部 3としてディスプレイを備えている。第 1実施例のパーソナル 'コンピュータのプロダラ ムに大域階調補正用のプログラム即ち、大域階調補正量算出部 27及び大域階調補 正部 28になるプログラムが追加搭載されて 、る。
第 3実施例として図 14のような構成を述べたが、この構成に記憶装置 5と部分領域 輝度値格納部 51を加え、画像入力部 1と局所領域選択部 21の間に部分領域輝度 算出部 25を加え、補正量算出部 22を補正量算出部 26に置き換えるてもよい。
[0068] CCDカメラから図 15Aに示す画像が入力されたとする。このとき、第 1実施例と同様 にまず局所階調補正が入力される原画像に施される。この局所階調補正処理が施さ れた結果、画像によっては図 16Aのように、過度に局所的な階調補正が施され、画 像全体としての画質が劣る結果となる場合がある。この場合では、局所階調補正によ り局所的な画質は改善している力 画像のコントラストが低下する結果となった。ここ では、大域階調補正として式（18)に示されるコントラスト補正を用いて局所階調補正 後の画像を階調補正する。まず、画像全体の画素の階調値力 式（14)、（15)に基 づいて補正量 a、 bが算出される。次に、式（18)のコントラスト補正式に基づいて、画 像のコントラストが補正される。その結果、図 16Bに示されるように、大域的な画質が 改善された画像が得られる。この補正された画像は、入力された原画像と比較しても 、暗部の視認性が改善されている。即ち、局所的な画質も改善されていることが判る 。以上のように処理された後の画像をディスプレイに表示し処理を終了する。
[0069] このように、局所階調補正を施した後、大域階調補正を施すことにより、局所的に画 質が改善された画像の大域的な画質が改善され、画像全体の画質を損なうことなく 局所領域の画質を改善することができる。
[0070] 本発明によれば、逐次的に処理され、処理の中間結果を保存する必要がないため 、少ない記憶容量で処理することができる画像処理装置、画像補正処理方法、およ び画像補正処理用プログラムを提供することができる。
[0071] また、本発明によれば、局所的に階調補正をした結果の画像に対して、大域的な 階調補正を施すため、補正画像を局所的および大域的に適切な画質にする画像処 理装置、画像補正処理方法、および画像補正処理用プログラムを提供することがで きる。
上記開示と関連して、以下の事項を開示する。
[項 33]
入力画像から少なくとも 1つの補正対象の局所領域を選択するステップと、前記局 所領域は少なくとも 1画素を含み、
前記補正対象の局所領域に対する階調補正量を算出するステップと、
前記階調補正量に基づ 、て前記局所領域の階調値を補正する階調補正を行 、局 所階調補正画像を生成するステップと
を具備するソフトウェアプロダクトのためのコードを記録するコンピュータ読み取り可能 なソフトウェアプロダクト。
[項 34]項 33に記載のソフトウェアプロダクトにおいて、
前記階調補正量を算出するステップは、
前記局所領域の周辺領域の階調値を算出するステップと、
前記周辺領域の算出された階調値を用いて前記階調補正量を算出するステップと を具備するソフトウェアプロダクト。
[項 35]項 33に記載のソフトウェアプロダクトにおいて、
前記画像処理方法は、
前記入力画像の部分領域ごとの代表階調値を算出するステップを更に具備し、 前記前記階調補正量を算出するステップは、
前記補正対象の局所領域の近傍に位置する少なくとも 1つの前記部分領域の前記 代表階調値を用いて前記補正対象の局所領域の周辺領域の階調値を算出するステ ップと、
前記周辺領域の算出された階調値を用いて前記階調補正量を算出するステップと を具備するソフトウェアプロダクト。
[項 36]項 33乃至 35のいずれかに記載のソフトウェアプロダクトにおいて、 前記画像処理方法は、
前記局所階調補正画像の大域補正量を算出するステップと、
前記大域補正量に基づいて前記局所階調補正画像に大域階調を補正する階調 補正を行 、大域階調補画像を生成するステップと
を更に具備するソフトウェアプロダクト。
[項 37]項 33乃至 35のいずれかに記載のソフトウェアプロダクトにおいて、 前記画像処理方法は、
前記入力画像を提供するステップと、
前記局所階調補正画像または前記大域階調補正画像を出力するステップと を更に具備するソフトウェアプロダクト。
[項 38]項 33乃至 37のいずれかに記載のソフトウェアプロダクトにおいて、 前記階調値は、輝度値、またはスペクトル成分で表現された階調値である ソフトウェアプロダクト。
[項 39]項 33乃至 38のいずれかに記載のソフトウェアプロダクトにおいて、 前記画像処理方法は、
前記階調補正を、前記補正対象の局所領域の広さを変えながら、あるいは前記補 正対象の局所領域の広さを保ちながら、前記補正対象の局所領域に対して、複数回 繰り返えすステップ
を更に具備するソフトウェアプロダクト。
[項 40]項 33乃至 38のいずれかに記載のソフトウェアプロダクトにおいて、 前記局所領域を選択するステップは、複数の局所領域を選択するステップを具備 し、
前記画像処理方法は、
前記階調補正を、前記複数の選択された局所領域に対して行うステップを更に具 備するソフトウェアプロダクト。
[項 41]項 34に記載のソフトウェアプロダクトにおいて、
前記階調補正量を算出するステップは、前記周辺領域の階調値とガウシアン重み の加重平均輝度値、または前記周辺領域の平均輝度値を前記周辺領域の前記階 調値として算出するステップ
を具備するソフトウェアプロダクト。
[項 42]項 34に記載のソフトウェアプロダクトにおいて、 前記階調補正量を算出するステップは、
局所領域と特徴点を結ぶ特徴経路線を 1個以上設定し、前記特徴経路線のそれぞ れで 1個以上の経路特徴点を求め、前記経路特徴点の階調値、又は前記経路特徴 点の加重平均輝度値を前記周辺領域の前記階調値として算出するステップ を具備するソフトウェアプロダクト。
[項 43]項 35記載のソフトウェアプロダクトにおいて、
前記周辺領域の階調値を算出するステップは、
前記補正対象となる局所領域とその近傍に位置する少なくとも 1つの前記部分領域 との距離の比と前記部分領域の代表階調の積を用いて周辺領域の階調を算出する ステップ
を具備するソフトウェアプロダクト。
[項 44]項 35に記載のソフトウェアプロダクトにおいて、
前記代表階調値は、前記部分領域に含まれる全てまたは一部の画素の平均値、 全てまたは一部の画素の中央値である
ソフトウェアプロダクト。
[項 45]項 33乃至 44のいずれか記載のソフトウェアプロダクトにおいて、
前記階調補正量を算出するステップは、
シャドー領域がハイライト領域より強い補正を施されるように階調補正量を算出する ステップ
を具備するソフトウェアプロダクト。
[項 46]項 33乃至 44のいずれかに記載のソフトウェアプロダクトにおいて、 前記階調補正量を算出するステップは、
前記局所領域の周辺の領域輝度と画像のハイライト領域の輝度とを用いて局所領 域の階調補正量を算出するステップ
を具備するソフトウェアプロダクト。
[項 47]項 33乃至 46のいずれかに記載のソフトウェアプロダクトにおいて、 前記階調補正量を算出するステップは、
非線形関数を用いて前記階調補正を行うステップ を具備するソフトウェアプロダクト。
[項 48]項 36に記載のソフトウェアプロダクトにおいて、 前記大域階調補正は、コントラスト強調を含む ソフトウェアプロダクト。

Claims

請求の範囲
[1] 入力画像から少なくとも 1つの補正対象の局所領域を選択する局所領域選択部と、 前記局所領域は少なくとも 1画素を含み、
前記補正対象の局所領域に対する階調補正量を算出する補正量算出部と、 前記階調補正量に基づ 、て前記局所領域の階調値を補正する階調補正を行 、局 所階調補正画像を生成する局所階調補正部と
を具備する画像処理システム。
[2] 請求項 1に記載の画像処理システムにお 、て、
前記補正量算出部は、
前記局所領域の周辺領域の階調値を算出する周辺領域階調値算出部と、 前記周辺領域の算出された階調値を用いて前記階調補正量を算出する局所補正 量変換部と
を具備する画像処理システム。
[3] 請求項 1に記載の画像処理システムにお 、て、
前記入力画像の部分領域ごとの代表階調値を算出する部分領域輝度算出部を更 に具備し、
前記補正量算出部は、
前記補正対象の局所領域の周辺領域の階調値を、前記補正対象の局所領域の近 傍に位置する少なくとも 1つの前記部分領域の前記代表階調値を用いて算出する部 分領域参照型周辺領域輝度算出部と、
前記周辺領域の算出された階調値を用いて前記階調補正量を算出する局所補正 量変換部と
を具備する画像処理システム。
[4] 請求項 1乃至 3のいずれかに記載の画像処理システムにおいて、
前記局所階調補正画像の大域補正量を算出する大域補正量算出部と、 前記大域補正量に基づいて前記局所階調補正画像に大域階調を補正する階調 補正を行 ヽ大域階調補画像を生成する大域補正部と
を更に具備する画像処理システム。
[5] 請求項 1乃至 4のいずれかに記載の画像処理システムにおいて、
前記入力画像を提供する画像入力部と、
前記局所階調補正画像または前記大域階調補正画像を出力する画像出力部と を更に具備する画像処理システム。
[6] 請求項 1乃至 5のいずれかに記載の画像処理システムにおいて、
前記階調値は、輝度値、またはスペクトル成分で表現された階調値である 画像処理システム。
[7] 請求項 1乃至 6のいずれかに記載の画像処理システムにおいて、
前記階調補正が、前記補正対象の局所領域の広さを変えながら、あるいは前記補 正対象の局所領域の広さを保ちながら、前記補正対象の局所領域に対して、複数回 繰り返される
画像処理システム。
[8] 請求項 1乃至 6のいずれかに記載の画像処理システムにおいて、
前記局所領域選択部は、複数の局所領域を選択し、
前記階調補正が、前記複数の選択された局所領域に対して施される
画像処理システム。
[9] 請求項 2に記載の画像処理システムにお ヽて、
前記周辺領域階調値算出部は、前記周辺領域の階調値とガウシアン重みの加重 平均輝度値、または前記周辺領域の平均輝度値を前記周辺領域の前記階調値とし て算出する
画像処理システム。
[10] 請求項 2に記載の画像処理システムにお ヽて、
前記周辺領域階調値算出部は、
局所領域と特徴点を結ぶ特徴経路線を 1個以上設定し、前記特徴経路線のそれぞ れで 1個以上の経路特徴点を求め、前記経路特徴点の階調値、又は前記経路特徴 点の加重平均輝度値を前記周辺領域の前記階調値として算出する
画像処理システム。
[11] 請求項 3に記載の画像処理システムにおいて、 前記部分領域参照型周辺領域輝度算出部は、
前記補正対象となる局所領域とその近傍に位置する少なくとも 1つの前記部分領域 との距離の比と前記部分領域の代表階調の積を用いて周辺領域の階調を算出する 画像処理システム。
[12] 請求項 3に記載の画像処理システムにおいて、
前記代表階調値は、前記部分領域に含まれる全てまたは一部の画素の平均値、 全てまたは一部の画素の中央値である
画像処理システム。
[13] 請求項 1乃至 12のいずれかに記載の画像処理システムにおいて、
前記補正量算出部は、シャドー領域カ 、イライト領域より強い補正を施されるように 階調補正量を算出する
画像処理システム。
[14] 請求項 1乃至 12のいずれかに記載の画像処理システムにおいて、
前記補正量算出部は、局所領域の周辺の領域輝度と画像のハイライト領域の輝度 とを用 V、て局所領域の階調補正量を算出する
画像処理システム。
[15] 請求項 1乃至 14のいずれかに記載の画像処理システムにおいて、
前記局所階調補正部は、非線形関数を用いて前記階調補正を行う
画像処理システム。
[16] 請求項 4に記載の画像処理システムにお 、て、
前記大域階調補正は、コントラスト強調を含む
画像処理システム。
[17] 入力画像から少なくとも 1つの補正対象の局所領域を選択するステップと、前記局 所領域は少なくとも 1画素を含み、
前記補正対象の局所領域に対する階調補正量を算出するステップと、 前記階調補正量に基づ 、て前記局所領域の階調値を補正する階調補正を行 、局 所階調補正画像を生成するステップと
を具備する画像処理方法。
[18] 請求項 17に記載の画像処理方法において、
前記階調補正量を算出するステップは、
前記局所領域の周辺領域の階調値を算出するステップと、
前記周辺領域の算出された階調値を用いて前記階調補正量を算出するステップと を具備する画像処理方法。
[19] 請求項 17に記載の画像処理方法において、
前記入力画像の部分領域ごとの代表階調値を算出するステップを更に具備し、 前記前記階調補正量を算出するステップは、
前記補正対象の局所領域の近傍に位置する少なくとも 1つの前記部分領域の前記 代表階調値を用いて前記補正対象の局所領域の周辺領域の階調値を算出するステ ップと、
前記周辺領域の算出された階調値を用いて前記階調補正量を算出するステップと を具備する画像処理方法。
[20] 請求項 17乃至 19のいずれかに記載の画像処理方法において、
前記局所階調補正画像の大域補正量を算出するステップと、
前記大域補正量に基づいて前記局所階調補正画像に大域階調を補正する階調 補正を行 、大域階調補画像を生成するステップと
を更に具備する画像処理方法。
[21] 請求項 17乃至 19のいずれかに記載の画像処理方法において、
前記入力画像を提供するステップと、
前記局所階調補正画像または前記大域階調補正画像を出力するステップと を更に具備する画像処理方法。
[22] 請求項 17乃至 21のいずれかに記載の画像処理方法において、
前記階調値は、輝度値、またはスペクトル成分で表現された階調値である 画像処理方法。
[23] 請求項 17乃至 22のいずれかに記載の画像処理方法において、
前記階調補正を、前記補正対象の局所領域の広さを変えながら、あるいは前記補 正対象の局所領域の広さを保ちながら、前記補正対象の局所領域に対して、複数回 繰り返えすステップ
を更に具備する画像処理方法。
[24] 請求項 17乃至 22のいずれかに記載の画像処理方法において、
前記局所領域を選択するステップは、複数の局所領域を選択するステップを具備 し、
前記階調補正を、前記複数の選択された局所領域に対して行うステップを更に具 備する画像処理方法。
[25] 請求項 18に記載の画像処理方法において、
前記階調補正量を算出するステップは、前記周辺領域の階調値とガウシアン重み の加重平均輝度値、または前記周辺領域の平均輝度値を前記周辺領域の前記階 調値として算出するステップ
を具備する画像処理方法。
[26] 請求項 18に記載の画像処理方法において、
前記階調補正量を算出するステップは、
局所領域と特徴点を結ぶ特徴経路線を 1個以上設定し、前記特徴経路線のそれぞ れで 1個以上の経路特徴点を求め、前記経路特徴点の階調値、又は前記経路特徴 点の加重平均輝度値を前記周辺領域の前記階調値として算出するステップ
を具備する画像処理方法。
[27] 請求項 19記載の画像処理方法において、
前記周辺領域の階調値を算出するステップは、
前記補正対象となる局所領域とその近傍に位置する少なくとも 1つの前記部分領域 との距離の比と前記部分領域の代表階調の積を用いて周辺領域の階調を算出する ステップ
を具備する画像処理方法。
[28] 請求項 19に記載の画像処理方法において、
前記代表階調値は、前記部分領域に含まれる全てまたは一部の画素の平均値、 全てまたは一部の画素の中央値である
画像処理方法。
[29] 請求項 17乃至 28のいずれか記載の画像処理方法において、
前記階調補正量を算出するステップは、
シャドー領域がハイライト領域より強い補正を施されるように階調補正量を算出する ステップ
を具備する画像処理方法。
[30] 請求項 17乃至 28のいずれかに記載の画像処理方法において、
前記階調補正量を算出するステップは、
前記局所領域の周辺の領域輝度と画像のハイライト領域の輝度とを用いて局所領 域の階調補正量を算出するステップ
を具備する画像処理方法。
[31] 請求項 17乃至 30のいずれかに記載の画像処理方法において、
前記階調補正量を算出するステップは、
非線形関数を用いて前記階調補正を行うステップ
を具備する画像処理方法。
[32] 請求項 20に記載の画像処理方法にお 、て、
前記大域階調補正は、コントラスト強調を含む
画像処理方法。
PCT/JP2005/015995 2004-09-01 2005-09-01 画像補正処理システム及び画像補正処理方法 WO2006025486A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP05777032A EP1788795A4 (en) 2004-09-01 2005-09-01 IMAGE CORRECTION DEVICE AND IMAGE CORRECTION
US11/574,516 US7949201B2 (en) 2004-09-01 2005-09-01 Image correction processing system and image correction processing method
JP2006531980A JP4577621B2 (ja) 2004-09-01 2005-09-01 画像補正処理システム及び画像補正処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004254901 2004-09-01
JP2004-254901 2004-09-01

Publications (1)

Publication Number Publication Date
WO2006025486A1 true WO2006025486A1 (ja) 2006-03-09

Family

ID=36000135

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/015995 WO2006025486A1 (ja) 2004-09-01 2005-09-01 画像補正処理システム及び画像補正処理方法

Country Status (5)

Country Link
US (1) US7949201B2 (ja)
EP (1) EP1788795A4 (ja)
JP (1) JP4577621B2 (ja)
CN (1) CN101010937A (ja)
WO (1) WO2006025486A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272477A (ja) * 2006-03-30 2007-10-18 Denso It Laboratory Inc 画像補正方法
WO2008111180A1 (ja) * 2007-03-13 2008-09-18 Olympus Corporation 画像信号処理装置、画像信号処理プログラム、画像信号処理方法
WO2010073553A1 (ja) 2008-12-26 2010-07-01 日本電気株式会社 画像処理装置、画像処理方法および記憶媒体
JP2010258502A (ja) * 2009-04-21 2010-11-11 Canon Inc 画像処理装置および方法
WO2011013745A1 (ja) * 2009-07-31 2011-02-03 シャープ株式会社 階調調整装置、画像表示装置、テレビ受像機、プログラム、及び、プログラムが記録されたコンピュータ読み取り可能な記憶媒体
WO2011030383A1 (ja) * 2009-09-10 2011-03-17 株式会社 東芝 画像処理装置
WO2012017946A1 (ja) * 2010-08-04 2012-02-09 日本電気株式会社 画像処理方法、画像処理装置及び画像処理プログラム
EP1884892A3 (en) * 2006-07-31 2017-11-29 Samsung Electronics Co., Ltd. Method, medium, and system compensating shadow areas
US10438323B2 (en) 2014-09-29 2019-10-08 Nec Corporation Image brightness correction and noise suppression method, device, and recording medium for storing image processing program
US20210090221A1 (en) * 2019-09-20 2021-03-25 Realtek Semiconductor Corp. Image processing circuit and associated image processing method
JP2022520264A (ja) * 2019-05-05 2022-03-29 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 画像輝度の調整方法及び装置、電子機器及びコンピュータプログラム

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8103119B2 (en) * 2005-06-20 2012-01-24 Nikon Corporation Image processing device, image processing method, image processing program product, and image-capturing device
US7477777B2 (en) * 2005-10-28 2009-01-13 Aepx Animation, Inc. Automatic compositing of 3D objects in a still frame or series of frames
JP4816569B2 (ja) * 2006-07-06 2011-11-16 セイコーエプソン株式会社 画像表示システム
JP2008118383A (ja) * 2006-11-02 2008-05-22 Matsushita Electric Ind Co Ltd デジタルカメラ
WO2008136629A1 (en) * 2007-05-03 2008-11-13 Mtekvision Co., Ltd. Image brightness controlling apparatus and method thereof
KR100901353B1 (ko) * 2007-05-25 2009-06-05 주식회사 코아로직 영상 처리 장치 및 그 방법
JP4973372B2 (ja) * 2007-08-06 2012-07-11 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
CN100578179C (zh) * 2007-08-21 2010-01-06 友达光电（苏州）有限公司 测量发光画面亮度均匀性的方法
JP4525719B2 (ja) * 2007-08-31 2010-08-18 カシオ計算機株式会社 階調補正装置、階調補正方法、及び、プログラム
JP5053802B2 (ja) * 2007-11-05 2012-10-24 オリンパス株式会社 信号処理装置及び信号処理プログラム
CN101431637B (zh) * 2007-11-06 2013-06-19 奇美电子股份有限公司 帧数据处理的装置及方法
EP2299695A4 (en) * 2008-07-17 2012-08-29 Nikon Corp IMAGING DEVICE, IMAGE PROCESSING PROGRAM, IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING METHOD
US8391634B1 (en) * 2009-04-28 2013-03-05 Google Inc. Illumination estimation for images
JP5299867B2 (ja) * 2009-06-30 2013-09-25 日立コンシューマエレクトロニクス株式会社 画像信号処理装置
CN102129678A (zh) * 2010-01-12 2011-07-20 鸿富锦精密工业（深圳）有限公司 影像特征模型建立系统及方法以及应用其的影像处理系统
JP2011228807A (ja) * 2010-04-15 2011-11-10 Nikon Corp 画像処理プログラム、画像処理装置、および画像処理方法
JP2012019392A (ja) * 2010-07-08 2012-01-26 Nikon Corp 画像処理装置、電子カメラおよび画像処理プログラム
US8798393B2 (en) 2010-12-01 2014-08-05 Google Inc. Removing illumination variation from images
JP5488530B2 (ja) * 2011-05-23 2014-05-14 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
CN102231206B (zh) * 2011-07-14 2012-11-28 浙江理工大学 适用于汽车辅助驾驶系统的彩色夜视图像亮度增强方法
JP2013045316A (ja) * 2011-08-25 2013-03-04 Sanyo Electric Co Ltd 画像処理装置及び画像処理方法
JP5948203B2 (ja) * 2011-10-12 2016-07-06 富士フイルム株式会社 内視鏡システム及びその作動方法
CN102402918B (zh) * 2011-12-20 2014-07-09 深圳Tcl新技术有限公司 改善画面画质的方法及lcd显示器
US9202281B2 (en) * 2012-03-17 2015-12-01 Sony Corporation Integrated interactive segmentation with spatial constraint for digital image analysis
US8873812B2 (en) * 2012-08-06 2014-10-28 Xerox Corporation Image segmentation using hierarchical unsupervised segmentation and hierarchical classifiers
US11113821B2 (en) * 2017-12-20 2021-09-07 Duelight Llc System, method, and computer program for adjusting image contrast using parameterized cumulative distribution functions
TWI476754B (zh) * 2013-06-25 2015-03-11 Mstar Semiconductor Inc 應用於顯示裝置之校正系統及校正方法
US8958658B1 (en) * 2013-09-10 2015-02-17 Apple Inc. Image tone adjustment using local tone curve computation
US9251574B2 (en) * 2013-12-17 2016-02-02 Adobe Systems Incorporated Image compensation value computation
CN105760884B (zh) * 2016-02-22 2019-09-10 北京小米移动软件有限公司 图片类型的识别方法及装置
EP3291173A1 (en) 2016-09-02 2018-03-07 Casio Computer Co., Ltd. Diagnosis assisting device, image processing method in diagnosis assisting device, and program
CN107820067B (zh) * 2017-10-29 2019-09-20 苏州佳世达光电有限公司 多投影画面的拼接方法及拼接装置
CN112422941A (zh) * 2020-11-11 2021-02-26 北京德为智慧科技有限公司 显示器的伽玛调校方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07296160A (ja) * 1994-04-27 1995-11-10 Matsushita Electron Corp 画像補正方法
JP2000228747A (ja) * 1998-12-03 2000-08-15 Olympus Optical Co Ltd 画像処理装置
JP2002290707A (ja) * 2001-03-26 2002-10-04 Olympus Optical Co Ltd 画像処理装置
JP2003209857A (ja) * 2002-01-11 2003-07-25 Fuji Photo Film Co Ltd 画像処理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05176220A (ja) 1991-12-25 1993-07-13 Matsushita Electric Ind Co Ltd 自動露光制御装置
EP0613294B1 (en) * 1993-02-24 1998-10-28 Matsushita Electric Industrial Co., Ltd. Gradation correction device and image sensing device therewith
JP3501252B2 (ja) * 1995-06-16 2004-03-02 三菱電機株式会社 階調補正装置
US5991456A (en) 1996-05-29 1999-11-23 Science And Technology Corporation Method of improving a digital image
JP2951909B2 (ja) * 1997-03-17 1999-09-20 松下電器産業株式会社 撮像装置の階調補正装置及び階調補正方法
NL1006371C2 (nl) 1997-06-20 1998-12-22 Koninkl Kpn Nv Inrichting en werkwijze voor het testen van de bereikbaarheid van ten minste een gebruiker van een telecommunicatienetwerk.
JP3576812B2 (ja) 1998-06-11 2004-10-13 富士写真フイルム株式会社 画像処理装置及び画像処理方法
JP3714657B2 (ja) * 1999-05-12 2005-11-09 パイオニア株式会社 階調補正装置
US6650774B1 (en) * 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization
JP3902894B2 (ja) 1999-10-15 2007-04-11 理想科学工業株式会社 画像処理装置及び画像処理方法
US6813041B1 (en) 2000-03-31 2004-11-02 Hewlett-Packard Development Company, L.P. Method and apparatus for performing local color correction
US6915024B1 (en) 2000-09-29 2005-07-05 Hewlett-Packard Development Company, L.P. Image sharpening by variable contrast mapping
US7251056B2 (en) * 2001-06-11 2007-07-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and information recording medium
JP3705180B2 (ja) * 2001-09-27 2005-10-12 セイコーエプソン株式会社 画像表示システム、プログラム、情報記憶媒体および画像処理方法
JP3900972B2 (ja) * 2002-03-04 2007-04-04 三菱電機株式会社 コントラスト強調方式
JP4096613B2 (ja) 2002-05-10 2008-06-04 松下電器産業株式会社 画像処理方法及び画像処理装置
WO2005027041A1 (ja) * 2003-09-11 2005-03-24 Matsushita Electric Industrial Co., Ltd. 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP4551836B2 (ja) * 2005-07-29 2010-09-29 株式会社東芝 映像信号処理装置及び映像信号処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07296160A (ja) * 1994-04-27 1995-11-10 Matsushita Electron Corp 画像補正方法
JP2000228747A (ja) * 1998-12-03 2000-08-15 Olympus Optical Co Ltd 画像処理装置
JP2002290707A (ja) * 2001-03-26 2002-10-04 Olympus Optical Co Ltd 画像処理装置
JP2003209857A (ja) * 2002-01-11 2003-07-25 Fuji Photo Film Co Ltd 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1788795A4 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272477A (ja) * 2006-03-30 2007-10-18 Denso It Laboratory Inc 画像補正方法
EP1884892A3 (en) * 2006-07-31 2017-11-29 Samsung Electronics Co., Ltd. Method, medium, and system compensating shadow areas
US8655098B2 (en) 2007-03-13 2014-02-18 Olympus Corporation Image signal processing apparatus and computer-readable recording medium recording image signal processing program
WO2008111180A1 (ja) * 2007-03-13 2008-09-18 Olympus Corporation 画像信号処理装置、画像信号処理プログラム、画像信号処理方法
JPWO2008111180A1 (ja) * 2007-03-13 2010-06-24 オリンパス株式会社 画像信号処理装置、画像信号処理プログラム
JP4850281B2 (ja) * 2007-03-13 2012-01-11 オリンパス株式会社 画像信号処理装置、画像信号処理プログラム
WO2010073553A1 (ja) 2008-12-26 2010-07-01 日本電気株式会社 画像処理装置、画像処理方法および記憶媒体
US8891865B2 (en) 2008-12-26 2014-11-18 Nec Corporation Image processing device, image processing method, and storage medium for performing a gradation correction operation in a color space
JP2010258502A (ja) * 2009-04-21 2010-11-11 Canon Inc 画像処理装置および方法
JP5502868B2 (ja) * 2009-07-31 2014-05-28 シャープ株式会社 階調調整装置、画像表示装置、テレビ受像機、プログラム、及び、プログラムが記録されたコンピュータ読み取り可能な記憶媒体
WO2011013745A1 (ja) * 2009-07-31 2011-02-03 シャープ株式会社 階調調整装置、画像表示装置、テレビ受像機、プログラム、及び、プログラムが記録されたコンピュータ読み取り可能な記憶媒体
WO2011030383A1 (ja) * 2009-09-10 2011-03-17 株式会社 東芝 画像処理装置
WO2012017946A1 (ja) * 2010-08-04 2012-02-09 日本電気株式会社 画像処理方法、画像処理装置及び画像処理プログラム
US8831345B2 (en) 2010-08-04 2014-09-09 Nec Corporation Image processing method, image processing apparatus, and image processing program
JP5991486B2 (ja) * 2010-08-04 2016-09-14 日本電気株式会社 画像処理方法、画像処理装置及び画像処理プログラム
US10438323B2 (en) 2014-09-29 2019-10-08 Nec Corporation Image brightness correction and noise suppression method, device, and recording medium for storing image processing program
JP2022520264A (ja) * 2019-05-05 2022-03-29 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 画像輝度の調整方法及び装置、電子機器及びコンピュータプログラム
JP7226893B2 (ja) 2019-05-05 2023-02-21 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 画像輝度の調整方法及び装置、電子機器及びコンピュータプログラム
US20210090221A1 (en) * 2019-09-20 2021-03-25 Realtek Semiconductor Corp. Image processing circuit and associated image processing method
US11922608B2 (en) * 2019-09-20 2024-03-05 Realtek Semiconductor Corp. Image processing circuit and associated image processing method

Also Published As

Publication number Publication date
JPWO2006025486A1 (ja) 2008-05-08
US20070248282A1 (en) 2007-10-25
CN101010937A (zh) 2007-08-01
EP1788795A4 (en) 2010-08-04
JP4577621B2 (ja) 2010-11-10
EP1788795A1 (en) 2007-05-23
US7949201B2 (en) 2011-05-24

Similar Documents

Publication Publication Date Title
WO2006025486A1 (ja) 画像補正処理システム及び画像補正処理方法
US8411991B2 (en) Image processing apparatus, image processing method, and program
JP4210577B2 (ja) 選択的空間フィルタを使用するディジタル画像の階調及び空間特性の向上方法
JP4894595B2 (ja) 画像処理装置および方法、並びに、プログラム
US7599578B2 (en) Apparatus, program, and method for image tone transformation, and electronic camera
JP4998287B2 (ja) 画像処理装置および方法、並びにプログラム
US8103119B2 (en) Image processing device, image processing method, image processing program product, and image-capturing device
US20050226526A1 (en) Image processing device and method
EP1111907A2 (en) A method for enhancing a digital image with noise-dependant control of texture
JP4214457B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US20070115369A1 (en) Tone-conversion device for image, program, electronic camera, and tone-conversion method
US8831346B2 (en) Image processing apparatus and method, and program
JP5392560B2 (ja) 画像処理装置および画像処理方法
EP1111906A2 (en) A method for enhancing the edge contrast of a digital image independently from the texture
JP2006114005A (ja) 階調変換装置、プログラム、電子カメラ、およびその方法
JP2010244360A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
KR100601967B1 (ko) 영상의 다이나믹 레인지 압축 장치 및 방법
JP5410378B2 (ja) 映像信号補正装置および映像信号補正プログラム
JP2002281312A (ja) 画像処理のための装置、方法及びプログラム
JP5234127B2 (ja) 階調変換装置、プログラム、電子カメラ、及びその方法
JP6335614B2 (ja) 画像処理装置、その制御方法、及びプログラム
JP2006114006A (ja) 階調変換装置、プログラム、電子カメラ、およびその方法
JP4353233B2 (ja) 画像処理プログラムおよび画像処理装置
JP4120928B2 (ja) 画像処理装置、画像処理方法、およびそのプログラム
JPH09275496A (ja) 画像の輪郭強調処理装置および方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006531980

Country of ref document: JP

REEP Request for entry into the european phase

Ref document number: 2005777032

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2005777032

Country of ref document: EP

Ref document number: 11574516

Country of ref document: US

Ref document number: 200580029343.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2005777032

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11574516

Country of ref document: US