WO2015156041A1 - 画像処理装置及び方法、一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体、撮像装置 - Google Patents

画像処理装置及び方法、一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体、撮像装置 Download PDF

Info

Publication number
WO2015156041A1
WO2015156041A1 PCT/JP2015/054816 JP2015054816W WO2015156041A1 WO 2015156041 A1 WO2015156041 A1 WO 2015156041A1 JP 2015054816 W JP2015054816 W JP 2015054816W WO 2015156041 A1 WO2015156041 A1 WO 2015156041A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
correction
gradation correction
distribution
Prior art date
Application number
PCT/JP2015/054816
Other languages
English (en)
French (fr)
Inventor
鈴木 博
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP15776404.4A priority Critical patent/EP3131281B1/en
Priority to CN201580017978.1A priority patent/CN106134180B/zh
Publication of WO2015156041A1 publication Critical patent/WO2015156041A1/ja
Priority to US15/284,631 priority patent/US9978128B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20008Globally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Definitions

  • the present invention relates to an image processing apparatus and method, an image processing program, and an imaging apparatus for correcting an image in which image quality such as contrast and color is impaired due to, for example, haze and fog.
  • the image quality such as contrast and color of the image may be lost due to the influence of haze and fog generated in the atmosphere.
  • a landscape photograph of a distant mountain etc. may be taken outdoors. In this photographing, if a distant mountain is covered with a wrinkle, the quality of the photographed image may be deteriorated by the reed and the visibility with respect to the distant mountain may be reduced.
  • Patent Documents 1 and 2 as techniques for solving such a problem.
  • Patent Document 1 calculates the maximum value and minimum value of luminance from within an image, and performs contrast correction so as to increase the difference between the calculated maximum value and minimum value, thereby improving the visibility of the image. Is disclosed. If it is this patent document 1, sufficient effect will be acquired with respect to the image in which the whole image was uniformly wrinkled.
  • Patent Document 2 discloses that the maximum and minimum luminances are calculated for each local region of an image, and adaptive contrast correction is performed so that the difference between the maximum and minimum values becomes large. According to Patent Document 2, sufficient contrast correction can be performed even in an image in which a region having no wrinkles and a region having wrinkles are mixed.
  • Patent Document 1 since the maximum value and the minimum value of the luminance of the entire image are used, the difference between the maximum value and the minimum value of the luminance is originally increased, and the effect of improving the visibility of the image can be sufficiently obtained. I can't.
  • Patent Document 2 Since Patent Document 2 performs processing based on the maximum and minimum values of luminance in a local area regardless of the density of wrinkles, it has a sufficient effect on an image in which a wrinkle-free area and a wrinkled area are mixed. can get.
  • Japanese Patent Application Laid-Open No. 2004-228561 there is a case where a sense of incongruity occurs in the corrected image depending on the characteristics of the image. Specifically, if the contrast correction is performed for each local area when the entire image has a low contrast, excessive contrast correction is applied, or the intensity of contrast correction differs for each local area. For this reason, there is a case where the fluctuation of the contrast correction intensity becomes large near the boundary of each local region. As a result, gradation steps and uneven brightness occur. For this reason, when the entire image has a low contrast, the uncomfortable feeling after correction is smaller when the entire image is corrected uniquely.
  • An object of the present invention is to provide an image processing apparatus and method capable of obtaining a high-quality image, a recording medium for temporarily storing an image processing program readable by a computer, and an imaging apparatus.
  • the present invention relates to a deterioration level detection unit that detects a deterioration level of an image, a deterioration level distribution estimation unit that estimates the distribution of the deterioration level in the image, and a first gradation correction method according to the distribution of the deterioration level Or a correction method selection unit that selects one of the second gradation correction methods, and a gradation that performs gradation correction of the image based on the selected first or second gradation correction method.
  • An image processing apparatus including a correction unit.
  • the present invention detects a degree of deterioration of an image, estimates the distribution of the degree of deterioration in the image, and selects either the first gradation correction method or the second gradation correction method according to the distribution of the degree of deterioration.
  • This is an image processing method for selecting one of them and correcting the gradation of the image based on the selected first or second gradation correction method.
  • the present invention provides a deterioration degree detection function for detecting a deterioration degree of an image, a deterioration degree distribution estimation function for estimating a distribution of the deterioration degree in the image, and a first gradation correction method according to the distribution of the deterioration degree Or a correction method selection function for selecting one of the second gradation correction methods, and a gradation for correcting the gradation of the image based on the selected first or second gradation correction method.
  • It is a recording medium that stores a computer-readable image processing program including a correction function.
  • the present invention detects an image sensor that captures a light image from a subject, and a degree of deterioration in image quality of image data acquired by imaging of the image sensor, and corrects the image data according to the degree of deterioration.
  • An imaging apparatus comprising: a processing device; and an output unit that outputs the image data image-processed by the image processing device.
  • an image processing apparatus and method a recording medium that temporarily stores an image processing program that can be read by a computer, and an imaging apparatus can be provided.
  • FIG. 1 is a block diagram showing an image pickup apparatus to which the first embodiment of the image processing apparatus according to the present invention is applied.
  • FIG. 2 is a specific block diagram showing a wrinkle distribution estimation unit in the apparatus.
  • FIG. 3A is a schematic diagram for explaining estimation of the heel component H (x, y) of each pixel of the input image by the apparatus.
  • FIG. 3B is a diagram illustrating a haze component H (x, y) obtained by imaging min (Ir, Ig, Ib) for each pixel of interest acquired by the apparatus.
  • FIG. 4A is a diagram showing a histogram of the wrinkle component H (x, y) of an image having a uniform wrinkle on the entire image and a high luminance and low saturation as a whole.
  • FIG. 4B is a diagram illustrating a histogram of the wrinkle component H (x, y) when a wrinkled region and a wrinkle-free region are mixed in the image.
  • FIG. 5 is a configuration diagram illustrating an example of a first wrinkle correction unit in the apparatus.
  • FIG. 6A is a diagram showing a scan of a local region with respect to an input image by a correction coefficient calculation unit in the apparatus.
  • FIG. 6B is a diagram showing a local region histogram generated by a correction coefficient calculation unit in the apparatus.
  • FIG. 6C is a diagram showing a cumulative histogram generated by a correction coefficient calculation unit in the apparatus.
  • FIG. 7 is a schematic diagram showing a contrast correction operation by the contrast correction unit in the apparatus.
  • FIG. 8 is a configuration diagram illustrating an example of a second wrinkle correction unit in the apparatus.
  • FIG. 9 is a flowchart of the photographing operation in the apparatus.
  • FIG. 10 is an operation flowchart of wrinkle distribution estimation in the apparatus.
  • FIG. 11 is an operation flowchart of adaptive contrast correction in the apparatus.
  • FIG. 12 is an operation flowchart of unique contrast correction in the apparatus.
  • FIG. 13 is a block configuration diagram showing a modification of the wrinkle distribution estimation unit in the same device.
  • FIG. 14 is a block diagram showing an imaging apparatus to which the second embodiment of the image processing apparatus according to the present invention is applied.
  • FIG. 15 is a block configuration diagram showing a wrinkle distribution estimation unit in the apparatus.
  • FIG. 16 is a diagram showing the magnitude ⁇ H of the histogram distribution of the heel component H (x, y).
  • FIG. 17 is a diagram illustrating a graph of weighting factors calculated by the cohabitation distribution estimating unit.
  • FIG. 18 is a diagram illustrating the concept of image composition processing by the image composition unit.
  • FIG. 19 is a shooting operation flowchart in the apparatus.
  • FIG. 20 is a flowchart for estimating wrinkle distribution in the apparatus.
  • FIG. 1 is a block diagram of an imaging apparatus to which an image processing apparatus is applied.
  • a thick solid line arrow indicates the flow of the video signal
  • a thin solid line arrow indicates the flow of the control signal
  • a dotted line arrow indicates the flow of the other signals. The same applies to FIGS. 2, 5, 8, and 13 to 15.
  • the lens system 100 includes a focus lens, a diaphragm 101, and the like, and forms a light image from a subject.
  • the lens system 100 includes an autofocus motor (AF motor) 103 and moves the focus lens along the optical axis by driving the AF motor 103.
  • the AF motor 103 is driven and controlled by the lens control unit 107.
  • An imaging sensor 102 is provided on the optical axis of the lens system 100.
  • the image sensor 102 receives the optical image from the lens system 100, performs photoelectric conversion, and outputs RGB analog video signals.
  • a buffer 105, a signal processing unit 108, and a wrinkle distribution estimation unit 109 are connected to the output end of the imaging sensor 102 via an A / D converter 104.
  • Both the first wrinkle correction unit 110 and the second wrinkle correction unit 111 are connected in parallel to the output terminal of the wrinkle distribution estimation unit 109.
  • An output unit 113 is connected to each output end of the first wrinkle correction unit 110 and the second wrinkle correction unit 111 via a compression unit 112.
  • a photometric evaluation unit 106 is connected to the buffer 105.
  • the A / D converter 104 converts the analog video signal output from the imaging sensor 102 into a digital video signal.
  • the buffer 105 temporarily stores the digital video signal transferred from the A / D converter 104.
  • the photometric evaluation unit 106 measures and evaluates (photometric evaluation) a light image incident on the imaging sensor 102 based on the digital video signal stored in the buffer 105.
  • the photometric evaluation unit 106 controls the aperture 101 of the lens system 100 based on the photometric evaluation and the control signal output from the control unit 114, and adjusts the output level or the like of the analog video signal output from the imaging sensor 102. .
  • the signal processing unit 108 performs known image processing such as interpolation processing, WB correction processing, and noise reduction processing on the digital video signal stored in the buffer 105, and distributes the digital video signal after the image processing to a wrinkle distribution Transfer to the estimation unit 109.
  • the wrinkle distribution estimation unit 109 estimates the wrinkle component from the digital video signal transferred from the signal processing unit 108, and the first wrinkle correction unit 110 and the second wrinkle correction unit 111 in the subsequent stage based on the distribution information of the wrinkle component To determine whether to correct the wrinkle. That is, since the first wrinkle correction unit 110 and the second wrinkle correction unit 111 have different wrinkle correction methods, the wrinkle distribution estimation unit 109 determines which of the methods is used for wrinkle correction.
  • the first wrinkle correction unit 110 performs adaptive contrast correction that enhances contrast on a digital video signal corresponding to a region where the contrast is lowered due to wrinkles in the digital video signal transferred from the signal processing unit 108.
  • the second eyelid correction unit 111 performs unique contrast correction on the digital video signal transferred from the signal processing unit 108, that is, performs simple unique contrast correction on the entire image.
  • the digital video signal corrected by the first eyelid correction unit 110 or the second eyelid correction unit 111 is transferred to the compression unit 112.
  • the compression unit 112 performs a known compression process such as JPEG or MPEG on the digital video signal transferred from the first wrinkle correction unit 110 or the second wrinkle correction unit 111, and outputs the digital video signal after the processing. Forward to the unit 113.
  • the output unit 113 stores the compressed digital video signal in a storage medium such as a memory card.
  • FIG. 2 shows a specific block configuration diagram of the wrinkle distribution estimation unit 109.
  • Wrinkle distribution estimation unit 109 includes wrinkle component estimation unit 200, wrinkle histogram generation unit 201, and correction method determination unit 202.
  • a signal processing unit 108 is connected to the input side of the heel component estimation unit 200.
  • a correction method determination unit 202 is connected to the output side of the heel component estimation unit 200 via a heel histogram generation unit 201.
  • Both the first eyelid correction unit 110 and the second eyelid correction unit 111 are connected to the output side of the correction method determination unit 202.
  • the soot component estimation unit (degradation level detection unit) 200 receives the digital video signal transferred from the signal processing unit 108 and estimates a degradation level that degrades the image data acquired from the digital video signal.
  • the degree of deterioration is an index that is a factor that impairs image quality such as contrast and color of image data and deteriorates image visibility.
  • the density of a component that lowers the image quality due to light white such as a haze component, a haze component, or a component that becomes turbid, included in image data is estimated.
  • the estimation of the deterioration level of the soot component is performed based on the feature that the soot component has high luminance and low saturation. As a result, the degree of deterioration of the wrinkle component or the like indicates that the higher the luminance and the lower saturation, the larger the deterioration.
  • the estimation of the degree of deterioration compares the sizes of a plurality of color channels in each pixel of the image data, that is, the R value, G value, and B value, and becomes the minimum value among these R value, G value, and B value. This is done by calculating the R value, G value or B value.
  • the eyelid component estimation unit 200 receives the digital video signal transferred from the signal processing unit 108, and the R value, G value, and B value in each pixel at coordinates (x, y) obtained from the digital video signal. Based on the above, the wrinkle component of each pixel is estimated. This wrinkle component represents the degree of wrinkle, the concentration of wrinkles, and the like.
  • the heel component at the coordinates (x, y) is H (x, y) and R at the coordinates (x, y).
  • the value, G value, and B value are Ir, Ig, and Ib, respectively
  • the wrinkle component H (x, y) at each pixel at the coordinates (x, y) is estimated by the following equation (1).
  • H (x, y) min (Ir, Ig, Ib) (1)
  • FIG. 3A is a schematic diagram for explaining the estimation of the heel component H (x, y) of each pixel.
  • the eyelid component estimation unit 200 sets a scan area (small area) F having a predetermined size for the input image I acquired by the digital video signal transferred from the signal processing unit 108, and scans the scan area F.
  • the scan region F is formed in a matrix of a predetermined size n ⁇ m (n and m are natural numbers).
  • the scan area F is formed in a 5 ⁇ 5 pixel area, for example.
  • the center of the scan area F is the target pixel. This scan area F may be one pixel.
  • the heel component estimation unit 200 calculates the heel component H (x, y) of the target pixel as the degree of deterioration of the target pixel or the degree of deterioration of the scan region (small region) F. As will be described later, the degree of deterioration increases as the soot component H (x, y) increases.
  • FIG. 3B shows a saddle component H (x, y) obtained by imaging min (Ir, Ig, Ib) for each pixel of interest. Since the R value, G value, and B value of the pixel value in the high luminance and low saturation region are equal and large, the value of the right side min (Ir, Ig, Ib) of the above equation (1) is large. That is, the haze component H (x, y) takes a large value in a region with high luminance and low saturation. However, a region with high luminance and low saturation can be regarded as having a high degree of deterioration.
  • the pixel value in the low luminance or high saturation region is any of the R value, the G value, and the B value, the value of min (Ir, Ig, Ib) is small. That is, the haze component H (x, y) has a small value in the low luminance and high saturation region. That is, the low luminance and high saturation regions can be regarded as having a low degree of deterioration.
  • the soot component H (x, y) has a characteristic that the higher the soot concentration, the greater the value and the greater the degree of deterioration, and the lower the soot concentration, the smaller the value and the less the degree of degradation.
  • the wrinkle component H (x, y) is transferred to the wrinkle histogram generation unit 201.
  • HG indicates a place where the fog is dark
  • HF indicates a place where the fog is thin.
  • the ⁇ histogram generation unit (deterioration degree distribution estimation unit) 201 counts the frequency of the value of the ⁇ component H (x, y) transferred from the ⁇ component estimation unit 200, and the histogram of the ⁇ component H (x, y). Is generated.
  • the ⁇ histogram generation unit 201 generates a histogram of the ⁇ component H (x, y), and calculates the standard deviation ⁇ , the average value a, the difference between the maximum value and the minimum value, or the maximum value and the minimum value from the histogram. Find indicators such as ratio.
  • FIG. 4A and 4B show an example of a histogram of the heel component H (x, y).
  • the value of the wrinkle component H (x, y) is small in a high-saturation region where there is no wrinkle on the image, and the haze component H (x, y) is large in a high-luminance and low-saturation region where wrinkles are present.
  • FIG. 4A shows an image with uniform wrinkles throughout. The image as a whole shows high luminance and low saturation.
  • the histogram of the haze component H (x, y) of the image shown in the figure has a peak (maximum frequency) at a relatively high value position of the haze component H (x, y) and is distributed in a narrow range. . That is, in this histogram, the range of the value of the haze component H (x, y) (range of distribution) becomes narrow.
  • FIG. 4B shows an image in which a wrinkled region and a wrinkle-free region are mixed.
  • the histogram of the haze component H (x, y) of the image as shown in the figure is distributed over a wide range from a low value to a high value.
  • the range (distribution range) of the value of the haze component H (x, y) is widened. Accordingly, it is possible to estimate the distribution of wrinkles with respect to the image from the histogram distribution of these wrinkle components H (x, y).
  • the histogram of the haze component H (x, y) generated by the haze histogram generation unit 201 is transferred to the correction method determination unit 202.
  • the standard deviation ⁇ obtained from the histogram of the heel component H (x, y), the average value a, the difference between the maximum value and the minimum value, or the index such as the ratio between the maximum value and the minimum value is also corrected. Forwarded to
  • the correction method determination unit (correction method selection unit) 202 is a first correction method (first correction method) that performs adaptive contrast correction based on the histogram information of the haze component H (x, y) transferred from the haze histogram generation unit 201. Or the second correction method for performing unique contrast correction (second gradation correction method).
  • the first correction method corresponds to the correction performed by the first wrinkle correction unit 110 in the subsequent stage, and the second correction method corresponds to the correction performed by the second wrinkle correction unit 111.
  • a wrinkled area on the image has low contrast.
  • this contrast enhancement process if there is only a part of the wrinkled area in the image, even if a simple and unique contrast correction is applied to the entire image, it is sufficient to suppress the influence of the wrinkle and increase the visibility. The effect is not obtained.
  • the adaptive contrast correction is performed for each local region of the image.
  • the adaptive contrast correction does not always work effectively, and depending on the image characteristics, there may be a great discomfort in the corrected image. For example, this is the case when the entire image is uniformly wrinkled and the histogram range of the entire image is narrow as shown in FIG. 4A.
  • the adaptive contrast correction is performed by determining a correction coefficient based on a luminance and color signal histogram for each local region of the image. In this correction, the correction coefficient applied to each pixel changes according to the distribution of the histogram of the luminance and color signals.
  • the histogram distribution may change between neighboring pixels near the boundary between the local regions.
  • the difference in pixel values between adjacent pixels after adaptive contrast correction may become large.
  • the unique contrast correction for the entire image reduces the difference in pixel values between adjacent pixels after correction, and the unique contrast correction may be applied. Is suitable.
  • this apparatus switches the contrast correction method according to the distribution of the haze component H (x, y) with respect to the entire image. Specifically, when the distribution of the wrinkle component H (x, y) with respect to the entire image is wide, it is determined that a part with a wrinkle is included in the image, and adaptive contrast correction is applied. On the other hand, when the distribution of the wrinkle component H (x, y) with respect to the entire image is narrow, it is determined that wrinkles are uniformly applied to the entire image, and unique contrast correction is applied.
  • the correction method determination unit 202 estimates the distribution of the ⁇ component H (x, y) from, for example, the histogram range of the ⁇ component H (x, y), and determines the correction method from the estimation result.
  • the histogram range of the heel component H (x, y) is calculated from, for example, a standard deviation ⁇ of the histogram, an average value a, or an index such as a difference or ratio between the maximum value and the minimum value.
  • the correction method is determined by determining the contrast correction method of the first or second correction method from the standard deviation ⁇ of the histogram of the haze component H (x, y) and the threshold (predetermined value) th, Alternatively, the difference or ratio between the maximum value and the minimum value is obtained, and the contrast correction method of either the first or second correction method is determined from the comparison result of the difference or ratio and the predetermined threshold th.
  • a correction method (first eye correction unit 110) is selected. In the adaptive contrast correction, the contrast correction is performed only on the wrinkled area.
  • the correction method determination unit 202 for example, as shown in FIG. 4A, has a uniform wrinkle over the entire image, and performs unique contrast correction for an image with a narrow distribution of the wrinkle component H (x, y) over the entire image.
  • the second correction method (second wrinkle correction unit 111) for performing the above is selected.
  • the correction method determination unit 202 determines that the first correction method is used, the correction method determination unit 202 transfers the digital video signal transferred from the signal processing unit 108 to the first wrinkle correction unit 110.
  • the digital video signal transferred from the processing unit 108 is transferred to the second wrinkle correction unit 111.
  • the determination of the correction method is not limited to the histogram of the ⁇ component H (x, y), and a method of determining the distribution of the ⁇ component H (x, y) from the luminance histogram is conceivable, but this determination method is not suitable.
  • this determination method is not suitable.
  • the brightness (a ⁇ Ir + b) of the area calculated from these areas (Ig + c ⁇ Ib) is a high value.
  • a, b, and c are coefficients.
  • the luminance histogram may determine that the histogram has a narrow range and the entire image is wrinkled uniformly. As a result, it is not suitable to use the luminance histogram to estimate the distribution of the haze component H (x, y). In this apparatus, the estimation accuracy of the distribution is improved by estimating the distribution of the ⁇ component H (x, y) from the histogram of the ⁇ component H (x, y).
  • FIG. 5 shows a configuration diagram of an example of the first wrinkle correction unit (gradation correction unit) 110.
  • the first wrinkle correction unit 110 performs adaptive contrast correction by the first correction method. Specifically, the first wrinkle correction unit 110 receives the digital video signal transferred from the signal processing unit 108, and performs correction for enhancing the contrast in an area of the digital video signal in which the contrast is reduced due to the influence of wrinkles, for example.
  • the corrected video signal is transferred to the compression unit 112.
  • the first eyelid correction unit 110 includes a correction coefficient calculation unit 300 and an adaptive contrast correction unit 301.
  • the correction coefficient calculation unit 300 is connected to the adaptive contrast correction unit 301.
  • a compression unit 112 is connected to the subsequent stage of the adaptive contrast correction unit 301.
  • the control unit 114 controls both the correction coefficient calculation unit 300 and the adaptive contrast correction unit 301.
  • the correction coefficient calculation unit 300 Based on the digital video signal transferred from the wrinkle distribution estimation unit 109 and the wrinkle component H (x, y), the correction coefficient calculation unit 300 performs contrast correction on each pixel of the input image I acquired by the digital video signal. A correction coefficient is calculated. This correction coefficient is calculated based on, for example, R, G, and B histograms in a predetermined area of a predetermined size centered on the target pixel at the time of scanning the target pixel from each pixel of the input image I. The correction coefficient calculation unit 300 multiplies the correction coefficient calculated based on the R, G, and B histograms by a weighting coefficient corresponding to the value of the ⁇ component H (x, y), and after the multiplication of the weighting coefficient. The correction coefficient is transferred to the adaptive contrast correction unit 301. The adaptive contrast correction unit 301 performs contrast correction by multiplying the video signal by the correction coefficient of each pixel transferred from the correction coefficient calculation unit 300.
  • the correction coefficient calculation unit 300 calculates a correction coefficient (gain coefficient) for gradation correction for each scan area (small area) F of image data as shown in FIG. 3A, for example.
  • the correction coefficient calculation unit 300 calculates a correction coefficient for performing correction that enhances contrast for a low-contrast region in the input image I acquired by the digital video signal transferred from the wrinkle distribution estimation unit 109.
  • the correction coefficient calculation unit 300 calculates the correction coefficient without considering the wrinkle component.
  • the correction coefficient calculation unit 300 scans the inside of the local region E with respect to the input image I as shown in FIG. 6A.
  • the correction coefficient calculation unit 300 generates, for each pixel of interest, a histogram of the R value, G value, and B value (local region histogram) in the local region E centered on the pixel of interest as shown in FIG. 6B.
  • the horizontal axis of the histogram in FIG. 6B indicates the luminance component of the R value, G value, or B value, and the vertical axis indicates the frequency (frequency of the number of pixels).
  • the local region E is formed in a matrix-shaped predetermined size k ⁇ l (k and l are natural numbers), and the center of the matrix is the target pixel.
  • the correction coefficient calculation unit 300 accumulates the histogram of the local region E generated for each pixel of interest in the input image I to generate a cumulative histogram as shown in FIG. 6C.
  • the horizontal axis of the cumulative histogram illustrated in FIG. 6C indicates the luminance component of the R value, the G value, or the B value.
  • the vertical axis represents the cumulative frequency (the cumulative number of pixels) of the color pixels corresponding to the luminance component of the R value, G value, or B value, or the tone correction (histogram flattening) of the color pixels corresponding to the R value, G value, or B value.
  • the output value after conversion A known image processing technique may be used as a method for performing gradation correction (histogram flattening) from the cumulative histogram.
  • the correction coefficient calculation unit 300 calculates correction coefficients (gain coefficients) gainR, gainG, and gainB for the R value, G value, and B value of the pixel of interest based on the cumulative histogram as shown in FIG. 6C.
  • the luminance components of the R value, G value, and B value of the pixel of interest (x, y) are I_r (x, y), I_g (x, y), and I_b (x, y), respectively.
  • the luminance components of the R value, G value, and B value calculated corresponding to the corrected output image (corrected image) based on the cumulative histogram shown in FIG.
  • the correction coefficient calculation unit 300 calculates the correction coefficients gainR, gainG, and gainB for flattening the local area histogram for each pixel of the input image I.
  • Each of the correction coefficients gainR, gainG, and gainB is a gain coefficient that is multiplied for each of the color channels R, G, and B having a plurality of pixels of the input image I.
  • the correction coefficients gainR, gainG, and gainB are calculated using the local area E centered on the target pixel and using pixel information (for example, histogram, maximum value / minimum value, etc.) in the local area E.
  • pixel information for example, histogram, maximum value / minimum value, etc.
  • the correction coefficient calculation unit 300 transfers the calculated correction coefficients (gain coefficients) gainR, gainG, and gainB to the adaptive contrast correction unit 301.
  • the correction coefficient is calculated using R, G, and B histograms, but is not limited thereto, and can be calculated based on, for example, a histogram of luminance signals.
  • the output value after the gradation correction is calculated using a cumulative histogram, but the present invention is not limited to this. For example, a linear function, a nonlinear function, a polygonal line approximation function, or the like generated based on the information of the histogram is used. It is also possible to calculate based on this.
  • the adaptive contrast correction unit (adaptive gradation correction unit) 301 includes the haze component H (x, y) estimated by the haze component estimation unit 200 of the haze distribution estimation unit 109 and each correction coefficient calculated by the correction coefficient calculation unit 300. Based on gainR, gainG, and gainB, adaptive tone correction (contrast correction) is performed in accordance with the haze component H (x, y) of the image data. That is, the adaptive contrast correction unit 301 inputs the haze component H (x, y) estimated by the haze component estimation unit 200 and the correction coefficients gainR, gainG, and gainB calculated by the correction coefficient calculation unit 300. Contrast correction by gain multiplication is performed for each pixel of the input image I based on these wrinkle components H (x, y) and the correction coefficients gainR, gainG, and gainB.
  • the adaptive contrast correction unit 301 adjusts the correction coefficients gainR, gainG, and gainB according to the wrinkle component H (x, y) for each pixel of the input image I as shown in FIG.
  • the adaptive contrast correction unit 301 multiplies the adjusted correction coefficients gainR, gainG, and gainB by the pixel value of each pixel to obtain a corrected image Q that has undergone contrast correction.
  • the adaptive contrast correction unit 301 adjusts the correction coefficients gainR, gainG, and gainB so as to retain the original values for dark areas in the input image I, that is, high-brightness and low-saturation areas, and Each of the correction coefficients gainR, gainG, and gainB is adjusted to approach 1.0 for a thin region of the image, that is, a region of low luminance or high saturation.
  • the adaptive contrast correction unit 301 weights the correction coefficients gainR, gainG, and gainB calculated by the correction coefficient calculation unit 300 based on the haze component H (x, y) estimated by the haze component estimation unit 200. Do.
  • the adaptive contrast correction unit 301 performs contrast correction on each pixel using the correction coefficients gainR ′, gainG ′, and gainB ′ adjusted by weighting.
  • the adaptive contrast correction unit 301 includes a normalization coefficient calculation unit 301a and a coefficient conversion unit 301b.
  • the normalization coefficient calculation unit 301a normalizes the ⁇ component H (x, y) estimated by the ⁇ component estimation unit 200 based on the maximum value of the pixel value, the maximum value of the ⁇ component H (x, y) in the image, and the like.
  • the normalized normalization coefficient is calculated.
  • the coefficient conversion unit 301b is configured to weight each correction coefficient gainR, gainG, gainB calculated by the correction coefficient calculation unit 300 based on the normalization coefficient calculated by the normalization coefficient calculation unit 301a. Convert to ', gainB'.
  • the coefficient conversion unit 301b increases the correction coefficients gainR, gainG, gainB calculated by the correction coefficient calculation unit 300 as the normalization coefficients calculated by the normalization coefficient calculation unit 301a increase. Conversion is performed so as to hold the value of gainB, and the values of the correction coefficients gainR, gainG, and gainB are converted to be closer to 1.0 as the normalization coefficient is smaller.
  • the ⁇ component H (x, y) has a large value in the high luminance and low saturation region where the ⁇ component H (x, y) is considered to exist. Therefore, the correction coefficients gainR ′, gainG ′, and gainB ′ are adjusted so that the magnitudes of the original values gainR, gainG, and gainB are maintained.
  • the correction coefficients gainR ′, gainG ′, gainB ′ is adjusted to be a value close to 1.0. In other words, the adjustment using the correction coefficients gainR ′, gainG ′, and gainB ′ increases the correction strength for a region where the wrinkles are dark and decreases the correction strength for a region where the wrinkles are thin.
  • FIG. 8 shows a configuration diagram of an example of the second wrinkle correction unit (gradation correction unit) 111.
  • the second wrinkle correction unit 111 performs unique gradation correction on the entire image, and includes a correction function calculation unit 400 and a unique contrast correction unit 401.
  • the correction function calculation unit 400 is connected to the unique contrast correction unit 401.
  • the unique contrast correction unit 401 is connected to the compression unit 112.
  • the control unit 114 controls both the correction function calculation unit 400 and the unique contrast correction unit 401.
  • the correction function calculation unit 400 calculates a correction function for contrast correction based on the digital video signal transferred from the wrinkle distribution estimation unit 109.
  • This correction function is calculated based on, for example, the luminance histogram of the entire image, and includes, for example, a linear function, a nonlinear function, or a broken line approximation function.
  • the correction function calculation unit 400 transfers the calculated correction function information to the unique contrast correction unit 401.
  • the unique contrast correction unit 401 performs contrast correction on the digital video signal based on the correction function transferred from the correction function calculation unit 400.
  • the unique contrast correction unit 401 uses the correction function for performing contrast correction from the luminance / color signal of the input image I obtained from the digital video signal transferred from the wrinkle distribution estimation unit 109, so that the entire input image I is processed. A unique contrast correction is performed.
  • the compression unit 112 performs a known JPEG or MPEG compression process on the digital video signal transferred from the first wrinkle correction unit 110 or the second wrinkle correction unit 111 and transfers the digital video signal to the output unit 113.
  • the output unit 113 records the compressed digital video signal transferred from the compression unit 112 on a memory card or the like.
  • the output unit 113 may separately display the digital video signal transferred from the compression unit 112 on a display.
  • the control unit 114 is composed of a microcomputer or the like.
  • the control unit 114 includes an A / D converter 104, a photometric evaluation unit 106, a lens control unit 107, a signal processing unit 108, a wrinkle distribution estimation unit 109, a first wrinkle correction unit 110, and a second wrinkle correction. Data is exchanged between the unit 111, the compression unit 112, and the output unit 113, and each unit is controlled.
  • An external I / F unit 115 is connected to the control unit 114.
  • the external I / F unit 115 includes a power switch, a shutter button, and an interface for switching various modes during shooting.
  • step S1 the external I / F unit 115 sends various settings relating to shooting input by the operation, such as various signals and header information, to the control unit 114. . Further, when the recording button of the external I / F unit 115 is pressed, the control unit 114 switches to the shooting mode.
  • the image sensor 102 When the light image from the lens system 100 is incident on the image sensor 102 in the photographing mode, the image sensor 102 receives the light image from the lens system 100 and outputs an analog video signal.
  • the analog video signal is converted into a digital video signal by the A / D converter 104 and sent to the buffer 105.
  • the buffer 105 temporarily stores the digital video signal transferred from the A / D converter 104.
  • the signal processing unit 108 performs known image processing such as interpolation processing, WB correction processing, and noise reduction processing on the digital video signal stored in the buffer 105, and the digital video signal after the image processing is performed. Is transferred to the wrinkle distribution estimation unit 109.
  • step S3 the wrinkle distribution estimating unit 109 estimates a wrinkle component from the digital video signal transferred from the signal processing unit 108 according to the operation flow chart of wrinkle distribution estimation shown in FIG. 10, and based on the distribution information of the wrinkle component. Then, it is determined whether the eyelid correction is performed by either the first eyelid correction unit 110 or the second eyelid correction unit 111. Specifically, the heel component estimation unit 200 inputs the digital video signal transferred from the signal processing unit 108 in step S10, and the R value at each pixel of the coordinates (x, y) obtained from this digital video signal, Based on the G value and the B value, the heel component H (x, y) of each pixel is estimated.
  • the eyelid component estimation unit 200 sets a scan region (small region) F having a predetermined size for the input image I acquired by the digital video signal transferred from the signal processing unit 108 as shown in FIG. 3A.
  • the eyelid component estimation unit 200 scans the scan area F on the input image I, calculates min (Ir, Ig, Ib) for each scan area F of the pixel on the input image I that is the target pixel, and this min ( Ir, Ig, Ib) is defined as a soot component H (x, y) (the above formula (1)).
  • the heel component H (x, y) can be regarded as a large value in a high luminance and low saturation region, that is, a deterioration degree is large.
  • This wrinkle component H (x, y) has a small value in a low luminance or high saturation region. That is, it can be considered that the degree of deterioration is small.
  • the heel component estimation unit 200 transfers the heel component H (x, y) to the heel histogram generation unit 201.
  • the wrinkle histogram generation unit 201 counts the frequency of the value of the wrinkle component H (x, y) transferred from the wrinkle component estimation unit 200. For example, the wrinkle component H (as shown in FIGS. 4A and 4B) A histogram of x, y) is generated.
  • the ⁇ histogram generation unit 201 generates a histogram of the ⁇ component H (x, y), and obtains a standard deviation ⁇ , an average value a, and the like from the histogram.
  • the image shown in FIG. 4A has uniform wrinkles throughout, and the whole shows high brightness and low saturation.
  • the histogram of the haze component H (x, y) of this image has a mountain at a relatively high value position and a narrow range.
  • a wrinkled area and a wrinkle-free area are mixed.
  • the histogram of the haze component H (x, y) of this image is distributed over a wide range from a low value to a high value, and the range is wide.
  • the ⁇ histogram generation unit 201 transfers the histogram of the ⁇ component H (x, y) to the correction method determination unit 202, and also obtains a standard deviation ⁇ , an average value a, and a standard deviation ⁇ obtained from the histogram of the ⁇ component H (x, y).
  • An index such as a difference between the maximum value and the minimum value or a ratio between the maximum value and the minimum value is also transferred to the correction method determination unit 202.
  • step S12 the correction method determination unit 202 performs a first correction method in which the contrast correction method performs adaptive contrast correction based on the histogram information of the haze component H (x, y) transferred from the haze histogram generation unit 201. Or the second correction method for performing unique contrast correction.
  • a wrinkled area on the image has low contrast.
  • adaptive contrast correction is performed for each wrinkled area.
  • the range of the histogram of the entire image is narrow, it is suitable to apply the unique contrast correction to the entire image because the difference in pixel values between adjacent pixels becomes smaller.
  • the correction method determination unit 202 determines that the entire image is wrinkled uniformly, and performs unique contrast correction. Is determined to apply. That is, the correction method determination unit 202 compares the standard deviation ⁇ with the threshold th as shown in the above equation (3). If ⁇ ⁇ th as a result of the comparison, the correction method determination unit 202 applies an even wrinkle over the entire image as shown in FIG. 4A, for example, and an image with a narrow distribution of the wrinkle component H (x, y) over the entire image. It is judged that. As a result of this determination, the correction method determination unit 202 selects the second correction method (second wrinkle correction unit 111) that performs unique contrast correction on the image.
  • second wrinkle correction unit 111 second wrinkle correction unit 111
  • the correction method determination unit 202 determines the first correction method
  • the correction method determination unit 202 transfers the digital video signal transferred from the signal processing unit 108 to the first wrinkle correction unit 110.
  • the correction method determination unit 202 transfers the digital video signal transferred from the signal processing unit 108 to the second wrinkle correction unit 111.
  • the first wrinkle correction unit 110 performs signal processing according to the operation flowchart of adaptive contrast correction shown in FIG.
  • the digital video signal transferred from the unit 108 is input.
  • the first wrinkle correction unit 110 performs correction for enhancing the contrast in a region where the contrast is lowered due to the influence of wrinkles in the digital video signal.
  • the corrected digital video signal is transferred to the compression unit 112.
  • the correction coefficient calculation unit 300 of the first wrinkle correction unit 110 performs the digital video based on the digital video signal and the wrinkle component H (x, y) transferred from the wrinkle distribution estimation unit 109 in step S20.
  • a correction coefficient for contrast correction is calculated for each pixel of the input image I acquired by the signal. More specifically, as shown in FIG. 6A, the correction coefficient calculation unit 300 scans the inside of the local region E with respect to the input image I acquired by the digital video signal transferred from the wrinkle distribution estimation unit 109.
  • the correction coefficient calculation unit 300 generates, for each target pixel, a histogram of the local region E having, for example, R value, G value, and B value in the local region E centered on the target pixel as shown in FIG. 6B.
  • the correction coefficient calculation unit 300 accumulates the histograms in the local region E to generate a cumulative histogram as shown in FIG. 6C.
  • the correction coefficient calculation unit 300 is a correction coefficient (gain coefficient) for the R value, G value, and B value of the target pixel based on the cumulative histogram, that is, for flattening the histogram of the local region for each pixel of the input image I.
  • the correction coefficients gainR, gainG, and gainB are calculated by the above equations (4) to (6).
  • the correction coefficient calculation unit 300 transfers the calculated correction coefficients (gain coefficients) gainR, gainG, and gainB to the adaptive contrast correction unit 301.
  • the adaptive contrast correction unit 301 performs contrast correction by multiplying the digital video signal by the correction coefficient of each pixel transferred from the correction coefficient calculation unit 300. Specifically, the adaptive contrast correction unit 301 adjusts the correction coefficients gainR, gainG, and gainB according to the wrinkle component H (x, y) for each pixel of the input image I as shown in FIG. Subsequent correction coefficients gainR, gainG, and gainB are multiplied by the pixel value of each pixel to obtain a corrected image Q subjected to contrast correction.
  • the adaptive contrast correction unit 301 adjusts the correction coefficients gainR, gainG, and gainB so as to retain the original values for dark areas in the input image I, that is, high-brightness and low-saturation areas, and Each of the correction coefficients gainR, gainG, and gainB is adjusted to approach 1.0 for a thin region of the image, that is, a region of low luminance or high saturation. That is, the adaptive contrast correction unit 301 normalizes the correction coefficients gainR, gainG, and gainB calculated by the correction coefficient calculation unit 300 based on the haze component H (x, y) estimated by the haze component estimation unit 109, that is, Perform weighting. The adaptive contrast correction unit 301 performs contrast correction on each pixel using the correction coefficients gainR ′, gainG ′, and gainB ′ adjusted by weighting.
  • the normalization coefficient calculation unit 301a of the adaptive contrast correction unit 301 calculates a normalization coefficient obtained by normalizing the haze component H (x, y) estimated by the haze component estimation unit 200 in step S21. .
  • the coefficient conversion unit 301b weights the correction coefficients gainR, gainG, and gainB calculated by the correction coefficient calculation unit 300 based on the normalization coefficients calculated by the normalization coefficient calculation unit 301a. Convert to gainR ', gainG', and gainB '.
  • the coefficient conversion unit 301b increases the correction coefficients gainR, gainG, gainB calculated by the correction coefficient calculation unit 300 as the normalization coefficients calculated by the normalization coefficient calculation unit 301a increase. Conversion is performed so as to hold the value of gainB, and the values of the correction coefficients gainR, gainG, and gainB are converted to approach 1.0 as the normalization coefficient is smaller.
  • the correction coefficients gainR ′, gainG ′, and gainB ′ adjusted by weighting are calculated by the above equations (7) to (9).
  • the correction coefficients gainR ′, gainG ′, and gainB ′ since the haze component H (x, y) has a large value in the high luminance and low saturation region, the correction coefficients gainR ′, gainG ′, gainB ′ is adjusted so that the magnitudes of the original values gainR, gainG, and gainB are maintained.
  • the correction coefficients gainR ′, gainG ′, and gainB ′ have values close to 1.0. Adjusted to In other words, the adjustment using the correction coefficients gainR ', gainG', and gainB 'increases the correction strength for a region where the wrinkles are dark and decreases the correction strength for a region where the wrinkles are thin.
  • the contrast correction for each pixel is performed using the correction coefficients gainR ', gainG', and gainB 'adjusted by weighting.
  • the contrast correction for each pixel is calculated by the above equations (10) to (12).
  • the second wrinkle correction unit 111 follows the unique contrast correction operation flowchart shown in FIG. A unique gradation correction is performed for.
  • the correction function calculation unit 400 of the second wrinkle correction unit 111 calculates a correction function for contrast correction based on the digital video signal transferred from the wrinkle distribution estimation unit 109.
  • the correction function is calculated based on, for example, the luminance histogram of the entire image, and includes, for example, a linear function, a nonlinear function, a broken line approximation function, or the like.
  • the correction function calculation unit 400 transfers the calculated correction function information to the unique contrast correction unit 401.
  • step S31 the unique contrast correction unit 401 performs contrast correction on the digital video signal based on the correction function transferred from the correction function calculation unit 400. That is, the unique contrast correction unit 401 determines a correction function for performing contrast correction from the luminance / color signal of the input image I obtained from the digital video signal transferred from the wrinkle distribution estimation unit 109, and the determined correction function Is used to perform a unique contrast correction on the entire input image I.
  • step S ⁇ b> 7 the compression unit 112 performs a known JPEG or MPEG compression process on the digital video signal transferred from the first wrinkle correction unit 110 or the second wrinkle correction unit 111 and transfers it to the output unit 113. To do.
  • step S8 the output unit 113 records the compressed digital video signal transferred from the compression unit 112 on a memory card or the like. The output unit 113 may separately display the digital video signal transferred from the compression unit 112 on a display.
  • the distribution of the haze component H (x, y) with respect to the entire image is obtained, and when the distribution of the haze component H (x, y) is wide, When it is determined that a part of the wrinkle is included, adaptive contrast correction is performed.
  • adaptive contrast correction is performed.
  • the distribution of the wrinkle component H (x, y) is narrow, the entire image is wrinkled uniformly.
  • a unique contrast correction is performed. For example, as shown in FIG. 4A, a uniform wrinkle is applied to the entire image, and a unique contrast correction is performed on an image having a narrow distribution of the wrinkle component H (x, y) over the entire image. For example, as shown in FIG.
  • adaptive contrast correction is performed on an image in which a wrinkled region and a wrinkle-free region are mixed and the range of the value of the wrinkle component H (x, y) is wide.
  • contrast correction can be performed only on the hazy area.
  • the adaptive contrast correction unit 301 performs adjustment so that the correction coefficient gainR, gainG, and gainB values are held in a region where the ⁇ component is dark in the input image I, that is, a high luminance and low saturation region, and the ⁇ component Since the correction coefficients gainR, gainG, and gainB are adjusted to be close to 1.0 with respect to the thin area of the image, that is, the low luminance or high saturation area, the contrast is affected by the influence of the wrinkle according to the darkness or lightness of the wrinkle. Correction for enhancing the contrast can be performed on the lowered region. [Modification of First Embodiment] Next, a modification of the first embodiment of the present invention will be described with reference to the drawings.
  • the modification is a modification of the internal configuration of the wrinkle distribution estimation unit 109 in the first embodiment, and the same parts as those in FIG. FIG. 13 shows a block configuration diagram of the wrinkle distribution estimation unit 109.
  • the wrinkle distribution estimation unit 109 includes a maximum / minimum calculation unit 203 instead of the wrinkle histogram generation unit 201.
  • the correction method determination unit 202 is connected to the heel component estimation unit 200 via the maximum / minimum calculation unit 203.
  • the control unit 114 bi-directionally transmits and receives signals to the maximum / minimum calculation unit 203 and controls the maximum / minimum calculation unit 203.
  • the maximum / minimum calculation unit 203 calculates a maximum value and a minimum value for the entire image of the haze component H (x, y) transferred from the haze component estimation unit 200, and the maximum value of the haze component H (x, y). And the minimum value are transferred to the correction method determination unit 202.
  • the correction method determination unit 202 determines the correction method based on the difference between the maximum value and the minimum value transferred from the maximum / minimum calculation unit 203 or the ratio between the maximum value and the minimum value, that is, the first wrinkle correction It is determined whether the wrinkle correction is performed by either the unit 110 or the second wrinkle correction unit 111.
  • the correction method determination unit 202 obtains a difference or ratio between the maximum value and the minimum value of the haze component H (x, y), and if this difference or ratio is large, for example, as shown in FIG.
  • a first correction method (first correction method) that determines that the image has a wide range of values of the wrinkle component H (x, y) and includes a region having no wrinkles and a wrinkle and performs adaptive contrast correction on the image. 1 ⁇ correction unit 110) is selected.
  • the correction method determination unit 202 obtains the difference or ratio between the maximum value and the minimum value of the haze component H (x, y), and if this difference or ratio is small, for example, as shown in FIG.
  • a second correction method (second wrinkle correction unit 111) that determines that the wrinkle is applied and the distribution of the wrinkle component H (x, y) with respect to the entire image is narrow, and performs unique contrast correction on the image. ) Is selected.
  • the difference or ratio between the maximum value and the minimum value of the heel component H (x, y) is determined by comparing, for example, the difference or ratio with a preset threshold value (predetermined value). do it.
  • the first wrinkle correction unit 110 is based on the difference or ratio between the maximum value and the minimum value of the wrinkle component H (x, y) for the entire image.
  • a uniform wrinkle is applied to the entire image, and the distribution of the wrinkle component H (x, y) with respect to the entire image is narrow.
  • an image having a wide range of values of the wrinkle component H (x, y) can be determined, and adaptive contrast correction (first wrinkle correction unit 110) is performed according to each image. It is possible to select whether to perform unique contrast correction (second wrinkle correction unit 111).
  • FIG. 14 is a block diagram of an imaging apparatus to which the image processing apparatus is applied.
  • a first wrinkle correction unit 110, a second wrinkle correction unit 111, and a wrinkle distribution estimation unit 109 are connected in parallel to the output side of the signal processing unit 108, and the first wrinkle correction unit 110, A second wrinkle correction unit 111 and a wrinkle distribution estimation unit 109 are connected to the image composition unit 116.
  • a compression unit 112 is connected to the image composition unit 116.
  • the haze distribution estimation unit 109 estimates the haze component H (x, y) of each pixel based on the digital video signal transferred from the signal processing unit 108.
  • the wrinkle distribution estimation unit 109 estimates the distribution of the wrinkle component from the wrinkle component H (x, y) of the entire image, and the image composition unit 116 uses the estimated distribution of the wrinkle component H (x, y).
  • a weighting factor is calculated.
  • the wrinkle distribution estimation unit 109 transfers the estimated wrinkle component H (x, y) of each pixel to the first wrinkle correction unit 110 and transfers the calculated weight coefficient to the image composition unit 116.
  • FIG. 15 shows a configuration diagram of the wrinkle distribution estimation unit 109.
  • the wrinkle distribution estimating unit 109 is provided with a weighting factor calculating unit 204 instead of the correction method determining unit 202.
  • the wrinkle distribution estimating unit 109 is provided with a wrinkle component estimating unit 200.
  • a weight coefficient calculation unit 204 is connected to the heel component estimation unit 200 via a heel histogram generation unit 201.
  • the control section 114 exchanges signals bidirectionally with the weight coefficient calculation section 204 and controls the weight coefficient calculation section 204.
  • the heel component estimation unit 200 receives the digital video signal transferred from the signal processing unit 108, and the R value, G value, B in each pixel at coordinates (x, y) obtained from this digital video signal. Based on the value, the haze component H (x, y) of each pixel is estimated.
  • the heel histogram generation unit 201 counts the frequency of the value of the heel component H (x, y) transferred from the heel component estimation unit 200, and for example, the heel component H (as shown in FIGS. 4A and 4B). A histogram of x, y) is generated.
  • the ⁇ histogram generation unit 201 generates a histogram of the ⁇ component H (x, y), and from the histogram, the standard deviation ⁇ , the average value a, the difference between the maximum value and the minimum value, or the ratio between the maximum value and the minimum value Find the index.
  • the weighting factor calculation unit 204 calculates the weighting factor w used in the image composition processing performed by the subsequent image composition unit 116 based on the histogram information of the eyelid component H (x, y) transferred from the eyelid component estimation unit 200.
  • a weighting coefficient w that approaches 1.0 as the size ⁇ H of the histogram distribution (horizontal width) of the heel component H (x, y) becomes wider is expressed by the following equation (13).
  • w a ⁇ ⁇ H + b (13)
  • a and b are coefficients of a function for calculating the weighting coefficient w
  • ⁇ H indicates the magnitude (0 to 255) of the histogram distribution of the ⁇ component H (x, y).
  • the weight coefficient calculation unit 204 has a wide histogram distribution size ⁇ H of the haze component H (x, y) transferred from the haze component estimation unit 200. For example, as shown in FIG. If it is determined that the image is likely to be mixed, the correction result of the first eyelid correction unit 110 that performs adaptive contrast correction has a larger weighting factor w (first weighting factor), for example, greater than 0.5. A large weight coefficient w is calculated.
  • the weight coefficient calculation unit 204 has a narrow histogram distribution size ⁇ H of the haze component H (x, y) transferred from the haze component estimation unit 200. For example, as shown in FIG. If it is determined that the distribution of the wrinkle component H (x, y) with respect to the entire image is a narrow image, a small weighting factor w (second weighting factor) is added to the correction result of the second wrinkle correction unit 111 that performs unique contrast correction. For example, a weight coefficient w smaller than 0.5 is calculated.
  • the formula for calculating the weighting factor w shown in the above formula (13) is a linear formula, but is not limited to this, and can be dealt with by a formula of a nonlinear function, a broken line approximation function, or the like.
  • ⁇ H is used, but is not limited thereto.
  • the size of the histogram distribution can be measured by the ratio of the maximum value and the minimum value of the histogram distribution.
  • the image composition unit 116 adds the digital video signal transferred from the first wrinkle correction unit 110 and the digital video signal transferred from the second wrinkle correction unit 111 based on the weighting coefficient w transferred from the wrinkle distribution estimation unit 109. Perform synthesis.
  • IO1 indicates an image after adaptive contrast correction
  • IO2 indicates an image after unique contrast correction.
  • step S40 the wrinkle distribution estimating unit 109 estimates the wrinkle component H (x, y) of each pixel based on the digital video signal transferred from the signal processing unit 108.
  • the wrinkle distribution estimation unit 109 estimates the distribution of the wrinkle component from the wrinkle component H (x, y) of the entire image, and the image composition unit 116 uses the estimated distribution of the wrinkle component H (x, y).
  • a weighting factor is calculated.
  • the wrinkle distribution estimation unit 109 transfers the estimated wrinkle component H (x, y) of each pixel to the first wrinkle correction unit 110 and transfers the calculated weight coefficient to the image composition unit 116.
  • the wrinkle distribution estimation unit 109 estimates the wrinkle distribution according to the wrinkle distribution estimation flowchart shown in FIG.
  • the heel component estimation unit 200 receives the digital video signal transferred from the signal processing unit 108 in the same manner as described above, and the R value at each pixel at coordinates (x, y) obtained from this digital video signal. Based on the G value and the B value, the heel component H (x, y) of each pixel is estimated.
  • step S51 the heel histogram generation unit 201 counts the frequency of the value of the heel component H (x, y) transferred from the heel component estimation unit 200 in the same manner as described above, for example, as shown in FIGS. 4A and 4B.
  • a histogram of the haze component H (x, y) is generated.
  • the ⁇ histogram generation unit 201 generates a histogram of the ⁇ component H (x, y), and from the histogram, the standard deviation ⁇ , the average value a, the difference between the maximum value and the minimum value, and the ratio between the maximum value and the minimum value Or an index such as a histogram distribution size ⁇ H.
  • the weighting factor calculation unit 204 uses the weighting factor w used in the image synthesis processing by the image synthesis unit 116 based on the histogram information of the haze component H (x, y) transferred from the haze histogram generation unit 201. It calculates by Formula (13). As shown in FIG. 16, the weighting coefficient w indicates a value that approaches 1.0 as the distribution size ⁇ H of the histogram of the heel component H (x, y) increases.
  • the weight coefficient calculation unit 204 has a wide histogram distribution size ⁇ H of the wrinkle component H (x, y) transferred from the wrinkle histogram generation unit 201. For example, as shown in FIG. If it is determined that the image has a high possibility that a region without wrinkles is mixed, the correction result of the first wrinkle correction unit 110 that performs adaptive contrast correction is greater than a large weight coefficient w, for example, 0.5. A weight coefficient w is calculated.
  • the weight coefficient calculation unit 204 has a narrow histogram distribution size ⁇ H of the haze component H (x, y) transferred from the haze histogram generation unit 201. For example, as shown in FIG. If it is determined that the distribution of the haze component H (x, y) with respect to the entire image is narrow, the weighting factor w, for example 0.5, is small for the correction result of the first haze correction unit 110 that performs adaptive contrast correction. A smaller weight coefficient w is calculated. On the other hand, in step S5, the first eyelid correction unit 110 performs adaptive contrast correction in accordance with the adaptive contrast correction operation flowchart shown in FIG.
  • the first wrinkle correction unit 110 affects wrinkles in the digital video signal transferred from the signal processing unit 108 for each pixel according to the value of the wrinkle component H (x, y) transferred from the wrinkle component estimation unit 200. Thus, adaptive contrast correction is performed on the area where the contrast is lowered.
  • the first eyelid correction unit 110 transfers the digital video signal subjected to adaptive contrast correction to the image composition unit 116.
  • step S6 the second eyelid correction unit 111 performs unique contrast correction on the digital video signal transferred from the signal processing unit 108 in accordance with the unique contrast correction operation flowchart shown in FIG.
  • the second eyelid correction unit 111 transfers the video signal subjected to the unique contrast correction to the image composition unit 116.
  • step S41 the image synthesizing unit 116, as shown in FIG. 18, the image IO1 that has been subjected to adaptive contrast correction by the first eyelid correction unit 110 and the image that has been corrected by unique contrast correction by the second eyelid correction unit 111.
  • Io2 is calculated based on the weighting factor w and the above equation (14) to synthesize an image to obtain an output image Io after image synthesis.
  • step S ⁇ b> 7 the compression unit 112 performs a known JPEG or MPEG compression process on the digital video signal transferred from the image synthesis unit 116 and transfers the digital video signal to the output unit 113.
  • step S8 the output unit 113 records the compressed digital video signal transferred from the compression unit 112 on a memory card or the like. The output unit 113 may separately display the digital video signal transferred from the compression unit 112 on a display.
  • the weight coefficient calculating unit 204 has a large histogram distribution size ⁇ H of the wrinkle component H (x, y). For example, as shown in FIG. If the image has a high possibility that a region having no wrinkles is mixed, the result of adaptive contrast correction is multiplied by a large weighting factor w, and the result of unique contrast correction is multiplied by a small weighting factor (1-w). .
  • An image in which the size ⁇ H of the histogram distribution of the (component H (x, y) is narrow for example, as shown in FIG. 4A, a uniform mist is applied to the entire image, and the distribution of the ⁇ component H (x, y) with respect to the entire image is narrow.
  • an image is synthesized by multiplying the result of adaptive contrast correction by a small weighting factor w and multiplying the result of unique contrast correction by a large weighting factor (1-w).
  • the haze component H (x, y) as the degree of deterioration in each of the above embodiments includes a fog component and a white component.
  • the haze component H (x, y) as the degree of deterioration in each of the above embodiments includes a fog component and a white component.
  • Each of the above embodiments is premised on processing by hardware.
  • the present invention is not limited to this. For example, a configuration in which a digital video signal output from the signal processing unit 108 is separately processed by software is possible. is there.
  • the process of estimating the wrinkle component and calculating the correction coefficient is performed on each pixel of the digital video signal input from the signal processing unit 108.
  • the present invention is not limited to this. It is also possible to perform processing for estimating the wrinkle component and calculating the correction coefficient after reducing the size of the video signal.
  • the wrinkle component and the correction coefficient are enlarged to the original size by a known interpolation process (for example, bilinear interpolation, bicubic interpolation, etc.) at the time of contrast correction. Contrast correction may be performed later.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment.
  • constituent elements over different embodiments may be appropriately combined.
  • DESCRIPTION OF SYMBOLS 100 Lens system, 101: Aperture, 102: Image sensor, 103: Autofocus motor (AF motor), 104: A / D converter, 105: Buffer, 106: Photometry evaluation part, 107: Lens control part, 108 : Signal processing unit, 109: wrinkle distribution estimation unit, 110: first wrinkle correction unit, 111: second wrinkle correction unit, 112: compression unit, 113: output unit, 114: control unit, 115: external I / F unit , 116: image composition unit, 200: haze component estimation unit, 201: haze histogram generation unit, 202: correction method determination unit, 203: maximum / minimum calculation unit, 204: weight coefficient calculation unit, 300: correction coefficient calculation unit, 301 : Adaptive contrast correction unit, 301a: normalization coefficient calculation unit, 301b: coefficient conversion unit, 400: correction function calculation unit, 401: unique contrast correction unit.
  • AF motor Autofocus motor
  • 104 A / D converter
  • 105 Buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

 画像処理装置は、劣化度検出部(200)と、劣化度分布推定部(201)と、補正方式選択部(202)と、階調補正部(110,111)とを含む。前記劣化度検出部(200)は、画像の劣化度を検出する。前記劣化度分布推定部(201)は、前記画像における前記劣化度の分布を推定する。前記補正方式選択部(202)は、前記劣化度の分布に応じて第1の階調補正方式又は第2の階調補正方式のうちいずれか一方を選択する。前記階調補正部(110,111)は、前記選択された前記第1又は前記第2の階調補正方式に基づいて前記画像を階調補正する。

Description

画像処理装置及び方法、一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体、撮像装置
 本発明は、例えば靄や霧等の影響によりコントラストや色彩等の画質が損なわれた画像の補正を行う画像処理装置及び方法、画像処理プログラム、撮像装置に関する。
 大気中に発生する靄や霧等の影響によって画像のコントラストや色彩等の画質が失われることがある。例えば、屋外において遠方の山等の風景写真を撮影する場合がある。この撮影では、遠方の山に霞が掛かっていると、撮影した画像は、霞によって品位が損なわれ、遠方の山に対する視認性を低下させてしまうことがある。
 このような問題を解決する技術として例えば特許文献1、2がある。特許文献1は、画像内から輝度の最大値、最小値を算出し、これら算出した最大値と最小値との間の差が大きくなるようにコントラスト補正を行って画像の視認性を向上させることを開示する。この特許文献1であれば、画像全体に一様に霞が掛かった画像に対して十分な効果が得られる。 
 特許文献2は、画像の局所領域毎に輝度の最大、最小を算出し、これら最大、最小の差が大きくなるように適応的なコントラスト補正を行うことを開示する。この特許文献2であれば、霞のない領域と霞のある領域とが混在する画像においても、十分なコントラスト補正を行うことができる。
特開2012-054659号公報 特開2010-152536号公報(特許第4982475号)
 しかしながら、画像内で霞のない領域と霞のある領域とが混在する場合には、輝度の最大値と最小値との差が元々大きくなる傾向がある。従って、特許文献1では、画像全体の輝度の最大値、最小値を使用するので、輝度の最大値と最小値との差が元々大きくなり、画像の視認性を向上させるという効果を十分に得られない。
 特許文献2は、霞の濃淡に関わらず、局所領域内の輝度の最大、最小値に基づき処理を行うため、霞のない領域と霞のかかる領域とが混在する画像に対して十分な効果が得られる。しかしながら、特許文献2では、画像の特性によっては補正後の画像に違和感が生じる場合がある。具体的には、画像全体が低コントラストな場合に局所領域毎にコントラスト補正を行うと、過度なコントラスト補正が掛かったり、各局所領域毎にコントラスト補正の強度が異なってしまう。このために各局所領域の境界付近においてコントラスト補正強度の変動が大きくなる場合がある。この結果、階調の段差や輝度むらが発生する。このため画像全体が低コントラストな場合には、画像全体に対して一意の補正をした方が補正後の違和感が小さい。
 本発明は、上記問題点に着目して成されたもので、霞成分の濃淡を推定し、画像に対する霞成分の分布に応じて適した階調補正を行うことにより、違和感なく視認性を向上し、高品位な画像を得ることができる画像処理装置及び方法、一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体、撮像装置を提供することを目的とする。
 本発明は、画像の劣化度を検出する劣化度検出部と、前記画像における前記劣化度の分布を推定する劣化度分布推定部と、前記劣化度の分布に応じて第1の階調補正方式又は第2の階調補正方式のうちいずれか一方を選択する補正方式選択部と、前記選択された前記第1又は前記第2の階調補正方式に基づいて前記画像を階調補正する階調補正部とを具備する画像処理装置である。
 本発明は、画像の劣化度を検出し、前記画像における前記劣化度の分布を推定し、前記劣化度の分布に応じて第1の階調補正方式又は第2の階調補正方式のうちいずれか一方を選択し、前記選択された前記第1又は前記第2の階調補正方式に基づいて前記画像を階調補正する画像処理方法である。
 本発明は、画像の劣化度を検出させる劣化度検出機能と、前記画像における前記劣化度の分布を推定させる劣化度分布推定機能と、前記劣化度の分布に応じて第1の階調補正方式又は第2の階調補正方式のうちいずれか一方を選択させる補正方式選択機能と、前記選択された前記第1又は前記第2の階調補正方式に基づいて前記画像を階調補正させる階調補正機能とを含む一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体である。
 本発明は、被写体からの光像を撮像する撮像素子と、前記撮像素子の撮像により取得される画像データの画質の劣化度を検出し、この劣化度に応じて前記画像データを補正する上記画像処理装置と、前記画像処理装置により画像処理された前記画像データを出力する出力部とを具備する撮像装置である。
 本発明によれば、霞成分の濃淡を推定し、画像に対する霞成分の分布に応じて適した階調補正を行うことにより、違和感なく視認性を向上し、高品位な画像を得ることができる画像処理装置及び方法、一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体、撮像装置を提供できる。
図1は、本発明に係る画像処理装置の第1の実施の形態を適用した撮像装置を示すブロック構成図である。 図2は、同装置における霞分布推定部を示す具体的なブロック構成図である。 図3Aは、同装置による入力画像の各画素の霞成分H(x,y)の推定を説明するための模式図である。 図3Bは、同装置により取得される注目画素毎のmin(Ir,Ig,Ib)を画像化した霞成分H(x,y)を示す図である。 図4Aは、画像全体に一様な霞がかかって全体が高輝度かつ低彩度な画像の霞成分H(x,y)のヒストグラムを示す図である。 図4Bは、画像内で霞のかかる領域と霞のない領域が混在する場合の霞成分H(x,y)のヒストグラムを示す図である。 図5は、同装置における第1霞補正部の一例を示す構成図である。 図6Aは、同装置における補正係数算出部による入力画像に対する局所領域のスキャンを示す図である。 図6Bは、同装置における補正係数算出部により生成される局所領域ヒストグラムを示す図である。 図6Cは、同装置における補正係数算出部により生成される累積ヒストグラムを示す図である。 図7は、同装置におけるコントラスト補正部によるコントラスト補正動作を示す模式図である。 図8は、同装置における第2霞補正部の一例を示す構成図である。 図9は、同装置における撮影動作フローチャートである。 図10は、同装置における霞分布推定の動作フローチャートである。 図11は、同装置における適応的コントラスト補正の動作フローチャートである。 図12は、同装置における一意のコントラスト補正の動作フローチャートである。 図13は、同装置における霞分布推定部の変形例を示すブロック構成図である。 図14は、本発明に係る画像処理装置の第2の実施の形態を適用した撮像装置を示すブロック構成図である。 図15は、同装置における霞分布推定部を示すブロック構成図である。 図16は、霞成分H(x,y)のヒストグラムの分布の大きさΔHを示す図である。 図17は、同霞分布推定部により算出する重み係数のグラフを示す図である。 図18は、画像合成部による画像合成処理の概念を示す図である。 図19は、同装置における撮影動作フローチャートである。 図20は、同装置における霞分布推定フローチャートである。
[第1の実施の形態] 
 以下、本発明の第1の実施の形態について図面を参照して説明する。 
 図1は画像処理装置を適用した撮像装置のブロック構成図を示す。同図中において、太い実線の矢印は映像信号の流れを示し、細い実線の矢印は制御信号の流れを示し、点線の矢印はその他の信号の流れを示す。以下、図2、図5、図8、図13乃至図15においても同様である。
 レンズ系100は、フォーカスレンズ及び絞り101等を含み、被写体からの光像を結像する。レンズ系100は、オートフォーカス用モータ(AFモータ)103を含み、当該AFモータ103の駆動によりフォーカスレンズを光軸に沿って移動する。AFモータ103は、レンズ制御部107により駆動制御される。
 レンズ系100の光軸上には、撮像センサ102が設けられている。撮像センサ102は、レンズ系100からの光像を受光し、光電変換を行ってRGBのアナログ映像信号を出力する。撮像センサ102の出力端には、A/D変換器104を介してバッファ105と、信号処理部108と、霞分布推定部109とが接続されている。この霞分布推定部109の出力端には、第1霞補正部110と第2霞補正部111との双方が並列接続されている。第1霞補正部110と第2霞補正部111との各出力端には、圧縮部112を介して出力部113が接続されている。バッファ105には、測光評価部106が接続されている。 
 A/D変換器104は、撮像センサ102から出力されたアナログ映像信号をデジタル映像信号に変換する。 
 バッファ105は、A/D変換器104から転送されるデジタル映像信号を一時的に保存する。 
 測光評価部106は、バッファ105に保存されるデジタル映像信号に基づいて撮像センサ102に入射する光像を測光して評価(測光評価)を行う。測光評価部106は、当該測光評価と制御部114から出力された制御信号とに基づいてレンズ系100の絞り101を制御し、撮像センサ102から出力されるアナログ映像信号の出力レベル等を調整する。
 信号処理部108は、バッファ105に保存されているデジタル映像信号に対して公知の画像処理、例えば補間処理、WB補正処理及びノイズ低減処理などを行い、当該画像処理後のデジタル映像信号を霞分布推定部109に転送する。
 霞分布推定部109は、信号処理部108から転送されたデジタル映像信号から霞成分を推定し、当該霞成分の分布情報に基づいて後段の第1霞補正部110と第2霞補正部111とのうちいずれかにより霞補正を行うのかを決定する。すなわち、第1霞補正部110と第2霞補正部111とは、それぞれ霞補正の方式が異なるので、霞分布推定部109は、いずれかの方式により霞補正を行うのかを決定する。
 第1霞補正部110は、信号処理部108から転送されたデジタル映像信号において霞の影響によりコントラストが低下した領域に対応するデジタル映像信号に対してコントラストを強調する適応的コントラスト補正を行う。
 第2霞補正部111は、信号処理部108から転送されたデジタル映像信号に対して一意のコントラスト補正、すなわち画像全体に単純な一意のコントラスト補正を行う。
 第1霞補正部110又は第2霞補正部111により補正されたデジタル映像信号は、圧縮部112へ転送される。
 圧縮部112は、第1霞補正部110又は第2霞補正部111から転送されたデジタル映像信号に対して公知の圧縮処理、例えばJPEG又はMPEG等を行い、当該処理後のデジタル映像信号を出力部113へ転送する。 
 出力部113は、圧縮処理後のデジタル映像信号をメモリカード等の記憶媒体に保存する。
 次に、霞分布推定部109、第1霞補正部110及び第2霞補正部111について具体的に説明する。 
 図2は霞分布推定部109の具体的なブロック構成図を示す。霞分布推定部109は、霞成分推定部200と、霞ヒストグラム生成部201と、補正方式判定部202とを含む。霞成分推定部200の入力側には、信号処理部108が接続されている。霞成分推定部200の出力側には、霞ヒストグラム生成部201を介して補正方式判定部202が接続されている。補正方式判定部202の出力側には、第1霞補正部110と第2霞補正部111との双方が接続されている。
 霞成分推定部(劣化度検出部)200は、信号処理部108から転送されるデジタル映像信号を入力し、このデジタル映像信号から取得される画像データを劣化させる劣化度を推定する。この劣化度は、画像データのコントラスト及び色彩等の画質を損ない、かつ画像の視認性を劣化させる要因となる指標である。この劣化度の推定では、例えば画像データ中に含まれる霞成分、靄成分、濁りとなる成分等の淡白色により画質を低下させる成分の濃淡を推定する。
 霞成分等の劣化度の推定は、霞成分が高輝度でかつ低彩度であるという特徴に基づいて行われる。これにより、当該霞成分等の劣化度は、高輝度でかつ低彩度である程、劣化が大きいことを示すものとなる。劣化度の推定は、画像データの各画素における複数のカラーチャンネル同士、すなわちR値,G値,B値同士の大きさを比較し、これらR値,G値,B値のうち最小値となるR値,G値又はB値を算出することにより行われる。
 具体的に霞成分推定部200は、信号処理部108から転送されるデジタル映像信号を入力し、このデジタル映像信号により得られる座標(x,y)の各画素におけるR値,G値,B値に基づいて当該各画素の霞成分の推定を行う。この霞成分は、霞のかかり具合、霞の濃度等を表す。
 ここで、信号処理部108から転送されるデジタル映像信号により取得される入力画像I上において、座標(x,y)における霞成分をH(x,y)とし、座標(x,y)におけるR値,G値,B値をそれぞれIr,Ig,Ibとすると、座標(x,y)の各画素における霞成分H(x,y)は、次式(1)により推定される。 
 H(x,y)=min(Ir,Ig,Ib)    …(1)
 図3Aは各画素の霞成分H(x,y)の推定を説明するための模式図を示す。霞成分推定部200は、信号処理部108から転送されるデジタル映像信号により取得される入力画像Iに対して所定サイズのスキャン領域(小領域)Fを設定し、当該スキャン領域Fをスキャンする。スキャン領域Fは、例えば所定サイズn×m(n,mは自然数)のマトリックス状に形成されている。このスキャン領域Fは、例えば5×5画素の領域に形成されている。スキャン領域F中心を注目画素とする。このスキャン領域Fは、1画素であってもよい。
 霞成分推定部200は、スキャン領域Fを入力画像Iの内部にてスキャンし、注目画素となる入力画像I上の画素のスキャン領域F毎にmin(Ir,Ig,Ib)を算出し、このmin(Ir,Ig,Ib)を霞成分H(x,y)とする。 
 より詳細には、霞成分推定部200は、スキャン領域F毎に、当該スキャン領域Fの注目画素を含むn×mのマトリックス内において、スキャン領域F内の各画素の(Ir,Ig,Ib)を算出し、これら(Ir,Ig,Ib)のうちの最小値を注目画素の霞成分H(x,y)=min(Ir,Ig,Ib)とする。 
 霞成分推定部200は、注目画素の霞成分H(x,y)を注目画素の劣化度、又はスキャン領域(小領域)Fの劣化度として算出する。この劣化度は、後述するように霞成分H(x,y)が大きい程、大きいものとなる。
 図3Bは注目画素毎のmin(Ir,Ig,Ib)を画像化した霞成分H(x,y)を示す。高輝度かつ低彩度な領域の画素値は、R値,G値,B値が同等かつ大きくなるので、上記式(1)の右辺min(Ir,Ig,Ib)の値は大きくなる。すなわち、高輝度かつ低彩度な領域では、霞成分H(x,y)が大きな値となる。しかるに、高輝度かつ低彩度な領域は、劣化度が大きいものと見なすことができる。
 これに対して低輝度又は高彩度の領域の画素値は、R値,G値,B値のいずれかが小さくなるので、上記min(Ir,Ig,Ib)の値は小さくなる。すなわち、低輝度及び高彩度の領域では、霞成分H(x,y)が小さな値となる。つまり、低輝度及び高彩度の領域は、劣化度が小さいものと見なすことができる。
 しかるに、霞成分H(x,y)は、霞の濃度が濃いほど大きな値となり劣化度が大きいことを示し、霞の濃度が薄いほど小さな値となり劣化度が小さいことを示すという特徴を持つ。当該霞成分H(x,y)は、霞ヒストグラム生成部201に転送される。なお、図3BにおいてHGは霧が濃いところを示し、HFは霧が薄いところを示す。
 霞ヒストグラム生成部(劣化度分布推定部)201は、霞成分推定部200から転送される霞成分H(x,y)の値の頻度をカウントし、当該霞成分H(x,y)のヒストグラムを生成する。霞ヒストグラム生成部201は、霞成分H(x,y)のヒストグラムを生成すると共に、当該ヒストグラムから標準偏差σ、平均値a、最大値と最小値との差、又は最大値と最小値との比等の指標を求める。
 図4A及び図4Bは霞成分H(x,y)のヒストグラムの一例を示す。上記の通り、画像上、霞が無く高彩度な領域では霞成分H(x,y)の値は小さくなり、霞がかかる高輝度かつ低彩度な領域では霞成分H(x,y)は大きくなる。 
 図4Aは全体に一様な霞がかかった画像を示す。当該画像は、画像全体が高輝度かつ低彩度を示す。同図に示す画像の霞成分H(x,y)のヒストグラムは、霞成分H(x,y)の比較的高い値の位置に山(頻度の最大値)を持ち、かつ狭い範囲に分布する。すなわち、このヒストグラムは、霞成分H(x,y)の値のレンジ(分布の範囲)が狭くなる。
 一方、図4Bは霞のかかる領域と霞のない領域が混在する画像を示す。同図に示すような画像の霞成分H(x,y)のヒストグラムは、低い値から高い値まで広い範囲で分布する。このヒストグラムは、霞成分H(x,y)の値のレンジ(分布の範囲)が広くなる。 
 従って、これら霞成分H(x,y)のヒストグラムの分布から画像に対する霞の分布を推定することが可能になる。 
 この霞ヒストグラム生成部201により生成された霞成分H(x,y)のヒストグラムは、補正方式判定部202に転送される。これと共に霞成分H(x,y)のヒストグラムから得られる標準偏差σ、平均値a、最大値と最小値との差、又は最大値と最小値との比等の指標も補正方式判定部202に転送される。
 補正方式判定部(補正方式選択部)202は、霞ヒストグラム生成部201から転送された霞成分H(x,y)のヒストグラムの情報に基づいて適応的コントラスト補正を行う第1補正方式(第1の階調補正方式)、又は一意のコントラスト補正を行う第2補正方式(第2の階調補正方式)のいずれかのコントラスト補正方式であるのかを判定する。なお、第1補正方式は、後段の第1霞補正部110により行う補正に対応し、第2補正方式は、第2霞補正部111により行う補正に対応する。
 ここで、霞補正について説明する。画像上において霞のかかっている領域は、低コントラストになる。当該霞の影響を抑制し、視認性を高めるためには、コントラストを強調する処理を行うことがよい。このコントラスト強調処理では、画像内で霞のかかる領域が一部しかない場合、画像全体に単純な一意のコントラスト補正をかけても、霞の影響を抑制し、視認性を高めるというような十分な効果が得られない。
 このような事から画像の局所領域毎に適応的コントラスト補正を行うことが行われる。ところが、当該適応的コントラスト補正が常に有効に働くわけでなく、画像特性によっては補正後の画像に大きな違和感を生じる場合がある。例えば、画像全体に一様に霞がかかっており、図4Aに示すような画像全体のヒストグラムのレンジが狭い場合がそれに該当する。 
 基本的に、適応的コントラスト補正は、画像の局所領域毎の輝度及び色信号のヒストグラムを基に補正係数を決定して補正を行う。この補正では、上記輝度及び色信号のヒストグラムの分布に応じて画素毎に適用される補正係数が変化する。
 ところが、各局所領域間の境界付近の近傍画素間でヒストグラムの分布が変化する場合がある。この場合には、適応的コントラスト補正後の互いに隣接する各画素間の各画素値の差が大きくなる場合がある。この結果、互いに隣接する各画素間において、適応的コントラスト補正後の輝度値に大きな差が生じ、輝度ムラ等を引き起こすことになる。 
 このように画像全体のヒストグラムのレンジが狭い場合には、画像全体に一意のコントラスト補正をかける方が補正後の隣接画素間の画素値の差が小さくなり、当該一意のコントラスト補正をかけることが適している。
 従って、本装置は、画像全体に対する霞成分H(x,y)の分布に応じてコントラスト補正の方式を切り替える。具体的に、画像全体に対する霞成分H(x,y)の分布が広い場合は、画像内の一部に霞のかかる領域が含まれると判断し、適応的コントラスト補正を適用する。一方、画像全体に対する霞成分H(x,y)の分布が狭い場合は、画像全体に一様に霞がかかっていると判定し、一意のコントラスト補正を適用する。
 しかるに、補正方式判定部202は、上記霞成分H(x,y)の分布を、例えば当該霞成分H(x,y)のヒストグラムのレンジから推定し、この推定結果から補正方式の判定を行う。霞成分H(x,y)のヒストグラムのレンジは、例えばヒストグラムの標準偏差σ、平均値a、又は最大値と最小値との差や比等の指標から算出する。 
 補正方式の判定は、例えば霞成分H(x,y)のヒストグラムの標準偏差σと閾値(所定値)thとから第1又は第2補正方式のいずれかのコントラストの補正方式を判定したり、又は最大値と最小値との差や比を求め、この差や比と所定の閾値thとの比較結果から第1又は第2補正方式のいずれかのコントラストの補正方式を判定する。
 例えば、霞成分H(x,y)のヒストグラムの標準偏差σと閾値thとを用いる場合、 
 補正方式判定部202は、標準偏差σと閾値thとを比較し、 
 σ >= th                  …(2) 
であれば、例えば図4Bに示すように霞のかかる領域と霞のない領域が混在し、霞成分H(x,y)の値のレンジが広い画像に対して適応的コントラスト補正を行う第1補正方式(第1霞補正部110)を選択する。適応的コントラスト補正では、霞のかかっている領域のみにコントラスト補正を行う。
 一方、同標準偏差σと閾値thとを比較した結果、 
 σ < th                   …(3) 
であれば、補正方式判定部202は、例えば図4Aに示すように全体に一様な霞がかかり、画像全体に対する霞成分H(x,y)の分布が狭い画像に対して一意のコントラスト補正を行う第2補正方式(第2霞補正部111)を選択する。
 従って、補正方式判定部202は、第1補正方式と判定すると、信号処理部108から転送されるデジタル映像信号を第1霞補正部110へ転送し、一方、第2補正方式と判定すると、信号処理部108から転送されるデジタル映像信号を第2霞補正部111へ転送する。
 なお、補正方式の判定は、霞成分H(x,y)のヒストグラムに限らず、輝度ヒストグラムから霞成分H(x,y)の分布を判定する方法も考えられるが、この判定方法は適さない。例えば、画像中に霞のかかっていない高彩度な領域があった場合、例えば(Ir,Ig,Ib)=(225,200,0)の場合、これらから算出される当該領域の輝度(a・Ir+b・Ig+c・Ib)は高い値になる。なお、a、b、cは係数である。 
 従って、画像中に霞のかかっていない領域が含まれる場合でも、輝度ヒストグラムを用いると、ヒストグラムのレンジが狭く、画像全体に一様に霞がかかっていると判定される場合がある。 
 この結果、霞成分H(x,y)の分布を推定するのに輝度ヒストグラムを用いるのは適さないものとなる。本装置では、霞成分H(x,y)のヒストグラムから当該霞成分H(x,y)の分布を推定することで、当該分布の推定精度を向上させている。
 図5は第1霞補正部(階調補正部)110の一例の構成図を示す。第1霞補正部110は、第1補正方式による適応的コントラスト補正を行う。具体的に第1霞補正部110は、信号処理部108から転送されたデジタル映像信号を入力し、このデジタル映像信号における例えば霞の影響によりコントラストが低下した領域に対してコントラストを強調する補正を行い、この補正した映像信号を圧縮部112に転送する。
 第1霞補正部110は、補正係数算出部300と、適応コントラスト補正部301とを含む。補正係数算出部300は、適応コントラスト補正部301に接続されている。適応コントラスト補正部301の後段には、圧縮部112が接続されている。制御部114は、補正係数算出部300と適応コントラスト補正部301との双方を制御する。
 補正係数算出部300は、霞分布推定部109から転送されるデジタル映像信号と霞成分H(x,y)とに基づき、当該デジタル映像信号により取得される入力画像Iの各画素に対するコントラスト補正のための補正係数を算出する。この補正係数は、入力画像Iの各画素から注目画素をスキャンさせ、このときの注目画素を中心とする所定サイズの所定の領域内の、例えばR,G,Bのヒストグラムを基に算出する。補正係数算出部300は、R,G,Bのヒストグラムに基づき算出した補正係数に対して、霞成分H(x,y)の値に応じた重み係数を乗算し、当該重み係数の乗算後の補正係数を適応コントラスト補正部301へ転送する。 
 適応コントラスト補正部301は、補正係数算出部300から転送される各画素の補正係数を映像信号に乗算することでコントラスト補正を行う。
 ここで、補正係数算出部300と適応コントラスト補正部301とについて具体的に説明する。 
 補正係数算出部300は、例えば図3Aに示すような画像データのスキャン領域(小領域)F毎に階調補正のための補正係数(ゲイン係数)を算出する。この補正係数算出部300は、霞分布推定部109から転送されるデジタル映像信号により取得される入力画像Iにおいてコントラストが低い領域に対してコントラストを強調する補正を行うための補正係数を算出する。なお、補正係数算出部300では、霞成分を考慮しないで補正係数を算出する。
 具体的に補正係数算出部300は、図6Aに示すように入力画像Iに対して局所領域Eの内部をスキャンする。補正係数算出部300は、注目画素毎に、図6Bに示すような当該注目画素を中心とする局所領域E内のR値,G値,B値のヒストグラム(局所領域のヒストグラム)をそれぞれ生成する。図6Bのヒストグラムの横軸は、R値、G値又はB値の輝度成分を示し、縦軸は度数(画素数の度数)を示す。局所領域Eは、マトリックス状の所定サイズk×l(k,lは自然数)に形成され、当該マトリックスの中心が注目画素となる。
 補正係数算出部300は、入力画像Iにおける注目画素毎に生成された局所領域Eのヒストグラムを累積して図6Cに示すような累積ヒストグラムを生成する。図6Cに示す累積ヒストグラムの横軸は、R値、G値又はB値の輝度成分を示す。縦軸は、R値、G値又はB値の輝度成分に対応するカラー画素の累積度数(累積画素数)、又はR値、G値又はB値に対応するカラー画素の階調補正(ヒストグラム平坦化)後の出力値を示す。累積ヒストグラムから階調補正(ヒストグラム平坦化)を行う手法は、公知の画像処理技術を用いればよい。
 補正係数算出部300は、図6Cに示すような累積ヒストグラムに基づいて注目画素のR値,G値,B値に対する各補正係数(ゲイン係数)gainR,gainG,gainBを算出する。 
 ここで、注目画素(x,y)のR値,G値,B値の輝度成分をそれぞれI_r(x,y),I_g(x,y),I_b(x,y)とする。また、図6Cに示す累積ヒストグラムに基づき補正後の出力画像(補正画像)に対応して算出されるR値,G値,B値の輝度成分をそれぞれIo_r(x,y),Io_g(x,y),Io_b(x,y)とすると、 
 各補正係数gainR,gainG,gainBは、 
 gainR=Io_r(x,y)/I_r(x,y)       …(4) 
 gainG=Io_g(x,y)/I_g(x,y)       …(5) 
 gainB=Io_b(x,y)/I_b(x,y)       …(6) 
により算出される。
 すなわち、補正係数算出部300は、入力画像Iの画素毎に、局所領域のヒストグラムの平坦化のための各補正係数gainR,gainG,gainBを算出する。各補正係数gainR,gainG,gainBは、入力画像Iの画素の複数あるカラーチャンネルR,G,B毎に乗算するゲイン係数である。このように各補正係数gainR,gainG,gainBは、注目画素を中心とする局所領域Eが指定され、この局所領域E内の画素情報(例えばヒストグラム、最大値・最小値など)を用いて算出される。
 この補正係数算出部300は、算出した各補正係数(ゲイン係数)gainR,gainG,gainBを適応コントラスト補正部301に転送する。 
 なお、上記補正係数はR,G,Bのヒストグラムを利用して算出しているが、それに限ることはなく、例えば輝度信号のヒストグラムに基づき算出することも可能である。また、上記階調補正後の出力値を累積ヒストグラムを利用して算出しているが、それに限ることはなく、例えば上記ヒストグラムの情報に基づき生成される線形関数、非線形関数、折れ線近似関数等を基に算出することも可能である。
 適応コントラスト補正部(適応階調補正部)301は、霞分布推定部109の霞成分推定部200により推定された霞成分H(x,y)と補正係数算出部300により算出された各補正係数gainR,gainG,gainBとに基づいて画像データの霞成分H(x,y)に応じた適応的な階調補正(コントラスト補正)を行う。すなわち、適応コントラスト補正部301は、霞成分推定部200により推定される霞成分H(x,y)と、補正係数算出部300により算出される各補正係数gainR,gainG,gainBとを入力し、これら霞成分H(x,y)と各補正係数gainR,gainG,gainBとに基づいて入力画像Iの画素毎にゲイン乗算によるコントラスト補正を行う。
 すなわち、適応コントラスト補正部301は、図7に示すように入力画像Iの画素毎の霞成分H(x,y)に応じて各補正係数gainR,gainG,gainBの調節を行う。適応コントラスト補正部301は、調節後の各補正係数gainR,gainG,gainBを各画素の画素値に対して乗算を行い、コントラスト補正の行われた補正画像Qを得る。
 適応コントラスト補正部301は、入力画像Iにおける霞の濃い領域すなわち高輝度でかつ低彩度な領域に対して各補正係数gainR,gainG,gainBを元の値を保持するように調整し、かつ霞の薄い領域すなわち低輝度又は高彩度な領域に対して各補正係数gainR,gainG,gainBを1.0に近づけるように調整する。
 具体的に適応コントラスト補正部301は、霞成分推定部200により推定される霞成分H(x,y)に基づいて補正係数算出部300により算出される各補正係数gainR,gainG,gainBの重み付けを行う。適応コントラスト補正部301は、重み付けにより調整された各補正係数gainR’,gainG’,gainB’を用いて各画素に対するコントラスト補正を行う。適応コントラスト補正部301は、、正規化係数算出部301aと、係数変換部301bとを含む。
 正規化係数算出部301aは、霞成分推定部200により推定された霞成分H(x,y)を画素値の最大値と、画像内の霞成分H(x,y)の最大値等により正規化した正規化係数とを算出する。 
 係数変換部301bは、正規化係数算出部301aにより算出される正規化係数に基づいて補正係数算出部300により算出される各補正係数gainR,gainG,gainBを重み付けされた各補正係数gainR’,gainG’,gainB’に変換する。 
 この係数変換部301bは、補正係数算出部300により算出される各補正係数gainR,gainG,gainBを、正規化係数算出部301aにより算出される正規化係数が大きい程、各補正係数gainR,gainG,gainBの値を保持させるように変換し、かつ正規化係数が小さい程、各補正係数gainR,gainG,gainBの値を1.0に近づけるように変換する。
 具体的に、補正強度パラメータをStrengthとすると、重み付けにより調整された各補正係数gainR’,gainG’,gainB’は、 
 gainR’=1.0+(gainR-1.0)*H(x,y)/255*Strength  …(7) 
 gainG’=1.0+(gainG-1.0)*H(x,y)/255*Strength  …(8) 
 gainB’=1.0+(gainB-1.0)*H(x,y)/255*Strength  …(9) 
により算出される。
 各補正係数gainR’,gainG’,gainB’によれば、霞成分H(x,y)があると考えられる高輝度かつ低彩度の領域では、霞成分H(x,y)が大きな値となるので、当該各補正係数gainR’,gainG’,gainB’は、元の値gainR,gainG,gainBの大きさが保持されるように調整される。 
 これに対して霞成分H(x,y)が無いと考えられる低輝度又は高彩度の領域では、霞成分H(x,y)が小さな値となるので、当該各補正係数gainR’,gainG’,gainB’は、1.0に近い値となるように調整される。 
 すなわち、各補正係数gainR’,gainG’,gainB’による調整は、霞が濃い領域に対して補正強度を高くし、霞が薄い領域に対して補正強度を低くする。
 各画素に対するコントラスト補正は、重み付けにより調整された各補正係数gainR’,gainG’,gainB’を用いて行われる。各画素に対するコントラスト補正は、 
 I’_r(x,y)=I_r(x,y)*gainR’     …(10) 
 I’_g(x,y)=I_g(x,y)*gainG’     …(11) 
 I’_b(x,y)=I_b(x,y)*gainB’     …(12) 
により算出される。
 図8は第2霞補正部(階調補正部)111の一例の構成図を示す。第2霞補正部111は、画像全体に対して一意の階調補正を行うもので、補正関数算出部400と、一意コントラスト補正部401とを含む。 
 補正関数算出部400は、一意コントラスト補正部401と接続されている。一意コントラスト補正部401は、圧縮部112に接続されている。制御部114は、補正関数算出部400と、一意コントラスト補正部401との双方を制御する。
 補正関数算出部400は、霞分布推定部109から転送されるデジタル映像信号に基づき、コントラスト補正のための補正関数を算出する。この補正関数は、例えば画像全体の輝度ヒストグラムを基に算出されるもので、例えば線形関数、非線形関数、又は折れ線近似関数等を含む。補正関数算出部400は、算出した補正関数の情報を一意コントラスト補正部401へ転送する。 
 一意コントラスト補正部401は、補正関数算出部400から転送される補正関数に基づき、デジタル映像信号に対するコントラスト補正を行う。すなわち、この一意コントラスト補正部401は、霞分布推定部109から転送されるデジタル映像信号により得られる入力画像Iの輝度・色信号からコントラスト補正を行うための補正関数を用いて入力画像Iの全体に対して一意のコントラスト補正を行う。
 圧縮部112は、第1霞補正部110、又は第2霞補正部111から転送されたデジタル映像信号に対して公知のJPEG又はMPEG等の圧縮処理を行って出力部113に転送する。 
 出力部113は、圧縮部112から転送された圧縮処理後のデジタル映像信号をメモリカード等に記録する。出力部113は、圧縮部112から転送されたデジタル映像信号を別途ディスプレイに表示してもよい。
 制御部114は、マイクロコンピュータ等から成る。制御部114は、A/D変換器104と、測光評価部106と、レンズ制御部107と、信号処理部108と、霞分布推定部109と、第1霞補正部110と、第2霞補正部111と、圧縮部112と、出力部113との間でそれぞれデータ等の授受を行い、かつ当該各部をそれぞれ制御する。制御部114には、外部I/F部115が接続されている。外部I/F部115は、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを含む。
 次に、上記の通り構成された装置による撮影動作について図9に示す撮影動作フローチャートを参照して説明する。 
 外部I/F部115に対して操作が行われると、当該外部I/F部115は、ステップS1において、操作入力された撮影に関する各種設定、例えば各種信号、ヘッダ情報等を制御部114に送る。又、外部I/F部115の記録ボタンが押下されると、制御部114は、撮影モードに切り替わる。
 撮影モードにおいて、レンズ系100からの光像が撮像センサ102に入射すると、この撮像センサ102は、レンズ系100からの光像を受光し、アナログ映像信号を出力する。このアナログ映像信号は、A/D変換器104によってデジタル映像信号に変換され、バッファ105に送られる。バッファ105は、A/D変換器104から転送されるデジタル映像信号を一時的に保存する。 
 信号処理部108は、ステップS2において、バッファ105に保存されているデジタル映像信号に対して公知の補間処理、WB補正処理、ノイズ低減処理などの画像処理を行い、当該画像処理後のデジタル映像信号を霞分布推定部109に転送する。
 この霞分布推定部109は、ステップS3において、図10に示す霞分布推定の動作フローチャートに従い、信号処理部108から転送されたデジタル映像信号から霞成分を推定し、当該霞成分の分布情報に基づいて第1霞補正部110又は第2霞補正部111のうちいずれかにより霞補正を行うのかを決定する。 
 具体的に、霞成分推定部200は、ステップS10において、信号処理部108から転送されるデジタル映像信号を入力し、このデジタル映像信号により得られる座標(x,y)の各画素におけるR値,G値,B値に基づいて当該各画素の霞成分H(x,y)の推定を行う。
 すなわち、霞成分推定部200は、図3Aに示すように信号処理部108から転送されるデジタル映像信号により取得される入力画像Iに対して所定サイズのスキャン領域(小領域)Fを設定する。霞成分推定部200は、入力画像I上にスキャン領域Fをスキャンし、注目画素となる入力画像I上の画素のスキャン領域F毎にmin(Ir,Ig,Ib)を算出し、このmin(Ir,Ig,Ib)を霞成分H(x,y)とする(上記式(1))。 
 霞成分H(x,y)は、高輝度かつ低彩度な領域において大きな値となる、つまり劣化度が大きいものと見なすことができる。 
 この霞成分H(x,y)は、低輝度や高彩度の領域において小さな値となる。つまり、劣化度が小さいものと見なすことができる。 
 霞成分推定部200は、霞成分H(x,y)を霞ヒストグラム生成部201に転送する。
 霞ヒストグラム生成部201は、ステップS11において、霞成分推定部200から転送される霞成分H(x,y)の値の頻度をカウントし、例えば図4A及び図4Bに示すような霞成分H(x,y)のヒストグラムを生成する。霞ヒストグラム生成部201は、霞成分H(x,y)のヒストグラムを生成すると共に、当該ヒストグラムから標準偏差σ、平均値a等を求める。
 図4Aに示す画像は、全体に一様な霞がかかり、全体が高輝度かつ低彩度を示す。この画像の霞成分H(x,y)のヒストグラムは、比較的高い値の位置に山を持ち、レンジが狭いものとなっている。 
 図4Bに示す画像は、霞のかかる領域と霞のない領域が混在する。この画像の霞成分H(x,y)のヒストグラムは、低い値から高い値まで広い範囲で分布し、レンジが広くなっている。 
 霞ヒストグラム生成部201は、霞成分H(x,y)のヒストグラムを補正方式判定部202に転送すると共に、当該霞成分H(x,y)のヒストグラムから得られる標準偏差σ、平均値a、最大値と最小値との差、又は最大値と最小値との比等の指標も補正方式判定部202に転送する。
 補正方式判定部202は、ステップS12において、霞ヒストグラム生成部201から転送された霞成分H(x,y)のヒストグラムの情報に基づいてコントラストの補正方式が適応的コントラスト補正を行う第1補正方式であるのか、又は一意のコントラスト補正を行う第2補正方式であるのかを判定する。
 画像上において霞のかかっている領域は、低コントラストになる。当該霞の影響を抑制し、視認性を高めるためには、コントラストを強調する処理を行うことがよい。従って、霞のかかっている領域に対しては、当該領域毎に適応的コントラスト補正を行う。 
 一方、画像全体のヒストグラムのレンジが狭い場合には、画像全体に一意のコントラスト補正をかける方が隣接画素間の画素値の差が小さくなり、当該一意のコントラスト補正をかけることが適している。
 従って、補正方式判定部202は、図9に示すステップS4において、画像全体に対する霞成分H(x,y)の分布が広い場合、画像内の一部に霞のかかる領域が含まれると判断し、適応的コントラスト補正を適用すると判定する。すなわち、補正方式判定部202は、上記式(2)に示すように、標準偏差σと閾値thとを比較する。 
 比較の結果、σ >= thであれば、補正方式判定部202は、例えば図4Bに示すように霞のかかる領域と霞のない領域が混在し、霞成分H(x,y)の値のレンジが広い画像であると判断する。この判断の結果、補正方式判定部202は、当該画像に対して適応的コントラスト補正を行う第1補正方式(第1霞補正部110)を選択する。
 一方、補正方式判定部202は、同ステップS4において、画像全体に対する霞成分H(x,y)の分布が狭い場合、画像全体に一様に霞がかかっていると判断し、一意のコントラスト補正を適用すると判定する。すなわち、補正方式判定部202は、上記式(3)に示すように、標準偏差σと閾値thとを比較する。比較の結果、σ < thであれば、補正方式判定部202は、例えば図4Aに示すように全体に一様な霞がかかり、画像全体に対する霞成分H(x,y)の分布が狭い画像であると判断する。この判断の結果、補正方式判定部202は、当該画像に対して一意のコントラスト補正を行う第2補正方式(第2霞補正部111)を選択する。
 従って、補正方式判定部202は、第1補正方式と判定すると、信号処理部108から転送されるデジタル映像信号を第1霞補正部110へ転送する。一方、第2補正方式と判定すると、補正方式判定部202は、信号処理部108から転送されるデジタル映像信号を第2霞補正部111へ転送する。
 上記補正方式の判定の結果、第1補正方式(第1霞補正部110)が選択されると、この第1霞補正部110は、図11に示す適応的コントラスト補正の動作フローチャートに従い、信号処理部108から転送されたデジタル映像信号を入力する。第1霞補正部110は、デジタル映像信号における例えば霞の影響によりコントラストが低下した領域に対してコントラストを強調する補正を行う。この補正されたデジタル映像信号は、圧縮部112に転送される。
 具体的に、第1霞補正部110の補正係数算出部300は、ステップS20において、霞分布推定部109から転送されるデジタル映像信号と霞成分H(x,y)とに基づき、当該デジタル映像信号により取得される入力画像Iの各画素に対するコントラスト補正のための補正係数を算出する。 
 より具体的に、補正係数算出部300は、図6Aに示すように、霞分布推定部109から転送されるデジタル映像信号により取得される入力画像Iに対して局所領域Eの内部をスキャンする。補正係数算出部300は、注目画素毎に、図6Bに示すような当該注目画素を中心とする局所領域E内の例えばR値,G値,B値の局所領域Eのヒストグラムをそれぞれ生成する。補正係数算出部300は、局所領域E内のヒストグラムを累積して図6Cに示すような累積ヒストグラムを生成する。補正係数算出部300は、累積ヒストグラムに基づいて注目画素のR値,G値,B値に対する補正係数(ゲイン係数)、すなわち入力画像Iの画素毎に、局所領域のヒストグラムの平坦化のための各補正係数gainR,gainG,gainBを上記式(4)乃至(6)により算出する。補正係数算出部300は、算出した各補正係数(ゲイン係数)gainR,gainG,gainBを適応コントラスト補正部301に転送する。
 適応コントラスト補正部301は、ステップS23において、補正係数算出部300から転送される各画素の補正係数をデジタル映像信号に乗算することでコントラスト補正を行う。 
 具体的に、適応コントラスト補正部301は、図7に示すように入力画像Iの画素毎の霞成分H(x,y)に応じて各補正係数gainR,gainG,gainBの調節を行い、これら調節後の各補正係数gainR,gainG,gainBを各画素の画素値に対して乗算を行い、コントラスト補正の行われた補正画像Qを得る。
 適応コントラスト補正部301は、入力画像Iにおける霞の濃い領域すなわち高輝度でかつ低彩度な領域に対して各補正係数gainR,gainG,gainBを元の値を保持するように調整し、かつ霞の薄い領域すなわち低輝度又は高彩度な領域に対して各補正係数gainR,gainG,gainBを1.0に近づけるように調整する。すなわち、適応コントラスト補正部301は、霞成分推定部109により推定される霞成分H(x,y)に基づいて補正係数算出部300により算出される各補正係数gainR,gainG,gainBの正規化すなわち重み付けを行う。適応コントラスト補正部301は、重み付けにより調整された各補正係数gainR’,gainG’,gainB’を用いて各画素に対するコントラスト補正を行う。
 より具体的に、適応コントラスト補正部301の正規化係数算出部301aは、ステップS21において、霞成分推定部200により推定された霞成分H(x,y)を正規化した正規化係数を算出する。 
 係数変換部301bは、ステップS22において、正規化係数算出部301aにより算出される正規化係数に基づいて補正係数算出部300により算出される各補正係数gainR,gainG,gainBを重み付けされた各補正係数gainR’,gainG’,gainB’に変換する。 
 この係数変換部301bは、補正係数算出部300により算出される各補正係数gainR,gainG,gainBを、正規化係数算出部301aにより算出される正規化係数が大きい程、各補正係数gainR,gainG,gainBの値を保持するように変換し、かつ正規化係数が小さい程、各補正係数gainR,gainG,gainBの値を1.0に近づくように変換する。
 具体的に、補正強度パラメータをStrengthとすると、重み付けにより調整された各補正係数gainR’,gainG’,gainB’は、上記式(7)乃至(9)により算出される。各補正係数gainR’,gainG’,gainB’によれば、高輝度かつ低彩度の領域では、霞成分H(x,y)が大きな値となるので、当該各補正係数gainR’,gainG’,gainB’は、元の値gainR,gainG,gainBの大きさが保持されるように調整される。
 これに対して低輝度又は高彩度の領域では、霞成分H(x,y)が小さな値となるので、当該各補正係数gainR’,gainG’,gainB’は、1.0に近い値となるように調整される。すなわち、各補正係数gainR’,gainG’,gainB’による調整は、霞が濃い領域に対して補正強度を高くし、霞が薄い領域に対して補正強度を低くする。
 各画素に対するコントラスト補正は、重み付けにより調整された各補正係数gainR’,gainG’,gainB’を用いて行われる。各画素に対するコントラスト補正は、上記式(10)乃至(12)により算出される。
 上記補正方式の判定の結果、第2補正方式(第2霞補正部111)が選択されると、当該第2霞補正部111は、図12に示す一意のコントラスト補正の動作フローチャートに従い、画像全体に対して一意の階調補正を行う。
 第2霞補正部111の補正関数算出部400は、ステップS30において、霞分布推定部109から転送されるデジタル映像信号に基づいてコントラスト補正のための補正関数を算出する。当該補正関数は、例えば画像全体の輝度ヒストグラムを基に算出されるもので、例えば線形関数、非線形関数、又は折れ線近似関数等を含む。補正関数算出部400は、算出した補正関数の情報を一意コントラスト補正部401へ転送する。
 一意コントラスト補正部401は、ステップS31において、補正関数算出部400から転送される補正関数に基づき、デジタル映像信号に対するコントラスト補正を行う。すなわち、一意コントラスト補正部401は、霞分布推定部109から転送されるデジタル映像信号により得られる入力画像Iの輝度・色信号からコントラスト補正を行うための補正関数を決定し、当該決定した補正関数を用いて入力画像Iの全体に対して一意のコントラスト補正を行う。
 圧縮部112は、ステップS7において、第1霞補正部110又は第2霞補正部111から転送されたデジタル映像信号に対して公知のJPEG、又はMPEG等の圧縮処理を行って出力部113に転送する。 
 出力部113は、ステップS8において、圧縮部112から転送された圧縮処理後のデジタル映像信号をメモリカード等に記録する。出力部113は、圧縮部112から転送されたデジタル映像信号を別途ディスプレイに表示してもよい。
 このように上記第1の実施の形態によれば、画像全体に対する霞成分H(x,y)の分布を求め、この霞成分H(x,y)の分布が広い場合には、画像内の一部に霞のかかる領域が含まれると判断して適応的コントラスト補正を行い、一方、霞成分H(x,y)の分布が狭い場合には、画像全体に一様に霞がかかっていると判定して一意のコントラスト補正を行う。例えば図4Aに示すように全体に一様な霞がかかり、画像全体に対する霞成分H(x,y)の分布が狭い画像に対しては、一意のコントラスト補正が行われる。例えば図4Bに示すように霞のかかる領域と霞のない領域が混在し、霞成分H(x,y)の値のレンジが広い画像に対しては、適応的コントラスト補正が行われる。これにより霞のかかっている領域のみにコントラスト補正を行うことができる。このように霞成分の濃淡を推定し、画像に対する霞成分の分布に応じて適した階調補正を行うことにより、違和感なく視認性を向上し、高品位な画像を得ることができる。
 適応コントラスト補正部301では、入力画像Iにおける霞成分の濃い領域すなわち高輝度でかつ低彩度な領域に対して各補正係数gainR,gainG,gainBの値を保持するように調整し、かつ霞成分の薄い領域すなわち低輝度又は高彩度な領域に対して各補正係数gainR,gainG,gainBを1.0に近付けるように調整するので、霞の濃い又は薄い等の濃度に応じて霞の影響によりコントラストが低下した領域に対してコントラストを強調する補正を行うことができる。
[第1の実施の形態の変形例] 
 次に、本発明の第1の実施の形態の変形例について図面を参照して説明する。なお、当該変形例は、上記第1の実施の形態における霞分布推定部109の内部構成を変形したもので、上記図2と同一部分には同一符号を付してその詳しい説明は省略する。 
 図13は霞分布推定部109のブロック構成図を示す。霞分布推定部109は、上記霞ヒストグラム生成部201に代えて最大最小算出部203を設けている。これにより、霞成分推定部200には、最大最小算出部203を介して補正方式判定部202が接続されている。制御部114は、最大最小算出部203に対して双方向に信号の授受を行い、最大最小算出部203を制御する。
 最大最小算出部203は、霞成分推定部200から転送される霞成分H(x,y)の画像全体に対する最大値と最小値とを算出し、当該霞成分H(x,y)の最大値と最小値とを補正方式判定部202へ転送する。 
 補正方式判定部202は、最大最小算出部203から転送される最大値と最小値との差、又は最大値と最小値との比等の大きさに基づき補正方式を判定、すなわち第1霞補正部110又は第2霞補正部111のうちいずれかにより霞補正を行うのかを判定する。 
 具体的に、補正方式判定部202は、霞成分H(x,y)の最大値と最小値との差又は比を求め、この差又は比が大きければ、例えば図4Bに示すように霞のかかる領域と霞のない領域が混在し、かつ霞成分H(x,y)の値のレンジが広い画像であると判断し、当該画像に対して適応的コントラスト補正を行う第1補正方式(第1霞補正部110)を選択する。
 一方、補正方式判定部202は、霞成分H(x,y)の最大値と最小値との差又は比を求め、この差又は比が小さければ、例えば図4Aに示すように全体に一様な霞がかかり、かつ画像全体に対する霞成分H(x,y)の分布が狭い画像であると判断し、当該画像に対して一意のコントラスト補正を行う第2補正方式(第2霞補正部111)を選択する。 
 なお、霞成分H(x,y)の最大値と最小値との差又は比の大小は、例えば、当該差又は比と予め設定された閾値(所定値)とを比較して判定するようにすればよい。
 このように第1の実施の形態の変形例によれば、霞成分H(x,y)の画像全体に対する最大値と最小値との差又は比の大きさに基づいて第1霞補正部110又は第2霞補正部111のうちいずれかにより霞補正を行うのかを判定する。これにより、例えば図4Aに示すように全体に一様な霞がかかり、かつ画像全体に対する霞成分H(x,y)の分布が狭い画像と、図4Bに示すように霞のかかる領域と霞のない領域が混在し、かつ霞成分H(x,y)の値のレンジが広い画像とを判定することができ、当該各画像に応じて適応的コントラスト補正(第1霞補正部110)を行うのか、又は一意のコントラスト補正(第2霞補正部111)を行うのかを選択できる。
[第2の実施の形態] 
 次に、本発明の第2の実施の形態について図面を参照して説明する。なお、当該第2の実施の形態は、上記図1と同一部分には同一符号を付してその詳しい説明は省略し、相違する部分について説明する。 
 図14は画像処理装置を適用した撮像装置のブロック構成図を示す。本装置は、信号処理部108の出力側に対して第1霞補正部110と、第2霞補正部111と、霞分布推定部109とが並列接続され、かつ第1霞補正部110と、第2霞補正部111と、霞分布推定部109とが画像合成部116に接続されている。画像合成部116には、圧縮部112が接続されている。
 霞分布推定部109は、信号処理部108から転送されるデジタル映像信号に基づき、各画素の霞成分H(x,y)を推定する。霞分布推定部109は、画像全体の霞成分H(x,y)から当該霞成分の分布を推定し、この推定した霞成分H(x,y)の分布から画像合成部116にて使用する重み係数を算出する。霞分布推定部109は、推定した各画素の霞成分H(x,y)を第1霞補正部110へ転送すると共に、算出した重み係数を画像合成部116へ転送する。
 図15は当該霞分布推定部109の構成図を示す。霞分布推定部109は、上記補正方式判定部202に代えて重み係数算出部204を設けている。霞分布推定部109には、霞成分推定部200が設けられている。霞成分推定部200には、霞ヒストグラム生成部201を介して重み係数算出部204が接続されている。制御部114は、霞成分推定部200及び霞ヒストグラム生成部201に加え、重み係数算出部204と双方向に信号の授受を行い、重み係数算出部204を制御する。
 霞成分推定部200は、上記同様に、信号処理部108から転送されるデジタル映像信号を入力し、このデジタル映像信号により得られる座標(x,y)の各画素におけるR値,G値,B値に基づいて当該各画素の霞成分H(x,y)の推定を行う。
 霞ヒストグラム生成部201は、上記同様に、霞成分推定部200から転送される霞成分H(x,y)の値の頻度をカウントし、例えば図4A及び図4Bに示すような霞成分H(x,y)のヒストグラムを生成する。霞ヒストグラム生成部201は、霞成分H(x,y)のヒストグラムを生成と共に、当該ヒストグラムから標準偏差σ、平均値a、最大値と最小値との差、又は最大値と最小値との比等の指標を求める。
 重み係数算出部204は、霞成分推定部200から転送される霞成分H(x,y)のヒストグラムの情報に基づき、後段の画像合成部116による画像合成処理において用いる重み係数wを算出する。例えば、図16に示すように霞成分H(x,y)のヒストグラムの分布(横幅)の大きさΔHが広いほど1.0に近づくような重み係数wを次式(13)に示す算出式により算出する。 
 w=a・ΔH+b                  …(13) 
 ここで、a,bは重み係数wを算出する関数の係数、ΔHは霞成分H(x,y)のヒストグラム分布の大きさ(0~255)を示す。図17は重み係数w(=a・ΔH+b)のグラフを示す。
 重み係数算出部204は、霞成分推定部200から転送される霞成分H(x,y)のヒストグラム分布の大きさΔHが広く、例えば図4Bに示すように霞のかかる領域と霞のない領域が混在している可能性が高い画像であると判断すると、適応的コントラスト補正を行う第1霞補正部110の補正結果に大きな重み係数w(第1の重み係数)、例えば0.5よりも大きい重み係数wを算出する。
 重み係数算出部204は、霞成分推定部200から転送される霞成分H(x,y)のヒストグラム分布の大きさΔHが狭く、例えば図4Aに示すように全体に一様な霞がかかり、画像全体に対する霞成分H(x,y)の分布が狭い画像であると判断すると、一意のコントラスト補正を行う第2霞補正部111の補正結果に小さな重み係数w(第2の重み係数)、例えば0.5よりも小さな重み係数wを算出する。
 なお、上記式(13)に示す重み係数wの算出式は、線形な式となっているが、これに限らず、非線形関数の式、又は折れ線近似関数等でも対応可能である。 
 ヒストグラム分布の大きさを表す指標としては、ΔHを使用しているが、それに限ることはなく、例えばヒストグラム分布の最大値、最小値の比によりヒストグラム分布の大きさを測ることも可能である。
 画像合成部116は、霞分布推定部109から転送された重み係数wに基づき、第1霞補正部110から転送されるデジタル映像信号と第2霞補正部111から転送されるデジタル映像信号の加算合成を行う。 
 図18は画像合成部116による画像合成処理の概念図を示す。画像合成部116は、重み係数算出部204により算出された重み係数wに基づき、第1霞補正部110による適応的コントラスト補正を行った画像に対する重み付け(w=0.75)を行った画像IO1と、第2霞補正部111による一意のコントラスト補正を行った画像に対する重み付け(1-w=0.25)を行った画像IO2との画像合成を行う。この画像合成は、次式(14)を算出して求める。すなわち、画像合成後の出力画像Ioは、 
 Io=w・IO1 + (1-w)・IO2        ・・・(14) 
により得られる。 
 ここで、IO1は適応的コントラスト補正を行った後の画像を示し、IO2は一意のコントラスト補正を行った後の画像を示す。 
 次に、上記の通り構成された装置による撮影動作について図19に示す撮影動作フローチャートを参照して説明する。 
 霞分布推定部109は、ステップS40において、信号処理部108から転送されるデジタル映像信号に基づき、各画素の霞成分H(x,y)を推定する。霞分布推定部109は、画像全体の霞成分H(x,y)から当該霞成分の分布を推定し、この推定した霞成分H(x,y)の分布から画像合成部116にて使用する重み係数を算出する。霞分布推定部109は、推定した各画素の霞成分H(x,y)を第1霞補正部110へ転送すると共に、算出した重み係数を画像合成部116へ転送する。
 具体的に、霞分布推定部109は、図20に示す霞分布推定フローチャートに従って霞分布の推定を行う。霞成分推定部200は、ステップS50において、上記同様に、信号処理部108から転送されるデジタル映像信号を入力し、このデジタル映像信号により得られる座標(x,y)の各画素におけるR値,G値,B値に基づいて当該各画素の霞成分H(x,y)の推定を行う。
 霞ヒストグラム生成部201は、ステップS51において、上記同様に、霞成分推定部200から転送される霞成分H(x,y)の値の頻度をカウントし、例えば図4A及び図4Bに示すような霞成分H(x,y)のヒストグラムを生成する。霞ヒストグラム生成部201は、霞成分H(x,y)のヒストグラムを生成すると共に、当該ヒストグラムから標準偏差σ、平均値a、最大値と最小値との差、最大値と最小値との比、又はヒストグラムの分布の大きさΔH等の指標を求める。
 重み係数算出部204は、ステップS52において、霞ヒストグラム生成部201から転送される霞成分H(x,y)のヒストグラムの情報に基づき、画像合成部116による画像合成処理において用いる重み係数wを上記式(13)により算出する。重み係数wは、上記図16に示すように霞成分H(x,y)のヒストグラムの分布の大きさΔHが広いほど1.0に近づく値を示す。
 具体的に、重み係数算出部204は、霞ヒストグラム生成部201から転送される霞成分H(x,y)のヒストグラム分布の大きさΔHが広く、例えば図4Bに示すように霞のかかる領域と霞のない領域が混在している可能性が高い画像であると判断すると、適応的コントラスト補正を行う第1霞補正部110の補正結果に対して大きな重み係数w、例えば0.5よりも大きな重み係数wを算出する。
 重み係数算出部204は、霞ヒストグラム生成部201から転送される霞成分H(x,y)のヒストグラム分布の大きさΔHが狭く、例えば図4Aに示すように全体に一様な霞がかかり、かつ画像全体に対する霞成分H(x,y)の分布が狭い画像であると判断すると、適応的コントラスト補正を行う第1霞補正部110の補正結果に対して小さな重み係数w、例えば0.5よりも小さな重み係数wを算出する。 
 一方、第1霞補正部110は、ステップS5において、上記図11に示す適応的コントラスト補正の動作フローチャートに従って適応的コントラスト補正を行う。第1霞補正部110は、霞成分推定部200から転送される霞成分H(x,y)の値に応じて画素毎に、信号処理部108から転送されたデジタル映像信号において、霞の影響によりコントラストが低下した領域に対して適応的コントラスト補正を行う。第1霞補正部110は、適応的コントラスト補正を行ったデジタル映像信号を画像合成部116へ転送する。
 第2霞補正部111は、ステップS6において、上記図12に示す一意のコントラスト補正の動作フローチャートに従い、信号処理部108から転送されるデジタル映像信号に対して一意のコントラスト補正を行う。第2霞補正部111は、一意のコントラスト補正を行った映像信号を画像合成部116へ転送する。
 この画像合成部116は、ステップS41において、図18に示すように、第1霞補正部110により適応コントラスト補正された画像IO1と、第2霞補正部111により一意のコントラスト補正により補正された画像IO2とを、重み係数wと上記式(14)に基づいて算出することにより画像合成し、画像合成後の出力画像Ioを得る。
 圧縮部112は、ステップS7において、画像合成部116から転送されたデジタル映像信号に対して公知のJPEG、又はMPEG等の圧縮処理を行って出力部113に転送する。この出力部113は、ステップS8において、圧縮部112から転送された圧縮処理後のデジタル映像信号をメモリカード等に記録する。出力部113は、圧縮部112から転送されたデジタル映像信号を別途ディスプレイに表示してもよい。
 このように上記第2の実施の形態によれば、重み係数算出部204によって、霞成分H(x,y)のヒストグラム分布の大きさΔHが広く、例えば図4Bに示すように霞のかかる領域と霞のない領域が混在している可能性が高い画像であれば、適応的コントラスト補正の結果に大きな重み係数wを掛け、一意のコントラスト補正の結果に小さな重み係数(1-w)を掛ける。 
 霞成分H(x,y)のヒストグラム分布の大きさΔHが狭く、例えば図4Aに示すように全体に一様な霞がかかり、画像全体に対する霞成分H(x,y)の分布が狭い画像であれば、適応的コントラスト補正の結果に小さな重み係数wを掛け、一意のコントラスト補正の結果に大きな重み係数(1-w)を掛けて画像合成する。 
 これにより、適応的コントラスト補正と一意のコントラスト補正との合成画像によって視認性の向上と、補正後の違和感の小さい高品位な画像を得ることができる。
 なお、本発明は、上記各実施の形態に限定されるものでなく、次のように変形してもよい。 
 上記各実施の形態における劣化度としての霞成分H(x,y)は、霧成分及び白色成分を含むものである。 
 上記各実施の形態は、ハードウェアによる処理を前提としているが、これに限定されるものでなく、例えば、信号処理部108から出力されるデジタル映像信号を別途ソフトウェアにて処理する構成も可能である。
 上記各実施の形態は、信号処理部108から入力されるデジタル映像信号の各画素に対して霞成分推定や補正係数算出の処理を行っているが、これに限定されるものでなく、例えばデジタル映像信号のサイズを縮小した後に霞成分推定、補正係数算出の処理を行うことも可能である。 
 縮小画像に対して霞成分推定、補正係数算出の処理を行う場合は、コントラスト補正時に公知の補間処理(例えばバイリニア補間、バイキュービック補間など)にて霞成分と補正係数を元のサイズに拡大した後にコントラスト補正を行えばよい。
 さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
 100:レンズ系、101:絞り、102:撮像センサ、103:オートフォーカス用モータ(AFモータ)、104:A/D変換器、105:バッファ、106:測光評価部、107:レンズ制御部、108:信号処理部、109:霞分布推定部、110:第1霞補正部、111:第2霞補正部、112:圧縮部、113:出力部、114:制御部、115:外部I/F部、116:画像合成部、200:霞成分推定部、201:霞ヒストグラム生成部、202:補正方式判定部、203:最大最小算出部、204:重み係数算出部、300:補正係数算出部、301:適応コントラスト補正部、301a:正規化係数算出部、301b:係数変換部、400:補正関数算出部、401:一意コントラスト補正部。

Claims (15)

  1.  画像の劣化度を検出する劣化度検出部と、
     前記画像における前記劣化度の分布を推定する劣化度分布推定部と、
     前記劣化度の分布に応じて第1の階調補正方式又は第2の階調補正方式のうちいずれか一方を選択する補正方式選択部と、
     前記選択された前記第1又は前記第2の階調補正方式に基づいて前記画像を階調補正する階調補正部と、
    を具備することを特徴とする画像処理装置。
  2.  前記劣化度分布推定部は、前記劣化度のヒストグラムを生成する劣化度ヒストグラム生成部を含み、
     前記補正方式選択部は、前記劣化度の前記ヒストグラムの分布の広がりに応じて前記第1又は前記第2の階調補正方式を選択する、
    ことを特徴とする請求項1に記載の画像処理装置。
  3.  前記補正方式選択部は、前記劣化度の前記ヒストグラムの平均値、標準偏差値、最大値と最小値との差、又は前記最大値と前記最小値との比の各指標のうち少なくとも1つに基づいて前記第1又は前記第2の階調補正方式を選択することを特徴とする請求項2に記載の画像処理装置。
  4.  前記劣化度分布推定部は、前記画像の全体における前記劣化度の最大値と最小値とを算出する最大最小算出部を含み、
     前記補正方式選択部は、前記最大値と前記最小値との差又は比の大きさに応じて前記第1又は前記第2の階調補正方式を選択する、
    ことを特徴とする請求項1に記載の画像処理装置。
  5.  前記第1の階調補正方式は、前記画像の小領域毎の前記劣化度に基づいて適応的な階調補正を行い、
     前記第2の階調補正方式は、前記画像の全体に対して一意の階調補正を行う、
    ことを特徴とする請求項1に記載の画像処理装置。
  6.  前記補正方式選択部は、前記劣化度のヒストグラムの分布の広がりが所定値以上であれば、前記第1の階調補正方式を選択し、
     前記劣化度のヒストグラムの分布の広がりが前記所定値よりも小さければ、前記第2の階調補正方式を選択する、
    ことを特徴とする請求項5に記載の画像処理装置。
  7.  前記第1の階調補正方式は、前記画像の前記小領域毎に前記階調補正のための補正係数を算出する補正係数算出部と、
     前記劣化度に基づいて前記補正係数を調整し、前記適応的な前記階調補正を行う適応的コントラスト補正部と、
    を含むことを特徴とする請求項5に記載の画像処理装置。
  8.  前記第2の階調補正方式は、前記画像の輝度信号の分布及び/又は前記画像の色信号の分布から決定される補正関数に基づいて前記画像の全体に対して前記一意の階調補正を行うことを特徴とする請求項5に記載の画像処理装置。
  9.  画像の小領域毎の劣化度を検出する劣化度検出部と、
     前記画像における前記劣化度の分布を推定する劣化度分布推定部と、
     前記画像を第1の階調補正方式に基づいて階調補正して第1補正画像を生成する第1階調補正部と、
     前記画像を第2の階調補正方式に基づいて階調補正して第2補正画像を生成する第2階調補正部と、
     前記劣化度の分布の広がりに応じた重み係数を算出する重み係数算出部と、
     前記第1階調補正部により生成される前記第1補正画像と前記第2階調補正部により生成される前記第2補正画像とを前記重み係数に基づいて加算合成する画像合成部と、
    を具備することを特徴とする画像処理装置。
  10.  前記重み係数算出部は、前記劣化度の分布の広がりに応じて増加する前記重み係数を第1の重み係数として設定し、前記劣化度の分布の広がりに応じて減少する前記重み係数を第2の重み係数として決定し、
     前記画像合成部は、前記第1補正画像に対して前記第1の重み係数を乗算し、前記第2補正画像に対して前記第2の重み係数を乗算し、当該乗算後の前記第1補正画像と前記第2補正画像とを画像合成する、
    ことを特徴とする請求項9に記載の画像処理装置。
  11.  画像の劣化度を検出し、
     前記画像における前記劣化度の分布を推定し、
     前記劣化度の分布に応じて第1の階調補正方式又は第2の階調補正方式のうちいずれか一方を選択し、
     前記選択された前記第1又は前記第2の階調補正方式に基づいて前記画像を階調補正する、
    ことを特徴とする画像処理方法。
  12.  画像の小領域毎の劣化度を検出し、
     前記画像における前記劣化度の分布を推定し、
     前記画像を第1の階調補正方式に基づいて階調補正して第1補正画像を生成し、
     前記画像を第2の階調補正方式に基づいて階調補正して第2補正画像を生成し、
     前記劣化度の分布の広がりに応じた重み係数を算出し、
     前記第1階調補正部により生成される前記第1補正画像と前記第2階調補正部により生成される前記第2補正画像とを前記重み係数に基づいて加算合成する、
    ことを特徴とする画像処理方法。
  13.  画像の劣化度を検出させる劣化度検出機能と、
     前記画像における前記劣化度の分布を推定させる劣化度分布推定機能と、
     前記劣化度の分布に応じて第1の階調補正方式又は第2の階調補正方式のうちいずれか一方を選択させる補正方式選択機能と、
     前記選択された前記第1又は前記第2の階調補正方式に基づいて前記画像を階調補正させる階調補正機能と、
    を含む一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体。
  14.  画像の小領域毎の劣化度を検出させる劣化度検出機能と、
     前記画像における前記劣化度の分布を推定させる劣化度分布推定機能と、
     前記画像を第1の階調補正方式に基づいて階調補正して第1補正画像を生成させる第1階調補正機能と、
     前記画像を第2の階調補正方式に基づいて階調補正して第2補正画像を生成させる第2階調補正機能と、
     前記劣化度の分布の広がりに応じた重み係数を算出させる重み係数算出機能と、
     前記第1階調補正部により生成される前記第1補正画像と前記第2階調補正部により生成される前記第2補正画像とを前記重み係数に基づいて加算合成させる画像合成機能と、
    を含む一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体。
  15.  被写体からの光像を撮像する撮像素子と、
     前記撮像素子の撮像により取得される画像データの画質の劣化度を検出し、この劣化度に応じて前記画像データを補正する請求項1乃至10のうちいずれか1項に記載の画像処理装置と、
     前記画像処理装置により画像処理された前記画像データを出力する出力部と、
    を具備することを特徴とする撮像装置。
PCT/JP2015/054816 2014-04-07 2015-02-20 画像処理装置及び方法、一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体、撮像装置 WO2015156041A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP15776404.4A EP3131281B1 (en) 2014-04-07 2015-02-20 Image processing apparatus and method, recording medium on which temporarily computer-readable image processing program has been stored, and image pickup apparatus
CN201580017978.1A CN106134180B (zh) 2014-04-07 2015-02-20 图像处理装置和方法、存储能够由计算机临时读取的图像处理程序的记录介质、摄像装置
US15/284,631 US9978128B2 (en) 2014-04-07 2016-10-04 Image processing appartatus and method, recording medium storing image processing program readable by computer, and imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-078922 2014-04-07
JP2014078922A JP5911525B2 (ja) 2014-04-07 2014-04-07 画像処理装置及び方法、画像処理プログラム、撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/284,631 Continuation US9978128B2 (en) 2014-04-07 2016-10-04 Image processing appartatus and method, recording medium storing image processing program readable by computer, and imaging apparatus

Publications (1)

Publication Number Publication Date
WO2015156041A1 true WO2015156041A1 (ja) 2015-10-15

Family

ID=54287622

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/054816 WO2015156041A1 (ja) 2014-04-07 2015-02-20 画像処理装置及び方法、一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体、撮像装置

Country Status (5)

Country Link
US (1) US9978128B2 (ja)
EP (1) EP3131281B1 (ja)
JP (1) JP5911525B2 (ja)
CN (1) CN106134180B (ja)
WO (1) WO2015156041A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107682594A (zh) * 2016-08-01 2018-02-09 奥林巴斯株式会社 图像处理装置、摄像装置、图像处理方法和存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112016002322T5 (de) * 2015-05-22 2018-03-08 Mitsubishi Electric Corp. Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Programm, das Programm aufzeichnendes Aufzeichnungsmedium, Bilderfassungsvorrichtung und Bildaufzeichnungs-/Bildwiedergabevorrichtung
JP6034529B1 (ja) * 2016-06-14 2016-11-30 九州電力株式会社 表面状態診断装置
US10496876B2 (en) * 2016-06-30 2019-12-03 Intel Corporation Specular light shadow removal for image de-noising
WO2020189774A1 (ja) * 2019-03-19 2020-09-24 オリンパス株式会社 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム
US11301974B2 (en) * 2019-05-27 2022-04-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image capturing apparatus, and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281312A (ja) * 2001-03-15 2002-09-27 Minolta Co Ltd 画像処理のための装置、方法及びプログラム
JP2009071768A (ja) * 2007-09-18 2009-04-02 Olympus Corp 画像信号処理装置および撮像装置
JP2010152536A (ja) * 2008-12-24 2010-07-08 Rohm Co Ltd 画像処理方法及びコンピュータプログラム
JP2012054659A (ja) * 2010-08-31 2012-03-15 Sony Corp 画像処理装置、画像処理方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158893A (ja) * 2000-11-22 2002-05-31 Minolta Co Ltd 画像補正装置、画像補正方法および記録媒体
US7480075B2 (en) * 2003-07-15 2009-01-20 Konica Minolta Business Technologies, Inc. Image processing apparatus, image processing method, and image processing program
JP2010278724A (ja) * 2009-05-28 2010-12-09 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP4795473B2 (ja) * 2009-06-29 2011-10-19 キヤノン株式会社 画像処理装置及びその制御方法
JP2015156600A (ja) * 2014-02-21 2015-08-27 株式会社 日立産業制御ソリューションズ 画像信号処理装置,画像信号処理方法,および撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281312A (ja) * 2001-03-15 2002-09-27 Minolta Co Ltd 画像処理のための装置、方法及びプログラム
JP2009071768A (ja) * 2007-09-18 2009-04-02 Olympus Corp 画像信号処理装置および撮像装置
JP2010152536A (ja) * 2008-12-24 2010-07-08 Rohm Co Ltd 画像処理方法及びコンピュータプログラム
JP2012054659A (ja) * 2010-08-31 2012-03-15 Sony Corp 画像処理装置、画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3131281A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107682594A (zh) * 2016-08-01 2018-02-09 奥林巴斯株式会社 图像处理装置、摄像装置、图像处理方法和存储介质

Also Published As

Publication number Publication date
US9978128B2 (en) 2018-05-22
CN106134180B (zh) 2019-06-21
EP3131281A1 (en) 2017-02-15
CN106134180A (zh) 2016-11-16
JP2015201731A (ja) 2015-11-12
EP3131281A4 (en) 2018-04-18
US20170024865A1 (en) 2017-01-26
JP5911525B2 (ja) 2016-04-27
EP3131281B1 (en) 2019-07-10

Similar Documents

Publication Publication Date Title
JP5901667B2 (ja) 画像処理装置及び方法、画像処理プログラム、撮像装置
JP5713752B2 (ja) 画像処理装置、及びその制御方法
JP4218723B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
KR100990904B1 (ko) 다수 영상의 생성 및 합성을 통한 영상 보정 장치 및 그 방법
WO2015156041A1 (ja) 画像処理装置及び方法、一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体、撮像装置
US7969480B2 (en) Method of controlling auto white balance
US20180061029A1 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program of image processing apparatus
US10672134B2 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program
US8493458B2 (en) Image capture apparatus and image capturing method
JP5392560B2 (ja) 画像処理装置および画像処理方法
US8526736B2 (en) Image processing apparatus for correcting luminance and method thereof
CN106575434B (zh) 图像处理装置、摄像装置以及图像处理方法
JP4850281B2 (ja) 画像信号処理装置、画像信号処理プログラム
JP2007329620A (ja) 撮影装置と映像信号処理プログラム
JP2007329619A (ja) 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム。
JP2011100204A (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器
JP2020162049A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5365881B2 (ja) 画像処理装置、画像処理方法
JP4857856B2 (ja) 彩度調整機能を有する電子カメラ、および画像処理プログラム
JP2004235700A (ja) 画像処理装置、画像処理方法、およびそのプログラム
JP2009004893A (ja) 画像処理装置およびこれを備える撮像システム
WO2009125665A1 (ja) 画像信号処理装置、撮像システム、画像信号処理プログラム、画像信号処理方法
JP2010130612A (ja) 撮像装置
JP2014127869A (ja) 撮像装置、撮像方法および撮像プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15776404

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015776404

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015776404

Country of ref document: EP