WO2015133098A1 - 画像処理装置、撮像装置、画像処理方法及びプログラムを記憶した記憶媒体 - Google Patents

画像処理装置、撮像装置、画像処理方法及びプログラムを記憶した記憶媒体 Download PDF

Info

Publication number
WO2015133098A1
WO2015133098A1 PCT/JP2015/001000 JP2015001000W WO2015133098A1 WO 2015133098 A1 WO2015133098 A1 WO 2015133098A1 JP 2015001000 W JP2015001000 W JP 2015001000W WO 2015133098 A1 WO2015133098 A1 WO 2015133098A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
illumination light
illumination
component
restored
Prior art date
Application number
PCT/JP2015/001000
Other languages
English (en)
French (fr)
Inventor
真人 戸田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US15/119,886 priority Critical patent/US20170053384A1/en
Priority to JP2016506122A priority patent/JP6436158B2/ja
Publication of WO2015133098A1 publication Critical patent/WO2015133098A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology

Definitions

  • the present invention relates to an image processing apparatus, an imaging apparatus, an image processing method, and a storage medium storing a program.
  • the outdoor shooting environment is fine particles floating in the atmosphere, such as water particles, smoke, sand dust, or dust in bad weather such as fog, hail, and hail (hereinafter sometimes referred to collectively as “haze”) May be included).
  • haze reflected light from an object to be imaged is diffused based on particles in the atmosphere while traveling along a route to a camera that is an imaging device.
  • the reflected light from the object is attenuated and reaches the camera sensor.
  • ambient light is diffused into particles in the atmosphere and reaches the camera sensor. Therefore, the light (observation light) irradiated to the camera sensor is a mixed light of the reflected light from the attenuated object and the diffused ambient light.
  • the captured image of the camera sensor is an image including a deterioration component that looks white.
  • Equation (1) The observation light I (x, ⁇ ) at the wavelength ⁇ at the pixel position x of the camera sensor is expressed by Expression (1) using the reflected light J (x, ⁇ ) and the ambient light A ( ⁇ ) at the same position.
  • t (x, ⁇ ) represents the transmittance of reflected light. If the atmospheric condition of the environment is uniform, t (x, ⁇ ) is calculated using the diffusion coefficient per unit distance (k ( ⁇ )) and the distance from the camera sensor to the object (d (x)). , Expressed as equation (2).
  • observation light I (x, ⁇ ) and the transmittance t (x) can be expressed as in Expression (3) and Expression (4).
  • Image restoration (estimation) technology that removes image degradation (influence of soot) based on particles in the atmosphere from images taken in such an environment is an object that is not attenuated from observation light I (x, ⁇ )
  • the reflected light J (x, ⁇ ) from is estimated.
  • the transmittance t (x) of the reflected light is estimated, and the reflected light J (x, ⁇ ) is calculated as shown in Expression (5).
  • Such an image restoration (estimation) technique is to estimate two pieces of information of reflected light J (x, ⁇ ) and transmittance t (x) from the observation light I (x, ⁇ ) for each pixel. is necessary. Therefore, such an image restoration technique becomes a defect setting problem in which no solution is found. For this reason, in order to estimate the optimum solution of the reflected light J (x, ⁇ ) and the transmittance t (x) in such an image restoration technique, some prior knowledge about the environment is required.
  • Non-Patent Document 1 Several techniques have been proposed so far to estimate the reflected light or transmittance and eliminate the effects of image degradation based on wrinkles. Among them, a technique for executing correction processing based on one image will be described with reference to Non-Patent Document 1 and Non-Patent Document 2.
  • Non-Patent Document 1 uses statistical knowledge as prior knowledge. This is a finding that, in general, a natural image in a state in which no wrinkles are applied has a pixel having a value of 0 in any of the color channels RGB around the pixel of interest.
  • the technique described in Non-Patent Document 1 is a technique for generating a restored image based on the statistical knowledge. Therefore, when there is no pixel having a value of 0 in any channel around the pixel of interest, the technique described in Non-Patent Document 1 indicates that the value does not become 0. It is considered.
  • the method described in Non-Patent Document 1 calculates the transmittance based on the channel values of the pixels around the target pixel.
  • Non-Patent Document 2 uses, as prior knowledge, decorrelation between the texture of an object and the distance to the object (the degree of superimposition of environmental light based on degradation processes such as wrinkles).
  • the technique described in Non-Patent Document 2 is a technique for separating reflected light and ambient light by paying attention to the non-correlation.
  • Non-Patent Document 1 and Non-Patent Document 2 In the method for removing degradation components such as wrinkles described in Non-Patent Document 1 and Non-Patent Document 2 described above, ambient light is uniformly irradiated, and the amount of ambient light irradiation is the same at each position in the shooting environment. Is assumed. However, when shooting using illumination light such as light, the amount of ambient light irradiation at each position in the shooting environment is not the same. Therefore, when photographing using illumination light, the methods described in Non-Patent Document 1 and Non-Patent Document 2 do not operate correctly when removing an image degradation component in a captured image and restoring the image. There was a point.
  • Non-Patent Document 1 and Non-Patent Document 2 have a problem that a captured image using illumination light cannot be corrected correctly.
  • An object of the present invention is to provide an image processing apparatus, an imaging apparatus, and an image processing method capable of appropriately correcting image degradation of an image photographed in an environment where illumination light at each position in the photographing environment is not uniformly irradiated. And providing a storage medium storing the program.
  • An image processing apparatus includes a captured image that is an image to be captured, an illumination superposition ratio that indicates the degree of the influence of attenuation or diffusion on the captured image based on particles in the atmosphere, and illumination light.
  • the reflected light restoration means for restoring the reflected light on the surface of the subject to be photographed, the illumination light is restored based on the restored reflected light, and the restored illumination light and the photographed image are restored.
  • Illumination light restoring means for generating an output image obtained by restoring the captured image based on the above.
  • An imaging device includes the above-described image device, a receiving unit that captures or receives a captured image, and an output unit that outputs an output image.
  • An image processing method includes a captured image that is an image to be captured, an illumination superposition ratio that indicates the degree of the influence of attenuation or diffusion on the captured image based on particles in the atmosphere, and illumination light. Based on the illumination light color that is the color information of the image, the reflected light on the surface of the subject is restored, the illumination light is restored on the basis of the restored reflected light, and the image is taken on the basis of the restored illumination light and the photographed image. An output image obtained by restoring the image is generated.
  • a storage medium storing a program includes a captured image that is an image to be captured, and an illumination superposition ratio that indicates the degree of the influence of attenuation or diffusion based on particles in the atmosphere of illumination light in the captured image.
  • the illumination light color which is the color information of the illumination light
  • the process of restoring the reflected light on the surface of the subject to be photographed the illumination light is restored based on the restored reflected light, and the restored illumination light and the photographed image
  • a program for causing a computer to execute processing for generating an output image obtained by restoring a captured image based on the above is stored.
  • the present invention can provide an effect of appropriately correcting image deterioration of an image taken in an environment where illumination light is not irradiated uniformly.
  • FIG. 1 is a block diagram showing an example of the configuration of the imaging apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the image processing apparatus according to the first embodiment.
  • FIG. 3 is a block diagram illustrating an example of the configuration of the wrinkle removal unit according to the first embodiment.
  • FIG. 4 is a block diagram illustrating an example of the configuration of the image processing apparatus according to the second embodiment.
  • FIG. 5 is a block diagram illustrating an example of the configuration of the image processing apparatus according to the third embodiment.
  • FIG. 6 is a block diagram illustrating an example of a configuration of an imaging apparatus according to the fourth embodiment.
  • FIG. 7 is a model diagram illustrating an example of a shooting environment irradiated with ambient light.
  • FIG. 8 is a model diagram illustrating an example of a shooting environment irradiated with illumination light.
  • FIG. 9 is a block diagram illustrating an example of the configuration of the information processing apparatus according to the modification.
  • FIG. 1 is a block diagram showing an example of the configuration of the imaging device 4 according to the first embodiment of the present invention.
  • the imaging device 4 includes an imaging unit 1, an image processing device 2, and an output unit 3.
  • the imaging unit 1 captures a captured image (I (x, ⁇ )) to be captured.
  • the imaging unit 1 includes, for example, an image sensor using a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). Note that the imaging unit 1 may receive an image to be captured from an imaging device (not shown). Therefore, the imaging unit 1 is also called a receiving unit.
  • the captured image I (x, ⁇ ) is generated based on the light detected by the image sensor, and thus corresponds to the observation light I (x, ⁇ ) in the background art.
  • the image processing apparatus 2 performs image degradation of the captured image I (x, ⁇ ) based on at least one of attenuation and diffusion based on particles (for example, soot) in the atmosphere of illumination light irradiated to the imaging target. For example, the deterioration component based on wrinkles) is corrected. Specifically, the image processing apparatus 2 restores the attenuation of the reflected light from the imaging target based on the diffused light based on the particles in the atmosphere of the illumination light. Then, the image processing apparatus 2 restores the attenuation of the illumination light based on the diffused light and the restored reflected light.
  • the image processing apparatus 2 corrects (restores) the captured image I (x, ⁇ ) based on the restored illumination light, and generates an output image O (x, ⁇ ). Therefore, the image processing apparatus 2 may be called a correction unit.
  • the output image O (x, ⁇ ) is also a corrected captured image.
  • the output image O (x, ⁇ ) is also a degradation-removed image.
  • the output unit 3 outputs the output image O (x, ⁇ ) generated by the image processing apparatus 2, that is, the corrected captured image I (x, ⁇ ).
  • the output unit 3 is, for example, a display or a printer.
  • FIG. 2 is a block diagram of the image processing apparatus 2 according to the first embodiment.
  • the image processing apparatus 2 includes an illumination light color estimation unit 11, a skeleton component extraction unit 12, an illumination superimposition rate estimation unit 13, and a wrinkle removal unit 14.
  • the illumination light color estimation unit 11 estimates illumination light color A ( ⁇ ), which is information on the color of illumination light, as environmental light in the shooting environment.
  • the estimation method of the illumination light color A ( ⁇ ) in the present embodiment is not particularly limited.
  • One method of estimating the illumination light color A ( ⁇ ) is to generate a light intensity intensity histogram at each wavelength and use a preset parameter ( ⁇ ) to determine the light intensity value of the upper ⁇ % intensity at each wavelength. Is the illumination light color A ( ⁇ ).
  • the skeletal component extraction unit 12 removes fine fluctuations in the image from the captured image I (x, ⁇ ), and includes an image in an image composed of a flat area part with a small pixel value fluctuation and a strong edge part with a large fluctuation.
  • the global structure (for example, the color or brightness of the flat area portion in the image) is extracted.
  • the global structure is referred to as a skeleton component (B (x, ⁇ )).
  • the method for extracting the skeleton component B (x, ⁇ ) in this embodiment is not particularly limited. As an example of a method for extracting the skeleton component B (x, ⁇ ), there is a method using total variation norm minimization.
  • the method using total variation norm minimization is a method related to a technique for removing a vibration component in an image.
  • This method uses an image (here, the captured image I (x, ⁇ )), and based on information obtained based on solving the minimization problem expressed by Equation (6), the skeleton component of the image Extract B (x, ⁇ ).
  • ⁇ is a parameter for controlling a preset vibration amount to be removed.
  • the method using the total variation norm minimization not only removes fine vibration components but also removes vibrations having a relatively wide period (low frequency) when combined with multi-resolution analysis.
  • the integral of the first term in parentheses in the equation (6) is an integral on the xy plane of all variations of the skeleton component B (x, ⁇ ).
  • the second term is the multiplication of the square of the two-dimensional norm of the difference between the captured image I (x, ⁇ ) and the skeleton component B (x, ⁇ ) by ⁇ / 2.
  • Expression (6) the description of “(x, ⁇ )” is omitted. “ ⁇ ” under “min” is a symbol (cup) indicating that everything is included. That is, equation (6) shows the minimum of all possible cases.
  • the illumination superposition rate estimation unit 13 uses the illumination light color A ( ⁇ ) and the skeleton component B (x, ⁇ ) as the illumination superposition rate c (x), and the illumination light at the time of emission in each pixel and the atmosphere The ratio of the illumination light reaching the camera sensor as a result of being diffused by the particles inside is estimated. That is, the illumination superimposition rate estimation unit 13 estimates the degree of the influence of attenuation or diffusion based on particles in the atmosphere of the illumination light.
  • the illumination superimposition rate c (x) is a value indicating the degree of the influence of attenuation or diffusion based on particles in the atmosphere of the illumination light.
  • k 1 is a parameter representing a predetermined ratio.
  • the ratio k 1 may be changed as shown in Expression (8) using, for example, the brightness lumi (x) around the target pixel.
  • k 1max and th 1 are preset parameters.
  • Equation (9) Two examples of the lightness lumi (x) calculation method are shown in Equation (9) and Equation (10).
  • the illumination overlay ratio c (x), if it exceeds the maximum value th 2 set in advance, performs the clip processing as in equation (11) may be adjusted so as not to exceed the maximum value.
  • the wrinkle removal unit 14 is an image corrected by removing deterioration components based on wrinkles based on the captured image I (x, ⁇ ), the illumination light color A ( ⁇ ), and the illumination superimposition ratio c (x).
  • An output image O (x, ⁇ ) is generated. That is, the soot removal unit 14 removes the diffused light based on the particles in the atmosphere of the illumination light irradiated to the imaging target from the captured image I (x, ⁇ ), and restores the attenuation of the reflected light of the imaging target. . Furthermore, the wrinkle removal unit 14 generates an output image O (x, ⁇ ) based on restoring the attenuation of the illumination light irradiated to the imaging target.
  • the soot removal unit 14 includes a reflected light restoration unit 21 and an illumination light restoration unit 22, as shown in FIG.
  • the reflected light restoration unit 21 removes the diffused light based on the illumination light from the captured image I (x, ⁇ ), and further attenuates the reflected light based on particles in the atmosphere in the path from the imaging target to the camera sensor. Restore. Based on this processing, the reflected light restoration unit 21 restores the reflected light D 1 (x, ⁇ ) on the surface of the photographic object.
  • An example of a specific method to recover the reflected light D 1 (x, ⁇ ), reflection light D 1 (x, ⁇ ), the input image I (x, ⁇ ), illumination color A (lambda) and the illumination overlay ratio Assuming that the relationship of c (x) is sufficiently approximate to the environment represented by Equation (1), there is a method of calculating as in Equation (12).
  • the reflected light restoration unit 21 uses the predetermined parameter k 2 to reduce the influence based on the difference from the past imaging environment or the estimation error of the illumination superimposition ratio c (x) as shown in Expression (13).
  • a method of calculating the reflected light D 1 (x, ⁇ ) may be used.
  • the reflected light restoration unit 21 uses the exponent value ⁇ calculated by using the predetermined parameter k 3 shown in Expression (14) to generate the reflected light D 1 (x, ⁇ ) as shown in Expression (15).
  • a calculation method may be used.
  • the reflected light restoration unit 21 uses the minimum value c min of the illumination superimposition ratio c (x) calculated as in Expression (16) as a mixed method of the calculation methods of Expression (13) and Expression (15). May be.
  • the reflected light restoration unit 21 calculates the temporary correction result D ′ 1 (x, ⁇ ) as in Expression (17), and uses the exponent value ⁇ ′ determined in Expression (18) to The method of calculating the reflected light D 1 (x, ⁇ ) by correcting D ′ 1 (x, ⁇ ) as in 19) may be used.
  • the illumination light restoration unit 22 restores diffusion or attenuation in the illumination light irradiated on the object to be photographed based on the reflected light D 1 (x, ⁇ ) on the surface of the photographing object generated by the reflected light restoration unit 21. Then, the illumination light restoration unit 22 generates an output image O (x, ⁇ ) from the captured image I (x, ⁇ ) based on the illumination light whose diffusion or attenuation is restored.
  • a method for generating the output image O (x, ⁇ ) a method of calculating using the predetermined parameter k 4 as shown in the equation (20), or using a predetermined parameter k 5 as shown in the equation (21). There is a method of calculating as shown in Expression (22) using the index value ⁇ 2 (x) calculated as described above.
  • the first embodiment in a dark environment such as at night or in a tunnel, for example, in an image illuminated with a light close to the imaging device 4 (for example, a camera), particles in the atmosphere (for example, soot) The image degradation based on is removed, and the influence based on the attenuation of the illumination light is restored. Therefore, the first embodiment can produce an effect that a high-quality image can be generated even when shooting is performed using illumination light such as a light.
  • illumination light such as a light.
  • the illumination light color estimation unit 11 estimates the illumination light color A ( ⁇ ).
  • the skeleton component extraction unit 12 extracts the skeleton component B (x, ⁇ ) of the captured image.
  • the illumination superposition rate estimation unit 13 estimates the illumination superposition rate c (x).
  • the wrinkle removal unit 14 corrects the image deterioration factor such as wrinkles based on the captured image I (x, ⁇ ), the illumination light color A ( ⁇ ), and the illumination superimposition rate c (x). This is because x, ⁇ ) is generated.
  • FIG. 4 is a block diagram showing an example of the configuration of the image processing apparatus 2 according to the second embodiment of the present invention.
  • the image processing apparatus 2 according to the second embodiment includes an illumination light color estimation unit 11, a skeleton component extraction unit 12, an illumination superimposition rate estimation unit 13, a wrinkle removal unit 14, and an exposure correction unit 15. .
  • the image processing device 2 according to the second embodiment is different from the image processing device 2 according to the first embodiment in that the exposure correction unit 15 is included.
  • Other configurations of the image processing apparatus 2 according to the second embodiment are the same as those of the image processing apparatus 2 according to the first embodiment. The same applies to the imaging unit 1 and the output unit 3 in the imaging device 4. Therefore, the description of the same configuration is omitted, and the operation of the exposure correction unit 15 specific to the present embodiment will be described below.
  • Exposure correction unit 15 an output image O to remove the degraded component output from the mist removal unit 14 (x, lambda) (first output image) to a group, the output to adjust the overall brightness of the image O 2 (x, ⁇ ) (referred to as a second output image or an exposure correction image) is generated.
  • image shooting is performed by appropriately setting the dynamic range of the amount of light received by the camera sensor for the shooting environment.
  • the correction executed by the wrinkle removal unit 14 virtually changes the shooting environment from the shot image I (x, ⁇ ) in the hazy environment to the output image O (x, ⁇ ) in the hazy environment. .
  • the dynamic range of the first output image O (x, ⁇ ) from which the degradation has been removed may be different from the dynamic range set by the imaging device 4 at the time of shooting.
  • the output image O (x, ⁇ ) from which deterioration has been removed may be too bright or too dark. Therefore, the exposure correction unit 15 corrects the first output image O (x, ⁇ ) from which the deterioration has been removed so as to set an appropriate dynamic range, and the second output image O 2 (x, ⁇ ) is corrected.
  • the second output image O 2 (x, ⁇ ) is a corrected captured image, and in particular, an image whose exposure is corrected so as to have an appropriate dynamic range.
  • the maximum value in the first output image O (x, ⁇ ) is expressed as shown in Expression (23).
  • the exposure correction unit 15 may use an average luminance value (ave) of the first output image O (x, ⁇ ) and an average luminance value (tar) that is a preset target value. That is, the exposure correction unit 15 calculates an average luminance value ave of the first output image O (x, ⁇ ), and converts the average luminance value ave into an average luminance value tar that is a preset target value. ⁇ 3 is calculated as shown in equation (24). Then, the exposure correction unit 15 corrects the first output image O (x, ⁇ ) using the exponent value ⁇ 3 as shown in Expression (25), and the second output image O 2 (x, ⁇ ) is corrected. It may be generated.
  • the second embodiment can produce an effect of obtaining an image with an appropriate dynamic range in addition to the effect of the first embodiment.
  • the reason is that the exposure correction unit 15 generates a second output image O 2 (x, ⁇ ) in which the dynamic range of the first output image O (x, ⁇ ) is appropriately corrected.
  • FIG. 5 is a block diagram showing an example of the configuration of the image processing apparatus 2 according to the third embodiment.
  • the image processing apparatus 2 includes an illumination light color estimation unit 11, a skeleton component extraction unit 12, an illumination superposition rate estimation unit 13, a wrinkle removal unit 14 ′, and an exposure correction unit 15 ′. , A texture component calculation unit 16 and a texture component correction unit 17.
  • the image processing device 2 according to the third embodiment includes the texture component calculation unit 16 and the texture component correction unit 17 as compared with the image processing device 2 according to the second embodiment. It is different. Furthermore, the image processing apparatus 2 according to the third embodiment is different in that it includes a wrinkle removal unit 14 ′ and an exposure correction unit 15 ′ instead of the wrinkle removal unit 14 and the exposure correction unit 15.
  • Other configurations of the image processing apparatus 2 according to the third embodiment are the same as those of the image processing apparatus 2 according to the first or second embodiment. The same applies to the imaging unit 1 and the output unit 3 in the imaging device 4. Therefore, the description of the same configuration is omitted, and the operations of the texture component calculation unit 16, the texture component correction unit 17, the wrinkle removal unit 14 ′, and the exposure correction unit 15 ′ will be described below.
  • the texture component calculation unit 16 is a component that represents a fine pattern (texture component or noise component) in the image that is the difference (residual) between the captured image I (x, ⁇ ) and the skeleton component B (x, ⁇ ) , Texture component T (x, ⁇ )) is calculated as in equation (26).
  • the wrinkle removal unit 14 ′ Similar to the wrinkle removal unit 14, the wrinkle removal unit 14 ′ generates a first output image O (x, ⁇ ) obtained by removing image degradation from the captured image I (x, ⁇ ). Furthermore, the wrinkle removal unit 14 ′ corrects the skeleton component B (x, ⁇ ) (first skeleton component) by applying the same processing, and removes the corrected degradation component skeleton component B 1 (x, ⁇ ). ) (Second skeletal component). That is, the second skeleton component B 1 (x, ⁇ ) is a skeleton component from which the degradation component is removed. More specifically, the illumination light restoration unit 22 performs the above processing based on the restored illumination light.
  • the exposure correction unit 15 ′ generates a second output image O 2 (x, ⁇ ) from the first output image O (x, ⁇ ) in the same manner as the exposure correction unit 15. Further, the exposure correction unit 15 ′ applies the same process to the second skeleton component B 1 (x, ⁇ ) from which the deterioration component has been removed, and the skeleton component B 2 (x, ⁇ ) (third value after correcting the exposure). Skeleton component).
  • the texture component correction unit 17 suppresses excessive enhancement of texture or noise amplification in the second output image O 2 (x, ⁇ ) generated based on the processing of the wrinkle removal unit 14 ′ and the exposure correction unit 15 ′. Then, a third output image O 3 (x, ⁇ ) with a corrected texture component is generated. Thus, the third output image O 3 (x, ⁇ ) is also a corrected captured image.
  • the texture component T 2 (x, ⁇ ) (second texture component) in the third output image O 3 (x, ⁇ ) is the second output image O 2 (x, ⁇ ) and the exposure correction skeleton component B 2.
  • (x, ⁇ ) (third skeleton component) the calculation is performed as in Expression (27).
  • a texture amplification factor r (x, ⁇ ) based on correction processing is calculated as shown in Equation (28).
  • a texture component T 3 (x, ⁇ ) (third texture component) in which excessive emphasis is suppressed as in Expression (29) using a preset upper limit value r max of the amplification factor is used. ) Is calculated.
  • Expression (30) removes vibration based on noise from the third texture component T 3 (x, ⁇ ) using the noise standard deviation ⁇ calculated from the camera characteristics and the amplification factor of the texture.
  • a texture component T 4 (x, ⁇ ) (fourth texture component) in which noise is suppressed is generated.
  • sgn (•) is a function representing a sign.
  • the texture component correction unit 17 combines the third skeleton component B 2 (x, ⁇ ) and the fourth texture component T 4 (x, ⁇ ) as shown in Expression (31), and outputs the third output image O. 3 Generate (x, ⁇ ).
  • the third embodiment can achieve an effect of obtaining an image in which excessive emphasis of texture and noise amplification are suppressed.
  • the texture component calculation unit 16 calculates the first texture component T (x, ⁇ ).
  • the wrinkle removal unit 14 ′ generates a second skeleton component B 1 (x, ⁇ ) in which image degradation is corrected in addition to the first output image O (x, ⁇ ).
  • the exposure correction unit 15 ′ In addition to the second output image O 2 (x, ⁇ ), the exposure correction unit 15 ′ generates a third skeleton component B 2 (x, ⁇ ) in which the exposure is corrected based on the second skeleton component.
  • the texture component correction section 17 a second output image O 2 (x, lambda) and third framework component B 2 (x, lambda) and a second texture component based on T 2 (x, lambda) Is calculated. Furthermore, in order to suppress excessive enhancement, the texture component correction unit 17 uses the first texture component T (x, ⁇ ) and the second texture component T 2 (x, ⁇ ) to A texture component T 3 (x, ⁇ ) is calculated. Furthermore, the texture component correction unit 17 generates a fourth texture component T 4 (x, ⁇ ) in which vibration based on noise is suppressed from the third texture component T 3 (x, ⁇ ).
  • the texture component correction unit 17 suppresses excessive enhancement of texture or noise amplification based on the third skeleton component B 2 (x, ⁇ ) and the fourth texture component T 4 (x, ⁇ ). This is to generate the third output image O 3 (x, ⁇ ).
  • FIG. 6 is a block diagram illustrating an example of the configuration of the imaging device 4 according to the fourth embodiment.
  • the imaging device 4 according to the fourth embodiment is different from the imaging device 4 according to the first to third embodiments in that the imaging device 4 according to the fourth embodiment includes an illumination device 30 and a setting unit. 31. Since the other configuration of the imaging device 4 according to the fourth embodiment is the same as that of the first to third embodiments, the description of the same configuration is omitted, and hereinafter, the illumination device 30 and the setting unit 31 will be described. explain.
  • the illumination device 30 is provided at a position close to the imaging unit 1 and irradiates the imaging target with illumination light as the imaging unit 1 starts imaging.
  • the illumination device 30 is, for example, a flash.
  • the setting unit 31 switches between execution and stop setting of correction processing for image deterioration (for example, wrinkles) in the image processing apparatus 2. Even in shooting in a hazy environment, there is a case where it is desired to intentionally reflect wrinkles on a captured image. In such a case, the user of the imaging device 4 can use the setting unit 31 to stop the image degradation correction process in the image processing device 2.
  • the imaging device 4 according to the fourth embodiment is provided at a position where the illumination device 30 is close to the imaging unit 1. Therefore, the captured image based on the illumination light of the illumination device 30 is easily affected by particles in the atmosphere.
  • the image processing apparatus 2 according to the fourth embodiment can achieve an effect of appropriately correcting the influence of wrinkles in the captured image.
  • the image processing device 2 included in the imaging device 4 corrects the influence of particles in the atmosphere based on the operations described in the first to third embodiments (first output image O ( This is because x, ⁇ ) to the third output image O 3 (x, ⁇ )) can be generated.
  • the imaging device 4 according to the fourth embodiment can produce an effect of generating an image reflecting the influence of wrinkles and the like.
  • the imaging device 4 according to the fourth embodiment includes a setting unit 31 that stops the image degradation correction process in the image processing device 2. Therefore, the user can use the setting unit 31 to stop the image degradation correction process and intentionally reflect image degradation such as wrinkles in the captured image.
  • the first to fourth embodiments described above are applicable not only to still images but also to moving images.
  • the image processing device 2 in the first to fourth embodiments can be incorporated as an image processing engine in various photographing devices or devices that process images.
  • the image processing apparatus 2 or the imaging apparatus 4 according to the first to fourth embodiments described above is configured as follows.
  • each component of the image processing device 2 or the imaging device 4 may be configured with a hardware circuit.
  • the image processing device 2 or the imaging device 4 may be configured using a plurality of devices in which each component is connected via a network.
  • the image processing apparatus 2 illustrated in FIG. 2 includes the wrinkle removal unit 14 illustrated in FIG. 3, and includes a device including the illumination light color estimation unit 11, a device including the skeletal component extraction unit 12, and illumination superposition via a network.
  • You may comprise with the apparatus connected with the apparatus containing the rate estimation part 13.
  • FIG. the image processing apparatus 2 receives the captured image I (x, ⁇ ), the long-lived superimposition rate c (x), and the illumination light color A ( ⁇ ) via the network, and based on the above-described operation.
  • the first output image O (x, ⁇ ) may be generated.
  • the wrinkle removal unit 14 illustrated in FIG. 3 is also the minimum configuration of the image processing apparatus 2.
  • the image processing device 2 or the imaging device 4 may be configured by a single piece of hardware.
  • the image processing device 2 or the imaging device 4 may be realized as a computer device including a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory).
  • the image processing device 2 or the imaging device 4 is realized as a computer device that further includes an input / output connection circuit (IOC: Input) / Output Circuit) and a network interface circuit (NIC: Network Interface Circuit). Also good.
  • IOC Input
  • NIC Network Interface Circuit
  • FIG. 9 is a block diagram showing an example of the configuration of the information processing apparatus 600 as the image processing apparatus 2 or the imaging apparatus 4 according to this modification.
  • the information processing apparatus 600 includes a CPU 610, a ROM 620, a RAM 630, an internal storage device 640, an IOC 650, and a NIC 680, and constitutes a computer device.
  • CPU 610 reads a program from ROM 620.
  • the CPU 610 controls the RAM 630, the internal storage device 640, the IOC 650, and the NIC 680 based on the read program.
  • the computer including the CPU 610 controls these components and implements the functions as the components shown in FIGS.
  • the CPU 610 may use the RAM 630 or the internal storage device 640 as a temporary storage of a program when realizing each function.
  • the CPU 610 may read a program included in the storage medium 700 storing the program so as to be readable by a computer by using a storage medium reading device (not shown). Alternatively, the CPU 610 may receive a program from an external device (not shown) via the NIC 680, store the program in the RAM 630, and operate based on the stored program.
  • ROM 620 stores programs executed by CPU 610 and fixed data.
  • the ROM 620 is, for example, a P-ROM (Programmable-ROM) or a flash ROM.
  • the RAM 630 temporarily stores programs executed by the CPU 610 and data.
  • the RAM 630 is, for example, a D-RAM (Dynamic-RAM).
  • the internal storage device 640 stores data and programs stored in the information processing device 600 for a long period of time. Further, the internal storage device 640 may operate as a temporary storage device for the CPU 610.
  • the internal storage device 640 is, for example, a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), or a disk array device.
  • the ROM 620 and the internal storage device 640 are non-transitory storage media.
  • the RAM 630 is a volatile storage medium.
  • the CPU 610 can operate based on a program stored in the ROM 620, the internal storage device 640, or the RAM 630. That is, the CPU 610 can operate using a nonvolatile storage medium or a volatile storage medium.
  • the IOC 650 mediates data between the CPU 610, the input device 660, and the display device 670.
  • the IOC 650 is, for example, an IO interface card or a USB (Universal Serial Bus) card.
  • the input device 660 is a device that receives an input instruction from an operator of the information processing apparatus 600.
  • the input device 660 is, for example, a keyboard, a mouse, or a touch panel.
  • the display device 670 is a device that displays information to the operator of the information processing apparatus 600.
  • the display device 670 is a liquid crystal display, for example.
  • the NIC 680 relays data exchange with an external device (not shown) via the network.
  • the NIC 680 is, for example, a LAN (Local Area Network) card.
  • the information processing apparatus 600 configured as described above can obtain the same effects as those of the image processing apparatus 2 or the imaging apparatus 4.
  • the CPU 610 of the information processing apparatus 600 can realize the same function as the image processing apparatus 2 or the imaging apparatus 4 based on the program.
  • photography image which is an imaging
  • the illumination superimposition rate which shows the extent of the influence of the attenuation
  • illumination which is the information of the color of illumination light
  • An image processing apparatus comprising: an illumination light restoration unit that restores the illumination light based on the restored reflected light and generates an output image obtained by restoring the photographed image based on the restored illumination light and the photographed image.
  • the image processing apparatus further comprising: an illumination superimposition ratio estimation unit that estimates the illumination superimposition ratio based on the estimated illumination light color and the skeleton component.
  • Appendix 3 The image processing apparatus according to appendix 2, including an exposure correction unit that adjusts and corrects the brightness of the output image.
  • the texture component calculation means which calculates the texture component which is the difference of the said picked-up image and the said skeleton line segment is included,
  • the illumination light restoring means restores the skeletal component based on the restored illumination light,
  • the exposure correction means corrects the restored skeleton component;
  • the image processing apparatus further comprising: a texture component correcting unit that corrects a texture component in the corrected output image based on the texture component and the corrected skeleton component.
  • Appendix 5 The image processing apparatus according to any one of appendices 1 to 4, Receiving means for capturing or receiving a captured image; An imaging device comprising: output means for outputting the output image.
  • Appendix 6 Illuminating means for irradiating the illumination light;
  • photography image which is an imaging
  • the illumination superimposition rate which shows the extent of the influence of the attenuation
  • illumination which is the information of the color of illumination light Based on the light color, the reflected light on the surface of the subject is restored
  • photography image which is an imaging
  • the illumination superimposition rate which shows the extent of the influence of the attenuation
  • the illumination which is the information of the color of illumination light Based on the light color, processing to restore the reflected light on the surface of the subject to be photographed;
  • a program is stored that restores the illumination light based on the restored reflected light and generates an output image obtained by restoring the photographed image based on the restored illumination light and the photographed image. Storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Color Image Communication Systems (AREA)
  • Endoscopes (AREA)

Abstract

　本発明の画像処理装置は、撮影対象の画像である撮影画像と、撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、撮影対象の表面における反射光を復元する反射光復元手段と、復元した反射光を基に照明光を復元し、復元した照明光と撮影画像とを基に撮影画像を復元した出力画像を生成する照明光復元手段とを含む。

Description

画像処理装置、撮像装置、画像処理方法及びプログラムを記憶した記憶媒体
　本発明は、画像処理装置、撮像装置、画像処理方法及びプログラムを記憶した記憶媒体に関する。
　野外の撮影環境は、霧・靄・霞などの悪天候時における水粒子、煙、砂塵、又は、粉塵などのような、大気中に漂う細かい粒子（以下、まとめて「霞など」とも呼ぶ場合もある）が含まれる場合がある。そのような撮影環境では、図７に示されるように、撮影対象となる物体からの反射光は、撮影装置であるカメラまでの経路を進む間に、大気中の粒子に基づいて拡散される。その結果、物体からの反射光は、減衰して、カメラセンサに到達する。また、同様に、環境光は、大気中の粒子に拡散されて、カメラセンサに到達する。そのため、カメラセンサに照射される光（観測光）は、減衰した物体からの反射光と拡散された環境光との混合光となる。その結果、カメラセンサにおける撮影画像は、白く霞んだような劣化成分が含まれる画像となる。
　カメラセンサの画素位置xにおける波長λの観測光I(x,λ)は、同位置における反射光J(x,λ)と環境光A(λ)とを用いて、式（１）で表される。ここで、式（１）における「t(x,λ)」は、反射光の透過率を表す。環境の大気の状態が均一である場合、t(x,λ)は、単位距離当たりの拡散係数（k(λ)）と、カメラセンサから物体までの距離（d(x)）とを用いて、式（２）のように表される。
Figure JPOXMLDOC01-appb-I000001
Figure JPOXMLDOC01-appb-I000002
　また、可視光波長領域の場合、大気中の粒子に基づく拡散は、波長が異なっても同一とみなすことができる。そのため、観測光I(x,λ)及び透過率t(x)は、式（３）及び式（４）のように表すことができる。
Figure JPOXMLDOC01-appb-I000003
Figure JPOXMLDOC01-appb-I000004
　このような環境で撮影された画像から大気中の粒子に基づく画像劣化（霞などの影響）を除去する画像復元（推定）技術は、観測光I(x,λ)から、減衰していない物体からの反射光J(x,λ)を推定する。具体的には、画像復元技術は、反射光の透過率t(x)を推定し、反射光J(x,λ)を式（５）のように算出する。
Figure JPOXMLDOC01-appb-I000005
　このような画像復元（推定）技術は、観測光I(x,λ)から、反射光J(x,λ)及び透過率t(x)の２つの情報を、画素毎に推定することが、必要である。そのため、このような画像復元技術は、解が見つからない不良設定問題となる。そのため、このような画像復元技術における反射光J(x,λ)及び透過率t(x)の最適解の推定には、環境についての何らかの事前知識が必要である。
　反射光又は透過率を推定して霞などに基づく画像劣化の影響を除去する技術は、これまでいくつか提案されている。それらのうち、１枚の画像を基に補正処理を実行する手法について、非特許文献１、非特許文献２を参照して説明する。
　非特許文献１に記載の手法は、事前知識として、統計的知見を用いる。それは、一般的に、霞などがかかっていない状況での自然画像には、注目画素周辺に、カラーチャネルRGBのいずれかのチャネルで、その値が０となる画素が存在するという知見である。そして、非特許文献１に記載の手法は、その統計的知見に基づいて、復元画像を生成する手法である。そのため、注目画素周辺に、いずれのチャネルでも値が０となる画素が存在しない場合、非特許文献1に記載の手法は、値が０とならないことを、霞などに基づく環境光の重畳の影響とみなす。そして、非特許文献1に記載の手法は、注目画素周辺の画素のチャネルの値を基に、透過率を算出する。
　また、非特許文献２に記載の手法は、事前知識として、物体のテクスチャと物体までの距離（霞などの劣化過程に基づく環境光の重畳の度合い）の無相関性を用いる。そして、非特許文献２に記載の手法は、上記の無相関性に着目して、反射光と環境光とを分離する手法である。
Kaiming He, Jian Sun, and Xiaou Tang, "Single Image Haze Removal Using Dark Channel Prior", IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 33, Issue 12, September 09, 2010 Raanan Fattal, "Single Image Dehazing", ACM Transactions on Graphics, Volume 27, Issue 3, August 2008 (ACM SIGGRAPH 2008)
　上述した非特許文献１及び非特許文献２に記載の霞などの劣化成分の除去方法は、環境光が一様に照射され、撮影環境内の各位置における環境光の照射量が同一であることを前提としている。しかし、ライトのような照明光を利用して撮影する場合、撮影環境内の各位置における環境光の照射量は、同一ではない。そのため、照明光を利用して撮影する場合、非特許文献１及び非特許文献２に記載の方法は、撮影画像における画像劣化成分を除去してその画像を復元する際に、正しく動作しないという問題点があった。
　例えば、図８に示されるように、撮影対象がカメラ及び照明から離れるほど、照明光は、経路中の大気中の粒子に基づいて減衰する。遠方の撮影対象ほど、弱い照明光が、照射される。つまり、撮影環境内の各位置における照明に基づく照明光の照射量は、変動する。そのため、撮影環境と式（１）及び式（３）のモデル式とが、一致しない。このように、非特許文献１及び非特許文献２に記載の方法は、照明光を利用した撮影画像を正しく補正できないという問題点があった。
　本発明は、上記問題点に鑑みて発明されたものである。本発明の目的は、撮影環境内の各位置にける照明光が同一に照射されていない環境で撮影された画像の画像劣化を適切に補正することができる画像処理装置、撮像装置、画像処理方法及びプログラムを記憶した記憶媒体を提供することにある。
　本発明の一形態のおける画像処理装置は、撮影対象の画像である撮影画像と、撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、撮影対象の表面における反射光を復元する反射光復元手段と、復元した反射光を基に照明光を復元し、復元した照明光と撮影画像とを基に撮影画像を復元した出力画像を生成する照明光復元手段とを含む。
　本発明の一形態のおける撮像装置は、上記の画像装置と、撮影画像を撮影又は受信する受信手段と、出力画像を出力する出力手段とを含む。
　本発明の一形態のおける画像処理方法は、撮影対象の画像である撮影画像と、撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、撮影対象の表面における反射光を復元し、復元した反射光を基に照明光を復元し、復元した照明光と撮影画像とを基に撮影画像を復元した出力画像を生成する。
　本発明の一形態のおけるプログラムを記憶した記憶媒体は、撮影対象の画像である撮影画像と、撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、撮影対象の表面における反射光を復元する処理と、復元した反射光を基に照明光を復元し、復元した照明光と撮影画像とを基に撮影画像を復元した出力画像を生成する処理とをコンピュータに実行させるプログラムを格納する。
　本発明は、照明光が同一に照射されていない環境で撮影された画像の画像劣化を適切に補正する効果を奏することができる。
図１は、本発明における第１の実施の形態に係る撮像装置の構成の一例を示すブロック図である。 図２は、第１の実施の形態に係る画像処理装置の構成の一例を示すブロック図である。 図３は、第１の実施の形態に係る霞除去部の構成の一例を示すブロック図である。 図４は、第２の実施の形態に係る画像処理装置の構成の一例を示すブロック図である。 図５は、第３の実施の形態に係る画像処理装置の構成の一例を示すブロック図である。 図６は、第４の実施の形態に係る撮像装置の構成の一例を示すブロック図である。 図７は、環境光が照射される撮影環境の一例を表すモデル図である。 図８は、照明光が照射される撮影環境の一例を表すモデル図である。 図９は、変形例に係る情報処理装置の構成の一例を示すブロック図である。
　次に、本発明の実施形態について図面を参照して説明する。
　なお、各図面は、本発明の実施形態を説明するものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。
　また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。
　＜第１の実施の形態＞
　まず、本発明における第１の実施の形態に係る撮像装置４を説明する。
　図１は、本発明の第１の実施の形態に係る撮像装置４の構成の一例を示すブロック図である。
　第１の実施の形態に係る撮像装置４は、撮像部１と、画像処理装置２と、出力部３とを含む。
　撮像部１は、撮影対象の撮影画像（I(x,λ）)を撮像する。撮像部１は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いたイメージセンサを含んで構成される。なお、撮像部１は、図示しない撮像機器から撮影対象の画像を受信してもよい。そのため、撮像部１は、受信部とも呼ばれる。なお、撮影画像I(x,λ)は、イメージセンサが検出した光を基に生成されるため、背景技術における観測光I(x,λ)にも相当する。
　画像処理装置２は、撮影対象に照射される照明光の大気中の粒子（例えば、霞など）に基づく減衰又は拡散の少なくともいずれかを基に、撮影画像I(x,λ)の画像劣化（例えば、霞に基づく劣化成分）を補正する。具体的には、画像処理装置２は、照明光の大気中の粒子に基づく拡散光を基に、撮影対象からの反射光の減衰分を復元する。そして、画像処理装置２は、拡散光と復元された反射光とを基に、照明光の減衰分を復元する。そして、画像処理装置２は、復元された照明光を基に、撮影画像I(x,λ)を補正（復元）し、出力画像O(x,λ)を生成する。そのため、画像処理装置２は、補正部と呼んでもよい。また、出力画像O(x,λ)は、補正された撮影画像でもある。あるいは、出力画像O(x,λ)は、劣化除去画像でもある。
　出力部３は、画像処理装置２が生成した出力画像O(x,λ)、すなわち、補正された撮影画像I(x,λ)を出力する。出力部３は、例えば、ディスプレイ又はプリンターである。
　次に、画像処理装置２を詳細に説明する。
　図２は、第１の実施の形態における画像処理装置２のブロック図である。
　第１の実施の形態の画像処理装置２は、照明光色推定部１１と、骨格成分抽出部１２と、照明重畳率推定部１３と、霞除去部１４とを含む。
　照明光色推定部１１は、撮影環境における環境光として、照明光の色の情報である照明光色A(λ)を推定する。本実施形態における照明光色A(λ)の推定方法は、特に制限はない。照明光色A(λ)の推定方法の一つに、各波長における光量の強度ヒストグラムを生成し、予め設定されたパラメータ（α）を用いて、各波長の上位α％の強度の光量の値を照明光色A(λ)とする方法がある。また、本実施形態は、非特許文献１又は非特許文献２に記載の方法を用いてもよい。
　骨格成分抽出部１２は、撮影画像I(x,λ)から、画像中の細かな変動を除去し、画素値の変動が少ない平坦領域部と変動が大きい強エッジ部とから構成される画像内の大局的な構造（例えば、画像内の平坦領域部の色又は明るさ）を抽出する。以下、大局的な構造を、骨格成分（B(x,λ)）と呼ぶ。本実施形態における骨格成分Ｂ(x,λ)を抽出する方法は、特に制限はない。骨格成分B(x,λ)を抽出する方法の一例として、全変分ノルム最小化を用いる方法がある。全変分ノルム最小化を用いる方法は、画像内の振動成分を除去する技術に関する方法である。この方法は、画像（ここでは、撮影画像I(x,λ)）を用いて、式（６）で表される最小化問題を解くことに基づいて得られる情報に基づいて、画像の骨格成分B(x,λ)を抽出する。ここで、μは、予め設定されている除去する振動量を制御するためのパラメータである。また、全変分ノルム最小化を用いる方法は、細かな振動成分を除去するだけではなく、多重解像度解析と組み合わせると、ある程度広い周期を持つ（低周波な）振動を除去できる。なお、式（６）の括弧内の第１項の積分は、骨格成分Ｂ(x,λ)の全変分のxy平面上での積分である。また、第２項は、撮像画像I(x,λ)と骨格成分Ｂ(x,λ)との差分の２次元ノルムの２乗とμ／２との乗算である。なお、式（６）では、「(x,λ)」の記載を省略する。「ｍｉｎ」の下の「∪」は、全てを含むことを示す記号（カップ）である。つまり、式（６）は、想定可能な全ての場合の中の最小を示す。
Figure JPOXMLDOC01-appb-I000006
　照明重畳率推定部１３は、照明重畳率c(x)として、照明光色A(λ)と骨格成分B(x,λ)とを用いて、各画素における、出射時の照明光と、大気中の粒子に拡散された結果としてカメラセンサに到達した照明光との比率を推定する。つまり、照明重畳率推定部１３は、照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を推定する。このように、照明重畳率c(x)は、照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す値である。
　画素位置xにおける照明重畳率c(x)の算出式の一例を、式（７）に示す。ただし、k1は、所定の比率を表すパラメータである。
Figure JPOXMLDOC01-appb-I000007
　比率k1は、例えば、注目画素周辺の明度lumi(x)を用いて、式（８）のように変更してもよい。ただし、k1max及びth1は、予め設定されたパラメータである。
Figure JPOXMLDOC01-appb-I000008
　明度lumi(x)の算出方法の２つの例を、式（９）及び式（１０）に示す。
Figure JPOXMLDOC01-appb-I000009
Figure JPOXMLDOC01-appb-I000010
　また、照明重畳率c(x)は、予め設定された最大値th2を超えた場合、式（１１）のようにクリップ処理を施し、最大値を超えないように調整されてもよい。
Figure JPOXMLDOC01-appb-I000011
　霞除去部１４は、撮影画像I(x,λ)と照明光色A(λ)と照明重畳率c(x)とを基に、霞などに基づく劣化成分を除去して補正された画像である出力画像O(x,λ)を生成する。つまり、霞除去部１４は、撮影画像I(x,λ)から、撮影対象に照射される照明光の大気中の粒子に基づく拡散光を除去し、撮影対象の反射光の減衰分を復元する。さらに、霞除去部１４は、撮影対象に照射される照明光の減衰分を復元することに基づいて、出力画像O(x,λ)を生成する。
　そのため、霞除去部１４は、図３に示すように、反射光復元部２１と照明光復元部２２とを含む。
　反射光復元部２１は、撮影画像I(x,λ)から照明光に基づく拡散光を除去し、さらに、撮影対象からカメラセンサまでの間の経路における大気中の粒子に基づく反射光の減衰を復元する。この処理を基に、反射光復元部２１は、撮影物体の表面における反射光D1(x,λ)を復元する。反射光D1(x,λ)を復元する具体的な方法の一例として、反射光D1(x,λ)、入力画像I(x,λ)、照明光色A(λ)及び照明重畳率c(x)の関係が、式（１）で表される環境と十分近似していると見なして、式（１２）のように、算出する方法がある。
Figure JPOXMLDOC01-appb-I000012
　また、反射光復元部２１は、過去の撮影環境との違い又は照明重畳率c(x)の推定誤差に基づく影響を低減するために、所定のパラメータk2を用いて式（１３）のように反射光D1(x,λ)を算出する方法を用いてもよい。あるいは、反射光復元部２１は、式（１４）に示す所定のパラメータk3を用いて算出される指数値γを用いて、式（１５）のように反射光D1(x,λ)を算出する方法を用いてもよい。
Figure JPOXMLDOC01-appb-I000013
Figure JPOXMLDOC01-appb-I000014
Figure JPOXMLDOC01-appb-I000015
　また、反射光復元部２１は、式（１３）と式（１５）の算出方式の混合方式として、式（１６）のように算出される照明重畳率c(x)の最小値cminを用いてもよい。例えば、反射光復元部２１は、式（１７）のように、仮補正結果D'1(x,λ)を算出し、式（１８）で決定される指数値γ'を用いて、式（１９）のようにD'1(x,λ)を補正して反射光D1(x,λ)を算出する方式を用いてもよい。
Figure JPOXMLDOC01-appb-I000016
Figure JPOXMLDOC01-appb-I000017
Figure JPOXMLDOC01-appb-I000018
Figure JPOXMLDOC01-appb-I000019
　照明光復元部２２は、反射光復元部２１で生成された撮影物体の表面における反射光D1(x,λ)を基に、撮影対象に照射される照明光における拡散又は減衰を復元する。そして、照明光復元部２２は、拡散又は減衰を復元した照明光を基に、撮影画像I(x,λ)から出力画像O(x,λ)を生成する。出力画像O(x,λ)の生成方法する例として、所定のパラメータk4を用いて式（２０）のように算出する方法、又は、式（２１）のように所定のパラメータk5を用いて算出される指数値γ2(x)を用いて、式（２２）のように算出する方法がある。
Figure JPOXMLDOC01-appb-I000020
Figure JPOXMLDOC01-appb-I000021
Figure JPOXMLDOC01-appb-I000022
　第１の実施の形態は、夜間又はトンネル内等の暗い環境下で、例えば、撮像装置４（例えば、カメラ）に近接されたライトで照らした映像において、大気中の粒子（例えば、霞など）に基づく画像劣化を除去し、照明光の減衰に基づく影響を復元する。よって、第１の実施の形態は、ライトのような照明光を利用して撮影した場合でも、高品質な画像を生成することができる効果を奏することができる。
　その理由は、次のとおりである。
　照明光色推定部１１が、照明光色A(λ)を推定する。骨格成分抽出部１２が、撮影画像の骨格成分B(x,λ)を抽出する。照明重畳率推定部１３が、照明重畳率c(x)を推定する。そして、霞除去部１４が、撮影画像I(x,λ)と照明光色A(λ)と照明重畳率c(x)とを基に、霞等の画像劣化要因を補正した出力画像O(x,λ)を生成するためである。
　＜第２の実施の形態＞
　第２の実施の形態を説明する。
　図４は、本発明における第２の実施の形態に係る画像処理装置２の構成の一例を示すブロック図である。
　第２の実施の形態に係る画像処理装置２は、照明光色推定部１１と、骨格成分抽出部１２と、照明重畳率推定部１３と、霞除去部１４と、露光補正部１５とを含む。このように、第２の実施の形態に係る画像処理装置２は、第１の実施の形態に係る画像処理装置２と比較して、露光補正部１５を含む点で異なる。第２の実施の形態に係る画像処理装置２の他の構成は、第１の実施の形態の画像処理装置２と同様である。また、撮像装置４における撮像部１及び出力部３も、同様である。そのため、同様の構成の説明を省略し、以下、本実施の形態に特有の露光補正部１５の動作を説明する。
　露光補正部１５は、霞除去部１４から出力された劣化成分を除去した出力画像O(x,λ)（第１の出力画像）を基に、画像全体の明るさを調整した出力画像O2(x,λ)（第２の出力画像、又は、露光補正画像と呼ぶ）を生成する。一般に、画像撮影は、撮影環境に対して、カメラセンサが受光する光量のダイナミックレンジを適切に設定して、実行される。霞除去部１４で実行される補正は、霞んでいる環境における撮影画像I(x,λ)から、霞んでいない環境における出力画像O(x,λ)へと、撮影環境を仮想的に変更する。そのため、劣化を除去した第１の出力画像O(x,λ)のダイナミックレンジと撮影時に撮像装置４で設定されたダイナミックレンジとが異なる場合がある。例えば、劣化を除去した出力画像O(x,λ)が、明るすぎたり、暗すぎたりする場合がある。そこで、露光補正部１５は、劣化を除去した第１の出力画像O(x,λ)を、適切なダイナミックレンジを設定するように補正し、第２の出力画像O2(x,λ)を生成する。このように、第２の出力画像O２(x,λ)は、補正された撮影画像であり、特に、適切なダイナミックレンジとなるように露光が補正された画像である。
　露光補正部１５が第２の出力画像O2(x,λ)の生成する方式の一例として、式（２３）のように、第１の出力画像O(x,λ)内の最大値を基に、第１の出力画像O(x,λ)を正規化して、第２の出力画像O２(x,λ)を生成する方法がある。
Figure JPOXMLDOC01-appb-I000023
　また、露光補正部１５は、第１の出力画像O(x,λ)の平均輝度値（ave）と、予め設定された目標値である平均輝度値（tar）とを用いてもよい。すなわち、露光補正部１５は、第１の出力画像O(x,λ)の平均輝度値aveを算出し、平均輝度値aveを予め設定された目標値である平均輝度値tarに変換する指数値γ3を式（２４）のように算出する。そして、露光補正部１５は、式（２５）のように指数値γ３を用いて第１の出力画像O(x,λ)を補正し、第２の出力画像O２(x,λ)を生成してもよい。
Figure JPOXMLDOC01-appb-I000024
Figure JPOXMLDOC01-appb-I000025
　第２の実施の形態は、第１の実施の形態の効果に加え、適切なダイナミックレンジの画像を得るという効果を奏することができる。
　その理由は、露光補正部１５が、第１の出力画像O(x,λ)のダイナミックレンジを適切に補正した第２の出力画像O２(x,λ)を生成するためである。
　＜第３の実施の形態＞
　第３の実施の形態を説明する。
　図５は、第３の実施の形態に係る画像処理装置２の構成の一例を示すブロック図である。
　第３の実施の形態に係る画像処理装置２は、照明光色推定部１１と、骨格成分抽出部１２と、照明重畳率推定部１３と、霞除去部１４'と、露光補正部１５'と、テクスチャ成分算出部１６と、テクスチャ成分修正部１７とを有する。
　このように、第３の実施の形態に係る画像処理装置２は、第２の実施の形態に係る画像処理装置２と比較して、テクスチャ成分算出部１６とテクスチャ成分修正部１７とを含む点で異なる。さらに、第３の実施の形態に係る画像処理装置２は、霞除去部１４及び露光補正部１５に換えて、霞除去部１４'と露光補正部１５'とを含む点が異なる。第３の実施の形態に係る画像処理装置２の他の構成は、第１又は第２の実施の形態の画像処理装置２と同様である。また、撮像装置４における撮像部１及び出力部３も、同様である。そのため、同様の構成の説明を省略し、以下、テクスチャ成分算出部１６と、テクスチャ成分修正部１７と、霞除去部１４'と、露光補正部１５'との動作を説明する。
　テクスチャ成分算出部１６は、撮影画像I(x,λ)と骨格成分B(x,λ)との差分（残差）である画像内の細かい模様（テクスチャ成分又はノイズ成分）を表す成分（以下、テクスチャ成分T(x,λ)とする）を式（２６）のように算出する。
Figure JPOXMLDOC01-appb-I000026
　霞除去部１４'は、霞除去部１４と同様に撮影画像I(x,λ)から画像劣化を除去した第１の出力画像O(x,λ)を生成する。さらに、霞除去部１４'は、骨格成分B(x,λ)（第１の骨格成分）に同様の処理を適用して補正し、補正した劣化成分を除去した骨格成分B1(x,λ)（第２の骨格成分）を生成する。つまり、第２の骨格成分B1(x,λ)は、劣化成分を除去された骨格成分である。なお、より具体的には、照明光復元部２２が、復元した照明光を基に、上記処理を実行する。
　露光補正部１５'は、露光補正部１５と同様に第１の出力画像O(x,λ)から第２の出力画像O2(x,λ)を生成する。さらに、露光補正部１５'は、劣化成分を除去した第２の骨格成分B1(x,λ)に同様の処理を適用、露光を補正した骨格成分B2(x,λ)（第３の骨格成分）を生成する。
　テクスチャ成分修正部１７は、霞除去部１４'及び露光補正部１５'の処理に基づいて発生する第２の出力画像O2(x,λ)内のテクスチャの過度な強調又はノイズの増幅を抑圧して、テクスチャ成分を修正した第３の出力画像O3(x,λ)を生成する。このように、第３の出力画像O３(x,λ)は、補正された撮影画像でもある。
　第３の出力画像O３(x,λ)におけるテクスチャ成分T2(x,λ)（第２のテクスチャ成分）は、第２の出力画像O2(x,λ)及び露光補正骨格成分B2(x,λ)（第３の骨格成分）を用いて、式（２７）のように算出される。
Figure JPOXMLDOC01-appb-I000027
　テクスチャの過度な強調を抑制する方法の一例として、次のような方法がある。この方法は、まず、補正処理に基づくテクスチャの増幅率r(x,λ)を式（２８）のように算出する。そして、この方法は、予め設定された増幅率の上限値rmaxを利用して、式（２９）のように過度な強調を抑制したテクスチャ成分T3(x,λ)（第３のテクスチャ成分）を算出する。
Figure JPOXMLDOC01-appb-I000028
Figure JPOXMLDOC01-appb-I000029
　また、テクスチャ成分に含まれるノイズの抑圧方法として、式（３０）に示すような方法がある。式（３０）に示す方法は、カメラ特性及びテクスチャの増幅率から算出されるノイズの標準偏差σを用いて、第３のテクスチャ成分T3(x,λ)からノイズに基づく振動を除去し、ノイズを抑圧したテクスチャ成分T4(x,λ)（第４のテクスチャ成分）を生成する。ただし、sgn(・)は、符号を表す関数である。
Figure JPOXMLDOC01-appb-I000030
　テクスチャ成分修正部１７は、第３の骨格成分B2(x,λ)と第４のテクスチャ成分T4(x,λ)とを式（３１）のように合成し、第３の出力画像O3(x,λ)を生成する。
Figure JPOXMLDOC01-appb-I000031
　第３の実施の形態は、第１及び第２の実施の形態の効果に加え、テクスチャの過度な強調及びノイズの増幅を抑圧した画像を得る効果を奏することができる。
　その理由は、次のとおりである。
　テクスチャ成分算出部１６が、第１のテクスチャ成分T(x,λ)を算出する。霞除去部１４'が、第１の出力画像O(x,λ)に加え、画像劣化を補正した第２の骨格成分B１(x,λ)を生成する。露光補正部１５'が、第２の出力画像O２(x,λ)に加え、第２の骨格成分を基に露光を補正した第３の骨格成分B２(x,λ)を生成する。
　そして、テクスチャ成分修正部１７が、第２の出力画像O２(x,λ)と第３の骨格成分B２(x,λ)とを基に第２のテクスチャ成分T２(x,λ)を算出する。さらに、テクスチャ成分修正部１７が、過度な強調を抑制するために、第１のテクスチャ成分T(x,λ)と第２のテクスチャ成分T２(x,λ)とを基に、第３のテクスチャ成分T３(x,λ)を算出する。さらに、テクスチャ成分修正部１７が、第３のテクスチャ成分T3(x,λ)からノイズに基づく振動を抑圧した第４のテクスチャ成分T4(x,λ)を生成する。そして、テクスチャ成分修正部１７が、第３の骨格成分B２(x,λ)と第４のテクスチャ成分T４(x,λ)とを基に、テクスチャの過度な強調又はノイズの増幅を抑制した第３の出力画像O３(x,λ)を生成するためである。
　＜第４の実施の形態＞
　第４の実施の形態を説明する。
　図６は、第４の実施の形態に係る撮像装置４の構成の一例を示すブロック図である。
　第４の実施の形態に係る撮像装置４が、第１ないし第３の実施の形態における撮像装置４と異なる点は、第４の実施の形態に係る撮像装置４が照明装置３０と、設定部３１とを含む点である。第４の実施の形態に係る撮像装置４の他の構成は、第１ないし第３の実施の形態と同様のため、同様の構成の説明を省略し、以下、照明装置３０及び設定部３１について説明する。
　照明装置３０は、撮像部１と近接する位置に設けられており、撮像部１の撮影開始とともに、撮影対象に照明光を照射する。照明装置３０は、例えば、フラッシュである。
　設定部３１は、画像処理装置２における画像劣化（例えば、霞など）の補正処理の実行及び停止設定を切り替える。霞のある環境下における撮影でも、意図的に霞を撮影画像に反映させたい場合がある。そのような場合には、撮像装置４の利用者は、設定部３１を用いて、画像処理装置２における画像劣化の補正処理を停止させることができる。
　第４の実施の形態に係る撮像装置４は、照明装置３０が撮像部１と近接する位置に設けられている。そのため、照明装置３０の照明光に基づく撮影画像は、大気中の粒子の影響を受けやすい。しかし、第４の実施の形態の画像処理装置２は、適切に、撮影画像における霞の影響を補正する効果を奏することができる。
　その理由は、撮像装置４に含まれる画像処理装置２が、第１ないし３の実施形態で説明した動作を基に、大気中の粒子の影響を補正した出力画像（第１の出力画像O(x,λ)ないし第３の出力画像O３(x,λ)）を生成できるためである。
　さらに、第４の実施の形態に係る撮像装置４は、霞などの影響を反映させた画像を生成する効果を奏することができる。
　その理由は、次のとおりである。第４の実施の形態における撮像装置４は、画像処理装置２における画像劣化の補正処理を停止させる設定部３１を含む。したがって、利用者は、設定部３１を用いて画像劣化の補正処理を停止させ、意図的に霞などの画像劣化を撮影画像に反映させることができるためである。
　なお、上述した第１ないし第４の実施の形態は、静止画に限らず、動画にも適用可能であることは、言うまでもない。
　また、第１ないし第４の実施の形態における画像処理装置２は、画像処理エンジンとして、各種の撮影機器又は画像を処理する装置に組み込むことが可能である。
　＜変形例＞
　以上の説明した第１ないし第４の実施の形態に係る画像処理装置２又は撮像装置４は、次のように構成される。
　例えば、画像処理装置２又は撮像装置４の各構成部は、ハードウェア回路で構成されてもよい。
　また、画像処理装置２又は撮像装置４は、各構成部が、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。
　例えば、図２に画像処理装置２は、図３に示す霞除去部１４を含み、ネットワークを介して、照明光色推定部１１を含む装置と、骨格成分抽出部１２を含む装置と、照明重畳率推定部１３を含む装置と接続される装置と構成されてもよい。この場合、画像処理装置２は、撮影画像Ｉ(x,λ)と、長命重畳率c(x)と、照明光色A(λ)とをネットワークを介して受信し、上述の動作を基に第１の出力画像O(x,λ)を生成すれば良い。このように、図３に示す霞除去部１４は、画像処理装置２の最小構成でもある。
　また、画像処理装置２又は撮像装置４は、複数の構成部を１つのハードウェアで構成してもよい。
　また、画像処理装置２又は撮像装置４は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを含むコンピュータ装置として実現してもよい。画像処理装置２又は撮像装置４は、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Input / Output Circuit）と、ネットワークインターフェース回路（ＮＩＣ：Network Interface Circuit）とを含むコンピュータ装置として実現してもよい。
　図９は、本変形例に係る画像処理装置２又は撮像装置４としての情報処理装置６００の構成の一例を示すブロック図である。
　情報処理装置６００は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。
　ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図１ないし図６に示す各構成としての各機能を実現する。
　ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は内部記憶装置６４０を、プログラムの一時記憶として使用してもよい。
　また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体７００が含むプログラムを、図示しない記憶媒体読み取り装置を用いて読み込んでもよい。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０に保存して、保存したプログラムを基に動作してもよい。
　ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ－ＲＯＭ（Programable-ROM）又はフラッシュＲＯＭである。
　ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ－ＲＡＭ（Dynamic-RAM）である。
　内部記憶装置６４０は、情報処理装置６００が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作してもよい。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。
　ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性（non-transitory）の記憶媒体である。一方、ＲＡＭ６３０は、揮発性（transitory）の記憶媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記憶媒体又は揮発性記憶媒体を用いて動作可能である。
　ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Universal Serial Bus）カードである。
　入力機器６６０は、情報処理装置６００の操作者からの入力指示を受け取る機器である。入力機器６６０は、例えば、キーボード、マウス又はタッチパネルである。
　表示機器６７０は、情報処理装置６００の操作者に情報を表示する機器である。表示機器６７０は、例えば、液晶ディスプレイである。
　ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、例えば、ＬＡＮ（Local Area Network）カードである。
　このように構成された情報処理装置６００は、画像処理装置２又は撮像装置４と同様の効果を得ることができる。
　その理由は、情報処理装置６００のＣＰＵ６１０が、プログラムに基づいて画像処理装置２又は撮像装置４と同様の機能を実現できるためである。
　また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）　撮影対象の画像である撮影画像と、前記撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、前記撮影対象の表面における反射光を復元する反射光復元手段と、
　前記復元した反射光を基に前記照明光を復元し、前記復元した照明光と前記撮影画像とを基に前記撮影画像を復元した出力画像を生成する照明光復元手段と
　を含む画像処理装置。
　（付記２）　　前記照明光色を推定する照明光色推定手段と、
　前記撮影画像の大局的な構造を表す骨格成分を抽出する骨格成分抽出手段と、
　前記推定した照明光色と前記骨格成分とを基に前記照明重畳率を推定する照明重畳率推定手段と
　を含む付記１に記載の画像処理装置。
　（付記３）　前記出力画像の明るさを調整して補正する露光補正手段を含む付記２に記載の画像処理装置。
　（付記４）　前記撮影画像と前記骨格線分との差分であるテクスチャ成分を算出するテクスチャ成分算出手段を含み、
　前記照明光復元手段が、前記復元した照明光を基に前記骨格成分を復元し、
　前記露光補正手段が、前記復元された骨格成分を補正し、
　さらに、前記テクスチャ成分と、前記補正された骨格成分とを基に、前記補正された出力画像におけるテクスチャ成分を修正するテクスチャ成分修正手段と
　を含む付記３に記載の画像処理装置。
　（付記５）　付記１ないし４のいずれか１項に記載の画像処理装置と、
　撮影画像を撮影又は受信する受信手段と、
　前記出力画像を出力する出力手段と
　を含む撮像装置。
　（付記６）　前記照明光を照射する照明手段と、
　前記画像処理装置における前記撮影画像に対する補正処理の実行及び停止の設定を切り替える設定手段と
　を含む付記５に記載の撮像装置。
　（付記７）　撮影対象の画像である撮影画像と、前記撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、前記撮影対象の表面における反射光を復元し、
　前記復元した反射光を基に前記照明光を復元し、前記復元した照明光と前記撮影画像とを基に前記撮影画像を復元した出力画像を生成する
　画像処理方法。
　（付記８）　撮影対象の画像である撮影画像と、前記撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、前記撮影対象の表面における反射光を復元する処理と、
　前記復元した反射光を基に前記照明光を復元し、前記復元した照明光と前記撮影画像とを基に前記撮影画像を復元した出力画像を生成する処理と
　をコンピュータに実行させるプログラムを記憶した記憶媒体。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１４年　３月　６日に出願された日本出願特願２０１４－０４４４３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１　　撮像部
　２　　画像処理装置
　３　　出力部
　４　　撮像装置
　１１　　照明光色推定部
　１２　　骨格成分抽出部
　１３　　照明重畳率推定部
　１４　　霞除去部
　１４'　　霞除去部
　１５　　露光補正部
　１５'　　露光補正部
　１６　　テクスチャ成分算出部
　１７　　テクスチャ成分修正部
　２１　　反射光復元部
　２２　　照明光復元部
　３０　　照明装置
　３１　　設定部
　６００　　情報処理装置
　６１０　　ＣＰＵ
　６２０　　ＲＯＭ
　６３０　　ＲＡＭ
　６４０　　内部記憶装置
　６５０　　ＩＯＣ
　６６０　　入力機器
　６７０　　表示機器
　６８０　　ＮＩＣ
　７００　　記憶媒体

Claims (8)

  1. 　撮影対象の画像である撮影画像と、前記撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、前記撮影対象の表面における反射光を復元する反射光復元手段と、
    　前記復元した反射光を基に前記照明光を復元し、前記復元した照明光と前記撮影画像とを基に前記撮影画像を復元した第１の出力画像を生成する照明光復元手段と
    　を含む画像処理装置。
  2. 　前記照明光色を推定する照明光色推定手段と、
    　前記撮影画像の大局的な構造を表す第１の骨格成分を抽出する骨格成分抽出手段と、
    　前記推定した照明光色と前記第１の骨格成分とを基に前記照明重畳率を推定する照明重畳率推定手段と
    　を含む請求項１に記載の画像処理装置。
  3. 　前記第１の出力画像の明るさを調整した補正を基に第２の出力画像を生成する露光補正手段を含む請求項２に記載の画像処理装置。
  4. 　前記撮影画像と前記第１の骨格成分との差分である第１のテクスチャ成分を算出するテクスチャ成分算出手段を含み、
    　前記照明光復元手段が、前記復元した照明光を基に前記第１の骨格成分を補正した第２の骨格成分を生成し、
    　前記露光補正手段が、前記第２の骨格成分の露光を補正して第３の骨格成分を生成し、
    　さらに、前記第２の出力画像と前記第３の骨格成分を基に第２のテクスチャ成分を算出し、前記第１のテクスチャ成分と前記第２のテクスチャ成分とを基に過度な強調を抑制した第３のテクスチャ成分を算出し、前記第３のテクスチャ成分の振動を抑制した第４のテクスチャ成分を算出し、前記第４のテクスチャ成分と前記第３の骨格成分とを基に前記第２の出力画像を修正して第３の出力成分を生成するテクスチャ成分修正手段と
    　を含む請求項３に記載の画像処理装置。
  5. 　請求項１ないし４のいずれか１項に記載の画像処理装置と、
    　前記撮影画像を撮影又は受信する受信手段と、
    　前記第１ないし第３の出力画像を出力する出力手段と
    　を含む撮像装置。
  6. 　前記照明光を照射する照明手段と、
    　前記画像処理装置における前記撮影画像に対する補正処理の実行及び停止の設定を切り替える設定手段と
    　を含む請求項５に記載の撮像装置。
  7. 　撮影対象の画像である撮影画像と、前記撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、前記撮影対象の表面における反射光を復元し、
    　前記復元した反射光を基に前記照明光を復元し、前記復元した照明光と前記撮影画像とを基に前記撮影画像を復元した出力画像を生成する
    　画像処理方法。
  8. 　撮影対象の画像である撮影画像と、前記撮影画像における照明光の大気中の粒子に基づく減衰又は拡散の影響の程度を示す照明重畳率と、照明光の色の情報である照明光色とを基に、前記撮影対象の表面における反射光を復元する処理と、
    　前記復元した反射光を基に前記照明光を復元し、前記復元した照明光と前記撮影画像とを基に前記撮影画像を復元した出力画像を生成する処理と
    　をコンピュータに実行させるプログラムを記憶した記憶媒体。
PCT/JP2015/001000 2014-03-06 2015-02-26 画像処理装置、撮像装置、画像処理方法及びプログラムを記憶した記憶媒体 WO2015133098A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/119,886 US20170053384A1 (en) 2014-03-06 2015-02-26 Image-processing device, image-capturing device, image-processing method, and storage medium
JP2016506122A JP6436158B2 (ja) 2014-03-06 2015-02-26 画像処理装置、撮像装置、画像処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-044438 2014-03-06
JP2014044438 2014-03-06

Publications (1)

Publication Number Publication Date
WO2015133098A1 true WO2015133098A1 (ja) 2015-09-11

Family

ID=54054915

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/001000 WO2015133098A1 (ja) 2014-03-06 2015-02-26 画像処理装置、撮像装置、画像処理方法及びプログラムを記憶した記憶媒体

Country Status (4)

Country Link
US (1) US20170053384A1 (ja)
JP (1) JP6436158B2 (ja)
AR (1) AR099579A1 (ja)
WO (1) WO2015133098A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019500793A (ja) * 2015-12-16 2019-01-10 ベー＜＞コムＢ Ｃｏｍ デジタル画像の処理方法、付随する装置、端末機器およびコンピュータプログラム
JP2019200525A (ja) * 2018-05-15 2019-11-21 日立Ｇｅニュークリア・エナジー株式会社 目視検査用の画像処理システム、及び、画像処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6551048B2 (ja) * 2015-08-24 2019-07-31 株式会社Ｊｖｃケンウッド 水中撮影装置、水中撮影装置の制御方法、水中撮影装置の制御プログラム
CN110232666B (zh) * 2019-06-17 2020-04-28 中国矿业大学(北京) 基于暗原色先验的地下管道图像快速去雾方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010287183A (ja) * 2009-06-15 2010-12-24 Denso Corp 霧画像復元装置及び運転支援システム
JP2013142984A (ja) * 2012-01-10 2013-07-22 Toshiba Corp 画像処理装置、画像処理方法及び画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010287183A (ja) * 2009-06-15 2010-12-24 Denso Corp 霧画像復元装置及び運転支援システム
JP2013142984A (ja) * 2012-01-10 2013-07-22 Toshiba Corp 画像処理装置、画像処理方法及び画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MASATO TODA: "Color image dehazing based on visual features decomposition", FIT2013 DAI 12 KAI FORUM ON INFORMATION TECHNOLOGY KOEN RONBUNSHU, vol. 3, 20 August 2013 (2013-08-20), pages 99 - 100 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019500793A (ja) * 2015-12-16 2019-01-10 ベー＜＞コムＢ Ｃｏｍ デジタル画像の処理方法、付随する装置、端末機器およびコンピュータプログラム
JP2019200525A (ja) * 2018-05-15 2019-11-21 日立Ｇｅニュークリア・エナジー株式会社 目視検査用の画像処理システム、及び、画像処理方法
JP7013321B2 (ja) 2018-05-15 2022-01-31 日立Ｇｅニュークリア・エナジー株式会社 目視検査用の画像処理システム、及び、画像処理方法

Also Published As

Publication number Publication date
JPWO2015133098A1 (ja) 2017-04-06
US20170053384A1 (en) 2017-02-23
AR099579A1 (es) 2016-08-03
JP6436158B2 (ja) 2018-12-12

Similar Documents

Publication Publication Date Title
Hasinoff et al. Burst photography for high dynamic range and low-light imaging on mobile cameras
US9275445B2 (en) High dynamic range and tone mapping imaging techniques
KR101901602B1 (ko) 디지털 사진에서 노이즈를 제거하는 장치 및 방법
US20150350509A1 (en) Scene Motion Correction In Fused Image Systems
US8340417B2 (en) Image processing method and apparatus for correcting skin color
JP6485078B2 (ja) 画像処理方法および画像処理装置
Tico et al. Motion-blur-free exposure fusion
Fang et al. Single image dehazing and denoising: a fast variational approach
JP6390847B2 (ja) 画像処理装置、画像処理方法及びプログラム
Galdran et al. A variational framework for single image dehazing
WO2015184408A1 (en) Scene motion correction in fused image systems
JP6677172B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6436158B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
KR102106537B1 (ko) 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
US9355439B1 (en) Joint contrast enhancement and turbulence mitigation method
WO2016189901A1 (ja) 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置
TW201830330A (zh) 一種圖像處理方法及圖像處理系統
JP2014232938A (ja) 画像処理装置、画像処理方法及びプログラム
KR20140008623A (ko) 영상 처리 방법 및 장치
US9338354B2 (en) Motion blur estimation and restoration using light trails
KR102395305B1 (ko) 저조도 영상 개선 방법
KR101468433B1 (ko) 결합된 색상 채널 변환 맵을 이용한 다이나믹 레인지 확장 장치 및 방법
Shirai et al. Noiseless no-flash photo creation by color transform of flash image
KR20100027888A (ko) 레티넥스 기법을 이용한 영상처리방법
KR101004623B1 (ko) 플래쉬 장치를 이용한 영상 품질 개선 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15759198

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15119886

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2016506122

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15759198

Country of ref document: EP

Kind code of ref document: A1