WO2012086658A1 - 画像処理方法、画像処理システムおよび画像処理プログラム - Google Patents

画像処理方法、画像処理システムおよび画像処理プログラム Download PDF

Info

Publication number
WO2012086658A1
WO2012086658A1 PCT/JP2011/079557 JP2011079557W WO2012086658A1 WO 2012086658 A1 WO2012086658 A1 WO 2012086658A1 JP 2011079557 W JP2011079557 W JP 2011079557W WO 2012086658 A1 WO2012086658 A1 WO 2012086658A1
Authority
WO
WIPO (PCT)
Prior art keywords
illumination spectrum
weather
illumination
image
spectrum
Prior art date
Application number
PCT/JP2011/079557
Other languages
English (en)
French (fr)
Inventor
瑛士 金子
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2012549840A priority Critical patent/JP5950117B2/ja
Priority to US13/995,399 priority patent/US9530188B2/en
Publication of WO2012086658A1 publication Critical patent/WO2012086658A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering

Definitions

  • the present invention relates to an image processing method, an image processing system, and an image processing program.
  • the color of an image photographed using the photographing device is generated based on the light incident on the photographing device by reflecting the ambient illumination light at the time of photographing on the surface of the subject. Therefore, even if a subject having the same surface reflectance is photographed, the color of the photographed image changes if the ambient illumination light is different.
  • the captured spectrum differs depending on changes in the ambient illumination light even though the subject is the same object. Not desirable. In order to solve this problem, it is necessary to estimate the spectrum of the ambient illumination light and correct the influence.
  • the color temperature of the ambient illumination light is estimated for the captured color image represented by the three channels of RGB, and the image is obtained from the estimated color temperature.
  • a correction method has already been proposed (Patent Documents 1 and 2).
  • the color temperature of ambient illumination light is estimated using the color information of gray and / or skin color included in an image, and the correction ratio of each channel for conversion to the target color temperature is calculated. And correct the image.
  • the color temperature at which the evaluation value calculated from the spectral energy distribution of black body radiation and the eigenvector of the subject is minimized is estimated as the color temperature of the imaging light source.
  • the correction ratio at each wavelength is calculated using the spectral spectrum of the ambient illumination light generated from the estimated color temperature and the spectral spectrum of the target environment. That's fine. That is, L ( ⁇ ) is a spectral spectrum intensity of a pixel of a captured input image at a wavelength ⁇ , I ( ⁇ ) is an estimated illumination spectrum intensity at the time of imaging, and I ′ ( ⁇ ) is a target illumination spectrum intensity.
  • the spectral spectrum intensity L ′ ( ⁇ ) of the pixel in the output image is calculated as in Expression (1).
  • these methods work effectively for color images, correction of hyperspectral images is not possible because of the large error between the spectral spectrum generated from the color temperature and the spectral spectrum of the actual ambient illumination light. There is a problem that will be sufficient.
  • Non-Patent Document 1 proposes a highly accurate method of estimating a solar radiation spectrum in fine weather.
  • the spectral spectrum estimation method of Non-Patent Document 1 is based on the solar zenith angle calculated from the date and time information, the atmospheric turbidity, the precipitating amount such as precipitable water, and the inclination information of the subject surface.
  • the direct achievement Id which is the amount of solar radiation equivalent to so-called direct sunlight
  • the scattering component Is representing the ambient light are calculated on the subject surface. Then, the sum is calculated as the solar radiation spectrum I. Therefore, this method can estimate the environment illumination light at the time of fine weather outdoors with high accuracy.
  • FIG. 12 shows a configuration diagram of the image processing method according to the related technique.
  • the configuration diagram of FIG. 12 is a block diagram generated based on Patent Literature 1, Patent Literature 2, and Non-Patent Literature 1.
  • the clear sky illumination spectrum calculation means 12 receives the photographing solar radiation condition and calculates the photographed illumination spectrum in the clear sky using the calculation method of Non-Patent Document 1.
  • the illumination spectrum correcting means 11 receives an input image taken outdoors, a photographed illumination spectrum estimated by the clear sky illumination spectrum calculating means 12, and a target illumination spectrum stored in the target illumination spectrum storage memory 13. Using the method (1), the input image is converted into an image photographed under the target illumination spectrum.
  • the related technology can calculate the illumination spectrum that changes depending on the solar radiation conditions such as the date and time of shooting, and convert images taken outdoors in fine weather into images taken under the desired lighting. There was a problem that it was impossible to calculate an illumination spectrum that changed according to the weather.
  • the present invention has been invented in view of the above problems, and its object is to provide stable information on captured color information not only in sunny weather but also in images captured in environments such as cloudy weather and shade.
  • the present invention provides an image processing method, an image processing system, and an image processing program that are corrected so as to be used as a computer program.
  • the present invention is an illumination spectrum estimation method that calculates an illumination spectrum based on weather information.
  • the present invention is an image processing method for converting an image photographed outdoors under any date, place, and weather into an image photographed under a set illumination spectrum, based on the solar radiation conditions at the time of photographing. Based on the direct and scattered component calculation step for calculating the direct achievement and scattering component of the illumination spectrum in fine weather, and the weather information at the time of photographing, the direct achievement and the scattering component are synthesized to obtain the illumination spectrum of the photographing environment.
  • This is an image processing method having a photographing illumination spectrum calculation step for estimation and an illumination spectrum correction step for converting an input image into an image under preset illumination.
  • the present invention is an image processing method for converting an image taken under known illumination into an image taken outdoors under any date, place, and weather specified by a user, based on specified solar radiation conditions. Based on the direct weather / scattering component calculation step for calculating the direct achievement and scattering component of the illumination spectrum in fine weather, and the specified weather information, the direct achievement and the scattering component are synthesized to obtain the illumination spectrum of the target environment.
  • the image processing method includes a target illumination spectrum calculation step to be calculated, and an illumination spectrum correction step to convert an input image into an image under illumination of the target environment.
  • the present invention is an image processing method for converting an image taken outdoors under an arbitrary date, place, and weather into an image taken outdoors under another arbitrary date, place, and weather. Based on the conditions, the direct achievement / scattering component calculation step for calculating the direct achievement and scattering component of the illumination spectrum in fine weather, and the direct achievement and the scattering component are synthesized based on the weather information at the time of photographing.
  • a shooting illumination spectrum calculation step that estimates the illumination spectrum of the environment, a direct achievement / scattering component calculation step that calculates a direct achievement and a scattering component in the illumination spectrum in fine weather, based on the solar radiation conditions such as the specified date and time, Based on the specified weather information, the target achievement spectrum calculation step of calculating the illumination spectrum of the target environment by combining the direct achievement and the scattering component, and the illumination environment of the photographing environment Using the vector, the input image is an image processing method and an illumination spectrum correction step of converting the image under illumination of the target environment.
  • the present invention is an image processing method for estimating the spectral reflectance of an object to be photographed from an image photographed outdoors at an arbitrary date, place, and weather, and based on the solar radiation conditions at the time of photographing, an illumination spectrum in fine weather
  • the direct and scattered component calculation step for calculating the direct achievement and scattering component in the image, and the imaging illumination spectrum for synthesizing the direct achievement and the scattering component based on the weather information at the time of shooting and estimating the illumination spectrum of the imaging environment
  • An image processing method comprising: a calculation step; and a spectral reflectance calculation step of removing an influence of an illumination spectrum of the imaging environment from an input image and estimating a spectral reflectance of an imaging target.
  • the present invention is an image processing method for generating an outdoor photographed image at an arbitrary date, place, and weather specified by a user from spectral reflectance data of an object to be photographed.
  • the direct achievement / scattering component calculation step for calculating the direct achievement and scattering component in the illumination spectrum of the object, and the purpose of calculating the illumination spectrum of the target environment by combining the direct achievement and the scattering component based on the specified weather information
  • An image processing method comprising: an illumination spectrum calculation step; and a target spectrum image calculation step for generating an image under illumination of the target environment from spectral reflectance data of an imaging target.
  • the present invention is an image processing system that converts an image taken outdoors under an arbitrary date, place, and weather into an image taken under a set illumination spectrum, based on the solar radiation conditions at the time of shooting. Based on the direct and scattered component calculation means for calculating the direct achievement and scattering component of the illumination spectrum in fine weather, and the weather information at the time of photographing, the direct achievement and the scattering component are synthesized to obtain the illumination spectrum of the photographing environment.
  • This is an image processing system having a photographing illumination spectrum calculating means for estimation and an illumination spectrum correcting means for converting an input image into an image under preset illumination.
  • the present invention is an image processing system for converting an image taken under known illumination into an image taken outdoors under any date, place, and weather specified by a user, based on specified solar radiation conditions.
  • the direct achievement / scattering component calculation means for calculating the direct achievement and scattering component of the illumination spectrum in fine weather, and the direct achievement and the scattering component are synthesized based on the specified weather information to obtain the illumination spectrum of the target environment.
  • It is an image processing system having a target illumination spectrum calculation means for calculating, and an illumination spectrum correction means for converting an input image into an image under illumination of the target environment.
  • the present invention is an image processing system for converting an image taken outdoors under an arbitrary date, place, and weather into an image taken outdoors under another arbitrary date, place, and weather.
  • the direct achievement / scattering component calculation means for calculating the direct achievement and scattering component of the illumination spectrum in fine weather, and the direct achievement and the scattering component are synthesized based on the weather information at the time of photographing.
  • the input image is an image processing system having an illumination spectrum correction means for converting the image under illumination of the target environment.
  • the present invention is an image processing system for estimating the spectral reflectance of an object to be photographed from an image photographed outdoors at an arbitrary date, place, and weather, and based on the solar radiation conditions at the time of photographing, an illumination spectrum in fine weather Based on the weather information at the time of photographing, the direct illumination and scattering component calculation means for calculating the direct achievement and scattering component in the image, and the direct illumination and the scattering component are combined to estimate the illumination spectrum of the photographing environment It is an image processing system having calculation means and spectral reflectance calculation means for removing the influence of the illumination spectrum of the imaging environment from the input image and estimating the spectral reflectance of the imaging target.
  • the present invention is an image processing system for generating an outdoor photographed image under any date, place, and weather specified by a user from spectral reflectance data to be photographed.
  • the direct achievement / scattering component calculation means for calculating the direct achievement and the scattering component in the illumination spectrum of the object, and the direct achievement and the scattering component based on the specified weather information to calculate the illumination spectrum of the target environment
  • It is an image processing system having illumination spectrum calculation means and target spectrum image calculation means for generating an image under illumination of the target environment from spectral reflectance data of an imaging target.
  • the present invention is an image processing program for converting an image photographed outdoors under any date, place, and weather into an image photographed under a set illumination spectrum, based on the solar radiation conditions at the time of photographing.
  • the direct and scattered component calculation processing for calculating the direct achievement and scattering component of the illumination spectrum in fine weather, and the weather information at the time of shooting, the direct achievement and the scattering component are synthesized, and the illumination spectrum of the shooting environment Is a program that causes the information processing apparatus to execute a photographing illumination spectrum calculation process for estimating the image and an illumination spectrum correction process for converting an input image into an image under preset illumination.
  • the present invention is an image processing program for converting an image taken under known illumination into an image taken outdoors under any date, place, and weather specified by a user, based on the specified solar radiation conditions.
  • the direct achievement / scattering component calculation processing for calculating the direct achievement and scattering component of the illumination spectrum in fine weather, and the direct achievement and the scattering component based on the specified weather information, the illumination spectrum of the target environment Is a program for causing the information processing apparatus to execute a target illumination spectrum calculation process for calculating the image and an illumination spectrum correction process for converting an input image into an image under illumination of the target environment.
  • the present invention is an image processing program for converting an image taken outdoors under an arbitrary date, place, and weather into an image taken outdoors under another arbitrary date, place, and weather.
  • the direct achievement / scattering component calculation process for calculating the direct achievement of the illumination spectrum and the scattering component in fine weather, and the direct achievement and the scattering component based on the weather information at the time of shooting
  • a shooting illumination spectrum calculation process that estimates the illumination spectrum of the shooting environment, and a direct / scattering component calculation process that calculates the direct achievement and scattering component in the illumination spectrum in fine weather based on the solar radiation conditions such as the specified date and time and position
  • a target illumination spectrum calculation process for calculating the illumination spectrum of the target environment by synthesizing the direct achievement and the scattering component based on the specified weather information; and the illumination spectrum of the imaging environment
  • a program for executing the lighting spectrum correction processing for converting the image under illumination of the target environment to the information processing apparatus.
  • the present invention is an image processing program for estimating a spectral reflectance of an object to be photographed from an image photographed outdoors at an arbitrary date, place, and weather.
  • Imaging illumination that estimates the illumination spectrum of the imaging environment by combining the direct achievement and the scattering component based on the direct / scattering component calculation processing for calculating the directly achieved component and the scattered component in the spectrum and the weather information at the time of shooting
  • This is a program for causing an information processing device to execute spectrum calculation processing and spectral reflectance calculation processing for removing the influence of the illumination spectrum of the shooting environment from the input image and estimating the spectral reflectance of the shooting target.
  • the present invention is an image processing program for generating an outdoor photographed image under any date, place, and weather specified by a user from spectral reflectance data to be photographed. Based on the direct weather / scattering component calculation processing for calculating the direct achievement and scattering component in the hourly illumination spectrum, and the specified weather information, the direct achievement and the scattering component are synthesized to calculate the illumination spectrum of the target environment.
  • This is a program for causing an information processing apparatus to execute a target illumination spectrum calculation process and a target spectrum image calculation process for generating an image under illumination of the target environment from spectral reflectance data of an imaging target.
  • the illumination spectrum can be estimated with high accuracy.
  • FIG. 1 is a configuration diagram of a first embodiment according to the present invention.
  • FIG. 2 is a detailed block diagram of the weather corresponding illumination spectrum calculating means 24 in FIG.
  • FIG. 3 is a flowchart of the first embodiment according to the present invention.
  • FIG. 4 is a block diagram of a second embodiment according to the present invention.
  • FIG. 5 is a flowchart of the second embodiment according to the present invention.
  • FIG. 6 is a block diagram of a third embodiment according to the present invention.
  • FIG. 7 is a flowchart of the third embodiment according to the present invention.
  • FIG. 8 is a block diagram of the fourth embodiment according to the present invention.
  • FIG. 9 is a flowchart of the fourth embodiment according to the present invention.
  • FIG. 1 is a configuration diagram of a first embodiment according to the present invention.
  • FIG. 2 is a detailed block diagram of the weather corresponding illumination spectrum calculating means 24 in FIG.
  • FIG. 3 is a flowchart of the first embodiment according to the
  • FIG. 10 is a block diagram of a fifth embodiment according to the present invention.
  • FIG. 11 is a flowchart of the fifth embodiment according to the present invention.
  • FIG. 12 is a configuration diagram of a related art environment illumination light correction method.
  • FIG. 13 is a model diagram showing the transmission of illumination light to the subject during outdoor cloudy weather.
  • FIG. 1 is a block diagram showing the configuration of the first embodiment of the present invention.
  • the first embodiment shown in FIG. 1 includes an illumination spectrum correction means 11, a clear sky illumination spectrum calculation means 22, a target illumination spectrum storage memory 13, and a weather-friendly illumination spectrum calculation means 24, and is photographed outdoors.
  • An image obtained by correcting the illumination in the input image to the target illumination spectrum is generated as an output image using the input image, the shooting solar radiation condition, and the shooting weather information.
  • the operations of the clear sky illumination spectrum calculation means 22 and the weather corresponding illumination spectrum calculation means 24 are different from those of the related art described above. Details of the operations of the clear sky illumination spectrum calculation means 22 and the weather-response illumination spectrum calculation means 24 will be described below.
  • the clear sky illumination spectrum calculation means 22 calculates the illumination spectrum in clear weather using the calculation method of Non-Patent Document 1 with the photographing solar radiation conditions as input.
  • the clear sky illumination spectrum calculation means 22 is different from the clear sky illumination spectrum calculation means 12 in that it outputs the directly achieved part Id and the scattering component Is calculated during the calculation.
  • the weather-corresponding illumination spectrum calculation means 24 receives the direct achievement, the scattering component, and the photographing weather information and outputs a photographing illumination spectrum.
  • the weather-adaptive illumination spectrum calculation unit 24 generates a high-accuracy photographing illumination spectrum even in an environment other than the fine weather by predicting the scattering and transmission of light by clouds and other objects from the inputted photographing weather information. To do.
  • FIG. 13 is a model diagram showing transmission to the subject when sunlight is clouded outdoors.
  • the photographing illumination spectrum I incident on the subject in the environment where the cloud exists is calculated by calculating the transmission and scattering of the light when the light of the scattering component passes through the cloud. Assuming that the transmission and scattering of light by the cloud does not depend on the wavelength, p is the proportion of the scattered component light that is incident on the cloud, and m and m ′ are the proportions of the direct component of the scattered component that is transmitted through the cloud.
  • the imaging illumination spectrum intensity I ( ⁇ ) of the wavelength ⁇ incident on the subject in the environment where the cloud exists is obtained by using the ratios of light incident on the subject again after being scattered by the cloud, respectively, n and n ′. It is calculated as 2).
  • Id ( ⁇ ) and Is ( ⁇ ) represent the directly achieved component at the wavelength ⁇ and the spectral intensity of the scattered component, respectively. Since the coefficient term of Id ( ⁇ ) and the coefficient term of Is ( ⁇ ) on the right side of Equation (2) are constants, the spectrum shape of the imaging illumination spectrum I is the coefficient term of Id ( ⁇ ) and the coefficient of Is ( ⁇ ). It depends only on the ratio of terms. Therefore, by using the synthesis weight ⁇ , the synthesis ratio of the direct achievement Id is ⁇ , and the synthesis ratio of the scattering component Is is 1- ⁇ , so this synthesis sum represents all the spectrum shapes that the photographic illumination spectrum I can take. Is possible.
  • the photographing illumination spectrum I ( ⁇ ) can be expressed as a proportional expression at the wavelength ⁇ as shown in Expression (3).
  • the spectrum shape of the photographing illumination spectrum I can be calculated by using Expression (3). For example, in an image taken in a shaded environment where the direct achievement is blocked by the object, the direct achievement is blocked and only the scattered component is irradiated to the subject. The spectral shape of the illumination spectrum I can be calculated. In addition, in an image photographed in a “clear sky” environment where there is no sunlight blockage by clouds or objects, the assumption is the same as in Non-Patent Document 1, and therefore, by setting the composite weight ⁇ to 0.5, The spectral shape of I can be calculated.
  • the spectrum shape of the shooting illumination spectrum I can be calculated by setting a real value up to 0.5 that is not 0, such as 0.2 or 0.3. .
  • FIG. 2 shows a block diagram showing the configuration of the weather-corresponding illumination spectrum calculation means 24.
  • the weather-corresponding illumination spectrum calculation unit 24 includes a synthesis weight calculation unit 241 and a direct / scattering component synthesis unit 242, and receives the direct achievement, the scattering component, and the shooting weather information, and outputs a shooting illumination spectrum.
  • the composite weight calculation means 241 receives the shooting weather information as input, and calculates and outputs a composite weight ⁇ of the directly achieved component and the scattering component for generating the shooting illumination spectrum.
  • an input method of shooting weather information for example, there is a method in which the user selects from preset options such as “sunny”, “cloudy”, and “shade” according to the weather conditions at the time of shooting.
  • the value of the composition weight ⁇ corresponding to the set option is set in the internal memory in advance, and the value of the composition weight corresponding to the input option is read from the memory. For example, 0 is selected when “Shade” is selected, 0.5 when “Sunny” is selected, and 0.2 or 0.3 depending on the degree of cloudiness when “Cloudy” is selected. There is a method of setting the optimum real value between 0.0 and 0.5 in the composite weight ⁇ .
  • the direct / scattering component combining means 241 receives the combined weight ⁇ , the directly achieved component Id, and the scattered component Is, and combines the directly achieved component and the scattered component based on the input combined weight ⁇ as shown in Expression (3). Then, a photographing illumination spectrum I is generated.
  • the clear sky illumination spectrum calculation means 22 receives the photographic solar radiation conditions as input, and uses the calculation method of Non-Patent Document 1 to calculate and output the directly achieved component and the scattering component (S001).
  • the weather-corresponding illumination spectrum calculation means 24 receives the shooting weather information, the directly achieved portion Id, and the scattering component Is, and synthesizes the directly achieved portion and the scattered component based on the combined weight ⁇ calculated from the shooting weather information. A spectrum is generated (S002).
  • the illumination spectrum correcting unit 11 uses an input image captured under an arbitrary outdoor illumination, a captured illumination spectrum estimated by the weather corresponding illumination spectrum calculating unit 24, and a target illumination spectrum stored in the target illumination spectrum storage memory 13. Based on the above, using the method of equation (1), it is converted into an image photographed under the target illumination (S003).
  • the first embodiment corrects the influence of the fluctuation of the environmental illumination light on the imaging spectrum in the hyperspectral image, but the RGB is obtained by making the sampling number of wavelengths in the imaging spectrum image correspond to the three channels of RGB. It can also be applied to images.
  • the imaging illumination spectrum generated based on the estimated color temperature is replaced with the imaging illumination spectrum generated according to the present embodiment and corrected. There is a way.
  • FIG. 4 is a block diagram showing the configuration of the second exemplary embodiment of the present invention.
  • the second embodiment according to the present invention shown in FIG. 4 includes an illumination spectrum correction means 11, a photographing illumination spectrum storage memory 32, a clear weather illumination spectrum calculation means 35, and a weather corresponding illumination spectrum calculation means 36.
  • an input image shot under known illumination is converted into an image shot under an arbitrary outdoor environment specified by the target solar radiation condition and target weather information.
  • a known illumination such as a fluorescent lamp
  • an image taken indoors under a known illumination such as a fluorescent lamp, taken outdoors under any date, place, and weather specified by the user can be converted to
  • the second embodiment according to the present invention is different from the first embodiment in that the photographing illumination spectrum is stored in the photographing illumination spectrum storage memory 32 in advance, and the target illumination spectrum is a clear-light illumination spectrum. It differs in that it is generated through the calculation means 35 and the weather corresponding illumination spectrum calculation means 36.
  • the clear sky illumination spectrum calculation means 35 performs the same operation as the clear sky illumination spectrum calculation means 22 and outputs the directly achieved component and the scattering component, but instead of the shooting solar radiation information, the date and place, the solar zenith angle, and the atmospheric turbidity.
  • the target solar radiation conditions such as degree and precipitable water are input as target solar radiation information.
  • the weather corresponding illumination spectrum calculating means 36 performs the same operation as the weather corresponding illumination spectrum calculating means 24 in FIG. 1 and outputs the target illumination spectrum.
  • the target weather condition is the target weather information. Enter as. For example, there is a method of selecting from preset options such as “sunny”, “cloudy”, and “shade” according to the weather condition intended by the user.
  • the clear sky illumination spectrum calculation means 35 generates a direct achievement and a scattering component based on the target solar radiation information (S101).
  • the weather corresponding illumination spectrum calculation means 36 generates a target illumination spectrum based on the target weather information (S102).
  • the illumination spectrum correcting unit 11 converts an input image captured under a known illumination based on a captured illumination spectrum held in a captured illumination spectrum storage memory and a target illumination spectrum calculated by a weather corresponding illumination spectrum calculating unit. Then, using the method of equation (1), it is converted into an image photographed under any outdoor illumination and output (S103).
  • FIG. 6 is a block diagram showing the configuration of the third exemplary embodiment of the present invention.
  • the third embodiment according to the present invention shown in FIG. 6 includes an illumination spectrum correction means 11, a clear weather illumination spectrum calculation means 22, a weather-friendly illumination spectrum calculation means 24, a clear weather illumination spectrum calculation means 35, and a weather.
  • Corresponding illumination spectrum calculation means 36 includes an illumination spectrum correction means 11, a clear weather illumination spectrum calculation means 22, a weather-friendly illumination spectrum calculation means 24, a clear weather illumination spectrum calculation means 35, and a weather.
  • an input image shot under an arbitrary outdoor environment specified by shooting solar radiation conditions and shooting weather information is newly specified by target solar radiation conditions and target weather information. Convert images taken in any outdoor environment.
  • an image photographed outdoors under an arbitrary date, place, and weather is converted into an image photographed outdoors under another arbitrary date, place, and weather.
  • This is useful when comparing an image taken outdoors under any date, place, and weather with an image of a database taken outdoors under another date, place, and weather in object recognition by color.
  • the target illumination spectrum stored in the target illumination spectrum storage memory is the clear sky illumination spectrum calculation means in the second embodiment. 35 and the weather corresponding illumination spectrum calculation means 36.
  • the clear sky illumination spectrum calculation means 22 inputs the shooting solar radiation conditions, and directly uses the calculation method of Non-Patent Document 1 to directly calculate the combined amount of the direct solar radiation amount and the scattered solar radiation amount in the solar radiation spectrum calculated during the calculation. It outputs as a component and a scattering component (S201).
  • the weather-adaptive lighting spectrum calculation means 24 receives the photographing weather information, the direct achievement, and the scattering component, and combines the direct achievement and the scattering component based on the composite weight calculated from the photographing weather information to generate a target lighting spectrum. (S202).
  • the clear sky illumination spectrum calculation means 35 generates a direct achievement and a scattering component based on the target solar radiation information (S203).
  • the weather corresponding illumination spectrum calculation means 36 generates a target illumination spectrum based on the target weather information (S204).
  • the illumination spectrum correcting unit 11 converts an input image captured in an arbitrary outdoor environment based on a captured illumination spectrum calculated with the weather-related illumination spectrum 24 and a target illumination spectrum calculated with the weather-enabled illumination spectrum 36. Then, using the method of equation (1), the image is converted into an image photographed under a new arbitrary outdoor environment and output (S205).
  • FIG. 8 is a block diagram showing the configuration of the fourth exemplary embodiment of the present invention.
  • the fourth embodiment according to the present invention shown in FIG. 8 includes an input image photographed outdoors, including spectral reflectance calculation means 41, clear sky illumination spectrum calculation means 22, and weather-friendly illumination spectrum calculation means 24. Then, using the shooting solar radiation condition and shooting weather information, an image from which the influence of illumination in the input image is removed is generated as a spectral reflectance image.
  • an image taken outdoors under any date, place, and weather can be converted into an image of spectral reflectance. This is because, in object recognition by color, when creating a database of spectral reflectance images from captured images, or by converting captured scene images into spectral reflectance images and comparing them with the spectral reflectance database This is useful when
  • the spectral reflectance calculation means 41 uses the input image and the photographing illumination spectrum to generate an image obtained by removing the influence of illumination at the time of photographing from the input image as a spectral reflectance image.
  • Spectral spectral intensity O recorded in the pixel corresponding to the input pixel in the spectral reflectance image, where L ( ⁇ ) is the spectral spectral intensity of the pixel with the input image at wavelength ⁇ and I ( ⁇ ) is the imaging illumination spectral intensity. ( ⁇ ) is calculated as in equation (4).
  • the clear sky illumination spectrum calculation means 22 inputs the shooting solar radiation conditions, and directly uses the calculation method of Non-Patent Document 1 to directly calculate the combined amount of the direct solar radiation amount and the scattered solar radiation amount in the solar radiation spectrum calculated during the calculation. It outputs as a component and a scattering component (S301).
  • the weather-corresponding illumination spectrum calculation means 24 receives the photographing weather information, the direct achievement, and the scattering component, and combines the direct achievement and the scattering component based on the composite weight calculated from the photographing weather information to generate a target illumination spectrum. (S302).
  • Spectral reflectance image calculation means 41 uses the method of equation (4) for an input image taken under any outdoor illumination, based on the imaging illumination spectrum calculated by weather-related illumination spectrum calculation means 24. Then, it is converted into an image from which the influence of illumination is removed, and is output as a spectral reflectance image (S303).
  • FIG. 10 is a block diagram showing the configuration of the fifth exemplary embodiment of the present invention.
  • the fifth embodiment according to the present invention shown in FIG. 10 includes a target illumination spectrum image calculation means 51, a clear sky illumination spectrum calculation means 35, and a weather-corresponding illumination spectrum calculation means 36.
  • a spectral reflectance image which is an image from which influence has been removed, is converted into an image photographed under a target illumination environment outdoors using target solar radiation conditions and target weather information.
  • an image of spectral reflectance can be converted into an image photographed outdoors under any date, place, and weather specified by the user.
  • the target illumination spectrum image calculation means 51 uses the target illumination spectrum based on the spectral reflectance image that is an image from which the influence of the illumination spectrum at the time of shooting is removed, and corrects the image corrected to the target illumination spectrum outdoors. Generate as output image. Spectral spectral intensity of the pixel corresponding to the input pixel in the output image, where O ( ⁇ ) is the spectral spectral intensity recorded in the pixel with the spectral reflectance image at wavelength ⁇ and I ′ ( ⁇ ) is the target illumination spectral intensity. L ′ ( ⁇ ) is calculated as in equation (5).
  • the clear sky illumination spectrum calculation means 35 receives the target solar radiation information and outputs the direct achievement and the scattering component (S401).
  • the weather corresponding illumination spectrum calculating means 36 receives the target weather information and outputs the target illumination spectrum (S402).
  • the target illumination spectrum image calculation means 51 uses the method of Expression (5) on the basis of the input spectral reflectance image and the target illumination spectrum calculated by the weather-corresponding illumination spectrum calculation means 36. It converts into the image image
  • the captured color information can be used as stable information not only in a clear sky but also in an image captured in an environment such as cloudy or shaded. Can be corrected.
  • the reason for this is to estimate the illumination spectrum with high accuracy by combining the directly achieved component and the scattering component using an appropriate weighting factor based on the weather information.
  • each unit can be configured by hardware, but can also be realized by a computer program.
  • functions and operations similar to those of the above-described embodiments are realized by a processor that operates according to a program stored in the program memory.
  • only some functions of the above-described embodiments can be realized by a computer program.
  • the weighting coefficient for the directly achieved portion is set to 0 so that the illumination spectrum is composed only of scattered components.
  • the weight coefficient for the direct achievement and the weight coefficient for the scattering component are set to the same value.
  • An image processing method for converting an image taken outdoors under any date, place, and weather into an image taken under a set illumination spectrum A direct and scattered component calculation step for calculating the direct achievement of the illumination spectrum and the scattered component in fine weather, based on the solar radiation conditions at the time of shooting, Based on the weather information at the time of shooting, the direct achievement and the scattering component are combined, and a shooting illumination spectrum calculation step for estimating the lighting spectrum of the shooting environment, An image processing method comprising: an illumination spectrum correction step for converting an input image into an image under preset illumination.
  • Appendix 7 An image processing method for converting an image taken under known illumination into an image taken outdoors under any date, place, and weather specified by a user, A direct and scattered component calculation step for calculating the direct achievement of the illumination spectrum and the scattered component in fine weather, based on the specified solar radiation conditions, A target illumination spectrum calculation step for calculating the illumination spectrum of the target environment by combining the directly achieved portion and the scattering component based on the specified weather information; An illumination spectrum correcting step of converting an input image into an image under illumination of the target environment.
  • An image processing method for converting an image photographed outdoors under any date, place, and weather into an image photographed outdoors under another arbitrary date, place, and weather A direct and scattered component calculation step for calculating the direct achievement of the illumination spectrum and the scattered component in fine weather, based on the solar radiation conditions at the time of shooting, Based on the weather information at the time of shooting, the direct achievement and the scattering component are combined, and a shooting illumination spectrum calculation step for estimating the lighting spectrum of the shooting environment, Based on the solar radiation conditions such as the specified date and position, direct and scattered component calculation step to calculate the direct achievement and scattering component in the illumination spectrum in fine weather, Based on the specified weather information, the target achievement spectrum calculation step of calculating the illumination spectrum of the target environment by combining the direct achievement and the scattering component, An image processing method comprising: an illumination spectrum correction step of converting an input image into an image under illumination of the target environment using an illumination spectrum of the photographing environment.
  • An image processing method for estimating a spectral reflectance of an object to be photographed from an image photographed outdoors under any date, place, and weather A direct and scattered component calculation step for calculating the direct achievement and scattering component in the illumination spectrum in fine weather, based on the solar radiation conditions at the time of shooting, Based on the weather information at the time of shooting, the direct achievement and the scattering component are combined, and a shooting illumination spectrum calculation step for estimating the lighting spectrum of the shooting environment, A spectral reflectance calculation step of removing an influence of an illumination spectrum of the photographing environment from an input image and estimating a spectral reflectance of a photographing target.
  • An image processing method for generating an outdoor photographed image under an arbitrary date, place, and weather specified by a user from spectral reflectance data of a photographing target A direct and scattered component calculation step for calculating the direct achievement and scattering component in the illumination spectrum in fine weather, based on the specified solar radiation conditions, Based on the specified weather information, the target achievement spectrum calculation step of calculating the illumination spectrum of the target environment by combining the direct achievement and the scattering component, And a target spectral image calculation step of generating an image under illumination of the target environment from spectral reflectance data of the imaging target.
  • An image processing system for converting an image taken outdoors under any date, place, and weather into an image taken under a set illumination spectrum
  • a direct / scattering component calculation means for calculating the direct achievement of the illumination spectrum and the scattering component in clear weather, based on the solar radiation conditions at the time of shooting; Based on weather information at the time of shooting, the direct achievement and the scattered component are combined, and a shooting illumination spectrum calculating means for estimating the lighting spectrum of the shooting environment,
  • An image processing system having illumination spectrum correction means for converting an input image into an image under preset illumination.
  • An image processing system that converts an image taken under known illumination into an image taken outdoors under any date, place, and weather specified by a user, Based on the specified solar radiation conditions, the direct achievement / scattering component calculation means for calculating the direct achievement of the illumination spectrum and the scattering component in fine weather, Based on the specified weather information, the direct achievement part and the scattering component are synthesized, and the target illumination spectrum calculation means for calculating the illumination spectrum of the target environment,
  • An image processing system comprising: an illumination spectrum correcting unit that converts an input image into an image under illumination of the target environment.
  • An image processing system for converting an image taken outdoors under an arbitrary date, place, and weather into an image taken outdoors under another arbitrary date, place, and weather,
  • a direct / scattering component calculation means for calculating the direct achievement of the illumination spectrum and the scattering component in clear weather, based on the solar radiation conditions at the time of shooting; Based on weather information at the time of shooting, the direct achievement and the scattered component are combined, and a shooting illumination spectrum calculating means for estimating the lighting spectrum of the shooting environment, Based on the solar radiation conditions such as the specified date and time and position, direct and scattered component calculation means for calculating the direct achievement and scattering component in the illumination spectrum in fine weather, Based on the specified weather information, the direct achievement part and the scattering component are synthesized, and the target illumination spectrum calculation means for calculating the illumination spectrum of the target environment,
  • An image processing system comprising: an illumination spectrum correction unit that converts an input image into an image under illumination of the target environment by using an illumination spectrum of the photographing environment.
  • An image processing system for estimating a spectral reflectance of an object to be photographed from an image photographed outdoors under any date, place, and weather, Based on the solar radiation conditions at the time of shooting, a direct / scattering component calculation means for calculating the direct achievement and scattering component in the illumination spectrum in fine weather, Based on weather information at the time of shooting, the direct achievement and the scattered component are combined, and a shooting illumination spectrum calculating means for estimating the lighting spectrum of the shooting environment, An image processing system comprising spectral reflectance calculation means for removing the influence of the illumination spectrum of the photographing environment from the input image and estimating the spectral reflectance of the photographing target.
  • An image processing system for generating an outdoor photographed image under any date, place, and weather specified by a user from spectral reflectance data of a photographing target, Based on the specified solar radiation conditions, a direct achievement / scattering component calculation means for calculating a direct achievement and a scattering component in the illumination spectrum in fine weather, Based on the specified weather information, the direct achievement part and the scattering component are synthesized, and the target illumination spectrum calculation means for calculating the illumination spectrum of the target environment,
  • An image processing system comprising: target spectral image calculation means for generating an image under illumination of the target environment from spectral reflectance data of an imaging target.
  • An image processing program for converting an image taken outdoors under an arbitrary date, place, and weather into an image taken under a set illumination spectrum Based on the solar radiation conditions at the time of shooting, direct and scattered component calculation processing to calculate the direct achievement of the illumination spectrum and the scattered component in fine weather, Based on the weather information at the time of shooting, the direct achievement and the scattered component are combined, and a shooting illumination spectrum calculation process for estimating the lighting spectrum of the shooting environment;
  • An image processing program for converting an image taken outdoors under an arbitrary date, place, and weather into an image taken outdoors under another arbitrary date, place, and weather Based on the solar radiation conditions at the time of shooting, direct and scattered component calculation processing to calculate the direct achievement of the illumination spectrum and the scattered component in fine weather, Based on the weather information at the time of shooting, the direct achievement and the scattered component are combined, and a shooting illumination spectrum calculation process for estimating the lighting spectrum of the shooting environment; Based on the solar radiation conditions such as the specified date and position, direct and scattered component calculation processing to calculate the direct achievement and scattering component in the illumination spectrum in fine weather, Based on the specified weather information, the target achievement spectrum calculation process for calculating the illumination spectrum of the target environment by combining the direct achievement and the scattering component, A program for causing an information processing apparatus to execute an illumination spectrum correction process for converting an input image into an image under illumination in the target environment using an illumination spectrum in the photographing environment.
  • An image processing program for estimating a spectral reflectance of an object to be photographed from an image photographed outdoors under any date, place, and weather Based on the solar radiation conditions at the time of shooting, direct and scattered component calculation processing to calculate the direct achievement and scattering component in the illumination spectrum in fine weather, Based on the weather information at the time of shooting, the direct achievement and the scattered component are combined, and a shooting illumination spectrum calculation process for estimating the lighting spectrum of the shooting environment;
  • An image processing program for generating an outdoor photographed image under any date, place, and weather specified by a user from spectral reflectance data to be photographed, Based on the specified solar radiation conditions, direct achievement and scattering component calculation processing to calculate the direct achievement and scattering component in the illumination spectrum in fine weather, Based on the specified weather information, the target achievement spectrum calculation process for calculating the illumination spectrum of the target environment by combining the direct achievement and the scattering component, A program for causing an information processing apparatus to execute target spectral image calculation processing for generating an image under illumination of the target environment from spectral reflectance data of an imaging target.
  • the present invention can be applied to an image processing apparatus that corrects the influence of changes in the solar radiation spectrum on the shape of the observed spectrum during outdoor shooting.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本発明は、照明スペクトルの推定方法であって、天候情報に基づいて、照明スペクトルを算出する照明スペクトル推定方法である。

Description

画像処理方法、画像処理システムおよび画像処理プログラム
 本発明は、画像処理方法、画像処理システムおよび画像処理プログラムに関するものである。
 撮影装置を用いて撮影された画像の色は、撮影時の環境照明光が被写体の表面で反射され、撮影装置に入射した光をもとに生成される。そのため、表面反射率が同一の被写体を撮影しても、環境照明光が異なると撮影画像の色も変化する。多数の波長の光が記録されたハイパースペクトル画像を用いて画像内の物体を認識する技術において、被写体が同一物体であるにも関わらず、環境照明光の変化によって撮影されたスペクトルが異なることは望ましくない。この問題を解決するためには、環境照明光の分光スペクトルを推定し、その影響を補正する必要がある。
 環境照明光の分光スペクトルの変動の影響を補正する方法として、撮影されたRGBの3チャンネルで表記されるカラー画像に対し、環境照明光の色温度を推定し、推定された色温度から画像を補正する方法が既に提案されている(特許文献1、特許文献2)。
 例えば、特許文献1では、画像中に含まれるグレーおよび/または肌色の色情報を用いて環境照明光の色温度を推定し、目的とする色温度に変換するための各チャンネルの補正比率を算出し、画像を補正する。
 また、特許文献2では、黒体輻射の分光エネルギー分布及び被写体の固有ベクトルから算出される評価値が最小となる色温度を撮影光源の色温度と推定する。これらの手法をハイパースペクトル画像に適用するためには、推定された色温度から生成される環境照明光の分光スペクトルと、目的とする環境の分光スペクトルを用いて、各波長における補正比率を算出すればよい。すなわち、波長λにおける、撮影された入力画像のある画素の分光スペクトル強度をL(λ)、推定された撮影時の照明スペクトル強度をI(λ)、目的の照明スペクトル強度をI’(λ)とすると、出力画像における当該画素の分光スペクトル強度L’(λ)は、式(1)のように計算される。
Figure JPOXMLDOC01-appb-M000001
 しかし、これらの方法は、カラー画像では有効に動作するが、ハイパースペクトル画像の補正では、色温度から生成される分光スペクトルと実際の環境照明光の分光スペクトルとの誤差が大きいため、補正が不十分となってしまう問題がある。
 撮影環境を屋外に限定した場合、その主となる環境照明光の分光スペクトルは、地表で観測される太陽光による日射スペクトルとなる。晴天時における高精度な日射スペクトルの推定方法が非特許文献1で提案されている。
 非特許文献1の分光スペクトル推定方法は、日時や場所情報から算出される太陽天頂角や、大気混濁度、可降水量などの撮影時の日射条件と、被写体表面の傾斜情報をもとに、太陽光線の大気における減衰、散乱および被写体表面への照射を推定することで、被写体表面における、いわゆる直射日光に相当する日射量である直達成分Idと環境光を表す散乱成分Isとをそれぞれ算出し、その加算和を日射スペクトルIとして計算する。そのため、この方法は屋外晴天時における環境照明光を高精度に推定することができる。
 上記の関連する技術による画像処理方法の構成図を図12に示す。図12の構成図は、特許文献1、特許文献2および非特許文献1をもとに生成したブロック図である。晴天時照明スペクトル計算手段12は撮影日射条件を入力とし、非特許文献1の計算方法を用いて、晴天時における撮影照明スペクトルを計算する。
 照明スペクトル補正手段11は、屋外で撮影された入力画像と、晴天時照明スペクトル計算手段12によって推定された撮影照明スペクトルと、目的照明スペクトル保存メモリ13に格納された目的照明スペクトルを入力とし、式(1)の方法を用いて、入力画像を、目的の照明スペクトル下で撮影された画像に変換する。
特開2003‐224867号公報 特開平08‐122157号公報
Bird, R.E., and C. Riordan, Simple Solar Spectral Model for Direct and Diffuse Irradiance on Horizontal and Tilted Planes at the Earth's Surface for Cloudless Atmospheres, Technical Report No. SERI/TR-215-2436, Golden, CO: Solar Energy Research Institute, 1984
 上記関連技術は、撮影における日時や場所などの日射条件によって変化する照明スペクトルを計算し、晴天時に屋外撮影された画像を、目的の照明下で撮影された画像に変換することが可能だが、撮影時の天候により変化する照明スペクトルを計算することができないという問題があった。
 そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、晴天のみならず曇天や日陰などの環境下で撮影された画像においても、撮影された色情報を安定な情報として利用できるように補正する画像処理方法、画像処理システムおよび画像処理プログラムを提供することにある。
 本発明は、照明スペクトルの推定方法であって、天候情報に基づいて、照明スペクトルを算出する照明スペクトル推定方法である。
 本発明は、任意の日時、場所、天候下で屋外撮影された画像を、設定された照明スペクトル下で撮影された画像に変換する画像処理方法であって、撮影時の日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分とを算出する直達・散乱成分計算ステップと、撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算ステップと、入力画像を、あらかじめ設定された照明下の画像に変換する照明スペクトル補正ステップと有する画像処理方法である。
 本発明は、既知の照明下で撮影した画像を、ユーザーが指定する任意の日時、場所、天候下において屋外撮影された画像に変換する画像処理方法であって、指定された日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分を算出する直達・散乱成分計算ステップと、指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算ステップと、入力画像を、前記目的環境の照明下の画像に変換する照明スペクトル補正ステップとを有する画像処理方法である。
 本発明は、任意の日時、場所、天候下で屋外撮影された画像を、別の任意の日時、場所、天候下で屋外撮影された画像に変換する画像処理方法であって、撮影時の日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分とを算出する直達・散乱成分計算ステップと、撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算ステップと、指定された日時や位置などの日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分を算出する直達・散乱成分計算ステップと、指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算ステップと、前記撮影環境の照明スペクトルを利用して、入力画像を、前記目的環境の照明下の画像に変換する照明スペクトル補正ステップとを有する画像処理方法である。
 本発明は、任意の日時、場所、天候下で屋外撮影された画像から、撮影対象の分光反射率を推定する画像処理方法であって、撮影時の日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分とを算出する直達・散乱成分計算ステップと、撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算ステップと、入力画像から、前記撮影環境の照明スペクトルの影響を除去し、撮影対象の分光反射率を推定する分光反射率計算ステップとを有する画像処理方法である。
 本発明は、撮影対象の分光反射率データから、ユーザーが指定する任意の日時、場所、天候下における屋外撮影画像を生成する画像処理方法であって、指定された日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分を算出する直達・散乱成分計算ステップと、指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算ステップと、撮影対象の分光反射率データから、前記目的環境の照明下の画像を生成する目的スペクトル画像計算ステップとを有する画像処理方法である。
 本発明は、任意の日時、場所、天候下で屋外撮影された画像を、設定された照明スペクトル下で撮影された画像に変換する画像処理システムであって、撮影時の日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分とを算出する直達・散乱成分計算手段と、撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算手段と、入力画像を、あらかじめ設定された照明下の画像に変換する照明スペクトル補正手段と有する画像処理システムである。
 本発明は、既知の照明下で撮影した画像を、ユーザーが指定する任意の日時、場所、天候下において屋外撮影された画像に変換する画像処理システムであって、指定された日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分を算出する直達・散乱成分計算手段と、指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算手段と、入力画像を、前記目的環境の照明下の画像に変換する照明スペクトル補正手段とを有する画像処理システムである。
 本発明は、任意の日時、場所、天候下で屋外撮影された画像を、別の任意の日時、場所、天候下で屋外撮影された画像に変換する画像処理システムであって、撮影時の日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分とを算出する直達・散乱成分計算手段と、撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算手段と、指定された日時や位置などの日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分を算出する直達・散乱成分計算手段と、指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算手段と、前記撮影環境の照明スペクトルを利用して、入力画像を、前記目的環境の照明下の画像に変換する照明スペクトル補正手段とを有する画像処理システムである。
 本発明は、任意の日時、場所、天候下で屋外撮影された画像から、撮影対象の分光反射率を推定する画像処理システムであって、撮影時の日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分とを算出する直達・散乱成分計算手段と、撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算手段と、入力画像から、前記撮影環境の照明スペクトルの影響を除去し、撮影対象の分光反射率を推定する分光反射率計算手段とを有する画像処理システムである。
 本発明は、撮影対象の分光反射率データから、ユーザーが指定する任意の日時、場所、天候下における屋外撮影画像を生成する画像処理システムであって、指定された日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分を算出する直達・散乱成分計算手段と、指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算手段と、撮影対象の分光反射率データから、前記目的環境の照明下の画像を生成する目的スペクトル画像計算手段とを有する画像処理システムである。
 本発明は、任意の日時、場所、天候下で屋外撮影された画像を、設定された照明スペクトル下で撮影された画像に変換する画像処理のプログラムであって、撮影時の日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分とを算出する直達・散乱成分計算処理と、撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算処理と、入力画像を、あらかじめ設定された照明下の画像に変換する照明スペクトル補正処理とを情報処理装置に実行させるプログラムである。
 本発明は、既知の照明下で撮影した画像を、ユーザーが指定する任意の日時、場所、天候下において屋外撮影された画像に変換する画像処理のプログラムであって、指定された日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分を算出する直達・散乱成分計算処理と、指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算処理と、入力画像を、前記目的環境の照明下の画像に変換する照明スペクトル補正処理とを情報処理装置に実行させるプログラムである。
 本発明は、任意の日時、場所、天候下で屋外撮影された画像を、別の任意の日時、場所、天候下で屋外撮影された画像に変換する画像処理のプログラムであって、撮影時の日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分とを算出する直達・散乱成分計算処理と、撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算処理と、指定された日時や位置などの日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分を算出する直達・散乱成分計算処理と、指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算処理と、前記撮影環境の照明スペクトルを利用して、入力画像を、前記目的環境の照明下の画像に変換する照明スペクトル補正処理とを情報処理装置に実行させるプログラムである。
 本発明は、任意の日時、場所、天候下で屋外撮影された画像から、撮影対象の分光反射率を推定する画像処理のプログラムであって、撮影時の日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分とを算出する直達・散乱成分計算処理と、撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算処理と、入力画像から、前記撮影環境の照明スペクトルの影響を除去し、撮影対象の分光反射率を推定する分光反射率計算処理とを情報処理装置に実行させるプログラムである。
 本発明は、撮影対象の分光反射率データから、ユーザーが指定する任意の日時、場所、天候下における屋外撮影画像を生成する画像処理のプログラムであって、指定された日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分を算出する直達・散乱成分計算処理と、指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算処理と、撮影対象の分光反射率データから、前記目的環境の照明下の画像を生成する目的スペクトル画像計算処理とを情報処理装置に実行させるプログラムである。
 本発明によれば、照明スペクトルを高精度に推定することができる。
図1は本発明による第1の実施の形態の構成図である。 図2は図1における天候対応照明スペクトル計算手段24の詳細な構成図である。 図3は本発明による第1の実施の形態のフローチャートである。 図4は本発明による第2の実施の形態の構成図である。 図5は本発明による第2の実施の形態のフローチャートである。 図6は本発明による第3の実施の形態の構成図である。 図7は本発明による第3の実施の形態のフローチャートである。 図8は本発明による第4の実施の形態の構成図である。 図9は本発明による第4の実施の形態のフローチャートである。 図10は本発明による第5の実施の形態の構成図である。 図11は本発明による第5の実施の形態のフローチャートである。 図12は関連する技術の環境照明光補正方法の構成図である。 図13は屋外曇天時における照明光の被写体までの伝達を示したモデル図である。
 本発明の実施の形態について図面を参照して詳細に説明する。
 [第1の実施の形態]
 図1は、本発明による第1の実施の形態の構成を示すブロック図である。
 図1に示す第1の実施の形態は、照明スペクトル補正手段11と、晴天時照明スペクトル計算手段22と、目的照明スペクトル保存メモリ13と、天候対応照明スペクトル計算手段24とを備え、屋外で撮影された入力画像と撮影日射条件と撮影天候情報とを用いて、入力画像における照明を目的の照明スペクトルに補正した画像を出力画像として生成する。
 本発明による第1の実施の形態を用いることで、任意の日時、場所、天候下において屋外撮影された画像を、目的の照明スペクトル下で撮影された画像に変換することができる。
 本発明による第1の実施の形態は、上述した関連技術の構成と比較して、晴天時照明スペクトル計算手段22及び天候対応照明スペクトル計算手段24の動作が異なる。以下、晴天時照明スペクトル計算手段22及び天候対応照明スペクトル計算手段24の動作の詳細を説明する。
 晴天時照明スペクトル計算手段22は、図12における晴天時照明スペクトル計算手段12と同様に、撮影日射条件を入力とし非特許文献1の計算方法を用いて、晴天時における照明スペクトルを計算する。ただし、晴天時照明スペクトル計算手段22は、計算途中で算出される直達成分Id、散乱成分Isをそれぞれ出力する点で、晴天時照明スペクトル計算手段12と異なる。
 天候対応照明スペクトル計算手段24は、直達成分と散乱成分と撮影天候情報とを入力として、撮影照明スペクトルを出力する。関連する技術においては、雲による光の散乱・透過を考慮していなかったため、晴天時以外の環境における撮影照明スペクトルを高精度に生成することができなかった。そこで、天候対応照明スペクトル計算手段24は、入力された撮影天候情報から、雲や他のオブジェクトによる光の散乱・透過を予測することで、晴天時以外の環境でも高精度な撮影照明スペクトルを生成する。
 第1の実施の形態における撮影照明スペクトルの生成方法の原理を以下に示す。
 図13は、太陽光の屋外曇天時における被写体までの伝達を表すモデル図である。
 本モデルでは、まず、太陽光において被写体へ向かう光のうち、雲に入射する前の直達成分、散乱成分をそれぞれ、非特許文献1の計算方法において計算途中で算出される直達成分Id、散乱成分Isとみなす。
 次に、直達、散乱成分の光が雲を透過するときの光の透過・散乱を計算することによって、雲が存在する環境における被写体に入射する撮影照明スペクトルIを計算する。雲による光の透過・散乱を波長に依存しないものとすると、散乱成分の光のうち雲に入射する光の割合をp、直達、散乱成分の光が雲を透過する割合をそれぞれm 、m’、雲で散乱された後再び被写体に入射する光の割合をそれぞれn、n’を用いて、雲が存在する環境における被写体に入射する波長λの撮影照明スペクトル強度I(λ)は、式(2)のように算出される。ただし、Id(λ)およびIs(λ)は、それぞれ波長λにおける直達成分および散乱成分のスペクトル強度を表す。
Figure JPOXMLDOC01-appb-M000002
 式(2)の右辺におけるId(λ)の係数項とIs(λ)の係数項は定数であるため、撮影照明スペクトルIのスペクトル形状はId(λ)の係数項とIs(λ)の係数項の比のみに依存する。そこで合成重みαを用いて、直達成分Idの合成比率をα、散乱成分Isの合成比率を1-αとして合成することで、この合成和は撮影照明スペクトルIのとりうる全てのスペクトル形状を表現することが可能である。すなわち、撮影照明スペクトルI(λ)を波長λにおける比例式として式(3)のように表すことができる。
Figure JPOXMLDOC01-appb-M000003
 式(3)を用いることで撮影照明スペクトルIのスペクトル形状を計算できる。例えば、オブジェクトによって直達成分が遮られている「日陰」の環境で撮影した画像においては、直達成分は遮られ、被写体には散乱成分しか照射されないため、合成重みαを0とすることで、撮影照明スペクトルIのスペクトル形状を計算することができる。また、雲やオブジェクトによる太陽光の遮りが全くない「晴天」の環境で撮影した画像においては、非特許文献1における仮定と同じであるため、合成重みαを0.5とすることで、撮影照明スペクトルIのスペクトル形状を計算することができる。また、太陽が雲に遮られている「曇天」の環境では、直達成分の一部が、雲内での光の散乱により散乱成分と混合され、散乱光として被写体に照射される。つまり、被写体にたどり着く直達成分が存在するため、直達成分が完全に遮られる日陰時と異なる。したがって、「曇天」の環境で撮影した画像においては、合成重みαを0.2や0.3など、0ではない0.5までの実数値を設定することで、撮影照明スペクトルIのスペクトル形状を計算することができる。
 次に、天候対応照明スペクトル計算手段24の構成を示すブロック図を図2に示す。
 天候対応照明スペクトル計算手段24は、合成重み計算手段241と、直達・散乱成分合成手段242とを備え、直達成分と散乱成分と撮影天候情報とを入力とし、撮影照明スペクトルを出力する。
 合成重み計算手段241は、撮影天候情報を入力とし、撮影照明スペクトルを生成するための、直達成分と散乱成分の合成重みαを算出し、出力する。
 撮影天候情報の入力方法として、例えば、「晴天」、「曇り」、「日陰」等のあらかじめ設定された選択肢から、ユーザーが撮影時の天候状況に応じて選択する方法がある。
 合成重みαの算出方法として、設定した選択肢に対応する合成重みαの値をあらかじめ内部メモリ内に設定しておき、入力された選択肢に対応する合成重みの値をメモリから読み出す方法がある。例えば、「日陰」が選択された場合は0を、「晴天」が選択された場合は0.5を、また、「曇り」が選択された場合は、その曇りの度合に応じて、0.2や0.3などの0.0~0.5の間で最適な実数値を合成重みαに設定する方法がある。
 直達・散乱成分合成手段241は、合成重みαと直達成分Idと散乱成分Isとを入力とし、式(3)のように、入力された合成重みαに基づいて直達成分と散乱成分とを合成し、撮影照明スペクトルIを生成する。
 次に図1、図2および図3のフローチャートを参照して、本実施の形態の全体の動作を説明する。
 まず、晴天時照明スペクトル計算手段22は、撮影日射条件を入力とし、非特許文献1の計算方法を用いて、直達成分、散乱成分を算出し、出力する(S001)。
 天候対応照明スペクトル計算手段24は、撮影天候情報と直達成分Idと散乱成分Isとを入力とし、撮影天候情報から算出された合成重みαに基づいて直達成分と散乱成分とを合成し、撮影照明スペクトルを生成する(S002)。
 照明スペクトル補正手段11は、任意の屋外照明下で撮影された入力画像を、天候対応照明スペクトル計算手段24によって推定された撮影照明スペクトルと、目的照明スペクトル保存メモリ13に保持された目的照明スペクトルとをもとに、式(1)の方法を用いて、目的の照明下で撮影された画像に変換する(S003)。
 第1の実施の形態は、ハイパースペクトル画像において環境照明光の変動が撮影スペクトルに与える影響を補正するものであるが、撮影スペクトル画像における波長のサンプリング数をRGBの3チャンネルに対応させることでRGB画像に適用することもできる。RGB画像に適用する方法として、特許文献1や特許文献2において、推定された色温度をもとに生成される撮影照明スペクトルを、本実施の形態によって生成される撮影照明スペクトルに置き換えて補正する方法がある。
 [第2の実施の形態]
 図4は、本発明による第2の実施の形態の構成を示すブロック図である。
 図4に示す本発明による第2の実施の形態は、照明スペクトル補正手段11と、撮影照明スペクトル保存メモリ32と、晴天時照明スペクトル計算手段35と、天候対応照明スペクトル計算手段36とを備える。
 本発明による第2の実施の形態は、既知の照明下で撮影された入力画像を、目的日射条件と目的天候情報で指定される任意の屋外環境下で撮影された画像に変換する。本発明による第二の実施の形態を用いることで、例えば、室内で蛍光灯などの既知の照明下で撮影した画像を、ユーザーが指定する任意の日時、場所、天候下において屋外撮影された画像に変換することができる。
 本発明による第2の実施の形態は、第1の実施の形態と比較して、撮影照明スペクトルがあらかじめ撮影照明スペクトル保存メモリ32に保持されている点、また、目的照明スペクトルが晴天時照明スペクトル計算手段35と天候対応照明スペクトル計算手段36を通して生成される点で異なる。
 以下、晴天時照明スペクトル計算手段35及び天候対応照明スペクトル計算手段36の動作の詳細を説明する。
 晴天時照明スペクトル計算手段35は、晴天時照明スペクトル計算手段22と同様の動作を行い、直達成分と散乱成分を出力するが、撮影日射情報の代わりに、日時や場所、太陽天頂角、大気混濁度、可降水量など、目的とする日射条件を目的日射情報として入力する。
 天候対応照明スペクトル計算手段36は、図1における天候対応照明スペクトル計算手段24と同様の動作を行い、目的照明スペクトルを出力するが、撮影天候情報の代わりに、目的とする天候条件を目的天候情報として入力する。例えば、「晴天」、「曇り」、「日陰」等のあらかじめ設定された選択肢から、ユーザーが目的とする天候条件に応じて選択する方法がある。
 次に図4および図5のフローチャートを参照して、本実施の形態の全体の動作を説明する。
 晴天時照明スペクトル計算手段35は、目的日射情報をもとに、直達成分と散乱成分とを生成する(S101)。
 天候対応照明スペクトル計算手段36は、目的天候情報をもとに、目的照明スペクトルを生成する(S102)。
 照明スペクトル補正手段11は、既知の照明下で撮影された入力画像を、撮影照明スペクトル保存メモリに保持された撮影照明スペクトルと、天候対応照明スペクトル計算手段によって計算された目的照明スペクトルとをもとに、式(1)の方法を用いて、任意の屋外照明下で撮影された画像に変換し、出力する(S103)。
 [第3の実施の形態]
 図6は、本発明による第3の実施の形態の構成を示すブロック図である。
 図6に示す本発明による第3の実施の形態は、照明スペクトル補正手段11と、晴天時照明スペクトル計算手段22と、天候対応照明スペクトル計算手段24と、晴天時照明スペクトル計算手段35と、天候対応照明スペクトル計算手段36とを備える。
 本発明による第3の実施の形態は、撮影日射条件と撮影天候情報とで指定される任意の屋外環境下で撮影された入力画像を、目的日射条件と目的天候情報とで指定される新たな任意の屋外環境下で撮影された画像に変換する。
 本発明による第3の実施の形態を用いることで、例えば、任意の日時、場所、天候下で屋外撮影された画像を、別の任意の日時、場所、天候下で屋外撮影された画像に変換することが可能である。これは、色による物体認識において、任意の日時、場所、天候下で屋外撮影された画像を、別の日時、場所、天候下で屋外撮影されたデータベースの画像と比較するときに有用である。
 本発明による第3の実施の形態は、第1の実施の形態と比較して、目的照明スペクトル保存メモリに保持されていた目的照明スペクトルが、第2の実施の形態における晴天時照明スペクトル計算手段35と天候対応照明スペクトル計算手段36とを通して生成される点で異なる。
 次に、図6および図7のフローチャートを参照して、本実施の形態の全体の動作を説明する。
 晴天時照明スペクトル計算手段22は、撮影日射条件を入力とし、非特許文献1の計算方法を用いて、計算途中で算出される、直達日射量と散乱日射量の日射スペクトルにおける合成量をそれぞれ直達成分、散乱成分として出力する(S201)。
 天候対応照明スペクトル計算手段24は、撮影天候情報と直達成分と散乱成分とを入力とし、撮影天候情報から算出された合成重みに基づいて直達成分と散乱成分とを合成し、目的照明スペクトルを生成する(S202)。
 晴天時照明スペクトル計算手段35は、目的日射情報をもとに、直達成分と散乱成分を生成する(S203)。
 天候対応照明スペクトル計算手段36は、目的天候情報をもとに、目的照明スペクトルを生成する(S204)。
 照明スペクトル補正手段11は、任意の屋外環境下で撮影された入力画像を、天候対応照明スペクトル24で算出された撮影照明スペクトルと、天候対応照明スペクトル36で算出された目的照明スペクトルとをもとに、式(1)の方法を用いて、新たな任意の屋外環境下で撮影された画像に変換し、出力する(S205)。
 [第4の実施の形態]
 図8は、本発明による第4の実施の形態の構成を示すブロック図である。
 図8に示す本発明による第4の実施の形態は、分光反射率計算手段41と、晴天時照明スペクトル計算手段22と、天候対応照明スペクトル計算手段24とを備え、屋外で撮影された入力画像と撮影日射条件と撮影天候情報を用いて、入力画像における照明の影響を除去した画像を分光反射率画像として生成する。
 本発明による第4の実施の形態を用いることで、例えば、任意の日時、場所、天候下で屋外撮影された画像を、分光反射率の画像に変換することが可能である。これは、色による物体認識において、撮影された画像から、分光反射率画像のデータベースを作成するときや、撮影されたシーンの画像を分光反射率の画像に変換し、分光反射率のデータベースと比較するときなどに有用である。
 以下、分光反射率計算手段41の動作の詳細を説明する。
 分光反射率計算手段41は、入力画像と撮影照明スペクトルを用いて、入力画像から撮影時の照明の影響を除去した画像を、分光反射率画像として生成する。波長λにおける、入力画像のある画素の分光スペクトル強度をL(λ)、撮影照明スペクトル強度をI(λ) とすると、分光反射率画像における入力画素に対応する画素に記録される分光スペクトル強度O(λ)は式(4)のように計算される。
Figure JPOXMLDOC01-appb-M000004
 次に、図8および図9のフローチャートを参照して、本実施の形態の全体の動作を説明する。
 晴天時照明スペクトル計算手段22は、撮影日射条件を入力とし、非特許文献1の計算方法を用いて、計算途中で算出される、直達日射量と散乱日射量の日射スペクトルにおける合成量をそれぞれ直達成分、散乱成分として出力する(S301)。
 天候対応照明スペクトル計算手段24は、撮影天候情報と直達成分と散乱成分とを入力とし、撮影天候情報から算出された合成重みに基づいて直達成分と散乱成分を合成し、目的照明スペクトルを生成する(S302)。
 分光反射率画像計算手段41は、任意の屋外照明下で撮影された入力画像を、天候対応照明スペクトル計算手段24で算出された撮影照明スペクトルをもとに、式(4)の方法を用いて、照明の影響を除去した画像に変換し、分光反射率画像として出力する(S303)。
 [第5の実施の形態]
 図10は、本発明による第5の実施の形態の構成を示すブロック図である。
 図10に示す本発明による第5の実施の形態は、目的照明スペクトル画像計算手段51と、晴天時照明スペクトル計算手段35と、天候対応照明スペクトル計算手段36とを備え、撮影時の照明スペクトルの影響が除去された画像である分光反射率画像を、目的日射条件と目的天候情報を用いて、屋外における目的照明環境下で撮影された画像に変換する。本発明による第5の実施の形態を用いることで、例えば、分光反射率の画像を、ユーザーが指定する任意の日時、場所、天候下で屋外撮影された画像に変換することが可能である。
 以下、目的照明スペクトル画像計算手段51の動作の詳細を説明する。
 目的照明スペクトル画像計算手段51は、撮影時の照明スペクトルの影響が除去された画像である分光反射率画像をもとに、目的照明スペクトルを用いて、屋外における目的の照明スペクトルに補正した画像を出力画像として生成する。波長λにおける、分光反射率画像のある画素に記録された分光スペクトル強度をO(λ)、目的照明スペクトル強度をI’(λ)とすると、出力画像における入力画素に対応する画素の分光スペクトル強度L’(λ)は式(5)のように計算される。
Figure JPOXMLDOC01-appb-M000005
 次に、図10および図11のフローチャートを参照して、本実施の形態の全体の動作を説明する。
 晴天時照明スペクトル計算手段35は、目的日射情報を入力とし、直達成分と散乱成分とを出力する(S401)。
 天候対応照明スペクトル計算手段36は、目的天候情報を入力とし、目的照明スペクトルを出力する(S402)。
 目的照明スペクトル画像計算手段51は、入力された分光反射率画像を、天候対応照明スペクトル計算手段36で算出された目的照明スペクトルをもとに、式(5)の方法を用いて、任意の屋外照明下撮影された画像に変換し、出力する(S403)。
 以上の如く、上記第1から第5の実施の形態によれば、晴天のみならず曇天や日陰などの環境下で撮影された画像においても、撮影された色情報を安定な情報として利用できるように補正することができる。その理由は、天候情報をもとに、適切な重み係数を用いて、直達成分と散乱成分を合成することで、照明スペクトルを高精度に推定するためである。
 また、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した各実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
 また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
 [付記1] 照明スペクトルの推定方法であって、
 天候情報に基づいて、照明スペクトルを算出する
照明スペクトル推定方法。
 [付記2] 日射条件によって算出される晴天時における照明スペクトルの直達成分と散乱成分とを、前記天候情報に基づいて決定される重み係数を用いて合成することで、任意の天候における照明スペクトルを推定する
付記1に記載の照明スペクトル推定方法。
 [付記3] 前記天候情報が、オブジェクトによって直達成分が遮られている日陰であるという情報である場合、前記直達成分の重み係数を0に設定することで、散乱成分のみから構成される照明スペクトル形状を算出する
付記2に記載の照明スペクトル推定方法。
 [付記4] 前記天候情報が、雲又はオブジェクトによる太陽光の遮りが全くない晴天であるという情報である場合、前記直達成分の重み係数と前記散乱成分の重み係数とを同一の値に設定した照明スペクトルを算出する
付記2又は付記3に記載の照明スペクトル推定方法。
 [付記5] 前記天候情報として、太陽が雲によって遮られている曇天であるという情報である場合、曇りの度合に応じて、前記散乱成分の重み係数よりも小さな値を持つ前記直達成分の重み係数を設定した照明スペクトルを算出する
付記2から付記4のいずれかに記載の照明スペクトル推定方法。
 [付記6] 任意の日時、場所、天候下で屋外撮影された画像を、設定された照明スペクトル下で撮影された画像に変換する画像処理方法であって、
 撮影時の日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分とを算出する直達・散乱成分計算ステップと、
 撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算ステップと、
 入力画像を、あらかじめ設定された照明下の画像に変換する照明スペクトル補正ステップと
有する画像処理方法。
 [付記7] 既知の照明下で撮影した画像を、ユーザーが指定する任意の日時、場所、天候下において屋外撮影された画像に変換する画像処理方法であって、
 指定された日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分を算出する直達・散乱成分計算ステップと、
 指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算ステップと、
 入力画像を、前記目的環境の照明下の画像に変換する照明スペクトル補正ステップと
を有する画像処理方法。
 [付記8] 任意の日時、場所、天候下で屋外撮影された画像を、別の任意の日時、場所、天候下で屋外撮影された画像に変換する画像処理方法であって、
 撮影時の日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分とを算出する直達・散乱成分計算ステップと、
 撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算ステップと、
 指定された日時や位置などの日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分を算出する直達・散乱成分計算ステップと、
 指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算ステップと、
 前記撮影環境の照明スペクトルを利用して、入力画像を、前記目的環境の照明下の画像に変換する照明スペクトル補正ステップと
を有する画像処理方法。
 [付記9] 任意の日時、場所、天候下で屋外撮影された画像から、撮影対象の分光反射率を推定する画像処理方法であって、
 撮影時の日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分とを算出する直達・散乱成分計算ステップと、
 撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算ステップと、
 入力画像から、前記撮影環境の照明スペクトルの影響を除去し、撮影対象の分光反射率を推定する分光反射率計算ステップと
を有する画像処理方法。
 [付記10] 撮影対象の分光反射率データから、ユーザーが指定する任意の日時、場所、天候下における屋外撮影画像を生成する画像処理方法であって、
 指定された日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分を算出する直達・散乱成分計算ステップと、
 指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算ステップと、
 撮影対象の分光反射率データから、前記目的環境の照明下の画像を生成する目的スペクトル画像計算ステップと
を有する画像処理方法。
 [付記11] 任意の日時、場所、天候下で屋外撮影された画像を、設定された照明スペクトル下で撮影された画像に変換する画像処理システムであって、
 撮影時の日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分とを算出する直達・散乱成分計算手段と、
 撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算手段と、
 入力画像を、あらかじめ設定された照明下の画像に変換する照明スペクトル補正手段と
有する画像処理システム。
 [付記12] 既知の照明下で撮影した画像を、ユーザーが指定する任意の日時、場所、天候下において屋外撮影された画像に変換する画像処理システムであって、
 指定された日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分を算出する直達・散乱成分計算手段と、
 指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算手段と、
 入力画像を、前記目的環境の照明下の画像に変換する照明スペクトル補正手段と
を有する画像処理システム。
 [付記13] 任意の日時、場所、天候下で屋外撮影された画像を、別の任意の日時、場所、天候下で屋外撮影された画像に変換する画像処理システムであって、
 撮影時の日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分とを算出する直達・散乱成分計算手段と、
 撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算手段と、
 指定された日時や位置などの日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分を算出する直達・散乱成分計算手段と、
 指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算手段と、
 前記撮影環境の照明スペクトルを利用して、入力画像を、前記目的環境の照明下の画像に変換する照明スペクトル補正手段と
を有する画像処理システム。
 [付記14] 任意の日時、場所、天候下で屋外撮影された画像から、撮影対象の分光反射率を推定する画像処理システムであって、
 撮影時の日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分とを算出する直達・散乱成分計算手段と、
 撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算手段と、
 入力画像から、前記撮影環境の照明スペクトルの影響を除去し、撮影対象の分光反射率を推定する分光反射率計算手段と
を有する画像処理システム。
 [付記15] 撮影対象の分光反射率データから、ユーザーが指定する任意の日時、場所、天候下における屋外撮影画像を生成する画像処理システムであって、
 指定された日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分を算出する直達・散乱成分計算手段と、
 指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算手段と、
 撮影対象の分光反射率データから、前記目的環境の照明下の画像を生成する目的スペクトル画像計算手段と
を有する画像処理システム。
 [付記16] 任意の日時、場所、天候下で屋外撮影された画像を、設定された照明スペクトル下で撮影された画像に変換する画像処理のプログラムであって、
 撮影時の日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分とを算出する直達・散乱成分計算処理と、
 撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算処理と、
 入力画像を、あらかじめ設定された照明下の画像に変換する照明スペクトル補正処理と
を情報処理装置に実行させるプログラム。
 [付記17] 既知の照明下で撮影した画像を、ユーザーが指定する任意の日時、場所、天候下において屋外撮影された画像に変換する画像処理のプログラムであって、
 指定された日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分を算出する直達・散乱成分計算処理と、
 指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算処理と、
 入力画像を、前記目的環境の照明下の画像に変換する照明スペクトル補正処理と
を情報処理装置に実行させるプログラム。
 [付記18] 任意の日時、場所、天候下で屋外撮影された画像を、別の任意の日時、場所、天候下で屋外撮影された画像に変換する画像処理のプログラムであって、
 撮影時の日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分とを算出する直達・散乱成分計算処理と、
 撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算処理と、
 指定された日時や位置などの日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分を算出する直達・散乱成分計算処理と、
 指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算処理と、
 前記撮影環境の照明スペクトルを利用して、入力画像を、前記目的環境の照明下の画像に変換する照明スペクトル補正処理と
を情報処理装置に実行させるプログラム。
 [付記19] 任意の日時、場所、天候下で屋外撮影された画像から、撮影対象の分光反射率を推定する画像処理のプログラムであって、
 撮影時の日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分とを算出する直達・散乱成分計算処理と、
 撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算処理と、
 入力画像から、前記撮影環境の照明スペクトルの影響を除去し、撮影対象の分光反射率を推定する分光反射率計算処理と
を情報処理装置に実行させるプログラム。
 [付記20] 撮影対象の分光反射率データから、ユーザーが指定する任意の日時、場所、天候下における屋外撮影画像を生成する画像処理のプログラムであって、
 指定された日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分を算出する直達・散乱成分計算処理と、
 指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算処理と、
 撮影対象の分光反射率データから、前記目的環境の照明下の画像を生成する目的スペクトル画像計算処理と
を情報処理装置に実行させるプログラム。
 以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
 本出願は、2010年12月24日に出願された日本出願特願2010-287246号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 本発明によれば、屋外撮影時に日射スペクトルの変化が観測スペクトルの形状に与える影響を補正する映像処理装置に適用できる。
11  照明スペクトル補正手段
12  晴天時照明スペクトル計算手段
13  目的照明スペクトル保存メモリ
22  晴天時照明スペクトル計算手段
24  天候対応照明スペクトル計算手段
32  撮影照明スペクトル保存メモリ
35  晴天時照明スペクトル計算手段
36  天候対応照明スペクトル計算手段
41  分光反射率画像計算手段
51  目的照明スペクトル画像計算手段
241 合成重み計算手段
242 直達・散乱成分合成手段

Claims (10)

  1.  照明スペクトルの推定方法であって、
     天候情報に基づいて、照明スペクトルを算出する
    照明スペクトル推定方法。
  2.  日射条件によって算出される晴天時における照明スペクトルの直達成分と散乱成分とを、前記天候情報に基づいて決定される重み係数を用いて合成することで、任意の天候における照明スペクトルを推定する
    請求項1に記載の照明スペクトル推定方法。
  3.  前記天候情報が、オブジェクトによって直達成分が遮られている日陰であるという情報である場合、前記直達成分の重み係数を0に設定することで、散乱成分のみから構成される照明スペクトル形状を算出する
    請求項2に記載の照明スペクトル推定方法。
  4.  前記天候情報が、雲又はオブジェクトによる太陽光の遮りが全くない晴天であるという情報である場合、前記直達成分の重み係数と前記散乱成分の重み係数とを同一の値に設定した照明スペクトルを算出する
    請求項2又は請求項3に記載の照明スペクトル推定方法。
  5.  前記天候情報として、太陽が雲によって遮られている曇天であるという情報である場合、曇りの度合に応じて、前記散乱成分の重み係数よりも小さな値を持つ前記直達成分の重み係数を設定した照明スペクトルを算出する
    請求項2から請求項4のいずれかに記載の照明スペクトル推定方法。
  6.  任意の日時、場所、天候下で屋外撮影された画像を、設定された照明スペクトル下で撮影された画像に変換する画像処理システムであって、
     撮影時の日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分とを算出する直達・散乱成分計算手段と、
     撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算手段と、
     入力画像を、あらかじめ設定された照明下の画像に変換する照明スペクトル補正手段と
    有する画像処理システム。
  7.  既知の照明下で撮影した画像を、ユーザーが指定する任意の日時、場所、天候下において屋外撮影された画像に変換する画像処理システムであって、
     指定された日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分を算出する直達・散乱成分計算手段と、
     指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算手段と、
     入力画像を、前記目的環境の照明下の画像に変換する照明スペクトル補正手段と
    を有する画像処理システム。
  8.  任意の日時、場所、天候下で屋外撮影された画像を、別の任意の日時、場所、天候下で屋外撮影された画像に変換する画像処理システムであって、
     撮影時の日射条件を基に、晴天時における照明スペクトルの直達成分と散乱成分とを算出する直達・散乱成分計算手段と、
     撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算手段と、
     指定された日時や位置などの日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分を算出する直達・散乱成分計算手段と、
     指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算手段と、
     前記撮影環境の照明スペクトルを利用して、入力画像を、前記目的環境の照明下の画像に変換する照明スペクトル補正手段と
    を有する画像処理システム。
  9.  任意の日時、場所、天候下で屋外撮影された画像から、撮影対象の分光反射率を推定する画像処理システムであって、
     撮影時の日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分とを算出する直達・散乱成分計算手段と、
     撮影時の天候情報を基に、前記直達成分と前記散乱成分とを合成し、撮影環境の照明スペクトルを推定する撮影照明スペクトル計算手段と、
     入力画像から、前記撮影環境の照明スペクトルの影響を除去し、撮影対象の分光反射率を推定する分光反射率計算手段と
    を有する画像処理システム。
  10.  撮影対象の分光反射率データから、ユーザーが指定する任意の日時、場所、天候下における屋外撮影画像を生成する画像処理システムであって、
     指定された日射条件を基に、晴天時の照明スペクトルにおける直達成分と散乱成分を算出する直達・散乱成分計算手段と、
     指定された天候情報を基に、前記直達成分と前記散乱成分とを合成し、目的環境の照明スペクトルを算出する目的照明スペクトル計算手段と、
     撮影対象の分光反射率データから、前記目的環境の照明下の画像を生成する目的スペクトル画像計算手段と
    を有する画像処理システム。
PCT/JP2011/079557 2010-12-24 2011-12-20 画像処理方法、画像処理システムおよび画像処理プログラム WO2012086658A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012549840A JP5950117B2 (ja) 2010-12-24 2011-12-20 画像処理方法、画像処理システムおよび画像処理プログラム
US13/995,399 US9530188B2 (en) 2010-12-24 2011-12-20 Image processing method, image processing system, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010287246 2010-12-24
JP2010-287246 2010-12-24

Publications (1)

Publication Number Publication Date
WO2012086658A1 true WO2012086658A1 (ja) 2012-06-28

Family

ID=46313926

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/079557 WO2012086658A1 (ja) 2010-12-24 2011-12-20 画像処理方法、画像処理システムおよび画像処理プログラム

Country Status (3)

Country Link
US (1) US9530188B2 (ja)
JP (1) JP5950117B2 (ja)
WO (1) WO2012086658A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014049127A (ja) * 2012-08-29 2014-03-17 Ge Aviation Systems Llc ハイパースペクトル画像のシミュレーション方法
WO2018016555A1 (ja) * 2016-07-22 2018-01-25 日本電気株式会社 画像処理装置、画像処理方法及び記録媒体

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130100135A1 (en) * 2010-07-01 2013-04-25 Thomson Licensing Method of estimating diffusion of light
US9792522B2 (en) * 2015-12-01 2017-10-17 Bloomsky, Inc. Weather information extraction using sequential images
JP7321093B2 (ja) * 2017-01-17 2023-08-04 マイカセンス インコーポレイテッド マルチセンサ放射照度推定に係る機器及び方法
JP2018151832A (ja) 2017-03-13 2018-09-27 キヤノン株式会社 情報処理装置、情報処理方法、および、プログラム
US10302551B2 (en) * 2017-08-22 2019-05-28 Harris Corporation Intelligent sensor pointing for remote sensing applications
US11808705B2 (en) 2018-12-19 2023-11-07 InnerPlant, Inc. Sensor plant and method for identifying stressors in crops based on characteristics of sensor plants
CN115841630A (zh) 2019-06-20 2023-03-24 植物心语公司 部署生物哨兵到农田并远程监测作物中生物和非生物胁迫的方法
US11830130B1 (en) * 2023-05-05 2023-11-28 Illuscio, Inc. Systems and methods for removing lighting effects from three-dimensional models

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04358291A (ja) * 1991-06-04 1992-12-11 Hitachi Ltd 色彩画像変更方法
JP2806003B2 (ja) * 1990-07-31 1998-09-30 トヨタ自動車株式会社 カラーグラフィック装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3338569B2 (ja) 1994-10-19 2002-10-28 富士写真フイルム株式会社 色温度推定方法、色温度推定装置、及び露光量決定方法
JP3819302B2 (ja) 2002-01-31 2006-09-06 富士写真フイルム株式会社 ホワイトバランス補正方法
JP2008225887A (ja) * 2007-03-13 2008-09-25 Toshiba Corp 画像検索システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2806003B2 (ja) * 1990-07-31 1998-09-30 トヨタ自動車株式会社 カラーグラフィック装置
JPH04358291A (ja) * 1991-06-04 1992-12-11 Hitachi Ltd 色彩画像変更方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
K. KANEDA ET AL: "Photorealistic image synthesis for outdoor scenery under various atmospheric conditions", VISUAL COMPUTER, vol. 7, no. 5/6, 1991, pages 247 - 258 *
KAZUFUMI KANEDA ET AL.: "A Fast, Accurate Rendering Method of Outdoor Scenes Using an All-weather Skylight Model", THE JOURNAL OF THE INSTITUTE OF IMAGE ELECTRONICS ENGINEERS OF JAPAN, vol. 28, no. 4, 25 August 1999 (1999-08-25), pages 349 - 357 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014049127A (ja) * 2012-08-29 2014-03-17 Ge Aviation Systems Llc ハイパースペクトル画像のシミュレーション方法
WO2018016555A1 (ja) * 2016-07-22 2018-01-25 日本電気株式会社 画像処理装置、画像処理方法及び記録媒体
JPWO2018016555A1 (ja) * 2016-07-22 2019-05-30 日本電気株式会社 画像処理装置および画像処理方法
JP7059930B2 (ja) 2016-07-22 2022-04-26 日本電気株式会社 画像処理装置および画像処理方法
US11519781B2 (en) 2016-07-22 2022-12-06 Nec Corporation Image processing device, image processing method, and recording medium

Also Published As

Publication number Publication date
JP5950117B2 (ja) 2016-07-13
US9530188B2 (en) 2016-12-27
JPWO2012086658A1 (ja) 2014-05-22
US20130266221A1 (en) 2013-10-10

Similar Documents

Publication Publication Date Title
JP5950117B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
Kawakami et al. Camera spectral sensitivity and white balance estimation from sky images
Inanici Evalution of high dynamic range image-based sky models in lighting simulation
Notton et al. Performance evaluation of various hourly slope irradiation models using Mediterranean experimental data of Ajaccio
Rösel et al. Comparison of different retrieval techniques for melt ponds on Arctic sea ice from Landsat and MODIS satellite data
WO2014103181A1 (ja) 画像計測方法、システム、装置およびプログラム
JP6964834B2 (ja) 画像処理装置および画像処理方法
Igawa Improving the All Sky Model for the luminance and radiance distributions of the sky
US10007999B2 (en) Method of solar power prediction
WO2015041160A1 (ja) 日射量見積装置、日射量見積方法および日射量見積プログラム
JP2018151832A (ja) 情報処理装置、情報処理方法、および、プログラム
KR101620951B1 (ko) 모의 위성 영상 생성 방법 및 시스템
Kómar et al. Analysis of diffuse irradiance from two parts of sky vault divided by solar meridian using portable spectral sky-scanner
US20190180429A1 (en) Image processing device, image processing method, and computer-readable recording medium
JP6952998B2 (ja) 日射量推定システム及び日射量推定方法
Valdelomar et al. Comparison of two different techniques to determine the cloud cover from all-sky imagery
CN111355896B (zh) 获取全天相机的自动曝光参数的方法
JP6856066B2 (ja) 情報処理装置、情報処理システム、情報処理方法およびコンピュータプログラム
Schwenger et al. Simulation of laser beam reflection at the sea surface modeling and validation
Lee et al. Generating high-resolution BSDFs for the direct beam component
JP2019152536A (ja) 反射率測定装置、反射率の測定方法、日射光強度の推定方法、飛行型測定装置
Petržala et al. Data regression on sphere for luminance map creation from sky scanner measurements
JP7059930B2 (ja) 画像処理装置および画像処理方法
Kurtz Solar Resource Assessment with Sky Imagery and a Virtual Testbed for Sky Imager Solar Forecasting
Olson Underwater Color Correction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11850261

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012549840

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13995399

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11850261

Country of ref document: EP

Kind code of ref document: A1