WO2017169946A1 - 情報処理装置、情報処理システム、情報処理方法およびプログラム記憶媒体 - Google Patents

情報処理装置、情報処理システム、情報処理方法およびプログラム記憶媒体 Download PDF

Info

Publication number
WO2017169946A1
WO2017169946A1 PCT/JP2017/011096 JP2017011096W WO2017169946A1 WO 2017169946 A1 WO2017169946 A1 WO 2017169946A1 JP 2017011096 W JP2017011096 W JP 2017011096W WO 2017169946 A1 WO2017169946 A1 WO 2017169946A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical path
luminance
path luminance
information processing
observation
Prior art date
Application number
PCT/JP2017/011096
Other languages
English (en)
French (fr)
Inventor
瑛士 金子
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/086,352 priority Critical patent/US10872397B2/en
Priority to JP2018509069A priority patent/JP6856066B2/ja
Publication of WO2017169946A1 publication Critical patent/WO2017169946A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Definitions

  • the present invention relates to a technique for correcting information included in an observation image.
  • the technology for observing the earth's surface from an altitude such as an artificial satellite or an aircraft is called remote sensing.
  • remote sensing the strength of electromagnetic waves such as light emitted from a predetermined range of the earth's surface is often observed.
  • Observation results obtained by remote sensing are often expressed as pixel values associated with an image. That is, the pixel value is data associated with the pixel corresponding to the position of the observed region on the ground surface in the image.
  • the observation device is an image sensor
  • the observation result is obtained as an image.
  • the pixel value included in the image is a value corresponding to the intensity of light (observation light) incident on the light receiving element of the image sensor.
  • the value representing the brightness of the observed light is also described as a luminance value instead of the pixel value.
  • observation is often performed using a filter that selectively transmits light having a wavelength included in a specific range of wavelength bands. By using a plurality of filters having different wavelength bands of transmitted light, the intensity of the observation light for each of the plurality of wavelength bands can be obtained as an observation result.
  • an object reflects light having different intensity for each wavelength depending on the material and state of the surface.
  • the reflectance of light for each wavelength in an object is called surface reflectance.
  • the surface reflectance of the object can be calculated based on the luminance value associated with each pixel of the image obtained by remote sensing.
  • An application applied technology that acquires the state and material of an object based on information on the surface reflectance of the object is expected. Fields to which such applications are applied include farming support and resource exploration.
  • the brightness value of each wavelength band associated with each pixel of the image (in other words, the surface reflectance of the object) is used to acquire the growth status of the crop and identify the mineral. It is expected. In order to realize accurate farming support and resource exploration, it is necessary to obtain accurate information on surface products such as crops and ores.
  • Patent Document 1 discloses a technique for removing the influence of the atmosphere by correcting the radiance measured by a spectrum sensor.
  • Observation values (luminance values) obtained as images by remote sensing are affected not only by surface reflection by the observation target, but also by the brightness of sunlight, light absorption by the atmosphere, and light scattering by the atmosphere.
  • the observed value (luminance value) is a component that depends on the brightness of sunlight and the transmittance of the atmosphere, and the component of light that is scattered in the atmosphere and incident on the sensor. It is represented by the formula (1) including
  • L ( ⁇ ) in Equation (1) represents the luminance value of the observation light at the wavelength ⁇ .
  • R ( ⁇ ) represents the surface reflectance of the surface object at the wavelength ⁇ .
  • ⁇ ( ⁇ ) represents a component (coefficient component) related to the brightness of the sunlight and the atmospheric transmittance at the wavelength ⁇ .
  • ⁇ ( ⁇ ) represents a component (addition component) related to the luminance of light (scattered light) at a wavelength ⁇ that reaches the sensor without sunlight passing through the ground and being scattered in the atmosphere.
  • attained a sensor without passing through a ground surface object is also described as optical path brightness
  • FIG. 10 is a diagram illustrating the relationship between the luminance value L ( ⁇ ) of the observation light, the surface reflectance R ( ⁇ ) of the ground surface object, and the environmental noise in the observation image obtained at the high place.
  • environmental noise that is, the brightness of sunlight, the transmittance of the atmosphere, the brightness of scattered light from the atmosphere (light path brightness)
  • environmental changes such as changes in solar altitude and atmospheric fluctuations due to diurnal motion.
  • the present invention has been made to solve the above problems. That is, the main object of the present invention is to provide a technique for improving the correction accuracy of the optical path luminance.
  • an information processing apparatus of the present invention provides: Among the luminance values that are observation values of the electromagnetic waves associated with each pixel constituting the observation image for each wavelength band obtained by observing electromagnetic waves of a plurality of different wavelength bands that have passed through the atmosphere, preset in advance A first intermediate optical path luminance calculating unit that extracts a luminance value satisfying the determined standard and calculates a first intermediate optical path luminance based on the luminance value; A second intermediate optical path luminance calculation unit for calculating a second intermediate optical path luminance including information representing the atmospheric state; For each wavelength band, among the pixels of the observed image, a weighting factor that represents the reliability with respect to the assumption of a dark pixel that is assumed to be unaffected by an electromagnetic wave reflected by an object is used.
  • a final optical path luminance calculating unit that calculates final optical path luminance by weighting and adding one intermediate optical path luminance and the second intermediate optical path luminance; For each wavelength band, an optical path luminance correction unit that subtracts the final optical path luminance from all pixels of the observation image; Is provided.
  • the information processing system of the present invention An information processing apparatus of the present invention; And an image supply device that supplies the information processing device with an observation image for each wavelength band obtained by observing electromagnetic waves in a plurality of different wavelength bands that have passed through the atmosphere.
  • the information processing method of the present invention includes: Among the luminance values that are observation values of the electromagnetic waves associated with each pixel constituting the observation image for each wavelength band obtained by observing electromagnetic waves of a plurality of different wavelength bands that have passed through the atmosphere, preset in advance Taking out a luminance value satisfying the determined standard, calculating a first intermediate optical path luminance based on the luminance value, Calculating a second intermediate optical path luminance including information representing the atmospheric state; For each wavelength band, among the pixels of the observed image, a weighting factor that represents the reliability with respect to the assumption of a dark pixel that is assumed to be unaffected by an electromagnetic wave reflected by an object is used. A final optical path luminance is calculated by weighting and adding the first intermediate optical path luminance and the second intermediate optical path luminance; For each wavelength band, the final optical path luminance is subtracted from all pixels of the observed image.
  • the program storage medium of the present invention provides: Among the luminance values that are observation values of the electromagnetic waves associated with each pixel constituting the observation image for each wavelength band obtained by observing electromagnetic waves of a plurality of different wavelength bands that have passed through the atmosphere, preset in advance A process of taking out a luminance value satisfying the determined standard and calculating a first intermediate optical path luminance based on the luminance value; A process of calculating a second intermediate optical path luminance including information representing the atmospheric state; For each wavelength band, among the pixels of the observed image, a weighting factor that represents the reliability with respect to the assumption of a dark pixel that is assumed to be unaffected by an electromagnetic wave reflected by an object is used.
  • the main object of the present invention is also achieved by the information processing method of the present invention corresponding to the information processing apparatus of the present invention.
  • the main object of the present invention is also achieved by an information processing apparatus of the present invention, a computer program of the present invention corresponding to the information processing method of the present invention, and a storage medium storing the same.
  • the correction accuracy of the optical path luminance can be increased.
  • FIG. 1 is a block diagram illustrating a simplified configuration of an information processing apparatus and an information processing system according to a first embodiment of the present invention. It is a flowchart showing the operation example of the information processing apparatus of 1st Embodiment.
  • FIG. 11 is a diagram for explaining a configuration example of hardware for realizing an information processing apparatus. It is a block diagram explaining the structure of the proposed information processing apparatus and information processing system. It is a block diagram which simplifies and represents the structure of the information processing apparatus and information processing system of 2nd Embodiment which concern on this invention. It is a block diagram which simplifies and represents the structure of the information processing apparatus and information processing system of 3rd Embodiment which concern on this invention.
  • the information processing apparatus proposed by the present inventor has a function of calculating an optical path luminance based on an observation image including optical path luminance information and correcting the calculated optical path luminance.
  • the proposed information processing apparatus determines the lowest luminance value among the luminance values associated with all the pixels constituting the observation image for the observation image in the wavelength band ⁇ as the intermediate optical path luminance ⁇ W. Detected as ( ⁇ ). Then, the proposed information processing apparatus calculates the true value Xe of the atmospheric condition parameter representing the atmospheric condition using the intermediate optical path luminance ⁇ W ( ⁇ ).
  • the proposed information processing apparatus assigns the true value Xe of the calculated atmospheric condition parameter to the parameter X in the mathematical formula for calculating the optical path brightness ⁇ M ( ⁇ , X) in consideration of the atmospheric condition parameter X.
  • the optical path brightness ⁇ M ( ⁇ , Xe) is calculated.
  • an equation for calculating the optical path luminance in the wavelength band ⁇ in consideration of the atmospheric condition parameter X is referred to as an optical path luminance model and is represented as ⁇ M ( ⁇ , X).
  • FIG. 4 is a block diagram showing a configuration example of the proposed information processing apparatus.
  • the information processing device 5 in FIG. 4 includes an image reading unit 51, a dark pixel estimation unit 52, an optical path luminance estimation unit 53, and an optical path luminance correction unit 54.
  • the image reading unit 51 has a function of reading an observation image from the image supply device 6.
  • the dark pixel specifying unit 52 has a function of detecting the minimum luminance value from the read observation image for each wavelength band.
  • the minimum luminance value in the wavelength band ⁇ is set as a calculated value ⁇ W ( ⁇ ) of the intermediate optical path luminance.
  • the optical path luminance estimation unit 53 has an intermediate optical path luminance ⁇ W ( ⁇ ) calculated by the dark pixel estimation unit 52 and an optical path luminance model ⁇ M ( ⁇ , X) whose value changes according to a change in the value of the atmospheric condition parameter X. ) To calculate the true value Xe of the atmospheric condition parameter. In other words, the optical path luminance estimation unit 53 changes the value of the atmospheric condition parameter X, based on the optical path luminance model ⁇ M ( ⁇ , X) and the intermediate optical path luminance ⁇ W ( ⁇ ) at each atmospheric condition parameter X value. Calculate the cost.
  • the cost here is a value representing the degree of divergence between the optical path luminance model ⁇ M ( ⁇ , X) and the intermediate optical path luminance ⁇ W ( ⁇ ).
  • the optical path brightness estimation part 53 makes the value of the atmospheric condition parameter X in case cost becomes the smallest the true value Xe of an atmospheric condition parameter. Further, the optical path luminance estimation unit 53 assigns a value ⁇ M ( ⁇ , Xe) obtained by substituting the calculated value (true value) Xe to the atmospheric condition parameter X of the optical path luminance model ⁇ M ( ⁇ , X) as the final optical path luminance. Let ⁇ e ( ⁇ ).
  • the optical path luminance correction unit 54 corrects the optical path luminance by subtracting the final optical path luminance ⁇ e ( ⁇ ) calculated by the optical path luminance estimation unit 53 from the luminance value L ( ⁇ ) in all pixels of the observation image.
  • the corrected information is output to the output device 7.
  • the information processing apparatus 5 can correct the optical path luminance of the information included in the observation image and output the corrected information by providing the above configuration.
  • optical path luminance model ⁇ M ( ⁇ , X) due to the influence of errors optical path luminance model ⁇ M ( ⁇ , X) is contained, the difference between what the optical path luminance model choose the value of the parameter X ⁇ M ( ⁇ , X) and the true optical path luminance acceptable May exceed the value.
  • the final optical path luminance ⁇ e ( ⁇ ) does not coincide with the true optical path luminance with high accuracy, and the information processing apparatus 5 cannot correct the optical path luminance with high accuracy.
  • the present inventor has devised the present invention to correct the optical path luminance with high accuracy even when the optical path luminance model for calculating the optical path luminance contains an error.
  • FIG. 1 is a block diagram showing a simplified configuration of an information processing apparatus according to the first embodiment of the present invention and an information processing system including the information processing apparatus.
  • the information processing system 100 according to the first embodiment roughly includes an information processing apparatus 1, an image supply apparatus 4, and an output apparatus 3.
  • the information processing device 1 is communicably connected to the image supply device 4 and the output device 3.
  • the image supply device 4 is, for example, a photographing device that observes the intensity of an electromagnetic wave reflected from an observation target for a plurality of different wavelength bands and outputs the observation result as an observation image.
  • the image supply device 4 may be a storage device such as a hard disk or a server device that stores an observation image that is a result of observation by such a photographing device.
  • N (N is an integer of 2 or more) is the number of wavelength bands of electromagnetic waves that the image supply device 4 observes the observation target.
  • the image supply device 4 has a function of supplying N observation images associated with the wavelength band to the information processing device 1.
  • the image supply device 4 may supply not only the N observation images but also the center wavelength representing the wavelength band associated with each observation image or the upper limit value and the lower limit value of the wavelength band to the information processing device 1.
  • the image supply device 4 is mounted on an airplane or an artificial satellite, and in a plurality of different wavelength bands, reflected light reflected from the ground surface as a part of the observation light. Observe.
  • the image supply device 4 is a camera, and receives each observation light in N wavelength bands that has passed through a band-pass filter that selectively transmits any light in N wavelength bands different from each other. Take a picture. Then, the image supply device 4 outputs N captured images (observation results) as observation images.
  • the image supply apparatus 4 may observe the ground surface far from the ground surface or near the ground surface instead of observing the ground surface from the sky. Further, the width of each of the N wavelength bands may not be uniform.
  • the N observation images output from the image supply device 4 are images representing the brightness distribution of the observation target observed in any of N different wavelength bands.
  • the luminance value of each pixel constituting the observation image represents the intensity of the observation light that has arrived from the direction corresponding to the pixel.
  • the N observation images are, for example, images obtained by observing the same observation target, but may be images obtained by observing different observation targets. . However, in this case, the value of the optical path luminance is the same or almost the same for all the observation areas of each image.
  • the system administrator selects N images.
  • the output device 3 is, for example, a display device.
  • the output device 3 may be an object identification device that extracts information indicating the material and state of the photographed object from the observation image, for example.
  • the information processing apparatus 1 includes a storage unit 11, a first intermediate optical path luminance calculation unit 12, a second intermediate optical path luminance calculation unit 13, an optical path luminance correction unit 14, and a final optical path luminance calculation unit 15.
  • the storage unit 11 is a storage device such as a magnetic disk or a semiconductor memory.
  • the storage unit 11 stores N observation images supplied from the image supply device 4 in association with information on the wavelength band in which the images are observed.
  • the information on the wavelength band associated with the observation image may be, for example, a center wavelength indicating the wavelength band or a combination of the upper limit value and lower limit value of the wavelength band, or an identifier assigned to each wavelength band.
  • the first intermediate optical path luminance calculation unit 12, the second intermediate optical path luminance calculation unit 13, the optical path luminance correction unit 14, and the final optical path luminance calculation unit 15 may be electronic circuits or a computer program and a processor that operates according to the computer program. It may be realized by.
  • the first intermediate optical path luminance calculation unit 12 calculates the luminance value of the pixel whose luminance value satisfies the criterion from all the pixels constituting the observation image associated with each of the N wavelength bands stored in the storage unit 11.
  • a function of detecting the first intermediate optical path luminance is provided.
  • the first intermediate optical path luminance calculation unit 12 detects the minimum luminance value from the luminance values of all the pixels as the luminance value that satisfies the criterion.
  • the first intermediate optical path luminance calculation unit 12 sets the luminance value of the rank, which is a multiplication value obtained by multiplying the total number of pixels by a predetermined ratio, when the luminance values of all the pixels are arranged in ascending order, to satisfy the standard. It may be detected as a value.
  • a pixel corresponding to a luminance value detected by the first intermediate optical path luminance calculation unit 12 is referred to as a dark pixel.
  • a dark pixel is a pixel that is assumed to have a surface reflectance of zero for a dark area of the observed ground surface.
  • the i-th wavelength band (where i is an integer from 1 to N) in the N wavelength bands is denoted by ⁇ i .
  • the luminance value of the dark pixel detected in the N wavelength bands ⁇ i is represented as a first intermediate optical path luminance ⁇ D ( ⁇ i ).
  • the second intermediate optical path luminance calculation unit 13 calculates the second intermediate optical path luminance ⁇ E ( ⁇ i ) using the first intermediate optical path luminance ⁇ D ( ⁇ i ) calculated by the first intermediate optical path luminance calculation unit 12. It has a function to do.
  • X used in the optical path luminance model ⁇ M ( ⁇ i , X) used in the process in which the second intermediate optical path luminance calculation unit 13 calculates the second intermediate optical path luminance ⁇ E ( ⁇ i ) This represents a set of Q atmospheric condition parameters Xj (j is an integer from 1 to Q) representing the state.
  • the atmospheric condition parameter Xj represents information on particles (particles including molecules, aerosols, sand, soot, etc.) contained in the atmosphere. That is, the atmospheric state parameter Xj is, for example, an angstrom index, atmospheric turbidity, atmospheric transmittance, optical thickness of atmospheric molecules, optical thickness of aerosol, visibility, or a value calculated using these.
  • Equations (3) to (5) Specific examples of the optical path luminance model ⁇ M ( ⁇ i , X) are expressed by Equations (3) to (5).
  • the irradiance due to sunlight in the N wavelength bands ⁇ i is represented as I ( ⁇ i ).
  • the second intermediate optical path luminance calculation unit 13 uses the standard irradiance due to sunlight in N wavelength bands ⁇ i as the irradiance I ( ⁇ i ). Further, the second intermediate optical path luminance calculation unit 13 acquires information representing the observation environment from an external device, and uses the physical model representing the irradiance described in Reference Document 1 below to obtain the irradiance I ( ⁇ i ) May be calculated.
  • the information representing the observation environment is, for example, information including the solar altitude at the time of observation, the date of observation, the observation time, the latitude and longitude of the observation target area, the topography of the observation target area, the amount of water vapor and aerosol at the time of observation, etc. It is. [Reference 1]: R. E.
  • the second intermediate optical path luminance calculation unit 13 uses the physical model as described above, so that the solar zenith angle calculated from the location and time and the parameter representing the atmospheric state are used for direct sunlight and atmospheric scattering. Light is calculated by simulation. Thereby, the 2nd intermediate
  • this physical model is used, first, parameter values that have little influence on the simulation result are set. Then, the second intermediate optical path luminance calculation unit 13 uses the values representing the solar zenith angle and the atmospheric state among the set parameter values and the information representing the observation environment, and the unit of sunlight in fine weather.
  • Spectral irradiance which is irradiance per wavelength, is calculated.
  • luminance calculation part 13 adds together the spectral irradiance of sunlight at the time of fine weather about several wavelength in wavelength band (gamma) i .
  • the second intermediate optical path luminance calculation unit 13 calculates the irradiance I ( ⁇ i ) for each of the N wavelength bands ⁇ i .
  • the second intermediate optical path luminance calculation unit 13 uses the first intermediate optical path luminance ⁇ D ( ⁇ i ) calculated by the first intermediate optical path luminance calculation unit 12, for example, in the following manner, the second intermediate optical path luminance ⁇ E ( ⁇ i ) is calculated. That is, the second intermediate optical path luminance calculation unit 13 first calculates the true value Xe of the atmospheric condition parameter of the optical path luminance model ⁇ M ( ⁇ i , X) using the first intermediate optical path luminance ⁇ D ( ⁇ i ). To do.
  • the second intermediate optical path luminance calculation unit 13 changes the value of the atmospheric condition parameter X while changing the optical path luminance model ⁇ M ( ⁇ i , X) and the first intermediate optical path luminance ⁇ at each X value.
  • the cost C is calculated using D ( ⁇ i ).
  • the cost C is a value representing the degree of divergence between the first intermediate optical path luminance ⁇ D ( ⁇ i ) and the actual optical path luminance at the time of observation.
  • Expression (6) is an example of an expression for calculating the cost C.
  • the second intermediate optical path luminance calculation unit 13 calculates the value of the atmospheric condition parameter X when the cost C is the smallest as the true value Xe of the atmospheric condition parameter.
  • the second intermediate optical path luminance calculation unit 13 After calculating the true value Xe of the atmospheric condition parameter, the second intermediate optical path luminance calculation unit 13 substitutes the calculated value (true value) Xe for the atmospheric condition parameter X in the optical path luminance model ⁇ M ( ⁇ i , X). To calculate the second intermediate optical path brightness ⁇ E ( ⁇ i ).
  • the final optical path luminance calculation unit 15 includes the first intermediate optical path luminance ⁇ D ( ⁇ i ) calculated by the first intermediate optical path luminance calculation unit 12 and the second intermediate optical path luminance calculated by the second intermediate optical path luminance calculation unit 13. A function of calculating the final optical path brightness ⁇ P ( ⁇ i ) using ⁇ E ( ⁇ i ) is provided.
  • the final optical path luminance calculation unit 15 adds the weighting of the first intermediate optical path luminance ⁇ D ( ⁇ i ) and the second intermediate optical path luminance ⁇ E ( ⁇ i ) using the mathematical expression represented by the equation (7). In addition, the result is calculated as final optical path luminance ⁇ P ( ⁇ i ).
  • a ( ⁇ i ) is a weighting coefficient that represents the reliability of the dark pixel assumption for each wavelength band ⁇ i . In the following description, a ( ⁇ i ) is also referred to as a dark pixel assumed reliability coefficient.
  • the center wavelengths of the wavelength bands ⁇ 1 , ⁇ 2 , ⁇ 3 , ⁇ 4 , ⁇ 5 , ⁇ 6 , ⁇ 7 , ⁇ 8 are 425 nm, 480 nm, 545 nm, 605 nm, 725 nm, 832.5 nm, and 950 nm.
  • the center wavelengths of the wavelength bands ⁇ 1 , ⁇ 2 , ⁇ 3 , ⁇ 4 , ⁇ 5 , ⁇ 6 , ⁇ 7 , ⁇ 8 are 425 nm, 480 nm, 545 nm, 605 nm, 725 nm, 832.5 nm, and 950 nm.
  • each dark pixel assumed reliability coefficient a ( ⁇ 1 ), a ( ⁇ 2 ), a ( ⁇ 3 ), a ( ⁇ 4 ), a ( ⁇ 5 ), a ( ⁇ 6 ), a ( ⁇ 7 ) and a ( ⁇ 8 ) are set to 1,1,0,0,0,0,0,1.
  • the final optical path luminance calculation unit 15 calculates the weighting factor, the first intermediate optical path luminance ⁇ D ( ⁇ i ), the second intermediate optical path luminance ⁇ E ( ⁇ i ), and Equation (7). Utilizing this, the final optical path brightness ⁇ P ( ⁇ i ) is calculated.
  • the optical path luminance correction unit 14 uses the observation image stored in the storage unit 11 and the final optical path luminance ⁇ P ( ⁇ i ) calculated by the final optical path luminance calculation unit 15 for all the pixels of the observation image for each wavelength band. Is provided with a function of subtracting the final optical path luminance from the luminance value associated with each.
  • the optical path brightness correction unit 14 sets the image corrected by the subtraction as an optical path brightness correction image, and outputs it to the output device 3. That is, the subtracted observation image is an image (optical path luminance correction image) obtained by removing the optical path luminance component calculated by the final optical path luminance calculation unit 15 from the observation image stored in the storage unit 11.
  • the second intermediate optical path luminance, the final optical path luminance, and the optical path luminance model take into account N wavelength bands ⁇ i associated with the observation image.
  • An optical path luminance or an optical path luminance model in a wavelength band in the range may be used.
  • the optical path luminance for each of the N wavelength bands ⁇ i associated with the observed image is calculated using the optical path luminance or the optical path luminance model in the predetermined number of wavelength bands in the set range.
  • the storage unit 11 stores the N observation images supplied from the image supply device 4 in association with information on the wavelength band in which the observation image is observed (step S101).
  • the first intermediate optical path luminance calculation unit 12 detects, as the first intermediate optical path luminance, the luminance value of a dark pixel (a pixel whose luminance value satisfies the criterion) among all pixels in the observed image associated with each wavelength band (Ste S102).
  • the second intermediate optical path luminance calculation unit 13 calculates the optical path luminance based on the optical path luminance model while changing the value X of the atmospheric condition parameter in the optical path luminance model, and calculates the calculated optical path luminance and the first intermediate optical path luminance.
  • a cost C representing the degree of divergence is calculated (step S103).
  • the second intermediate optical path luminance calculation unit 13 sets the atmospheric condition parameter when the cost C is minimized to the true value Xe of the atmospheric condition parameter (step S104).
  • the second intermediate optical path luminance calculation unit 13 calculates the second intermediate optical path luminance by substituting the true value Xe of the atmospheric condition parameter into the atmospheric condition parameter X of the optical path luminance model (step S105).
  • the final optical path luminance calculation unit 15 determines the first intermediate optical path luminance by the first intermediate optical path luminance calculation unit 12 and the second intermediate optical path luminance by the second intermediate optical path luminance calculation unit 13 according to the reliability of the dark pixel assumption. Add weights using weighting factors. Thereby, the final optical path luminance calculation unit 15 calculates the final optical path luminance (step S106).
  • the optical path brightness correction unit 14 generates an optical path brightness correction image by subtracting the final optical path brightness from all the pixels of the observation image stored in the storage unit 11.
  • the optical path brightness correction unit 14 outputs the optical path brightness correction image to the output device 3 (step S107).
  • the information processing apparatus 1 and the information processing system 100 according to the first embodiment can calculate the optical path luminance with high accuracy even when the optical path luminance model used for calculating the optical path luminance includes an error.
  • the reason is that the final optical path luminance calculation unit 15 uses the first intermediate optical path luminance calculated by the first intermediate optical path luminance calculation unit 12 and the second intermediate optical path luminance calculated by the second intermediate optical path luminance calculation unit 13 as dark pixel assumption reliability. Weight and add together using a weighting factor representing degrees. This is because the final optical path luminance calculation unit 15 calculates the final optical path luminance.
  • the information processing apparatus 5 proposed by the inventor shown in FIG. 4 uses the minimum luminance value of each observation image as the intermediate optical path luminance as described above. Then, the information processing device 5 calculates the true value of the atmospheric condition parameter using the intermediate optical path luminance and the optical path luminance model, and calculates the final optical path luminance by substituting the calculated true value into the optical path luminance model. .
  • the optical path luminance model used for calculating the optical path luminance includes an error
  • the optical path luminance model cannot calculate the optical path luminance with high accuracy no matter what atmospheric state parameter value is substituted. In this case, since the final optical path luminance does not coincide with the optical path luminance with high accuracy, the information processing apparatus 5 cannot calculate the optical path luminance with high accuracy.
  • the information processing apparatus 1 and the information processing system 100 according to the first embodiment have values close to the first intermediate optical path luminance calculated based on the dark pixel assumption in the wavelength band where the reliability of the dark pixel assumption is high. Can be set to the final optical path brightness.
  • the optical path luminance model used for calculating the optical path luminance includes an error, the influence of the error included in the optical path luminance model can be reduced and the optical path luminance can be calculated with high accuracy.
  • each function part which comprises the information processing apparatus 1 of 1st Embodiment is realizable with dedicated hardware (electronic circuit).
  • at least the first intermediate optical path luminance calculation unit 12, the second intermediate optical path luminance calculation unit 13, the optical path luminance correction unit 14, and the final optical path luminance calculation unit 15 are regarded as a function (processing) unit (software module) of the software program.
  • these functional units have a configuration for convenience of description, and various configurations can be assumed for mounting.
  • FIG. 3 is a diagram exemplarily illustrating a configuration of an information processing apparatus (computer) that can execute the information processing apparatus 1 according to the first embodiment.
  • the information processing apparatus 1 in FIG. 3 includes the following as components.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • Hard disk storage device
  • a reader / writer 908 capable of reading and writing data stored in a recording medium 907 such as a CD-ROM (Compact Disc Read Only Memory) -I / O interface 909
  • the information processing apparatus 1 can be realized by a computer in which these configurations are connected via a bus (communication line) 906.
  • the functional units 12 to 15 are realized by the CPU 901 of the information processing apparatus 1 executing the computer program for realizing the functional units 12 to 15 described above.
  • the computer program is stored in a readable / writable volatile memory (RAM 903) or a nonvolatile storage device such as the hard disk 904.
  • a method for supplying a computer program to the information processing apparatus for example, a method for installing the program into the apparatus via various recording media 907 such as a CD-ROM, or an external download via a communication line such as the Internet. There are methods. Further, it can be understood that the computer program and the code constituting the computer program are configured by the stored recording medium 907.
  • FIG. 5 is a block diagram showing a simplified configuration of the information processing apparatus and the information processing system according to the second embodiment.
  • the image supply device 4 has a function of providing information processing device 1 with information (observation environment information) representing an observation environment when observed, in addition to the functions described in the first embodiment.
  • the observation environment information includes, for example, the solar altitude at the time of observation, the observation date, the observation time, the latitude and longitude of the observation target region, the topography of the observation target region, the water vapor amount and the aerosol amount in the observation target region, and the like.
  • the storage unit 11 stores the observation environment information supplied from the image supply device 4 in association with the observation image.
  • the configuration other than the final optical path luminance calculation unit 15 in the information processing apparatus 1 of the second embodiment is the same as that of the information processing apparatus 1 of the first embodiment.
  • the final optical path luminance calculation unit 15 a first intermediate optical path luminance beta D of the first intermediate optical path luminance calculation unit 12 (gamma i), the second intermediate optical path luminance calculation section 13 second intermediate optical path luminance beta E (gamma i ). Further, the final optical path luminance calculation unit 15 also uses at least one of the observation image and the observation environment information stored in the storage unit 11. The final optical path luminance calculation unit 15 calculates final optical path luminance ⁇ P ( ⁇ i ) based on the information. For example, the final optical path luminance calculation unit 15 weights the first intermediate optical path luminance ⁇ D ( ⁇ i ) and the second intermediate optical path luminance ⁇ E ( ⁇ i ) using the mathematical expression represented by the equation (7).
  • a ( ⁇ i ) is a weighting coefficient that represents the degree of reliability for the dark pixel assumption for each observation wavelength band ⁇ i .
  • the final optical path luminance calculation unit 15 calculates a dark pixel assumption reliability coefficient using at least one of the observation environment information and the observation image stored in the storage unit 11. For example, the final optical path luminance calculation unit 15 determines whether or not the ground area corresponding to each pixel of the observation image associated with each wavelength band ⁇ i includes one or more specific ground objects. Then, the final optical path luminance calculation unit 15 calculates the number of pixels including the specific ground object, and dark pixels based on the calculated number of pixels or the number obtained by subtracting the calculated number of pixels from the total number of pixels of the image. Set (calculate) an assumed reliability coefficient a ( ⁇ i ).
  • the specific surface objects are, for example, water, artificial objects, vegetation, soil, and snow.
  • the final optical path luminance calculation unit 15 calculates luminance values Lj ( ⁇ 1 ),..., Lj ( ⁇ N ) obtained from the jth pixel in each observation image associated with the N wavelength bands. Among them, the luminance value Lj ( ⁇ R ) associated with the wavelength band corresponding to red and the luminance value Lj ( ⁇ NIR ) associated with the wavelength band corresponding to the near infrared are selected. Then, the final optical path luminance calculation unit 15 calculates the normalized difference vegetation index Ij using the selected luminance values Lj ( ⁇ R ) and Lj ( ⁇ NIR ) and the mathematical formula shown in the equation (8).
  • the final optical path luminance calculation unit 15 determines the j-th pixel as the vegetation region when the value of the normalized difference vegetation index Ij is larger than the threshold value.
  • the final optical path luminance calculation unit 15 calculates the number of pixels in the ground region including vegetation by executing such processing for all the pixels constituting the observation image, and darkens based on the calculated number of pixels. Sets (calculates) a pixel assumed reliability coefficient.
  • the final optical path luminance calculation unit 15 uses a vegetation index (for example, SAVI (Soil Adjusted Vegetation Index), RVI (Rate Vegetation Index), NRVI) described in Reference Document 2 below instead of the normalized difference vegetation index.
  • a vegetation index for example, SAVI (Soil Adjusted Vegetation Index), RVI (Rate Vegetation Index), NRVI
  • Reference Document 2 below instead of the normalized difference vegetation index.
  • water index for example, NDWI (Normalized Difference Water Index)
  • a soil index for example, NDSI (Normalized Difference) described in Reference 3 instead of the normalized difference vegetation index.
  • the final optical path luminance calculation unit 15 darkens the wavelength band ⁇ NIR corresponding to the near infrared.
  • the assumed pixel reliability coefficient a ( ⁇ NIR ) is set to zero.
  • the number obtained by subtracting the number of pixels in the water region from the total number of pixels in the image may be smaller than a preset value.
  • the final optical path luminance calculation unit 15 sets the dark pixel assumed reliability coefficient a ( ⁇ NUV ) of the wavelength band ⁇ NUV corresponding to near ultraviolet to 0. Further, the final optical path luminance calculation unit 15 is configured to detect the entire observation wavelength band when pixels in the artifact region are detected and the number of pixels in the artifact region is larger than a preset value. The dark pixel assumption confidence coefficient associated with is set to 1.
  • the final optical path luminance calculation unit 15 calculates the number of pixels including the shadow region among the pixels of the observation image using the information on the latitude / longitude / observation date / time of the observation target stored in the storage unit 11. To do. And the last optical path brightness
  • the final optical path luminance calculation unit 15 sets a dark pixel assumption reliability coefficient based on the calculated number of pixels.
  • the final optical path luminance calculation unit 15 may set the dark pixel assumption reliability coefficient using both the observation environment information and the observation image stored in the storage unit 11. For example, the final optical path luminance calculation unit 15 calculates the number of pixels including the specific ground object using the observation image, and calculates the number of pixels including the shadow area using the observation environment information. Then, the final optical path luminance calculation unit 15 sets the dark pixel assumption reliability coefficient by using both the number of pixels including the specific ground object and the number of pixels including the shadow area.
  • the final optical path luminance calculation unit 15 includes the dark pixel assumption reliability coefficient set as described above, the first intermediate optical path luminance ⁇ D ( ⁇ i ), the second intermediate optical path luminance ⁇ E ( ⁇ i ), and an expression ( 7) is used to calculate the final optical path brightness ⁇ P ( ⁇ i ).
  • the information processing apparatus 1 and the information processing system 100 according to the second embodiment calculate the final optical path luminance using the dark pixel assumption reliability coefficient, so that the optical path luminance model includes an error even when the optical path luminance model includes an error. It is possible to reduce the influence of the error and to calculate the optical path luminance with high accuracy.
  • FIG. 6 is a block diagram showing a simplified configuration of the information processing apparatus and the information processing system according to the third embodiment.
  • the image supply device 4 provides observation environment information to the information processing device 1, and the storage unit 11 associates the observation environment information with the observation image. And remember.
  • the configuration other than the second intermediate optical path luminance calculation unit 13 in the information processing apparatus 1 of the third embodiment is the same as that of the information processing apparatus 1 of the first embodiment.
  • the second intermediate optical path luminance calculation unit 13 acquires the observation environment information from the storage unit 11 and uses the acquired observation environment information to calculate the second intermediate optical path luminance instead of the first intermediate optical path luminance. Calculated by simulation.
  • the second intermediate optical path luminance calculation unit 13 uses a simulator described in Reference Document 4. [Reference 4]: Daniel Schlapfer, Dr. sc. Nat. , ReSe. “MODO User Manual Ver.5”, 2011
  • the information processing apparatus 1 and the information processing system 100 of the third embodiment can calculate the optical path luminance with high accuracy by calculating the second intermediate optical path luminance in consideration of the observation environment information.
  • FIG. 7 is a simplified block diagram showing the configuration of the information processing apparatus and information processing system according to the fourth embodiment.
  • Configurations other than the second intermediate optical path luminance calculation unit 13 and the final optical path luminance calculation unit 15 in the information processing device 1 of the fourth embodiment are the same as those of the information processing device 1 of the first or second embodiment.
  • the second intermediate optical path luminance calculation unit 13 acquires the observation environment information from the storage unit 11, and replaces the first intermediate optical path luminance with the second intermediate optical path luminance using the acquired observation environment information. calculate.
  • the final optical path luminance calculation unit 15 calculates the final optical path luminance in consideration of the observation environment information acquired from the storage unit 11.
  • the optical path luminance can be calculated with higher accuracy.
  • the present invention is not limited to the first to fourth embodiments, and various embodiments can be adopted.
  • a configuration shown in FIG. 8 may be employed as another form of the information processing apparatus according to the present invention.
  • An information processing apparatus 20 shown in FIG. 8 is connected to an image supply apparatus 31 as shown in FIG.
  • the image supply device 31 has a function of supplying the information processing device 20 with an observation image for each wavelength band obtained by observing electromagnetic waves in a plurality of different wavelength bands that have passed through the atmosphere.
  • the information processing apparatus 20 illustrated in FIG. 8 includes a first intermediate optical path luminance calculation unit 21, a second intermediate optical path luminance calculation unit 22, a final optical path luminance calculation unit 23, and an optical path luminance correction unit 24. .
  • the first intermediate optical path luminance calculation unit 21 sets a reference that is set in advance among luminance values that are observation values of electromagnetic waves associated with each pixel that constitutes an observation image for each wavelength band supplied from the image supply device 31. It has a function to extract a luminance value that satisfies. Further, the first intermediate optical path luminance calculation unit 21 has a function of calculating the first intermediate optical path luminance based on the luminance value.
  • the second intermediate optical path luminance calculation unit 22 has a function of calculating the second intermediate optical path luminance including information representing the atmospheric state.
  • the final optical path luminance calculation unit 23 for each wavelength band, a weighting coefficient that represents the reliability of the assumption of a dark pixel that is assumed not to be affected by the electromagnetic wave reflected by the object among the pixels of the observed image. Is used to calculate the final optical path luminance by weighting and adding the first intermediate optical path luminance and the second intermediate optical path luminance.
  • the optical path luminance correction unit 24 has a function of subtracting the final optical path luminance from all pixels of the observation image for each wavelength band.
  • the information processing apparatus 20 and the information processing system 30 including the same weight the first intermediate optical path luminance and the second intermediate optical path luminance using the weighting coefficient representing the reliability with respect to the assumption of the dark pixel as described above. . Then, the information processing device 20 and the information processing system 30 correct the optical path luminance based on the final optical path luminance calculated using the weighted first intermediate optical path luminance and the second intermediate optical path luminance. For this reason, the information processing apparatus 20 and the information processing system 30 can reduce the degree to which the first and second intermediate optical path luminances having low reliability with respect to the assumption of dark pixels are involved in the correction of the optical path luminance. Accordingly, the information processing device 20 and the information processing system 30 can improve the accuracy of the optical path luminance correction.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

情報処理装置２０は光路輝度補正の精度を高める構成を備える。情報処理装置２０の第１中間光路輝度算出部２１は、画像供給装置３１から供給される波長帯域毎の観測画像を構成する各画素に関連付けられている電磁波の観測値である輝度値のうち、予め設定された基準を満たす輝度値を取り出し、当該輝度値に基づいた第１中間光路輝度を算出する。第２中間光路輝度算出部２２は、大気の状態を表す情報を含む第２中間光路輝度を算出する。最終光路輝度算出部２３は、波長帯域毎に、観測画像の画素のうち、物体により反射された電磁波の影響を受けていないと仮定される画素である暗画素の仮定に対する信頼度を表す重み係数を用いて、第１中間光路輝度および第２中間光路輝度を重み付けして足し合わせることにより最終光路輝度を算出する。光路輝度補正部２４は、波長帯域毎に、観測画像の全画素から最終光路輝度を減算する。

Description

情報処理装置、情報処理システム、情報処理方法およびプログラム記憶媒体
　本発明は、観測画像に含まれる情報を補正する技術に関する。
　人工衛星や航空機などの高所から観測装置によって地表を観測する技術は、リモートセンシングと呼ばれる。リモートセンシングでは、地表の所定の範囲の領域から放射される光などの電磁波の強さが観測されることが多い。リモートセンシングによって得られる観測結果は、画像に関連付けられた画素値として表されることが多い。つまり、画素値は、画像において、観測された領域の地表における位置に対応する画素に関連付けられるデータである。例えば、観測装置がイメージセンサである場合、観測結果は画像として得られる。その画像に含まれる画素値は、イメージセンサの受光素子に入射した光（観測光）の強さに応じた値である。
　なお、画素値が、観測された光の明るさを表す値である場合、画素値に代えて、その観測光の明るさを表す値を輝度値とも記載する。また、観測は、特定の範囲の波長帯域に含まれる波長の光が選択的に透過するフィルタを使用して行われることが多い。透過光の波長帯域が異なる複数のフィルタを使用することにより、複数の波長帯域毎の観測光の強さが観測結果として得られる。
　さらに、物体は、その表面の材質や状態によって、波長毎に異なる強度の光を反射することが知られている。物体における波長毎の光の反射率は、表面反射率と呼ばれる。当該物体の表面反射率は、リモートセンシングによって得られる画像の各画素に関連付けられる輝度値に基づいて算出することが可能である。この物体の表面反射率の情報に基づき、物体の状態や材質を取得するアプリケーション（応用技術）が期待されている。このようなアプリケーションが適用される分野として、営農支援や資源探査がある。
　営農支援や資源探査では、画像の各画素に関連付けられている波長帯域毎の輝度値（換言すれば、物体の表面反射率）を用いて、その農作物の生育具合の取得や鉱物の判別を行うことが期待される。的確な営農支援や資源探査を実現するためには、農作物や鉱石などの地表物の正確な情報を得る必要がある。
　なお、特許文献１には、スペクトルセンサにより計測された放射輝度を補正することにより、大気の影響を除く技術が開示されている。
特開２０１５－３２２０５号公報
　リモートセンシングによって画像として得られる観測値（輝度値）は、観測対象による表面反射だけでなく、太陽光の明るさ、大気による光の吸収、そして大気による光の散乱に影響される。このことにより、観測値（輝度値）は、観測対象物体が持つ表面反射率に加えて、太陽光の明るさや大気の透過率に依存する成分と、大気で散乱されセンサに入射する光の成分を含む式（１）によって表される。
Figure JPOXMLDOC01-appb-I000001
　式（１）におけるＬ（λ）は波長λにおける観測光の輝度値を表す。Ｒ（λ）は波長λにおける地表物の表面反射率を表す。α（λ）は波長λにおける太陽光の明るさと大気透過率に関連する成分（係数成分）を表す。β（λ）は、太陽光が大気で散乱され、地表物を経由せずにセンサに到達した波長λにおける光（散乱光）の輝度に関連する成分（加算成分）を表す。なお、太陽光が大気で散乱され、地表物を経由せずにセンサに到達した光（散乱光）の輝度を光路輝度とも記載する。
　式（１）によって表される観測光の輝度値Ｌ（λ）と地表物の表面反射率Ｒ（λ）との関係は、任意の波長帯域で観測された観測値に対して成り立つ。式（１）に表される係数成分α（λ）および加算成分β（λ）は、いわゆる環境雑音である。図１０は、高所撮影による観測画像における、観測光の輝度値Ｌ（λ）と、地表物の表面反射率Ｒ（λ）および環境雑音との関係をイメージで表す図である。
　ところで、環境雑音（つまり、太陽光の明るさ、大気の透過率、大気による散乱光の明るさ（光路輝度））は、日周運動による太陽高度の変化や大気の揺らぎ等の環境変化によって変動する。このため、地表物の正確な情報を得るためには、観測時における環境雑音を推定し、環境変化に依存する環境雑音の成分を補正する必要がある。つまり、加算成分β（λ）を推定し、この推定した加算成分β（λ）を式（１）から差し引くことによって、式（２）に表される補正された光路輝度Ｌ’（λ）が得られる。
Figure JPOXMLDOC01-appb-I000002
　しかしながら、光路は複雑であるため、正確な光路輝度を得ることが難しいという問題が有る。
　本発明は上記課題を解決するために成されたものである。すなわち、本発明の主な目的は、光路輝度の補正精度を高める技術を提供することにある。
　上記目的を達成するために、本発明の情報処理装置は、
　大気を通った互いに異なる複数の波長帯域の電磁波を観測することにより得られる前記波長帯域毎の観測画像を構成する各画素に関連付けられている前記電磁波の観測値である輝度値のうち、予め設定された基準を満たす輝度値を取り出し、当該輝度値に基づいた第１中間光路輝度を算出する第１中間光路輝度算出部と、
　前記大気の状態を表す情報を含む第２中間光路輝度を算出する第２中間光路輝度算出部と、
　前記波長帯域毎に、前記観測画像の画素のうち、物体により反射された電磁波の影響を受けていないと仮定される画素である暗画素の仮定に対する信頼度を表す重み係数を用いて、前記第１中間光路輝度および前記第２中間光路輝度を重み付けして足し合わせることにより最終光路輝度を算出する最終光路輝度算出部と、
　前記波長帯域毎に、前記観測画像の全画素から前記最終光路輝度を減算する光路輝度補正部と、
を備える。
　また、本発明の情報処理システムは、
　本発明の情報処理装置と、
　大気を通った互いに異なる複数の波長帯域の電磁波を観測することにより得られる前記波長帯域毎の観測画像を前記情報処理装置に供給する画像供給装置と
を備える。
　さらに、本発明の情報処理方法は、
　大気を通った互いに異なる複数の波長帯域の電磁波を観測することにより得られる前記波長帯域毎の観測画像を構成する各画素に関連付けられている前記電磁波の観測値である輝度値のうち、予め設定された基準を満たす輝度値を取り出し、当該輝度値に基づいた第１中間光路輝度を算出し、
　前記大気の状態を表す情報を含む第２中間光路輝度を算出し、
　前記波長帯域毎に、前記観測画像の画素のうち、物体により反射された電磁波の影響を受けていないと仮定される画素である暗画素の仮定に対する信頼度を表す重み係数を用いて、前記第１中間光路輝度および前記第２中間光路輝度を重み付けして足し合わせることにより最終光路輝度を算出し、
　前記波長帯域毎に、前記観測画像の全画素から前記最終光路輝度を減算する。
　さらにまた、本発明のプログラム記憶媒体は、
　大気を通った互いに異なる複数の波長帯域の電磁波を観測することにより得られる前記波長帯域毎の観測画像を構成する各画素に関連付けられている前記電磁波の観測値である輝度値のうち、予め設定された基準を満たす輝度値を取り出し、当該輝度値に基づいた第１中間光路輝度を算出する処理と、
　前記大気の状態を表す情報を含む第２中間光路輝度を算出する処理と、
　前記波長帯域毎に、前記観測画像の画素のうち、物体により反射された電磁波の影響を受けていないと仮定される画素である暗画素の仮定に対する信頼度を表す重み係数を用いて、前記第１中間光路輝度および前記第２中間光路輝度を重み付けして足し合わせることにより最終光路輝度を算出する処理と、
　前記波長帯域毎に、前記観測画像の全画素から前記最終光路輝度を減算する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
　なお、本発明の前記主な目的は、本発明の情報処理装置に対応する本発明の情報処理方法によっても達成される。また、本発明の前記主な目的は、本発明の情報処理装置、本発明の情報処理方法に対応する本発明のコンピュータプログラムおよびそれを格納する記憶媒体によっても達成される。
　本発明によれば、光路輝度の補正精度を高めることができる。
本発明に係る第１実施形態の情報処理装置および情報処理システムの構成を簡略化して表すブロック図である。 第１実施形態の情報処理装置の動作例を表すフローチャートである。 情報処理装置を実現するハードウェアの一構成例を説明する図である。 提案の情報処理装置および情報処理システムの構成を説明するブロック図である。 本発明に係る第２実施形態の情報処理装置および情報処理システムの構成を簡略化して表すブロック図である。 本発明に係る第３実施形態の情報処理装置および情報処理システムの構成を簡略化して表すブロック図である。 本発明に係る第４実施形態の情報処理装置および情報処理システムの構成を簡略化して表すブロック図である。 本発明に係るその他の実施形態の情報処理装置の構成を簡略化して表すブロック図である。 図８の情報処理装置を用いる情報処理ステムの一例を説明する図である。 観測光の輝度値と、地表物の表面反射率および環境雑音との関係をイメージで表す図である。
　ここで、まず、本発明者が提案している情報処理装置の一構成例を説明する。
　本発明者による提案の情報処理装置は、光路輝度の情報を含む観測画像に基づき光路輝度を算出し、この算出された光路輝度を補正する機能を備えている。すなわち、提案の情報処理装置は、波長帯域γにおける観測画像について、当該観測画像を構成する全ての画素にそれぞれ関連付けられている輝度値のうちの最も値が小さい最小輝度値を中間光路輝度βＷ（γ）と検知する。そして、提案の情報処理装置は、中間光路輝度βＷ（γ）を用いて大気状態を表す大気状態パラメタの真値Ｘｅを算出する。さらに、提案の情報処理装置は、大気状態パラメタＸを考慮した光路輝度βＭ（γ，Ｘ）を算出する数式におけるパラメタＸに、算出した大気状態パラメタの真値Ｘｅを代入することによって、最終的な光路輝度βＭ（γ，Ｘｅ）を算出する。
　以降の説明において、大気状態パラメタＸを考慮して波長帯域γの光路輝度を算出する数式を光路輝度モデルと称し、βＭ（γ，Ｘ）と表す。
　図４は、上述した提案の情報処理装置の一構成例を表すブロック図である。図４における情報処理装置５は、画像読み込み部５１と、暗画素推定部５２と、光路輝度推定部５３と、光路輝度補正部５４とを備える。画像読み込み部５１は画像供給装置６から観測画像を読み込む機能を備えている。暗画素特定部５２は、波長帯域毎に、読み込んだ観測画像から最小輝度値を検知する機能を備えている。ここで、波長帯域γにおける最小輝度値を中間光路輝度の算出値βＷ（γ）とする。
　光路輝度推定部５３は、暗画素推定部５２により算出された中間光路輝度βＷ（γ）と、大気状態パラメタＸの値の変化に応じて値が変化する光路輝度モデルβＭ（γ，Ｘ）とを用いて、大気状態パラメタの真値Ｘｅを算出する機能を備えている。つまり、光路輝度推定部５３は、大気状態パラメタＸの値を変化させながら、各大気状態パラメタＸの値における光路輝度モデルβＭ（γ，Ｘ）および中間光路輝度βＷ（γ）に基づいてコストを算出する。ここでのコストとは、光路輝度モデルβＭ（γ，Ｘ）と中間光路輝度βＷ（γ）の乖離度を表す値である。
　そして、光路輝度推定部５３は、コストが最も小さくなる場合の大気状態パラメタＸの値を大気状態パラメタの真値Ｘｅとする。また、光路輝度推定部５３は、光路輝度モデルβＭ（γ，Ｘ）の大気状態パラメタＸに算出値（真値）Ｘｅを代入して得られる値βＭ（γ，Ｘｅ）を最終光路輝度βｅ（γ）とする。
　光路輝度補正部５４は、光路輝度推定部５３により算出された最終光路輝度βｅ（γ）を、観測画像の全ての画素における輝度値Ｌ（γ）から減算することにより、光路輝度を補正し、補正後の情報を出力装置７に出力する。
　情報処理装置５は、上記のような構成を備えることにより、観測画像に含まれている情報の光路輝度を補正し、補正後の情報を出力できる。しかしながら、光路輝度モデルβＭ（γ，Ｘ）が内包する誤差の影響により、どのようなパラメタＸの値を選んでも光路輝度モデルβＭ（γ，Ｘ）と真の光路輝度との差が許容値を超えて大きくなる場合がある。この場合には、最終光路輝度βｅ（γ）が真の光路輝度と高精度に一致せず、情報処理装置５は、光路輝度を高精度に補正できないという問題が発生する。
　そこで、本発明者は、光路輝度を算出する光路輝度モデルが誤差を内包する場合にも、光路輝度を高精度に補正すべく本発明を考え出した。
　以下に、本発明に係る実施形態を図面を参照しつつ説明する。
　＜第１実施形態＞
　図１は、本発明に係る第１実施形態の情報処理装置およびそれを備えた情報処理システムの構成を簡略化して表すブロック図である。第１実施形態における情報処理システム１００は、大別して、情報処理装置１と、画像供給装置４と、出力装置３とを備えている。情報処理装置１は、画像供給装置４および出力装置３と通信可能に接続されている。
　画像供給装置４は、例えば、互いに異なる複数の波長帯域について、観測対象にて反射した電磁波の強さを観測し、観測した結果を観測画像として出力する撮影装置である。あるいは、画像供給装置４は、そのような撮影装置によって観測された結果である観測画像を記憶するハードディスクなどの記憶装置やサーバ装置等であってもよい。
　なお、以降の説明において、Ｎ（Ｎは２以上の整数）は、画像供給装置４が観測対象を観測する電磁波の波長帯域の数である。
　画像供給装置４は、波長帯域に関連付けられたＮ個の観測画像を、情報処理装置１に供給する機能を備える。画像供給装置４は、Ｎ個の観測画像だけでなく、各観測画像に関連付けられた波長帯域を表す中心波長もしくは波長帯域の上限値および下限値をも情報処理装置１に供給してもよい。
　例えば、観測対象が地表である場合には、画像供給装置４は、飛行機や人工衛星に搭載され、互いに異なる複数の波長帯域において、上空から、地表において反射した反射光を観測光の一部として観測する。具体例を挙げると、画像供給装置４は、カメラであり、互いに異なるＮ個の波長帯域のいずれかの光を選択的に透過する帯域通過フィルタを通ったＮ個の波長帯域の各観測光を撮影する。そして、画像供給装置４は、Ｎ個の撮影画像（観測結果）をそれぞれ観測画像として出力する。なお、画像供給装置４は、上空から地表を観測するのではなく、地表あるいは地表の近くから遠方の地表を観測してもよい。また、Ｎ個の各波長帯域の幅は、均一でなくてもよい。
　画像供給装置４から出力されるＮ個の観測画像は、互いに異なるＮ個の波長帯域のいずれかについて観測した観測対象の明るさ分布を表す画像である。それぞれの観測画像において、観測画像を構成する各画素の輝度値は、当該画素に対応する方向から届いた観測光の強さを表す。なお、第１実施形態では、Ｎ個の観測画像は、例えば、同一の観測対象を観測することによって得られた画像であるが、異なる観測対象を観測して得られた画像であってもよい。ただ、この場合には、光路輝度の値が各画像の全観測領域について同一あるいはほぼ同一の場合である。異なる観測対象を観測して得られたＮ個の観測画像を利用する場合には、例えばシステム管理者がＮ個の画像を選択する。
　出力装置３は、例えば、ディスプレイ装置である。また、出力装置３は、例えば、観測画像から撮影物体の材質や状態を示す情報を抽出する物体同定装置であってもよい。
　情報処理装置１は、記憶部１１と、第１中間光路輝度算出部１２と、第２中間光路輝度算出部１３と、光路輝度補正部１４と、最終光路輝度算出部１５とを備える。
　記憶部１１は、磁気ディスクあるいは半導体メモリ等の記憶デバイスである。記憶部１１は、画像供給装置４から供給されたＮ個の観測画像を、当該画像が観測された波長帯域の情報に関連付けて記憶する。観測画像に関連付けられる波長帯域の情報は、例えば、当該波長帯域を示す中心波長あるいは波長帯域の上限値および下限値の組み合わせでもよいし、各波長帯域に付与された識別子であってもよい。
　第１中間光路輝度算出部１２と第２中間光路輝度算出部１３と光路輝度補正部１４と最終光路輝度算出部１５は、電子回路の場合もあれば、コンピュータプログラムとそのコンピュータプログラムに従って動作するプロセッサによって実現される場合もある。
　第１中間光路輝度算出部１２は、記憶部１１に記憶されたＮ個の波長帯域のそれぞれに関連付けられた観測画像を構成する全画素の中から、輝度値が基準を満たす画素の輝度値を第１中間光路輝度として検知する機能を備える。例えば、第１中間光路輝度算出部１２は、基準を満たす輝度値として、全画素の輝度値の中から最小の輝度値を検知する。また、第１中間光路輝度算出部１２は、全画素の輝度値を小さい順に並べたときに、全画素数に所定の割合を掛け合わせた乗算値である順位の輝度値を、基準を満たす輝度値として検知してもよい。
　以降の説明において、第１中間光路輝度算出部１２が検知する輝度値に対応する画素を暗画素と称する。暗画素は、観測される地表の暗い領域について表面反射率が零とみなせると仮定される画素である。また、Ｎ個の波長帯域におけるｉ（ｉは１乃至Ｎのいずれかの整数）番目の波長帯域をγｉと表す。さらに、Ｎ個の波長帯域γｉにおいて検知された暗画素の輝度値を第１中間光路輝度βＤ（γｉ）と表す。
　第２中間光路輝度算出部１３は、第１中間光路輝度算出部１２によって算出された第１中間光路輝度βＤ（γｉ）を用いて、第２中間光路輝度βＥ（γｉ）を算出する機能を備える。
　以降の説明において、第２中間光路輝度算出部１３が第２中間光路輝度βＥ（γｉ）を算出する過程で用いる光路輝度モデルβＭ（γｉ，Ｘ）に用いられるＸは、大気の状態を表すＱ個の大気状態パラメタＸｊ（ｊは１乃至Ｑのいずれかの整数）の集合を表す。大気状態パラメタＸｊは、大気に含まれる粒子（分子、エアロゾル、砂および煤等を含む粒子）に関する情報を表す。つまり、大気状態パラメタＸｊは、例えば、オングストローム指数、大気混濁度、大気透過率、大気分子の光学的厚さ、エアロゾルの光学的厚さ、視程、もしくはこれらを用いて算出される値である。
　光路輝度モデルβＭ（γｉ，Ｘ）の具体例を、式（３）～式（５）に表す。式（３）～式（５）では、Ｎ個の波長帯域γｉにおける太陽光による放射照度をＩ（γｉ）と表す。
Figure JPOXMLDOC01-appb-I000003

Figure JPOXMLDOC01-appb-I000004

Figure JPOXMLDOC01-appb-I000005
　例えば、第２中間光路輝度算出部１３は、Ｎ個の波長帯域γｉにおける太陽光による標準的な放射照度を放射照度Ｉ（γｉ）として用いる。また、第２中間光路輝度算出部１３は、観測環境を表す情報を外部の装置から取得し、下記の参考文献１に記載されている放射照度を表す物理モデルを用いて放射照度Ｉ（γｉ）を算出してもよい。観測環境を表す情報とは、例えば、観測時の太陽高度、観測年月日、観測時刻、観測対象領域の緯度および経度、観測対象領域の地形、観測時の水蒸気量およびエアロゾル量等を含む情報である。
［参考文献１］：R. E. Bird and C. Riordan， ”Simple Solar Spectral Model for Direct and Diffuse Irradiance on Horizontal and Tilted Planes at the Earth’s Surface for Cloudless Atmospheres”， Journal of Climatology and Applied Meteorology， Vol．25， pp．87-97
　第２中間光路輝度算出部１３は、上述したような物理モデルを使用することにより、場所と時刻とから算出される太陽天頂角、および、大気の状態を表すパラメタを用いて直射日光と大気散乱光をシミュレーションにより算出する。これにより、第２中間光路輝度算出部１３は、例えば、晴天時の太陽光の分光放射照度を波長毎に算出できる。この物理モデルを用いる場合には、まず、シミュレーション結果に及ぼす影響の少ないパラメタの値が設定される。そして、第２中間光路輝度算出部１３は、設定されたパラメタの値と、観測環境を表す情報とのうち、太陽天頂角および大気の状態を表す値を用いて、晴天時における太陽光の単位波長あたりの放射照度である分光放射照度を算出する。そして、第２中間光路輝度算出部１３は、晴天時における太陽光の分光放射照度を、波長帯域γｉにおける複数の波長について足し合わせる。これにより、第２中間光路輝度算出部１３は、Ｎ個の波長帯域γｉ毎に放射照度Ｉ（γｉ）を算出する。
　第２中間光路輝度算出部１３は、第１中間光路輝度算出部１２によって算出された第１中間光路輝度βＤ（γｉ）を用いて、例えば次のようにして第２中間光路輝度βＥ（γｉ）を算出する。すなわち、第２中間光路輝度算出部１３は、まず、第１中間光路輝度βＤ（γｉ）を用いて、光路輝度モデルβＭ（γｉ，Ｘ）の大気状態パラメタの真値Ｘｅを算出する。具体的には、例えば、第２中間光路輝度算出部１３は、大気状態パラメタＸの値を変えながら、各Ｘの値における光路輝度モデルβＭ（γｉ，Ｘ）と第１中間光路輝度βＤ（γｉ）を用いてコストＣを算出する。コストＣは、第１中間光路輝度βＤ（γｉ）と、観測時における実際の光路輝度との乖離度を表す値である。式（６）は、コストＣを算出する数式の一例である。
Figure JPOXMLDOC01-appb-I000006
　第２中間光路輝度算出部１３は、コストＣが最も小さくなるときの大気状態パラメタＸの値を大気状態パラメタの真値Ｘｅとして算出する。
　大気状態パラメタの真値Ｘｅを算出した後に、第２中間光路輝度算出部１３は、光路輝度モデルβＭ（γｉ，Ｘ）における大気状態パラメタＸに算出値（真値）Ｘｅを代入することによって、第２中間光路輝度βＥ（γｉ）を算出する。
　最終光路輝度算出部１５は、第１中間光路輝度算出部１２によって算出された第１中間光路輝度βＤ（γｉ）と、第２中間光路輝度算出部１３によって算出された第２中間光路輝度βＥ（γｉ）を用いて、最終光路輝度βＰ（γｉ）を算出する機能を備えている。
　最終光路輝度算出部１５は、式（７）に表される数式を用いて、第１中間光路輝度βＤ（γｉ）と第２中間光路輝度βＥ（γｉ）とを重み付けして足し合わせ、その結果を最終光路輝度βＰ（γｉ）として算出する。式（７）において、ａ（γｉ）は、暗画素の仮定に対する信頼度を波長帯域γｉ毎に表す重み係数である。以降の説明においてａ（γｉ）を暗画素仮定信頼係数とも称す。
Figure JPOXMLDOC01-appb-I000007
　例えば、暗画素仮定信頼係数ａ（γｉ）には、０乃至１の任意の値が設定される。例えば、画像供給装置４から、８個の波長帯域を観測して得られた観測画像が情報処理装置１に供給されるとする。この場合における波長帯域γ１，γ２，γ３，γ４，γ５，γ６，γ７，γ８の各中心波長が、４２５ｎｍ，４８０ｎｍ，５４５ｎｍ，６０５ｎｍ，７２５ｎｍ，８３２．５ｎｍ，９５０ｎｍであるとする。この場合、例えば、各暗画素仮定信頼係数ａ（γ１），ａ（γ２），ａ（γ３），ａ（γ４），ａ（γ５），ａ（γ６），ａ（γ７），ａ（γ８）には、１，１，０，０，０，０，０，１が設定される。最終光路輝度算出部１５は、そのように設定された重み係数と、第１中間光路輝度βＤ（γｉ）と、第２中間光路輝度βＥ（γｉ）と、式（７）とを利用して、最終光路輝度βＰ（γｉ）を算出する。
　光路輝度補正部１４は、記憶部１１が記憶した観測画像、および、最終光路輝度算出部１５が算出した最終光路輝度βＰ（γｉ）を用いて、波長帯域毎に、観測画像の全画素にそれぞれ関連付けられている輝度値から最終光路輝度を減算する機能を備えている。光路輝度補正部１４は、その減算により補正された画像を光路輝度補正画像とし、出力装置３に出力する。すなわち、減算された観測画像は、記憶部１１が記憶する観測画像から、最終光路輝度算出部１５によって算出された光路輝度の成分が除かれた画像（光路輝度補正画像）である。
　なお、第１実施形態では、第２中間光路輝度と最終光路輝度と光路輝度モデルは、観測画像と関連付けられているＮ個の波長帯域γｉが考慮されているが、任意の個数の、任意の範囲の波長帯域における光路輝度や光路輝度モデルであってもよい。この場合、予め設定された個数の設定された範囲の波長帯域における光路輝度もしくは光路輝度モデルを用いて、観測画像と関連付けられているＮ個の波長帯域γｉ毎の光路輝度が算出される。
　次に、図２のフローチャートを参照して、第１実施形態における情報処理システム１００の情報処理装置１の動作について説明する。
　まず、記憶部１１が、画像供給装置４から供給されたＮ個の観測画像を当該観測画像が観測された波長帯域の情報に関連付けて記憶する（ステップＳ１０１）。
　第１中間光路輝度算出部１２は、波長帯域毎に関連付けられた観測画像について、全画素の中から暗画素（輝度値が基準を満たす画素）の輝度値を第１中間光路輝度として検知する（ステップＳ１０２）。
　第２中間光路輝度算出部１３は、光路輝度モデルにおける大気状態パラメタの値Ｘを変化させながら当該光路輝度モデルに基づいた光路輝度を算出し、算出した各光路輝度と第１中間光路輝度との乖離度を表すコストＣを算出する（ステップＳ１０３）。
　第２中間光路輝度算出部１３は、コストＣが最小となるときの大気状態パラメタを大気状態パラメタの真値Ｘｅとする（ステップＳ１０４）。
　そして、第２中間光路輝度算出部１３は、光路輝度モデルの大気状態パラメタＸに大気状態パラメタの真値Ｘｅを代入することにより第２中間光路輝度を算出する（ステップＳ１０５）。
　最終光路輝度算出部１５は、第１中間光路輝度算出部１２による第１中間光路輝度と、第２中間光路輝度算出部１３による第２中間光路輝度とを、暗画素仮定の信頼度に応じた重み係数を用いて重み付けして足し合わせる。これにより、最終光路輝度算出部１５は、最終光路輝度を算出する（ステップＳ１０６）。
　光路輝度補正部１４は、記憶部１１が記憶した観測画像の全画素から最終光路輝度を減算することにより光路輝度補正画像を生成する。光路輝度補正部１４は、その光路輝度補正画像を出力装置３に出力する（ステップＳ１０７）。
　第１実施形態における情報処理装置１および情報処理システム１００は、光路輝度算出に用いられる光路輝度モデルが誤差を内包する場合にも、光路輝度を高精度に算出することができる。その理由は、最終光路輝度算出部１５は、第１中間光路輝度算出部１２による第１中間光路輝度と、第２中間光路輝度算出部１３による第２中間光路輝度とを、暗画素仮定の信頼度を表す重み係数を用いて重み付けして足し合わせる。これによって、最終光路輝度算出部１５が最終光路輝度を算出するからである。
　すなわち、図４に表される発明者提案の情報処理装置５は、前述したように、各観測画像の最小輝度値を中間光路輝度としている。そして、情報処理装置５は、その中間光路輝度と光路輝度モデルを用いて大気状態パラメタの真値を算出し、算出した真値を光路輝度モデルに代入することにより最終光路輝度を算出している。しかしながら、その光路輝度算出に用いられる光路輝度モデルが誤差を内包する場合には、どのような大気状態パラメタの値を代入しても光路輝度モデルが光路輝度を高精度に算出できない。この場合には、最終光路輝度は光路輝度と高精度に一致しないため、情報処理装置５は、光路輝度を高精度に算出できない。
　これに対して、第１実施形態における情報処理装置１および情報処理システム１００は、暗画素仮定の信頼度が高い波長帯域においては、暗画素仮定に基づき算出された第１中間光路輝度に近い値を最終光路輝度に設定できる。その結果、光路輝度算出に用いられる光路輝度モデルが誤差を内包する場合にも、光路輝度モデルの内包する誤差の影響を緩和し、光路輝度を高精度に算出することができる。
　なお、第１実施形態の情報処理装置１を構成する各機能部は、専用のハードウェア（電子回路）によって実現することができる。また、少なくとも、第１中間光路輝度算出部１２と第２中間光路輝度算出部１３と光路輝度補正部１４と最終光路輝度算出部１５は、ソフトウェアプログラムの機能（処理）単位（ソフトウェアモジュール）と捉えることもできる。ただし、これら機能部は、説明の便宜上の構成であり、実装に際しては、様々な構成が想定され得る。第１実施形態の情報処理装置１を実現するハードウェア環境の一例を図３を参照して説明する。
　図３は、第１実施形態の情報処理装置１を実行可能な情報処理装置（コンピュータ）の構成を例示的に表す図である。図３における情報処理装置１は、構成要素として下記を備えている。
・ＣＰＵ（Central Processing Unit）９０１
・ＲＯＭ（Read Only Memory）９０２
・ＲＡＭ（Random Access Memory）９０３
・ハードディスク（記憶装置）９０４
・外部装置との通信インタフェース９０５
・ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体９０７に格納されたデータを読み書き可能なリーダライタ９０８
・入出力インタフェース９０９
　情報処理装置１は、これらの構成がバス（通信線）９０６を介して接続されたコンピュータにより実現可能である。
　情報処理装置１のＣＰＵ９０１が、前述した各機能部１２～１５を実現するコンピュータプログラムを実行することにより、各機能部１２～１５が実現される。なお、そのコンピュータプログラムは読み書き可能な揮発性のメモリ（ＲＡＭ９０３）又はハードディスク９０４等の不揮発性の記憶デバイスに格納される。
　また、情報処理装置１へのコンピュータプログラムの供給手法は、例えば、ＣＤ－ＲＯＭ等の各種記録媒体９０７を介して当該装置内にインストールする手法や、インターネット等の通信回線を介して外部よりダウンロードする手法等がある。また、コンピュータプログラムや当該コンピュータプログラムを構成するコードは、格納された記録媒体９０７によって構成されると捉えることもできる。
　＜第２実施形態＞
　以下に、本発明に係る第２実施形態を説明する。なお、第２実施形態の説明において、第１実施形態の情報処理装置および情報処理システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
　図５は、第２実施形態に係る情報処理装置および情報処理システムの構成を簡略化して表すブロック図である。
　第２実施形態では、画像供給装置４は、第１実施形態で説明した機能に加えて、観測したときの観測環境を表す情報（観測環境情報）を情報処理装置１に提供する機能を備えている。観測環境情報は、例えば、観測時の太陽高度、観測年月日、観測時刻、観測対象領域の緯度および経度、観測対象領域の地形、観測対象領域における水蒸気量およびエアロゾル量等を含む。
　記憶部１１は、画像供給装置４から供給された観測環境情報をも観測画像に関連付けて記憶する。
　第２実施形態の情報処理装置１における最終光路輝度算出部１５以外の構成は、第１実施形態の情報処理装置１と同様である。
　最終光路輝度算出部１５は、第１中間光路輝度算出部１２による第１中間光路輝度βＤ（γｉ）と、第２中間光路輝度算出部１３による第２の中間光路輝度βＥ（γｉ）とを用いる。さらに、最終光路輝度算出部１５は、記憶部１１に記憶されている観測画像と観測環境情報とのうちの少なくとも一方とをも用いる。最終光路輝度算出部１５は、それら情報に基づいて最終光路輝度βＰ（γｉ）を算出する。例えば、最終光路輝度算出部１５は、式（７）に表される数式を用いて、第１中間光路輝度βＤ（γｉ）と第２中間光路輝度βＥ（γｉ）を重み付けして足し合わせ、その結果を最終光路輝度βＰ（γｉ）として算出する。式（７）において、第１実施形態でも述べたように、ａ（γｉ）は、暗画素仮定に対する信頼の度合を観測波長帯域γｉ毎に表す重み係数である。
　具体的には、最終光路輝度算出部１５は、記憶部１１に記憶されている観測環境情報と観測画像のうちの少なくとも一方を用いて暗画素仮定信頼係数を算出する。例えば、最終光路輝度算出部１５は、波長帯域γｉ毎に関連付けられた観測画像の各画素に対応する地表領域が、一つもしくは複数の特定地表物を含むか否かを判定する。そして、最終光路輝度算出部１５は、特定地表物が含まれる画素の数を算出し、算出した画素数、もしくは、画像の全画素数からその算出した画素数を差し引いた数に基づいて暗画素仮定信頼係数ａ（γｉ）を設定（算出）する。特定地表物は、例えば、水、人工物、植生、土壌、雪である。
　より具体的には、最終光路輝度算出部１５は、Ｎ個の波長帯域に関連付けられた各観測画像におけるｊ番目の画素から得られる輝度値Ｌｊ（γ１）， …， Ｌｊ（γＮ）のうち、赤に相当する波長帯域に関連付けられた輝度値Ｌｊ（γＲ）と、近赤外に相当する波長帯域に関連付けられた輝度値Ｌｊ（γＮＩＲ）とを選択する。そして、最終光路輝度算出部１５は、それら選択した輝度値Ｌｊ（γＲ），Ｌｊ（γＮＩＲ）と、式（８）に示す数式とを用いて、正規化差分植生指数Ｉｊを算出する。
Figure JPOXMLDOC01-appb-I000008
　さらに、最終光路輝度算出部１５は、正規化差分植生指標Ｉｊの値が閾値よりも大きい場合にｊ番目の画素を植生領域と判定する。最終光路輝度算出部１５は、そのような処理を、観測画像を構成する全ての画素に対し実行することによって、植生を含む地表領域の画素数を算出し、当該算出した画素数に基づいて暗画素仮定信頼係数を設定（算出）する。
　なお、最終光路輝度算出部１５は、正規化差分植生指標の代わりに、下記の参考文献２に記載されている植生指標（例えば、ＳＡＶＩ（Soil Adjusted Vegetation Index）、ＲＶＩ（Rate Vegetation Index）、ＮＲＶＩ（Normalized Ratio Vegetation Index）、ＴＶＩ（Transformed Vegetation Index）、ＣＴＶＩ（Corrected Transformed Vegetation Index）、ＴＴＶＩ（Thiam’s Transformed Vegetation Index）、ＥＶＩ（Enhanced Vegetation Index）など）を用いてもよい。また、最終光路輝度算出部１５は、正規化差分植生指標の代わりに、参考文献３に記載されている水指数（例えば、ＮＤＷＩ（Normalized Difference Water Index））や土壌指数（例えば、ＮＤＳＩ（Normalized Difference Soil Index））やＮＨＦＤ（Non－Homogeneous Feature Difference）等を用いてもよい。
［参考文献２］：Nikolaos G． Silleos， Thomas K． Alexandridis， Ioannis Z． Gitas and Konstantinos Perakis， “Vegetation Indices： Advances Made in Biomass Estimation and Vegetation Monitoring in the Last 30 Years”， Geocarto International， Volume 21， Issue 4， 2006
［参考文献３］：A． F． Wolf， “Using WorldView－2 Vis－NIR Multispectral Imagery to Support Land Mapping and Feature Extraction Using Normalized Difference Index Ratios”， May 8， 2012
　例えば、最終光路輝度算出部１５は、初期値として、全観測波長帯域に関連付けられる暗画素仮定信頼係数ａ（γｉ）（ｉ＝１，・・・，Ｎ）を１に設定する。そして、最終光路輝度算出部１５は、画像の全画素数から植生領域の画素数を差し引いた数が予め設定された値よりも小さい場合には、近赤外に相当する波長帯域γＮＩＲの暗画素仮定信頼係数ａ（γＮＩＲ）を０に設定する。また、水指数に基づいて水領域の画素が検知される場合であって、かつ、画像の全画素数から水領域の画素の数を差し引いた数が予め設定された値よりも小さい場合がある。この場合には、最終光路輝度算出部１５は、近紫外に相当する波長帯域γＮＵＶの暗画素仮定信頼係数ａ（γＮＵＶ）を０に設定する。さらに、最終光路輝度算出部１５は、人工物領域の画素が検知される場合であって、かつ、人工物領域の画素の数が予め設定された値よりも大きい場合には、全観測波長帯域に関連付けられる暗画素仮定信頼係数を１に設定する。
　なお、最終光路輝度算出部１５は、記憶部１１に記憶されている観測対象の緯度・経度・観測日時の情報を用いて、観測画像の画素のうち陰の領域が含まれる画素の数を算出する。そして、最終光路輝度算出部１５は、この算出した画素数を用いて、全観測波長帯域に関連付けられる暗画素仮定信頼係数を設定してもよい。例えば、緯度・経度・観測日時と陰量を対応付けたルックアップテーブルが予め与えられている。最終光路輝度算出部１５は、記憶部１１に記憶されている観測対象の緯度・経度・観測日時およびルックアップテーブルに基づいて、陰の領域が含まれる画素の数を算出する。そして、最終光路輝度算出部１５は、その算出した画素の数に基づいて暗画素仮定信頼係数を設定する。また、最終光路輝度算出部１５は、記憶部１１に記憶されている観測環境情報および観測画像の両方を用いて、暗画素仮定信頼係数を設定してもよい。例えば、最終光路輝度算出部１５は、観測画像を用いて特定地表物が含まれる画素の数を算出し、また、観測環境情報を用いて陰の領域が含まれる画素の数を算出する。そして、最終光路輝度算出部１５は、特定地表物が含まれる画素の数および陰の領域が含まれる画素の数の両方を用いて、暗画素仮定信頼係数を設定する。
　最終光路輝度算出部１５は、上記のように設定された暗画素仮定信頼係数と、第１中間光路輝度βＤ（γｉ）と、第２中間光路輝度βＥ（γｉ）と、式（７）とを利用して、最終光路輝度βＰ（γｉ）を算出する。
　この第２実施形態の情報処理装置１および情報処理システム１００は、暗画素仮定信頼係数を用いて最終光路輝度を算出することにより、光路輝度モデルが誤差を内包する場合にも光路輝度モデルの内包する誤差の影響を緩和し、光路輝度を高精度に算出できる。
　＜第３実施形態＞
　以下に、本発明に係る第３実施形態を説明する。なお、第３実施形態の説明において、第１と第２実施形態の情報処理装置および情報処理システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
　図６は第３実施形態に係る情報処理装置および情報処理システムの構成を簡略化して表すブロック図である。
　この第３実施形態においても、第２実施形態と同様に、画像供給装置４は、情報処理装置１に向けて観測環境情報を提供し、記憶部１１は、その観測環境情報を観測画像に関連付けて記憶する。
　第３実施形態の情報処理装置１における第２中間光路輝度算出部１３以外の構成は、第１実施形態の情報処理装置１と同様である。
　第３実施形態では、第２中間光路輝度算出部１３は、観測環境情報を記憶部１１から取得し、第１中間光路輝度に代えて、取得した観測環境情報を用いて第２中間光路輝度をシミュレーションにより算出する。例えば、第２中間光路輝度算出部１３は、参考文献４に記載されているシミュレータを利用する。
［参考文献４］：Daniel Schlapfer， Dr． sc． Nat．， ReSe． “MODO User Manual Ver.5”， 2011
　第３実施形態の情報処理装置１および情報処理システム１００は、観測環境情報を考慮して第２中間光路輝度を算出することにより、光路輝度を高精度に算出できる。
　＜第４実施形態＞
　以下に、本発明に係る第４実施形態を説明する。なお、第４実施形態の説明において、第１や第２の実施形態の情報処理装置および情報処理システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
　図７は第４実施形態に係る情報処理装置および情報処理システムの構成を簡略化して表すブロック図である。
　第４実施形態の情報処理装置１における第２中間光路輝度算出部１３と最終光路輝度算出部１５以外の構成は、第１あるいは第２の実施形態の情報処理装置１と同様である。
　第４実施形態では、第２中間光路輝度算出部１３は、観測環境情報を記憶部１１から取得し、第１中間光路輝度に代えて、取得した観測環境情報を用いて第２中間光路輝度を算出する。また、最終光路輝度算出部１５は、記憶部１１から取得した観測環境情報をも考慮して、最終光路輝度を算出する。
　この第４実施形態の情報処理装置１および情報処理システム１００は、観測環境情報を考慮して最終光路輝度を算出するので、光路輝度をより高精度に算出できる。
　＜その他の実施形態＞
　なお、本発明は第１～第４の実施形態に限定されず、様々な実施の形態を採り得る。例えば、本発明に係る情報処理装置のその他の形態として、図８に表されるような構成をも採り得る。図８に表される情報処理装置２０は、図９に表されるような画像供給装置３１と接続し、情報処理システム３０を構成する。画像供給装置３１は、大気を通った互いに異なる複数の波長帯域の電磁波を観測することにより得られる波長帯域毎の観測画像を情報処理装置２０に供給する機能を備えている。
　図８に表される情報処理装置２０は、第１中間光路輝度算出部２１と、第２中間光路輝度算出部２２と、最終光路輝度算出部２３と、光路輝度補正部２４とを備えている。
　第１中間光路輝度算出部２１は、画像供給装置３１から供給される波長帯域毎の観測画像を構成する各画素に関連付けられている電磁波の観測値である輝度値のうち、予め設定された基準を満たす輝度値を取り出す機能を備えている。さらに、第１中間光路輝度算出部２１は、その輝度値に基づいた第１中間光路輝度を算出する機能を備えている。
　第２中間光路輝度算出部２２は、大気の状態を表す情報を含む第２中間光路輝度を算出する機能を備えている。
　最終光路輝度算出部２３は、波長帯域毎に、観測画像の画素のうち、物体により反射された電磁波の影響を受けていないと仮定される画素である暗画素の仮定に対する信頼度を表す重み係数を用いて、第１中間光路輝度および第２中間光路輝度を重み付けして足し合わせることにより最終光路輝度を算出する機能を備えている。
　光路輝度補正部２４は、波長帯域毎に、観測画像の全画素から最終光路輝度を減算する機能を備えている。
　この情報処理装置２０およびそれを備えた情報処理システム３０は、上記のように、第１中間光路輝度と第２中間光路輝度に、暗画素の仮定に対する信頼度を表す重み係数を用いて重み付けする。そして、情報処理装置２０および情報処理システム３０は、その重み付けされた第１中間光路輝度と第２中間光路輝度を利用して算出された最終光路輝度に基づいて、光路輝度を補正する。このため、情報処理装置２０および情報処理システム３０は、暗画素の仮定に対する信頼度が低い第１や第２の中間光路輝度が光路輝度の補正に関与する度合いを低くすることができる。これにおり、情報処理装置２０および情報処理システム３０は、光路輝度補正の精度を高めることができる。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１６年３月３０日に出願された日本出願特願２０１６－０６８５４１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１　情報処理装置
　３　出力装置
　４　画像供給装置
　１２　第１中間光路輝度算出部
　１３　第２中間光路輝度算出部
　１４　光路輝度補正部
　１５　最終光路輝度算出部

Claims (8)

  1. 　大気を通った互いに異なる複数の波長帯域の電磁波を観測することにより得られる前記波長帯域毎の観測画像を構成する各画素に関連付けられている前記電磁波の観測値である輝度値のうち、予め設定された基準を満たす輝度値を取り出し、当該輝度値に基づいた第１中間光路輝度を算出する第１中間光路輝度算出手段と、
    　前記大気の状態を表す情報を含む第２中間光路輝度を算出する第２中間光路輝度算出手段と、
    　前記波長帯域毎に、前記観測画像の画素のうち、物体により反射された電磁波の影響を受けていないと仮定される画素である暗画素の仮定に対する信頼度を表す重み係数を用いて、前記第１中間光路輝度および前記第２中間光路輝度を重み付けして足し合わせることにより最終光路輝度を算出する最終光路輝度算出手段と、
    　前記波長帯域毎に、前記観測画像の全画素から前記最終光路輝度を減算する光路輝度補正手段と、
    を備える情報処理装置。
  2. 　前記第２中間光路輝度算出手段は、前記大気の状態を表す情報を利用して算出される光路輝度と前記第１中間光路輝度との乖離度を表すコストが最小となる場合の光路輝度を第２中間光路輝度として算出する請求項１に記載の情報処理装置。
  3. 　前記第２中間光路輝度算出手段は、前記観測画像が得られた場合の観測環境を利用したシミュレーションにより得られる前記電磁波の伝達状況に基づいて前記第２中間光路輝度を算出する請求項１に記載の情報処理装置。
  4. 　前記最終光路輝度算出手段は、前記観測画像と、前記観測画像が得られた場合の観測環境とのうちの少なくとも一方に基づいて前記暗画素の仮定に対する信頼度を算出し、算出した信頼度を重み係数として前記最終光路輝度を算出する請求項１又は請求項２又は請求項３に記載の情報処理装置。
  5. 　前記観測画像は地表の画像であり、
    　前記最終光路輝度算出手段は、前記観測画像の各画素に対応する地表領域が予め設定された特定の地表物を含む領域であるか否かを判断し、前記特定の地表物を含む領域であると判断された画素の数を利用して前記重み係数を算出し、当該算出した重み係数に基づいて前記最終光路輝度を算出する請求項４に記載の情報処理装置。
  6. 　請求項１乃至請求項５の何れか一つに記載の情報処理装置と、
    　大気を通った互いに異なる複数の波長帯域の電磁波を観測することにより得られる前記波長帯域毎の観測画像を前記情報処理装置に供給する画像供給装置と
    を備える情報処理システム。
  7. 　大気を通った互いに異なる複数の波長帯域の電磁波を観測することにより得られる前記波長帯域毎の観測画像を構成する各画素に関連付けられている前記電磁波の観測値である輝度値のうち、予め設定された基準を満たす輝度値を取り出し、当該輝度値に基づいた第１中間光路輝度を算出し、
    　前記大気の状態を表す情報を含む第２中間光路輝度を算出し、
    　前記波長帯域毎に、前記観測画像の画素のうち、物体により反射された電磁波の影響を受けていないと仮定される画素である暗画素の仮定に対する信頼度を表す重み係数を用いて、前記第１中間光路輝度および前記第２中間光路輝度を重み付けして足し合わせることにより最終光路輝度を算出し、
    　前記波長帯域毎に、前記観測画像の全画素から前記最終光路輝度を減算する
    情報処理方法。
  8. 　大気を通った互いに異なる複数の波長帯域の電磁波を観測することにより得られる前記波長帯域毎の観測画像を構成する各画素に関連付けられている前記電磁波の観測値である輝度値のうち、予め設定された基準を満たす輝度値を取り出し、当該輝度値に基づいた第１中間光路輝度を算出する処理と、
    　前記大気の状態を表す情報を含む第２中間光路輝度を算出する処理と、
    　前記波長帯域毎に、前記観測画像の画素のうち、物体により反射された電磁波の影響を受けていないと仮定される画素である暗画素の仮定に対する信頼度を表す重み係数を用いて、前記第１中間光路輝度および前記第２中間光路輝度を重み付けして足し合わせることにより最終光路輝度を算出する処理と、
    　前記波長帯域毎に、前記観測画像の全画素から前記最終光路輝度を減算する処理と
    をコンピュータに実行させる処理手順が示されているコンピュータプログラムを記憶するプログラム記憶媒体。
PCT/JP2017/011096 2016-03-30 2017-03-21 情報処理装置、情報処理システム、情報処理方法およびプログラム記憶媒体 WO2017169946A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/086,352 US10872397B2 (en) 2016-03-30 2017-03-21 Optical path radiance correction device
JP2018509069A JP6856066B2 (ja) 2016-03-30 2017-03-21 情報処理装置、情報処理システム、情報処理方法およびコンピュータプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016068541 2016-03-30
JP2016-068541 2016-03-30

Publications (1)

Publication Number Publication Date
WO2017169946A1 true WO2017169946A1 (ja) 2017-10-05

Family

ID=59964967

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/011096 WO2017169946A1 (ja) 2016-03-30 2017-03-21 情報処理装置、情報処理システム、情報処理方法およびプログラム記憶媒体

Country Status (3)

Country Link
US (1) US10872397B2 (ja)
JP (1) JP6856066B2 (ja)
WO (1) WO2017169946A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016189853A1 (ja) * 2015-05-28 2016-12-01 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法およびプログラム記録媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100008595A1 (en) * 2008-07-08 2010-01-14 Harris Corporation Automated atmospheric characterization of remotely sensed multi-spectral imagery
WO2016098353A1 (ja) * 2014-12-19 2016-06-23 日本電気株式会社 画像情報処理装置、画像情報処理システム、画像情報処理方法、及び、画像情報処理プログラムが格納された記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7337065B2 (en) * 2001-01-23 2008-02-26 Spectral Sciences, Inc. Methods for atmospheric correction of solar-wavelength hyperspectral imagery over land
US9576349B2 (en) * 2010-12-20 2017-02-21 Microsoft Technology Licensing, Llc Techniques for atmospheric and solar correction of aerial images
US9396528B2 (en) * 2013-03-15 2016-07-19 Digitalglobe, Inc. Atmospheric compensation in satellite imagery
JP2015032205A (ja) 2013-08-05 2015-02-16 三菱電機株式会社 画像処理装置及び画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100008595A1 (en) * 2008-07-08 2010-01-14 Harris Corporation Automated atmospheric characterization of remotely sensed multi-spectral imagery
WO2016098353A1 (ja) * 2014-12-19 2016-06-23 日本電気株式会社 画像情報処理装置、画像情報処理システム、画像情報処理方法、及び、画像情報処理プログラムが格納された記録媒体

Also Published As

Publication number Publication date
JP6856066B2 (ja) 2021-04-07
US20190096048A1 (en) 2019-03-28
JPWO2017169946A1 (ja) 2019-02-14
US10872397B2 (en) 2020-12-22

Similar Documents

Publication Publication Date Title
Li et al. Evaluation of Sentinel-2A surface reflectance derived using Sen2Cor in North America
Herrmann et al. Ground-level hyperspectral imagery for detecting weeds in wheat fields
Sterckx et al. The PROBA-V mission: Image processing and calibration
US8094960B2 (en) Spectral calibration of image pairs using atmospheric characterization
JP6964834B2 (ja) 画像処理装置および画像処理方法
Congedo et al. Development of a methodology for land cover classification in Dar es Salaam using Landsat imagery
EP3726951B1 (en) Apparatus for determining agricultural relevant information
JP6943251B2 (ja) 画像処理装置、画像処理方法及びコンピュータ読み取り可能記録媒体
KR101620951B1 (ko) 모의 위성 영상 생성 방법 및 시스템
JP6772838B2 (ja) 画像情報処理装置、画像情報処理システム、画像情報処理方法、及び、画像情報処理プログラム
JP6201507B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Vuppula Normalization of pseudo-invariant calibration sites for increasing the temporal resolution and long-term trending
Mishra et al. Review of topographic analysis methods for the western Himalaya using AWiFS and MODIS satellite imagery
JP6856066B2 (ja) 情報処理装置、情報処理システム、情報処理方法およびコンピュータプログラム
Zarate-Valdez et al. Estimating light interception in tree crops with digital images of canopy shadow
US11416968B2 (en) Method for increasing the spatial resolution of a multispectral image from a panchromatic image
JP6747436B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびコンピュータプログラム
CN112106346A (zh) 图像处理方法、设备、无人机、系统和存储介质
CA2836210A1 (en) Methods for in-scene atmospheric compensation by endmember matching
Attarchi et al. A multi-sensor approach for improving biodiversity estimation in the Hyrcanian mountain forest, Iran
Reulke et al. Image quality of optical remote sensing data
Hagner et al. Normalisation of within-scene optical depth levels in multispectral satellite imagery using National Forest Inventory plot data
Cook et al. Spatial, Spectral, and Radiometric Characterization of Libyan and Sonoran Desert Calibration Sites in Support of GOES-R Vicarious Calibration; Rochester Institute of Technology, College of Science
Tyagi et al. Image based atmospheric correction of remotely sensed images
Quan A Multiplatform Approach Using MODIS Sensors to Cross-Calibrate the HJ-1A/CCD1 Sensors Over Aquatic Environments

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018509069

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17774487

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17774487

Country of ref document: EP

Kind code of ref document: A1