WO2021084907A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2021084907A1
WO2021084907A1 PCT/JP2020/033523 JP2020033523W WO2021084907A1 WO 2021084907 A1 WO2021084907 A1 WO 2021084907A1 JP 2020033523 W JP2020033523 W JP 2020033523W WO 2021084907 A1 WO2021084907 A1 WO 2021084907A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
camera
polarized
filter
Prior art date
Application number
PCT/JP2020/033523
Other languages
English (en)
French (fr)
Inventor
厚史 伊藤
小川　哲
中村　憲一郎
優介 森内
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/755,153 priority Critical patent/US20220366668A1/en
Priority to CN202080074098.9A priority patent/CN114586066A/zh
Priority to JP2021554132A priority patent/JPWO2021084907A1/ja
Publication of WO2021084907A1 publication Critical patent/WO2021084907A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0098—Plants or trees
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793—Remote sensing
    • G01N2021/1797—Remote sensing in landscape, e.g. crops
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and an image processing program.
  • Remote sensing is a technology that measures a target remotely over a wide area.
  • remote sensing is often used for the purpose of measuring plant functions from artificial satellites and the like.
  • UAV unmanned aerial vehicles
  • spectral reflection remote sensing a technique called spectral reflection remote sensing is often used to measure plant functions.
  • spectroscopic reflection remote sensing spectroscopic observation of reflected light from a plant having a wavelength (400 to 2500 mm) from visible to near infrared is performed using a multispectral camera or a hyperspectral camera. Then, using the observed spectroscopic data, information such as the internal structure of the plant, the type and amount of pigments and trace components contained, and the water state is estimated.
  • the measured value may fluctuate greatly depending on the observation environment.
  • the observation environment includes factors caused by irradiation such as how the clouds are cast, the color temperature and angle of the sun, and the geometrical relationship between the angle of the remote sensing imaging system and the target field scene.
  • the measured value fluctuates depending on the observation environment in this way, it is difficult to improve the accuracy of the index representing vegetation calculated using the observation data.
  • the present disclosure provides an image processing device, an image processing method, and an image processing program capable of improving the accuracy of an index representing vegetation.
  • the image processing apparatus includes the following parts.
  • the vector analysis unit obtains the normal vector characteristics based on the acquired polarized image.
  • the characteristic estimation unit estimates a reflection characteristic model based on the normal vector characteristics obtained by the vector analysis unit.
  • FIG. 1 is a diagram showing an image processing system according to the first embodiment.
  • the image processing system 100 includes an image processing device 1, a drone 2, and a vegetation index generation device 3.
  • the image processing system 100 is a system that provides a vegetation index for estimating vegetation information, which is information on the distribution, amount, and function of vegetation when performing so-called spectroscopic remote sensing.
  • the drone 2 is equipped with an image pickup device 21 having a camera that captures a spectroscopic reflection image and a polarized image.
  • the camera that captures the spectral reflection image and the camera that captures the polarized image of the imaging device 21 may be different cameras or one camera.
  • the image pickup apparatus 21 uses an image pickup element capable of simultaneously acquiring four polarizations of four polarization angles of 0 degree, 45 degree, 90 degree, and 135 degree in the image pickup system reference in which a specific position is set to 0 degree among the polarization angles. Equipped with the camera that was there.
  • Drone 2 flies over the field to be surveyed for vegetation, and simultaneously acquires spectroscopic reflection images and polarized images that capture the field from an aerial viewpoint using a camera. Then, the drone 2 continuously captures a spectral reflection image and a polarized image while moving over the field, and connects a series of images to each other to cover a part or the whole of the field. A spectral reflection image group and a polarized image group to be polarized reflection images are acquired.
  • the image processing device 1 is an information processing device that executes image processing according to the present disclosure.
  • the image processing device 1 acquires a polarized image group from the drone 2.
  • the image processing device 1 is wirelessly or wiredly connected to the drone 2 to acquire the data of the polarized image group.
  • the polarized image group includes a plurality of polarized images for each polarization angle, but since the image processing device 1 performs the same processing for each polarized image, image processing of one polarized image will be described below.
  • the image processing device 1 acquires the normal vector in each pixel from the polarized image. Then, the image processing device 1 acquires the parameters in the mathematical model when the normal vector characteristic, which is the distribution of the normal vector in the polarized image, is represented by a predetermined mathematical model. Next, the image processing device 1 estimates a reflection characteristic model representing the intensity of the reflected light in each direction at each point of the vegetation community represented by the polarized image using the obtained parameters. After that, the image processing device 1 outputs the information of the estimated reflection characteristic model to the vegetation index generation device 3.
  • FIG. 2 is a block diagram of the image processing device.
  • spectroscopic reflection remote sensing By using spectral reflection remote sensing, plant information such as the internal structure of the plant, the pigment contained in the plant, the type and amount of trace components, and the water state can be estimated. Presumed contained pigments include, for example, chlorophyll a, chlorophyll b and carotenoids.
  • the estimated trace components include nitrogen, potassium, phosphorus and the like.
  • V Vegetation Index
  • NDVI Normalized Difference Vegetation index
  • NIR Near Infrared
  • NDVI is an index that roughly indicates the degree of health of a plant by utilizing the absorption of chlorophyll pigment in the red band and the high reflex property due to the cell structure of the plant in the NIR band. For example, as shown in FIG. 3, the health of a plant can be determined by using NDVI.
  • NDRE Normalized Difference Red Edge
  • NDWI Normalized Difference Water Index
  • NDBI Normalized Difference Built-up Index
  • NDRE is an index that quantifies the correlation between light in the band of 710 to 720 nm called Red Edge and the content of Chlorophyll.
  • NDWI is a normalized ratio of light having a wavelength of 860 nm and light having a wavelength of 1240 nm, which have a high correlation with the water content.
  • NDBI is a normalized ratio of light having a wavelength of 860 nm and light having a wavelength of 2160 nm, which have a high correlation with respect to the dry matter content.
  • the measured value may fluctuate greatly depending on the geometrical relationship between the lighting and the imaging system and the field scene. This is due to the fact that the vegetation community is characteristic compared to other natural objects in terms of the characteristics of the intensity of reflected light depending on the illumination accuracy and the observation angle. In the following, the characteristic of the intensity of reflected light depending on the illumination accuracy and the observation angle may be simply referred to as “reflection characteristic”.
  • FIG. 4 is a diagram for explaining the reflection characteristics of vegetation.
  • the area surrounded by the curve shown on the reflecting surface represents the intensity of the reflected light observed from each direction, assuming that the light source is incident from the arrow direction.
  • strong light is reflected on the opposite side of the normal line of the reflecting surface with respect to the incident angle of the illumination light from the light source, as shown in the reflection characteristic 201.
  • the reflective surface is often made of rough material.
  • the reflection intensity in the same direction as the direction in which the light source is located is generally stronger with respect to the normal of the reflective surface due to the influence of internal mutual reflection or the like. ..
  • reflection having a reflection characteristic 202 or 203 may occur.
  • the model showing the intensity of the reflected light in each observation direction according to the reflection characteristic which is shown by the reflection characteristics 201 to 204, is referred to as a “reflection characteristic model”.
  • FIG. 5 is a diagram showing the reflected light incident on the drone.
  • FIG. 6 is a diagram for explaining typical problems caused by reflection characteristics.
  • the observation angle with respect to the sun angle has a positive / negative relationship between the reflected light 211 at the left end and the reflected light 212 at the right end of the image with the normal line N in between. ..
  • the observed image has a difference in brightness between the right end and the left end as shown in the captured image 213 of FIG.
  • the captured image 213 has a dark left end and a bright right end toward the paper surface.
  • PROSAIL One of the most frequently used mathematical models is a mathematical model called PROSAIL.
  • PROSAIL "Katja Berger, Clement Atzberger, Martin Danner, Guid D'Urso, Wolfram Mauser, Francesco Vuolo, Tobias Hank, Evaluation of the PROSAIL Model Capabilities for Future Hyperspectral Model Capabilities for Future Hyperspectral Model , 2018. ”describes a PROSAIL model that shows the reflection characteristics of vegetation communities.
  • FIG. 7 is a diagram showing an outline of the meaning of each parameter of the PROSAIL model.
  • FIG. 8 is a diagram showing a table summarizing the meaning of each parameter of the PROSAIL model. From FIGS.
  • the parameters for describing the PROSAIL model include parameters related to the sun direction, observation direction and atmosphere, and parameters related to vegetation type, community condition and soil condition.
  • the former parameter can be fixed constant in the observation environment.
  • the latter parameters are field-specific values, and it is difficult to accurately identify each of them.
  • ALIA Average Leaf Inclination Angle
  • LIDF Leaf Inclination Distribution Function
  • the PROSAIL model is effective for describing the reflection characteristics of vegetation communities, and is widely used for analysis of sensing results from the sky such as satellite observations.
  • the parameters used for the analysis and their handling is complicated. Above all, it is difficult to derive field-specific parameters ALIA and LIDF from remote sensing information.
  • the image processing apparatus 1 analyzes the normal vector characteristic from the polarized image, acquires the normal vector characteristic parameter representing the mathematical model representing the normal vector characteristic, and acquires the acquired normal vector characteristic parameter. To estimate the reflection characteristic model of the vegetation community. As a result, the image processing apparatus 1 according to the present disclosure can easily and highly accurately acquire the reflection characteristic model of the vegetation community, and the value of the index representing the vegetation calculated from the observation data from the sky is used as the reflection characteristic. It is possible to correct the resulting variation and obtain an index showing accurate vegetation.
  • the image processing apparatus 1 according to the present disclosure will be described in detail with reference to FIG.
  • the image processing device 1 includes a polarized image acquisition unit 11, a normal map generation unit 12, a soil separation processing unit 13, a plant characteristic extraction unit 14, a reflection characteristic estimation unit 15, a leaf area index calculation unit 16, and a reflectance calculation unit 17. It has a reflection characteristic model generation unit 18.
  • the plant property extraction unit 14 has an elliptical model fitting unit 141 and a lower leaf region detection unit 142.
  • the polarized image acquisition unit 11 acquires a polarized image taken by the drone 2. Next, the polarized image acquisition unit 11 outputs the acquired polarized image to the normal map generation unit 12 and the soil separation processing unit 13.
  • the normal map generation unit 12 receives the input of the polarized image from the polarized image acquisition unit 11. Next, the normal map generation unit 12 performs image processing on the polarized image and detects the normal of the leaf on a pixel-by-pixel basis. Then, the normal map generation unit 12 generates a normal map representing the distribution of the normals.
  • the normal map generation unit 12 calculates normal information by applying polarized images in a plurality of directions to a model formula to generate a normal map.
  • This normal map is an example of "normal vector characteristics". More specifically, the normal map generation unit 12 obtains the azimuth angle from the phase of the observed light when the observed brightness is applied to the following mathematical formula (1).
  • I is the observed brightness through the polarizing plate.
  • ⁇ pol is the angle of the rotated polarizing plate.
  • ⁇ is the phase of the observed light.
  • I max and I min are the amplitudes of fitting.
  • the normal map generation unit 12 obtains the zenith angle by using the formula of the degree of polarization represented by the following formula (2).
  • the degree of polarization represents the ratio of polarized light in the observed light, and generally, the degree of polarization increases as the zenith angle increases.
  • the process of obtaining a normal map is not particularly limited to the wavelength of polarized light. Further, as in the normal map generation unit 12 according to the present embodiment, it is possible to improve the accuracy of the normal map by using the RGB color information together with the polarization information.
  • the RGB color information For example, Miyazaki Daisuke et al. Polarization-based inverse Rendering from a single view.
  • ICCV03 (9820987) discloses a method for solving the deterioration of normal accuracy due to the difference in polarization behavior between the mirror surface and diffuse reflection. There is. Specifically, a technique for improving the normal estimation accuracy by matching the polarization behavior with the diffuse reflection behavior by executing pre-signal processing for removing the specular reflection component using the information of each color and polarization is disclosed. Has been done.
  • the normal map generation unit 12 can also obtain the same effect by using the RGB color information together with the polarization information.
  • FIG. 10 is a diagram showing an example of the result of acquiring a normal map from a polarized image of vegetation.
  • the polarized image 231 is a polarized image in the 0 degree direction based on the imaging system.
  • the normal map generation unit 12 generates a normal map 232 from the polarized image 231.
  • the normal map 232 shows the direction of the normal for each pixel.
  • the normal map 233 is a reference sphere normal map.
  • the normal map generation unit 12 outputs the generated normal map to the ellipse model fitting unit 141, the lower leaf region detection unit 142, and the reflection characteristic estimation unit 15.
  • This normal map generation unit 12 corresponds to an example of a “vector analysis unit”.
  • the soil separation processing unit 13 receives the input of the polarized image from the polarized image acquisition unit 11. Then, the soil separation processing unit 13 executes a region division processing for dividing a polarized image into a vegetation region and a soil region by image processing. The details of the area division process will be described below.
  • FIG. 9 is a diagram showing an example of the processing result of the area division processing.
  • the soil separation processing unit 13 divides the vegetation region and the soil region in the polarized image by using a general color segmentation technique. In addition, the soil separation processing unit 13 performs this region division processing on each of the polarized images included in the polarized image group to improve the separation accuracy. For example, the soil separation processing unit 13 acquires the divided image 222 by performing the region division processing on the polarized image 221 of FIG. The area 223 in the image 222 after division is a vegetation area, and the area 224 is a soil area.
  • the soil separation processing unit 13 outputs the signal of the region determined to be the soil region in the polarized image to the reflection characteristic estimation unit 15. Further, the soil separation processing unit 13 outputs a signal of a region determined to be a vegetation region in the polarized image to the elliptical model fitting unit 141 and the lower leaf region detection unit 142 of the plant characteristic extraction unit 14.
  • the ellipse model fitting unit 141 receives the input of the normal map from the normal map generation unit 12. Further, the ellipse model fitting unit 141 receives the input of the signal of the image of the vegetation region in the polarized image from the soil separation processing unit 13. The ellipse model fitting unit 141 identifies a region corresponding to the vegetation region of the normal map. Then, the ellipse model fitting unit 141 obtains the optimum parameters for the mathematical approximation model by the ellipse by using the normal distribution shown in FIG. 11 with respect to the normal information in the specified region.
  • FIG. 11 is a diagram showing a mathematical expression of LIDF and a measurement histogram which is a descriptive distribution thereof.
  • the ellipse model fitting unit 141 obtains ⁇ in FIG. 11 as a parameter.
  • the ⁇ obtained by the ellipse model fitting unit 141 corresponds to the LIDF of the mathematical expression approximation model using the ellipse.
  • the curve represented by this mathematical expression is represented by the histogram 240.
  • the vertical axis represents the frequency of normals
  • the horizontal axis represents the angle of normals (radians). The closer the normal angle is to 0, the more horizontally extends with respect to the ground, and the closer the normal angle is to 1.571, the more the leaves extend perpendicular to the ground.
  • the ellipse model fitting unit 141 acquires a depth map by performing three-dimensional sensing such as LiDAR (Light Detection and Ringing) using a normal map and a polarized image of a vegetation region. After that, the ellipse model fitting unit 141 selects ⁇ having a distribution represented by g ( ⁇ ) that matches the obtained depth map. In this way, the ellipse model fitting unit 141 performs parameter fitting of the LIDF for determining the value of the ratio ⁇ . As a method of searching for ⁇ that fits the depth map, for example, there is a method of finding ⁇ when it is most similar to the measurement histogram by using a general full search or a mountain climbing method. The elliptical model fitting unit 141 outputs the obtained LIDF to the reflection characteristic model generation unit 18. The LIDF obtained by the ellipse model fitting unit 141 corresponds to an example of the "parameter representing the normal distribution".
  • LiDAR Light Detection and Ringing
  • the reflection characteristic estimation unit 15 receives the input of the signal of the image of the soil region in the polarized image from the soil separation processing unit 13.
  • the reflection characteristic estimation unit 15 receives the signal of the soil region for each polarized image included in the polarized image group from the soil separation processing unit 13, and accumulates pixel data obtained by imaging the soil region from various angles. Further, the reflection characteristic estimation unit 15 receives the input of the normal map from the normal map generation unit 12.
  • the reflection characteristic estimation unit 15 determines whether or not the reflection characteristic of the soil region can be regarded as a Lambersian reflection using the accumulated image data and the normal map.
  • the lumbar cyan reflection is a reflection model that ideally handles a diffuse reflection surface, and the reflected light has uniform intensity in all directions.
  • the reflection characteristic estimation unit 15 can also acquire the reflection characteristics of the soil region without using the normal map.
  • the reflection characteristic estimation unit 15 obtains a mathematical model representing the reflection characteristic.
  • the reflection characteristic estimation unit 15 applies a BRDF (Bidirectional Reflectance Distribution Function) model such as a Phong reflection model to the reflection characteristics of a soil region.
  • the reflection characteristic estimation unit 15 estimates the closest parameter in the mathematical model representing the reflected light in the soil region, and obtains the mathematical model representing the reflection characteristic in the soil region.
  • the reflection of the soil region is referred to as the reflection model of the Lambersian reflection or the BRDF model, which is referred to as "soil reflection characteristics".
  • the reflection characteristic estimation unit 15 outputs the estimated soil reflection characteristics to the reflectance calculation unit 17.
  • the polarized image is divided into two regions, a vegetation region and a soil region, but the reflection characteristic estimation unit 15 does not completely divide the polarized image into the two regions, leaving a certain ambiguous region. Even if the division process is executed, the reflectance can be calculated by the following reflectance calculation unit 17.
  • the reflectance calculation unit 17 receives the input of the estimated soil reflection characteristics from the reflection characteristic estimation unit 15. Then, the reflectance calculation unit 17 calculates the reflectance ⁇ s of the soil using the acquired soil reflection characteristics. Specifically, when the soil has non-Lumbercyan reflection, the reflectance calculation unit 17 calculates the reflectance ⁇ s by, for example, one of the following methods. In one method, the reflectance calculation unit 17 obtains the reflectance ⁇ s by adopting the reflection in the region having the least specular reflection. In the other one method, the reflectance calculation unit 17 executes cancellation by calculation of specular reflection, and extracts the most stable spectral reflectance as the reflectance ⁇ s.
  • the reflectance calculation unit 17 outputs the calculated reflectance ⁇ s of the soil to the reflection characteristic model generation unit 18.
  • the leaf area index is a value obtained by integrating all the leaf areas above a certain land and converting it per unit land area.
  • the leaf area index is obtained by observing the fallen leaves of the target vegetation, or the leaf area is complemented by the light intensity difference information from the observation on the vegetation community by imaging the community from below.
  • a method for improving the accuracy of the index has been proposed. However, since these methods have a limited measurement range, they tend to fall into processing using sampled measurement results, and tend to guarantee limited accuracy for a wide range of targets. It is difficult to improve the accuracy. Therefore, the image processing apparatus 1 according to the present embodiment obtains a leaf area index using a polarized image and a normal map. The calculation of the leaf area index by the lower leaf area detection unit 142 and the leaf area index calculation unit 16 will be described below.
  • the lower leaf region detection unit 142 receives the input of the normal map from the normal map generation unit 12. Further, the lower leaf region detection unit 142 receives the input of the signal of the image of the vegetation region in the polarized image from the soil separation processing unit 13. Then, the lower leaf region detection unit 142 performs edge detection and machine learning using the signal of the image of the vegetation region and the normal map, and estimates the number of leaves in the polarized image.
  • FIG. 12 is a diagram showing the results of leaf detection using a spectroscopic reflection image.
  • FIG. 13 is a diagram showing the result of leaf detection using a polarized image.
  • an edge detection image 252 can be obtained.
  • the edge detection image 252 it is difficult to detect the presence of leaves in the shadow region in the image of the spectroscopic reflection image 251.
  • the lower leaf region detection unit 142 can detect the leaves existing in the shadow region by synthesizing one or several polarization directions of the polarized light.
  • the polarized image 254 of FIG. 13 is a polarized image with polarization in one direction corresponding to the spectroscopic reflection image 253.
  • the polarized image 255 is an image obtained by synthesizing images in several polarization directions. That is, the lower leaf region detection unit 142 can detect even the leaves of the shadow portion that cannot be detected by the spectroscopic reflection image 253 by using the polarized image 254 and the polarized image 255. In this way, the lower leaf region detection unit 142 performs leaf detection on images under a plurality of polarization conditions. Then, the lower leaf region detection unit 142 calculates the leaf area density from the detected number of leaves. After that, the lower layer region detection unit 142 outputs the leaf area density to the leaf area index calculation unit 16. In this way, the leaf in the shadow region can also be detected to improve the accuracy of the leaf area density, and the accuracy of the leaf area index calculated by the next leaf area index calculation unit 16 can be improved.
  • the lower leaf region detection unit 142 calculates the leaf area density using the signal and the normal map of the region determined to be the vegetation region, but when it is possible to tolerate a decrease in the accuracy of the calculated leaf area density. , The lower leaf region detection unit 142 may obtain the leaf area density without using the normal map.
  • the leaf area index calculation unit 16 receives input of the leaf area density in the polarized image from the lower leaf area detection unit 142. Then, the leaf area index calculation unit 16 calculates the leaf area index using the acquired leaf area density. The leaf area index calculation unit 16 outputs the calculated leaf area index to the reflection characteristic model generation unit 18.
  • the plant characteristic extraction unit 14, the reflection characteristic estimation unit 15, the leaf area index calculation unit 16, and the reflectance calculation unit 17 correspond to an example of the “parameter calculation unit”.
  • the reflection characteristic model generation unit 18 receives the input of the LIDF from the elliptical model fitting unit 141. Further, the reflection characteristic model generation unit 18 receives the input of the reflectance ⁇ s of the soil from the reflectance calculation unit 17. Further, the reflection characteristic model generation unit 18 receives the input of the leaf area index from the leaf area index calculation unit 16.
  • the reflection characteristic model generation unit 18 acquires the reflection characteristic model shown in FIG. 4 in each pixel of the polarized image by using the LIDF, the reflectance ⁇ s of the soil, and the leaf area index. For example, the reflection characteristic model generation unit 18 determines the LIDF, the reflectance ⁇ s of the soil, and the leaf area index in the PROSAIL model from the acquired information among the parameters of the PROSAIL model shown in FIG. Further, the value of each parameter 215 can be obtained by actually measuring, and the reflection characteristic model generation unit 18 sets the input measured value as the value of each parameter 215. Further, the reflection characteristic model generation unit 18 sets the parameter 216 to a predetermined fixed value.
  • the parameter 217 is a value determined by the environment of the field, and the reflection characteristic model generation unit 18 uses the input value as the value of the parameter 217. By determining each parameter in this way, the reflection characteristic model generation unit 18 can generate a PROSAIL model as a reflection characteristic model.
  • the reflection characteristic model generation unit 18 outputs the generated reflection characteristic model to the vegetation index generation device 3.
  • the reflection characteristic model generation unit 18 corresponds to an example of the “characteristic estimation unit”.
  • the vegetation index generation device 3 includes an image acquisition unit 31, a correction unit 32, a vegetation index calculation unit 33, and a display control unit 34.
  • the vegetation index generator 3 is connected to the drone 2 wirelessly or by wire.
  • the image acquisition unit 31 acquires the data of the spectral reflection image group from the drone 2. Then, the image acquisition unit 31 outputs each spectral reflection image of the acquired spectral reflection image group to the correction unit 32 together with the information of the corresponding polarized image.
  • the correction unit 32 receives the input of the spectral reflection image group from the image acquisition unit 31. Further, the correction unit 32 acquires the information of the reflection characteristic model acquired by the image processing device 1. Then, the correction unit 32 corrects the spectral reflection image by using the reflection characteristic model at each point on the spectral reflection image. Then, the correction unit 32 outputs the corrected spectral reflection image to the vegetation index calculation unit 33.
  • the vegetation index calculation unit 33 receives the input of the corrected spectroscopic reflection image from the correction unit 32. Then, the vegetation index calculation unit 33 acquires the amount of red light and the amount of near-infrared light from the corrected spectral reflection image, and calculates the VI including the NDVI. After that, the corrected spectroscopic reflection image outputs the VI including the calculated NDVI to the display control unit 34.
  • NDVI will be described as an example, but the information calculated from the spectral reflection image corrected by the vegetation index calculation unit 33 may be another VI.
  • the display control unit 34 receives the input of the VI including the NDVI from the vegetation index calculation unit 33. Then, the display control unit 34 displays the VI including the NDVI on a display device such as a monitor. The user determines the state of vegetation using the provided VI including the NDVI.
  • FIG. 14 is a flowchart of the generation process of the reflection characteristic model. Next, the flow of the generation processing of the reflection characteristic model will be described with reference to FIG.
  • Drone 2 takes a polarized image while flying over the field.
  • the polarized image acquisition unit 11 acquires a polarized image from the sky of the field imaged by the drone 2 (step S1).
  • the normal map generation unit 12 receives the input of the polarized image from the sky above the field from the polarized image acquisition unit 11. Next, the normal map generation unit 12 executes image processing on the polarized image, detects the normal of the leaf in pixel units, and generates a normal map (step S2). The normal map generation unit 12 outputs the generated normal map to the ellipse model fitting unit, the lower leaf region detection unit 142, and the reflection characteristic estimation unit 15.
  • the soil separation processing unit 13 receives the input of the polarized image from the sky above the field from the polarized image acquisition unit 11. Next, the soil separation processing unit 13 executes the division processing of the vegetation region and the soil region on the polarized image by using the color segmentation technique (step S3). The soil separation processing unit 13 outputs the signal of the image of the vegetation region in the polarized image to the elliptical model fitting unit and the lower leaf region detecting unit 142. Further, the soil separation processing unit 13 outputs the signal of the image of the soil region in the polarized image to the reflection characteristic estimation unit 15.
  • the ellipse model fitting unit 141 receives the input of the normal map from the normal map generation unit 12. Further, the elliptical model fitting unit 141 receives the input of the signal of the image of the vegetation region from the soil separation processing unit 13. The ellipse model fitting unit 141 calculates the LIDF by using the normal distribution for the information on the vegetation region in the normal map to obtain the optimum parameters for the mathematical approximation model by the ellipse (step S4). After that, the ellipse model fitting unit 141 outputs the calculated LIDF to the reflection characteristic model generation unit 18.
  • the reflection characteristic estimation unit 15 receives the input of the normal map from the normal map generation unit 12. Further, the reflection characteristic estimation unit 15 receives the input of the signal of the image of the soil region from the soil separation processing unit 13. Then, the reflection characteristic estimation unit 15 calculates the soil reflection characteristic of the soil region using the image data and the normal map (step S5).
  • the reflectance calculation unit 17 calculates the reflectance ⁇ s of the soil using the soil reflection characteristics calculated by the reflection characteristic estimation unit 15 (step S6).
  • the reflectance calculation unit 17 outputs the calculated reflectance ⁇ s of the soil to the reflection characteristic model generation unit 18.
  • the lower leaf region detection unit 142 receives the input of the normal map from the normal map generation unit 12. Further, the elliptical model fitting unit 141 receives the input of the signal of the image of the vegetation region from the soil separation processing unit 13. Then, the lower leaf region detection unit 142 obtains the number of leaves from the signals of the normal map and the image of the vegetation region by using edge detection and machine learning, and calculates the leaf area density using the obtained number of leaves (step). S7). The lower leaf area detection unit 142 outputs the calculated leaf area density to the leaf area index calculation unit 16.
  • the leaf area index calculation unit 16 receives the input of the leaf area density from the lower leaf area detection unit 142. Next, the leaf area index calculation unit 16 calculates the leaf area index using the leaf area density (step S8). The leaf area index calculation unit 16 outputs the calculated leaf area index to the reflection characteristic model generation unit 18.
  • the reflection characteristic model generation unit 18 receives the input of the LIDF from the elliptical model fitting unit 141. Further, the reflection characteristic model generation unit 18 receives the input of the reflectance ⁇ s of the soil from the reflectance calculation unit 17. Further, the reflection characteristic model generation unit 18 receives the input of the leaf area index from the leaf area index calculation unit 16. Then, the reflection characteristic model generation unit 18 generates a reflection characteristic model using the information determined by Aragaki, the input information, and the acquired LIDF, reflectance ⁇ s, and leaf area index (step S9).
  • the image processing device 1 acquires a group of polarized images obtained by photographing the field from the sky. Then, the image processing device 1 obtains the LIDF using the normal map. Further, the image processing apparatus 1 obtains the leaf area density by using the signal of the image of the vegetation region in the polarized image and the normal map, and calculates the leaf area index. Further, the image processing apparatus 1 calculates the reflectance ⁇ s of the soil by using the signal of the image of the soil region in the polarized image and the normal map. In this way, the image processing apparatus 1 can generate a reflection characteristic model using a wide range of information in the field that can be easily acquired.
  • the reflection characteristic model is guaranteed high accuracy for an appropriate range in the field. Then, by correcting the spectroscopic reflection image using the reflection characteristic model generated by the image processing apparatus 1 according to the present embodiment, it is possible to accurately suppress the variation due to the observation conditions. Therefore, accurate spectral reflection remote sensing can be realized by using the spectral reflection image corrected by using the reflection characteristic model generated by the image processing device 1 according to the present embodiment.
  • the camera included in the image pickup device 21 mounted on the drone 2 is simply a camera that captures a spectral reflection image and a polarized image, but here, details of the camera included in the image pickup device 21 will be described. ..
  • FIG. 15 is a diagram showing an example of the image pickup apparatus according to the second embodiment.
  • the imaging device 21 according to the present embodiment mounted on the drone 2 performs imaging using two cameras, a camera that acquires a spectroscopic reflection image and a camera that acquires a polarized image. The details of the image pickup apparatus will be described below.
  • the imaging device 21 has cameras 301 and 311.
  • the camera 301 has pixels 302R in which a color filter that transmits red light around 650 nm in a narrow band corresponding to red is arranged.
  • the periphery is, for example, about 50 nm before and after.
  • This narrow band around 650 nm corresponds to an example of the “first predetermined narrow band”.
  • the camera 301 has a pixel 302IR in which a color filter for transmitting near-infrared light around 850 nm in a narrow band corresponding to the near-infrared band is arranged.
  • This narrow band around 850 nm corresponds to an example of the “second predetermined narrow band”.
  • the pixels 302R and the pixels 302IR are alternately arranged in a checkered pattern.
  • the camera 301 is a narrow band R / IR camera that simultaneously captures a red band and a near infrared band.
  • the camera 301 acquires a spectroscopic reflection image.
  • the camera 301 acquires the signal shown in the graph 303.
  • Graph 303 represents the light transmittance for each wavelength acquired by the camera 301.
  • the vertical axis represents the light transmittance and the horizontal axis represents the wavelength.
  • the curve 304 represents the light transmittance of each frequency band acquired by the pixel 302R, and corresponds to the transmittance of red light.
  • the curve 305 represents the light transmittance for each wavelength acquired by the pixel 302IR, and corresponds to the transmittance of near-infrared light.
  • the correction unit 32 of the vegetation index generation device 3 can acquire the NDVI, which is a vegetation index, from the spectral reflection image captured by the camera 301.
  • This camera 301 corresponds to an example of the "first camera”.
  • Camera 311 is a polarized camera that acquires a polarized image. As shown in the pixel array 312, the camera 311 is arranged with the following three color filters.
  • One is a color filter (hereinafter referred to as “red filter”) 313R that selectively transmits light having a red wavelength component.
  • One is a color filter (hereinafter referred to as “green filter”) 313G that selectively transmits light having a green wavelength component.
  • RGB filter color filter
  • blue filter a color filter (hereinafter referred to as "blue filter”) 313B that selectively transmits light having a blue wavelength component.
  • the camera 311 has polarized lenses 312A, 312B, 313C and 312D having four angles of 0 degree, 45 degree, 90 degree and 135 degree for each color filter.
  • polarized signals having four angles of 0 degrees, 45 degrees, 90 degrees, and 135 degrees are referred to as four-way polarized signals. That is, the camera 311 and the color have 3 channels, each of which has 4 channels for acquiring 4-direction polarized signals, and a total of 12 channels of signal images can be acquired.
  • the green filter 313G is arranged twice as much as the images of the red filter 313R and the blue filter 313B.
  • the distribution of this color filter may be another distribution.
  • Graph 314 shows the relative sensitivities of red, green, and blue for each wavelength when the image is taken by the camera 311.
  • the vertical axis represents the relative sensitivity and the horizontal axis represents the wavelength.
  • Curve 315 represents the sensitivity of red.
  • Curve 316 represents the sensitivity of green.
  • Curve 317 represents the sensitivity of blue.
  • This camera 311 corresponds to an example of a "second camera”.
  • the image processing device 1 obtains the LIDF, the leaf area index, and the reflectance ⁇ s of the soil from the polarized image formed by the light represented by the graph 313 acquired by the camera 311 and generates a reflection characteristic model. Then, the user of the image processing apparatus 1 can realize accurate spectroscopic reflection remote sensing by correcting the NDVI generated from the graph 303 acquired by the camera 301 by using the generated reflection characteristic model.
  • a red band and a color filter are used.
  • a spectral reflection image in the gold infrared light band can be acquired.
  • a polarized image can be acquired by performing imaging using a camera having pixels having four polarization directions assigned to each of the three colors. Then, by using the polarized image, the image processing apparatus 1 can acquire each parameter used for the correction. As a result, the image processing system 100 can appropriately correct the NDVI and can generate an accurate spectroscopic reflection image. Then, the user of the image processing system can realize accurate spectroscopic reflection remote sensing by using the accurate spectroscopic reflection image.
  • FIG. 16 is a diagram showing an example of an imaging device of a modified example of the second embodiment.
  • the image pickup apparatus 21 according to this modification arranges a bandpass filter for passing two wavelength bands directly above or directly below the lens for a narrow band R / IR camera, and uses a normal RGB filter as a color filter on each pixel. That is different from the second embodiment.
  • the imaging device 21 has the cameras 321 and 331 shown in FIG.
  • a red color filter is arranged in the pixel 322R
  • a green color filter is arranged in the pixel 322G
  • a blue color filter is arranged in the pixel 322B.
  • Four combinations of pixels 322R, 322G, and 322B are repeatedly arranged on the camera 321.
  • the lens of the camera 321 is provided with a bandpass filter that passes two wavelength bands around 650 nm in a narrow band corresponding to red and around 850 nm in a narrow band corresponding to a near infrared band.
  • the camera 321 when light passes through the RGB filter, red, blue, and green are acquired with the relative transmittance for each wavelength shown in the graph 323.
  • Curve 324 represents the relative transmittance of red
  • curve 335 represents the relative transmittance of green
  • curve 336 represents the relative transmittance of blue.
  • the camera 321 acquires the light in the band shown in the graph 327 by passing the light through the bandpass filter that passes the two wavelength bands.
  • the vertical axis represents the transmittance and the horizontal axis represents the wavelength. That is, the camera 321 acquires the narrow band light around 650 nm shown by the curve 328 and the narrow band light around 850 nm shown by the curve 329.
  • FIG. 17 is a diagram for explaining acquisition of a narrowband R / IR signal by a combination of a bandpass filter and an RGB sensor.
  • the bandpass filter of the camera 321 passes light in the wavelength range shown by curves 328 and 329 shown in FIG.
  • the integrated relative sensitivity is the amount of light acquired by the camera 321. Therefore, the camera 321 acquires the light corresponding to the regions 401 and 402 of the overlapping portion of the curve 324 and the curves 328 and 329 with respect to the red color among the lights shown in the graph 323. Further, the camera 321 acquires the light corresponding to the region 403 of the overlapping portion of the curve 326 and the curves 328 and 329 with respect to the blue color among the lights shown in the graph 323.
  • the camera 321 can acquire the narrow band red light around 650 nm and the narrow band near infrared light around 850 nm by the combination of the bandpass filter and the RGB filter. Since it is difficult to manufacture the narrow band color filter arranged on the pixels described in the second embodiment, it is better to use the camera 321 having the combination of the bandpass filter and the RGB filter described in the modified example. The device 21 can be easily manufactured.
  • the camera 331 has the same configuration as the camera 311 in the second embodiment.
  • the pixel array 332 of each pixel in the camera 311 is the same as the pixel array 312 of FIG.
  • the light captured by the camera 331 is represented by graph 333.
  • the image processing device 1 obtains the LIDF, the leaf area index, and the reflectance ⁇ s of the soil from the image taken by the camera 331, and generates a reflection characteristic model. Then, the user of the image processing device 1 can realize accurate spectroscopic reflection remote sensing by correcting the NDVI acquired by the camera 321 using the generated reflection characteristic model.
  • the image processing system 100 can appropriately correct the NDVI and perform accurate spectral reflection. Images can be generated. Then, the user of the image processing system can realize accurate spectroscopic reflection remote sensing by using the accurate spectroscopic reflection image.
  • the drone 2 In the second embodiment, the case where the drone 2 is equipped with the image pickup apparatus 21 having two cameras has been described, but the drone 2 according to the present embodiment usually has an RGB signal, a narrow band R / IR signal, and four directions. It is equipped with an image pickup device 21 having three cameras that capture each of the polarized signals. The details of the camera included in the image pickup apparatus 21 mounted on the drone 2 according to the present embodiment will be described below.
  • FIG. 18 is a diagram showing an example of the image pickup apparatus according to the third embodiment.
  • the image pickup apparatus 21 according to the present embodiment includes cameras 341, 351 and 361.
  • the camera 341 is a camera that acquires narrow-band red light around 650 nm and narrow-band near-infrared light around 850 nm by combining a bandpass filter and an RGB filter.
  • the camera 341 has the same function as the camera 321 according to the modified example of the second embodiment shown in FIG. Specifically, the camera 341 has a bandpass filter on the lens that transmits light in the wavelength range shown in Graph 344. Further, the camera 341 has an RGB filter on each pixel in the pattern shown in the pixel array 342, and acquires the light in the wavelength range shown in the graph 344 from the light represented in the graph 343 to generate an image element.
  • This camera 341 corresponds to an example of the "first camera”.
  • the camera 351 has an RGB filter arranged on each pixel in a pattern represented by the pixel array 352. Then, the camera 351 acquires the light represented by the graph 353 and usually generates an RGB image. This camera 351 corresponds to an example of a "second camera".
  • the camera 361 has a black and white sensor and has pixels that acquire polarized signals in four directions as shown by the pixel array 362. That is, the camera 361 generates a black-and-white polarized image using polarized signals in four directions. This camera 361 corresponds to an example of the "third camera".
  • the image processing device 1 creates a normal map using the normal RGB image acquired by the camera 351 and the polarized image acquired by the camera 361, and calculates the LIDF, the reflectance ⁇ s, and the leaf area index.
  • FIG. 19 is a diagram showing another example of the image pickup apparatus according to the third embodiment.
  • the camera may arrange the camera 341 and the camera 361 side by side, and arrange another camera 351 next to the line-up direction. That is, the cameras 341, 351 and 361 may be arranged so as to form a triangle.
  • the LIDF and the reflectance ⁇ s are obtained by using the images captured by the cameras that capture the normal RGB signals and the four-way polarized signals of the image pickup device 21 mounted on the drone 2 according to the present embodiment. And the leaf area index is calculated. By decolorizing the polarized signal in this way, it is possible to increase the spatial resolution and the amount of light of each channel.
  • the image pickup apparatus 21 mounted on the drone 2 according to the present embodiment uses each pixel as a black-and-white sensor for all cameras and acquires each signal with a filter.
  • the details of the camera included in the image pickup apparatus 21 mounted on the drone 2 according to the present embodiment will be described below.
  • FIG. 20 is a diagram showing an example of the image pickup apparatus according to the fourth embodiment. As shown in FIG. 20, the image pickup apparatus 21 mounted on the drone 2 according to the present embodiment has nine cameras, cameras 371 to 379.
  • Cameras 371 to 379 all have a black and white sensor. Then, in the cameras 371, 372, 378, and 379, a filter that transmits polarized signals in four directions having different directions is arranged directly above or directly below the lens. As a result, the cameras 371 to 379 generate a polarized image captured by the four-way polarized signal.
  • a red color filter is arranged directly above or directly below the lens.
  • a green color filter is arranged directly above or directly below the lens.
  • a blue color filter is arranged directly above or directly below the lens.
  • the camera 373 acquires the red light represented by the curve 384 in the graph 383.
  • the camera 375 acquires the green light represented by the curve 385 in the graph 383.
  • the camera 377 acquires the blue light represented by the curve 386 in the graph 383. That is, the cameras 373, 357 and 377 usually generate RGB images.
  • a bandpass filter that allows light in a narrow band around 650 nm corresponding to red to pass is arranged directly above or directly below the lens.
  • the camera 374 acquires light that has passed through the wavelength band shown in graph 382.
  • a bandpass filter that allows light in a narrow band around 850 nm corresponding to blue to pass is arranged directly above or directly below the lens. Further, the camera 376 acquires the light that has passed through the wavelength band shown in the graph 382.
  • the image processing apparatus 1 calculates the LIDF, the reflectance ⁇ s, and the leaf area index using the normal RGB image generated by the cameras 373, 375, and 377 and the polarized image generated by the cameras 371, 372, 378, and 379. , Generate a reflection characteristic model.
  • the image processing device 1 uses the normal RGB images generated by the cameras 373, 375 and 377, and the narrow band signals around 650 nm and the narrow band signals around 850 nm acquired by the cameras 374 and 375. To obtain NDVI using. Further, the image processing device 1 corrects the acquired NDVI by using the reflection characteristic model generated by the image processing device 1.
  • the image pickup apparatus 21 mounted on the drone 2 according to the present embodiment has a camera in which an RGB color filter, a four-direction polarizing filter, or a bandpass filter is arranged on a black-and-white sensor. Even with such a configuration, the image processing apparatus 1 can acquire a spectroscopic reflection image and a polarized image, and can accurately obtain a reflection characteristic model. Further, the image pickup device 21 according to the present embodiment can increase the spatial resolution and the amount of light of each channel in the same manner as the image pickup device 21 according to the third embodiment.
  • the imaging device 21 mounted on the drone 2 has, for example, a polarization angle of a single polarizing sensor. It may be changed to acquire polarized signals in four directions. In that case, for example, in the fourth embodiment, the image pickup apparatus 21 will have six cameras.
  • a polarized image using polarized signals in four directions was generated, but in reality, the normal map using the polarized image is based on a polarized image using polarized signals in at least three directions. It can be generated. However, by increasing the direction of the polarized signal, the normal accuracy of the normal map can be improved.
  • the configuration of a camera that acquires three or more different polarization direction signals can be considered.
  • this polarized image may be taken by a camera near the ground surface separately from the camera mounted on the drone 2.
  • the polarized image may be captured separately from the capture of the spectroscopic reflection image.
  • the polarized image may be taken at an altitude different from that of taking the spectroscopic reflection image.
  • a polarized image may be taken in advance of a part of the field at a lower altitude.
  • the polarized image may be captured by using a drone 2 different from the drone 2 that captures the spectroscopic reflection image.
  • the image processing apparatus 1 obtains the LIDF and leaf area index from the image of the vegetation region and the soil reflectance ⁇ s from the image of the soil region for each of the vegetation region and the soil region recorded as separate images. You may ask. In this case, the image processing device 1 does not have to have the soil separation processing unit 13.
  • a vector analysis unit that obtains normal vector characteristics based on the acquired polarized image
  • An image processing apparatus including a characteristic estimation unit that estimates a reflection characteristic model based on the normal vector characteristics obtained by the vector analysis unit.
  • a parameter calculation unit for calculating parameters included in the reflection characteristic model based on the normal vector characteristic is further provided.
  • the parameter calculation unit calculates a parameter representing a normal distribution as the parameter.
  • the parameter calculation unit calculates a parameter representing the normal distribution using an ellipse model.
  • the image processing apparatus calculates a parameter representing the reflectance of soil as the parameter.
  • the parameter calculation unit calculates a parameter representing a leaf area index, which is a leaf occupancy ratio within a unit area, as the parameter.
  • the vector analysis unit obtains the polarized image from an image pickup apparatus having a first camera for capturing a spectral reflection image and a second camera for capturing the polarized image in any one of (1) to (6). The image processing apparatus described.
  • the first camera has a pixel array in which pixels in which a filter for transmitting red light in a first predetermined narrow band and a filter for transmitting near infrared light in a second predetermined narrow band are arranged are alternately arranged.
  • the image processing apparatus according to (7), wherein the second camera has pixels that acquire polarized signals in at least three directions for each of red light, green light, and blue light.
  • a first filter that transmits any of red light, green light, and blue light is arranged, and the first filter is superposed on the first filter to be either a first predetermined narrow band or a second predetermined narrow band.
  • the image processing apparatus has a pixel in which a filter that transmits that wavelength is arranged,
  • the image processing apparatus according to (7), wherein the second camera has pixels that acquire polarized signals in at least three directions for each of red light, green light, and blue light.
  • the vector analysis unit acquires the color image and the black-and-white polarized image from an image pickup apparatus having a first camera that captures a spectral reflection image, a second camera that captures a color image, and a third camera that captures a black-and-white polarized image.
  • the image processing apparatus according to any one of (1) to (6), which is used as the polarized image.
  • the vector analysis unit passes through a filter that transmits red light in a first predetermined narrow band, a filter that transmits infrared light in a second predetermined narrow band, a cell filter that passes red light, a filter that passes green light, and blue light.
  • the image processing according to any one of (1) to (6), wherein a polarized image is acquired from an image pickup apparatus having a camera provided with a black-and-white sensor in which any of a filter for causing light emission and a change filter for passing a biased component is arranged. apparatus.
  • (12) Obtain the normal vector characteristics based on the acquired polarized image, An image processing method that estimates a reflection characteristic model based on the normal vector characteristics.
  • (13) Obtain the normal vector characteristics based on the acquired polarized image, An image processing program that causes a computer to execute a process of estimating a reflection characteristic model based on the normal vector characteristics.
  • Image processing device 2 Drone 3 Vegetation index generation device 11 Polarized image acquisition unit 12 Normalized map generation unit 13 Soil separation processing unit 14 Plant characteristic extraction unit 15 Reflection characteristic estimation unit 16 Leaf area index calculation unit 17 Reflectance calculation unit 18 Reflection Characteristic model generation unit 21 Imaging device 31 Image acquisition unit 32 Correction unit 33 Vegetation index calculation unit 34 Display control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Botany (AREA)
  • Wood Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Remote Sensing (AREA)
  • Vascular Medicine (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

植生を表す指標を高精度化することができる画像処理装置、画像処理方法及び画像処理プログラムを提供する。画像処理装置（１）は、法線マップ生成部（１２）及び反射特性モデル生成部（１８）を備える。法線マップ生成部（１２）は、取得された偏光画像を基に法線ベクトル特性を求める。反射特性モデル生成部（１８）は、法線マップ生成部（１２）により得られた法線ベクトル特性を基に反射特性モデルを推定する。

Description

画像処理装置、画像処理方法及び画像処理プログラム
　本開示は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
　リモートセンシングは、対象を遠隔から広域に計測する技術である。リモートセンシングは、農業分野においては、人工衛星などから植物機能を計測する目的で用いられることが多い。近年では、より空間解像度が高い計測を実現するために、ドローンに代表される無人航空機（ＵＡＶ：Unmanned　Aerial　Vehicle）を用いた計測の発展が目覚ましい。
　リモートセンシングの中でも分光反射リモートセンシングと呼ばれる技術が植物機能の計測に用いられることが多い。分光反射リモートセンシングでは、マルチスペクトルカメラやハイパースペクトルカメラを用いて、可視から近赤外の波長（４００～２５００ｍｍ）の植物からの反射光についての分光の観測が行われる。そして、観測した分光のデータを用いて、植物の内部構造、含有色素や微量成分の種類及び量、並びに、水分状態などの情報の推定が行われる。
国際公開第２０１２／０７３５１９号
　しかしながら、分光反射リモートセンシングでは、観測環境により計測値が大きく変動するおそれがある。観測環境としては、雲のかかり方や太陽の色温度及び角度などの照射に起因する要因、リモートセンシング撮像系の角度と対象となる圃場面との幾何的な関係性が挙げられる。このように観測環境により計測値が変動した場合、観測データを用いて算出される植生を表す指標を高精度化することは困難である。
　そこで、本開示では、植生を表す指標を高精度化することができる画像処理装置、画像処理方法及び画像処理プログラムを提供する。
　本開示によれば、画像処理装置は以下の各部を備える。ベクトル解析部は、取得された偏光画像を基に法線ベクトル特性を求める。特性推定部は、前記ベクトル解析部により得られた前記法線ベクトル特性を基に反射特性モデルを推定する。
第１の実施形態に係る画像処理システムを示す図である。 画像処理装置のブロック図である。 ＮＤＶＩについての概念を示す図である。 植生の反射特性を説明するための図である。 ドローンに入射する反射光を表す図である。 反射特性が引き起こす典型的な問題を説明するための図である。 ＰＲＯＳＡＩＬモデルの各パラメータの意味の概要を示す図である。 ＰＲＯＳＡＩＬモデルの各パラメータの意味をまとめたテーブルを示す図である。 領域分割処理の処理結果の一例を示す図である。 植生の偏光画像から法線マップを取得した結果の一例を示す図である。 ＬＩＤＦの数式表現とその記述分布である測定ヒストグラムを示す図である。 分光反射画像を用いた葉検出の結果を示す図である。 偏光画像を用いた葉検出の結果を示す図である。 反射特性モデルの生成処理のフローチャートである。 第２の実施形態に係る撮像装置の一例を示す図である。 第２の実施形態の変形例の撮像装置の一例を示す図である。 バンドパスフィルタとＲＧＢセンサとの組み合わせによる狭帯域Ｒ／ＩＲ信号の取得を説明するための図である。 第３の実施形態に係る撮像装置の一例を示す図である。 第３の実施形態に係る撮像装置の他の例を示す図である。 第４の実施形態に係る撮像装置の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
（第１の実施形態）
［第１の実施形態に係るシステムの構成］
　図１は、第１の実施形態に係る画像処理システムを示す図である。図１に示すように、画像処理システム１００は、画像処理装置１、ドローン２及び植生指標生成装置３を含む。
　画像処理システム１００は、いわゆる分光反射リモートセンシングを行う際の植生の分布、量及び機能に関する情報である植生情報を推定するための植生指標を提供するシステムである。
　ドローン２は、分光反射画像及び偏光画像を撮影するカメラを有する撮像装置２１を搭載する。ここで、撮像装置２１が有する分光反射画像を撮像するカメラ及び偏光画像を撮影するカメラはそれぞれ別のカメラでもよいし、１つのカメラでもよい。例えば、撮像装置２１は、偏光角のうち特定位置を０度とした撮像系基準における０度、４５度、９０度、１３５度の４つの偏光角の４偏光を同時に取得可能な撮像素子を用いたカメラを搭載する。
　ドローン２は、植生調査の対象とする圃場の上空を飛行し、上空視点から圃場を捉えた分光反射画像及び偏光画像を、カメラを用いて同時に取得する。そして、ドローン２は、圃場の上空を移動しつつ連続して分光反射画像及び偏光画像の撮影を行い、一連の画像をそれぞれを繋ぎ合わせることで圃場の一部又は全体を網羅する分光反射画像及び偏光反射画像となる分光反射画像群及び偏光画像群を取得する。
　画像処理装置１は、本開示に係る画像処理を実行する情報処理装置である。画像処理装置１は、ドローン２から偏光画像群を取得する。ここで、画像処理装置１は、無線又は有線でドローン２と接続され、偏光画像群のデータを取得する。偏光画像群には、偏光角毎の複数の偏光画像が含まれるが、画像処理装置１は各偏光画像について同様の処理を行うため、以下では１つの偏光画像の画像処理について説明する。
　画像処理装置１は、偏光画像から各画素における法線ベクトルを取得する。そして、画像処理装置１は、偏光画像における法線ベクトルの分布である法線ベクトル特性を所定の数式モデルで表す場合の数式モデルにおけるパラメータを取得する。次に、画像処理装置１は、求めたパラメータを用いて偏光画像で表された植生群落の各点における各方向への反射光の強度を表す反射特性モデルを推定する。その後、画像処理装置１は、推定した反射特性モデルの情報を植生指標生成装置３へ出力する。図２は、画像処理装置のブロック図である。
　ここで、分光反射リモートセンシングについて説明する。分光反射リモートセンシングを用いることで、植物の内部構造、含有色素、微量成分の種類及び量、水分状態などの植物情報が推定可能である。推定される含有色素としては、例えば、クロロフィルａ、クロロフィルｂ及びカロチノイドなどがある。また、推定される微量成分としては、窒素、カリウム及びリンなどがある。
　植物情報の推定は、測定対象とする情報と相関の高い波長間の分光反射を入力とした定式を用いて行われることが多い。この定式を用いた推定では、Vegetation　Index（ＶＩ）と呼ばれる指標が用いられる場合がある。最も典型的なＶＩは、図３に示す６５０ｎｍ以下の赤色光と８００ｎｍ以下の近赤外（ＮＩＲ：Near　Infrared）光の正規化比率であるＮＤＶＩ（Normalized　Difference　Vegetation　index）である。図３は、ＮＤＶＩについての概念を示す図である。以下では、近赤外光を、単にＮＩＲと呼ぶ場合がある。ＮＤＶＩは、赤色帯域におけるクロロフィル色素の吸収と、ＮＩＲ帯域における植物の細胞構造による高い反射特性を利用し、植物の健康度を概算的に示す指標である。例えば図３で示すように、ＮＤＶＩを用いることで植物の健康度を判定することができる。
　そのほかのＶＩとしては、ＮＤＲＥ（Normalized　Difference　Red　Edge）、ＮＤＷＩ（Normalized　Difference　Water　Index）及びＮＤＢＩ（Normalized　Difference　Built-up　Index）などが存在する。ＮＤＲＥは、Red　Edgeと呼ばれる７１０～７２０ｎｍの帯域の光とChlorophyllの含有量との相関を数値化した指標である。ＮＤＷＩは、水分含有量に相関の高い波長が８６０ｎｍの光と波長が１２４０ｎｍの光との正規化比率である。ＮＤＢＩは、乾物含有量に関し相関の高い波長が８６０ｎｍの光と波長が２１６０ｎｍの光の正規化比率である。
　ここで、分光反射リモートセンシングでは、照明や撮像系と圃場面との幾何的な関係性により計測値が大きく変動するおそれがある。これは、照明確度と観測角度に依存した反射光の強度の特性について、植生群落が他の自然物と比べて特徴的であることに起因する。以下では、照明確度と観測角度に依存した反射光の強度の特性を、単に「反射特性」と呼ぶ場合がある。
　図４は、植生の反射特性を説明するための図である。反射面上に示す曲線で囲われた領域は、矢印方向から光源の入射があると仮定した場合に、各方向からの観測による反射光の強度を表す。通常、平面的で滑らかな材質の反射面では、反射特性２０１に示すように、光源からの照明光の入射角に対して反射面の法線を挟んで反対側に強い光が反射する。一方、植生群落を対象とした場合、しばしば荒い材質の反射面となる。荒い材質の反射面の場合、反射特性２０４に示すように、内部相互反射の影響などにより反射面の法線に対して光源のある方向と同方向の反射強度が強くなることが一般的である。他にも、図４に示すように、反射面の状態によっては、反射特性２０２又は２０３のような反射が起こることもある。以下では、反射特性２０１～２０４で示される、反射特性に応じた各観測方向に反射光の強弱を表すモデルを「反射特性モデル」と言う。
　図５は、ドローンに入射する反射光を表す図である。図６は、反射特性が引き起こす典型的な問題を説明するための図である。図５に示すように、ドローンから真下の地上を撮像する場合、画像の左端の反射光２１１と右端の反射光２１２とは、太陽角度に対する観測角度は法線Ｎを挟んで正負の関係になる。この際に植物群落が図４における反射特性２０４を有する場合、観測される画像は、図６の撮像画像２１３に示すように右端と左端で輝度の差が発生する。撮像画像２１３は、紙面に向かって左端が暗く、右端が明るい。このような撮像画像２１３に補正を加えずに圃場全体で繋ぎ合わせると、画像２１４が生成される。この場合、輝度の段差が大きくなると、画像２１４に示すように、例えば暗い領域と明るい領域とが交互に図示された状態となる。このような状態の画像２１４は、実際の植物群落の状態に一致する画像とは言い難くなってしまう。このように、分光反射リモートセンシングでは、観測条件により測定値にばらつきが発生することは大きな問題となる。
　こうした反射特性に起因する測定値のバラつきを補正する技術として、測定対象の圃場の植生群落の反射特性を推定し、それに応じて測定値を補正する方法がある。例えば、画像測定における各画素の測定値に反射特性に応じた補正を加えるために、反射特性を数式モデルで表現することが考えられる。その場合、その数式モデルのモデルパラメータの推定が行われる。
　このような数式モデルの中で利用される頻度の高い１つが、ＰＲＯＳＡＩＬと呼ばれる数式モデルである。例えば、「Katja　Berger,　Clement　Atzberger,　Martin　Danner,　Guid　D’Urso,　Wolfram　Mauser,　Francesco　Vuolo,　Tobias　Hank,　Evaluation　of　the　PROSAIL　Model　Capabilities　for　Future　Hyperspectral　Model　Environments:　A　Review　Study,　Remote　Sensing　(MDPI),　　Jan　10,　2018.」は、植生群落の反射特性を示すＰＲＯＳＡＩＬモデルについて記載する。図７は、ＰＲＯＳＡＩＬモデルの各パラメータの意味の概要を示す図である。図８は、ＰＲＯＳＡＩＬモデルの各パラメータの意味をまとめたテーブルを示す図である。図７及び８から、ＰＲＯＳＡＩＬモデルを記述するためのパラメータには、太陽方向、観測方向及び大気に関するパラメータ、並びに、植生の種類、群落の状況及び土壌の状況に関するパラメータがあることが分かる。前者のパラメータは、観測環境で一定に固定できるものである。これに対して、後者のパラメータは、圃場固有の値であり、それぞれの正確な特定は困難である。
　植生の種類、群落の状況及び土壌の状況に関するパラメータの例として、葉の法線の統計量がある。例えば、図８におけるＡＬＩＡ（Average　Leaf　Inclination　Angle）やＬＩＤＦ（Leaf　Inclination　Distribution　Function）が、葉の法線の統計量の一例である。ＡＬＩＡは、葉が天頂に向けてどのくらいの角度で傾いているかを表す値の平均値である。また、ＬＩＤＦは、天頂に向けて傾く角度の分布を表現する値である。ＬＩＤＦは、「G.　S　Campbell,　Derivation　of　an　angle　density　function　for　canopies　with　ellipsoidal　leaf　angle　distributions,　Agricultural　and　Forest　Meteorology,　Volume　49,　February　3,　1990　,　173-176.」で示されるように、植生群落におけるそれぞれの葉の天頂方向に対する法線角度分布を近似した楕円の扁平率を表す。
　総じて、ＰＲＯＳＡＩＬモデルは植生群落の反射特性の記述に対して有効で、衛星観測などの上空からのセンシング結果の解析に広く使われる。ただし、その解析のために用いられるパラメータは多数存在し、その取り扱いは煩雑である。中でも、リモートセンシングの情報から圃場固有のパラメータであるＡＬＩＡ及びＬＩＤＦを導出することは困難である。
　そのため、リモートセンシングの補助情報として、地上において別途、圃場の関連データとして測定された情報を用いて、そのＡＬＩＡやＬＩＦのパラメータの導出の精度を補完するといった技術も提案されている。しかし、こうした測定では特殊なサンプリング手段が用いられることが多く、その場合には費用がかさむことが懸念される。また、地上において別途、圃場の関連データを測定する場合、測定の範囲が限られるため、サンプリングした測定結果を用いた処理に陥りがちで、広範囲のターゲットに対して限定的な精度保証になり易く、適切な範囲の測定値の精度を向上させることは困難である。
　そこで、本開示に係る画像処理装置１は、偏光画像から法線ベクトル特性の解析を行い、法線ベクトル特性を表す数式モデルを表す法線ベクトル特性パラメータを取得し、取得した法線ベクトル特性パラメータを用いて、植生群落の反射特性モデルを推定する。これにより、本開示に係る画像処理装置１は、植生群落の反射特性モデルを容易且つ高精度に取得することができ、上空からの観測データによって算出される植生を表す指標の値について反射特性に起因するバラつきを補正し、正確な植生を表す指標を得ることができる。以下、図２を用いて、本開示に係る画像処理装置１について詳細に説明する。
　画像処理装置１は、偏光画像取得部１１、法線マップ生成部１２、土壌分離処理部１３、植物特性抽出部１４、反射特性推定部１５、葉面積指数算出部１６、反射率計算部１７及び反射特性モデル生成部１８を有する。植物特性抽出部１４は、楕円モデル適合部１４１及び下層葉領域検出部１４２を有する。
　偏光画像取得部１１は、ドローン２が撮影した偏光画像を取得する。次に、偏光画像取得部１１は、取得した偏光画像を法線マップ生成部１２及び土壌分離処理部１３へ出力する。
　法線マップ生成部１２は、偏光画像の入力を偏光画像取得部１１から受ける。次に、法線マップ生成部１２は、偏光画像に対して画像処理を施して、葉の法線を各画素単位で検出する。そして、法線マップ生成部１２は、法線の分布を表す法線マップを生成する。
　例えば、法線マップ生成部１２は、複数方向の偏光画像をモデル式に当てはめることによって法線情報を算出して法線マップを生成する。この法線マップが、「法線ベクトル特性」の一例にあたる。より具体的には、法線マップ生成部１２は、次の数式（１）に観測輝度を当てはめた際の観測光が持つ位相から方位角を求める。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｉは、偏光板を通した観測輝度である。θｐｏｌは、回転させた偏光板の角度である。φは、観測光が持つ位相である。Ｉｍａｘ及びＩｍｉｎは、fittingの振幅である。
　また、法線マップ生成部１２は、次の数式（２）で表される偏光度の式を用いて天頂角を求める。偏光度は、観測される光の中での偏光の割合を表しており、一般的に天頂角が大きくなると偏光度も大きくなる。
Figure JPOXMLDOC01-appb-M000002
　法線マップを算出する技術としては、例えば、特開２００７－８６７２０号公報、国際公開第２００８／０９９５８９号、Lawrence　B.　Wolff　et.al.,　Constraining　Object　Features　Using　Polarization　Reflectance　Model,　1991、Gary　A.　Atkinson　et.al.,　Recovery　of　Surface　Orientation　From　Diffuse　Polarization,　2006に開示されている。
　法線マップを求める処理は、特に偏光の波長は限定しない。また、本実施形態に係る法線マップ生成部１２のように、偏光情報とともにＲＧＢのカラー情報を用いることで、法線マップを高精度化することが可能である。例えば、Miyazaki　Daisuke　et　al.　Polarization-based　inverse　Rendering　from　a　single　view.　ICCV03(9820987)では、偏光の挙動が鏡面と拡散反射間とで異なることによる法線精度の劣化を解決する方法が開示されている。具体的には、各カラー及び偏光の情報を用いて鏡面反射成分を除去する前信号処理を実行することで、偏光の挙動を拡散反射の挙動と一致させ法線推定精度を向上させる技術が開示されている。法線マップ生成部１２も、偏光情報とともにＲＧＢのカラー情報を用いることで、同様の効果を得ることができる。
　図１０は、植生の偏光画像から法線マップを取得した結果の一例を示す図である。偏光画像２３１は、撮像系基準で０度方向の偏光画像である。例えば、法線マップ生成部１２は、偏光画像２３１から法線マップ２３２を生成する。法線マップ２３２は、各画素についての法線の方向を示す。法線マップ２３３は、参考とする球の法線マップである。
　法線マップ生成部１２は、生成した法線マップを楕円モデル適合部１４１、下層葉領域検出部１４２及び反射特性推定部１５へ出力する。この法線マップ生成部１２が、「ベクトル解析部」の一例にあたる。
　土壌分離処理部１３は、偏光画像の入力を偏光画像取得部１１から受ける。そして、土壌分離処理部１３は、画像処理によって、植生領域と土壌領域とに偏光画像を領域分割する領域分割処理を実行する。以下に、領域分割処理の詳細について説明する。図９は、領域分割処理の処理結果の一例を示す図である。
　土壌分離処理部１３は、一般的なカラーセグメンテーションの技術を用いて偏光画像における植生領域と土壌領域との領域分割を行う。また、土壌分離処理部１３は、偏光画像群に含まれる偏光画像のそれぞれにこの領域分割処理を実施して分離精度の向上を図る。例えば、土壌分離処理部１３は、図９の偏光画像２２１に対して領域分割処理を実施することで、分割後画像２２２を取得する。分割後画像２２２における領域２２３が植生領域であり、領域２２４が土壌領域である。
　そして、土壌分離処理部１３は、偏光画像のうちの土壌領域と判定した領域の信号を反射特性推定部１５へ出力する。また、土壌分離処理部１３は、偏光画像のうちの植生領域と判定した領域の信号を植物特性抽出部１４の楕円モデル適合部１４１及び下層葉領域検出部１４２へ出力する。
　楕円モデル適合部１４１は、法線マップの入力を法線マップ生成部１２から受ける。また、楕円モデル適合部１４１は、偏光画像のうちの植生領域の画像の信号の入力を土壌分離処理部１３から受ける。楕円モデル適合部１４１は、法線マップの植生領域にあたる領域を特定する。そして、楕円モデル適合部１４１は、特定した領域における法線の情報に対して図１１で示す法線分布を用いて、楕円による数式近似モデルにとって最適なパラメータを求める。図１１は、ＬＩＤＦの数式表現とその記述分布である測定ヒストグラムを示す図である。具体的には、楕円モデル適合部１４１は、パラメータとして図１１におけるχを求める。この楕円モデル適合部１４１により求められたχが、楕円による数式近似モデルのＬＩＤＦにあたる。
　図１１のＬＩＤＦの数式表現により、楕円と長軸と短軸の比率であるχの値に応じた中間出力値Λが算出され、最終的に天頂角度分布を表すｇ（θ）が算出される。この数式表現で表されるカーブがヒストグラム２４０で表される。ヒストグラム２４０は、縦軸で法線の頻度を表し、横軸で法線の角度（ラジアン）を表す。法線の角度が０に近いほど地面に対して水平方向に延びており、法線の角度が１．５７１に近いほど葉が地面に対して垂直方向に延びる。
　楕円モデル適合部１４１は、法線マップ及び植生領域の偏光画像を用いてＬｉＤＡＲ（Light　Detection　and　Ranging）などの３次元センシングをして、奥行きマップを取得する。その後、楕円モデル適合部１４１は、得られた奥行マップに適合するｇ（θ）で表される分布となるχを選択する。このように、楕円モデル適合部１４１は、比率χの値を決定するためのＬＩＤＦのパラメータフィッティングを行う。奥行マップに適合するχの探索方法としては、例えば、一般的な全探索や山登り法などを用いて測定ヒストグラムと最も類似するときのχを求める方法がある。楕円モデル適合部１４１は、求めたＬＩＤＦを反射特性モデル生成部１８へ出力する。この楕円モデル適合部１４１により求められたＬＩＤＦが、「法線分布を表すパラメータ」の一例にあたる。
　反射特性推定部１５は、偏光画像のうちの土壌領域の画像の信号の入力を土壌分離処理部１３から受ける。反射特性推定部１５は、偏光画像群に含まれる各偏光画像についての土壌領域の信号を土壌分離処理部１３から受信することで、土壌領域を様々な角度から撮像した画素データを集積する。また、反射特性推定部１５は、法線マップの入力を法線マップ生成部１２から受ける。
　次に、反射特性推定部１５は、集積した画像データ及び法線マップを用いてその土壌領域の反射特性がランバーシアン反射とみなせるか否かを判定する。ランバーシアン反射とは、拡散反射表面を理想的に扱った反射モデルであり、反射光が全方向に均等な強度となる。ここで、偏光画像における全ての土壌領域が平坦とみなせる場合、反射特性推定部１５は、法線マップを用いずに土壌領域の反射特性を取得することも可能である。
　土壌領域の反射特性がランバーシアン反射とみなせない場合、すなわち、土壌領域の反射特性が非ランバーシアン反射である場合、反射特性推定部１５は、反射特性を表す数式モデルを求める。例えば、反射特性推定部１５は、Ｐｈｏｎｇの反射モデルなどのようなＢＲＤＦ（Bidirectional　Reflectance　Distribution　Function）モデルを土壌領域の反射特性に適用する。これにより、反射特性推定部１５は、土壌領域の反射光を表す数式モデルにおける最も近しいパラメータを推定して、土壌領域の反射特性を表す数式モデルを求める。ここでは、土壌領域の反射を、ランバーシアン反射の反射モデルや、ＢＲＤＦモデルで表したものを「土壌反射特性」という。
　反射特性推定部１５は、推定した土壌反射特性を反射率計算部１７へ出力する。ここで、本実施形態では、偏光画像を植生領域と土壌領域の２つの領域に分割したが、反射特性推定部１５は、２つの領域に完全に分割せずに一定のあいまいな領域を残して分割処理を実行しても以下の反射率計算部１７による反射率の算出は可能である。
　反射率計算部１７は、推定された土壌反射特性の入力を反射特性推定部１５から受ける。そして、反射率計算部１７は、取得した土壌反射特性を用いて土壌の反射率ρｓを算出する。具体的には、土壌が非ランバーシアン反射である場合、反射率計算部１７は、例えば以下のいずれかの方法で反射率ρｓを算出する。１つの方法では、反射率計算部１７は、最も鏡面反射が少ない領域の反射を採用して反射率ρｓを求める。他の１つの方法では、反射率計算部１７は、鏡面反射の計算によるキャンセルを実行し、最も安定した分光反射率を反射率ρｓとして抽出する。
　その後、反射率計算部１７は、算出した土壌の反射率ρｓを反射特性モデル生成部１８へ出力する。
　また、ＰＲＯＳＡＩＬモデルにおいては、葉面積指数（ＬＡＩ：Leaf　Area　Index）と呼ばれるパラメータの寄与も大きい。葉面積指数とは、ある土地の上部にある全ての葉面積を積算した値を単位土地面積あたりに換算した値である。一般に、対象植生の落ち葉を観測することにより葉面積指数を求める手法や、群落を下から覗き込むように撮像することで、その植生群落上での観測との光量差情報で補完し、葉面積指数の精度を上げる手法が提案されている。しかしながら、これらの手法では、測定の範囲が限られるため、サンプリングした測定結果を用いた処理に陥りがちで、広範囲のターゲットに対して限定的な精度保証になり易く、適切な範囲の測定値の精度を向上させることは困難である。そこで、本実施形態に係る画像処理装置１は、偏光画像及び法線マップを用いて葉面積指数を求める。以下に、下層葉領域検出部１４２及び葉面積指数算出部１６による葉面積指数の算出について説明する。
　下層葉領域検出部１４２は、法線マップの入力を法線マップ生成部１２から受ける。また、下層葉領域検出部１４２は、偏光画像のうちの植生領域の画像の信号の入力を土壌分離処理部１３から受ける。そして、下層葉領域検出部１４２は、植生領域の画像の信号及び法線マップを用いてエッジ検出や機械学習を行い、偏光画像内の葉数を推定する。
　図１２は、分光反射画像を用いた葉検出の結果を示す図である。また、図１３は、偏光画像を用いた葉検出の結果を示す図である。図１２における分光反射画像２５１に対してエッジ検出を行うことで、エッジ検出画像２５２が得られる。エッジ検出画像２５２で表されるように、分光反射画像２５１の画像中で影の領域にある葉の存在を検出することは難しい。これに対して、下層葉領域検出部１４２は、偏光のうちの１方向又はいくつかの偏光方向の合成により、影の領域に存在する葉の検出を行うことができる。図１３の偏光画像２５４は、分光反射画像２５３に対応する１方向の偏光による偏光画像である。偏光画像２５５は、いくつかの偏光方向の画像を合成した画像である。すなわち、下層葉領域検出部１４２は、分光反射画像２５３では検出しきれない影の部分の葉も、偏光画像２５４や偏光画像２５５を用いることで検出することができる。このように、下層葉領域検出部１４２は、複数の偏光条件の画像で葉検出を行う。そして、下層葉領域検出部１４２は、検出した葉数から葉面積密度を算出する。その後、下層領域検出部１４２は、葉面積密度を葉面積指数算出部１６へ出力する。このように、影の領域の葉も検出して葉面積密度の精度を向上させることができ、次の葉面積指数算出部１６において算出される葉面積指数の精度を向上させることができる。
　ここで、本実施形態で下層葉領域検出部１４２は植生領域と判定した領域の信号及び法線マップを用いて葉面積密度を算出したが、算出する葉面積密度の精度の低下を許容できる場合、下層葉領域検出部１４２は、法線マップを用いずに葉面積密度を求めてもよい。
　葉面積指数算出部１６は、偏光画像における葉面積密度の入力を下層葉領域検出部１４２から受ける。そして、葉面積指数算出部１６は、取得した葉面積密度を用いて、葉面積指数を算出する。葉面積指数算出部１６は、算出した葉面積指数を反射特性モデル生成部１８へ出力する。
　ここで、植物特性抽出部１４、反射特性推定部１５、葉面積指数算出部１６及び反射率計算部１７が、「パラメータ算出部」の一例にあたる。
　反射特性モデル生成部１８は、ＬＩＤＦの入力を楕円モデル適合部１４１から受ける。また、反射特性モデル生成部１８は、土壌の反射率ρｓの入力を反射率計算部１７から受ける。また、反射特性モデル生成部１８は、葉面積指数の入力を葉面積指数算出部１６から受ける。
　そして、反射特性モデル生成部１８は、ＬＩＤＦ、土壌の反射率ρｓ及び葉面積指数を用いて偏光画像の各画素における図４に示した反射特性モデルを取得する。例えば、反射特性モデル生成部１８は、図８に示すＰＲＯＳＡＩＬモデルの各パラメータのうち、取得した情報によりＰＲＯＳＡＩＬモデルにおけるＬＩＤＦ、土壌の反射率ρｓ及び葉面積指数を決定する。また、各パラメータ２１５の値は実際に測定することで取得でき、反射特性モデル生成部１８は、入力された測定値を各パラメータ２１５の値とする。また、反射特性モデル生成部１８は、パラメータ２１６は予め決められた固定値とする。また、パラメータ２１７は圃場の環境から決まる値であり、反射特性モデル生成部１８は、入力された値をパラメータ２１７の値とする。このように、各パラメータを決定することで、反射特性モデル生成部１８は、反射特性モデルとしてＰＲＯＳＡＩＬモデルを生成できる。反射特性モデル生成部１８は、生成した反射特性モデルを植生指標生成装置３へ出力する。この反射特性モデル生成部１８が、「特性推定部」の一例にあたる。
　図１に戻って説明を続ける。植生指標生成装置３は、画像取得部３１、補正部３２、植生指標算出部３３及び表示制御部３４を有する。植生指標生成装置３は、無線又は有線でドローン２と接続される。
　画像取得部３１は、分光反射画像群のデータをドローン２から取得する。そして、画像取得部３１は、取得した分光反射画像群の各分光反射画像を対応する偏光画像の情報とともに補正部３２へ出力する。
　補正部３２は、分光反射画像群の入力を画像取得部３１から受ける。また、補正部３２は、画像処理装置１が取得した反射特性モデルの情報を取得する。そして、補正部３２は、分光反射画像上の各点における反射特性モデルを用いて分光反射画像を補正する。そして、補正部３２は、補正した分光反射画像を植生指標算出部３３へ出力する。
　植生指標算出部３３は、補正された分光反射画像の入力を補正部３２から受ける。そして、植生指標算出部３３は、補正された分光反射画像から赤色光の光量及び近赤外光の光量を取得し、ＮＤＶＩを含むＶＩを算出する。その後、補正された分光反射画像は、算出したＮＤＶＩを含むＶＩを表示制御部３４へ出力する。ここで、本実施形態では、一例としてＮＤＶＩについて説明するが、植生指標算出部３３により補正を加えた分光反射画像から算出される情報は他のＶＩでもよい。
　表示制御部３４は、ＮＤＶＩを含むＶＩの入力を植生指標算出部３３から受ける。そして、表示制御部３４は、ＮＤＶＩを含むＶＩをモニタなどの表示装置に表示させる。利用者は、提供されたＮＤＶＩを含むＶＩを用いて植生の状態を判断する。
［反射特性モデルの生成方法］
　図１４は、反射特性モデルの生成処理のフローチャートである。次に、図１４を参照して、反射特性モデルの生成処理の流れについて説明する。
　ドローン２は、圃場の上空を飛行しつつ偏光画像を撮影する。偏光画像取得部１１は、ドローン２により撮像された圃場の上空からの偏光画像を取得する（ステップＳ１）。
　法線マップ生成部１２は、圃場の上空からの偏光画像の入力を偏光画像取得部１１から受ける。次に、法線マップ生成部１２は、偏光画像に対して画像処理を実行し、葉の法線を画素単位で検出して法線マップを生成する（ステップＳ２）。法線マップ生成部１２は、生成した法線マップを楕円モデル適合部、下層葉領域検出部１４２及び反射特性推定部１５へ出力する。
　土壌分離処理部１３は、圃場の上空からの偏光画像の入力を偏光画像取得部１１から受ける。次に、土壌分離処理部１３は、偏光画像に対してカラーセグメンテーションの技術を用いて植生領域と土壌領域との分割処理を実行する（ステップＳ３）。土壌分離処理部１３は、偏光画像のうちの植生領域の画像の信号を楕円モデル適合部及び下層葉領域検出部１４２へ出力する。また、土壌分離処理部１３は、偏光画像のうちの土壌領域の画像の信号を反射特性推定部１５へ出力する。
　楕円モデル適合部１４１は、法線マップの入力を法線マップ生成部１２から受ける。また、楕円モデル適合部１４１は、植生領域の画像の信号の入力を土壌分離処理部１３から受ける。楕円モデル適合部１４１は、法線マップにおける植生領域上の情報に対して法線分布を用いて楕円による数式近似モデルにとって最適なパラメータを求めてＬＩＤＦを算出する（ステップＳ４）。その後、楕円モデル適合部１４１は、算出したＬＩＤＦを反射特性モデル生成部１８へ出力する。
　反射特性推定部１５は、法線マップの入力を法線マップ生成部１２から受ける。また、反射特性推定部１５は、土壌領域の画像の信号の入力を土壌分離処理部１３から受ける。そして、反射特性推定部１５は、画像データ及び法線マップを用いて土壌領域の土壌反射特性を算出する（ステップＳ５）。
　反射率計算部１７は、反射特性推定部１５により算出された土壌反射特性を用いてその土壌の反射率ρｓを算出する（ステップＳ６）。反射率計算部１７は、算出した土壌の反射率ρｓを反射特性モデル生成部１８へ出力する。
　下層葉領域検出部１４２は、法線マップの入力を法線マップ生成部１２から受ける。また、楕円モデル適合部１４１は、植生領域の画像の信号の入力を土壌分離処理部１３から受ける。そして、下層葉領域検出部１４２は、エッジ検出や機械学習を用いることで法線マップ及び植生領域の画像の信号から葉数を求め、求めた葉数を用いて葉面積密度を算出する（ステップＳ７）。下層葉領域検出部１４２は、算出した葉面積密度を葉面積指数算出部１６へ出力する。
　葉面積指数算出部１６は、葉面積密度の入力を下層葉領域検出部１４２から受ける。次に、葉面積指数算出部１６は、葉面積密度を用いて葉面積指数を算出する（ステップＳ８）。葉面積指数算出部１６は、算出した葉面積指数を反射特性モデル生成部１８へ出力する。
　反射特性モデル生成部１８は、ＬＩＤＦの入力を楕円モデル適合部１４１から受ける。また、反射特性モデル生成部１８は、土壌の反射率ρｓの入力を反射率計算部１７から受ける。また、反射特性モデル生成部１８は、葉面積指数の入力を葉面積指数算出部１６から受ける。そして、反射特性モデル生成部１８は、新垣眼決められた情報、入力された情報、並びに、取得したＬＩＤＦ、反射率ρｓ及び葉面積指数を用いて反射特性モデルを生成する（ステップＳ９）。
［作用、効果］
　以上に説明したように、本実施形態に係る画像処理装置１は、圃場を上空から撮影した偏光画像群を取得する。そして、画像処理装置１は、法線マップを用いてＬＩＤＦを求める。また、画像処理装置１は、偏光画像における植生領域の画像の信号及び法線マップを用いて葉面積密度を求めて葉面積指数を算出する。さらに、画像処理装置１は、偏光画像における土壌領域の画像の信号及び法線マップを用いて土壌の反射率ρｓを算出する。このように、画像処理装置１は、容易に取得できる圃場における広範囲の情報を使用して反射特性モデルを生成できる。
　この場合、反射特性モデルは、圃場における適切な範囲に対して高い精度が保証される。そして、本実施形態に係る画像処理装置１により生成された反射特性モデルを使用して分光反射画像を補正することで、観測条件によるバラつきを正確に抑えることができる。したがって、本実施形態に係る画像処理装置１により生成された反射特性モデルを用いて補正した分光反射画像を利用することで、正確な分光反射リモートセンシングを実現することができる。
（第２の実施形態）
　第１の実施形態では、ドローン２が搭載する撮像装置２１が有するカメラについては、単に分光反射画像及び偏光画像を撮影するカメラとしたが、ここでは、撮像装置２１が有するカメラの詳細について説明する。
　図１５は、第２の実施形態に係る撮像装置の一例を示す図である。ドローン２に搭載された本実施形態に係る撮像装置２１は、分光反射画像を取得するカメラと、偏光画像を取得するカメラの２台のカメラを用いて撮像を行う。以下に撮像装置の詳細について説明する。
　本実施形態に係る撮像装置２１は、カメラ３０１及び３１１を有する。カメラ３０１は、画素アレイ３０２に示すように赤色に対応する狭帯域の６５０ｎｍ周辺の赤色光を透過させるカラーフィルタが配置された画素３０２Ｒを有する。ここで周辺とは、例えば、前後５０ｎｍ程度である。この６５０ｎｍ周辺の狭帯域が「第１所定狭帯域」の一例にあたる。また、カメラ３０１は、近赤外線帯域に対応する狭帯域の８５０ｎｍの周辺の近赤外光を透過させるカラーフィルタが配置された画素３０２ＩＲを有する。この８５０ｎｍ周辺の狭帯域が「第２所定狭帯域」の一例にあたる。画素３０２Ｒと画素３０２ＩＲとは、それぞれ交互に市松模様状に配置される。カメラ３０１は、赤色帯域と近赤外線帯域とを同時撮像する狭帯域Ｒ／ＩＲカメラである。カメラ３０１は、分光反射画像を取得する。
　具体的には、カメラ３０１は、グラフ３０３で示される信号を取得する。グラフ３０３は、カメラ３０１により取得される波長毎の光の透過率を表す。グラフ３０３は、縦軸で光の透過率を表し、横軸で波長を表す。カーブ３０４は、画素３０２Ｒにより取得された各周波数帯の光の透過率を表し、赤色光の透過率にあたる。また、カーブ３０５は、画素３０２ＩＲにより取得された波長毎の光の透過率を表し、近赤外光の透過率にあたる。植生指標生成装置３の補正部３２は、カメラ３０１により撮像された分光反射画像から植生指標であるＮＤＶＩを取得することができる。このカメラ３０１が、「第１カメラ」の一例にあたる。
　カメラ３１１は、偏光画像を取得する偏光カメラである。カメラ３１１は、画素アレイ３１２に示すように、以下の３つのカラーフィルタが配置される。１つは、赤色の波長成分の光を選択的に透過させるカラーフィルタ（以下、「赤色フィルタ」という。）３１３Ｒである。また、１つは、緑色の波長成分の光を選択的に透過させるカラーフィルタ（以下、「緑色フィルタ」という。）３１３Ｇである。また、１つは、青色の波長成分の光を選択的に透過させるカラーフィルタ（以下、「青色フィルタ」という。）３１３Ｂである。そして、カメラ３１１は、各カラーフィルタ毎に、０度、４５度、９０度及び１３５度の４つの角度の偏光レンズ３１２Ａ、３１２Ｂ、３１３Ｃ及び３１２Ｄを有する。以下では、０度、４５度、９０度及び１３５度の４つの角度の偏光信号を４方向偏光信号と言う。すなわち、カメラ３１１、カラーが３チャンネルでそれぞれに４方向偏光信号を取得する４チャンネルを有し、計１２チャンネルの信号の画像を取得できる。本実施形態では、カメラ３１１は、緑色フィルタ３１３Ｇが赤色フィルタ３１３Ｒ及び青色フィルタ３１３Ｂの画像の２倍配置される。ただし、このカラーフィルタの配分は他の配分でもよい。
　グラフ３１４は、カメラ３１１で撮像した際の波長毎の赤色、緑色、青色の相対感度を表す。グラフ３１４は、縦軸で相対感度を表し、横軸で波長を表す。カーブ３１５は、赤色の感度を表す。カーブ３１６は、緑色の感度を表す。カーブ３１７は、青色の感度を表す。このカメラ３１１が、「第２カメラ」の一例にあたる。
　画像処理装置１は、カメラ３１１で取得されたグラフ３１３で表される光で形成される偏光画像からＬＩＤＦ、葉面積指数及び土壌の反射率ρｓを求め反射特性モデルを生成する。そして、画像処理装置１の利用者は、生成した反射特性モデルを用いて、カメラ３０１で取得されたグラフ３０３から生成されるＮＤＶＩを補正することで、正確な分光反射リモートセンシングを実現できる。
　以上に説明したように、狭帯域の６５０ｎｍ周辺の光を透過させるカラーフィルタ及び狭帯域の８５０ｎｍの周辺の光を透過させるカラーフィルタが配置された画素を有するカメラを用いることで、赤色の帯域及び金赤外線光の帯域の分光反射画像が取得できる。また、３つの色毎に４つの偏光方向が割り当てられた画素を有するカメラを用いて撮像を行うことで、偏光画像が取得できる。そして、その偏光画像を用いることで、画像処理装置１は、補正に用いる各パラメータが取得できる。これにより、画像処理システム１００は、ＮＤＶＩを適切に補正することができ、正確な分光反射画像を生成できる。そして、画像処理システムの利用者は、正確な分光反射画像を用いることで、正確な分光反射リモートセンシングを実現することができる。
（変形例）
　図１６は、第２の実施形態の変形例の撮像装置の一例を示す図である。本変形例に係る撮像装置２１は、狭帯域Ｒ／ＩＲカメラについて、２波長帯を通過させるバンドパスフィルタをレンズの直上又は直下に配置し、各画素上のカラーフィルタは通常のＲＧＢフィルタを用いることが第２の実施形態と異なる。
　本変形例に係る撮像装置２１は、図１６に示すカメラ３２１及び３３１を有する。カメラ３２１は、画素アレイ３２２で示すように画素３２２Ｒには赤のカラーフィルタが配置され、画素３２２Ｇには緑のカラーフィルタが配置され、画素３２２Ｂには青のカラーフィルタが配置される。カメラ３２１には、画素３２２Ｒ、３２２Ｇ及び３２２Ｂの４つの組み合わせが繰り返し配置される。さらに、カメラ３２１のレンズには、赤色に対応する狭帯域の６５０ｎｍ周辺及び近赤外線帯域に対応する狭帯域の８５０ｎｍの周辺の２波長帯を通過させるバンドパスフィルタが配置される。
　カメラ３２１では、ＲＧＢフィルタを光が通過することで、グラフ３２３に示す波長毎の相対透過率で赤、青、緑が取得される。カーブ３２４が赤色の相対透過率を表し、カーブ３３５が緑色の相対透過率を表し、カーブ３３６が青色の相対透過率を表す。さらに、カメラ３２１では、２波長帯を通過させるバンドパスフィルタを光が通過することで、グラフ３２７に示す帯域の光を取得する。グラフ３２７は、縦軸で透過率を表し横軸で波長を表す。すなわち、カメラ３２１は、カーブ３２８で示される６５０ｎｍ周辺の狭帯域の光及びカーブ３２９で８５０ｎｍの周辺の狭帯域の光を取得する。
　図１７は、バンドパスフィルタとＲＧＢセンサとの組み合わせによる狭帯域Ｒ／ＩＲ信号の取得を説明するための図である。カメラ３２１のバンドパスフィルタは、図１７に示すカーブ３２８及び３２９で示される波長域の光を通過させる。グラフ３２３は、相対感度を積分したものが、カメラ３２１が取得する光量となる。そこで、カメラ３２１は、グラフ３２３で示される光のうち、赤色に関しては、カーブ３２４とカーブ３２８及び３２９との重なり部分の領域４０１及び４０２にあたる光を取得する。また、カメラ３２１は、グラフ３２３で示される光のうち、青色に関しては、カーブ３２６とカーブ３２８及び３２９との重なり部分の領域４０３にあたる光を取得する。そして、近赤外光は、領域４０３にあたる光として表される。また、赤色光は、領域４０３を領域４０２で除算した値を重みとして、透過した赤色の光の総量に対して重みを乗算し、その乗算結果から投下した青色の光の総量を除算した値となる。すなわち、「近赤外光の光量＝領域４０３にあたる光量」である。また、「近赤外光の光量＝透過した赤色の光の総量×重み－透過した青色の光の総量」である。
　このように、カメラ３２１は、バンドパスフィルタとＲＧＢフィルタとの組み合わせにより、６５０ｎｍ周辺の狭帯域の赤色の光及び８５０ｎｍの周辺の狭帯域の近赤外光を取得できる。第２の実施形態で説明した画素上に配置する狭帯域のカラーフィルタは製造が困難であるため、変形例で説明したバンドパスフィルタとＲＧＢフィルタとの組み合わせを有するカメラ３２１を用いる方が、撮像装置２１の製造が容易となる。
　カメラ３３１は、第２の実施形態におけるカメラ３１１と同様の構成を有する。カメラ３１１における各画素の画素アレイ３３２は、図１５の画素アレイ３１２と同様である。そして、カメラ３３１により撮影される光はグラフ３３３で表される。
　この場合も、画像処理装置１は、カメラ３３１で撮影された画像から、ＬＩＤＦ、葉面積指数及び土壌の反射率ρｓを求め反射特性モデルを生成する。そして、画像処理装置１の利用者は、生成した反射特性モデルを用いて、カメラ３２１で取得されたＮＤＶＩを補正することで、正確な分光反射リモートセンシングを実現できる。
　以上に説明したように、バンドパスフィルタとＲＧＢフィルタとを組み合わせたカメラを用いることで、赤色の帯域及び金赤外線光の帯域の分光反射画像が取得できる。このように、バンドパスフィルタとＲＧＢフィルタとを組み合わせたカメラであっても、分光反射画像を取得することができ、画像処理システム１００は、ＮＤＶＩを適切に補正することができ、正確な分光反射画像を生成できる。そして、画像処理システムの利用者は、正確な分光反射画像を用いることで、正確な分光反射リモートセンシングを実現することができる。
（第３の実施形態）
　第２の実施形態では、ドローン２が２台のカメラを有する撮像装置２１を搭載する場合について説明したが、本実施形態に係るドローン２は、通常ＲＧＢ信号、狭帯域Ｒ／ＩＲ信号及び４方向偏光信号のそれぞれを撮像する３台のカメラを有する撮像装置２１を搭載する。以下に、本実施形態に係るドローン２に搭載された撮像装置２１が有するカメラの詳細について説明する。
　図１８は、第３の実施形態に係る撮像装置の一例を示す図である。本実施形態に係る撮像装置２１は、カメラ３４１、３５１及び３６１を有する。
　カメラ３４１は、バンドパスフィルタとＲＧＢフィルタとの組み合わせにより、６５０ｎｍ周辺の狭帯域の赤色の光及び８５０ｎｍの周辺の狭帯域の近赤外光を取得するカメラである。カメラ３４１は、図１６に示した第２の実施形態の変形例に係るカメラ３２１と同様の機能を有する。具体的には、カメラ３４１は、グラフ３４４で示す波長域の光を透過させるバンドパスフィルタをレンズ上に有する。また、カメラ３４１は、画素アレイ３４２で示すパターンで各画素上にＲＧＢフィルタを有し、グラフ３４３で表される光のうちグラフ３４４で示す波長域の光を取得して画像素生成する。このカメラ３４１が、「第１カメラ」の一例にあたる。
　カメラ３５１は、ＲＧＢフィルタが画素アレイ３５２で表されるパターンで各画素上に配置される。そして、カメラ３５１は、グラフ３５３で表される光を取得して通常ＲＧＢ画像を生成する。このカメラ３５１が、「第２カメラ」の一例にあたる。
　カメラ３６１は、白黒のセンサを有し且つ画素アレイ３６２で示すように４方向の偏光信号を取得する画素を有する。すなわち、カメラ３６１は、４方向の偏光信号を用いて白黒の偏光画像を生成する。このカメラ３６１が、「第３カメラ」の一例にあたる。
　画像処理装置１は、カメラ３５１で取得された通常ＲＧＢ画像及びカメラ３６１で取得された偏光画像を用いて法線マップを作成し、ＬＩＤＦ、反射率ρｓ及び葉面積指数を算出する。
　ここで、以上の説明では、３台のカメラを一列に配置する場合について説明した。ただし、カメラの配置はこれに限られない。図１９は、第３の実施形態に係る撮像装置の他の例を示す図である。例えば、カメラは図１９に示すように、カメラ３４１とカメラ３６１とを並べ、その並ぶ方向の横にもう一台のカメラ３５１を配置してもよい。すなわち、カメラ３４１、３５１及び３６１が三角形を形成するように配置してもよい。
　以上に説明したように、本実施形態に係るドローン２に搭載された撮像装置２１が有する通常ＲＧＢ信号及び４方向偏光信号のそれぞれを撮像するカメラにより撮像された画像を用いてＬＩＤＦ、反射率ρｓ及び葉面積指数を算出する。このように、偏光信号を非カラー化することで、各チャンネルの空間解像度の増加及び光量増加を図ることができる。
（第４の実施形態）
　本実施形態に係るドローン２に搭載された撮像装置２１は、全てのカメラに各画素を白黒センサにして、フィルタで各信号を取得する。以下に、本実施形態に係るドローン２に搭載された撮像装置２１が有するカメラの詳細について説明する。
　図２０は、第４の実施形態に係る撮像装置の一例を示す図である。図２０に示すように、本実施形態に係るドローン２に搭載された撮像装置２１は、カメラ３７１～３７９という９台のカメラを有する。
　カメラ３７１～３７９は、いずれも白黒センサを有する。そして、カメラ３７１、３７２、３７８及び３７９は、それぞれ方向が異なる４方向の偏光信号を透過させるフィルタが、レンズの直上又は直下に配置される。これにより、カメラ３７１～３７９は、４方向偏光信号で撮影された偏光画像を生成する。
　カメラ３７３は、赤色のカラーフィルタがレンズの直上又は直下に配置される。また、カメラ３７５は、緑色のカラーフィルタがレンズの直上又は直下に配置される。また、カメラ３７７は、青色のカラーフィルタがレンズの直上又は直下に配置される。カメラ３７３により、グラフ３８３におけるカーブ３８４で表される赤色の光が取得される。また、カメラ３７５により、グラフ３８３におけるカーブ３８５で表される緑色の光が取得される。また、カメラ３７７により、グラフ３８３におけるカーブ３８６で表される青色の光が取得される。すなわち、カメラ３７３、３５７及び３７７により、通常ＲＧＢ画像が生成される。
　カメラ３７４は、赤色に対応する６５０ｎｍ周辺の狭帯域の光を通過させるバンドパスフィルタがレンズの直上又は直下に配置される。カメラ３７４は、グラフ３８２で示される波長帯を通過した光を取得する。
　また、カメラ３７６は、青色に対応する８５０ｎｍの周辺の狭帯域の光を通過させるバンドバスフィルタがレンズの直上又は直下に配置される。また、カメラ３７６は、グラフ３８２で示される波長帯を通過した光を取得する。
　画像処理装置１は、カメラ３７３、３７５及び３７７により生成された通常ＲＧＢ画像及びカメラ３７１、３７２、３７８及び３７９で生成された偏光画像を用いて、ＬＩＤＦ、反射率ρｓ及び葉面積指数を算出し、反射特性モデルを生成する。
　そして、画像処理システム１００は、画像処理装置１は、カメラ３７３、３７５及び３７７により生成された通常ＲＧＢ画像及びカメラ３７４及び３７５で取得された６５０ｎｍ周辺の狭帯域及び８５０ｎｍの周辺の狭帯域の信号を用いてＮＤＶＩを取得する。さらに、画像処理装置１は、取得したＮＤＶＩを画像処理装置１が生成した反射特性モデルを用いて補正する。
　以上に説明したように、本実施形態に係るドローン２に搭載された撮像装置２１は、白黒センサに、ＲＧＢのカラーフィルタ、４方向の偏光フィルタ又はバンドパスフィルタが配置されたカメラを有する。このような構成でも、画像処理装置１は、分光反射画像及び偏光画像を取得することができ、正確に反射特性モデルを求めることができる。また、本実施形態に係る撮像装置２１は、第３の実施形態に係る撮像装置２１と同様に、各チャンネルの空間解像度の増加と光量増加を図ることができる。
　ここで、以上の各実施形態では、異なる偏光フィルタが配置された構成で説明したが、これに限らず、ドローン２に搭載される撮像装置２１は、例えば、単一の偏光センサの偏光角を変化させて４方向の偏光信号を取得してもよい。その場合、例えば、第４の実施形態であれば、撮像装置２１は、６台のカメラを有することになる。
　また、以上の各実施形態では、４方向の偏光信号を用いた偏光画像を生成したが、実際には、偏光画像を用いた法線マップは、最小３方向の偏光信号を用いた偏光画像により生成可能である。ただし、偏光信号の方向を増やすことで、法線マップの法線精度を向上させることができる。例えば、第４の実施形態の撮像装置２１の場合、３つ以上の異なる偏光方向信号を取得するカメラの構成がそれぞれ考えられる。
　また、以上の各実施形態では、ドローン２に搭載されたカメラから、分光反射画像及び減光画像を記録する場合を説明した。ただし、この偏光画像の撮影は、ドローン２に搭載されたカメラとは別に、地表近くのカメラで行ってもよい。例えば、衛星画像からの分光反射解析の場合には、地表近くのカメラで偏光画像を撮影することが好ましい。
　また、ドローン２に偏光画像を撮影するカメラが搭載される場合であっても、分光反射画像の撮影とは別に偏光画像を撮影してもよい。例えば、分光反射画像を撮影の前に、分光反射画像の撮影とは異なる高度で偏光画像を撮影してもよい。具体的には、圃場の一部の領域をより低い高度で、事前に偏光画像を撮影してもよい。また、分光反射画像を撮影するドローン２とは異なるドローン２を用いて偏光画像を撮影してもよい。
　また、以上の各実施形態では、植生領域及び土壌領域の双方が記録された画像を用いる場合で説明したが、画像処理装置１が用いる画像はこれに限らない。例えば、画像処理装置１は、別の画像として記録された植生領域と土壌領域とのそれぞれに対して、植生領域の画像からＬＩＤＦ及び葉面積指数を求め、土壌領域の画像から土壌反射率ρｓを求めてもよい。この場合、画像処理装置１は、土壌分離処理部１３を有さなくてもよい。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
　なお、本技術は以下のような構成を取ることもできる。
（１）
　取得された偏光画像を基に法線ベクトル特性を求めるベクトル解析部と、
　前記ベクトル解析部により得られた前記法線ベクトル特性を基に反射特性モデルを推定する特性推定部と
　を備えた画像処理装置。
（２）
　前記法線ベクトル特性を基に前記反射特性モデルに含まれるパラメータを算出するパラメータ算出部をさらに備え、
　前記特性推定部は、前記パラメータ算出部により算出された前記パラメータを用いて前記反射特性モデルを推定する
　（１）に記載の画像処理装置。
（３）
　前記パラメータ算出部は、前記パラメータとして法線分布を表すパラメータを算出する（２）に記載の画像処理装置。
（４）
　前記パラメータ算出部は、楕円モデルを用いて前記法線分布を表すパラメータを算出する（３）に記載の画像処理装置。
（５）
　前記パラメータ算出部は、前記パラメータとして土壌の反射率を表すパラメータを算出する（２）～（４）のいずれか一つに記載の画像処理装置。
（６）
　前記パラメータ算出部は、前記パラメータとして単位面積内における葉の占有比率である葉面積指数を表すパラメータを算出する（２）～（５）のいずれか一つに記載の画像処理装置。
（７）
　前記ベクトル解析部は、分光反射画像を撮影する第１カメラと前記偏光画像を撮影する第２カメラとを有する撮像装置から前記偏光画像を取得する（１）～（６）のいずれか一つに記載の画像処理装置。
（８）
　前記第１カメラは、第１所定狭帯域の赤色光を透過させるフィルタと第２所定狭帯域の近赤外光を透過させるフィルタが配置された画素が交互に配置された画素アレイを有し、
　前記第２カメラは、赤色光、緑色光及び青色光のそれぞれについて少なくとも３方向の偏光信号を取得する画素を有する
　（７）に記載の画像処理装置。
（９）
　前記第１カメラは、赤色光、緑色光又は青色光のいずれかを透過させる第１フィルタが配置され、且つ、前記第１フィルタに重畳させて第１所定狭帯域又は第２所定狭帯域のいずれかの波長を透過させるフィルタが配置された画素を有し、
　前記第２カメラは、赤色光、緑色光及び青色光のそれぞれについて少なくとも３方向の偏光信号を取得する画素を有する
　（７）に記載の画像処理装置。
（１０）
　前記ベクトル解析部は、分光反射画像を撮影する第１カメラ、カラー画像を撮影する第２カメラ及び白黒偏光画像を撮影する第３カメラを有する撮像装置から前記カラー画像及び前記白黒偏光画像を取得して前記偏光画像とする（１）～（６）のいずれか一つに記載の画像処理装置。
（１１）
　前記ベクトル解析部は、第１所定狭帯域の赤色光を透過させるフィルタ、第２所定狭帯域の赤外線光を透過させるフィルタ、赤色光を通過セルフィルタ、緑色光を通過させるフィルタ、青色光を通過させるフィルタ及び偏成分を通過させる変更フィルタのいずれかが配置された白黒センサを備えたカメラを有する撮像装置から偏光画像を取得する（１）～（６）のいずれか一つに記載の画像処理装置。
（１２）
　取得された偏光画像を基に法線ベクトル特性を求め、
　前記法線ベクトル特性を基に反射特性モデルを推定する
　画像処理方法。
（１３）
　取得された偏光画像を基に法線ベクトル特性を求め、
　前記法線ベクトル特性を基に反射特性モデルを推定する
　処理をコンピュータに実行させる画像処理プログラム。
　１　画像処理装置
　２　ドローン
　３　植生指標生成装置
　１１　偏光画像取得部
　１２　法線マップ生成部
　１３　土壌分離処理部
　１４　植物特性抽出部
　１５　反射特性推定部
　１６　葉面積指数算出部
　１７　反射率計算部
　１８　反射特性モデル生成部
　２１　撮像装置
　３１　画像取得部
　３２　補正部
　３３　植生指標算出部
　３４　表示制御部

Claims (13)

  1. 　取得された偏光画像を基に法線ベクトル特性を求めるベクトル解析部と、
    　前記ベクトル解析部により得られた前記法線ベクトル特性を基に反射特性モデルを推定する特性推定部と
    　を備えた画像処理装置。
  2. 　前記法線ベクトル特性を基に前記反射特性モデルに含まれるパラメータを算出するパラメータ算出部をさらに備え、
    　前記特性推定部は、前記パラメータ算出部により算出された前記パラメータを用いて前記反射特性モデルを推定する
    　請求項１に記載の画像処理装置。
  3. 　前記パラメータ算出部は、前記パラメータとして法線分布を表すパラメータを算出する請求項２に記載の画像処理装置。
  4. 　前記パラメータ算出部は、楕円モデルを用いて前記法線分布を表すパラメータを算出する請求項３に記載の画像処理装置。
  5. 　前記パラメータ算出部は、前記パラメータとして土壌の反射率を表すパラメータを算出する請求項２に記載の画像処理装置。
  6. 　前記パラメータ算出部は、前記パラメータとして単位面積内における葉の占有比率である葉面積指数を表すパラメータを算出する請求項２に記載の画像処理装置。
  7. 　前記ベクトル解析部は、分光反射画像を撮影する第１カメラと前記偏光画像を撮影する第２カメラとを有する撮像装置から前記偏光画像を取得する請求項１に記載の画像処理装置。
  8. 　前記第１カメラは、第１所定狭帯域の赤色光を透過させるフィルタと第２所定狭帯域の近赤外光を透過させるフィルタが配置された画素が交互に配置された画素アレイを有し、
    　前記第２カメラは、赤色光、緑色光及び青色光のそれぞれについて少なくとも３方向の偏光信号を取得する画素を有する
    　請求項７に記載の画像処理装置。
  9. 　前記第１カメラは、赤色光、緑色光又は青色光のいずれかを透過させる第１フィルタが配置され、且つ、前記第１フィルタに重畳させて第１所定狭帯域又は第２所定狭帯域のいずれかの波長を透過させるフィルタが配置された画素を有し、
    　前記第２カメラは、赤色光、緑色光及び青色光のそれぞれについて少なくとも３方向の偏光信号を取得する画素を有する
    　請求項７に記載の画像処理装置。
  10. 　前記ベクトル解析部は、分光反射画像を撮影する第１カメラ、カラー画像を撮影する第２カメラ及び白黒偏光画像を撮影する第３カメラを有する撮像装置から前記カラー画像及び前記白黒偏光画像を取得して前記偏光画像とする請求項１に記載の画像処理装置。
  11. 　前記ベクトル解析部は、第１所定狭帯域の赤色光を透過させるフィルタ、第２所定狭帯域の赤外線光を透過させるフィルタ、赤色光を通過セルフィルタ、緑色光を通過させるフィルタ、青色光を通過させるフィルタ及び偏成分を通過させる変更フィルタのいずれかが配置された白黒センサを備えたカメラを有する撮像装置から偏光画像を取得する請求項１に記載の画像処理装置。
  12. 　取得された偏光画像を基に法線ベクトル特性を求め、
    　前記法線ベクトル特性を基に反射特性モデルを推定する
    　画像処理方法。
  13. 　取得された偏光画像を基に法線ベクトル特性を求め、
    　前記法線ベクトル特性を基に反射特性モデルを推定する
    　処理をコンピュータに実行させる画像処理プログラム。
PCT/JP2020/033523 2019-10-30 2020-09-04 画像処理装置、画像処理方法及び画像処理プログラム WO2021084907A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/755,153 US20220366668A1 (en) 2019-10-30 2020-09-04 Image processing apparatus, image processing method, and image processing program
CN202080074098.9A CN114586066A (zh) 2019-10-30 2020-09-04 图像处理装置、图像处理方法和图像处理程序
JP2021554132A JPWO2021084907A1 (ja) 2019-10-30 2020-09-04

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019197849 2019-10-30
JP2019-197849 2019-10-30

Publications (1)

Publication Number Publication Date
WO2021084907A1 true WO2021084907A1 (ja) 2021-05-06

Family

ID=75715090

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/033523 WO2021084907A1 (ja) 2019-10-30 2020-09-04 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US20220366668A1 (ja)
JP (1) JPWO2021084907A1 (ja)
CN (1) CN114586066A (ja)
WO (1) WO2021084907A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116609278A (zh) * 2023-07-21 2023-08-18 华东交通大学 一种农田重金属光谱数据的采集方法及系统
WO2024038330A1 (en) * 2022-08-16 2024-02-22 Precision Planting Llc Systems and methods for biomass identification

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114440836B (zh) * 2022-01-19 2023-06-30 南京市测绘勘察研究院股份有限公司 一种附有玻璃幕墙建筑的无人机摄影测量建模方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090226049A1 (en) * 2008-01-31 2009-09-10 University Of Southern California Practical Modeling and Acquisition of Layered Facial Reflectance
WO2009147814A1 (ja) * 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
US20140268160A1 (en) * 2013-03-14 2014-09-18 University Of Southern California Specular object scanner for measuring reflectance properties of objects
WO2018047705A1 (ja) * 2016-09-07 2018-03-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および対象物認識方法
WO2019017095A1 (ja) * 2017-07-18 2019-01-24 ソニー株式会社 情報処理装置、情報処理方法、プログラム、情報処理システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2034743A4 (en) * 2007-05-31 2014-03-05 Panasonic Corp IMAGE PROCESSING DEVICE
CN102483808A (zh) * 2009-06-11 2012-05-30 Pa有限责任公司 用于测量多层微作物密度及生长的植被指数
JP5950166B2 (ja) * 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
JP6456156B2 (ja) * 2015-01-20 2019-01-23 キヤノン株式会社 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム
US10049294B2 (en) * 2015-01-30 2018-08-14 X-Rite Switzerland GmbH Imaging apparatus, systems and methods
JP6673327B2 (ja) * 2015-02-27 2020-03-25 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
EP3287003B1 (en) * 2015-04-24 2020-06-24 Sony Corporation Inspection device, inspection method, and program
US10444617B2 (en) * 2015-04-30 2019-10-15 Sony Corporation Image processing apparatus and image processing method
EP3376759B1 (en) * 2015-11-10 2021-04-14 Sony Corporation Image processing device and image processing method
WO2018017897A1 (en) * 2016-07-20 2018-01-25 Mura Inc. Systems and methods for 3d surface measurements
JP6422924B2 (ja) * 2016-09-12 2018-11-14 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および被写体情報取得方法
EP3504959A4 (en) * 2016-09-23 2019-10-16 Sony Corporation CONTROL DEVICE, CONTROL METHOD, AND CONTROL SYSTEM
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
AU2018309904A1 (en) * 2017-08-01 2020-02-13 Sony Corporation Imaging device, imaging method, and program
CN108009392B (zh) * 2017-10-19 2022-01-04 桂林航天工业学院 一种浓密植被地表的遥感反射率模型构建及标定应用方法
JP7105150B2 (ja) * 2018-04-12 2022-07-22 浜松ホトニクス株式会社 非接触分光測定装置および非接触分光測定方法
CN113474635A (zh) * 2019-03-01 2021-10-01 索尼集团公司 图像处理设备、图像处理方法和程序
US20230062938A1 (en) * 2021-08-25 2023-03-02 X Development Llc Sensor fusion approach for plastics identification
WO2023059688A1 (en) * 2021-10-06 2023-04-13 Bp Corporation North America Inc. Method and apparatus for implementing a high-resolution seismic pseudo-reflectivity image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090226049A1 (en) * 2008-01-31 2009-09-10 University Of Southern California Practical Modeling and Acquisition of Layered Facial Reflectance
WO2009147814A1 (ja) * 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
US20140268160A1 (en) * 2013-03-14 2014-09-18 University Of Southern California Specular object scanner for measuring reflectance properties of objects
WO2018047705A1 (ja) * 2016-09-07 2018-03-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および対象物認識方法
WO2019017095A1 (ja) * 2017-07-18 2019-01-24 ソニー株式会社 情報処理装置、情報処理方法、プログラム、情報処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
UTO, KUNIAKI ET AL.: "2. Leaf Color and Angle Estimation Method Using Tensor Classification '', ''3. Experiment Based on Simulation Data", STUDY ON FEATURE EXTRACTION FROM LEAF-SCALE PLANT IMAGES. IEICE TECHNICAL REPORT, vol. 119, no. 64, 23 May 2019 (2019-05-23), pages 259 - 264 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024038330A1 (en) * 2022-08-16 2024-02-22 Precision Planting Llc Systems and methods for biomass identification
CN116609278A (zh) * 2023-07-21 2023-08-18 华东交通大学 一种农田重金属光谱数据的采集方法及系统
CN116609278B (zh) * 2023-07-21 2023-10-17 华东交通大学 一种农田重金属光谱数据的采集方法及系统

Also Published As

Publication number Publication date
US20220366668A1 (en) 2022-11-17
CN114586066A (zh) 2022-06-03
JPWO2021084907A1 (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
Liu et al. Estimating leaf area index using unmanned aerial vehicle data: shallow vs. deep machine learning algorithms
WO2021084907A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US8571325B1 (en) Detection of targets from hyperspectral imagery
AU752868B2 (en) Method for monitoring nitrogen status using a multi-sprectral imaging system
Rabatel et al. Getting simultaneous red and near-infrared band data from a single digital camera for plant monitoring applications: Theoretical and practical study
US8897571B1 (en) Detection of targets from hyperspectral imagery
US8897570B1 (en) Detection of targets from hyperspectral imagery
Grotti et al. An intensity, image-based method to estimate gap fraction, canopy openness and effective leaf area index from phase-shift terrestrial laser scanning
US20090033755A1 (en) Image acquisition and processing engine for computer vision
JP2012196167A (ja) 植物種識別方法
Mäkeläinen et al. 2D hyperspectral frame imager camera data in photogrammetric mosaicking
Arnold et al. UAV-based multispectral environmental monitoring
CN112052757B (zh) 火烧迹地信息提取方法、装置、设备和存储介质
De Biasio et al. UAV-based environmental monitoring using multi-spectral imaging
US9998636B2 (en) Method to remove the spectral components of illumination and background from multi-spectral and hyper-spectral images
Bartlett et al. Anomaly detection of man-made objects using spectropolarimetric imagery
CN111413279A (zh) 多光谱探测的视频处理方法、装置及多光谱探测终端
CN112106346A (zh) 图像处理方法、设备、无人机、系统和存储介质
KR102315329B1 (ko) 드론초분광영상을 이용한 생태교란종 모니터링 방법
Yang et al. Comparison of airborne multispectral and hyperspectral imagery for estimating grain sorghum yield
Amziane et al. Frame-based reflectance estimation from multispectral images for weed identification in varying illumination conditions
CN110476412B (zh) 信息处理装置、信息处理方法和存储介质
Ozdil et al. Representative signature generation for plant detection in hyperspectral images
CN102176066A (zh) 基于窄带扫描的目标最佳探测谱段成像探测方法
US20180130189A1 (en) Image processing device, image processing method, and program recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20882944

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021554132

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20882944

Country of ref document: EP

Kind code of ref document: A1