WO2020179276A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2020179276A1
WO2020179276A1 PCT/JP2020/002536 JP2020002536W WO2020179276A1 WO 2020179276 A1 WO2020179276 A1 WO 2020179276A1 JP 2020002536 W JP2020002536 W JP 2020002536W WO 2020179276 A1 WO2020179276 A1 WO 2020179276A1
Authority
WO
WIPO (PCT)
Prior art keywords
ndvi
image
unit
value
reflection angle
Prior art date
Application number
PCT/JP2020/002536
Other languages
English (en)
French (fr)
Inventor
洋一郎 佐藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/433,752 priority Critical patent/US20220139082A1/en
Priority to CN202080016561.4A priority patent/CN113474635A/zh
Priority to JP2021503458A priority patent/JPWO2020179276A1/ja
Publication of WO2020179276A1 publication Critical patent/WO2020179276A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program. More specifically, the present invention relates to an image processing apparatus for determining the activity of a plant based on an image captured by a camera, an image processing method, and a program.
  • NDVI Normalized Difference Vegetation Index
  • Patent Document 1 International Publication WO2016/181743
  • the NDVI value is corrected in consideration of the intensity of reflected light of a measurement target, for example, a measurement target such as a leaf of a plant, and the incident angle of sunlight on the measurement target, thereby improving the analysis accuracy. Is disclosed.
  • the method described in this document measures the reflected light intensity and the sunlight incident angle when the camera captures one image, and corrects the NDVI value for each image based on the measured value. Is. That is, the same correction process is performed on all pixels included in one image.
  • Patent Document 1 Since the technique disclosed in Patent Document 1 does not have a configuration in which the NDVI value is corrected for each region in one image, for example, for each pixel, there is a problem that the analysis accuracy is lowered.
  • An object of the present invention is to provide an image processing apparatus, an image processing method, and a program capable of determining the activity of a plant with high accuracy.
  • the first aspect of the present disclosure is It has a data processing unit that inputs a camera-captured image and calculates a vegetation index indicating the activity of the plant in the constituent pixel units by analyzing the input image including the constituent pixel units.
  • the data processing unit is There is an image processing device that calculates a correction value of the vegetation index by reducing a change of the vegetation index due to a change of the sunlight reflection angle based on the sunlight incident angle in the constituent pixel unit.
  • the second aspect of the present disclosure is An image processing method executed in an image processing device,
  • the image processing device inputs a camera captured image, by analysis of an input image including a constituent pixel unit, has a data processing unit for calculating a vegetation index indicating the activity of plants in the constituent pixel unit,
  • the data processing unit There is provided an image processing method for calculating a correction value of the vegetation index in which a change in the vegetation index due to a change in the sunlight incident reflection angle is reduced based on the sunlight incident angle in the constituent pixel unit.
  • the third aspect of the present disclosure is A program that executes image processing in an image processing device.
  • the image processing device inputs a camera captured image, by analysis of an input image including a constituent pixel unit, has a data processing unit for calculating a vegetation index indicating the activity of plants in the constituent pixel unit,
  • the program the data processing unit,
  • the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • a program that can be provided by a storage medium or a communication medium provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • an apparatus and a method capable of calculating an NDVI value in which an error due to a change in the sunlight incident reflection angle is reduced can be realized.
  • it has a data processing unit that inputs a camera-captured image and analyzes the input image to calculate an NDVI value indicating the activity of a plant.
  • the data processing unit selects a plurality of sampling points from the constituent pixels of the input image and calculates a sampling point two-dimensional distribution approximation model formula that approximates the two-dimensional distribution of the NDVI value of the selected sampling points and the sunlight reflection angle.
  • a corrected NDVI value calculation formula for calculating a corrected NDVI value in which a change in the NDVI value due to a change in the sunlight incident reflection angle is reduced is generated based on the calculated sampling point two-dimensional distribution approximation model formula, and the generated correction is performed.
  • the corrected NDVI value is calculated according to the NDVI value calculation formula.
  • FIG. 6 is a diagram illustrating an example of data stored in a memory 114 of the image capturing/information acquiring unit 110.
  • FIG. It is a figure showing a flow chart explaining a processing sequence which a data processing part of an image processing device of this indication performs. It is a figure explaining the process which a solar position estimation part performs.
  • FIG. 16 is a diagram illustrating an NDVI corrected image having a pixel value configured by an NDVI correction value generated by the process of the present disclosure and a conventional NDVI image to which the process of the present disclosure is not applied.
  • 16 is a diagram illustrating an NDVI corrected image having a pixel value configured by an NDVI correction value generated by the process of the present disclosure and a conventional NDVI image to which the process of the present disclosure is not applied. It is a figure explaining an example of hardware constitutions of an image processing device of this indication.
  • the image processing device of the present disclosure corrects an error in the NDVI value caused by the direction of the camera mounted on the drone at the time of shooting and the incident angle of sunlight to obtain a relatively correct NDVI value in each pixel unit in the image. It can be acquired.
  • a stitched image can be combined to generate a composite image of a large area. Even when it is performed, it is possible to reduce the NDVI value step difference at the image bonding boundary by correcting the NDVI value for each pixel in the image.
  • the main points of the processing executed by the image processing apparatus of the present disclosure are listed below.
  • (1) Obtaining the sun position at the time of image capturing from GPS time information at the time of image capturing, projecting the captured image on the ground surface from the camera position/orientation at the time of image capturing, and incident sunlight at all projected pixel positions. Calculate the sum of the angle and the reflection angle (sunlight reflection angle).
  • (2) Two variables of the NDVI value and the solar reflection angle are sampled, and a model formula that approximates the two-dimensional distribution of the sampling points is derived.
  • (3) The NDVI value of the input image is relatively corrected by using the sampling point two-dimensional distribution approximation model formula.
  • NDVI Normalized Difference Vegetation Index
  • NDVI can be calculated according to (Equation 1) below.
  • NDVI (NIR-RED) / (NIR + RED) ...
  • Equation 1 RED and NIR are RED wavelength (about 0.63 to 0.69 ⁇ m) and NIR wavelength (about 0.76 to 0.90 ⁇ m) in each pixel of the image measured by a multi-spectral camera capable of simultaneously capturing images of two wavelengths. Intensity (pixel value) of.
  • the pixel value indicating the RED and NIR intensities acquired from the image captured by the multispectral camera is obtained by measuring the reflected light from the subject.
  • This reflected light can be expressed as the sum of diffuse reflection and regular reflection (specular reflection) as follows (Equation 2a) and (Equation 2b).
  • NIR NIR d +NIR s
  • RED RED d +RED s
  • NIR d , RED d Diffuse reflection component
  • NIR s , RED s Regular reflection (specular reflection) component.
  • Plants absorb red wavelength light with chlorophyll and perform photosynthesis, and the light that could not be absorbed is emitted from the leaves as diffuse reflection. Therefore, it can be determined that a leaf that absorbs a large amount of red wavelength light is a leaf with high activity.
  • NIR d , RED d NIR wavelength (about 0.76 to 0.90 ⁇ m) and diffuse reflection component of RED wavelength (about 0.63 to 0.69 ⁇ m)
  • the specular reflection component NIR s , RED s
  • the specular reflection component Assuming that the leaves of a plant are a community, the specular reflection component generally tends to be larger as the sunlight incident angle is smaller. That is, when the plant is photographed from directly above in the state where the sun is in the middle of the south, the specular reflection component measured by the multispectral camera increases and the NDVI value decreases.
  • FIG. 1 shows an NDVI image in which an error occurs in the NDVI value due to the influence of specular reflection.
  • FIG. 1 shows a state in which the same crop is photographed from the sky, (a) is a luminance image, and (b) is an NDVI image in which NDVI values are set as pixel values.
  • the image processing device of the present disclosure is a multi-spectral camera capable of simultaneously capturing RED wavelengths (visible light: about 0.63 to 0.69 ⁇ m) and near infrared NIR wavelengths (about 0.76 to 0.90 ⁇ m).
  • RED wavelengths visible light: about 0.63 to 0.69 ⁇ m
  • NIR wavelengths about 0.76 to 0.90 ⁇ m
  • the image taken by is acquired, and a highly accurate plant activity index value, specifically, an NDVI value is calculated.
  • the NDVI value with higher accuracy is calculated for each pixel of the captured image.
  • the process of the present disclosure is used in an application for photographing the entire farm and analyzing the plant activity state using a drone equipped with a multispectral camera that simultaneously photographs the RED wavelength and the NRI wavelength, as shown in FIG. 3, for example. It is possible.
  • the image processing apparatus 100 includes an image capturing/information acquisition unit 110, a data processing unit 120, and an image display unit 130.
  • the image capturing/information acquisition unit 110 is, for example, a camera mounted on a drone or the like, and the image display unit 130 is a display. These are not components of the image processing apparatus 100, and may be external devices. Good. In this case, the image processing apparatus 100 is configured by the data processing unit 120 indicating the size I.
  • the data processing unit 120 acquires an image captured, an image acquired by the information acquisition unit 110, position information, and the like, and based on the acquired information, high-accuracy in units of constituent pixels of the image captured, the image acquired by the information acquisition unit 110.
  • the NDVI value is calculated, and an NDVI image in which the calculated NDVI value is set as a pixel value is generated and output to the image display unit 130.
  • the constituent pixel unit of the image may be one pixel unit or a plurality of pixel unit (for example, a matrix of 2 pixels ⁇ 2 pixels).
  • the average value of the NDVI values calculated for each pixel can be used as the NDVI value as a representative value of the constituent pixel unit.
  • the image display unit 130 is shown as an output destination of the generation information of the data processing unit 120 in the drawing, for example, the generation information of the data processing unit 120, for example, an NDVI image may be recorded in the storage unit. ..
  • the image capturing/information acquiring unit 110 includes a RED, an NIR image capturing unit (camera) 111, a camera position/posture estimation unit (GPS, etc.) 112, a clock unit 113, and a memory 114.
  • the RED and NIR image capturing unit (camera) 111 is a multispectral camera capable of simultaneously capturing light of two wavelengths, RED and NIR. For example, images are taken continuously while moving over the farm. The captured image is stored in the memory 114.
  • the camera position/orientation estimation unit (GPS or the like) 112 is configured by, for example, GPS or an attitude sensor, and measures the three-dimensional position of the image capturing/information acquisition unit 110, that is, the three-dimensional position of the RED and NIR image capturing unit (camera) 111. To do. Specifically, the GPS measures the camera position “latitude/lightness/altitude”, and the attitude sensor measures the rotation angle of the camera attitude “Roll/Pitch/Yaw”. The camera three-dimensional position (position, posture) measurement processing by the camera position/posture estimation unit (GPS or the like) 112 is continuously executed, and the measurement information is stored in the memory 114 as time series data.
  • the clock unit 113 acquires time information at the time of image capturing and outputs it to the memory 114.
  • FIG. 5 is a diagram showing an example of data stored in the memory 114 of the image capturing/information acquiring unit 110. As shown in FIG. 5, in the memory 114, (A) Photographed image data (b) Photographed image corresponding metadata These data are stored.
  • the captured image data is composed of an image pair of the RED image and the NIR image captured by the RED and NIR image capturing unit (camera) 111 at the same time during the flight of the drone.
  • the number of shots (N pairs) is saved.
  • the captured image corresponding metadata is metadata for each image captured by the RED and NIR image capturing unit (camera) 111. "Latitude, longitude, altitude, Roll, Pitch, Yaw, shooting time" of the camera at the shooting time of the RED/NIR image is stored as metadata.
  • the memory 114 of the image capturing/information acquiring unit 110 has (A) Photographed image data (b) Photographed image corresponding metadata These data are stored.
  • the captured image data and metadata stored in the memory 114 are read by the data processing unit 120 after the flight of the drone is completed, data processing is performed based on the read data, and data processing such as NDVI value calculation processing for each pixel is executed. To do.
  • the data processing unit 120 includes an NDVI calculation unit 121, a sun position estimation unit 122, a sunlight reflection angle calculation unit 123, an NDVI correction unit 124, and an NDVI image generation unit 125.
  • the data processing unit 120 acquires an image captured, an image acquired by the information acquisition unit 110, position information, and the like, and based on the acquired information, high-accuracy in units of constituent pixels of the image captured, the image acquired by the information acquisition unit 110.
  • the NDVI value is calculated, and an NDVI image in which the calculated NDVI value is set as a pixel value is generated and output to the image display unit 130.
  • the process of recording the generation information of the data processing unit 120 for example, the NDVI image, in the storage unit is executed.
  • FIG. 6 shows a flowchart illustrating a processing sequence executed by the data processing unit 120.
  • the processing sequence executed by the data processing unit 120 will be described according to this flow.
  • the process according to the flowchart shown in FIG. 6 can be executed according to a program stored in the storage unit of the image processing apparatus 100, for example. For example, it can be executed under the control of a data processing unit (control unit) including a CPU having a program execution function.
  • control unit including a CPU having a program execution function.
  • the processing of each step of the flowchart shown in FIG. 6 will be sequentially described below.
  • Step S101 First, in step S101, the data processing unit 120 inputs a captured image and metadata corresponding to the captured image.
  • the image capturing and information acquisition unit 110 having a multispectral camera mounted on the drone photographs plants such as farms from the sky at regular intervals, and a plurality of image pairs of RED and NIR images having different wavelengths. And its metadata are stored in the memory 114.
  • the data processing unit 120 inputs this image pair and metadata.
  • a plurality of image pairs of the RED of the image capturing/information acquiring unit 110, the RED captured by the NIR image capturing unit (camera) 111, and the NIR image are input to the NDVI calculating unit 121 of the data processing unit 120. To be done.
  • the camera position/posture estimation unit (GPS, etc.) 112 of the image capturing/information acquiring unit 110 estimates the camera three-dimensional position (position/orientation) information at the time of image capturing as the sun position estimating unit 122 of the data processing unit 120.
  • GPS position/posture estimation unit
  • the time information at the time of image capture measured by the clock unit 113 is input to the sun position estimation unit 122.
  • Step S102 the data processing unit 120 calculates the NDVI value of each pixel of the RED of the image shooting and information acquisition unit 110 and the RED and NIR image taken by the NIR image capturing unit (camera) 111.
  • This process is a process executed by the NDVI calculating unit 121 of the data processing unit 120 shown in FIG.
  • the NDVI calculation unit 121 sequentially acquires image pairs of RED and NIR images taken at the same time from RED and NIR images taken by the NIR image imaging unit (camera) 111, for example, N pair of image pairs, and further. , The pixel values of the corresponding pixels of the acquired pair of RED and NIR image pairs are acquired, and the NDVI value for each pixel is calculated.
  • the NDVI calculation unit 121 calculates the NDVI value for each pixel according to the following (Equation 1), which is the same as (Equation 1) described above.
  • NDVI (NIR-RED)/(NIR+RED) (Equation 1)
  • the RED and NIR are the pixel values of the corresponding pixel positions of the image capture and information acquisition unit 110, the RED and the NIR image capture unit (camera) 111, that is, the images measured by the multispectral camera. It is the intensity (pixel value) of the RED wavelength (about 0.63 to 0.69 ⁇ m) and the NIR wavelength (about 0.76 to 0.90 ⁇ m) in the pixel.
  • NDVI(k,i,j) (NIR(k,i,j)-RED(k,i,j))/(NIR(k,i,j)+RED(k,i,j))... (Formula 1a)
  • Step S103 the data processing unit 120 calculates the pixel-corresponding sun position in step S103. That is, the RED of the image shooting and information acquisition unit 110, and the sun position at the time of image shooting of the RED and NIR image taken by the NIR image capturing unit (camera) 111 are calculated.
  • the calculated sun position is the pixel-corresponding sun position observed from each of the constituent pixels in the image.
  • This process is a process executed by the sun position estimation unit 122 of the data processing unit 120 shown in FIG.
  • the sun position estimation unit 122 measures the camera 3D position (position, orientation) information at the time of image capturing, which is estimated by the camera position/orientation estimation unit (GPS, etc.) 112 of the image capturing/information acquisition unit 110, and the clock unit 113.
  • the time information at the time of image capturing is input, and based on these input information, the image capturing/RED of the information acquisition unit 110, the RED captured by the NIR image capturing unit (camera) 111, and the sun position at the image capturing of the NIR image To calculate.
  • the camera three-dimensional position (position and orientation) information and the time information at the time of image capturing measured by the clock unit 113 are set as RED and NIR image meta information captured by the NIR image capturing unit (camera) 111. It is the information that has been done.
  • the RED and NIR images captured by the RED and NIR image capturing unit (camera) 111 are associated with camera position and orientation information (latitude, longitude, altitude, Roll, Pitch, Yaw) and capturing time information as meta information at the time of capturing.
  • the sun position estimation unit 122 determines the projection position of the NDVI image on the ground surface from these meta information.
  • the sun position estimation unit 122 first captures RED and NIR images based on camera position and orientation information (latitude, longitude, altitude, Roll, Pitch, Yaw) that is meta information at the time of image capturing.
  • the projection position of the RED and NIR images captured by the unit (camera) 111 on the ground surface, that is, the captured image projection position 201 shown in FIG. 7 is determined.
  • the sun position estimation unit 122 determines the sun position (pixel-corresponding sun position) observed from the pixel position of the projected pixel Ijk at time k.
  • Azimuth of the sun azimuth (k, i, j)
  • Altitude angle of the sun altitude(k, i, j)
  • (k, i, j) respectively correspond to (imaging time index, pixel X position index, pixel Y position index).
  • step S104 the data processing unit 120 calculates the sunlight incident reflection angle ⁇ sc for each pixel. That is, the RED of the image capturing/information acquiring unit 110, the RED captured by the NIR image capturing unit (camera) 111, and the sunlight incident reflection angle ⁇ sc corresponding to each constituent pixel of the NIR image are calculated.
  • the sunlight incident reflection angle ⁇ sc is the sum of the incident angle and the reflection angle of sunlight on the subject at the subject position corresponding to each pixel.
  • step S104 is a process executed by the sunlight incident reflection angle calculation unit 123 of the data processing unit 120 shown in FIG.
  • This vector can be calculated from the sun position (azimuth (k, i, j), altitude (k, i, j)) calculated in the sun position estimating process in step S103.
  • the sunlight incident reflection angle calculation unit 123 calculates the sunlight incident reflection angle ⁇ SC (k, i, j) corresponding to each pixel for all pixel positions of all images projected on the ground surface by the above processing.
  • Step S105 the data processing unit 120 completes image capturing, RED of the information acquisition unit 110, RED captured by the NIR image capturing unit (camera) 111, and processing for all pixels of all images of NIR images. Determine if it has been done.
  • step S106 it is determined whether or not the calculation processing of the sunlight incident reflection angle ⁇ SC (k, i, j) corresponding to all the pixels of all the captured images has been completed. If there are unprocessed pixels, the process returns to step S102, and the processes of steps S102 to S104 are executed for the unprocessed pixels. When it is determined that the calculation process of the sunlight incident reflection angle ⁇ SC (k, i, j) corresponding to all the pixels of all the images is completed, the process proceeds to step S106.
  • Step S106 the data processing unit 120 executes the correction process of the NDVI value of each pixel in step S106. That is, the process of correcting the NDVI value corresponding to each pixel calculated by the NDVI calculating unit 121 shown in FIG. 4 is executed.
  • This process is a process executed by the NDVI correction unit 124 of the data processing unit 120 shown in FIG.
  • the NDVI calculation unit 121 illustrated in FIG. 4 calculates the NDVI value of each pixel unit in accordance with the following (Equation 1) in step S102 in the flow illustrated in FIG. 6, as described above.
  • NDVI (NIR-RED)/(NIR+RED) (Equation 1)
  • the NDVI correction unit 124 calculates the NDVI correction value corresponding to each pixel in consideration of the sunlight reflection angle corresponding to each pixel as a process for eliminating this error.
  • the NDVI correction unit 124 calculates the NDVI correction value corresponding to each pixel in consideration of the sunlight incident reflection angle, and outputs the calculated NDVI correction value to the NDVI correction image generation unit 125.
  • step S107 the data processing unit 120 generates an NDVI corrected image with the corrected NDVI value as the output pixel value. It should be noted that, if necessary, stitch processing for joining a plurality of NDVI-corrected images is also executed.
  • This process is a process executed by the NDVI corrected image generation unit 125 of the data processing unit 120 shown in FIG.
  • the NDVI correction image generation unit 125 generates an image composed of the NDVI correction values calculated by the NDVI correction unit 124 in step S106 described above, that is, an NDVI correction image.
  • This NDVI-corrected image has a pixel value configured by an NDVI correction value that is corrected in consideration of the sun-incident reflection angle corresponding to each pixel in each pixel unit, and a pixel value that indicates the plant activity with higher accuracy.
  • the image has the (NDVI corrected pixel value) set.
  • the NDVI corrected image generated by the NDVI corrected image generating unit 125 is displayed on the image display unit 130 shown in FIG. Further, although not shown in FIG. 4, it may be stored in the storage unit of the image processing apparatus 100.
  • the NDVI-corrected image generation unit 125 also executes a stitch process for joining a plurality of NDVI-corrected images as needed.
  • one stitched image is generated by the stitching process that connects a plurality of NDVI corrected images.
  • a specific example of the composite image generation process will be described with reference to FIG. 9.
  • the NDVI-corrected image generation unit 125 generates the number of captured images of the NDVI-corrected value. For example, N NDVI-corrected images corresponding to N consecutively-captured images are generated. Next, a stitch process is performed in which these plurality of images are stitched together according to the projection position (the position of the subject to be photographed) on the ground surface of each image.
  • the projection position of each image on the ground surface (the subject position of the shooting target) is, as described above with reference to FIG. 7, the camera position/orientation information (latitude, longitude, altitude) that is meta information at the time of shooting the image. , Roll, Pitch, Yaw).
  • the NDVI correction image generation unit 125 generates, for example, a stitch composite image 220 corresponding to a captured image of the entire vast farm by stitch processing of a plurality of images.
  • the stitch composite image 220 generated by the NDVI corrected image generation unit 125 is displayed on the image display unit 130 shown in FIG. Further, although not shown in FIG. 4, it may be stored in the storage unit of the image processing apparatus 100.
  • the NDVI correction unit 124 of the data processing unit 120 shown in FIG. 4 executes a process of correcting the NDVI value corresponding to each pixel calculated by the NDVI calculation unit 121.
  • the NDVI correction unit 124 calculates the NDVI correction value corresponding to each pixel in consideration of the sunlight reflection angle corresponding to each pixel as a process for eliminating this error.
  • the flowchart shown in FIG. 10 is a flowchart illustrating a detailed sequence of NDVI correction value calculation processing corresponding to each pixel in consideration of the sunlight input / reflection angle executed by the NDVI correction unit 124.
  • the processing of each step of this flow will be sequentially described.
  • Step S201 First, in step S201, the NDVI correction unit 124 of the data processing unit 120 selects a sampling point (pixel) to be applied to the generation of the sampling point two-dimensional distribution approximation model formula, and associates the NDVI value of the selected sampling point with the pixel.
  • the sunlight incident reflection angle ⁇ sc is acquired.
  • the sampling point is selected from the NDVI image in which the NDVI value corresponding to each pixel calculated by the NDVI calculation unit 121 is set as the pixel value based on the captured image (RED, NIR image) taken at time k.
  • the pixel-compatible sunlight reflection angle ⁇ sc is a value calculated by the sunlight reflection angle calculation unit 123. As described above with reference to FIG. 8, the sunlight incident reflection angle ⁇ sc at the pixel position (i,j) of the image captured at time k is ⁇ sc(k,i,j). ..
  • step S201 the NDVI correction unit 124 selects a sampling point (pixel) to be applied to the generation of the sampling point two-dimensional distribution approximation model formula, and determines the NDVI value of the selected sampling point and the sunlight incident reflection angle ⁇ sc corresponding to the pixel. get.
  • the NDVI correction unit 124 includes, in the constituent pixel (i, j) of the NDVI image, NDVI value (NDVI(k, i, j)), Incidence/reflection angle ⁇ SC (k, i, j), These two variables are acquired from sampling points (pixels).
  • sampling points are obtained from, for example, N images, that is, NDVI images generated from N pairs of captured images (RED, NIR images) taken during the same flight.
  • the number of sampling points may be any number that enables generation of the sampling point two-dimensional distribution approximation model formula executed in step S203.
  • step S203 based on the NDVI values (NDVI(k,i,j)) of a plurality of sampling points and the respective data of the incident/reflected angle ⁇ SC (k,i,j), the sampling point two-dimensional distribution approximation model formula is calculated.
  • the sampling point two-dimensional distribution approximation model formula is generated for two data of NDVI values (NDVI (k, i, j)) of a plurality of sampling points and incident/reflection angles ⁇ SC (k, i, j), in the two-dimensional plane of NDVI value-incident angle.
  • a sampling point two-dimensional distribution approximation model formula indicating the distribution situation is generated.
  • FIG. 12A shows NDVI values (NDVI(k,i,j)) of a plurality of sampling points corresponding to pixels based on N pairs of images captured in a flight and the incident/reflection angles ⁇ SC (k,i). , J) distribution data.
  • the sampling point is selected from a plurality of NDVI images, but it may be acquired randomly or according to an arbitrary rule.
  • sampling and sampling point two-dimensional distribution approximation model formulas may be generated only in specific plant regions.
  • the NDVI correction unit 124 of the data processing unit 120 calculates a sampling point two-dimensional distribution approximation model formula corresponding to the plant type, and based on the calculated sampling point two-dimensional distribution approximation model formula corresponding to the plant type, the plant type.
  • a corresponding corrected NDVI value calculation formula is generated, and processing for calculating a corrected NDVI value corresponding to the plant type is executed according to the generated corrected NDVI value calculation formula corresponding to the plant type.
  • Step S202 As described above, the NDVI correction unit 124 of the data processing unit 120 selects the sampling points (pixels) to be applied to the generation of the sampling point two-dimensional distribution approximation model formula used for the NDVI correction in step S201, and the selected sampling.
  • the NDVI value of the point and the sunlight incident reflection angle ⁇ sc corresponding to the pixel are acquired.
  • step S202 it is determined whether the number of sampling points acquired in step S201 has reached a specified number.
  • step S203 If the acquisition of the NDVI values for the predetermined number of sampling points and the sunlight incident reflection angle ⁇ sc corresponding to the pixel is completed, the process proceeds to step S203. If not completed, the process of step S201 is continued.
  • Step S203 When the acquisition of the NDVI values for the predetermined number of sampling points and the pixel-specific sunlight incident reflection angle ⁇ sc is completed, the process proceeds to step S203.
  • the NDVI correction unit 124 uses the NDVI values for the predetermined number of sampling points acquired in step S201 and each data of the pixel-specific sunlight incident reflection angle ⁇ sc to calculate the sampling point two-dimensional distribution approximation model. Generate an expression.
  • model formulas can be used as model formulas that define the correspondence relationship between the NDVI value (NDVI (k, i, j)) at the sampling point and the incident reflection angle ⁇ SC (k, i, j),
  • NDVI NDVI
  • ⁇ SC incident reflection angle
  • step S203 the NDVI correction unit 124 generates the linear equation shown in (Equation 5) above as a sampling point two-dimensional distribution approximation model equation.
  • step S203 the NDVI correction unit 124 calculates the coefficients a and b of the linear equation shown in the above (Equation 5) by using the least squares method.
  • model formula by a straight line has been described as an example, but since the distribution of sampling points varies greatly depending on the type and growing season of the plant to be imaged, the user can create a model formula that can appropriately represent the input sample. It is also possible to select. Specifically, it is possible to calculate a model formula by applying processing such as polynomial regression and logistic regression.
  • Steps S204 to S205 The NDVI correction unit 124 that has generated the sampling point two-dimensional distribution approximation model formula in step S203 next determines the validity of the sampling point two-dimensional distribution approximation model formula generated in steps S204 to S205.
  • step S203 when the coefficient a calculated in step S203 is a negative value, it is determined that the sampling point two-dimensional distribution approximation model formula is not valid. In this case, the determination in step S205 is No, and the process ends without executing the NDVI value correction process to which the sampling point two-dimensional distribution approximation model formula is applied in subsequent steps S206 and thereafter. Note that the criterion for determining the validity of the sampling point two-dimensional distribution approximation model formula in steps S204 to S205 is changed according to the model formula generated in step S203.
  • Step S206 If it is determined in steps S204 to S205 that the sampling point two-dimensional distribution approximation model formula generated in step S203 is valid, the process proceeds to step S206.
  • the NDVI correction unit 124 executes the NDVI value correction processing to which the sampling point two-dimensional distribution approximation model formula generated in step S203 is applied.
  • y NDVI value (NDVI(k,i,j))
  • x incidence angle ⁇ SC (k, i, j) a and b are coefficients
  • the NDVI correction unit 124 corrects all pixel values (NDVI values) of the NDVI image generated by the NDVI calculation unit 121, using the sampling point two-dimensional distribution approximation model formula of (Formula 5).
  • This correction reference input / reflection angle sets an input / reflection angle at which the NDVI noise due to normal sunlight reflection is sufficiently reduced. Specifically, for example, a fixed value of about 45° may be set as the correction reference entrance reflection angle (x bsae ).
  • This linear equation is a sampling point two-dimensional distribution approximation model equation shown in FIG. 13 (1), and corresponds to a straight line shown by a dotted line in FIG. 13 (2). This straight line is a linear equation showing the distribution of sampling points.
  • the correspondence data between the NDVI value indicating the distribution of the sampling points and the sunlight incident reflection angle is the relational expression generated based on the NDVI image generated by the NDVI image generation unit 121.
  • y ckij y base + ⁇ y kij ⁇ (ax kij +b) ⁇ (Equation 7)
  • the slope of the sampling point due to specular reflection can be corrected flat while maintaining the difference between the sampling point two-dimensional distribution approximation model formula and the actual NDVI value.
  • step S207 the NDVI correction unit 124 determines whether or not the calculation process of the correction NDVI value corresponding to all the pixels of all the captured images is completed. If there is an unprocessed image, the process returns to step S206 to calculate the corrected NDVI value of the unprocessed pixel.
  • step S207 when it is determined that the calculation process of the corrected NDVI value corresponding to all pixels of all captured images is completed, the process ends.
  • the NDVI correction unit 124 calculates the NDVI correction value corresponding to each pixel in consideration of the sunlight incident reflection angle, and outputs the calculated NDVI correction value to the NDVI correction image generation unit 125.
  • the NDVI corrected image generation unit 125 generates an NDVI corrected image with the corrected NDVI value as the output pixel value. If necessary, a stitch process for joining a plurality of NDVI-corrected images is also executed.
  • This NDVI-corrected image has a pixel value configured by an NDVI correction value that is corrected in consideration of the sun-incident reflection angle corresponding to each pixel in each pixel unit, and a pixel value that indicates the plant activity with higher accuracy.
  • the image has the (NDVI corrected pixel value) set.
  • the NDVI corrected image generated by the NDVI corrected image generating unit 125 is displayed on the image display unit 130 shown in FIG. Further, although not shown in FIG. 4, it may be stored in the storage unit of the image processing apparatus 100.
  • FIG. 14 illustrates a comparison between an NDVI corrected image having a pixel value configured by the NDVI correction value generated by the process of the present disclosure and a conventional NDVI image to which the process of the present disclosure is not applied.
  • FIG. 14 shows the following two NDVI images.
  • A NDVI image before correction
  • b NDVI image after correction
  • the corrected NDVI image is an NDVI corrected image that has been subjected to the correction processing of the present disclosure.
  • the central lower left area is not darker than the surrounding area.
  • this region is a region in which there is much noise in the sunlight regular reflection component, the NDVI value correction process of the present disclosure corrects the NDVI value to almost the same value as the surroundings.
  • Equation 7 the image shown in FIG. 14(b) is represented by the following (Equation 7) described above.
  • y ckij y base + ⁇ y kij ⁇ (ax kij +b) ⁇ (Equation 7) It is an image in which the corrected NDVI value calculated by this (Equation 7) is set.
  • FIG. 15 shows the following two NDVI images.
  • A NDVI image before correction (stitch image)
  • B NDVI image after correction (stitch image)
  • Steps are clearly visible at the image boundaries of this composite image. This is because the NDVI value of each image contains an error.
  • the post-correction NDVI image is a stitch image (composite image) based on the NDVI-corrected image that has undergone the correction process of the present disclosure.
  • the image boundary of this composite image is a smooth boundary in which the steps are almost eliminated. This is because the correct NDVI value is set by the NDVI value correction process of the present disclosure.
  • FIG. 16 is an example of a specific hardware configuration of the image processing device of the present disclosure.
  • a CPU (Central Processing Unit) 301 functions as a control unit or a data processing unit that executes various kinds of processing according to a program stored in a ROM (Read Only Memory) 302 or a storage unit 308. For example, the processing according to the sequence described in the above embodiment is executed.
  • the RAM (Random Access Memory) 303 stores programs and data executed by the CPU 301.
  • the CPU 301, the ROM 302, and the RAM 303 are connected to each other by a bus 304.
  • the CPU 301 is connected to an input/output interface 305 via a bus 304, and the input/output interface 305 is connected to an input unit 306 including various switches, a keyboard, a mouse, a microphone, a sensor, and an output unit 307 including a display and a speaker. Has been done.
  • the CPU 301 executes various processes in response to a command input from the input unit 306, and outputs the process results to, for example, the output unit 307.
  • the storage unit 308 connected to the input / output interface 305 is composed of, for example, a hard disk or the like, and stores programs executed by the CPU 301 and various data.
  • the communication unit 309 functions as a transmission/reception unit for Wi-Fi communication, Bluetooth (registered trademark) (BT) communication, and other data communication via a network such as the Internet or a local area network, and communicates with an external device.
  • Wi-Fi Wi-Fi
  • BT registered trademark
  • a drive 310 connected to the input/output interface 305 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
  • a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
  • a data processing unit which inputs a camera-captured image and analyzes an input image including constituent pixel units to calculate a vegetation index indicating the activity of a plant in the constituent pixel units.
  • the data processing unit is An image processing apparatus that calculates a correction value of the vegetation index that reduces a change in the vegetation index due to a change in the sunlight incident reflection angle, based on the sunlight incident angle in each of the constituent pixels.
  • the input image includes a plurality of constituent pixel units
  • the data processing unit is Multiple sampling points are selected from a plurality of constituent pixel units of the input image, and a sampling point two-dimensional distribution approximation model formula that approximates the two-dimensional distribution of the NDVI value of the selected sampling point and the sunlight reflection angle is calculated. Based on the calculated two-dimensional distribution approximation model formula for sampling points, a correction NDVI value calculation formula for calculating a correction value that reduces the change in the NDVI value due to a change in the sunlight reflection angle is generated.
  • the image processing device according to (2), wherein the correction value is calculated according to the generated correction NDVI value calculation formula.
  • the data processing unit The sun position estimation unit that estimates the sun position at the time of image shooting, Any one of (1) to (3) has a sunlight incident reflection angle calculation unit that calculates the sunlight incident reflection angle ⁇ sc for each constituent pixel unit of the camera captured image using the sun position estimated by the sun position estimation unit.
  • the sunlight reflection angle calculation unit is The image processing apparatus according to any one of (1) to (4), wherein a sum of an incident angle and a reflection angle of sunlight with respect to a subject corresponding to the constituent pixels of the camera-captured image is calculated as the sunlight incident reflection angle ⁇ sc.
  • the data processing unit An NDVI calculation unit that calculates an NDVI value by analyzing the camera-captured image without considering the sunlight incident reflection angle and generates an NDVI image in which the NDVI value is set for each pixel, The NDVI image generated by the NDVI calculation unit is input, and the NDVI value is calculated based on the sampling point two-dimensional distribution approximation model formula to calculate a corrected NDVI value in which a change in the NDVI value due to a change in the sunlight reflection angle is reduced.
  • the image processing apparatus according to any one of (1) to (5), including a correction unit.
  • the data processing unit As the sampling point two-dimensional distribution approximation model formula, The image processing device according to any one of (1) to (6), which calculates a linear equation that approximates a two-dimensional distribution of the NDVI value at the sampling point and the sunlight reflection angle.
  • the data processing unit The image processing device according to (7), wherein the coefficient of the linear equation is calculated by a regression line calculation method to which a least square method is applied.
  • the data processing unit further includes The image processing apparatus according to (2) to (8), which has an NDVI-corrected image generation unit that generates an NDVI-corrected image composed of the correction values.
  • the NDVI correction image generation unit The image processing apparatus according to (9), which generates a composite image by stitch processing of a plurality of NDVI-corrected images.
  • the data processing unit is A plurality of sampling points are selected from the constituent pixels of a plurality of images captured at different timings, and a sampling point two-dimensional distribution approximation model formula that approximates the two-dimensional distribution of the NDVI value and the sunlight reflection angle of the selected sampling point is calculated.
  • the image processing apparatus according to any one of (2) to (10), which calculates.
  • the data processing unit The validity of the calculated sampling point two-dimensional distribution approximation model formula is judged, On condition that the judgment is valid Based on the calculated sampling point two-dimensional distribution approximation model formula, a corrected NDVI value calculation formula for calculating a correction value that reduces the change in the NDVI value due to the change in the sunlight reflection angle is generated, The image processing apparatus according to any one of (2) to (11), which calculates the correction value according to the generated correction NDVI value calculation formula.
  • the data processing unit is As the validity judgment processing of the calculated sampling point two-dimensional distribution approximation model formula, A process of determining whether or not the calculated sampling point two-dimensional distribution approximation model formula is a formula that matches an existing theory indicating a decrease in the NDVI value due to an increase in the influence of solar specular reflection (12) Image processing device.
  • the data processing unit Calculate the sampling point two-dimensional distribution approximate model formula corresponding to the plant type, Based on the calculated sampling point two-dimensional distribution approximation model formula corresponding to the plant type, a corrected NDVI value calculation formula corresponding to the plant type is generated.
  • the image processing device according to any one of (2) to (13), wherein the correction value corresponding to the plant type is calculated according to the generated correction NDVI value calculation formula corresponding to the plant type.
  • the image taken by the camera is taken by a multi-spectral camera capable of simultaneously taking an image of two different wavelengths of a RED wavelength (about 0.63 to 0.69 ⁇ m) and an NIR wavelength (about 0.76 to 0.90 ⁇ m)
  • the image processing device according to any one of (1) to (14), which is a captured image.
  • the image processing device inputs a camera captured image, by analysis of an input image including a constituent pixel unit, has a data processing unit for calculating a vegetation index indicating the activity of plants in the constituent pixel unit, The data processing unit An image processing method for calculating a correction value of the vegetation index in which a change in the vegetation index due to a change in the sunlight incident reflection angle is reduced based on the sunlight incident angle in the constituent pixel unit.
  • a program that executes image processing in an image processing device inputs a camera captured image, by analysis of an input image including a constituent pixel unit, has a data processing unit for calculating a vegetation index indicating the activity of plants in the constituent pixel unit, The program, the data processing unit, A program for executing a process of calculating a correction value of the vegetation index in which a change in the vegetation index due to a change in the sunlight reflection angle is reduced based on the sunlight incident angle in the constituent pixel unit.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program in which the processing sequence is recorded is installed in the memory in the computer incorporated in the dedicated hardware and executed, or the program is stored in a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in a recording medium in advance.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed in a recording medium such as a built-in hard disk.
  • the various processes described in the specification may be executed not only in time series according to the description, but also in parallel or individually according to the processing capability of the device that executes the process or the need.
  • the system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • an apparatus and a method that can calculate an NDVI value in which an error due to a change in the sunlight reflection angle is reduced can be realized.
  • it has a data processing unit that inputs a camera-captured image and analyzes the input image to calculate an NDVI value indicating the activity of a plant.
  • the data processing unit selects a plurality of sampling points from the constituent pixels of the input image and calculates a sampling point two-dimensional distribution approximation model formula that approximates the two-dimensional distribution of the NDVI value of the selected sampling points and the sunlight reflection angle.
  • a corrected NDVI value calculation formula for calculating a corrected NDVI value in which a change in the NDVI value due to a change in the sunlight incident reflection angle is reduced is generated based on the calculated sampling point two-dimensional distribution approximation model formula, and the generated correction is performed.
  • the corrected NDVI value is calculated according to the NDVI value calculation formula.
  • Image processing device 110 Image capturing/information acquisition unit 111 RED, NIR image capturing unit (camera) 112 Camera position / orientation estimation unit (GPS, etc.) 113 Clock Unit 114 Memory 120 Data Processing Unit 121 NDVI Calculation Unit 122 Sun Position Estimation Unit 123 Sunlight Reflection Angle Calculation Unit 124 NDVI Correction Unit 125 NDVI Corrected Image Generation Unit 130 Image Display Unit 301 CPU 302 ROM 303 RAM 304 bus 305 input/output interface 306 input unit 307 output unit 308 storage unit 309 communication unit 310 drive 311 removable media

Abstract

太陽光入反射角の変化に伴う誤差を低減したＮＤＶＩ値を算出可能とした装置、方法を提供する。カメラ撮影画像を入力し、入力画像の解析により、植物の活性度を示すＮＤＶＩ値を算出するデータ処理部を有する。データ処理部は、入力画像の構成画素から複数のサンプリング点を選択し、選択したサンプリング点のＮＤＶＩ値と太陽光入反射角の二次元分布を近似したサンプリング点二次元分布近似モデル式を算出し、算出したサンプリング点二次元分布近似モデル式に基づいて、太陽光入反射角の変化に伴うＮＤＶＩ値の変化を低減させた補正ＮＤＶＩ値を算出する補正ＮＤＶＩ値算出式を生成し、生成した補正ＮＤＶＩ値算出式に従って、補正ＮＤＶＩ値を算出する。

Description

画像処理装置、および画像処理方法、並びにプログラム
　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、カメラ撮影画像に基づく植物の活性度判定を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
　例えばドローン等に備えられたカメラを用いて農作物や、花、木等の様々な植物を撮影し、撮影画像を解析することで植物の活性度を計測する技術がある。
　植物の活性度を示す植生指標として、例えばＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｖｅｇｅｔａｔｉｏｎ　Ｉｎｄｅｘ）がある。
　カメラ撮影画像の解析により、画像内に撮影された植物のＮＤＶＩを算出することで、撮影された画像内の植物の活性度を推定することができる。
　しかし、例えばドローンに装着したカメラで画像撮影を行うと、ドローンの揺れや飛行方向の変化に伴いカメラ角度が変化し、撮影画像内の被写体像の輝度や色にむらが発生し、正確な解析ができなくなるという問題がある。
　この問題を解決する技術を開示した従来技術として、例えば特許文献１（国際公開ＷＯ２０１６／１８１７４３号公報）がある。
　この特許文献１は、測定対象、例えば植物の葉等の測定対象の反射光の強度や太陽光の測定対象への入射角を考慮したＮＤＶＩ値の補正を行うことで、解析精度を向上させる構成を開示している。
　この文献に記載された手法は、カメラが１枚の画像を撮影する際の反射光強度や太陽光入射角を測定して、この測定値に基づいて、画像単位でＮＤＶＩ値の補正を行う構成である。
　すなわち、１つの画像に含まれる全画素について同様の補正処理を行う構成となっている。
　しかし、例えばドローンに装着したカメラで高所から画像を撮影すると、１枚の撮影画像には所定の広い領域の画像が撮影され、その領域内の被写体（植物）は、その位置に応じて太陽光入射角等が異なることになる。
　上記特許文献１に開示の技術は、１枚の画像内の領域単位、例えば画素単位のＮＤＶＩ値の補正を行う構成ではないため、解析精度が低下するという問題がある。
国際公開ＷＯ２０１６／１８１７４３号公報
　本開示は、例えば上記の問題点に鑑みてなされたものであり、カメラ撮影画像に基づく植物の活性度判定を行う構成において、カメラ撮影画像の画素単位で活性度指標値、例えばＮＤＶＩ値を補正し、高精度な植物の活性度判定を可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
　本開示の第１の側面は、
　カメラ撮影画像を入力し、構成画素単位を含む入力画像の解析により、前記構成画素単位における植物の活性度を示す植生指標を算出するデータ処理部を有し、
　前記データ処理部は、
　前記構成画素単位における太陽光入射角に基づいて、太陽光入反射角の変化に伴う植生指標の変化を低減させた前記植生指標の補正値を算出する画像処理装置にある。
　さらに、本開示の第２の側面は、
　画像処理装置において実行する画像処理方法であり、
　前記画像処理装置は、カメラ撮影画像を入力し、構成画素単位を含む入力画像の解析により、前記構成画素単位における植物の活性度を示す植生指標を算出するデータ処理部を有し、
　前記データ処理部が、
　前記構成画素単位における太陽光入射角に基づいて、太陽光入反射角の変化に伴う植生指標の変化を低減させた前記植生指標の補正値を算出する画像処理方法にある。
　さらに、本開示の第３の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　前記画像処理装置は、カメラ撮影画像を入力し、構成画素単位を含む入力画像の解析により、前記構成画素単位における植物の活性度を示す植生指標を算出するデータ処理部を有し、
　前記プログラムは、前記データ処理部に、
　前記構成画素単位における太陽光入射角に基づいて、太陽光入反射角の変化に伴う植生指標の変化を低減させた前記植生指標の補正値を算出する処理を実行させるプログラムにある。
　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、太陽光入反射角の変化に伴う誤差を低減したＮＤＶＩ値を算出可能とした装置、方法が実現される。
　具体的には、例えば、カメラ撮影画像を入力し、入力画像の解析により、植物の活性度を示すＮＤＶＩ値を算出するデータ処理部を有する。データ処理部は、入力画像の構成画素から複数のサンプリング点を選択し、選択したサンプリング点のＮＤＶＩ値と太陽光入反射角の二次元分布を近似したサンプリング点二次元分布近似モデル式を算出し、算出したサンプリング点二次元分布近似モデル式に基づいて、太陽光入反射角の変化に伴うＮＤＶＩ値の変化を低減させた補正ＮＤＶＩ値を算出する補正ＮＤＶＩ値算出式を生成し、生成した補正ＮＤＶＩ値算出式に従って、補正ＮＤＶＩ値を算出する。
　本構成により、太陽光入反射角の変化に伴う誤差を低減したＮＤＶＩ値を算出可能とした装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
ＮＤＶＩ画像と、ＮＤＶＩ画像の問題点について説明する図である。 ＮＤＶＩ画像と、ＮＤＶＩ画像の問題点について説明する図である。 画像撮影例について説明する図である。 本開示の画像処理装置の構成と処理について説明する図である。 画像撮影、情報取得部１１０のメモリ１１４に格納されるデータの一例について説明する図である。 本開示の画像処理装置のデータ処理部の実行する処理シーケンスについて説明するフローチャートを示す図である。 太陽位置推定部の実行する処理について説明する図である。 太陽光入反射角算出部が実行するＲＥＤ、ＮＩＲ画像の各構成画素対応の太陽光入反射角θｓｃの算出処理の具体例について説明する図である。 合成画像生成処理の具体例について説明する図である。 ＮＤＶＩ補正部が実行する太陽光入反射角を考慮した各画素対応のＮＤＶＩ補正値算出処理の詳細シーケンスを説明するフローチャートを示す図である。 サンプリング点二次元分布近似モデル式の生成に適用するサンプリング点（画素）を選択し、選択したサンプリング点のＮＤＶＩ値と、画素対応太陽光入反射角θｓｃを取得する処理について説明する図である。 複数のサンプリング点のＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））と、入反射角θＳＣ（ｋ，ｉ，ｊ）の分布を、ＮＤＶＩ値と反射角θＳＣの二次元グラフにプロットした一例について説明する図である。 ＮＤＶＩ補正部が実行するＮＤＶＩ値補正処理の具体例について説明する図である。 本開示の処理によって生成されるＮＤＶＩ補正値によって構成された画素値を有するＮＤＶＩ補正画像と、本開示の処理を適用していない従来のＮＤＶＩ画像について説明する図である。 本開示の処理によって生成されるＮＤＶＩ補正値によって構成された画素値を有するＮＤＶＩ補正画像と、本開示の処理を適用していない従来のＮＤＶＩ画像について説明する図である。 本開示の画像処理装置のハードウェア構成例について説明する図である。
　以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の画像処理装置の実行する処理の概要について
　２．植物の活性度を示す指標であるＮＤＶＩについて
　３．本開示の画像処理装置の構成と実行する処理の詳細について
　４．ＮＤＶＩ補正部が実行するＮＤＶＩ値の補正処理の詳細について
　５．画像処理装置のハードウェア構成例について
　６．本開示の構成のまとめ
　　［１．本開示の画像処理装置の実行する処理の概要について］
　まず、本開示の画像処理装置の実行する処理の概要について説明する。
　前述したように、例えばドローン等に備えられたカメラを用いて農作物や、花、木等の様々な植物を撮影し、撮影画像を解析することで植物の活性度を計測する技術がある。
　植物の活性度を示す指標（植生指標）として、例えばＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｖｅｇｅｔａｔｉｏｎ　Ｉｎｄｅｘ）がある。
　ＮＤＶＩは、植物に対する太陽光入射角と、それを測定するカメラの向きによって変化する特性を持ち、この特性はＮＤＶＩ値の誤差要因として作用する。
　本開示の画像処理装置は、例えばドローンに搭載されたカメラの撮影時における向きと太陽光入射角に起因するＮＤＶＩ値の誤差を補正し、画像内の各画素単位で相対的に正しいＮＤＶＩ値を取得可能としたものである。
　さらに、カメラによって、連続領域に広がる複数画像を撮影した場合は、各画像を貼り合わせ（スティッチ）ることで、高大な領域の合成画像を生成することができるが、このような画像貼り合わせを行う場合にも、画像内の画素単位のＮＤＶＩ値を補正することで、画像貼り合わせ境界のＮＤＶＩ値段差を低減することができる。
　本開示の画像処理装置が実行する処理の要点を以下に列挙する。
　（１）画像撮影時のＧＰＳ時刻情報から、画像撮影時の太陽位置を求め、かつ、画像撮影時のカメラ位置・姿勢から撮影画像を地表に投影し、すべての投影画素位置について太陽光の入射角と反射角の和（太陽光入反射角）を求める。
　（２）ＮＤＶＩ値と太陽光入反射角の２変数をサンプリングし、サンプリング点の二次元分布を近似するモデル式を導出する。
　（３）サンプリング点二次元分布近似モデル式を用いて入力画像のＮＤＶＩ値を相対的に補正する。
　　［２．植物の活性度を示す指標であるＮＤＶＩについて］
　次に、植物の活性度を示す指標であるＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｖｅｇｅｔａｔｉｏｎ　Ｉｎｄｅｘ）について説明する。
　一般に、ＮＤＶＩは、以下の（式１）に従って算出することができる。
　ＮＤＶＩ＝（ＮＩＲ－ＲＥＤ）／（ＮＩＲ＋ＲＥＤ）・・・（式１）
　上記（式１）において、
　ＲＥＤ，ＮＩＲは２つの波長の画像を同時に撮影できるマルチスペクトルカメラにより測定された画像の各画素におけるＲＥＤ波長（約０．６３～０．６９μｍ）とＮＩＲ波長（約０．７６～０．９０μｍ）の強度（画素値）である。
　マルチスペクトルカメラによる撮影画像から取得されるＲＥＤ，ＮＩＲの強度を示す画素値は、被写体からの反射光を測定したものである。この反射光は拡散反射と正反射（鏡面反射）の和として次の（式２ａ）、（式２ｂ）のように表すことができる。
　ＮＩＲ＝ＮＩＲｄ＋ＮＩＲｓ・・・（式２ａ）
　ＲＥＤ＝ＲＥＤｄ＋ＲＥＤｓ・・・（式２ｂ）
　なお、
　ＮＩＲｄ，ＲＥＤｄ：拡散反射成分
　ＮＩＲｓ，ＲＥＤｓ：正反射（鏡面反射）成分
　である。
　植物は葉緑素（クロロフィル）で赤波長の光を吸収し光合成を行い、吸収しきれなかった光が拡散反射として葉から放出される。したがって赤波長の光を多く吸収する葉が、活性度の高い葉であると判断することができる。
　ＮＤＶＩ値を正しく算出するためには、この拡散反射成分（ＮＩＲｄ，ＲＥＤｄ）を正しく測定する必要があるが、カメラは正反射成分も加算された状態で測定しているため、正反射成分がＮＤＶＩのノイズとして作用する。
　ここで拡散反射と正反射の各成分を考慮し、ノイズとして作用する正反射成分（ＮＩＲｓ，ＲＥＤｓ）の影響を低減して、より精度の高いＮＤＶＩ値を算出する式を以下に、（式３）として示す。
Figure JPOXMLDOC01-appb-M000001
　なお、
　ＮＩＲｄ，ＲＥＤｄ：ＮＩＲ波長（約０．７６～０．９０μｍ）と、ＲＥＤ波長（約０．６３～０．６９μｍ）の拡散反射成分
　ＮＩＲｓ，ＲＥＤｓ：ＮＩＲ波長（約０．７６～０．９０μｍ）と、ＲＥＤ波長（約０．６３～０．６９μｍ）の正反射（鏡面反射）成分
　である。
　上記（式３）に示すＮＤＶＩ値算出式は、正反射成分（ＮＩＲｓ，ＲＥＤｓ）が大きい場合、分母に比べて分子の値が小さくなり、その結果として、算出されるＮＤＶＩ値が小さくなる。植物の葉を群落と仮定した場合、一般に太陽光入射角が小さい方が正反射成分は大きくなる傾向がある。すなわち太陽が南中にある状態で、植物を真上から撮影すると、マルチスペクトルカメラが測定する正反射成分が大きくなり、ＮＤＶＩ値が小さくなる。
　正反射の影響でＮＤＶＩ値に誤差が発生したＮＤＶＩ画像を図１に示す。図１は上空から同一作物を撮影した様子であり、（ａ）は輝度画像、（ｂ）は、ＮＤＶＩ値を画素値として設定したＮＤＶＩ画像である。
　（ａ）輝度画像の中央左下周辺の明るくなっている部分が、太陽光の正反射を受けて明るくなっていることを示している。
　（ｂ）ＮＤＶＩ画像において対応する中央左下領域は、周囲に比べて暗くなっており、ＮＤＶＩ値が小さい値を取ることがわかる。
　さらに、太陽光正反射成分のノイズが含まれる状態で、複数のＮＤＶＩ画像をつなぎ合せるスティッチ処理（合成処理）を実行すると図２に示すように画像貼り合わせ境界で段差ができる。
　例えば、広大な圃場における植物の活性度合いを把握する際、実際の植物活性度合いと異なるＮＤＶＩ値が段差として存在すると、植物の状態を正しく把握することができないという問題が生じる。
　　［３．本開示の画像処理装置の構成と実行する処理の詳細について］
　次に、本開示の画像処理装置の構成と実行する処理の詳細について説明する。
　本開示の画像処理装置は、ＲＥＤ波長（可視光：約０．６３～０．６９μｍ）と、近赤外ＮＩＲ波長（約０．７６～０．９０μｍ）を同時に撮影することのできるマルチスペクトルカメラが撮影した画像を取得して、高精度な植物の活性度指標値、具体的には、ＮＤＶＩ値を算出する。
　撮影画像の画素単位でより精度の高いＮＤＶＩ値を算出するものである。
　本開示の処理は、例えば、図３に示すように、ＲＥＤ波長とＮＲＩ波長を同時撮影するマルチスペクトルカメラを搭載したドローンを用いて、農場全体を撮影し、植物活性状態を解析するアプリケーションに用いることが可能である。
　図４を参照して本開示の画像処理装置１００の一構成例について説明する。
　図４に示すように、画像処理装置１００は、画像撮影、情報取得部１１０と、データ処理部１２０、画像表示部１３０を有する。
　なお、画像撮影、情報取得部１１０は例えばドローン等に搭載されたカメラ、画像表示部１３０はディスプレイであり、これらは、画像処理装置１００の構成要素とせず、外部装置とした構成であってもよい。この場合、画像処理装置１００は、ズＩ示すデータ処理部１２０によって構成される。
　データ処理部１２０は、画像撮影、情報取得部１１０の取得した画像や位置情報等を取得し、取得情報に基づいて、画像撮影、情報取得部１１０の取得した画像の構成画素単位で高精度なＮＤＶＩ値を算出し、算出したＮＤＶＩ値を画素値として設定したＮＤＶＩ画像を生成して画像表示部１３０に出力する。ここで、画像の構成画素単位としては、１画素単位であってもよいし、複数画素単位（例えば、２画素×２画素のマトリクス）であってもよい。構成画素単位が複数画素単位の場合には、例えば各画素で算出されたＮＤＶＩ値の平均値を構成画素単位の代表値としてのＮＤＶＩ値とすることができる。
　なお、図には、データ処理部１２０の生成情報の出力先として画像表示部１３０のみを示しているが、例えば記憶部にデータ処理部１２０の生成情報、例えばＮＤＶＩ画像を記録する構成としてもよい。
　画像撮影、情報取得部１１０は、ＲＥＤ、ＮＩＲ画像撮像部（カメラ）１１１、カメラ位置姿勢推定部（ＧＰＳ等）１１２、時計部１１３、メモリ１１４を有する。
　ＲＥＤ、ＮＩＲ画像撮像部（カメラ）１１１は、ＲＥＤ・ＮＩＲ２つの波長の光を同時に撮影することができるマルチスペクトルカメラである。例えば農場の上空で移動しながら、画像を連続的に撮影する。
　撮影画像はメモリ１１４に格納される。
　カメラ位置姿勢推定部（ＧＰＳ等）１１２は、例えばＧＰＳや姿勢センサによって構成され、画像撮影、情報取得部１１０の３次元位置、すなわちＲＥＤ、ＮＩＲ画像撮像部（カメラ）１１１の３次元位置を計測する。具体的にはＧＰＳにより、カメラ位置「緯度・軽度・高度」を計測し、姿勢センサにより、カメラ姿勢「Ｒｏｌｌ・Ｐｉｔｃｈ・Ｙａｗ」の回転角度を計測する。
　カメラ位置姿勢推定部（ＧＰＳ等）１１２によるカメラ３次元位置（位置、姿勢）計測処理は、継続的に実行され、計測情報は時系列データとして、メモリ１１４に格納される。
　時計部１１３は、画像撮影時の時刻情報を取得して、メモリ１１４に出力する。
　図５は、画像撮影、情報取得部１１０のメモリ１１４に格納されるデータの一例を示す図である。
　図５に示すように、メモリ１１４には、
　（ａ）撮影画像データ
　（ｂ）撮影画像対応メタデータ
　これらのデータが格納される。
　（ａ）撮影画像データは、ドローンの飛行中、ＲＥＤ、ＮＩＲ画像撮像部（カメラ）１１１が同時刻に撮影したＲＥＤ画像とＮＩＲ画像の画像ペアによって構成される。撮影枚数分（Ｎペア）、保存される。
　（ｂ）撮影画像対応メタデータは、ＲＥＤ、ＮＩＲ画像撮像部（カメラ）１１１が撮影した画像ごとのメタデータである。
　ＲＥＤ／ＮＩＲ画像の撮影時刻におけるカメラの「緯度、経度、高度、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗ、撮影時刻」がメタデータとして保存される。
　このように、画像撮影、情報取得部１１０のメモリ１１４には、
　（ａ）撮影画像データ
　（ｂ）撮影画像対応メタデータ
　これらのデータが格納される。
　このメモリ１１４に格納された撮影画像データとメタデータは、ドローンのフライト終了後に、データ処理部１２０が読み込み、読み込みデータに基づくデータ処理を行い、画素単位のＮＤＶＩ値算出処理等のデータ処理を実行する。
　なお、ドローンのフライト中に、画像撮影、情報取得部１１０とデータ処理部１２０間で無線通信を実行して、上述したメモリ格納データ、すなわち、
　（ａ）撮影画像データ
　（ｂ）撮影画像対応メタデータ
　これらのデータを、画像撮影、情報取得部１１０からデータ処理部１２０に送信し、フライト期間中に、リアルタイムで画素単位のＮＤＶＩ値算出処理等のデータ処理を実行する構成としてもよい。
　なお、この処理を実行する場合、画像撮影、情報取得部１１０とデータ処理部１２０は、それぞれ通信部を有する構成とする。
　次に、図４に示す画像処理装置１００のデータ処理部１２０の構成と実行する処理について説明する。
　図４に示すように、データ処理部１２０は、ＮＤＶＩ算出部１２１、太陽位置推定部１２２、太陽光入反射角算出部１２３、ＮＤＶＩ補正部１２４、ＮＤＶＩ画像生成部１２５を有する。
　データ処理部１２０は、画像撮影、情報取得部１１０の取得した画像や位置情報等を取得し、取得情報に基づいて、画像撮影、情報取得部１１０の取得した画像の構成画素単位で高精度なＮＤＶＩ値を算出し、算出したＮＤＶＩ値を画素値として設定したＮＤＶＩ画像を生成して画像表示部１３０に出力する。
　あるいは、前述したように、記憶部にデータ処理部１２０の生成情報、例えばＮＤＶＩ画像を記録する処理を実行する。
　図６にデータ処理部１２０の実行する処理シーケンスを説明するフローチャートを示す。
　このフローに従って、データ処理部１２０の実行する処理シーケンスについて説明する。なお、図６に示すフローチャートに従った処理は、例えば画像処理装置１００の記憶部に格納されたプログラムに従って実行可能である。例えばプログラム実行機能を有するＣＰＵ等を有するデータ処理部（制御部）の制御の下で実行可能である。
　以下、図６に示すフローチャートの各ステップの処理について、順次、説明する。
　　（ステップＳ１０１）
　まず、データ処理部１２０は、ステップＳ１０１において、撮影画像、および撮影画像対応のメタデータを入力する。
　前述したように、例えばドローンに搭載されたマルチスペクトルカメラを有する画像撮影、情報取得部１１０は、上空から農場等の植物を一定間隔で撮影し、異なる波長のＲＥＤ、ＮＩＲ画像の複数の画像ペアとそのメタデータをメモリ１１４に格納する。
　データ処理部１２０は、この画像ペアとメタデータを入力する。
　図４に示すように、画像撮影、情報取得部１１０のＲＥＤ、ＮＩＲ画像撮像部（カメラ）１１１が撮影したＲＥＤ、ＮＩＲ画像の複数の画像ペアは、データ処理部１２０のＮＤＶＩ算出部１２１に入力される。
　また、画像撮影、情報取得部１１０のカメラ位置姿勢推定部（ＧＰＳ等）１１２が、推定した画像撮影時のカメラ３次元位置（位置、姿勢）情報は、データ処理部１２０の太陽位置推定部１２２、太陽光入反射角算出部１２３、ＮＤＶＩ補正画像生成部１２５に入力される。
　さらに、時計部１１３の計測した画像撮影時の時刻情報は、太陽位置推定部１２２に入力される。
　　（ステップＳ１０２）
　次に、データ処理部１２０は、ステップＳ１０２において、画像撮影、情報取得部１１０のＲＥＤ、ＮＩＲ画像撮像部（カメラ）１１１が撮影したＲＥＤ、ＮＩＲ画像の各画素のＮＤＶＩ値を算出する。
　この処理は、図４に示すデータ処理部１２０のＮＤＶＩ算出部１２１が実行する処理である。
　ＮＤＶＩ算出部１２１は、ＮＩＲ画像撮像部（カメラ）１１１が撮影したＲＥＤ、ＮＩＲ画像、例えばＮペアの画像ペアから、順次、同一時刻に撮影されたＲＥＤ、ＮＩＲ画像の画像ペアを取得し、さらに、取得した１対のＲＥＤ、ＮＩＲ画像ペアの対応画素の画素値を取得して、各画素単位のＮＤＶＩ値を算出する。
　時刻ｋに撮影されたＮＤＶＩ画像の画素位置（Ｘ，Ｙ）＝（ｉ，ｊ）のＮＤＶＩ値を、ＮＤＶＩ（ｋ，ｉ，ｊ）とする。
　ＮＤＶＩ算出部１２１は、先に説明した（式１）と同じ以下の（式１）に従って各画素単位のＮＤＶＩ値を算出する。
　ＮＤＶＩ＝（ＮＩＲ－ＲＥＤ）／（ＮＩＲ＋ＲＥＤ）・・・（式１）
　上記（式１）において、
　ＲＥＤ，ＮＩＲは、画像撮影、情報取得部１１０のＲＥＤ、ＮＩＲ画像撮像部（カメラ）１１１が撮影したＲＥＤ、ＮＩＲ画像の対応画素位置の画素値、すなわち、マルチスペクトルカメラにより測定された画像の各画素におけるＲＥＤ波長（約０．６３～０．６９μｍ）とＮＩＲ波長（約０．７６～０．９０μｍ）の強度（画素値）である。
　なお、上記（式１）を画素単位のＮＤＶＩ値、すなわち、時刻ｋに撮影されたＮＤＶＩ画像の画素位置（Ｘ，Ｙ）＝（ｉ，ｊ）のＮＤＶＩ値であるＮＤＶＩ（ｋ，ｉ，ｊ）の算出式として示すと、以下の式（式１ａ）として示すことができる。
　ＮＤＶＩ（ｋ，ｉ，ｊ）＝（ＮＩＲ（ｋ，ｉ，ｊ）－ＲＥＤ（ｋ，ｉ，ｊ））／（ＮＩＲ（ｋ，ｉ，ｊ）＋ＲＥＤ（ｋ，ｉ，ｊ））・・・（式１ａ）
　　（ステップＳ１０３）
　次に、データ処理部１２０は、ステップＳ１０３において、画素対応太陽位置を算出する。すなわち、画像撮影、情報取得部１１０のＲＥＤ、ＮＩＲ画像撮像部（カメラ）１１１が撮影したＲＥＤ、ＮＩＲ画像の画像撮影時の太陽位置を算出する。なお、算出する太陽位置は、画像内の各構成画素から観察される画素対応太陽位置である。
　この処理は、図４に示すデータ処理部１２０の太陽位置推定部１２２が実行する処理である。
　太陽位置推定部１２２は、画像撮影、情報取得部１１０のカメラ位置姿勢推定部（ＧＰＳ等）１１２が推定した画像撮影時のカメラ３次元位置（位置、姿勢）情報と、時計部１１３の計測した画像撮影時の時刻情報を入力し、これらの入力情報に基づいて、画像撮影、情報取得部１１０のＲＥＤ、ＮＩＲ画像撮像部（カメラ）１１１が撮影したＲＥＤ、ＮＩＲ画像の画像撮影時の太陽位置を算出する。
　なお、カメラ３次元位置（位置、姿勢）情報と、時計部１１３の計測した画像撮影時の時刻情報は、ＲＥＤ、ＮＩＲ画像撮像部（カメラ）１１１が撮影したＲＥＤ、ＮＩＲ画像のメタ情報として設定されている情報である。
　ＲＥＤ、ＮＩＲ画像撮像部（カメラ）１１１が撮影したＲＥＤ，ＮＩＲ画像には、撮影時のカメラ位置姿勢情報（緯度、経度、高度、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗ）と撮影時刻情報がメタ情報として紐付けされており、太陽位置推定部１２２は、まず、これらのメタ情報からＮＤＶＩ画像の地表面への投影位置を決定する。
　図７を参照して、太陽位置推定部１２２の実行する処理について説明する。図７に示すように、太陽位置推定部１２２は、まず、画像撮影時のメタ情報であるカメラ位置姿勢情報（緯度、経度、高度、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗ）に基づいて、ＲＥＤ、ＮＩＲ画像撮像部（カメラ）１１１が撮影したＲＥＤ，ＮＩＲ画像の地表面への投影位置、すなわち図７に示す撮影画像投影位置２０１を決定する。
　この撮影画像投影位置２０１の決定処理により、地表面に投影した撮影画像中のすべての画素位置を「緯度・経度」で表すことができる。すなわち、図７に示す投影画素位置２０２である。
　時刻ｋに撮影されたＮＤＶＩ画像Ｉｋを地表面へ投影した場合、そのＮＤＶＩ画像Ｉ内の画素位置（Ｘ，Ｙ）＝（ｉ，ｊ）に対応する投影画素Ｉｉｊｋの位置も「緯度・経度」により定まる。
　次に、太陽位置推定部１２２の実行する太陽位置推定処理の具体例について説明する。
　図７に示すように、太陽位置推定部１２２は、時刻ｋにおける投影画素Ｉｉｊｋの画素位置から観測される太陽位置（画素対応太陽位置）を、
　太陽の方位角＝ａｚｉｍｕｔｈ（ｋ，ｉ，ｊ）と、
　太陽の高度角＝ａｌｔｉｔｕｄｅ（ｋ，ｉ，ｊ）、
　これら、２つの角度情報として算出する。
　なお、（ｋ，ｉ，ｊ）は、それぞれ（撮影時刻インデックス、画素Ｘ位置インデックス，画素Ｙ位置インデックス）に対応する。
　なお、地上のある観測点の位置（緯度・経度）と観測時刻を入力情報として、太陽位置を規定する太陽の方位角（ａｚｉｍｕｔｈ）、太陽の高度角（ａｌｔｉｔｕｄｅ）を算出する処理は、従来から知られる手法が適用可能である。
　このように、太陽位置推定部１２２は、画像撮影時の時刻ｋにおける撮影画像内の各画素Ｉｉｊｋ対応の投影位置（＝被写体位置）から観察される太陽位置、すなわち画素対応太陽位置を算出する。
　　（ステップＳ１０４）
　次に、データ処理部１２０は、ステップＳ１０４において、画素対応太陽光入反射角θｓｃを算出する。すなわち、画像撮影、情報取得部１１０のＲＥＤ、ＮＩＲ画像撮像部（カメラ）１１１が撮影したＲＥＤ、ＮＩＲ画像の各構成画素対応の太陽光入反射角θｓｃを算出する。
　太陽光入反射角θｓｃは、各画素対応の被写体位置における被写体に対する太陽光の入射角と反射角の和である。
　このステップＳ１０４の処理は、図４に示すデータ処理部１２０の太陽光入反射角算出部１２３が実行する処理である。
　図８を参照して、太陽光入反射角算出部１２３が実行するＲＥＤ、ＮＩＲ画像の各構成画素対応の太陽光入反射角θｓｃの算出処理の具体例について説明する。
　図８には、時刻ｋに撮影された画像の画素位置（ｉ，ｊ）における、
　「太陽光入反射角θｓｃ（ｋ，ｉ，ｊ）」を示している。
　図８に示すとおり、時刻ｋに撮影された画像Ｉｋの画素位置（ｉ，ｊ）における、
　「太陽光入反射角θｓｃ（ｋ，ｉ，ｊ）」は、
　（ａ）「太陽から投影画素までのベクトルｖＳＩ（ｋ，ｉ，ｊ）」
　（ｂ）「投影画素からカメラまでのベクトルｖＩＣ（ｋ，ｉ，ｊ）」
　これら２つのベクトルがなす角度として定義される。
　ここで、
　（ａ）「太陽から投影画素までのベクトルｖＳＩ（ｋ，ｉ，ｊ）」
　このベクトルは、ステップＳ１０３における太陽位置推定処理において算出した太陽位置（ａｚｉｍｕｔｈ（ｋ，ｉ，ｊ）、ａｌｔｉｔｕｄｅ（ｋ，ｉ，ｊ））から算出できる。
　さらに、
　（ｂ）「投影画素からカメラまでのベクトルｖＩＣ（ｋ，ｉ，ｊ）」
　このベクトルは、投影画素位置とカメラの位置情報（緯度、経度、高度）の差分から算出できる。
　この２つのベクトル、すなわち、
　（ａ）「太陽から投影画素までのベクトルｖＳＩ（ｋ，ｉ，ｊ）」
　（ｂ）「投影画素からカメラまでのベクトルｖＩＣ（ｋ，ｉ，ｊ）」
　これら２つのベクトルの内積から、
　太陽光入反射角θＳＣ（ｋ，ｉ，ｊ）は、次式（式４）を用いて算出することができる。
　太陽光入反射角θＳＣ（ｋ，ｉ，ｊ）
　＝ａｒｃｃｏｓ（ｖＳＩ（ｋ，ｉ，ｊ）・ｖＩＣ（ｋ，ｉ，ｊ））・・・（式４）
　太陽光入反射角算出部１２３は、上記処理により、地表面に投影した全画像の全画素位置について、各画素対応の太陽光入反射角θＳＣ（ｋ，ｉ，ｊ）を算出する。
　　（ステップＳ１０５）
　次に、データ処理部１２０は、ステップＳ１０５において、画像撮影、情報取得部１１０のＲＥＤ、ＮＩＲ画像撮像部（カメラ）１１１が撮影したＲＥＤ、ＮＩＲ画像の全ての画像の全ての画素に対する処理が完了したか否かを判定する。
　すなわち撮影された全ての画像の全ての画素対応の太陽光入反射角θＳＣ（ｋ，ｉ，ｊ）の算出処理が完了したか否かを判定する。
　未処理画素がある場合は、ステップＳ１０２に戻り、未処理画素について、ステップＳ１０２～Ｓ１０４の処理を実行する。
　全ての画像の全ての画素対応の太陽光入反射角θＳＣ（ｋ，ｉ，ｊ）の算出処理が完了したと判定した場合は、ステップＳ１０６に進む。
　　（ステップＳ１０６）
　次に、データ処理部１２０は、ステップＳ１０６において、各画素のＮＤＶＩ値の補正処理を実行する。
　すなわち、図４に示すＮＤＶＩ算出部１２１が算出した各画素対応のＮＤＶＩ値を補正する処理を実行する。
　この処理は、図４に示すデータ処理部１２０のＮＤＶＩ補正部１２４が実行する処理である。
　図４に示すＮＤＶＩ算出部１２１は、図６に示すフロー中のステップＳ１０２において、先に説明したように、以下の（式１）に従って各画素単位のＮＤＶＩ値を算出している。
　ＮＤＶＩ＝（ＮＩＲ－ＲＥＤ）／（ＮＩＲ＋ＲＥＤ）・・・（式１）
　しかし、この算出値は、各画素対応の太陽光入反射角を考慮することなく算出された値であるため、誤差を含む値である。
　ＮＤＶＩ補正部１２４は、この誤差を解消する処理として、各画素対応の太陽光入反射角を考慮した各画素対応のＮＤＶＩ補正値を算出する。
　このＮＤＶＩ補正部１２４が実行する太陽光入反射角を考慮した各画素対応のＮＤＶＩ補正値算出処理の詳細については、後段で図１０のフローを参照して説明する。
　ＮＤＶＩ補正部１２４は、太陽光入反射角を考慮した各画素対応のＮＤＶＩ補正値を算出して、算出したＮＤＶＩ補正値をＮＤＶＩ補正画像生成部１２５に出力する。
　　（ステップＳ１０７）
　次に、データ処理部１２０は、ステップＳ１０７において、補正ＮＤＶＩ値を出力画素値としたＮＤＶＩ補正画像を生成する。なお、必要に応じて複数のＮＤＶＩ補正画像をつなぎあわせるスティッチ処理も実行する。
　この処理は、図４に示すデータ処理部１２０のＮＤＶＩ補正画像生成部１２５が実行する処理である。
　ＮＤＶＩ補正画像生成部１２５は、ＮＤＶＩ補正部１２４が、上述したステップＳ１０６において算出したＮＤＶＩ補正値によって構成される画像、すなわち、ＮＤＶＩ補正画像を生成する。
　このＮＤＶＩ補正画像は、各画素単位で各画素対応の太陽入反射角を考慮して補正されたＮＤＶＩ補正値によって構成された画素値を有し、より精度の高い植物の活性度を示す画素値（ＮＤＶＩ補正画素値）が設定された画像となる。
　このＮＤＶＩ補正画像生成部１２５が生成したＮＤＶＩ補正画像は、図４に示す画像表示部１３０に表示される。
　さらに、図４には示していないが、画像処理装置１００の記憶部に格納してもよい。
　なお、ＮＤＶＩ補正画像生成部１２５は、必要に応じて複数のＮＤＶＩ補正画像をつなぎあわせるスティッチ処理も実行する。
　すなわち、複数のＮＤＶＩ補正画像をつなぎあわせるスティッチ処理により１枚の合成画像を生成する。
　図９を参照して、合成画像生成処理の具体例について説明する。
　図９に示すように、ＮＤＶＩ補正画像生成部１２５は、ＮＤＶＩ補正値によって構成される画像を撮影枚数分、生成する。例えば、Ｎ枚の連続撮影画像に対応するＮ枚のＮＤＶＩ補正画像を生成する。
　次に、これらの複数の画像を、各画像の地表面における投影位置（撮影対象の被写体位置）に応じてつなぎあわせるスティッチ処理を実行する。
　なお、各画像の地表面における投影位置（撮影対象の被写体位置）は、先に図７を参照して説明したように、画像撮影時のメタ情報であるカメラ位置姿勢情報（緯度、経度、高度、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗ）に基づいて算出することができる。
　ＮＤＶＩ補正画像生成部１２５は、複数画像のスティッチ処理により、例えば、広大な農場全体の撮影画像に相当するスティッチ合成画像２２０を生成する。
　このＮＤＶＩ補正画像生成部１２５が生成したスティッチ合成画像２２０は、図４に示す画像表示部１３０に表示される。
　さらに、図４には示していないが、画像処理装置１００の記憶部に格納してもよい。
　　［４．ＮＤＶＩ補正部が実行するＮＤＶＩ値の補正処理の詳細について］
　次に、図４に示すデータ処理部１２０のＮＤＶＩ補正部１２４が実行するＮＤＶＩ値の補正処理の詳細について説明する。
　すなわち、図６に示すフローチャートのステップＳ１０６の処理の詳細である。
　図４に示すデータ処理部１２０のＮＤＶＩ補正部１２４は、ＮＤＶＩ算出部１２１が算出した各画素対応のＮＤＶＩ値を補正する処理を実行する。
　前述したように、ＮＤＶＩ算出部１２１は、図６に示すフロー中のステップＳ１０２において、以下の（式１）に従って各画素単位のＮＤＶＩ値を算出する。
　ＮＤＶＩ＝（ＮＩＲ－ＲＥＤ）／（ＮＩＲ＋ＲＥＤ）・・・（式１）
　しかし、この算出値は、各画素対応の太陽光入反射角を考慮することなく算出された値であるため、誤差を含む値である。
　ＮＤＶＩ補正部１２４は、この誤差を解消する処理として、各画素対応の太陽光入反射角を考慮した各画素対応のＮＤＶＩ補正値を算出する。
　以下、このＮＤＶＩ補正部１２４が実行する太陽光入反射角を考慮した各画素対応のＮＤＶＩ補正値算出処理の詳細について説明する。
　図１０に示すフローチャートは、ＮＤＶＩ補正部１２４が実行する太陽光入反射角を考慮した各画素対応のＮＤＶＩ補正値算出処理の詳細シーケンスを説明するフローチャートである。
　以下、このフローの各ステップの処理について、順次、説明する。
　　（ステップＳ２０１）
　まず、データ処理部１２０のＮＤＶＩ補正部１２４は、ステップＳ２０１において、サンプリング点二次元分布近似モデル式の生成に適用するサンプリング点（画素）を選択し、選択したサンプリング点のＮＤＶＩ値と、画素対応太陽光入反射角θｓｃを取得する。
　サンプリング点は、時刻ｋに撮影した撮影画像（ＲＥＤ、ＮＩＲ画像）に基づいて、ＮＤＶＩ算出部１２１が算出した各画素対応のＮＤＶＩ値を画素値として設定したＮＤＶＩ画像から選択する。
　なお、先に説明したように、時刻ｋに撮影されたＮＤＶＩ画像の画素位置（Ｘ，Ｙ）＝（ｉ，ｊ）のＮＤＶＩ値は、ＮＤＶＩ（ｋ，ｉ，ｊ）である。
　画素対応太陽光入反射角θｓｃは、太陽光入反射角算出部１２３において算出される値である。先に図８を参照して説明したように、時刻ｋに撮影された画像の画素位置（ｉ，ｊ）における太陽光入反射角θｓｃは、θｓｃ（ｋ，ｉ，ｊ）である。。
　図１１を参照して、ステップＳ２０１の処理の具体例について説明する。
　ＮＤＶＩ補正部１２４は、ステップＳ２０１において、サンプリング点二次元分布近似モデル式の生成に適用するサンプリング点（画素）を選択し、選択したサンプリング点のＮＤＶＩ値と、画素対応太陽光入反射角θｓｃを取得する。
　ＮＤＶＩ補正部１２４は、図１１に示すように、ＮＤＶＩ画像の構成画素（ｉ，ｊ）における、
　ＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））と、
　入反射角θＳＣ（ｋ，ｉ，ｊ）、
　これらの２つの変数をサンプリング点（画素）から取得する。
　サンプリング点は、例えばＮ枚の画像、すなわち同一フライト中に撮影したＮペアの撮影画像（ＲＥＤ、ＮＩＲ画像）から生成したＮＤＶＩ画像から取得する。
　サンプリング点の数は、ステップＳ２０３において実行するサンプリング点二次元分布近似モデル式の生成が可能となる数であればよい。
　ステップＳ２０３では、複数のサンプリング点のＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））と、入反射角θＳＣ（ｋ，ｉ，ｊ）の各データに基づいて、サンプリング点二次元分布近似モデル式を生成する。
　すなわち、複数のサンプリング点のＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））と、入反射角θＳＣ（ｋ，ｉ，ｊ）との２つのデータについて、ＮＤＶＩ値－入射角の二次元平面における分布状況を示すサンプリング点二次元分布近似モデル式を生成する。
　このモデル式生成は、例えば最小二乗法に基づく回帰直線（ｙ＝ａｘ＋ｂ）の算出処理として実行される。この最小二乗法に基づく回帰直線（ｙ＝ａｘ＋ｂ）の算出が可能な数のサンプリング点を取得すればよい。
　サンプリング点の数は、具体的には、例えば、単一植物を撮影したフライトのデータであれば１０００以上が目安となる。
　複数のサンプリング点のＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））と、入反射角θＳＣ（ｋ，ｉ，ｊ）の分布を、ＮＤＶＩ値と反射角θＳＣの二次元グラフにプロットした一例を図１２に示す。
　図１２（ａ）は、あるフライトで撮影されたＮペアの画像に基づく画素対応の複数のサンプリング点のＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））と、入反射角θＳＣ（ｋ，ｉ，ｊ）の分布データである。
　横軸（ｘ軸）は、ｘ＝入反射角θＳＣ（ｋ，ｉ，ｊ）であり、
　縦軸（ｙ軸）は、ｙ＝ＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））である。
　図１２（ａ）に示すサンプリング点のプロットは、右肩上がりの分布を有している。
　これは、ｘ＝入反射角θＳＣが大きくなるにつれて、ｙ＝ＮＤＶＩ値が大きくなる傾向を示すものである。
　先に説明したように、正反射分が大きい場合、すなわち、太陽が南中にある状態で、植物を真上から撮影すると、マルチスペクトルカメラが測定する正反射成分が大きくなり、ＮＤＶＩ値が小さくなるという理論に一致したデータである。
　このように、ＮＤＶＩ画像生成部１２１が生成したＮＤＶＩ画像は、先に説明した（式１）、すなわち、
　ＮＤＶＩ＝（ＮＩＲ－ＲＥＤ）／（ＮＩＲ＋ＲＥＤ）・・・（式１）
　上記（式１）に従って各画素対応のＮＤＶＩ値を算出しているため、正反射の影響でＮＤＶＩ値に誤差が発生したＮＤＶＩ画像となっている。
　ＮＤＶＩ補正部１２４は、この誤差を解消した補正ＮＤＶＩ値を算出する胥吏を行う。すなわち、正反射の影響を取り除き、ｘ＝入反射角θＳＣの大小に関わらず、ｙ＝ＮＤＶＩ値が一定となる補正ＮＤＶＩ値を算出する。
　サンプリング点の選択は、複数のＮＤＶＩ画像から行うが、ランダムに取得してもよいし、任意の規則に従って取得してもよい。
　なお、例えば、補正ＮＤＶＩ値の算出対象とする植物の種類が複数存在する場合は、特定の植物領域のみでサンプリングとサンプリング点二次元分布近似モデル式の生成を行う構成としてもよい。
　このように植物種類対応の処理を行うことで、植物単位の高精度な補正ＮＤＶＩ値を算出するこが可能となる。すなわち植物種類単位の高精度な活性度判定を行うことができる。
　この場合、データ処理部１２０のＮＤＶＩ補正部１２４は、植物種類対応のサンプリング点二次元分布近似モデル式を算出し、算出した植物種類対応のサンプリング点二次元分布近似モデル式に基づいて、植物種類対応の補正ＮＤＶＩ値算出式を生成し、生成した植物種類対応の補正ＮＤＶＩ値算出式に従って、植物種類対応の補正ＮＤＶＩ値を算出する処理を実行する。
　　（ステップＳ２０２）
　上述したように、データ処理部１２０のＮＤＶＩ補正部１２４は、ステップＳ２０１において、ＮＤＶＩ補正に利用するサンプリング点二次元分布近似モデル式の生成に適用するサンプリング点（画素）を選択し、選択したサンプリング点のＮＤＶＩ値と、画素対応太陽光入反射角θｓｃを取得する。
　ステップＳ２０２では、ステップＳ２０１において取得したサンプリング点が、規定数に達したか否かを判定する。
　規定数とは、後段のステップＳ２０１において、Ｓ２０３における回帰直線（ｙ＝ａｘ＋ｂ）の算出が可能な数のサンプリング点数であり、予め規定した数とする。
　なお、前述したように、植物種類単位のサンプリング点二次元分布近似モデル式を生成する場合は、植物種類単位で規定数のサンプリング点を選択する。
　予め規定した数のサンプリング点数分のＮＤＶＩ値と、画素対応太陽光入反射角θｓｃの取得が完了した場合は、ステップＳ２０３に進み、未完了の場合は、ステップＳ２０１の処理を継続する。
　　（ステップＳ２０３）
　予め規定した数のサンプリング点数分のＮＤＶＩ値と、画素対応太陽光入反射角θｓｃの取得が完了した場合は、ステップＳ２０３に進む。
　ＮＤＶＩ補正部１２４は、ステップＳ２０３において、ステップＳ２０１で取得した予め規定した数のサンプリング点数分のＮＤＶＩ値と、画素対応太陽光入反射角θｓｃの各データを用いて、サンプリング点二次元分布近似モデル式を生成する。
　具体的には、図１２（ａ）に示す複数のサンプリング点のＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））と、入反射角θＳＣ（ｋ，ｉ，ｊ）との対応関係を規定するモデル式を求める。
　サンプリング点のＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））と、入反射角θＳＣ（ｋ，ｉ，ｊ）との対応関係を規定するモデル式は様々なモデル式が利用可能であるが、ここでは一例として、サンプリング点のＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））と、入反射角θＳＣ（ｋ，ｉ，ｊ）との対応関係を規定する一次方程式を利用した例について説明する。
　サンプリング点について、
　ｙ＝ＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））、
　ｘ＝入反射角θＳＣ（ｋ，ｉ，ｊ）として、ｘ，ｙとの対応関係を以下に示す（式５）として表現する。
　ｙ＝ａｘ＋ｂ・・・（式５）
　ただし、ａ，ｂは係数、
　ＮＤＶＩ補正部１２４は、ステップＳ２０３において、上記の（式５）に示す一次方程式をサンプリング点二次元分布近似モデル式として生成する。
　ＮＤＶＩ補正部１２４は、ステップＳ２０３において、上記（式５）に示す一次方程式の係数ａ，ｂを最小二乗法を用いて算出する。
　時刻ｋの画像のサンプリング点（ｉ，ｊ）のＮＤＶＩ値と、入反射角θＳＣを、
　ｙｋｉｊ＝ＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））、
　ｘｋｉｊ＝入反射角θＳＣ（ｋ，ｉ，ｊ）
　とする。すなわち、
　（ｘｋｉｊ，ｙｋｉｊ）＝（θｓｃ（ｋ，ｉ，ｊ），ＮＤＶＩ（ｋ，ｉ，ｊ））としたとき、係数ａ，ｂは一般的な最小二乗法の回帰直線を求める方法を用いて、次の（式６）に従って算出することができる。
Figure JPOXMLDOC01-appb-M000002
　図１２（ｂ）に示す直線が、上記（式６）に従って算出された係数ａ，ｂを用いた一次方程式ｙ＝ａｘ＋ｂに対応する直線である。
　図１２（ｂ）に示すように、一次方程式ｙ＝ａｘ＋ｂに対応する直線は、サンプリング点群を直線で近似した式（サンプリング点二次元分布近似モデル式）となる。
　なお、ここでは直線によるモデル式の導出を例に説明したが、サンプリング点の分布は、撮影対象となる植物の種類や生育時期によって大きく異なるため、入力サンプルを適切に表現できるモデル式をユーザが選択することも可能である。具体的には、多項式回帰、ロジスティック回帰などの処理を適用したモデル式算出も可能である。
　　（ステップＳ２０４～Ｓ２０５）
　ステップＳ２０３においてサンプリング点二次元分布近似モデル式を生成したＮＤＶＩ補正部１２４は、次に、ステップＳ２０４～Ｓ２０５において生成したサンプリング点二次元分布近似モデル式の妥当性を判断する。
　例えば、ステップＳ２０３において上述した一次方程式、すなわち、
　ｙ＝ａｘ＋ｂ・・・（式５）
　ただし、
　ｙ＝ＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））、
　ｘ＝入反射角θＳＣ（ｋ，ｉ，ｊ）
　ａ，ｂは係数、
　上記（式５）の一次方程式をサンプリング点二次元分布近似モデル式として生成した場合、この一次方程式からなるモデル式の妥当性を判断する。
　上記（式５）に示す一次方程式では、係数ａが負の値をとると、太陽光の入反射角（ｘ：入反射角θＳＣ）が大きくなるにつれて、ｙ：ＮＤＶＩ値が小さくなる。
　これは「太陽光正反射の影響増加に伴うＮＤＶＩ値の低下」という既存理論と相反するモデルを作成したこととなる。
　このように、ステップＳ２０３において算出した係数ａが負の値であるような場合は、サンプリング点二次元分布近似モデル式の妥当性はないと判定する。この場合は、ステップＳ２０５の判定＝Ｎｏとなり、後続ステップＳ２０６以降のサンプリング点二次元分布近似モデル式を適用したＮＤＶＩ値補正処理を実行することなく、処理を終了する。
　なお、ステップＳ２０４～Ｓ２０５におけるサンプリング点二次元分布近似モデル式の妥当性の判断基準は、ステップＳ２０３で生成したモデル式に応じて変更する。
　一方、ステップＳ２０３において算出した係数ａが正の値であり、「太陽光正反射の影響増加に伴うＮＤＶＩ値の低下」という既存理論と一致するサンプリング点二次元分布近似モデル式が生成されたと判断された場合は、ステップＳ２０５の判定＝Ｙｅｓとなり、後続ステップＳ２０６以降のサンプリング点二次元分布近似モデル式を適用したＮＤＶＩ値補正処理を実行する。
　　（ステップＳ２０６）
　ステップＳ２０４～Ｓ２０５において、ステップＳ２０３で生成したサンプリング点二次元分布近似モデル式の妥当性ありと判定した場合は、ステップＳ２０６に進む。
　ＮＤＶＩ補正部１２４は、ステップＳ２０６において、ステップＳ２０３で生成したサンプリング点二次元分布近似モデル式を適用したＮＤＶＩ値補正処理を実行する。
　ステップＳ２０６では、ステップＳ２０３において生成したサンプリング点二次元分布近似モデル式、すなわち、
　ｙ＝ａｘ＋ｂ・・・（式５）
　ただし、
　ｙ＝ＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））、
　ｘ＝入反射角θＳＣ（ｋ，ｉ，ｊ）
　ａ，ｂは係数、
　ＮＤＶＩ補正部１２４は、上記（式５）のサンプリング点二次元分布近似モデル式を用いて、ＮＤＶＩ算出部１２１が生成したＮＤＶＩ画像の画素値（ＮＤＶＩ値）をすべて補正する。
　図１３を参照して、ステップＳ２０６においてＮＤＶＩ補正部１２４が実行するＮＤＶＩ値補正処理の具体例について説明する。
　ＮＤＶＩ補正部１２４は、まず、補正の基準となる入反射角、すなわち、
　ｘｂｓａｅ＝θｓｃｂａｓｅ
　を決定する。
　この補正基準入反射角は、太陽光正反射によるＮＤＶＩノイズが十分に小さくなる入反射角を設定する。具体的には、例えば４５°程度の固定値を補正基準入反射角（ｘｂｓａｅ）として設定すればよい。
　ＮＤＶＩ補正部１２４は、次に、補正対象となる時刻ｋの撮影画像に基づくＮＤＶＩ画像の、画素（ｉ，ｊ）におけるＮＤＶＩ値を、
　ＮＤＶＩ（ｋ，ｉ，ｊ）＝ｙｋｉｊ、
　同一画素における太陽光入反射角を、
　θｓｃ（ｋ，ｉ，ｊ）＝ｘｋｉｊ、
　とおき、
　補正後のＮＤＶＩ値を、
　ＮＤＶＩｃ（ｋ，ｉ，ｊ）＝ｙｃｋｉｊ、
　とする。
　この設定において、ステップＳ２０３において生成したサンプリング点二次元分布近似モデル式、すなわち、
　ｙ＝ａｘ＋ｂ・・・（式５）
　このサンプリング点二次元分布近似モデル式を、補正対象となる時刻ｋの撮影画像に基づくＮＤＶＩ画像の、画素（ｉ，ｊ）におけるＮＤＶＩ値、すなわち、
　ＮＤＶＩ（ｋ，ｉ，ｊ）＝ｙｋｉｊ、
　さらに、同一画素における太陽光入反射角、すなわち、
　θｓｃ（ｋ，ｉ，ｊ）＝ｘｋｉｊ、
　これらに当てはめると、
　ｙｋｉｊ＝ａｘｋｉｊ＋ｂ
　となる。
　この一次方程式が図１３（１）に示すサンプリング点二次元分布近似モデル式であり、図１３（２）に点線で示す直線に相当する。この直線は、サンプリング点の分布を示す一次方程式である。
　しかし、先に説明したように、このサンプリング点の分布を示すＮＤＶＩ値と太陽光入反射角との対応関係データは、ＮＤＶＩ画像生成部１２１が生成したＮＤＶＩ画像に基づいて生成された関係式である。
　ＮＤＶＩ画像生成部１２１は、前述の（式１）、すなわち、
　ＮＤＶＩ＝（ＮＩＲ－ＲＥＤ）／（ＮＩＲ＋ＲＥＤ）・・・（式１）
　上記（式１）に従って各画素対応のＮＤＶＩ値を算出しているため、正反射の影響でＮＤＶＩ値に誤差が発生したＮＤＶＩ画像となっている。
　ＮＤＶＩ補正部１２４は、この誤差を解消した補正ＮＤＶＩ値を算出する胥吏を行う。すなわち、正反射の影響を取り除き、ｘ＝入反射角θＳＣの大小に関わらず、ｙ＝ＮＤＶＩ値が一定となる補正ＮＤＶＩ値を算出する。
　ＮＤＶＩ画像生成部１２１は、この処理のために、まず、補正の基準となる入反射角、すなわち、
　ｘｂｓａｅ＝θｓｃｂａｓｅ
　を決定する。
　図１３（２）のグラフの横軸（ｘ軸）に示す補正基準入反射角（θｓｃｂａｓｅ＝ｘｂｓａｅ）である。
　なお、この補正基準入反射角（θｓｃｂａｓｅ＝ｘｂｓａｅ）に対応する補正基準ＮＤＶＩ値は、ｙｂａｓｅである。すなわち、
　ｙｂａｓｅ＝ａｘｂｓａｅ＋ｂ
　である。
　ＮＤＶＩ補正部１２４は、次に、太陽光入反射角の変化に伴うＮＤＶＩ値の変化を低減させた補正ＮＤＶＩ値を算出する補正ＮＤＶＩ値算出式を生成する。
　すなわち、ｘ＝入反射角θＳＣの大小に関わらず、ｙ＝ｙｂａｓｅとする補正ＮＤＶＩ値算出式を生成する。
　生成する補正ＮＤＶＩ値算出式は、
　時刻ｋの画像のサンプリング点（ｉ，ｊ）のＮＤＶＩ値と、入反射角θＳＣ、すなわち、
　ｙｋｉｊ＝ＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））、
　ｘｋｉｊ＝入反射角θＳＣ（ｋ，ｉ，ｊ）
　これらの値に基づいて、補正ＮＤＶＩ値、すなわち、
　ＮＤＶＩｃ（ｋ，ｉ，ｊ）＝ｙｃｋｉｊ、
　上記補正ＮＤＶＩ値（ｙｃｋｉｊ）を算出するための式である。
　ＮＤＶＩ補正部１２４は、太陽光入反射角の変化に伴うＮＤＶＩ値の変化を低減させた補正ＮＤＶＩ値を算出する補正ＮＤＶＩ値算出式を生成する。
　すなわち、ｘ＝入反射角θＳＣの大小に関わらず、ほぼ一定の補正ＮＤＶＩ値（ｙ＝ｙｂａｓｅ）を算出する以下の（式７）に示す補正ＮＤＶＩ値算出式を生成する。
　ｙｃｋｉｊ＝ｙｂａｓｅ＋｛ｙｋｉｊ－（ａｘｋｉｊ＋ｂ）｝・・・（式７）
　上記補正式（式７）中、後半部の
　｛ｙｋｉｊ－（ａｘｋｉｊ＋ｂ）｝
　この式は、図１３（２）の、
　点線で示す（ｙ＝ａｘ＋ｂ）のラインと、
　実線で示すｘ軸に平行なライン、
　ｙｃｋｉｊ＝ｙｂａｓｅ＋｛ｙｋｉｊ－（ａｘｋｉｊ＋ｂ）｝・・・（式７）
　この２つのラインの差分に相当する。
　上記（式７）に示す式に、時刻ｋの画像のサンプリング点（ｉ，ｊ）のＮＤＶＩ値と、入反射角θＳＣ、すなわち、
　ｙｋｉｊ＝ＮＤＶＩ値（ＮＤＶＩ（ｋ，ｉ，ｊ））、
　ｘｋｉｊ＝入反射角θＳＣ（ｋ，ｉ，ｊ）
　これらの値を入力すると、すべての入力値に対して、
　ｙｃｋｉｊ≒ｙｂａｓｅ
　となる結果が得られる。
　すなわち、サンプリング点二次元分布近似モデル式と実際のＮＤＶＩ値の差分を保持したまま、正反射によるサンプリング点の傾きを平らに補正することができる。
　　（ステップＳ２０７）
　最後に、ＮＤＶＩ補正部１２４は、ステップＳ２０７において、全撮影画像の全画素に対応する補正ＮＤＶＩ値の算出処理が完了したか否かを判定する。
　未処理画像がある場合は、ステップＳ２０６に戻り、未処理画素の補正ＮＤＶＩ値を算出する。
　ステップＳ２０７において、全撮影画像の全画素に対応する補正ＮＤＶＩ値の算出処理が完了したと判定した場合は処理を終了する。
　このように、ＮＤＶＩ補正部１２４は、太陽光入反射角を考慮した各画素対応のＮＤＶＩ補正値を算出し、算出したＮＤＶＩ補正値は、ＮＤＶＩ補正画像生成部１２５に出力する。
　ＮＤＶＩ補正画像生成部１２５は、補正ＮＤＶＩ値を出力画素値としたＮＤＶＩ補正画像を生成する。なお、必要に応じて複数のＮＤＶＩ補正画像をつなぎあわせるスティッチ処理も実行する。
　このＮＤＶＩ補正画像は、各画素単位で各画素対応の太陽入反射角を考慮して補正されたＮＤＶＩ補正値によって構成された画素値を有し、より精度の高い植物の活性度を示す画素値（ＮＤＶＩ補正画素値）が設定された画像となる。
　このＮＤＶＩ補正画像生成部１２５が生成したＮＤＶＩ補正画像は、図４に示す画像表示部１３０に表示される。
　さらに、図４には示していないが、画像処理装置１００の記憶部に格納してもよい。
　本開示の処理によって生成されるＮＤＶＩ補正値によって構成された画素値を有するＮＤＶＩ補正画像と、本開示の処理を適用していない従来のＮＤＶＩ画像の対比例を図１４に示す。図１４には、以下の２つのＮＤＶＩ画像を示している。
　（ａ）補正前ＮＤＶＩ画像
　（ｂ）補正後ＮＤＶＩ画像
　（ａ）補正前ＮＤＶＩ画像は、本開示の補正処理を実行していないＮＤＶＩ画像である。すなわち、ＮＤＶＩ算出部１２１が先に説明した（式１）、すなわち、
　ＮＤＶＩ＝（ＮＩＲ－ＲＥＤ）／（ＮＩＲ＋ＲＥＤ）・・・（式１）
　上記（式１）に従って算出したＮＤＶＩ値を画素値として設定した画像である。
　すなわち、正反射の影響でＮＤＶＩ値に誤差が発生したＮＤＶＩ画像である。中央左下領域は、周囲に比べて暗くなっており、この領域が太陽光正反射成分のノイズが多い領域であり、ＮＤＶＩ値が小さい値となっている。
　（ｂ）補正後ＮＤＶＩ画像は、本開示の補正処理を実行したＮＤＶＩ補正画像である。この画像は、中央左下領域が、周囲に比べて暗くなっていない。この領域は太陽光正反射成分のノイズが多い領域であるが、本開示のＮＤＶＩ値補正処理によって、ＮＤＶＩ値が周囲とほぼ同様の値に補正されている。
　すなわち、図１４（ｂ）に示す画像は、先に説明した以下に示す（式７）
　ｙｃｋｉｊ＝ｙｂａｓｅ＋｛ｙｋｉｊ－（ａｘｋｉｊ＋ｂ）｝・・・（式７）
　この（式７）によって算出される補正ＮＤＶＩ値を設定した画像である。
　さらに、図１５を参照してスティッチ画像の例について説明する。図１５には、以下の２つのＮＤＶＩ画像を示している。
　（ａ）補正前ＮＤＶＩ画像（スティッチ画像）
　（ｂ）補正後ＮＤＶＩ画像（ステッィチ画像）
　いずれも、複数のＮＤＶＩ画像をつなぎ和わせたスティッチ画像である。
　（ａ）補正前ＮＤＶＩ画像（スティッチ画像）は、本開示の補正処理を実行していないＮＤＶＩ画像に基づくスティッチ画像（合成画像）である。すなわち、ＮＤＶＩ算出部１２１が先に説明した（式１）、すなわち、
　ＮＤＶＩ＝（ＮＩＲ－ＲＥＤ）／（ＮＩＲ＋ＲＥＤ）・・・（式１）
　上記（式１）に従って算出したＮＤＶＩ値を画素値として設定した画像を複数、つなぎ合せて生成した合成画像である。
　この合成画像の画像境界には、段差がはっきりと見えている。これは、各画像のＮＤＶＩ値に誤差が含まれていることに起因する。
　（ｂ）補正後ＮＤＶＩ画像（スティッチ画像）は、本開示の補正処理を実行したＮＤＶＩ補正画像に基づくスティッチ画像（合成画像）である。この合成画像の画像境界は、段差がほぼ解消されスムーズな境界となっている。本開示のＮＤＶＩ値補正処理によって、正しいＮＤＶＩ値が設定されているためである。
　　［５．画像処理装置のハードウェア構成例について］
　次に、図１６を参照して、本開示の画像処理装置のハードウェア構成例について説明する。図１６に示すハードウェアは、本開示の画像処理装置の具体的なハードウェアの一構成例である。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。
　ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、マウス、マイクロホン、センサなどよりなる入力部３０６、ディスプレイ、スピーカーなどよりなる出力部３０７が接続されている。
　ＣＰＵ３０１は、入力部３０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部３０７に出力する。
　入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
　入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。
　　［６．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　カメラ撮影画像を入力し、構成画素単位を含む入力画像の解析により、前記構成画素単位における植物の活性度を示す植生指標を算出するデータ処理部を有し、
　前記データ処理部は、
　前記構成画素単位における太陽光入射角に基づいて、太陽光入反射角の変化に伴う植生指標の変化を低減させた前記植生指標の補正値を算出する画像処理装置。
　（２）　前記植生指標は、ＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｖｅｇｅｔａｔｉｏｎ　Ｉｎｄｅｘ）値である（１）に記載の画像処理装置。
　（３）　前記入力画像は複数の構成画素単位を含み、
　前記データ処理部は、
　入力画像の複数の構成画素単位から複数のサンプリング点を選択し、選択したサンプリング点のＮＤＶＩ値と太陽光入反射角の二次元分布を近似したサンプリング点二次元分布近似モデル式を算出し、
　算出したサンプリング点二次元分布近似モデル式に基づいて、太陽光入反射角の変化に伴うＮＤＶＩ値の変化を低減させた補正値を算出する補正ＮＤＶＩ値算出式を生成し、
　生成した補正ＮＤＶＩ値算出式に従って、前記補正値を算出する（２）に記載の画像処理装置。
　（４）　前記データ処理部は、
　画像撮影時の太陽位置を推定する太陽位置推定部と、
　前記太陽位置推定部の推定した太陽位置を利用して、前記カメラ撮影画像の構成画素単位の太陽光入反射角θｓｃを算出する太陽光入反射角算出部を有する（１）～（３）いずれかに記載の画像処理装置。
　（５）　前記太陽光入反射角算出部は、
　前記カメラ撮影画像の構成画素に対応する被写体に対する太陽光の入射角と反射角の和を、前記太陽光入反射角θｓｃとして算出する（１）～（４）いずれかに記載の画像処理装置。
　（６）　前記データ処理部は、
　太陽光入反射角を考慮することなく、前記カメラ撮影画像の解析により、ＮＤＶＩ値を算出し、各画素にＮＤＶＩ値を設定したＮＤＶＩ画像を生成するＮＤＶＩ算出部と、
　前記ＮＤＶＩ算出部の生成したＮＤＶＩ画像を入力して、サンプリング点二次元分布近似モデル式に基づいて、太陽光入反射角の変化に伴うＮＤＶＩ値の変化を低減させた補正ＮＤＶＩ値を算出するＮＤＶＩ補正部を有する（１）～（５）いずれかに記載の画像処理装置。
　（７）　前記データ処理部は、
　前記サンプリング点二次元分布近似モデル式として、
　前記サンプリング点のＮＤＶＩ値と太陽光入反射角の二次元分布を近似した一次方程式を算出する（１）～（６）いずれかに記載の画像処理装置。
　（８）　前記データ処理部は、
　前記一次方程式の係数を、最小二乗法を適用した回帰直線算出手法によって算出する（７）に記載の画像処理装置。
　（９）　前記データ処理部は、さらに、
　前記補正値によって構成されるＮＤＶＩ補正画像を生成するＮＤＶＩ補正画像生成部を有する（２）～（８）に記載の画像処理装置。
　（１０）　前記ＮＤＶＩ補正画像生成部は、
　複数のＮＤＶＩ補正画像のスティッチ処理による合成画像を生成する（９）に記載の画像処理装置。
　（１１）　前記データ処理部は、
　異なるタイミングで撮影された複数の画像の構成画素から複数のサンプリング点を選択し、選択したサンプリング点のＮＤＶＩ値と太陽光入反射角の二次元分布を近似したサンプリング点二次元分布近似モデル式を算出する（２）～（１０）いずれかに記載の画像処理装置。
　（１２）　前記データ処理部は、
　算出したサンプリング点二次元分布近似モデル式の妥当性判定を行い、
　妥当性ありの判定がなされたことを条件として、
　算出したサンプリング点二次元分布近似モデル式に基づいて、太陽光入反射角の変化に伴うＮＤＶＩ値の変化を低減させた補正値を算出する補正ＮＤＶＩ値算出式を生成し、
　生成した補正ＮＤＶＩ値算出式に従って、前記補正値を算出する（２）～（１１）いずれかに記載の画像処理装置。
　（１３）　前記データ処理部は、
　算出したサンプリング点二次元分布近似モデル式の妥当性判定処理として、
　前記算出したサンプリング点二次元分布近似モデル式が、太陽光正反射の影響増加に伴うＮＤＶＩ値の低下を示す既存理論に一致する式であるか否かを判定する処理を実行する（１２）に記載の画像処理装置。
　（１４）　前記データ処理部は、
　植物種類対応のサンプリング点二次元分布近似モデル式を算出し、
　算出した植物種類対応のサンプリング点二次元分布近似モデル式に基づいて、植物種類対応の補正ＮＤＶＩ値算出式を生成し、
　生成した植物種類対応の補正ＮＤＶＩ値算出式に従って、植物種類対応の補正値を算出する（２）～（１３）いずれかに記載の画像処理装置。
　（１５）　前記カメラ撮影画像は、ＲＥＤ波長（約０．６３～０．６９μｍ）とＮＩＲ波長（約０．７６～０．９０μｍ）の２つの異なる波長の画像を同時に撮影できるマルチスペクトルカメラにより撮影された画像である（１）～（１４）いずれかに記載の画像処理装置。
　（１６）　前記カメラ撮影画像は、上空から撮影された画像である（１）～（１５）いずれかに記載の画像処理装置。
　（１７）　画像処理装置において実行する画像処理方法であり、
　前記画像処理装置は、カメラ撮影画像を入力し、構成画素単位を含む入力画像の解析により、前記構成画素単位における植物の活性度を示す植生指標を算出するデータ処理部を有し、
　前記データ処理部が、
　前記構成画素単位における太陽光入射角に基づいて、太陽光入反射角の変化に伴う植生指標の変化を低減させた前記植生指標の補正値を算出する画像処理方法。
　（１８）　画像処理装置において画像処理を実行させるプログラムであり、
　前記画像処理装置は、カメラ撮影画像を入力し、構成画素単位を含む入力画像の解析により、前記構成画素単位における植物の活性度を示す植生指標を算出するデータ処理部を有し、
　前記プログラムは、前記データ処理部に、
　前記構成画素単位における太陽光入射角に基づいて、太陽光入反射角の変化に伴う植生指標の変化を低減させた前記植生指標の補正値を算出する処理を実行させるプログラム。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、太陽光入反射角の変化に伴う誤差を低減したＮＤＶＩ値を算出可能とした装置、方法が実現される。
　具体的には、例えば、カメラ撮影画像を入力し、入力画像の解析により、植物の活性度を示すＮＤＶＩ値を算出するデータ処理部を有する。データ処理部は、入力画像の構成画素から複数のサンプリング点を選択し、選択したサンプリング点のＮＤＶＩ値と太陽光入反射角の二次元分布を近似したサンプリング点二次元分布近似モデル式を算出し、算出したサンプリング点二次元分布近似モデル式に基づいて、太陽光入反射角の変化に伴うＮＤＶＩ値の変化を低減させた補正ＮＤＶＩ値を算出する補正ＮＤＶＩ値算出式を生成し、生成した補正ＮＤＶＩ値算出式に従って、補正ＮＤＶＩ値を算出する。
　本構成により、太陽光入反射角の変化に伴う誤差を低減したＮＤＶＩ値を算出可能とした装置、方法が実現される。
　　１０　マルチスペクトルカメラ搭載ドローン
　１００　画像処理装置
　１１０　画像撮影、情報取得部
　１１１　ＲＥＤ、ＮＩＲ画像撮像部（カメラ）
　１１２　カメラ位置姿勢推定部（ＧＰＳ等）
　１１３　時計部
　１１４　メモリ
　１２０　データ処理部
　１２１　ＮＤＶＩ算出部
　１２２　太陽位置推定部
　１２３　太陽光入反射角算出部
　１２４　ＮＤＶＩ補正部
　１２５　ＮＤＶＩ補正画像生成部
　１３０　画像表示部
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　バス
　３０５　入出力インタフェース
　３０６　入力部
　３０７　出力部
　３０８　記憶部
　３０９　通信部
　３１０　ドライブ
　３１１　リムーバブルメディア

Claims (18)

  1. 　カメラ撮影画像を入力し、構成画素単位を含む入力画像の解析により、前記構成画素単位における植物の活性度を示す植生指標を算出するデータ処理部を有し、
    　前記データ処理部は、
    　前記構成画素単位における太陽光入射角に基づいて、太陽光入反射角の変化に伴う植生指標の変化を低減させた前記植生指標の補正値を算出する画像処理装置。
  2. 　前記植生指標は、ＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｖｅｇｅｔａｔｉｏｎ　Ｉｎｄｅｘ）値である請求項１に記載の画像処理装置。
  3. 　前記入力画像は複数の構成画素単位を含み、
    　前記データ処理部は、
    　入力画像の複数の構成画素単位から複数のサンプリング点を選択し、選択したサンプリング点のＮＤＶＩ値と太陽光入反射角の二次元分布を近似したサンプリング点二次元分布近似モデル式を算出し、
    　算出したサンプリング点二次元分布近似モデル式に基づいて、太陽光入反射角の変化に伴うＮＤＶＩ値の変化を低減させた補正値を算出する補正ＮＤＶＩ値算出式を生成し、
    　生成した補正ＮＤＶＩ値算出式に従って、前記補正値を算出する請求項２に記載の画像処理装置。
  4. 　前記データ処理部は、
    　画像撮影時の太陽位置を推定する太陽位置推定部と、
    　前記太陽位置推定部の推定した太陽位置を利用して、前記カメラ撮影画像の構成画素単位の太陽光入反射角θｓｃを算出する太陽光入反射角算出部を有する請求項１に記載の画像処理装置。
  5. 　前記太陽光入反射角算出部は、
    　前記カメラ撮影画像の構成画素に対応する被写体に対する太陽光の入射角と反射角の和を、前記太陽光入反射角θｓｃとして算出する請求項１に記載の画像処理装置。
  6. 　前記データ処理部は、
    　太陽光入反射角を考慮することなく、前記カメラ撮影画像の解析により、ＮＤＶＩ値を算出し、各画素にＮＤＶＩ値を設定したＮＤＶＩ画像を生成するＮＤＶＩ算出部と、
    　前記ＮＤＶＩ算出部の生成したＮＤＶＩ画像を入力して、サンプリング点二次元分布近似モデル式に基づいて、太陽光入反射角の変化に伴うＮＤＶＩ値の変化を低減させた補正ＮＤＶＩ値を算出するＮＤＶＩ補正部を有する請求項２に記載の画像処理装置。
  7. 　前記データ処理部は、
    　前記サンプリング点二次元分布近似モデル式として、
    　前記サンプリング点のＮＤＶＩ値と太陽光入反射角の二次元分布を近似した一次方程式を算出する請求項２に記載の画像処理装置。
  8. 　前記データ処理部は、
    　前記一次方程式の係数を、最小二乗法を適用した回帰直線算出手法によって算出する請求項７に記載の画像処理装置。
  9. 　前記データ処理部は、さらに、
    　前記補正値によって構成されるＮＤＶＩ補正画像を生成するＮＤＶＩ補正画像生成部を有する請求項２に記載の画像処理装置。
  10. 　前記ＮＤＶＩ補正画像生成部は、
    　複数のＮＤＶＩ補正画像のスティッチ処理による合成画像を生成する請求項９に記載の画像処理装置。
  11. 　前記データ処理部は、
    　異なるタイミングで撮影された複数の画像の構成画素から複数のサンプリング点を選択し、選択したサンプリング点のＮＤＶＩ値と太陽光入反射角の二次元分布を近似したサンプリング点二次元分布近似モデル式を算出する請求項２に記載の画像処理装置。
  12. 　前記データ処理部は、
    　算出したサンプリング点二次元分布近似モデル式の妥当性判定を行い、
    　妥当性ありの判定がなされたことを条件として、
    　算出したサンプリング点二次元分布近似モデル式に基づいて、太陽光入反射角の変化に伴うＮＤＶＩ値の変化を低減させた補正値を算出する補正ＮＤＶＩ値算出式を生成し、
    　生成した補正ＮＤＶＩ値算出式に従って、前記補正値を算出する請求項２に記載の画像処理装置。
  13. 　前記データ処理部は、
    　算出したサンプリング点二次元分布近似モデル式の妥当性判定処理として、
    　前記算出したサンプリング点二次元分布近似モデル式が、太陽光正反射の影響増加に伴うＮＤＶＩ値の低下を示す既存理論に一致する式であるか否かを判定する処理を実行する請求項１２に記載の画像処理装置。
  14. 　前記データ処理部は、
    　植物種類対応のサンプリング点二次元分布近似モデル式を算出し、
    　算出した植物種類対応のサンプリング点二次元分布近似モデル式に基づいて、植物種類対応の補正ＮＤＶＩ値算出式を生成し、
    　生成した植物種類対応の補正ＮＤＶＩ値算出式に従って、植物種類対応の補正値を算出する請求項２に記載の画像処理装置。
  15. 　前記カメラ撮影画像は、ＲＥＤ波長（約０．６３～０．６９μｍ）とＮＩＲ波長（約０．７６～０．９０μｍ）の２つの異なる波長の画像を同時に撮影できるマルチスペクトルカメラにより撮影された画像である請求項１に記載の画像処理装置。
  16. 　前記カメラ撮影画像は、上空から撮影された画像である請求項１に記載の画像処理装置。
  17. 　画像処理装置において実行する画像処理方法であり、
    　前記画像処理装置は、カメラ撮影画像を入力し、構成画素単位を含む入力画像の解析により、前記構成画素単位における植物の活性度を示す植生指標を算出するデータ処理部を有し、
    　前記データ処理部が、
    　前記構成画素単位における太陽光入射角に基づいて、太陽光入反射角の変化に伴う植生指標の変化を低減させた前記植生指標の補正値を算出する画像処理方法。
  18. 　画像処理装置において画像処理を実行させるプログラムであり、
    　前記画像処理装置は、カメラ撮影画像を入力し、構成画素単位を含む入力画像の解析により、前記構成画素単位における植物の活性度を示す植生指標を算出するデータ処理部を有し、
    　前記プログラムは、前記データ処理部に、
    　前記構成画素単位における太陽光入射角に基づいて、太陽光入反射角の変化に伴う植生指標の変化を低減させた前記植生指標の補正値を算出する処理を実行させるプログラム。
PCT/JP2020/002536 2019-03-01 2020-01-24 画像処理装置、および画像処理方法、並びにプログラム WO2020179276A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/433,752 US20220139082A1 (en) 2019-03-01 2020-01-24 Image processing device, image processing method, and program
CN202080016561.4A CN113474635A (zh) 2019-03-01 2020-01-24 图像处理设备、图像处理方法和程序
JP2021503458A JPWO2020179276A1 (ja) 2019-03-01 2020-01-24

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-037208 2019-03-01
JP2019037208 2019-03-01

Publications (1)

Publication Number Publication Date
WO2020179276A1 true WO2020179276A1 (ja) 2020-09-10

Family

ID=72337520

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002536 WO2020179276A1 (ja) 2019-03-01 2020-01-24 画像処理装置、および画像処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US20220139082A1 (ja)
JP (1) JPWO2020179276A1 (ja)
CN (1) CN113474635A (ja)
WO (1) WO2020179276A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021084907A1 (ja) * 2019-10-30 2021-05-06 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN116402814B (zh) * 2023-06-07 2023-08-18 中国科学院空天信息创新研究院 植被指数获取、植被遥感产品真实性校验方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016181743A1 (ja) * 2015-05-12 2016-11-17 コニカミノルタ株式会社 植物生育指標測定装置および該方法ならびに植物生育指標測定システム
WO2018180954A1 (ja) * 2017-03-28 2018-10-04 コニカミノルタ株式会社 画像処理装置、生育調査画像作成システム及びプログラム
US20180350054A1 (en) * 2017-06-05 2018-12-06 Hana Resources, Inc. Organism growth prediction system using drone-captured images
WO2019017095A1 (ja) * 2017-07-18 2019-01-24 ソニー株式会社 情報処理装置、情報処理方法、プログラム、情報処理システム
WO2019026619A1 (ja) * 2017-08-01 2019-02-07 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178253B1 (en) * 1997-10-10 2001-01-23 Case Corporation Method of determining and treating the health of a crop
EP1411758B1 (en) * 2001-07-24 2009-03-11 The Board Of Regents For Oklahoma State University A process for in-season nutrient application based on predicted yield potential
JP5950166B2 (ja) * 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
US9886016B2 (en) * 2015-01-08 2018-02-06 International Business Machines Corporation Automated irrigation control system
EP3502663B1 (en) * 2016-08-17 2020-09-30 Sony Corporation Signal processing device and signal processing method, and program
US10901420B2 (en) * 2016-11-04 2021-01-26 Intel Corporation Unmanned aerial vehicle-based systems and methods for agricultural landscape modeling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016181743A1 (ja) * 2015-05-12 2016-11-17 コニカミノルタ株式会社 植物生育指標測定装置および該方法ならびに植物生育指標測定システム
WO2018180954A1 (ja) * 2017-03-28 2018-10-04 コニカミノルタ株式会社 画像処理装置、生育調査画像作成システム及びプログラム
US20180350054A1 (en) * 2017-06-05 2018-12-06 Hana Resources, Inc. Organism growth prediction system using drone-captured images
WO2019017095A1 (ja) * 2017-07-18 2019-01-24 ソニー株式会社 情報処理装置、情報処理方法、プログラム、情報処理システム
WO2019026619A1 (ja) * 2017-08-01 2019-02-07 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
JPWO2020179276A1 (ja) 2020-09-10
US20220139082A1 (en) 2022-05-05
CN113474635A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
US20220343599A1 (en) System and methods for improved aerial mapping with aerial vehicles
JP5020444B2 (ja) 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体
US9578310B2 (en) Automatic scene calibration
JP2007171033A (ja) 葉面積指数の間接測定方法および間接測定システム
US11769225B2 (en) Image processing apparatus, image processing method, and program
WO2020179276A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2022089386A1 (zh) 激光图案提取方法、装置、激光测量设备和系统
JPWO2019017095A1 (ja) 情報処理装置、情報処理方法、プログラム、情報処理システム
JP2018151832A (ja) 情報処理装置、情報処理方法、および、プログラム
WO2021084907A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Kurmi et al. Pose error reduction for focus enhancement in thermal synthetic aperture visualization
Zhang et al. Evaluation of a UAV-mounted consumer grade camera with different spectral modifications and two handheld spectral sensors for rapeseed growth monitoring: performance and influencing factors
JP6768203B2 (ja) 検査装置および検査方法、並びにプログラム
US10204405B2 (en) Apparatus and method for parameterizing a plant
JP5672029B2 (ja) 反射率算出装置、反射率算出方法およびプログラム
US20180114293A1 (en) Large scale image mosaic construction for agricultural applications
US11398060B2 (en) Information processing device, information processing method, and program
RU2692970C2 (ru) Способ калибровки видеодатчиков многоспектральной системы технического зрения
CN113506343B (zh) 基于多源数据的色坐标估计方法、系统、设备及介质
CN115598071A (zh) 植物生长分布状态检测方法及装置
WO2023019445A1 (zh) 图像处理方法、无人飞行器和存储介质
CN113514402B (zh) 一种冬小麦叶绿素含量的预测系统及方法
CN116593403A (zh) 室内外一体化检校方法、系统、电子设备及存储介质
US20220319048A1 (en) Enhanced measurement of photosynthetically active radiation (par) and image conversion therefor
US20240132211A1 (en) System and methods for improved aerial mapping with aerial vehicles

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20767101

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021503458

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20767101

Country of ref document: EP

Kind code of ref document: A1