WO2021192642A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2021192642A1
WO2021192642A1 PCT/JP2021/003932 JP2021003932W WO2021192642A1 WO 2021192642 A1 WO2021192642 A1 WO 2021192642A1 JP 2021003932 W JP2021003932 W JP 2021003932W WO 2021192642 A1 WO2021192642 A1 WO 2021192642A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vegetation
pixel
value
ndvi
Prior art date
Application number
PCT/JP2021/003932
Other languages
English (en)
French (fr)
Inventor
恵助 海野
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/911,641 priority Critical patent/US20230146206A1/en
Priority to JP2022509351A priority patent/JPWO2021192642A1/ja
Publication of WO2021192642A1 publication Critical patent/WO2021192642A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and a program. More specifically, the present invention relates to an image processing device for determining the activity of a plant based on an image captured by a camera, an image processing method, and a program.
  • NDVI Normalized Difference Vegetation Index
  • Patent Document 1 International Publication WO2018 / 034166
  • the plants to be cultivated are arranged along a certain row, for example, a row forming linear "ridges". It is often planted and cultivated. That is, vegetation sections such as "ridges" in which plants to be cultivated are planted are formed at regular intervals and cultivated. As a result, the vegetation section in which the plant to be cultivated is planted and the soil section in which the plant is not planted are alternately set.
  • the photographed image includes not only the vegetation section but also the soil section.
  • the NDVI value which is the vegetation index value
  • the NDVI value calculation process based on the pixel value data including the pixel value of the soil section is performed, and the accurate vegetation index of only the vegetation part is performed. There is a problem that the value cannot be calculated.
  • the present disclosure has been made in view of the above problems, for example, and is based on an image of a farm in which a vegetation section and a soil section coexist in a configuration for determining the activity of a plant based on a camera photographed image. It is an object of the present invention to provide an image processing apparatus, an image processing method, and a program for accurately calculating a vegetation index indicating the activity of a plant, such as the NDVI value of a plant in the vegetation section row. By applying the configuration and treatment of the present disclosure, it is possible to determine the activity of a plant with high accuracy.
  • the first aspect of the disclosure is It has a vegetation index value setting image correction unit that inputs a vegetation index value setting image in which a vegetation index value indicating the activity of a plant is set as a pixel value and generates a correction image of the vegetation index value setting image.
  • the vegetation index value setting image correction unit The average pixel value with the pixel value of the surrounding pixels is calculated for each constituent pixel of the vegetation index value setting image, and an averaged image in which the calculated average pixel value is set is generated.
  • the difference image between the vegetation index value setting image and the averaged image is subjected to binarization processing according to a specified threshold value to generate a binarized image.
  • the image processing apparatus has the vegetation index value setting image and the multiplication image generated by the multiplication process of the binarized image as a correction image of the vegetation index value setting image.
  • the second aspect of the present disclosure is This is an image processing method executed in an image processing device.
  • the image processing device is It has a vegetation index value setting image correction unit that inputs a vegetation index value setting image in which a vegetation index value indicating the activity of a plant is set as a pixel value and generates a correction image of the vegetation index value setting image.
  • the vegetation index value setting image correction unit The average pixel value with the pixel value of the surrounding pixels is calculated for each constituent pixel of the vegetation index value setting image, and an averaged image in which the calculated average pixel value is set is generated.
  • the difference image between the vegetation index value setting image and the averaged image is subjected to binarization processing according to a specified threshold value to generate a binarized image.
  • the third aspect of the present disclosure is A program that executes image processing in an image processing device.
  • the image processing device is It has a vegetation index value setting image correction unit that inputs a vegetation index value setting image in which a vegetation index value indicating the activity of a plant is set as a pixel value and generates a correction image of the vegetation index value setting image.
  • the program is applied to the vegetation index value setting image correction unit.
  • a process of generating a binarized image by executing a binarization process according to a specified threshold value on a difference image between the vegetation index value setting image and the averaged image There is a program that executes a process of outputting the vegetation index value setting image and the multiplication image generated by the multiplication process of the binarized image as a correction image of the vegetation index value setting image.
  • the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium that is provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • a program that can be provided by a storage medium or a communication medium that is provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • a device that generates and outputs a corrected image consisting of highly accurate vegetation index values such as an NDVI value of a vegetation part region based on an image in which a vegetation part and a soil part coexist.
  • the method is realized. Specifically, for example, it has a vegetation index value setting image correction unit that generates a correction image of a vegetation index value setting image in which a vegetation index value such as an NDVI value is set as a pixel value.
  • the vegetation index value setting image correction unit calculates the average pixel value with the pixel values of the surrounding pixels for each constituent pixel of the vegetation index value setting image, generates an averaged image in which the average pixel value is set, and sets the vegetation index value.
  • a binarized image is generated by binarizing the difference image between the image and the averaged image according to the specified threshold value, and the multiplied image of the vegetation index value setting image and the binarized image is converted into the vegetation index value. It is used as a corrected image of the set image.
  • a device and a method for generating and outputting a corrected image consisting of highly accurate vegetation index values such as an NDVI value of a vegetation part region based on an image in which a vegetation part and a soil part coexist are realized.
  • the effects described in the present specification are merely exemplary and not limited, and may have additional effects.
  • an index (vegetation index) showing the activity of the plant [1. About the index (vegetation index) showing the activity of the plant]
  • an index (vegetation index) indicating the activity of a plant will be described.
  • there is a technique for measuring the activity of a plant by photographing various plants such as agricultural products, flowers, and trees using a camera provided in a drone or the like and analyzing the photographed image.
  • an index (vegetation index) indicating the activity of a plant for example, there is NDVI (Normalized Difference Vegetation Index).
  • NDVI can be calculated according to the following (Equation 1).
  • NDVI (NIR-RED) / (NIR + RED) ...
  • Equation 1 RED (red) and NIR (near infrared) are RED (red) wavelengths (about 0) in each pixel of an image captured by a camera (multispectral camera) capable of simultaneously capturing images of two wavelengths of red light and near infrared light. It is the intensity (pixel value) of .63 to 0.69 ⁇ m) and the NIR (near infrared) wavelength (about 0.76 to 0.90 ⁇ m).
  • the pixel values indicating the intensities of RED (red) and NIR (near infrared) acquired from the image captured by the camera are obtained by measuring the reflected light from the subject. Plants absorb red wavelength light with chlorophyll and perform photosynthesis, and the light that cannot be absorbed is emitted from the leaves as diffuse reflection. Therefore, it can be determined that a leaf that absorbs a large amount of red wavelength light is a leaf with high activity.
  • a camera 11 is mounted on the drone 10, and the farm is photographed from the sky.
  • the camera 11 is a multispectral camera that simultaneously captures the RED wavelength (red) and the NRI wavelength (near infrared).
  • the farm is a farm that grows vegetables such as green onions, cabbage, Chinese cabbage, and spinach, as well as flowers and trees.
  • the plants to be cultivated are planted along a certain row, for example, a row of vegetation parts along a straight "ridge".
  • a large number of vegetation rows are formed at regular intervals.
  • the farm has a structure in which the vegetation section in which the plant to be cultivated is planted and the soil section in which the plant is not planted are alternately set.
  • the captured image is an image in which the vegetation section and the soil section are mixed. It becomes.
  • the NDVI value which is the vegetation index value
  • the NDVI value calculation process based on the pixel value data including the pixel value of the soil section is performed, and the accurate vegetation index of only the vegetation part is performed. The value cannot be calculated.
  • FIG. 2 shows an example of (a) a camera-photographed image and (b) an NDVI image.
  • the NDVI value corresponding to each pixel is calculated according to the above (Equation 1).
  • An example of an image generated based on this calculation result is the (b) NDVI image shown in FIG.
  • the pixel value set for each pixel of the NDVI image corresponds to the NDVI value.
  • the white portion (high brightness portion) of the (b) NDVI image shown in FIG. 2 is a region where the NDVI value is high (close to 1.0) and the activity of the plant is high.
  • the black portion (low brightness portion) of the (b) NDVI image shown in FIG. 2 is a region where the NDVI value is low (close to 0.0) and the activity of the plant is low.
  • the black part (low brightness part) of the (b) NDVI image shown in FIG. 2 includes a soil part in which no plant to be cultivated exists. Therefore, for example, even if the average value of the overall pixel value (NDVI value) of this image is calculated, it is not possible to obtain an accurate activity index value of only the vegetation portion.
  • FIG. 3 is a diagram showing an example in which a farm in which vegetation rows and soil rows coexist is photographed from the sky using a camera 11 provided in the drone 10, as in FIG. 1 described above. It is assumed that this farm has a poorly grown area 20 in a part as shown in FIG.
  • the image region of the NDVI image corresponding to the poor growth region 20 has a pixel value (NDVI value). It becomes a low image area, that is, a low brightness image area.
  • the high-intensity (white) line of the NDVI image shown in FIG. 4 is the line corresponding to the vegetation section row
  • the low-luminance (gray to black) line is the line corresponding to the soil section row.
  • the vegetation section row is shown as a high-brightness (white) line
  • the soil section row is clearly divided as a low-brightness (gray to black) line in order to make the explanation easier to understand.
  • the NDVI image generated based on the photographed image of the farm where the vegetation section and the soil section are mixed is an image in which the NDVI value of the vegetation section and the NDVI value of the soil section are mixed. .. Therefore, for example, even if the average value of the overall pixel value (NDVI value) of this image is calculated, it is not possible to obtain an accurate activity index value (NDVI value) of only the vegetation portion.
  • FIG. 5 (1) shows an NDVI image including the poor growth region 20 as described with reference to FIG. 5
  • FIG. 5 (2) is a histogram of pixel values (NDVI values) of all pixels of the NDVI image shown in FIG. 5 (1).
  • the histogram shown in FIG. 5 (2) is a graph showing the NDVI value (0 to 1.0) on the horizontal axis and the number of pixels on the vertical axis.
  • the curve shown by the solid line in the graph shown in FIG. 5 (2) is the "pixel value distribution curve (actual measurement value)" corresponding to each NDVI value, that is, the "histogram”.
  • this pixel value distribution curve has two peaks. Of these peaks, the peak on the right side, that is, the larger peak on the higher NDVI value, is estimated to correspond to the peak showing the distribution of the NDVI values of the pixels corresponding to the vegetation sequence. On the other hand, it is presumed that the mountain on the left side, that is, the small mountain on the lower side of the NDVI value corresponds to the mountain showing the distribution of the NDVI value of the pixels corresponding to the soil sequence.
  • an estimated distribution curve (estimated distribution curve of the vegetation portion) of the NDVI value of the pixel corresponding to the vegetation portion is added to the lower left region of the large mountain on the higher side of the NDVI value. Further, as shown in FIG. 5 (2), an estimated distribution curve (estimated distribution curve of soil portion) of the NDVI value of the pixel corresponding to the soil portion is added to the lower right region of the small mountain on the lower side of the NDVI value.
  • the area where the threshold value is less than 0.4 is determined to be the soil part, and these areas are defined as the plant activity index value (NDVI value). It can be excluded from the calculation target.
  • the poor growth region 20 included in the NDVI image shown in FIG. 5 (1) may be determined as the soil region.
  • a specific example will be described with reference to FIG.
  • the NDVI image of FIG. 6 (1) is the same image as the NDVI image shown in FIG. 5 (1). That is, an NDVI image including the poor growth region 20 as described with reference to FIG. 4 is shown.
  • FIG. 6 (2) is a graph showing the NDVI value of the pixel line AB at the bottom of the NDVI image of FIG. 6 (1).
  • the horizontal axis shows the pixel position of the pixel line AB, and the vertical axis shows the NDVI value of each pixel.
  • the NDVI value of the pixel line AB is a curve in which a plurality of peaks and valleys are formed at regular intervals.
  • the part with a high NDVI value corresponds to the vegetation part, and the part with a low NDVI value (valley part) corresponds to the soil part.
  • the CD portion shown in FIG. 6 (2) corresponding to the poor growth region 20 has a low mountain portion.
  • the image processing apparatus of the present disclosure solves the above-mentioned problems and makes it possible to determine the activity of a plant with high accuracy. That is, the image processing apparatus of the present disclosure accurately determines the vegetation index indicating the activity of the plant, such as the NDVI value of the plant in the vegetation section, based on the image of the farm where the vegetation section and the soil section coexist. It is possible to calculate. By applying the configuration and treatment of the present disclosure, it is possible to determine the activity of a plant with high accuracy.
  • FIG. 7 is a diagram showing a configuration example of the image processing device 100 of the present disclosure.
  • the image processing device 100 of the present disclosure includes an NDVI image generation unit 101, an NDVI image correction unit 102, and an image display unit 103.
  • the NDVI image generation unit 101 inputs the captured image 51 to generate the NDVI image 52.
  • the captured image 51 is, for example, a captured image of the camera 11 mounted on the drone 10 shown in FIG.
  • the camera 11 is a multispectral camera, and the captured image 51 has a RED (red) wavelength (about 0.63 to 0.69 ⁇ m) and a NIR (near infrared) wavelength (about 0.76 to 0.90 ⁇ m) in each pixel. ) Is an image from which the intensity (pixel value) can be obtained.
  • RED red
  • NIR near infrared
  • RED (red) and NIR (near infrared) are RED (red) wavelength (about 0.63 to 0.69 ⁇ m) and NIR (near infrared) wavelength (about 0.76 to 0.76 to).
  • the intensity (pixel value) is 0.90 ⁇ m).
  • the NDVI image generation unit 101 calculates the NDVI value of each pixel of the captured image 51, and generates an NDVI image 52 in which the calculated pixel value (NDVI value) is set for each pixel.
  • the NDVI image 52 is, for example, an image similar to the NDVI image shown in FIGS. 5 (1) and 6 (1).
  • the white part (high brightness part) of the NDVI image shown in FIGS. 5 (1) and 6 (1) is the region where the NDVI value is high (close to 1.0), and the region where the activity of the plant is high is black.
  • the portion (low-intensity portion) is a region where the NDVI value is low (close to 0.0), the activity of the plant is low, or the soil portion region.
  • the NDVI image 52 generated by the NDVI image generation unit 101 is input to the NDVI image correction unit 102.
  • the NDVI image correction unit 102 corrects the NDVI image 52 generated by the NDVI image generation unit 101. Specifically, for example, an output image (corrected NDVI image) 53 is generated in which the region presumed to be the soil portion and the region presumed to be the vegetation portion included in the NDVI image 52 can be clearly distinguished. Alternatively, the NDVI value of the region presumed to be the soil portion is removed, and an output image (corrected NDVI image) 53 composed of only the NDVI value of the region presumed to be the vegetation portion is generated.
  • the details of the image correction process executed by the NDVI image correction unit 102 will be described later.
  • the output image (corrected NDVI image) 53 generated by the NDVI image correction unit 102 is output to and displayed on the image display unit 103.
  • the output image (corrected NDVI image) 53 displayed on the image display unit 103 is (A) An output image (corrected NDVI image) or an output image (corrected NDVI image) in which the area presumed to be the soil part and the area presumed to be the vegetation part can be clearly distinguished. (B) Output image (corrected NDVI image) composed of only the NDVI value of the region estimated to be the vegetation part by removing the NDVI value of the region estimated to be the soil part. It is one of the images (a) and (b) above, and by looking at the output image (corrected NDVI image) 53, the activity of the plant in each vegetation region can be accurately grasped.
  • the image processing apparatus 100 of the present disclosure will describe an example using "NDVI” as a vegetation index value indicating the activity of a plant, but this is an example and is disclosed in the present invention.
  • the image processing apparatus 100 of No. 100 can also use a vegetation index value other than "NDVI" as a vegetation index value indicating the activity of the plant.
  • the NDVI image is an example of a vegetation index value setting image.
  • the NDVI image generation unit 101 of the image processing apparatus 100 shown in FIG. 7 is an example of a vegetation index value setting image generation unit
  • the NDVI image correction unit 102 is an example of a vegetation index value setting image correction unit.
  • NDVI a vegetation index value setting image correction unit
  • FIG. 8 is a block diagram showing a detailed configuration of the NDVI image correction unit 102 of the image processing device 100 shown in FIG. 7.
  • the NDVI image correction unit 102 of the image processing device 100 includes an averaging unit 121, a subtraction unit 122, a binarization unit 123, a multiplication unit 124, and a multiplication image averaging unit 125.
  • the multiplication image averaging unit 125 has an optional configuration, and the multiplication image averaging unit 125 may be omitted.
  • the averaging unit 121 of the NDVI image correction unit 102 inputs the NDVI image 52 generated by the NDVI image generation unit 101 to generate an averaging image of the input NDVI image 52.
  • FIG. 9 is a diagram showing a specific example of the NDVI image 52 input by the averaging unit 121, that is, the NDVI image 52 generated by the NDVI image generation unit 101 in the previous stage.
  • FIG. 9 (1a) shows the same NDVI image as described above with reference to FIG. 6 (1).
  • the NDVI image of FIG. 9 (1a) is an NDVI image obtained by photographing the farm including the poor growth region 20 described above with reference to FIG. 3, and is the NDVI image of FIG. 4, FIG. 5 (1), and FIG. It is the same image as the NDVI image shown in 6 (1). That is, the NDVI image set to a pixel value (NDVI value) that is 20 parts lower in the poor growth region is shown.
  • FIG. 9 (1b) is a graph similar to that described above with reference to FIG. 6 (2), and is a graph showing the NDVI value of the pixel line AB at the bottom of the NDVI image shown in FIG. 9 (1a). be.
  • the horizontal axis shows the pixel position of the pixel line AB, and the vertical axis shows the NDVI value of each pixel.
  • the graph shown in FIG. 9 (1b) is the same graph as described above with reference to FIG. 6 (2), and the NDVI value of the pixel line AB is a curve in which a plurality of peaks and valleys are formed at regular intervals. Become.
  • the part with a high NDVI value corresponds to the vegetation part, and the part with a low NDVI value (valley part) corresponds to the soil part.
  • the averaging unit 121 inputs, for example, the NDVI image 52 shown in FIG. 9 (1a) and executes the averaging process.
  • a specific example of the averaging process executed by the averaging unit 121 will be described with reference to FIG.
  • FIG. 10 shows an NDVI image 52 to be averaged.
  • the averaging unit 121 acquires the vegetation portion direction 71 and the vegetation portion interval 72 from the NDVI image 52 to be averaged.
  • the vegetation portion direction 71 corresponds to the vertical direction in the figure.
  • the acquisition process of the vegetation portion direction 71 and the vegetation portion interval 72 is acquired by image analysis of the NDVI image 52 to be averaged.
  • the user may confirm the image and input the vegetation portion direction 71 and the vegetation portion interval 72.
  • the configuration may be obtained by referring to a preset farm sketch or the like.
  • the direction of the vegetation part and the distance between the vegetation parts may differ for each area.
  • the vegetation portion direction and the vegetation portion interval acquisition process may be executed in each area, and the following processes may be executed in each area.
  • the averaging unit 121 performs an averaging process of the pixel values (NDVI values) set for each pixel of the NDVI image 52 based on the acquired vegetation portion direction 71 and the vegetation portion interval 72.
  • the averaging process is executed for each pixel of the NDVI image 52.
  • the processing for the processing target pixel 81 shown in FIG. 10 will be described. With respect to the processing target pixel 81, a plurality of pixels located in the direction perpendicular to the vegetation portion direction 71 and within the vegetation portion spacing 72 centered on the processing target pixel 81 are selected, and the pixel values (NDVI values) of these selected pixels are selected. Execute the averaging process.
  • One vegetation portion spacing 72 includes pixels of the vegetation portion corresponding to one row and pixels of the soil portion corresponding to one row. Therefore, the average pixel value of the pixels included in one vegetation portion interval 72 is the average value of the local vegetation portion and the soil portion.
  • the averaging unit 121 executes this pixel-based averaging process for all the constituent pixels of the NDVI image 52. That is, the pixels to be processed are sequentially changed from the upper left end portion to the lower right end portion of the NDVI image 52, and the averaging process is performed for each pixel. The averaged pixel value of each pixel is calculated by the so-called moving average pixel value calculation process.
  • the processing target pixel 81 is used.
  • a range including one row of vegetation pixels and one row of soil pixels is selected as the averaging target pixel in the range including the processing target pixel 81 without setting the center. And execute the averaging process.
  • the average pixel value (NDVI value) of a plurality of pixels within the vegetation portion interval in the direction perpendicular to the vegetation portion direction with respect to the processing target pixel is calculated, and this calculated pixel value is used as the pixel of the processing target pixel.
  • the averaging unit 121 executes this process for all the pixels of the NDVI image 52 to generate an averaging image.
  • FIG. 12 (2a) An example of the averaging image generated as a result of this averaging process is shown in FIG.
  • the averaging image shown in FIG. 12 (2a) is an averaging image generated as a result of the above-mentioned averaging process on the NDVI image 52.
  • FIG. 12 (2b) shows the NDVI value of the pixel line AB at the bottom of the averaged image shown in FIG. 12 (2a), that is, the averaged pixel value (averaged NDVI value).
  • the horizontal axis shows the pixel position of the pixel line AB, and the vertical axis shows the NDVI value of each pixel.
  • the graph shown by the solid line shows the averaged pixel value (averaged NDVI value).
  • the dotted line is the NDVI value of the original input NDVI image 52 before the averaging process.
  • the subtraction unit 122 uses these two input images to perform a process of subtracting the pixel value of the averaged image from the pixel value of the original input NDVI image 52. That is, a difference image composed of the original input NDVI image 52 and the pixel value of the subtraction result is generated by subtracting the pixel value in the corresponding pixel unit of the averaged image.
  • Difference pixel value of difference image (pixel value of input NDVI image (NDVI value))-(averaged difference pixel value of averaged image (averaged NDVI value))
  • the subtraction unit 122 executes the above subtraction process on all the pixels of the input NDVI image 52 to generate a difference image composed of the difference pixel value (difference NDVI value) of the subtraction result.
  • FIG. 13 shows an example of a difference image generated as a result of the subtraction process in the subtraction unit 122.
  • the difference image shown in FIG. 13 (3a) is a difference image generated as a result of the subtraction process described above.
  • the difference pixel value (difference NDVI value) which is the pixel value of the constituent pixels of the difference image, is the following pixel value.
  • Difference pixel value of difference image (difference NDVI value) (pixel value of input NDVI image (NDVI value))-(averaged difference pixel value of averaged image (averaged NDVI value))
  • FIG. 13 (3b) shows the NDVI value of the pixel line AB at the bottom of the difference image shown in FIG. 13 (3a), that is, the difference pixel value (difference NDVI value).
  • the horizontal axis shows the pixel position of the pixel line AB, and the vertical axis shows the NDVI value of each pixel.
  • the graph shown by the solid line shows the difference pixel value (difference NDVI value) of the difference image.
  • the dotted line is the NDVI value of the original input NDVI image 52.
  • the NDVI value of the original input NDVI image 52 is a value in the range of 0 to 1.0, but the value of the difference pixel value (difference NDVI value) of the difference image is minus. It is a value that sandwiches 0 from the value to the positive value.
  • a binarized image composed of 0 and 1 binarized pixel values (binarized NDVI values) is generated.
  • FIG. 14 shows an example of the binarized image generated as a result of the binarization process in the binarization unit 123.
  • the binarized image shown in FIG. 14 (4a) is a binarized image generated as a result of the above-mentioned binarization process.
  • FIG. 14 (4b) shows the NDVI value of the bottom pixel line AB of the binarized image shown in FIG. 14 (4a), that is, the binarized pixel value (binarized NDVI value). ing.
  • the horizontal axis shows the pixel position of the pixel line AB, and the vertical axis shows the NDVI value of each pixel.
  • the graph shown by the solid line shows the binarized pixel value (binarized NDVI value) of the binarized image.
  • the dotted line is the NDVI value of the original input NDVI image 52.
  • the value of the binarized pixel value (binarized NDVI value) of the binarized image is composed of either 0 or 1.
  • the binarization unit 123 sets the pixel value to 1 and sets 0 and negative (minus).
  • the multiplication unit 124 uses these two input images to perform a process of multiplying the pixel value of the input NDVI image 52 and the corresponding pixel value of the binarized image. That is, the input NDVI image 52 and the binarized image are multiplied by the pixel values in the corresponding pixel units to generate a multiplied image composed of the pixel values of the multiplication result.
  • the multiplication pixel value (multiplication NDVI value), which is the pixel value of the constituent pixels of the multiplication image, is the following pixel value.
  • Multiplyed pixel value of the multiplied image (pixel value of the input NDVI image (NDVI value)) ⁇ (binarized pixel value of the binarized image (binarized NDVI value))
  • the multiplication unit 124 executes the above multiplication process on all the pixels of the input NDVI image 52 to generate a multiplication image composed of the multiplication pixel value (multiplication NDVI value) of the multiplication result.
  • FIG. 15 shows an example of a multiplication image generated as a result of the multiplication process in the multiplication unit 124.
  • the multiplication image shown in FIG. 15 (5a) is a multiplication image generated as a result of the multiplication process described above.
  • the multiplication pixel value (multiplication NDVI value) which is the pixel value of the constituent pixels of the multiplication image, is the following pixel value.
  • Multiplyed pixel value of the multiplied image (multiplied NDVI value) (pixel value of the input NDVI image (NDVI value)) ⁇ (binarized pixel value of the binarized image (binarized NDVI value))
  • FIG. 15 (5b) shows the NDVI value of the pixel line AB at the bottom of the multiplication image shown in FIG. 15 (5a), that is, the multiplication pixel value (multiplication NDVI value).
  • the horizontal axis shows the pixel position of the pixel line AB, and the vertical axis shows the NDVI value of each pixel.
  • the graph shown by the solid line shows the multiplication pixel value (multiplication NDVI value) of the multiplication image.
  • the dotted line is the NDVI value of the original input NDVI image 52.
  • the pixel value is set to 0 for the valley portion (soil portion).
  • the multiplied pixel value (multiplied NDVI value) of the multiplied image also reflects the pixel value (NDVI value) of the original input NDVI image 52 for the poorly grown region CD portion. It has a calculated pixel value.
  • the multiplication image shown in FIG. 15 (5a) is output to the image display unit 103 as an output image (corrected NDVI image) 53 shown in FIGS. 7 and 8 and displayed.
  • the pixel values (NDVI values) of the soil portion are all set to 0 (black, which is the minimum pixel value), and the user (image observer) uses this black region as the soil. It is a part, and it is possible to easily determine that the area other than black is the area of the vegetation part. Further, by observing the setting state of the pixel value (NDVI value) in the region other than the black region, it is possible to analyze the activity of the plant in each region.
  • the user confirmed that the area other than 0 (black, which is the lowest pixel value) in the lower right CD area of the multiplied image shown in FIG. 15 (5a) is a vegetation area.
  • the pixel value (NDVI value) is lower than that of other vegetation regions and the activity of the plant is low in the vegetation region.
  • the multiplied image shown in FIG. 15 (5a) may be output to the image display unit 103 as an output image (corrected NDVI image) 53 and displayed. Further, the multiplied image shown in FIG. 8 may be output and displayed. The image may be output to the averaging unit 125 to generate an averaging multiplication image in the multiplication image averaging unit 125, and the generated image may be used as an output image (corrected NDVI image) 53.
  • the processing of the multiplication image averaging unit 125 is not an essential processing but an optional processing.
  • the multiplication image averaging unit 125 executes an averaging process of the multiplication image generated by the multiplication unit 124 to generate an averaging multiplication image, and uses the generated image as an output image (corrected NDVI image) 53 as an image display unit 103. Output to.
  • FIG. 16 shows a (5a) multiplication image. This is the multiplication image generated by the multiplication unit 124.
  • Average pixel value (total pixel values of pixels in the averaging processing range) / (number of pixels in the averaging processing range of pixels with a pixel value> 0)
  • the multiplication image averaging unit 125 acquires the vegetation portion direction 71 and the vegetation portion spacing 72 from the multiplication image shown in FIG. 16 (5a).
  • the vegetation portion direction 71 corresponds to the vertical direction in the figure.
  • the multiplication image averaging unit 125 averages the pixel values (NDVI values) set for each pixel of the multiplication image shown in FIG. 16 (5a) based on the acquired vegetation portion direction 71 and vegetation portion spacing 72. Perform the conversion process.
  • the processing for the processing target pixel 91 shown in FIG. 16 (5a) will be described.
  • a plurality of pixels in the direction perpendicular to the vegetation portion direction 71 and within the vegetation portion spacing 72 centered on the processing target pixel 91 are selected, and the pixel values of these selected pixels (multiplication pixel value (multiplication)).
  • NDVI value)) averaging process is executed.
  • the calculation process of the average pixel value by the averaging process is executed according to the following formula as described above.
  • Average pixel value (total pixel values of pixels in the averaging processing range) / (number of pixels in the averaging processing range of pixels with a pixel value> 0)
  • This pixel-based averaging process is executed for all the constituent pixels of the multiplication image shown in FIG. 16 (5a). That is, the pixels to be processed are sequentially changed from the upper left end portion to the lower right lower end portion of the multiplied image shown in FIG. 16 (5a), and the averaging process is performed for each pixel.
  • the averaged pixel value of each pixel is calculated by the so-called moving average pixel value calculation process.
  • the area where the processing target pixel is in the image edge region and the pixel cannot be selected from within the vegetation portion interval centered on the processing target pixel is the same as the processing described with reference to FIG. 11 above. Is processed. That is, the averaging process is executed by selecting the range including the number of pixels corresponding to the vegetation portion interval as the averaging target pixel in the range including the processing target pixel without setting the processing target pixel as the center. ..
  • the average pixel value (NDVI value) of a plurality of pixels within the vegetation portion interval in the direction perpendicular to the vegetation portion direction with respect to the processing target pixel is calculated, and this calculated pixel value is used as the pixel of the processing target pixel.
  • NDVI value average pixel value
  • the multiplication image averaging unit 125 calculates the averaging multiplication pixel values for all the pixels of the multiplication image shown in FIG. 16 (5a), and generates the averaging multiplication image shown in FIG. 16 (6b).
  • the multiplication image averaging unit 125 outputs the averaging multiplication image shown in FIG. 16 (6b) to the image display unit 103 as an output image (corrected NDVI image) 53.
  • FIG. 17 shows an example of an averaging multiplied image generated by the multiplication image averaging unit 125.
  • the image shown in FIG. 17 (6b) is the same image as the averaging multiplication image shown in FIG. 16 (6b), and is an averaging multiplication image generated by performing the averaging process of the multiplication image generated by the multiplication unit 124. be.
  • FIG. 17 (6c) shows the NDVI value of the pixel line AB at the bottom of the averaging multiplication image shown in FIG. 17 (6b), that is, the averaging multiplication pixel value (averaging multiplication NDVI value).
  • the horizontal axis shows the pixel position of the pixel line AB, and the vertical axis shows the NDVI value of each pixel.
  • the graph shown by the solid line shows the averaging multiplication pixel value (averaging multiplication NDVI value).
  • the dotted line is the NDVI value of the original input NDVI image 52.
  • the averaging multiplication image shown in FIG. 17 (6b) is an image composed of only index values showing the activity of plants in the vegetation part not including the soil part, that is, the NDVI value corresponding to the vegetation part, and is an image composed of only the NDVI value corresponding to the vegetation part. It is possible to surely grasp the activity of plants in each area of the vegetation part without worrying about the existence of the plant.
  • the flowchart shown in FIG. 18 is a flowchart illustrating a sequence of processes executed by the image processing apparatus of the present disclosure.
  • the process according to the flowchart shown in FIG. 18 can be executed according to, for example, a program stored in the storage unit of the image processing apparatus 100. For example, it is executed under the control of a data processing unit (control unit) having a CPU or the like having a program execution function.
  • control unit control unit
  • FIG. 18 the processing of each step of the flowchart shown in FIG. 18 will be sequentially described.
  • Step S101 First, the image processing device inputs a captured image in step S101.
  • the captured image is, for example, a captured image of the camera 11 mounted on the drone 10 shown in FIG.
  • the camera 11 is a multispectral camera, and the captured image 51 has a RED (red) wavelength (about 0.63 to 0.69 ⁇ m) and a NIR (near infrared) wavelength (about 0.76 to 0.90 ⁇ m) in each pixel. ) Is an image from which the intensity (pixel value) can be obtained.
  • Step S102 the image processing apparatus 100 calculates the NDVI value corresponding to each pixel of the captured image and generates the NDVI image.
  • This process is a process executed by the NDVI image generation unit 101 shown in FIG. 7.
  • the NDVI value of each pixel of the captured image 51 is calculated.
  • RED (red) and NIR (near infrared) are RED (red) wavelength (about 0.63 to 0.69 ⁇ m) and NIR (near infrared) wavelength (about 0.76 to 0.76 to).
  • the intensity (pixel value) is 0.90 ⁇ m).
  • the NDVI image generation unit 101 calculates the NDVI value of each pixel of the captured image, and generates an NDVI image in which the calculated pixel value (NDVI value) is set for each pixel.
  • This NDVI image is, for example, the NDVI image 52 described above with reference to FIG. 9 (1a).
  • FIG. 19 shows an example of the NDVI image generated in step S102 and a series of images generated by each component of the NDVI image correction unit 102 that corrects the NDVI image.
  • the processing of step S103 and subsequent steps will be described with reference to FIG.
  • Step S103 the image processing apparatus 100 sequentially averages the pixel values of the pixels corresponding to the width of the vegetation portion row in the direction perpendicular to the vegetation portion row of the NDVI image to generate an averaged image.
  • This process is a process executed by the averaging unit 121 of the HDVI image correction unit 102 shown in FIG.
  • the averaging unit 121 of the NDVI image correction unit 102 inputs the NDVI image generated by the NDVI image generation unit 101 to generate an averaging image of the input NDVI image.
  • This process is the process described above with reference to FIGS. 10 and 12, and for all the pixels of the NDVI image, a plurality of pixels within the vegetation portion interval in the direction perpendicular to the vegetation portion direction are selected, and these selected pixels are selected.
  • the average pixel value of the pixel value (NDVI value) of the above is calculated, and an averaged image in which the calculated pixel value is set as the averaged pixel value (averaged NDVI value) is generated. It is an averaging image which is an output of the averaging unit 121 shown in FIG.
  • Step S104 the image processing device 100 subtracts the pixel value of the averaged image from the pixel value of the NDVI image generated in step S102 to obtain a difference image composed of the difference pixel value (difference NDVI value). Generate.
  • This process is a process executed by the subtraction unit 122 of the NDVI image correction unit 102 shown in FIG.
  • the subtraction unit 122 uses these two input images to subtract the pixel value of the averaged image from the pixel value of the NDVI image to generate a difference image.
  • the value of the difference pixel value (difference NDVI value) of the difference image is a value sandwiching 0 from a minus value to a plus value.
  • Step S105 the image processing device 100 executes a binarization process of the pixel values of the constituent pixels of the difference image, that is, the difference pixel value (difference NDVI value) to generate the binarized image.
  • This process is a process executed by the binarization unit 123 of the NDVI image correction unit 102 shown in FIG.
  • the binarization unit 123 executes the binarization process of the pixel values of the constituent pixels of the difference image generated by the subtraction unit 122. That is, when the difference pixel value (difference NDVI value) is a positive (plus) value, the pixel value is set to 1, and when the difference pixel value (difference NDVI value) is 0 and a negative (minus) value, the pixel value is set to 0. This is executed to generate a binarized image composed of 0 and 1 binarized pixel values (binarized NDVI values).
  • the value of the binarized pixel value (binarized NDVI value) of the binarized image is composed of either 0 or 1. ..
  • Step S106 the image processing apparatus 100 uses the NDVI image generated in step S102 in step S106, the binarized image generated by the binarization unit 123 in step S105, and these two input images to obtain an NDVI image.
  • a process of multiplying the pixel value by the pixel value of the binarized image is performed to generate a multiplied image composed of the multiplied pixel value.
  • This process is a process executed by the multiplication unit 124 of the NDVI image correction unit 102 shown in FIG.
  • the multiplication unit 124 uses the NDVI image generated in step S102, the binarized image generated by the binarization unit 123 in step S105, and these two input images to obtain the pixel value of the NDVI image and the binarized image. To generate a multiplied image by multiplying the pixel values of.
  • the multiplication pixel value (multiplication NDVI value), which is the pixel value of the constituent pixels of the multiplication image, is the following pixel value.
  • Multiplyed pixel value of the multiplied image (pixel value of the input NDVI image (NDVI value)) ⁇ (binarized pixel value of the binarized image (binarized NDVI value))
  • FIG. 15 An example of the multiplication image generated as a result of the multiplication process in the multiplication unit 124 is the multiplication image shown in FIG. 15 (5a) described above with reference to FIG.
  • the vegetation portion reflects the pixel value (NDVI value) of the original input NDVI image 52
  • the multiplication image shown in FIG. 15 (5a) is output to the image display unit 103 as an output image (corrected NDVI image) 53 shown in FIGS. 7 and 8 and displayed.
  • the pixel values (NDVI values) of the soil portion are all set to 0 (black, which is the minimum pixel value), and the user can see that this black region is the soil portion and is black. It is possible to easily distinguish that the area other than the area is the area of the vegetation part. Further, by observing the setting state of the pixel value (NDVI value) in the region other than the black region, it is possible to analyze the activity of the plant in each region. It can be determined that the vegetation region portion in the lower right CD region of the multiplied image shown in FIG. 15 (5a) has a lower pixel value (NDVI value) than the other portions and has a lower plant activity. can.
  • Step S107 The process of step S107 is a process executed by the multiplication image averaging unit 125 of the NDVI image correction unit 102 shown in FIG. 19, is an optional process, and can be omitted.
  • the image processing apparatus 100 executes the averaging process of the multiplied image generated in step S106 to generate the averaging multiplied image.
  • This process is a process executed by the multiplication image averaging unit 125 as described above with reference to FIGS. 16 and 17.
  • the following average pixel value calculation process is performed for each pixel of the multiplied image.
  • Average pixel value (total pixel values of pixels in the averaging processing range) / (number of pixels in the averaging processing range of pixels with a pixel value> 0)
  • the multiplication image averaging unit 125 acquires the vegetation portion direction 71 and the vegetation portion spacing 72 from the multiplication image shown in FIG. 16 (5a).
  • the vegetation portion direction 71 corresponds to the vertical direction in the figure.
  • the multiplication image averaging unit 125 averages the pixel values (NDVI values) set for each pixel of the multiplication image shown in FIG. 16 (5a) based on the acquired vegetation portion direction 71 and vegetation portion spacing 72. Perform the conversion process.
  • This pixel-based averaging process is executed for all the constituent pixels of the multiplication image shown in FIG. 16 (5a). That is, the pixels to be processed are sequentially changed from the upper left end portion to the lower right lower end portion of the multiplied image shown in FIG. 16 (5a), and the averaging process is performed for each pixel.
  • the averaged pixel value of each pixel is calculated by the so-called moving average pixel value calculation process.
  • the area where the processing target pixel is in the image edge region and the pixel cannot be selected from within the vegetation portion interval centered on the processing target pixel is the same as the processing described with reference to FIG. 11 above. Is processed. That is, without setting the processing target pixel as the center, the range including the processing target pixel and the range including the number of pixels corresponding to the vegetation portion interval is selected as the averaging target pixel and the averaging process is executed. ..
  • the average pixel value (NDVI value) of a plurality of pixels within the vegetation portion interval in the direction perpendicular to the vegetation portion direction with respect to the processing target pixel is calculated, and this calculated pixel value is used as the pixel of the processing target pixel.
  • NDVI value average pixel value
  • the multiplication image averaging unit 125 calculates the averaging multiplication pixel values for all the pixels of the multiplication image shown in FIG. 16 (5a), generates the averaging multiplication image shown in FIG. 16 (6b), and generates the average.
  • the conversion image is output to the image display unit 103 as an output image (corrected NDVI image) 53.
  • the averaging multiplied image generated by the averaging unit 125 is an image composed of only index values indicating the activity of plants in the vegetation part that does not include the soil part, that is, the NDVI value corresponding to the vegetation part. It is possible to surely grasp the activity of plants in each area of the vegetation part without worrying about the existence of the soil part.
  • FIG. 20 is an example of a specific hardware configuration of the image processing apparatus of the present disclosure.
  • the CPU (Central Processing Unit) 301 functions as a control unit or a data processing unit that executes various processes according to a program stored in the ROM (Read Only Memory) 302 or the storage unit 308. For example, the process according to the sequence described in the above-described embodiment is executed.
  • the RAM (Random Access Memory) 303 stores programs and data executed by the CPU 301. These CPU 301, ROM 302, and RAM 303 are connected to each other by a bus 304.
  • the CPU 301 is connected to the input / output interface 305 via the bus 304, and the input / output interface 305 is connected to an input unit 306 consisting of various switches, a keyboard, a mouse, a microphone, a sensor, etc., and an output unit 307 consisting of a display, a speaker, and the like. Has been done.
  • the CPU 301 executes various processes in response to a command input from the input unit 306, and outputs the process results to, for example, the output unit 307.
  • the storage unit 308 connected to the input / output interface 305 is composed of, for example, a hard disk or the like, and stores programs executed by the CPU 301 and various data.
  • the communication unit 309 functions as a transmission / reception unit for Wi-Fi communication, Bluetooth (registered trademark) (BT) communication, and other data communication via a network such as the Internet or a local area network, and communicates with an external device.
  • Wi-Fi Wi-Fi
  • BT registered trademark
  • the drive 310 connected to the input / output interface 305 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and records or reads data.
  • a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • the technique disclosed in the present specification can have the following configuration.
  • (1) It has a vegetation index value setting image correction unit that inputs a vegetation index value setting image in which a vegetation index value indicating the activity of a plant is set as a pixel value and generates a correction image of the vegetation index value setting image.
  • the vegetation index value setting image correction unit The average pixel value with the pixel value of the surrounding pixels is calculated for each constituent pixel of the vegetation index value setting image, and an averaged image in which the calculated average pixel value is set is generated.
  • the difference image between the vegetation index value setting image and the averaged image is subjected to binarization processing according to a specified threshold value to generate a binarized image.
  • An image processing device that uses the multiplied image generated by the multiplication process of the vegetation index value setting image and the binarized image as a correction image of the vegetation index value setting image.
  • the vegetation index value setting image is The image processing apparatus according to (1), which is an NDVI image in which an NDVI (Normalized Difference Vegetation Index) value is set as a pixel value.
  • NDVI Normalized Difference Vegetation Index
  • the vegetation index value setting image is It is an image generated based on the image taken by the camera including the vegetation part and the soil part.
  • the vegetation index value setting image correction unit It has an averaging unit that generates the averaging image, and has an averaging unit.
  • the averaging section The direction of the vegetation part and the distance between the vegetation parts included in the vegetation index value setting image are acquired.
  • the processing target pixel the average pixel value of the pixels in the direction perpendicular to the vegetation portion direction and within the vegetation portion interval including the processing target pixel is calculated as the averaged pixel value of the processing target pixel.
  • the image processing apparatus according to (1) or (2), which generates an averaged image in which an averaged pixel value calculated for each of the constituent pixels of the vegetation index value setting image is set.
  • the distance between the vegetation parts is It is a pixel interval including the pixels of the vegetation part row corresponding to one row and the pixels of the soil part row corresponding to one row.
  • the averaging section The average value of the pixel values of the pixels in the vegetation section including the pixels to be processed and the pixels in the vegetation section corresponding to one row and the pixels in the vegetation section including the pixels in the soil section corresponding to one row is processed.
  • the image processing apparatus according to (3) which calculates as a pixel averaged pixel value.
  • the averaging section is The image processing apparatus according to (3) or (4), which acquires the vegetation portion direction and the vegetation portion interval of the vegetation portion included in the vegetation index value setting image by image analysis of the vegetation index value setting image.
  • the averaging section is The image processing apparatus according to any one of (3) to (5), wherein at least one of the vegetation portion direction and the vegetation portion interval is acquired from user input data.
  • the vegetation index value setting image correction unit is It has a subtraction unit that inputs the averaged image and generates a difference image between the vegetation index value setting image and the averaged image.
  • the subtraction part The image processing according to any one of (1) to (6), wherein the difference image composed of the pixel value of the subtraction result is generated by subtracting the pixel value in the corresponding pixel unit of the vegetation index value setting image and the averaged image.
  • the vegetation index value setting image is It is an NDVI image in which an NDVI (Normalized Difference Vegetation Index) value is set as a pixel value.
  • the NDVI value of the NDVI image is set to a value in the range of 0.0 to 1.0, and the NDVI value is set to a value in the range of 0.0 to 1.0.
  • the difference image is The image processing apparatus according to any one of (1) to (7), which is a difference image between the NDVI image and the averaged image, and is a difference image including pixels having a pixel value of 0 or more and a pixel value of 0 or less.
  • the vegetation index value setting image correction unit is The difference image has a binarization unit that executes a binarization process according to a specified threshold value to generate a binarization image.
  • the image processing apparatus according to any one of (1) to (8), which generates a binarized image in which the pixel value of the constituent pixels of the difference image is 0 or a negative value, the pixel value is set to 0.
  • the vegetation index value setting image correction unit is The difference image has a binarization unit that executes a binarization process according to a specified threshold value to generate a binarization image.
  • the binarization unit The image processing apparatus according to any one of (1) to (9), which generates a binarized image using a value other than 0 as the above-mentioned threshold.
  • the vegetation index value setting image correction unit is It has a multiplication unit that generates the multiplication image by multiplying the vegetation index value setting image and the binarized image.
  • the multiplication part is 4. The image according to any one of (1) to (10), wherein the vegetation index value setting image is multiplied by the pixel value in the corresponding pixel unit of the binarized image to generate a multiplied image composed of the pixel value of the multiplication result. Image processing device.
  • the binarized image is It is a binarized image in which the pixel value is set to 0 or 1.
  • the multiplication part is The vegetation index value setting image is multiplied by the pixel value in the corresponding pixel unit of the binarized image whose pixel value is set to 0 or 1, and as a result of the multiplication, the pixel value of 0 and the vegetation index value setting are set.
  • the image processing apparatus according to (11) which generates a multiplied image composed of pixel values reflecting the pixel values of the image.
  • the vegetation index value setting image is It is an image generated based on the image taken by the camera including the vegetation part and the soil part.
  • the vegetation index value setting image correction unit is It has a multiplication image averaging unit that executes the multiplication image averaging process.
  • the multiplication image averaging unit The average pixel value with the pixel value of the surrounding pixels is calculated for each constituent pixel of the multiplied image, an averaged multiplied image in which the calculated average pixel value is set is generated, and the generated averaged multiplied image is used as the vegetation index value.
  • the image processing apparatus according to any one of (1) to (13), which is a corrected image of the set image.
  • the multiplication image averaging unit is From the multiplication image, a vegetation part extraction image in which only the vegetation part region presumed to be the vegetation part is extracted is generated. Acquire the vegetation part direction and the vegetation part interval of the generated vegetation part extraction image, Regarding the processing target pixel, the average pixel value of the pixels in the direction perpendicular to the vegetation portion direction and within the vegetation portion interval including the processing target pixel is calculated as the averaged pixel value of the processing target pixel. Described in (14), after calculating the averaged pixel value for each of the constituent pixels of the multiplied image, the vegetation portion extracted image is enlarged to the image size of the vegetation index value setting image to generate the averaged multiplied image. Image processing device.
  • the image processing device has a vegetation index value setting image correction unit that inputs a vegetation index value setting image in which a vegetation index value indicating the activity of a plant is set as a pixel value and generates a correction image of the vegetation index value setting image.
  • the vegetation index value setting image correction unit The average pixel value with the pixel value of the surrounding pixels is calculated for each constituent pixel of the vegetation index value setting image, and an averaged image in which the calculated average pixel value is set is generated.
  • the difference image between the vegetation index value setting image and the averaged image is subjected to binarization processing according to a specified threshold value to generate a binarized image.
  • An image processing method in which the multiplied image generated by the multiplication process of the vegetation index value setting image and the binarized image is used as a correction image of the vegetation index value setting image.
  • a program that executes image processing in an image processing device is It has a vegetation index value setting image correction unit that inputs a vegetation index value setting image in which a vegetation index value indicating the activity of a plant is set as a pixel value and generates a correction image of the vegetation index value setting image.
  • the program is applied to the vegetation index value setting image correction unit.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • executing processing by software install the program that records the processing sequence in the memory in the computer built in the dedicated hardware and execute it, or execute the program on a general-purpose computer that can execute various processing. It can be installed and run.
  • the program can be pre-recorded on a recording medium.
  • LAN Local Area Network
  • the various processes described in the specification are not only executed in chronological order according to the description, but may also be executed in parallel or individually as required by the processing capacity of the device that executes the processes.
  • the system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • a device and a method for generating and outputting images are realized.
  • it has a vegetation index value setting image correction unit that generates a correction image of a vegetation index value setting image in which a vegetation index value such as an NDVI value is set as a pixel value.
  • the vegetation index value setting image correction unit calculates the average pixel value with the pixel values of the surrounding pixels for each constituent pixel of the vegetation index value setting image, generates an averaged image in which the average pixel value is set, and sets the vegetation index value.
  • a binarized image is generated by binarizing the difference image between the image and the averaged image according to the specified threshold value, and the multiplied image of the vegetation index value setting image and the binarized image is converted into the vegetation index value. It is used as a corrected image of the set image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Biochemistry (AREA)
  • Forests & Forestry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Botany (AREA)
  • Remote Sensing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Environmental Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)

Abstract

植生部と土壌部が混在する画像に基づいて、植生部領域のＮＤＶＩ値等、高精度な植生指標値からなる補正画像を生成、出力する装置、方法を提供する。ＮＤＶＩ値等の植生指標値を画素値として設定した植生指標値設定画像の補正画像を生成する植生指標値設定画像補正部を有する。植生指標値設定画像補正部は、植生指標値設定画像の構成画素単位で周囲画素の画素値との平均画素値を算出し、平均画素値を設定した平均化画像を生成し、植生指標値設定画像と平均化画像との差分画像に対して規定しきい値に従った２値化処理により２値化画像を生成し、植生指標値設定画像と２値化画像の乗算画像を、植生指標値設定画像の補正画像とする。

Description

画像処理装置、および画像処理方法、並びにプログラム
　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、カメラ撮影画像に基づく植物の活性度判定を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
　例えばドローン等に備えられたカメラを用いて農作物や、花、木等の様々な植物を撮影し、撮影画像を解析することで植物の活性度を計測する技術がある。
　植物の活性度を示す植生指標として、例えばＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｖｅｇｅｔａｔｉｏｎ　Ｉｎｄｅｘ）がある。
　カメラ撮影画像の解析により、画像内に撮影された植物のＮＤＶＩを算出することで、撮影された画像内の植物の活性度を推定することができる。
　なお、植物の活性度を示す植生指標であるＮＤＶＩについて記載した従来技術として、例えば特許文献１（国際公開ＷＯ２０１８／０３４１６６号公報）がある。
　例えばネギ、キャベツ、白菜、ほうれん草などの野菜や、花、木等を栽培する農場では、栽培対象とする植物を一定の列、例えば直線状の「畝（うね）」を形成した列に沿って植えて栽培を行うことが多い。
　すなわち、栽培対象の植物を植えた「畝（うね）」等の植生部列を、一定間隔ごとに離間させて形成して栽培を行う。
　この結果、栽培対象の植物を植えた植生部列と、植物を植えていない土壌部列が交互に設定される。
　このように植生部列を、間隔を空けて設定することで、栽培対象の植物に多くの日光を浴びさせることが可能となり、また土壌部列を歩行路として利用することで作業がし易くなるなど、様々なメリットがある。
　しかし、植生部列と土壌部列が混在する農場を、ドローン等に装着したカメラを用いて上空から撮影すると、撮影画像は、植生部列のみならず土壌部列も含む画像となる。
　このような画像を用いて植生指標値であるＮＤＶＩ値を算出すると、土壌部列部分の画素値も含む画素値データに基づくＮＤＶＩ値算出処理が行われてしまい、植生部のみの正確な植生指標値を算出することができないという問題がある。
国際公開ＷＯ２０１８／０３４１６６号公報
　本開示は、例えば上記の問題点に鑑みてなされたものであり、カメラ撮影画像に基づく植物の活性度判定を行う構成において、植生部列と土壌部列が混在する農場を撮影した画像に基づいて、植生部列にある植物のＮＤＶＩ値等、植物の活性度を示す植生指標を正確に算出する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
　本開示の構成、処理を適用することで、植物の活性度を高精度に判定することが可能となる。
　本開示の第１の側面は、
　植物の活性度を示す植生指標値を画素値として設定した植生指標値設定画像を入力し、前記植生指標値設定画像の補正画像を生成する植生指標値設定画像補正部を有し、
　前記植生指標値設定画像補正部は、
　前記植生指標値設定画像の構成画素単位で周囲画素の画素値との平均画素値を算出し、算出した平均画素値を設定した平均化画像を生成し、
　前記植生指標値設定画像と前記平均化画像との差分画像に対して、規定しきい値に従った２値化処理を実行して２値化画像を生成し、
　前記植生指標値設定画像と、前記２値化画像の乗算処理によって生成した乗算画像を、前記植生指標値設定画像の補正画像とする画像処理装置にある。
　さらに、本開示の第２の側面は、
　画像処理装置において実行する画像処理方法であり、
　前記画像処理装置は、
　植物の活性度を示す植生指標値を画素値として設定した植生指標値設定画像を入力し、前記植生指標値設定画像の補正画像を生成する植生指標値設定画像補正部を有し、
　前記植生指標値設定画像補正部が、
　前記植生指標値設定画像の構成画素単位で周囲画素の画素値との平均画素値を算出し、算出した平均画素値を設定した平均化画像を生成し、
　前記植生指標値設定画像と前記平均化画像との差分画像に対して、規定しきい値に従った２値化処理を実行して２値化画像を生成し、
　前記植生指標値設定画像と、前記２値化画像の乗算処理によって生成した乗算画像を、前記植生指標値設定画像の補正画像とする画像処理方法にある。
　さらに、本開示の第３の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　前記画像処理装置は、
　植物の活性度を示す植生指標値を画素値として設定した植生指標値設定画像を入力し、前記植生指標値設定画像の補正画像を生成する植生指標値設定画像補正部を有し、
　前記プログラムは、前記植生指標値設定画像補正部に、
　前記植生指標値設定画像の構成画素単位で周囲画素の画素値との平均画素値を算出し、算出した平均画素値を設定した平均化画像を生成する処理と、
　前記植生指標値設定画像と前記平均化画像との差分画像に対して、規定しきい値に従った２値化処理を実行して２値化画像を生成する処理と、
　前記植生指標値設定画像と、前記２値化画像の乗算処理によって生成した乗算画像を、前記植生指標値設定画像の補正画像として出力する処理を実行させるプログラムにある。
　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、植生部と土壌部が混在する画像に基づいて、植生部領域のＮＤＶＩ値等、高精度な植生指標値からなる補正画像を生成、出力する装置、方法が実現される。
　具体的には、例えば、ＮＤＶＩ値等の植生指標値を画素値として設定した植生指標値設定画像の補正画像を生成する植生指標値設定画像補正部を有する。植生指標値設定画像補正部は、植生指標値設定画像の構成画素単位で周囲画素の画素値との平均画素値を算出し、平均画素値を設定した平均化画像を生成し、植生指標値設定画像と平均化画像との差分画像に対して規定しきい値に従った２値化処理により２値化画像を生成し、植生指標値設定画像と２値化画像の乗算画像を、植生指標値設定画像の補正画像とする。
　本構成により、植生部と土壌部が混在する画像に基づいて、植生部領域のＮＤＶＩ値等、高精度な植生指標値からなる補正画像を生成、出力する装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
農場の上空からの画像撮影処理例について説明する図である。 農場の撮影画像と、撮影画像に基づいて生成されるＮＤＶＩ画像について説明する図である。 農場の撮影画像に基づいて生成されるＮＤＶＩ画像の問題点について説明する図である。 農場の撮影画像に基づいて生成されるＮＤＶＩ画像の問題点について説明する図である。 農場の撮影画像に基づいて生成されるＮＤＶＩ画像の問題点について説明する図である。 農場の撮影画像に基づいて生成されるＮＤＶＩ画像の問題点について説明する図である。 本開示の画像処理装置の構成と処理について説明する図である。 本開示の画像処理装置のＮＤＶＩ画像補正部の構成と処理について説明する図である。 ＮＤＶＩ画像補正部に対する入力画像であるＮＤＶＩ画像の一例について説明する図である。 ＮＤＶＩ画像補正部の平均化部が実行する処理の詳細について説明する図である。 ＮＤＶＩ画像補正部の平均化部が実行する処理の詳細について説明する図である。 ＮＤＶＩ画像補正部の平均化部が実行する処理の詳細について説明する図である。 ＮＤＶＩ画像補正部の減算部が実行する処理の詳細について説明する図である。 ＮＤＶＩ画像補正部の２値化部が実行する処理の詳細について説明する図である。 ＮＤＶＩ画像補正部の乗算部が実行する処理の詳細について説明する図である。 ＮＤＶＩ画像補正部の乗算画像平均化部が実行する処理の詳細について説明する図である。 ＮＤＶＩ画像補正部の乗算画像平均化部が実行する処理の詳細について説明する図である。 本開示の画像処理装置が実行する処理の詳細シーケンスを説明するフローチャートを示す図である。 本開示の画像処理装置のＮＤＶＩ画像補正部が実行する処理の詳細について説明する図である。 本開示の画像処理装置のハードウェア構成例について説明する図である。
　以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．植物の活性度を示す指標（植生指標）について
　２．植物の活性度指標値であるＮＤＶＩ値の従来の算出処理例と、問題点について
　３．本開示の画像処理装置の構成と処理の詳細について
　３－１．平均化部１２１の実行する処理について
　３－２．減算部１２２の実行する処理について
　３－３．２値化部１２３の実行する処理について
　３－４．乗算部１２４の実行する処理について
　３－５．乗算画像平均化部１２５の実行する処理について
　４．本開示の画像処理装置の実行する処理のシーケンスについて
　５．画像処理装置のハードウェア構成例について
　６．本開示の構成のまとめ
　　［１．植物の活性度を示す指標（植生指標）について］
　まず、植物の活性度を示す指標（植生指標）について説明する。
　前述したように、例えばドローン等に備えられたカメラを用いて農作物や、花、木等の様々な植物を撮影し、撮影画像を解析することで植物の活性度を計測する技術がある。
　植物の活性度を示す指標（植生指標）として、例えばＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｖｅｇｅｔａｔｉｏｎ　Ｉｎｄｅｘ）がある。
　一般に、ＮＤＶＩは、以下の（式１）に従って算出することができる。
　ＮＤＶＩ＝（ＮＩＲ－ＲＥＤ）／（ＮＩＲ＋ＲＥＤ）・・・（式１）
　上記（式１）において、
　ＲＥＤ（赤），ＮＩＲ（近赤外）は、赤色光と近赤外光２つの波長の画像を同時に撮影できるカメラ（マルチスペクトルカメラ）による撮影画像の各画素におけるＲＥＤ（赤）波長（約０．６３～０．６９μｍ）とＮＩＲ（近赤外）波長（約０．７６～０．９０μｍ）の強度（画素値）である。
　カメラ撮影画像から取得されるＲＥＤ（赤），ＮＩＲ（近赤外）の強度を示す画素値は、被写体からの反射光を測定したものである。
　植物は葉緑素（クロロフィル）で赤波長の光を吸収し光合成を行い、吸収しきれなかった光が拡散反射として葉から放出される。したがって赤系統の波長光を多く吸収する葉が、活性度の高い葉であると判断することができる。
　例えば、図１に示すように、ドローン１０に、カメラ１１を搭載し、農場を上空から撮影する。カメラ１１は、ＲＥＤ波長（赤）とＮＲＩ波長（近赤外）を同時撮影するマルチスペクトルカメラである。
　農場は、例えばネギ、キャベツ、白菜、ほうれん草などの野菜や、花、木等を栽培する農場である。
　図１に示すように、栽培対象とする植物は、一定の列、例えば直線状の「畝（うね）」に沿った植生部の列に沿って植えられている。
　植生部列は、一定間隔で離間して、多数、形成される。このように植生部列を、間隔を空けて設定することで、栽培対象の植物に多くの日光を浴びさせることが可能となり、また作業もし易くなるなど、様々なメリットがある。
　しかし、この結果、農場は、図１に示すように、栽培対象の植物を植えた植生部列と、植物を植えていない土壌部列が交互に設定された構成となる。
　図１に示すように、植生部列と土壌部列が混在する農場を、ドローン１０に装着したカメラ１１を用いて上空から撮影すると、撮影画像は、植生部列と土壌部列が混在する画像となる。
　このような画像を用いて植生指標値であるＮＤＶＩ値を算出すると、土壌部列部分の画素値も含む画素値データに基づくＮＤＶＩ値算出処理が行われてしまい、植生部のみの正確な植生指標値を算出することができない。
　図２には、（ａ）カメラ撮影画像と、（ｂ）ＮＤＶＩ画像の例を示している。
　図２（ａ）に示すカメラ撮影画像の各画素について、先に説明した（式１）に従って、各画素対応のＮＤＶＩ値を算出する。すなわち、
　　ＮＤＶＩ＝（ＮＩＲ－ＲＥＤ）／（ＮＩＲ＋ＲＥＤ）・・・（式１）
　上記（式１）に従って、各画素対応のＮＤＶＩ値を算出する。
　この算出結果に基づいて生成される画像の一例が図２に示す（ｂ）ＮＤＶＩ画像である。
　ＮＤＶＩ画像の各画素に設定される画素値はＮＤＶＩ値に相当する。
　ＮＤＶＩ値は、例えばＮＤＶＩ＝０．０～１．０の範囲に設定される。図２に示す（ｂ）ＮＤＶＩ画像の白い部分（高輝度部分）が、ＮＤＶＩ値が高い（１．０に近い）領域であり、植物の活性度が高い領域である。
　一方、図２に示す（ｂ）ＮＤＶＩ画像の黒い部分（低輝度部分）が、ＮＤＶＩ値が低い（０．０に近い）領域であり、植物の活性度が低い領域である。
　しかし、図２に示す（ｂ）ＮＤＶＩ画像の黒い部分（低輝度部分）には、栽培対象の植物が存在しない土壌部分が含まれている。従って、例えば、この画像の全体的な画素値（ＮＤＶＩ値）の平均値を算出しても、植生部のみの正確な活性度指標値を得ることはできない。
　　［２．植物の活性度指標値であるＮＤＶＩ値の従来の算出処理例と、問題点について］
　次に、図３以下を参照して、植物の活性度指標値であるＮＤＶＩ値の従来の算出処理例と、問題点について説明する。
　図３は、先に説明した図１と同様、植生部列と土壌部列が混在する農場を、ドローン１０に備えられたカメラ１１を用いて上空から撮影する場合の例を示す図である。
　この農場は、図３に示すように一部に生育不良領域２０が存在するとする。
　このような生育不良領域２０が含まれた農場の撮影画像から、ＮＤＶＩ画像を生成すると、図４に示すように、生育不良領域２０に対応するＮＤＶＩ画像の画像領域は画素値（ＮＤＶＩ値）が低い画像領域、すなわち低輝度の画像領域となる。
　なお、図４に示すＮＤＶＩ画像の高輝度（白）ラインが、植生部列に対応するラインであり、低輝度（灰～黒）ラインが土壌部列に相当するラインである。
　なお、図４以下に示すＮＤＶＩ画像は、説明を理解しやすくするため、植生部列を高輝度（白）ラインとして示し、土壌部列を低輝度（灰～黒）ラインとして明確に区分して示した模式的な画像である。実際の撮影画像では各ラインの境界は曖昧な境界となる。以下では、本開示の処理を理解しやすくするため、各ラインの境界を明確に示した模式的なＮＤＶＩ画像を用いて説明する。
　図４に示すように、植生部列と土壌部列が混在する農場の撮影画像に基づいて生成されるＮＤＶＩ画像は、植生部列のＮＤＶＩ値と土壌部列のＮＤＶＩ値が混在する画像となる。従って、例えば、この画像の全体的な画素値（ＮＤＶＩ値）の平均値を算出しても、植生部のみの正確な活性度指標値（ＮＤＶＩ値）を得ることはできない。
　このような画像から、植生部のみの活性度指標値（ＮＤＶＩ値）を算出するための従来の処理例について、図５以下を参照して説明する。
　図５（１）には、図４を参照して説明したと同様、生育不良領域２０を含むＮＤＶＩ画像を示している。
　まず、このＮＤＶＩ画像の全画素の画素値（ＮＤＶＩ値）のヒストグラムを生成する。
　図５（２）は、図５（１）に示すＮＤＶＩ画像の全画素の画素値（ＮＤＶＩ値）のヒストグラムである。
　図５（２）に示すヒストグラムは、横軸にＮＤＶＩ値（０～１．０）、縦軸に画素数を示したグラフである。
　図５（２）に示すグラフの実線で示す曲線が各ＮＤＶＩ値対応の「画素値分布曲線（実測値）」、すなわち「ヒストグラム」である。
　図５（２）に示すように、この画素値分布曲線は２つの山を有している。これらの山のうち、右側の山、すなわちＮＤＶＩ値が高い方にある大きな山が植生部列に対応する画素のＮＤＶＩ値の分布を示す山に相当すると推定される。
　一方、左側の山、すなわちＮＤＶＩ値が低い方にある小さな山が土壌部列に対応する画素のＮＤＶＩ値の分布を示す山に相当すると推定される。
　このような推定結果に基づいて、図５（２）に示すような、しきい値、すなわち、
　「植生部と土壌部の推定しきい値（ＮＤＶＩ値＝０．４）」を設定する。
　図５（２）に示すように、ＮＤＶＩ値が高い方にある大きな山の左下部領域に、植生部対応画素のＮＤＶＩ値の推定分布曲線（植生部推定分布曲線）を追記する。
　さらに、図５（２）に示すように、ＮＤＶＩ値が低い方にある小さな山の右下部領域に、土壌部対応画素のＮＤＶＩ値の推定分布曲線（土壌部推定分布曲線）を追記する。
　これらの推定分布曲線に交点位置（ＮＤＶＩ値＝０．４）を求め、この交点位置（ＮＤＶＩ値＝０．４）を「植生部と土壌部の推定しきい値」とする。
　この推定しきい値を用いて、図５（１）に示すＮＤＶＩ画像に含まれる植生部と土壌部を判別する。
　具体的には、画素値（ＮＤＶＩ値）が、しきい値＝０．４以上の領域は植生部と判定し、しきい値＝０．４未満の領域は土壌部と判定する。
　この判別処理によって選択された植生部、すなわち、しきい値＝０．４以上の植生部と推定された領域のみを植物活性度指標値（ＮＤＶＩ値）の解析対象とする。
　このような「しきい値」を用いた領域判定処理を行うことで、しきい値＝０．４未満の領域は土壌部と判定され、これらの領域を植物活性度指標値（ＮＤＶＩ値）の算出対象から除外することができる。
　しかし、このように「しきい値」を用いた領域判定処理を行うと、図５（１）に示すＮＤＶＩ画像に含まれる生育不良領域２０が土壌部領域として判定される可能性がある。
　図６を参照して具体例について説明する。
　図６（１）ＮＤＶＩ画像は、図５（１）に示すＮＤＶＩ画像と同じ画像である。すなわち、図４を参照して説明したと同様の生育不良領域２０を含むＮＤＶＩ画像を示している。
　図６（２）は、図６（１）ＮＤＶＩ画像の最下部の画素ラインＡＢのＮＤＶＩ値を示すグラフである。
　横軸が画素ラインＡＢの画素位置を示し、縦軸が各画素のＮＤＶＩ値を示している。
　グラフに示すように、画素ラインＡＢのＮＤＶＩ値は複数の山と谷が一定間隔で形成された曲線となる。
　ＮＤＶＩ値の高い部分（山部分）が植生部に対応し、ＮＤＶＩ値の低い部分（谷部分）が土壌部に対応する。
　ここで、図６（２）に示すグラフに対して、先に図５を参照して説明した「植生部と土壌部の推定しきい値（ＮＤＶＩ値＝０．４）」を用いて、植生部と土壌部を区別する処理を行ってみる。
　図６（２）のグラフのほぼ中央に中段にある点線が、推定しきい値（（ＮＤＶＩ値＝０．４）のラインである。
　この推定しきい値（（ＮＤＶＩ値＝０．４）より上側の高いＮＤＶＩ値を持つ領域が植生部領域であり、下側の低いＮＤＶＩ値を持つ領域が土壌部領域と判定されることになる。
　しかし、図６（２）に示すように、生育不良領域２０に相当する図６（２）に示すＣＤ部分は、山部分が低い山となっている。このＣＤ部分にある山部分は、植生部に相当するにも関わらず、推定しきい値（（ＮＤＶＩ値＝０．４）より低いＮＤＶＩ値を持つ領域であるため。土壌部領域と判定されてしまう。
　このように、「推定しきい値」を用いた領域判定を行うと、生育不良領域の植生部が、誤って土壌部であると判定されてしまうといった問題が発生する。
　　［３．本開示の画像処理装置の構成と処理の詳細について］
　次に、本開示の画像処理装置の構成と処理の詳細について説明する。
　本開示の画像処理装置は、上述した問題を解消し、植物の活性度を高精度に判定することを可能とする。
　すなわち、本開示の画像処理装置は、植生部列と土壌部列が混在する農場を撮影した画像に基づいて、植生部列にある植物のＮＤＶＩ値等、植物の活性度を示す植生指標を正確に算出することを可能とする。
　本開示の構成、処理を適用することで、植物の活性度を高精度に判定することが可能となる。
　図７以下を参照して、本開示の画像処理装置の構成と処理の詳細について説明する。
　図７は、本開示の画像処理装置１００の構成例を示す図である。
　図７に示すように、本開示の画像処理装置１００は、ＮＤＶＩ画像生成部１０１、ＮＤＶＩ画像補正部１０２、画像表示部１０３を有する。
　ＮＤＶＩ画像生成部１０１は、撮影画像５１を入力してＮＤＶＩ画像５２を生成する。
　撮影画像５１は、例えば図１に示すドローン１０に装着したカメラ１１の撮影画像である。
　カメラ１１は、マルチスペクトルカメラであり、撮影画像５１は、各画素におけるＲＥＤ（赤）波長（約０．６３～０．６９μｍ）とＮＩＲ（近赤外）波長（約０．７６～０．９０μｍ）の強度（画素値）を取得できる画像である。
　ＮＤＶＩ画像生成部１０１は、撮影画像５１を入力して、先に説明した（式１）、すなわち、
　ＮＤＶＩ＝（ＮＩＲ－ＲＥＤ）／（ＮＩＲ＋ＲＥＤ）・・・（式１）
　上記（式１）に従って、撮影画像５１各画素のＮＤＶＩ値を算出する。
　なお、上記（式１）において、ＲＥＤ（赤），ＮＩＲ（近赤外）はＲＥＤ（赤）波長（約０．６３～０．６９μｍ）とＮＩＲ（近赤外）波長（約０．７６～０．９０μｍ）の強度（画素値）である。
　ＮＤＶＩ画像生成部１０１は、撮影画像５１の各画素のＮＤＶＩ値を算出し、各画素に算出画素値（ＮＤＶＩ値）を設定したＮＤＶＩ画像５２を生成する。
　このＮＤＶＩ画像５２は、例えば図５（１）や図６（１）に示すＮＤＶＩ画像と同様の画像である。
　前述したように、ＮＤＶＩ値は、例えばＮＤＶＩ＝０．０～１．０の範囲に設定される。図５（１）や図６（１）に示すＮＤＶＩ画像の白い部分（高輝度部分）が、ＮＤＶＩ値が高い（１．０に近い）領域が、植物の活性度が高い領域であり、黒い部分（低輝度部分）が、ＮＤＶＩ値が低い（０．０に近い）領域であり、植物の活性度が低い領域、または土壌部領域である。
　ＮＤＶＩ画像生成部１０１の生成したＮＤＶＩ画像５２は、ＮＤＶＩ画像補正部１０２に入力される。
　ＮＤＶＩ画像補正部１０２は、ＮＤＶＩ画像生成部１０１の生成したＮＤＶＩ画像５２の補正処理を行う。
　具体的には、例えばＮＤＶＩ画像５２に含まれる土壌部と推定される領域と、植生部と推定される領域を明確に区別可能とした出力画像（補正ＮＤＶＩ画像）５３を生成する。
　あるいは、土壌部と推定される領域のＮＤＶＩ値を除去し、植生部と推定される領域のＮＤＶＩ値のみによって構成される出力画像（補正ＮＤＶＩ画像）５３を生成する。
　このＮＤＶＩ画像補正部１０２の実行する画像補正処理の詳細については、後段で説明する。
　ＮＤＶＩ画像補正部１０２が生成した出力画像（補正ＮＤＶＩ画像）５３は、画像表示部１０３に出力され、表示される。
　画像表示部１０３に表示される出力画像（補正ＮＤＶＩ画像）５３は、
　（ａ）土壌部と推定される領域と、植生部と推定される領域を明確に区別可能とした出力画像（補正ＮＤＶＩ画像）、または、
　（ｂ）土壌部と推定される領域のＮＤＶＩ値を除去し、植生部と推定される領域のＮＤＶＩ値のみによって構成される出力画像（補正ＮＤＶＩ画像）
　上記（ａ），（ｂ）のいずれかの画像であり、この出力画像（補正ＮＤＶＩ画像）５３を見ることで、各植生部領域の植物の活性度を正確に把握することができる。
　なお、以下において説明する実施例において、本開示の画像処理装置１００は、植物の活性度を示す植生指標値として「ＮＤＶＩ」を利用した実施例について説明するが、これは一例であり、本開示の画像処理装置１００は、植物の活性度を示す植生指標値として「ＮＤＶＩ」以外の植生指標値を利用することも可能である。
　すなわち、ＮＤＶＩ画像は、植生指標値設定画像の一例である。
　また、図７に示す画像処理装置１００のＮＤＶＩ画像生成部１０１は、植生指標値設定画像生成部の一例であり、ＮＤＶＩ画像補正部１０２は、植生指標値設定画像補正部の一例である。
　以下では、植生指標値の代表例として「ＮＤＶＩ」を利用した実施例について説明する。
　図７に示す画像処理装置１００のＮＤＶＩ画像補正部１０２の詳細構成と処理について、図８以下を参照して説明する。
　図８は、図７に示す画像処理装置１００のＮＤＶＩ画像補正部１０２の詳細構成を示すブロック図である。
　図８に示すように、画像処理装置１００のＮＤＶＩ画像補正部１０２は、平均化部１２１、減算部１２２、２値化部１２３、乗算部１２４、乗算画像平均化部１２５を有する。
　なお、乗算画像平均化部１２５はオプション的な構成であり、乗算画像平均化部１２５は省略した構成としてもよい。
　以下、これらの各構成部の実行する処理の詳細について順次、説明する。
　　（３－１．平均化部１２１の実行する処理について）
　まず、平均化部１２１の実行する処理について説明する。
　ＮＤＶＩ画像補正部１０２の平均化部１２１は、ＮＤＶＩ画像生成部１０１の生成したＮＤＶＩ画像５２を入力して、入力したＮＤＶＩ画像５２の平均化画像を生成する。
　図９は、平均化部１２１が入力するＮＤＶＩ画像５２、すなわち、前段のＮＤＶＩ画像生成部１０１の生成したＮＤＶＩ画像５２の具体例を示す図である。
　図９（１ａ）には、先に図６（１）を参照して説明したと同様のＮＤＶＩ画像を示している。
　すなわち、図９（１ａ）ＮＤＶＩ画像は、先に図３を参照して説明した生育不良領域２０を含む農場を撮影して得られるＮＤＶＩ画像であり、図４や、図５（１）、図６（１）に示すＮＤＶＩ画像と同じ画像である。すなわち、生育不良領域２０部分低い画素値（ＮＤＶＩ値）に設定されたＮＤＶＩ画像を示している。
　図９（１ｂ）は、先に図６（２）を参照して説明したと同様のグラフであり、図９（１ａ）に示すＮＤＶＩ画像の最下部の画素ラインＡＢのＮＤＶＩ値を示すグラフである。
　横軸が画素ラインＡＢの画素位置を示し、縦軸が各画素のＮＤＶＩ値を示している。
　図９（１ｂ）に示すグラフは、先に図６（２）を参照して説明したと同じグラフであり、画素ラインＡＢのＮＤＶＩ値は複数の山と谷が一定間隔で形成された曲線となる。ＮＤＶＩ値の高い部分（山部分）が植生部に対応し、ＮＤＶＩ値の低い部分（谷部分）が土壌部に対応する。
　平均化部１２１は、例えば図９（１ａ）に示すＮＤＶＩ画像５２を入力して、平均化処理を実行する。
　図１０を参照して、平均化部１２１の実行する平均化処理の具体例について説明する。
　図１０には、平均化処理対象となるＮＤＶＩ画像５２を示している。
　平均化部１２１は、まず、平均化処理対象となるＮＤＶＩ画像５２から植生部方向７１と植生部間隔７２を取得する。図１０に示す例では、植生部方向７１は図の上下方向に相当する。
　なお、植生部方向７１と植生部間隔７２の取得処理は、平均化処理対象となるＮＤＶＩ画像５２の画像解析によって取得する。ただし、ユーザが画像を確認して植生部方向７１と植生部間隔７２を入力する処理を行ってもよい。また、予め設定された農場の見取り図などを参考にして取得する構成としてもよい。
　また、農場によっては、植生部方向や、植生部間隔が領域ごとに異なる場合がある。このような場合は、領域単位で植生部方向や、植生部間隔の取得処理を実行し、以下の処理を領域単位で実行する構成としてもよい。
　次に、平均化部１２１は、取得した植生部方向７１と植生部間隔７２に基づいて、ＮＤＶＩ画像５２の各画素に設定された画素値（ＮＤＶＩ値）の平均化処理を行う。
　平均化処理は、ＮＤＶＩ画像５２の各画素単位で実行する。図１０に示す処理対象画素８１に対する処理について説明する。処理対象画素８１について、植生部方向７１の直角方向にあり、かつ処理対象画素８１を中心画素とする植生部間隔７２内の複数画素を選択し、これらの選択画素の画素値（ＮＤＶＩ値）の平均化処理を実行する。
　１つの植生部間隔７２には、１列分に相当する植生部の画素と、１列分に相当する土壌部の画素が含まれている。従って、１つの植生部間隔７２内に含まれる画素の平均画素値は、局所的な植生部と土壌部の平均値となる。
　平均化部１２１は、この画素単位の平均化処理をＮＤＶＩ画像５２の構成画素の全画素について実行する。すなわち、処理対象画素をＮＤＶＩ画像５２の左上端部から右下端部まで、順次、変更して、各画素単位で平均化処理を行う。いわゆる移動平均画素値算出処理により、各画素の平均化画素値を算出する。
　なお、処理対象画素が画像端部領域にあり、処理対象画素を中心画素とする植生部間隔内からの画素選択が不可能な領域については、例えば図１１に示すように、処理対象画素８１を中心に設定することなく、処理対象画素８１を含む範囲で、１列分に相当する植生部の画素と、１列分に相当する土壌部の画素が含まれる範囲を、平均化対象画素として選択して平均化処理を実行する。
　このように、処理対象画素に対して植生部方向の直角方向にある植生部間隔内の複数画素の画素値（ＮＤＶＩ値）の平均画素値を算出し、この算出画素値を処理対象画素の画素値として設定する。
　平均化部１２１は、この処理をＮＤＶＩ画像５２の全画素について実行して、平均化画像を生成する。
　この平均化処理の結果として生成される平均化画像の例を図１２に示す。
　図１２（２ａ）に示す平均化画像が、ＮＤＶＩ画像５２に対する上述した平均化処理の結果、生成される平均化画像である。
　なお、図１２（２ｂ）には参考図として、図１２（２ａ）に示す平均化画像の最下部の画素ラインＡＢのＮＤＶＩ値、すなわち平均化画素値（平均化ＮＤＶＩ値）を示している。横軸が画素ラインＡＢの画素位置を示し、縦軸が各画素のＮＤＶＩ値を示している。
　実線で示すグラフが、平均化画素値（平均化ＮＤＶＩ値）を示している。
　点線は、平均化処理前の元の入力ＮＤＶＩ画像５２のＮＤＶＩ値である。
　　（３－２．減算部１２２の実行する処理について）
　次に、減算部１２２の実行する処理について説明する。
　減算部１２２は、以下の２つの画像を入力する。
　（１）平均化処理前の元の入力ＮＤＶＩ画像５２と、
　（２）平均化部１２１が生成した平均化画像（＝図１２（２ａ）に示す平均化画像）
　減算部１２２は、これら２つの入力画像を用いて、元の入力ＮＤＶＩ画像５２の画素値から、平均化画像の画素値を減算する処理を行う。
　すなわち、元の入力ＮＤＶＩ画像５２と、平均化画像の対応画素単位で画素値を減算して減算結果の画素値から構成される差分画像を生成する。
　差分画像の構成画素の画素値である差分画素値（差分ＮＤＶＩ値）は、以下の画素値となる。
　差分画像の差分画素値（差分ＮＤＶＩ値）＝（入力ＮＤＶＩ画像の画素値（ＮＤＶＩ値））－（平均化画像の平均化画素値（平均化ＮＤＶＩ値））
　減算部１２２は、入力ＮＤＶＩ画像５２の全画素について、上記の減算処理を実行して、減算結果の差分画素値（差分ＮＤＶＩ値）から構成される差分画像を生成する。
　この減算部１２２における減算処理の結果として生成される差分画像の例を図１３に示す。
　図１３（３ａ）に示す差分画像が、上述した減算処理の結果として生成される差分画像である。
　この差分画像の構成画素の画素値である差分画素値（差分ＮＤＶＩ値）は、以下の画素値となる。
　差分画像の差分画素値（差分ＮＤＶＩ値）＝（入力ＮＤＶＩ画像の画素値（ＮＤＶＩ値））－（平均化画像の平均化画素値（平均化ＮＤＶＩ値））
　なお、図１３（３ｂ）には参考図として、図１３（３ａ）に示す差分画像の最下部の画素ラインＡＢのＮＤＶＩ値、すなわち差分画素値（差分ＮＤＶＩ値）を示している。横軸が画素ラインＡＢの画素位置を示し、縦軸が各画素のＮＤＶＩ値を示している。
　実線で示すグラフが、差分画像の差分画素値（差分ＮＤＶＩ値）を示している。
　点線は、元の入力ＮＤＶＩ画像５２のＮＤＶＩ値である。
　図１３（３ｂ）に示すように、元の入力ＮＤＶＩ画像５２のＮＤＶＩ値は、０～１．０の範囲の値であるが、差分画像の差分画素値（差分ＮＤＶＩ値）の値は、マイナス値からプラス値までの０をはさむ値となる。
　　（３－３．２値化部１２３の実行する処理について）
　次に、２値化部１２３の実行する処理について説明する。
　２値化部１２３は、減算部１２２が生成した差分画像（＝図１３（３ａ）に示す差分画像）の構成画素の画素値、すなわち、差分画素値（差分ＮＤＶＩ値）の２値化処理を実行する。
　２値化部１２３は、減算部１２２が生成した差分画像（＝図１３（３ａ）に示す差分画像）の構成画素の画素値の２値化処理を行う。すなわち、差分画素値（差分ＮＤＶＩ値）が正（プラス）の値の場合は、画素値＝１とし、０または負（マイナス）の値の場合は画素値＝０として設定する。
　すなわち、２値化部１２３は、減算部１２２が生成した差分画像（＝図１３（３ａ）に示す差分画像）の構成画素の差分画素値（差分ＮＤＶＩ値）の２値化処理を実行し、０，１の２値化画素値（２値化ＮＤＶＩ値）から構成される２値化画像を生成する。
　この２値化部１２３における２値化処理の結果として生成される２値化画像の例を図１４に示す。
　図１４（４ａ）に示す２値化画像が、上述した２値化処理の結果として生成される２値化画像である。
　この２値化画像の構成画素の画素値である２値化画素値（２値化ＮＤＶＩ値）は、０、または１の２値いずれかの値である。
　すなわち、２値化画像は、減算部１２２が生成した差分画像（＝図１３（３ａ）に示す差分画像）の差分画素値（差分ＮＤＶＩ値）が正（プラス）の値の場合は、画素値＝１、０および負（マイナス）の値の場合は画素値＝０として設定された画像である。
　なお、図１４（４ｂ）には参考図として、図１４（４ａ）に示す２値化画像の最下部の画素ラインＡＢのＮＤＶＩ値、すなわち２値化画素値（２値化ＮＤＶＩ値）を示している。横軸が画素ラインＡＢの画素位置を示し、縦軸が各画素のＮＤＶＩ値を示している。
　実線で示すグラフが、２値化画像の２値化画素値（２値化ＮＤＶＩ値）を示している。
　点線は、元の入力ＮＤＶＩ画像５２のＮＤＶＩ値である。
　図１４（４ｂ）に示すように、２値化画像の２値化画素値（２値化ＮＤＶＩ値）の値は、０、または１、いずれかの値によって構成される。
　２値化部１２３が生成した２値化画像において、２値化画素値（２値化ＮＤＶＩ値）＝１の部分は植生部と推定することができる。一方、２値化画素値（２値化ＮＤＶＩ値）＝０の部分は土壌部と推定することができる。
　なお、上述した処理例では、２値化部１２３が、差分画像の差分画素値（差分ＮＤＶＩ値）が正（プラス）の値の場合は、画素値＝１とし、０および負（マイナス）の値の場合は画素値＝０として設定した２値化画像を生成する処理例を説明した。すなわちしきい値＝０を利用した２値化処理例を説明した。
　２値化部１２３は、このような処理に限らず、例えばしきい値＝０．１、あるいはしきい値＝０．２、あるいはしきい値＝－０．１等、０以外のしきい値を用いて２値化処理を行う構成としてもよい。
　　（３－４．乗算部１２４の実行する処理について）
　次に、乗算部１２４の実行する処理について説明する。
　乗算部１２４は、以下の２つの画像を入力する。
　（１）元の入力ＮＤＶＩ画像５２と、
　（２）２値化部１２３が生成した２値化画像（＝図１４（４ａ）に示２値化画像）
　乗算部１２４は、これら２つの入力画像を用いて、入力ＮＤＶＩ画像５２の画素値と、２値化画像の対応画素値を乗算する処理を行う。
　すなわち、入力ＮＤＶＩ画像５２と、２値化画像の対応画素単位で画素値を乗算して乗算結果の画素値から構成される乗算画像を生成する。
　乗算画像の構成画素の画素値である乗算画素値（乗算ＮＤＶＩ値）は、以下の画素値となる。
　乗算画像の乗算画素値（乗算ＮＤＶＩ値）＝（入力ＮＤＶＩ画像の画素値（ＮＤＶＩ値））×（２値化画像の２値化画素値（２値化ＮＤＶＩ値））
　乗算部１２４は、入力ＮＤＶＩ画像５２の全画素について、上記の乗算処理を実行して、乗算結果の乗算画素値（乗算ＮＤＶＩ値）から構成される乗算画像を生成する。
　この乗算部１２４における乗算処理の結果として生成される乗算画像の例を図１５に示す。
　図１５（５ａ）に示す乗算画像が、上述した乗算処理の結果として生成される乗算画像である。
　この乗算画像の構成画素の画素値である乗算画素値（乗算ＮＤＶＩ値）は、以下の画素値となる。
　乗算画像の乗算画素値（乗算ＮＤＶＩ値）＝（入力ＮＤＶＩ画像の画素値（ＮＤＶＩ値））×（２値化画像の２値化画素値（２値化ＮＤＶＩ値））
　なお、図１５（５ｂ）には参考図として、図１５（５ａ）に示す乗算画像の最下部の画素ラインＡＢのＮＤＶＩ値、すなわち乗算画素値（乗算ＮＤＶＩ値）を示している。横軸が画素ラインＡＢの画素位置を示し、縦軸が各画素のＮＤＶＩ値を示している。
　実線で示すグラフが、乗算画像の乗算画素値（乗算ＮＤＶＩ値）を示している。
　点線は、元の入力ＮＤＶＩ画像５２のＮＤＶＩ値である。
　図１５（５ｂ）に示すように、実線で示す乗算画像の乗算画素値（乗算ＮＤＶＩ値）は、点線で示す元の入力ＮＤＶＩ画像５２の山部分（＝植生部）の画素値（ＮＤＶＩ値）を反映し、谷部分（土壌部）については０に設定された画素値となる。
　すなわち、植生部については元の入力ＮＤＶＩ画像５２の画素値（ＮＤＶＩ値）を反映し、土壌部については、全て画素値（ＮＤＶＩ値）＝０に設定される特性を有する画像となる。
　図１５（５ｂ）に示すグラフから明らかなように、生育不良領域ＣＤ部分についても、乗算画像の乗算画素値（乗算ＮＤＶＩ値）は、元の入力ＮＤＶＩ画像５２の画素値（ＮＤＶＩ値）を反映した画素値を有している。
　この図１５（５ａ）に示す乗算画像を、図７、図８に示す出力画像（補正ＮＤＶＩ画像）５３として画像表示部１０３に出力して表示する。
　図１５（５ａ）に示す乗算画像は、土壌部の画素値（ＮＤＶＩ値）が全て０（最低画素値である黒）に設定されており、ユーザ（画像観察者）は、この黒領域が土壌部であり、黒以外の領域が植生部の領域であると容易に判別することが可能となる。
　さらに、黒領域以外の領域の画素値（ＮＤＶＩ値）の設定状態を観察することで、各領域の植物の活性度を解析することが可能となる。
　また、ユーザ（画像観察者）は、図１５（５ａ）に示す乗算画像の右下のＣＤ領域内の０（最低画素値である黒）以外の領域については、植生領域であることが確認され、他の植生領域より、画素値（ＮＤＶＩ値）が低く、植物の活性度が低い植生領域であることを確認することができる。
　なお、この図１５（５ａ）に示す乗算画像を、出力画像（補正ＮＤＶＩ画像）５３として画像表示部１０３に出力して表示してもよいが、さらに、この乗算画像を図８に示す乗算画像平均化部１２５に出力して、乗算画像平均化部１２５において平均化乗算画像を生成し、生成した画像を出力画像（補正ＮＤＶＩ画像）５３としてもよい。
　　（３－５．乗算画像平均化部１２５の実行する処理について）
　次に、乗算画像平均化部１２５の実行する処理について説明する。
　上述したように、乗算画像平均化部１２５の処理は、必須処理ではなく、オプション処理である。
　乗算画像平均化部１２５は、乗算部１２４の生成した乗算画像の平均化処理を実行して、平均化乗算画像を生成し、生成した画像を出力画像（補正ＮＤＶＩ画像）５３として画像表示部１０３に出力する。
　図１６を参照して、乗算画像平均化部１２５の実行する処理について説明する。
　図１６には、（５ａ）乗算画像を示している。
　これは、乗算部１２４の生成した乗算画像である。
　乗算画像平均化部１２５は、この（５ａ）乗算画像について、土壌領域の画素値（ＮＤＶＩ画素値）＝０を除いた平均化処理を行う。
　なお、（５ａ）乗算画像は土壌部領域が全て画素値（ＮＤＶＩ値）＝０に設定されており、乗算画像平均化部１２５は、この画素値＝０の土壌領域を除いた平均化処理を行う。
　具体的には、（５ａ）乗算画像の各画素について、以下の平均画素値算出処理を行う。
　平均画素値＝（平均化処理範囲の画素の画素値総和）／（平均化処理範囲の画素中、画素値＞０の画素の画素数）
　具体的な処理シーケンスについて説明する。まず、乗算画像平均化部１２５は、図１６（５ａ）に示す乗算画像から植生部方向７１と植生部間隔７２を取得する。図１６に示す例では、植生部方向７１は図の上下方向に相当する。
　次に、乗算画像平均化部１２５は、取得した植生部方向７１と植生部間隔７２に基づいて、図１６（５ａ）に示す乗算画像の各画素に設定された画素値（ＮＤＶＩ値）の平均化処理を行う。
　図１６（５ａ）に示す処理対象画素９１に対する処理について説明する。処理対象画素９１について、植生部方向７１の直角方向で、かつ処理対象画素９１を中心画素とする植生部間隔７２内の複数画素を選択し、これらの選択画素の画素値（乗算画素値（乗算ＮＤＶＩ値））の平均化処理を実行する。
　平均化処理による平均画素値の算出処理は、上述したように以下の式に従って実行する。
　平均画素値＝（平均化処理範囲の画素の画素値総和）／（平均化処理範囲の画素中、画素値＞０の画素の画素数）
　この画素単位の平均化処理を図１６（５ａ）に示す乗算画像の構成画素の全画素について実行する。すなわち、処理対象画素を図１６（５ａ）に示す乗算画像の左上端部から右下端部まで、順次、変更して、各画素単位で平均化処理を行う。いわゆる移動平均画素値算出処理により、各画素の平均化画素値を算出する。
　なお、処理対象画素が画像端部領域にあり、処理対象画素を中心画素とする植生部間隔内からの画素選択が不可能な領域については、先に図１１を参照して説明した処理と同様の処理を行う。すなわち、処理対象画素を中心に設定することなく、処理対象画素を含む範囲で、植生部間隔に相当する数の画素が含まれる範囲を、平均化対象画素として選択して平均化処理を実行する。
　このように、処理対象画素に対して植生部方向の直角方向にある植生部間隔内の複数画素の画素値（ＮＤＶＩ値）の平均画素値を算出し、この算出画素値を処理対象画素の画素値として設定する。
　乗算画像平均化部１２５は、図１６（５ａ）に示す乗算画像の全画素についての平均化乗算画素値を算出し、図１６（６ｂ）に示す平均化乗算画像を生成する。
　乗算画像平均化部１２５は、この図１６（６ｂ）に示す平均化乗算画像を出力画像（補正ＮＤＶＩ画像）５３として画像表示部１０３に出力する。
　乗算画像平均化部１２５が生成する平均化乗算画像の例を図１７に示す。
　図１７（６ｂ）に示す画像は、図１６（６ｂ）に示す平均化乗算画像と同じ画像であり、乗算部１２４が生成した乗算画像の平均化処理を行って生成された平均化乗算画像である。
　なお、図１７（６ｃ）には参考図として、図１７（６ｂ）に示す平均化乗算画像の最下部の画素ラインＡＢのＮＤＶＩ値、すなわち平均化乗算画素値（平均化乗算ＮＤＶＩ値）を示している。横軸が画素ラインＡＢの画素位置を示し、縦軸が各画素のＮＤＶＩ値を示している。
　実線で示すグラフが、平均化乗算画素値（平均化乗算ＮＤＶＩ値）を示している。
　点線は、元の入力ＮＤＶＩ画像５２のＮＤＶＩ値である。
　図１７（６ｂ）に示す平均化乗算画像は、土壌部が含まれない植生部のみの植物の活性度を示す指標値、すなわち植生部対応のＮＤＶＩ値のみによって構成される画像であり、土壌部の存在を気にすることなく、植生部各領域の植物の活性度を確実に把握することができる。
　　［４．本開示の画像処理装置の実行する処理のシーケンスについて］
　次に、本開示の画像処理装置の実行する処理のシーケンスについて説明する。
　図１８に示すフローチャートは、本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートである。
　なお、図１８に示すフローチャートに従った処理は、例えば画像処理装置１００の記憶部に格納されたプログラムに従って実行可能である。例えばプログラム実行機能を有するＣＰＵ等を有するデータ処理部（制御部）の制御の下で実行される。
　以下、図１８に示すフローチャートの各ステップの処理について、順次、説明する。
　　（ステップＳ１０１）
　まず、画像処理装置は、ステップＳ１０１において、撮影画像を入力する。
　撮影画像は、例えば図１に示すドローン１０に装着したカメラ１１の撮影画像である。カメラ１１は、マルチスペクトルカメラであり、撮影画像５１は、各画素におけるＲＥＤ（赤）波長（約０．６３～０．６９μｍ）とＮＩＲ（近赤外）波長（約０．７６～０．９０μｍ）の強度（画素値）を取得できる画像である。
　　（ステップＳ１０２）
　次に、画像処理装置１００は、ステップＳ１０２において、撮影画像の各画素対応のＮＤＶＩ値を算出して、ＮＤＶＩ画像を生成する。
　この処理は、図７に示すＮＤＶＩ画像生成部１０１の実行する処理である。
　ＮＤＶＩ画像生成部１０１は、撮影画像５１を入力して、先に説明した（式１）、すなわち、
　ＮＤＶＩ＝（ＮＩＲ－ＲＥＤ）／（ＮＩＲ＋ＲＥＤ）・・・（式１）
　上記（式１）に従って、撮影画像５１各画素のＮＤＶＩ値を算出する。
　なお、上記（式１）において、ＲＥＤ（赤），ＮＩＲ（近赤外）はＲＥＤ（赤）波長（約０．６３～０．６９μｍ）とＮＩＲ（近赤外）波長（約０．７６～０．９０μｍ）の強度（画素値）である。
　ＮＤＶＩ画像生成部１０１は、撮影画像の各画素のＮＤＶＩ値を算出し、各画素に算出画素値（ＮＤＶＩ値）を設定したＮＤＶＩ画像を生成する。
　このＮＤＶＩ画像は、例えば先に図９（１ａ）を参照して説明したＮＤＶＩ画像５２である。
　なお、ステップＳ１０２において生成されるＮＤＶＩ画像と、このＮＤＶＩ画像の補正を行うＮＤＶＩ画像補正部１０２の各構成部が生成する一連の画像の例を図１９に示す。
　以下、図１９を参照しながら、ステップＳ１０３以下の処理を説明する。
　　（ステップＳ１０３）
　次に、画像処理装置１００は、ステップＳ１０３において、ＮＤＶＩ画像の植生部列と直角方向に、植生部列幅分の画素の画素値を、順次、平均化して平均化画像を生成する。
　この処理は、図１９に示すＨＤＶＩ画像補正部１０２の平均化部１２１が実行する処理である。
　ＮＤＶＩ画像補正部１０２の平均化部１２１は、ＮＤＶＩ画像生成部１０１の生成したＮＤＶＩ画像を入力して、入力したＮＤＶＩ画像の平均化画像を生成する。
　この処理は、先に図１０、図１２を参照して説明した処理であり、ＮＤＶＩ画像の全画素について、植生部方向の直角方向の植生部間隔内の複数画素を選択し、これらの選択画素の画素値（ＮＤＶＩ値）の平均画素値を算出し、算出画素値を平均化画素値（平均化ＮＤＶＩ値）として設定した平均化画像を生成する。
　図１９に示す平均化部１２１の出力である平均化画像である。
　　（ステップＳ１０４）
　次に、画像処理装置１００は、ステップＳ１０４において、ステップＳ１０２で生成したＮＤＶＩ画像の画素値から、平均化画像の画素値を減算して差分画素値（差分ＮＤＶＩ値）から構成される差分画像を生成する。
　この処理は、図１９に示すＮＤＶＩ画像補正部１０２の減算部１２２が実行する処理である。
　減算部１２２は、以下の２つの画像を入力する。
　（１）平均化処理前の元の入力ＮＤＶＩ画像と、
　（２）平均化部が生成した平均化画像（＝図１２（２ａ）に示す平均化画像）
　減算部１２２は、これら２つの入力画像を用いて、ＮＤＶＩ画像の画素値から、平均化画像の画素値を減算して、差分画像を生成する。
　差分画像の構成画素の画素値である差分画素値（差分ＮＤＶＩ値）は、以下の画素値となる。
　差分画像の差分画素値（差分ＮＤＶＩ値）＝（入力ＮＤＶＩ画像の画素値（ＮＤＶＩ値））－（平均化画像の平均化画素値（平均化ＮＤＶＩ値））
　なお、先に図１３を参照して説明したように、差分画像の差分画素値（差分ＮＤＶＩ値）の値は、マイナス値からプラス値までの０をはさむ値となる。
　　（ステップＳ１０５）
　次に、画像処理装置１００は、ステップＳ１０５において、差分画像の構成画素の画素値、すなわち、差分画素値（差分ＮＤＶＩ値）の２値化処理を実行し、２値化画像を生成する。
　この処理は、図１９に示すＮＤＶＩ画像補正部１０２の２値化部１２３が実行する処理である。
　２値化部１２３は、減算部１２２が生成した差分画像の構成画素の画素値の２値化処理を実行する。すなわち、差分画素値（差分ＮＤＶＩ値）が正（プラス）の値の場合は、画素値＝１とし、０および負（マイナス）の値の場合は画素値＝０として設定する２値化処理を実行して、０，１の２値化画素値（２値化ＮＤＶＩ値）から構成される２値化画像を生成する。
　先に図１４（４ｂ）を参照して説明したように、２値化画像の２値化画素値（２値化ＮＤＶＩ値）の値は、０、または１、いずれかの値によって構成される。
　２値化部１２３が生成した２値化画像において、２値化画素値（２値化ＮＤＶＩ値）＝１の部分は植生部と推定することができる。一方、２値化画素値（２値化ＮＤＶＩ値）＝０の部分は土壌部と推定することができる。
　　（ステップＳ１０６）
　次に、画像処理装置１００は、ステップＳ１０６において、ステップＳ１０２で生成したＮＤＶＩ画像と、ステップＳ１０５において２値化部１２３が生成した２値化画像、これら２つの入力画像を用いて、ＮＤＶＩ画像の画素値と、２値化画像の画素値を乗算する処理を行い、乗算画素値から構成される乗算画像を生成する。
　この処理は、図１９に示すＮＤＶＩ画像補正部１０２の乗算部１２４が実行する処理である。
　乗算部１２４は、ステップＳ１０２で生成したＮＤＶＩ画像と、ステップＳ１０５において２値化部１２３が生成した２値化画像、これら２つの入力画像を用いて、ＮＤＶＩ画像の画素値と、２値化画像の画素値を乗算して乗算画像を生成する。
　乗算画像の構成画素の画素値である乗算画素値（乗算ＮＤＶＩ値）は、以下の画素値となる。
　乗算画像の乗算画素値（乗算ＮＤＶＩ値）＝（入力ＮＤＶＩ画像の画素値（ＮＤＶＩ値））×（２値化画像の２値化画素値（２値化ＮＤＶＩ値））
　この乗算部１２４における乗算処理の結果として生成される乗算画像の一例が、先に図１５を参照して説明した図１５（５ａ）に示す乗算画像である。
　先に図１５（５ｂ）を参照して説明したように、実線で示す乗算画像の乗算画素値（乗算ＮＤＶＩ値）は、点線で示す元の入力ＮＤＶＩ画像５２の山部分（＝植生部）の画素値（ＮＤＶＩ値）を反映し、谷部分（土壌部）については０に設定された画素値となる。
　すなわち、植生部については元の入力ＮＤＶＩ画像５２の画素値（ＮＤＶＩ値）を反映し、土壌部については、全て画素値（ＮＤＶＩ値）＝０に設定した特性を有する画像となる。
　この図１５（５ａ）に示す乗算画像を、図７、図８に示す出力画像（補正ＮＤＶＩ画像）５３として画像表示部１０３に出力して表示する。
　図１５（５ａ）に示す乗算画像は、土壌部の画素値（ＮＤＶＩ値）が全て０（最低画素値である黒）に設定されており、ユーザは、この黒領域が土壌部であり、黒以外の領域が植生部の領域であると容易に区別することが可能となる。さらに、黒領域以外の領域の画素値（ＮＤＶＩ値）の設定状態を観察することで、各領域の植物の活性度を解析することが可能となる。
　図１５（５ａ）に示す乗算画像の右下のＣＤ領域内の植生領域部分は、他の部分より、画素値（ＮＤＶＩ値）が低く、植物の活性度が低い領域であると判定することができる。
　　（ステップＳ１０７）
　ステップＳ１０７の処理は、図１９に示すＮＤＶＩ画像補正部１０２の乗算画像平均化部１２５が実行する処理であり、オプション的な処理であり、省略可能である。
　画像処理装置１００は、ステップＳ１０７において、ステップＳ１０６で生成した乗算画像の平均化処理を実行して、平均化乗算画像を生成する。
　この処理は、先に図１６、図１７を参照して説明したように、乗算画像平均化部１２５が実行する処理である。
　乗算画像平均化部１２５は、ステップＳ１０６において生成された乗算画像について、土壌領域の画素値（ＮＤＶＩ画素値）＝０を除いた平均化処理を行う。
　なお、先に図１６を参照して説明したように、図１６（５ａ）に示す乗算画像は土壌部領域が全て画素値（ＮＤＶＩ値）＝０に設定されており、乗算画像平均化部１２５は、この画素値＝０の土壌領域を除いた平均化処理を行う。
　具体的には、（５ａ）乗算画像の各画素について、以下の平均画素値算出処理を行う。
　平均画素値＝（平均化処理範囲の画素の画素値総和）／（平均化処理範囲の画素中、画素値＞０の画素の画素数）
　具体的な処理シーケンスについて説明する。まず、乗算画像平均化部１２５は、図１６（５ａ）に示す乗算画像から植生部方向７１と植生部間隔７２を取得する。図１６に示す例では、植生部方向７１は図の上下方向に相当する。
　次に、乗算画像平均化部１２５は、取得した植生部方向７１と植生部間隔７２に基づいて、図１６（５ａ）に示す乗算画像の各画素に設定された画素値（ＮＤＶＩ値）の平均化処理を行う。
　平均化処理による平均画素値の算出処理は、上述したように以下の式に従って実行する。
　平均画素値＝（平均化処理範囲の画素の画素値総和）／（平均化処理範囲の画素中、画素値＞０の画素の画素数）
　この画素単位の平均化処理を図１６（５ａ）に示す乗算画像の構成画素の全画素について実行する。すなわち、処理対象画素を図１６（５ａ）に示す乗算画像の左上端部から右下端部まで、順次、変更して、各画素単位で平均化処理を行う。いわゆる移動平均画素値算出処理により、各画素の平均化画素値を算出する。
　なお、処理対象画素が画像端部領域にあり、処理対象画素を中心画素とする植生部間隔内からの画素選択が不可能な領域については、先に図１１を参照して説明した処理と同様の処理を行う。すなわち、処理対象画素を中心に設定することなく、処理対象画素を含む範囲で、植生部間隔に相当する数の画素が含まれる範囲を、平均化対象画素として選択して平均化処理を実行する。
　このように、処理対象画素に対して植生部方向の直角方向にある植生部間隔内の複数画素の画素値（ＮＤＶＩ値）の平均画素値を算出し、この算出画素値を処理対象画素の画素値として設定する。
　乗算画像平均化部１２５は、図１６（５ａ）に示す乗算画像の全画素についての平均化乗算画素値を算出し、図１６（６ｂ）に示す平均化乗算画像を生成して、生成した平均化乗算画像を出力画像（補正ＮＤＶＩ画像）５３として画像表示部１０３に出力する。
　乗算画像平均化部１２５が生成する平均化乗算画像は、土壌部が含まれない植生部のみの植物の活性度を示す指標値、すなわち植生部対応のＮＤＶＩ値のみによって構成される画像であり、土壌部の存在を気にすることなく、植生部各領域の植物の活性度を確実に把握することができる。
　　［５．画像処理装置のハードウェア構成例について］
　次に、図２０を参照して、本開示の画像処理装置のハードウェア構成例について説明する。図２０に示すハードウェアは、本開示の画像処理装置の具体的なハードウェアの一構成例である。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。
　ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、マウス、マイクロホン、センサなどよりなる入力部３０６、ディスプレイ、スピーカーなどよりなる出力部３０７が接続されている。
　ＣＰＵ３０１は、入力部３０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部３０７に出力する。
　入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
　入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。
　　［６．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　植物の活性度を示す植生指標値を画素値として設定した植生指標値設定画像を入力し、前記植生指標値設定画像の補正画像を生成する植生指標値設定画像補正部を有し、
　前記植生指標値設定画像補正部は、
　前記植生指標値設定画像の構成画素単位で周囲画素の画素値との平均画素値を算出し、算出した平均画素値を設定した平均化画像を生成し、
　前記植生指標値設定画像と前記平均化画像との差分画像に対して、規定しきい値に従った２値化処理を実行して２値化画像を生成し、
　前記植生指標値設定画像と、前記２値化画像の乗算処理によって生成した乗算画像を、前記植生指標値設定画像の補正画像とする画像処理装置。
　（２）　前記植生指標値設定画像は、
　画素値として、ＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｖｅｇｅｔａｔｉｏｎ　Ｉｎｄｅｘ）値を設定したＮＤＶＩ画像である（１）に記載の画像処理装置。
　（３）　前記植生指標値設定画像は、
　植生部と土壌部を含むカメラ撮影画像に基づいて生成された画像であり、
　前記植生指標値設定画像補正部は、
　前記平均化画像を生成する平均化部を有し、
　前記平均化部は、
　前記植生指標値設定画像に含まれる植生部の植生部方向と植生部間隔を取得し、
　処理対象画素について、植生部方向の直角方向にあり、かつ前記処理対象画素を含む植生部間隔内にある画素の画素値平均値を、前記処理対象画素の平均化画素値として算出し、
　前記植生指標値設定画像の構成画素各々について算出した平均化画素値を設定した平均化画像を生成する（１）または（２）に記載の画像処理装置。
　（４）　前記植生部間隔は、
　１列分に相当する植生部列の画素と、１列分に相当する土壌部列の画素を含む画素間隔であり、
　前記平均化部は、
　前記処理対象画素を含み、１列分に相当する植生部列の画素と、１列分に相当する土壌部列の画素を含む植生部間隔内にある画素の画素値平均値を、前記処理対象画素の平均化画素値として算出する（３）に記載の画像処理装置。
　（５）　前記平均化部は、
　前記植生指標値設定画像の画像解析により、前記植生指標値設定画像に含まれる植生部の植生部方向と植生部間隔を取得する（３）または（４）に記載の画像処理装置。
　（６）　前記平均化部は、
　前記植生部方向、または植生部間隔の少なくともいずれかを、ユーザ入力データから取得する（３）～（５）いずれかに記載の画像処理装置。
　（７）　前記植生指標値設定画像補正部は、
　前記平均化画像を入力して、前記植生指標値設定画像と前記平均化画像との差分画像を生成する減算部を有し、
　前記減算部は、
　前記植生指標値設定画像と前記平均化画像の対応画素単位で画素値を減算して減算結果の画素値から構成される差分画像を生成する（１）～（６）いずれかに記載の画像処理装置。
　（８）　前記植生指標値設定画像は、
　画素値として、ＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｖｅｇｅｔａｔｉｏｎ　Ｉｎｄｅｘ）値を設定したＮＤＶＩ画像であり、
　前記ＮＤＶＩ画像のＮＤＶＩ値は０．０～１．０の範囲の値に設定され、
　前記差分画像は、
　前記ＮＤＶＩ画像と前記平均化画像との差分画像であり、０以上の画素値と０以下の画素値の画素を含む差分画像である（１）～（７）いずれかに記載の画像処理装置。
　（９）　前記植生指標値設定画像補正部は、
　前記差分画像に対して、規定しきい値に従った２値化処理を実行して２値化画像を生成する２値化部を有し、
　前記２値化部は、
　前記規定しきい＝０として、
　前記差分画像の構成画素の画素値が正の値の場合は、画素値＝１とし、
　前記差分画像の構成画素の画素値が０または負の値の場合は画素値＝０として設定した２値化画像を生成する（１）～（８）いずれかに記載の画像処理装置。
　（１０）　前記植生指標値設定画像補正部は、
　前記差分画像に対して、規定しきい値に従った２値化処理を実行して２値化画像を生成する２値化部を有し、
　前記２値化部は、
　前記規定しきいとして０以外の値を使用して２値化画像を生成する（１）～（９）いずれかに記載の画像処理装置。
　（１１）　前記植生指標値設定画像補正部は、
　前記植生指標値設定画像と、前記２値化画像の乗算処理によって前記乗算画像を生成する乗算部を有し、
　前記乗算部は、
　前記植生指標値設定画像と、前記２値化画像の対応画素単位で画素値を乗算して乗算結果の画素値から構成される乗算画像を生成する（１）～（１０）いずれかに記載の画像処理装置。
　（１２）　前記２値化画像は、
　画素値が０または１に設定された２値化画像であり、
　前記乗算部は、
　前記植生指標値設定画像と、画素値が０または１に設定された前記２値化画像の対応画素単位で画素値を乗算して、乗算結果として、０の画素値と、前記植生指標値設定画像の画素値を反映した画素値から構成される乗算画像を生成する（１１）に記載の画像処理装置。
　（１３）　前記植生指標値設定画像は、
　植生部と土壌部を含むカメラ撮影画像に基づいて生成された画像であり、
　前記乗算部は、
　土壌部領域が、画素値＝０の設定領域となる乗算画像を生成する（１１）または（１２）に記載の画像処理装置。
　（１４）　前記植生指標値設定画像補正部は、
　前記乗算画像の平均化処理を実行する乗算画像平均化部を有し、
　前記乗算画像平均化部は、
　前記乗算画像の構成画素単位で周囲画素の画素値との平均画素値を算出し、算出した平均画素値を設定した平均化乗算画像を生成し、生成した平均化乗算画像を、前記植生指標値設定画像の補正画像とする（１）～（１３）いずれかに記載の画像処理装置。
　（１５）　前記乗算画像平均化部は、
　前記乗算画像から、植生部と推定される植生部領域のみを抽出した植生部抽出画像を生成し、
　生成した植生部抽出画像の植生部方向と植生部間隔を取得し、
　処理対象画素について、植生部方向の直角方向にあり、かつ前記処理対象画素を含む植生部間隔内にある画素の画素値平均値を、前記処理対象画素の平均化画素値として算出し、
　前記乗算画像の構成画素各々について平均化画素値を算出した後、植生部抽出画像を前記植生指標値設定画像の画像サイズに拡大して、前記平均化乗算画像を生成する（１４）に記載の画像処理装置。
　（１６）　画像処理装置において実行する画像処理方法であり、
　前記画像処理装置は、
　植物の活性度を示す植生指標値を画素値として設定した植生指標値設定画像を入力し、前記植生指標値設定画像の補正画像を生成する植生指標値設定画像補正部を有し、
　前記植生指標値設定画像補正部が、
　前記植生指標値設定画像の構成画素単位で周囲画素の画素値との平均画素値を算出し、算出した平均画素値を設定した平均化画像を生成し、
　前記植生指標値設定画像と前記平均化画像との差分画像に対して、規定しきい値に従った２値化処理を実行して２値化画像を生成し、
　前記植生指標値設定画像と、前記２値化画像の乗算処理によって生成した乗算画像を、前記植生指標値設定画像の補正画像とする画像処理方法。
　（１７）　画像処理装置において画像処理を実行させるプログラムであり、
　前記画像処理装置は、
　植物の活性度を示す植生指標値を画素値として設定した植生指標値設定画像を入力し、前記植生指標値設定画像の補正画像を生成する植生指標値設定画像補正部を有し、
　前記プログラムは、前記植生指標値設定画像補正部に、
　前記植生指標値設定画像の構成画素単位で周囲画素の画素値との平均画素値を算出し、算出した平均画素値を設定した平均化画像を生成する処理と、
　前記植生指標値設定画像と前記平均化画像との差分画像に対して、規定しきい値に従った２値化処理を実行して２値化画像を生成する処理と、
　前記植生指標値設定画像と、前記２値化画像の乗算処理によって生成した乗算画像を、前記植生指標値設定画像の補正画像として出力する処理を実行させるプログラム。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、植生部と土壌部が混在する画像に基づいて、植生部領域のＮＤＶＩ値等、高精度な植生指標値からなる補正画像を生成、出力する装置、方法が実現される。
　具体的には、例えば、ＮＤＶＩ値等の植生指標値を画素値として設定した植生指標値設定画像の補正画像を生成する植生指標値設定画像補正部を有する。植生指標値設定画像補正部は、植生指標値設定画像の構成画素単位で周囲画素の画素値との平均画素値を算出し、平均画素値を設定した平均化画像を生成し、植生指標値設定画像と平均化画像との差分画像に対して規定しきい値に従った２値化処理により２値化画像を生成し、植生指標値設定画像と２値化画像の乗算画像を、植生指標値設定画像の補正画像とする。
　本構成により、植生部と土壌部が混在する画像に基づいて、植生部領域のＮＤＶＩ値等、高精度な植生指標値からなる補正画像を生成、出力する装置、方法が実現される。
　　１０　ドローン
　　１１　カメラ
　　２０　生育不良領域
　　５１　撮影画像
　　５２　ＮＤＶＩ画像
　　５３　出力画像（補正ＮＤＶＩ画像）
　　７１　植生部方向
　　７２　植生部間隔
　　８１，９１　平均化処理対象画素
　１００　画像処理装置
　１０１　ＮＤＶＩ画像生成部
　１０２　ＮＤＶＩ画像補正部
　１０３　画像表示部
　１２１　平均化部
　１２２　減算部
　１２３　２値化部
　１２４　乗算部
　１２５　乗算画像平均化部
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　バス
　３０５　入出力インタフェース
　３０６　入力部
　３０７　出力部
　３０８　記憶部
　３０９　通信部
　３１０　ドライブ
　３１１　リムーバブルメディア

Claims (17)

  1. 　植物の活性度を示す植生指標値を画素値として設定した植生指標値設定画像を入力し、前記植生指標値設定画像の補正画像を生成する植生指標値設定画像補正部を有し、
    　前記植生指標値設定画像補正部は、
    　前記植生指標値設定画像の構成画素単位で周囲画素の画素値との平均画素値を算出し、算出した平均画素値を設定した平均化画像を生成し、
    　前記植生指標値設定画像と前記平均化画像との差分画像に対して、規定しきい値に従った２値化処理を実行して２値化画像を生成し、
    　前記植生指標値設定画像と、前記２値化画像の乗算処理によって生成した乗算画像を、前記植生指標値設定画像の補正画像とする画像処理装置。
  2. 　前記植生指標値設定画像は、
    　画素値として、ＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｖｅｇｅｔａｔｉｏｎ　Ｉｎｄｅｘ）値を設定したＮＤＶＩ画像である請求項１に記載の画像処理装置。
  3. 　前記植生指標値設定画像は、
    　植生部と土壌部を含むカメラ撮影画像に基づいて生成された画像であり、
    　前記植生指標値設定画像補正部は、
    　前記平均化画像を生成する平均化部を有し、
    　前記平均化部は、
    　前記植生指標値設定画像に含まれる植生部の植生部方向と植生部間隔を取得し、
    　処理対象画素について、植生部方向の直角方向にあり、かつ前記処理対象画素を含む植生部間隔内にある画素の画素値平均値を、前記処理対象画素の平均化画素値として算出し、
    　前記植生指標値設定画像の構成画素各々について算出した平均化画素値を設定した平均化画像を生成する請求項１に記載の画像処理装置。
  4. 　前記植生部間隔は、
    　１列分に相当する植生部列の画素と、１列分に相当する土壌部列の画素を含む画素間隔であり、
    　前記平均化部は、
    　前記処理対象画素を含み、１列分に相当する植生部列の画素と、１列分に相当する土壌部列の画素を含む植生部間隔内にある画素の画素値平均値を、前記処理対象画素の平均化画素値として算出する請求項３に記載の画像処理装置。
  5. 　前記平均化部は、
    　前記植生指標値設定画像の画像解析により、前記植生指標値設定画像に含まれる植生部の植生部方向と植生部間隔を取得する請求項３に記載の画像処理装置。
  6. 　前記平均化部は、
    　前記植生部方向、または植生部間隔の少なくともいずれかを、ユーザ入力データから取得する請求項３に記載の画像処理装置。
  7. 　前記植生指標値設定画像補正部は、
    　前記平均化画像を入力して、前記植生指標値設定画像と前記平均化画像との差分画像を生成する減算部を有し、
    　前記減算部は、
    　前記植生指標値設定画像と前記平均化画像の対応画素単位で画素値を減算して減算結果の画素値から構成される差分画像を生成する請求項１に記載の画像処理装置。
  8. 　前記植生指標値設定画像は、
    　画素値として、ＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｖｅｇｅｔａｔｉｏｎ　Ｉｎｄｅｘ）値を設定したＮＤＶＩ画像であり、
    　前記ＮＤＶＩ画像のＮＤＶＩ値は０．０～１．０の範囲の値に設定され、
    　前記差分画像は、
    　前記ＮＤＶＩ画像と前記平均化画像との差分画像であり、０以上の画素値と０以下の画素値の画素を含む差分画像である請求項１に記載の画像処理装置。
  9. 　前記植生指標値設定画像補正部は、
    　前記差分画像に対して、規定しきい値に従った２値化処理を実行して２値化画像を生成する２値化部を有し、
    　前記２値化部は、
    　前記規定しきい＝０として、
    　前記差分画像の構成画素の画素値が正の値の場合は、画素値＝１とし、
    　前記差分画像の構成画素の画素値が０または負の値の場合は画素値＝０として設定した２値化画像を生成する請求項１に記載の画像処理装置。
  10. 　前記植生指標値設定画像補正部は、
    　前記差分画像に対して、規定しきい値に従った２値化処理を実行して２値化画像を生成する２値化部を有し、
    　前記２値化部は、
    　前記規定しきいとして０以外の値を使用して２値化画像を生成する請求項１に記載の画像処理装置。
  11. 　前記植生指標値設定画像補正部は、
    　前記植生指標値設定画像と、前記２値化画像の乗算処理によって前記乗算画像を生成する乗算部を有し、
    　前記乗算部は、
    　前記植生指標値設定画像と、前記２値化画像の対応画素単位で画素値を乗算して乗算結果の画素値から構成される乗算画像を生成する請求項１に記載の画像処理装置。
  12. 　前記２値化画像は、
    　画素値が０または１に設定された２値化画像であり、
    　前記乗算部は、
    　前記植生指標値設定画像と、画素値が０または１に設定された前記２値化画像の対応画素単位で画素値を乗算して、乗算結果として、０の画素値と、前記植生指標値設定画像の画素値を反映した画素値から構成される乗算画像を生成する請求項１１に記載の画像処理装置。
  13. 　前記植生指標値設定画像は、
    　植生部と土壌部を含むカメラ撮影画像に基づいて生成された画像であり、
    　前記乗算部は、
    　土壌部領域が、画素値＝０の設定領域となる乗算画像を生成する請求項１１に記載の画像処理装置。
  14. 　前記植生指標値設定画像補正部は、
    　前記乗算画像の平均化処理を実行する乗算画像平均化部を有し、
    　前記乗算画像平均化部は、
    　前記乗算画像の構成画素単位で周囲画素の画素値との平均画素値を算出し、算出した平均画素値を設定した平均化乗算画像を生成し、生成した平均化乗算画像を、前記植生指標値設定画像の補正画像とする請求項１に記載の画像処理装置。
  15. 　前記乗算画像平均化部は、
    　前記乗算画像から、植生部と推定される植生部領域のみを抽出した植生部抽出画像を生成し、
    　生成した植生部抽出画像の植生部方向と植生部間隔を取得し、
    　処理対象画素について、植生部方向の直角方向にあり、かつ前記処理対象画素を含む植生部間隔内にある画素の画素値平均値を、前記処理対象画素の平均化画素値として算出し、
    　前記乗算画像の構成画素各々について平均化画素値を算出した後、植生部抽出画像を前記植生指標値設定画像の画像サイズに拡大して、前記平均化乗算画像を生成する請求項１４に記載の画像処理装置。
  16. 　画像処理装置において実行する画像処理方法であり、
    　前記画像処理装置は、
    　植物の活性度を示す植生指標値を画素値として設定した植生指標値設定画像を入力し、前記植生指標値設定画像の補正画像を生成する植生指標値設定画像補正部を有し、
    　前記植生指標値設定画像補正部が、
    　前記植生指標値設定画像の構成画素単位で周囲画素の画素値との平均画素値を算出し、算出した平均画素値を設定した平均化画像を生成し、
    　前記植生指標値設定画像と前記平均化画像との差分画像に対して、規定しきい値に従った２値化処理を実行して２値化画像を生成し、
    　前記植生指標値設定画像と、前記２値化画像の乗算処理によって生成した乗算画像を、前記植生指標値設定画像の補正画像とする画像処理方法。
  17. 　画像処理装置において画像処理を実行させるプログラムであり、
    　前記画像処理装置は、
    　植物の活性度を示す植生指標値を画素値として設定した植生指標値設定画像を入力し、前記植生指標値設定画像の補正画像を生成する植生指標値設定画像補正部を有し、
    　前記プログラムは、前記植生指標値設定画像補正部に、
    　前記植生指標値設定画像の構成画素単位で周囲画素の画素値との平均画素値を算出し、算出した平均画素値を設定した平均化画像を生成する処理と、
    　前記植生指標値設定画像と前記平均化画像との差分画像に対して、規定しきい値に従った２値化処理を実行して２値化画像を生成する処理と、
    　前記植生指標値設定画像と、前記２値化画像の乗算処理によって生成した乗算画像を、前記植生指標値設定画像の補正画像として出力する処理を実行させるプログラム。
PCT/JP2021/003932 2020-03-25 2021-02-03 画像処理装置、および画像処理方法、並びにプログラム WO2021192642A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/911,641 US20230146206A1 (en) 2020-03-25 2021-02-03 Image processing device, image processing method, and program
JP2022509351A JPWO2021192642A1 (ja) 2020-03-25 2021-02-03

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020054632 2020-03-25
JP2020-054632 2020-03-25

Publications (1)

Publication Number Publication Date
WO2021192642A1 true WO2021192642A1 (ja) 2021-09-30

Family

ID=77891392

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/003932 WO2021192642A1 (ja) 2020-03-25 2021-02-03 画像処理装置、および画像処理方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20230146206A1 (ja)
JP (1) JPWO2021192642A1 (ja)
WO (1) WO2021192642A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017046639A (ja) * 2015-09-02 2017-03-09 京都府 農作物育成支援装置、及びそのプログラム
US20170308750A1 (en) * 2015-01-30 2017-10-26 AgriSight, Inc. System and method for field variance determination
WO2018034166A1 (ja) * 2016-08-17 2018-02-22 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラム
CN107991245A (zh) * 2017-11-01 2018-05-04 中国农业大学 一种作物光谱信息采集装置及作物植被指数获取方法
JP2020027033A (ja) * 2018-08-10 2020-02-20 ソニー株式会社 情報処理装置、情報処理方法、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170308750A1 (en) * 2015-01-30 2017-10-26 AgriSight, Inc. System and method for field variance determination
JP2017046639A (ja) * 2015-09-02 2017-03-09 京都府 農作物育成支援装置、及びそのプログラム
WO2018034166A1 (ja) * 2016-08-17 2018-02-22 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラム
CN107991245A (zh) * 2017-11-01 2018-05-04 中国农业大学 一种作物光谱信息采集装置及作物植被指数获取方法
JP2020027033A (ja) * 2018-08-10 2020-02-20 ソニー株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
JPWO2021192642A1 (ja) 2021-09-30
US20230146206A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
Hernández-Hernández et al. Optimal color space selection method for plant/soil segmentation in agriculture
Jonckheere et al. Assessment of automatic gap fraction estimation of forests from digital hemispherical photography
Meyer et al. Verification of color vegetation indices for automated crop imaging applications
Okamoto et al. Green citrus detection using hyperspectral imaging
Puttonen et al. Tree species classification from fused active hyperspectral reflectance and LIDAR measurements
JP5496509B2 (ja) 色分類および皮膚色検出のための画像処理のためのシステム、方法、および装置
Hermanson et al. A brief review of machine vision in the context of automated wood identification systems
Liu et al. A vision-based robust grape berry counting algorithm for fast calibration-free bunch weight estimation in the field
Wang et al. Outdoor color rating of sweet cherries using computer vision
Piron et al. Weed detection in 3D images
CA3163631A1 (en) System and method for determining damage on crops
Wspanialy et al. Early powdery mildew detection system for application in greenhouse automation
CN109564155B (zh) 信号处理装置，信号处理方法及程序
WO2015193885A2 (en) Method for huanglongbing (hlb) detection
JP4599520B2 (ja) マルチスペクトル画像処理方法
Liu et al. Development of a machine vision system for weed detection during both of off-season and in-season in broadacre no-tillage cropping lands
US9092693B2 (en) Image processing apparatus and method
JP2014027597A (ja) 画像処理装置、物体識別装置、及びプログラム
Tech et al. Methods of image acquisition and software development for leaf area measurements in pastures
JP2018200640A (ja) 画像処理装置および画像処理方法
Zhang et al. Yield estimation of citrus fruit using rapid image processing in natural background
Ruett et al. Hyperspectral imaging for high-throughput vitality monitoring in ornamental plant production
WO2021192642A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
Benoit et al. On the value of the Kullback–Leibler divergence for cost-effective spectral imaging of plants by optimal selection of wavebands
WO2021195817A1 (zh) 一种提取待测物质的光谱信息的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21776912

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022509351

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21776912

Country of ref document: EP

Kind code of ref document: A1