WO2017221641A1 - 植物生育指標測定装置、該方法および該プログラム - Google Patents

植物生育指標測定装置、該方法および該プログラム Download PDF

Info

Publication number
WO2017221641A1
WO2017221641A1 PCT/JP2017/020022 JP2017020022W WO2017221641A1 WO 2017221641 A1 WO2017221641 A1 WO 2017221641A1 JP 2017020022 W JP2017020022 W JP 2017020022W WO 2017221641 A1 WO2017221641 A1 WO 2017221641A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
growth index
storage unit
plant growth
Prior art date
Application number
PCT/JP2017/020022
Other languages
English (en)
French (fr)
Inventor
片桐 哲也
片桐 禎人
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2018523632A priority Critical patent/JP6981408B2/ja
Publication of WO2017221641A1 publication Critical patent/WO2017221641A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing

Definitions

  • the present invention relates to a plant growth index measurement apparatus, a plant growth index measurement method, and a plant growth index measurement program for obtaining a growth index that represents the degree of growth in a plant.
  • NDVI Normalized Difference Vegetation Index, normalized vegetation index
  • DVI Difference Vegetation Index, differential vegetation index
  • RVI Rao Vegetation Index, specific vegetation index
  • Patent Document 1 since the agricultural field is usually wide with respect to the angle of view of the camera that generates the image, it is difficult to capture the entire agricultural field as a single image by one imaging. For this reason, for example, in Patent Document 1, a plurality of images are obtained by overlapping adjacent fields, the color is corrected in the field at the same position, and the corrected plurality of images are combined into one sheet. Thus, there has been proposed a crop growth diagnosis method for obtaining one image of the entire field and obtaining a nitrogen relative distribution from the RGB values of the field image (for example, FIG. 11 of Patent Document 1).
  • a growth index with an image having an appropriate image resolution.
  • an imaging device having an image resolution of VGA class of 640 dots ⁇ 480 dots.
  • the field is reflected in an area of 16.6 m ⁇ 12.4 m in one image obtained by one imaging, and when combining a plurality of images into one image, between adjacent images. Since it is preferable that there is an overlapping portion that captures the same area of the field, for example, about 40 images are required to obtain the growth index of the entire field of 30 m ⁇ 100 m.
  • a relatively large-capacity storage device is required for recording (saving and storing).
  • the present invention has been made in view of the above circumstances, and its object is to reduce the storage capacity of the storage device and to further suppress the decrease in efficiency in the synthesis process and the plant growth index measuring device and plant growth It is to provide an index measurement method and a plant growth index measurement program.
  • the present invention is a plant growth index measuring apparatus, method, and program for generating an image obtained by imaging a field to be measured from above for obtaining a growth index representing the degree of growth in a plant. Whether or not to store the generated image in the image storage unit so as to generate an image at a predetermined time interval and store only a significant image in the image storage unit for obtaining the growth index. Only when it is determined that the image is stored in the image storage unit, the generated image is stored in the image storage unit.
  • index measuring apparatus in 1st Embodiment it is a figure for demonstrating the relationship between the flight locus
  • index measurement system It is a figure for demonstrating the process of a corresponding point search in the flowchart shown in FIG. It is a figure for demonstrating the process of the image conversion in the flowchart shown in FIG. It is a figure which shows an example of an NDVI synthetic
  • the plant growth index measurement device is a plant growth index measurement device that generates an image obtained by capturing an image of a field to be measured from above for obtaining a growth index representing the degree of growth in a plant.
  • An image generation unit that generates an image at intervals, an image storage unit that stores the image, and an image generation unit that stores only a significant image for obtaining the growth index in the image storage unit. Generated by the image generation unit only when it is determined that the image determination unit stores the image in the image storage unit.
  • an image storage control unit that stores the image in the image storage unit.
  • FIG. 1 is a diagram showing a configuration of a plant growth index measuring apparatus according to the first to third embodiments.
  • FIG. 1 shows the configurations of the plant growth index measuring devices Ma, Mb, Mc in the first to third embodiments.
  • the subscript a indicates the plant growth in the first embodiment.
  • the subscript b indicates that the configuration is related to the plant growth index measuring device Mb in the second embodiment, and the subscript c indicates that the configuration is related to the index measuring device Ma. It shows that it is the structure regarding the plant growth parameter
  • FIG. 2 is a diagram for explaining an image storage determination process based on a frequency corresponding to a line or a line of a crop growing on a field.
  • FIG. 1 shows the configurations of the plant growth index measuring devices Ma, Mb, Mc in the first to third embodiments.
  • the subscript a indicates the plant growth in the first embodiment.
  • the subscript b indicates that the configuration is related to the plant growth index measuring device Mb in the second
  • FIG. 2A shows, as an example, an image in which the plant growth index measuring device Ma images a field at a relatively low altitude
  • FIG. 2B shows an example in which the plant growth index measuring device Ma images a field at a relatively high altitude. Images are shown.
  • FIG. 3 is a diagram for explaining an image storage determination process based on a field growth index.
  • FIG. 3A shows a visible image of a field as an example
  • FIG. 3B shows an NDVI image thereof
  • FIG. 3C shows, as an example, a visible image outside the field such as a straw
  • FIG. 3D shows an NDVI image thereof.
  • FIG. 4 is a diagram for explaining a determination process of image storage based on detection of reflection of the sun.
  • the plant growth index measuring device Ma in the first embodiment includes an aircraft 1, an own aircraft state measurement unit 2 a, a control processing unit 3 a, a storage unit 4 a, and an image generation unit 5. And an interface unit (IF unit) 6.
  • IF unit interface unit
  • the aircraft 1 is a device that flies in the atmosphere, such as a balloon, an airship, an airplane, a helicopter, and a multicopter.
  • the aircraft 1 may be a manned aircraft, but is preferably an unmanned aircraft (drone) by radio controlled flight (guided flight) or autonomous flight.
  • the aircraft 1 is connected to the control processing unit 3a and flies according to control of the control processing unit 3a by guided flight or autonomous flight.
  • the own aircraft state measurement unit 2a is a device that is connected to the control processing unit 3a and measures the flight state of the own aircraft according to the control of the control processing unit 3a.
  • the own device state measuring unit 2a measures the position (latitude X, longitude Y) and altitude Z of the own device.
  • the own device state measuring unit 2a includes a position altitude measuring unit 21 that measures the current position (latitude X, longitude Y) and altitude Z of the own device on the earth.
  • the position altitude measuring unit 21 includes, for example, a satellite positioning system GPS (Global Positioning System).
  • the GPS may be a GPS having a correction function for correcting errors such as DGSP (Differential GSP).
  • the position altitude measurement unit 21 outputs the measurement results (the measurement position and measurement altitude (latitude X, longitude Y, altitude Z) of the own device to the control processing unit 3a.
  • the measurement position and measurement altitude of the own device are described later.
  • a plurality of growth index images determined based on the plurality of images generated as described above, and used to generate a single growth index composite image.
  • the growth index image is an image composed of pixels having pixel values representing the growth index.
  • the image generation unit 5 is connected to the control processing unit 3a, and in accordance with the control of the control processing unit 3a, an image obtained by capturing a measurement target field from above for obtaining a growth index indicating the degree of growth in the plant It is a device that generates at time intervals.
  • the image generation unit 5 outputs the generated image to the control processing unit 3a.
  • the image generation unit 5 generates an image of an appropriate wavelength band according to the adopted growth index among these various growth indices.
  • the growth index is NDVI.
  • the image generation unit 5 generates a visible image and a near-infrared image as the image. More specifically, the image generation unit 5 includes a visible imaging unit 51 and an infrared imaging unit 52.
  • the visible imaging unit 51 is a device that generates a visible light image (visible image). More specifically, in this embodiment, in order to obtain NDVI, the visible imaging unit 51, for example, a first bandpass filter that transmits light in a relatively narrow band having a wavelength of 650 nm as a central wavelength, A first imaging optical system that forms an optical image of a visible light to be measured that has passed through a band-pass filter on a predetermined first imaging surface; and a light receiving surface that is aligned with the first imaging surface; A first image sensor that converts an optical image of the visible light to be measured into an electrical signal, and a first digital signal processor (DSP) that generates a visible image by performing known image processing on the output of the first image sensor. ) Etc., so-called camera or the like.
  • the visible imaging unit 51 outputs the visible image generated by imaging to the control processing unit 3a.
  • the infrared imaging unit 52 is a device that generates an image of infrared light (for example, near infrared light) (infrared image (near infrared image)). More specifically, in this embodiment, in order to obtain NDVI, the infrared imaging unit 52, for example, a second bandpass filter that transmits light in a relatively narrow band having a wavelength of 800 nm as a central wavelength, A second imaging optical system that forms an optical image of the infrared light to be measured that has passed through the two-band pass filter on a predetermined second imaging surface, and a light receiving surface that is aligned with the second imaging surface A second image sensor that converts an optical image of the infrared light to be measured into an electrical signal, and a second DSP that generates a near-infrared image by performing known image processing on the output of the second image sensor. It is what is called an infrared camera etc. comprised with such as.
  • the infrared imaging unit 52 outputs the near-
  • the IF unit 6 is a circuit that is connected to the control processing unit 3a and inputs / outputs data to / from an external device, for example, according to the control of the control processing unit 3a.
  • an RS232C interface circuit that is a serial communication method
  • An interface circuit using the Bluetooth (registered trademark) standard an interface circuit that performs infrared communication such as an IrDA (Infrared Data Association) standard
  • an interface circuit using the USB (Universal Serial Bus) standard USB (Universal Serial Bus) standard.
  • the IF unit 6 is a communication card or the like that communicates by wire or wirelessly, and may communicate with, for example, an external device via a communication network such as an Ethernet environment (Ethernet is a registered trademark).
  • the storage unit 4a is a circuit that is connected to the control processing unit 3a and stores various predetermined programs and various predetermined data under the control of the control processing unit 3a.
  • the various predetermined programs include, for example, a control program that controls each unit of the plant growth index measuring device Ma according to the function of each unit, and an image generated by the image generation unit 5 in the field.
  • An image frequency processing program for obtaining a frequency corresponding to a line or a line of a growing crop a growth index processing program for obtaining a growth index (NDVI in the present embodiment) based on an image generated by the image generation unit 5
  • a solar reflection detection program for detecting the reflection of the sun, or a significant image for obtaining the growth index is stored in the image storage unit 41 to be described later.
  • the various kinds of predetermined data include programs such as images generated by the image generation unit 5 (visible images and near-infrared images in the present embodiment) and preset threshold values used in the determination process. Data necessary for execution is included.
  • the storage unit 4a includes, for example, a ROM (Read Only Memory) that is a nonvolatile storage element, an EEPROM (Electrically Erasable Programmable Read Only Memory) that is a rewritable nonvolatile storage element, and the like.
  • the storage unit 4a includes a RAM (Random Access Memory) that serves as a working memory for the so-called control processing unit 3a that stores data generated during the execution of the predetermined program.
  • the storage unit 4a functionally includes an image storage unit 41 that stores an image (a visible image and a near-infrared image in the present embodiment) generated by the image generation unit 5 and determined to be stored by an image determination unit 35a described later. Prepare.
  • the image storage unit 41 captures, for example, a serial number that represents the number of times an image is generated by the image generation unit 5, an image that is generated by the image generation unit 5 and determined to be stored by the image determination unit 35a, and the image At this time, the measurement position of the own device and the measurement altitude (latitude X, longitude Y, altitude Z) measured by the position altitude measuring unit 21 are stored in association with each other.
  • the image storage unit 41 is generated by the serial number and the image generation unit 5, and the image determination unit 35a
  • the measurement position and the measurement altitude (latitude X, longitude Y, altitude Z) measured by the position altitude measuring unit 21 are stored in association with each other.
  • the measurement position and measurement altitude (latitude X, longitude Y, altitude Z) of the own device are examples of non-memory image information.
  • the non-stored image information is an image generated by the image generation unit 5 and not stored in the image storage unit 41 by the image determination unit 35a when the image determination unit 35a determines not to store the non-stored image information in the image storage unit 41.
  • This is predetermined information indicating the image determined to be. Note that the measurement altitude Z as non-stored image information may be omitted.
  • the control processing unit 3a controls each part of the plant growth index measuring device Ma according to the function of each part, and images an image of the field to be measured from above for obtaining a growth index representing the degree of growth in the plant. , Is a circuit for generating.
  • the control processing unit 3a includes, for example, a CPU (Central Processing Unit) and its peripheral circuits.
  • the control processing unit 3a functionally includes a control unit 31, an image frequency processing unit 32, a growth index processing unit 33, a solar image detection unit 34, an image determination unit 35a, and an image storage control unit 36. Prepare.
  • the control unit 31 controls each part of the plant growth index measuring device Ma according to the function of each unit, and controls the whole of the plant growth index measuring device Ma.
  • the image frequency processing unit 32 obtains a frequency corresponding to a line or a line of a crop growing on the field based on the image generated by the image generation unit 5. More specifically, the image frequency processing unit 32 detects an edge from the image generated by the image generation unit 5 by using an image filter for detecting the edge, and detects a straight line from the image from which the edge is detected. A plurality of straight lines are obtained as the stripes or the gaps by the Hough transform, and the frequency is obtained from the intervals between the obtained straight lines.
  • the image used for obtaining the frequency may be a visible image or a near-infrared image, and the growth index image obtained by the growth index processing unit 33 based on the visible image and the near-infrared image. It may be.
  • the image frequency processing unit 32 notifies the image determination unit 35a of the obtained frequency.
  • the crop is rice
  • the strip is a rice strip.
  • the image of the field is, for example, the image shown in FIG. 2A, which corresponds to the crop strips or strips obtained based on the image.
  • the frequency is a relatively low frequency.
  • the image of the farm field is, for example, the image shown in FIG. 2B, and the crop strips or strips obtained based on the image are obtained.
  • the corresponding frequency is a relatively high frequency.
  • generated by the image generation part 5 is correlated with the altitude (flight altitude) of the plant growth index measuring device Ma.
  • the altitude for example, 15 m, 20 m, 25 m, etc.
  • the image is generated by imaging at an appropriate altitude (for example, 15 m, 20 m, 25 m, etc.) corresponding to each image resolution of the unit 52.
  • the altitude (flight) of the plant growth index measuring device Ma is calculated from the frequency corresponding to the line or the interval of the crop growing on the field, which is obtained based on the image generated by the image generation unit 5.
  • the altitude is estimated, and whether or not the image generated at the altitude is permitted to be stored is determined by the image determination unit 35a as described later.
  • the pixel value at the pixel position (0, 0) of the NDVI image is obtained from the pixel value at the pixel position (0, 0) of the visible image and the pixel value at the pixel position (0, 0) of the near-infrared image.
  • the pixel value at the pixel position (10, 15) of the NDVI image is obtained from the pixel value at the pixel position (10, 15) of the visible image and the pixel value at the pixel position (10, 15) of the near-infrared image. .
  • the parallax between the visible imaging unit 51 and the infrared imaging unit 52 is considered, and at least one of the pixel position of the visible image and the pixel position of the near-infrared image corrects the parallax.
  • NDVI may be obtained after shifting to.
  • the first imaging optical system of the visible imaging unit 51 and the second imaging optical system of the infrared imaging unit 52 are assumed to have the same optical characteristics such as an angle of view and distortion.
  • the plant growth index measuring device Ma needs an image for obtaining the growth index, as described above, it is wasteful to record (store) an image that is not a field.
  • An area that is not an agricultural field is, for example, a cocoon or the like, and the area that is not an agricultural field has a path, a waterway, or a weed.
  • These reflectances are usually relatively low, unlike the reflectance of crops growing in the field. For this reason, for example, as shown in FIG. 3A, the NDVI image based on the image of the farm field has a high NDVI of the farm field, and thus becomes an image with a high pixel value as shown in FIG. 3B, for example.
  • FIG. 3A the NDVI image based on the image of the farm field has a high NDVI of the farm field, and thus becomes an image with a high pixel value as shown in FIG. 3B, for example.
  • FIG. 3A the NDVI image based on the image of the farm field has a high ND
  • an NDVI image based on an image including many areas that are not agricultural fields has a low NDVI in an area that is not an agricultural field.
  • an image including many areas with low NDVI It becomes.
  • the sun reflection detector 34 detects the sun reflection based on the image generated by the image generator 5. More specifically, the sun capture detection unit 34 obtains the size of the pixel region in which the pixel value is saturated by, for example, obtaining the total number of pixels in which the pixel value is saturated from the visible image generated in the image generation unit 5. (A width and the number of pixels) are obtained, and a pixel area whose obtained size is equal to or larger than a predetermined threshold (a third threshold) set in advance is detected as the reflection of the sun.
  • the third threshold value is appropriately set from images of a plurality of samples in which the sun is reflected.
  • the plant growth index measuring device Ma needs an image for obtaining the growth index, for example, as shown in FIG. 4, the sun is reflected even if an image in which the sun is reflected is recorded (stored). Since a correct growth index (NDVI in this embodiment) cannot be obtained from the image of the region, it is wasted. For this reason, in this embodiment, the reflection of the sun is detected on the basis of the image generated by the image generation unit 5, and whether or not the storage of the image is permitted based on the detection result is described later by the image determination unit 35a. It is determined as follows.
  • the image determination unit 35a determines whether or not to store the image generated by the image generation unit 5 in the image storage unit 41 so that only a significant image is stored in the image storage unit 41 in order to obtain the growth index.
  • the determination process to perform is performed.
  • the image determination unit 35 a performs the determination process based on the frequency obtained by the image frequency processing unit 32.
  • the image determination unit 35a has the frequency obtained by the image frequency processing unit 32 reflected in an image captured at a predetermined imaging altitude (flying altitude) set in advance or A case where it is determined whether or not the frequency corresponding to the interval (frequency corresponding to the imaging height) matches within a predetermined first margin range, and the case where the frequency matches is stored in the image storage unit 41; The case where it does not correspond and the case where it does not memorize
  • the first margin is set according to an allowable range of the imaging altitude (a lower limit value and an upper limit value of the imaging altitude).
  • the image determination unit 35a performs the determination process based on the growth index obtained by the growth index processing unit 33.
  • the image determination unit 35a as the determination process, in the NDVI image obtained by the growth index processing unit 33, the total number of pixels having a pixel value equal to or less than a predetermined threshold value (first threshold value) set in advance. Is determined to be greater than or equal to a predetermined threshold value (second threshold value), and when not greater than or equal to the second threshold value, it is determined to be stored in the image storage unit 41, and greater than or equal to the second threshold value. It is determined that there is no case stored in the image storage unit 41.
  • the first threshold value is appropriately set from the plurality of samples so that the NDVI of the field and the NDVI of the region that is not the field can be distinguished.
  • the second threshold is, for example, 50% (50% of a non-field area with respect to the entire image), 60% (60% of a non-field area with respect to the entire image), or 75% with respect to the total number of pixels.
  • the number of pixels is set such that the area that is not the field is 75%).
  • the image determination part 35a performs the said determination process based on the detection result of the solar capture detection part 34.
  • the image determination unit 35a determines that the case where the sun reflection detection unit 34 does not detect the sun reflection is stored in the image storage unit 41, and the sun reflection detection unit 34 detects the sun reflection. The case where the reflection is detected is determined as not being stored in the image storage unit 41.
  • the image determination unit 35a performs the first determination result based on the determination process based on the frequency determined by the image frequency processing unit 32, and the second determination process based on the NDVI image determined by the growth index processing unit 33.
  • the AND of the determination result and the third determination result by the determination process based on the detection result of the sun capture detection unit 34 is calculated, and it is determined that all of the first to third determination results are stored in the image storage unit 41. If it is determined (when the AND operation result is 1), it is finally determined that the result is stored in the image storage unit 41, and at least one of the first to third determination results is the image storage unit. If it is determined that the image is not stored in 41 (when the AND operation result is 0), it is finally determined that the image is not stored in the image storage unit 41.
  • the image storage control unit 36 stores the image generated by the image generation unit 5 in the image storage unit 41 only when it is determined by the image determination unit 35a to store in the image storage unit 41.
  • the image storage control unit 36 is an image generated by the image generation unit 5 and is stored in the image storage unit 41 by the image determination unit 35a.
  • Predetermined information indicating the image determined not to be stored is stored in the image storage unit 41 as non-stored image information. More specifically, when it is determined that the image determination unit 35 a stores the image in the image storage unit 41, the image storage control unit 36 uses the serial number that represents the number of times the image generation unit 5 has generated an image.
  • the image generated and determined to be stored by the image determination unit 35a, and the measurement position and measurement altitude (latitude X, longitude Y, altitude Z) of the own device measured by the position altitude measurement unit 21 when the image is captured ) Are stored in the image storage unit 41 in association with each other, and when the image determination unit 35a determines not to store the image storage unit 41, the serial number and the image generation unit 5 generate the image determination unit 35a.
  • the measurement position of the own device and the measurement altitude (latitude X, longitude Y, altitude Z) measured by the position altitude measurement unit 21 when the image determined not to be stored is captured are associated with each other. Memory That.
  • FIG. 5 is a flowchart showing the operation of the plant growth index measuring apparatus according to the first embodiment.
  • FIG. 6 is a diagram for explaining the relationship between the flight trajectory and the image storage position in the plant growth index measuring apparatus according to the first embodiment.
  • FIG. 6A shows a flight trajectory, and an image generation position where an image is generated by the image generation unit 5 is indicated by a symbol ⁇ .
  • FIG. 6B shows the position where the image generated by the image generator 5 is stored in the flight trajectory shown in FIG.
  • FIG. 7 is a diagram for explaining an image captured and generated by the plant growth index measuring device in the flight trajectory shown in FIG. 6A.
  • FIG. 7A shows, as an example, one of the images generated at each image generation position indicated by reference numeral T1 in FIG.
  • FIG. 7D shows an example of each image generation indicated by reference numeral T2 in FIG. 6A.
  • FIG. 7B and FIG. 7C show, as an example, two images of the images generated at the image generation positions indicated by reference numeral T3 in FIG. 6A. Show.
  • the plant growth index measuring device Ma having such a configuration, when its power is turned on, executes necessary initialization of each part and starts its operation.
  • the control processing unit 3a functions as a control unit 31, an image frequency processing unit 32, a growth index processing unit 33, a sun reflection detection unit 34, an image determination unit 35a, and an image storage control unit 36. Constructed.
  • the plant growth index measuring device Ma takes off from the surrounding area of the field to be measured and heads over the field under the control of the control processing unit 3a by guided flight or autonomous flight. Then, the plant growth index measuring device Ma flies over the field at a substantially constant predetermined altitude from one end of the field to the other end, and when reaching the other end, advances forward by a predetermined distance. It turns back and flies from the other end to the one end, and when it reaches the one end, it turns back to advance forward by a predetermined distance and flies from the one end to the other end. Similarly, the plant growth index measuring device Ma flies over the field to be measured in ninety folds by flying in the same manner. While flying over the field to be measured from such takeoff, the plant growth index measuring device Ma repeatedly executes the following processes S11 to S18 at a predetermined time interval (sampling interval).
  • the plant growth index measuring device Ma generates and acquires an image by the image generation unit 5 so as to be synchronized with each other by the control unit 31 of the control processing unit 3a, and the own state measurement unit
  • the position and altitude are acquired in 2a (S11).
  • a visible image is generated by the visible imaging unit 51 and a near-infrared image is generated by the infrared imaging unit 52 as the image.
  • the position altitude measuring unit 21 measures the position of the own device and the measured altitude (latitude X, longitude Y, altitude Z). These visible image, near-infrared image, and its own measurement position and measurement altitude (latitude X, longitude Y, altitude Z) are temporarily stored in the working memory of the storage unit 4a.
  • the plant growth index measuring device Ma obtains a frequency corresponding to the strip or the strip based on the image acquired in the processing S11 by the image frequency processing unit 32 of the control processing unit 3a, and the obtained frequency. Is temporarily stored in the working memory of the storage unit 4a (S12).
  • the plant growth index measuring device Ma obtains a growth index, in this embodiment, an NDVI image based on the image acquired in the process S11 by the growth index processing unit 33 of the control processing unit 3a, and the obtained NDVI.
  • the image is temporarily stored in the working memory of the storage unit 4a (S13).
  • the plant growth index measuring device Ma detects the sun reflection based on the image acquired in step S11 by the sun reflection detection unit 34 of the control processing unit 3a, and the detection result is stored in the storage unit 4a. Is temporarily stored in the working memory (S14).
  • the plant growth index measurement device Ma performs a determination process for determining whether or not to store the image acquired in the process S11 in the image storage unit 41 by the image determination unit 35a of the control processing unit 3a (S15). .
  • the plant growth index measuring device Ma executes step S18 after executing step S16, and When it determines with memorize
  • the image determination unit 35a matches the frequency obtained by the image frequency processing unit 32 in step S12 with the imaging altitude corresponding frequency within the range of the first margin. As a first determination result, it is determined that the coincidence is stored in the image storage unit 41, and the non-coincidence is determined not to be stored in the image storage unit 41.
  • the image determination unit 35a has a total number of pixels having a pixel value equal to or less than the first threshold in the NDVI image obtained by the growth index processing unit 33 in the process S13. Whether or not the second threshold value is not greater than or equal to the second threshold value is determined to be stored in the image storage unit 41, and the second or greater threshold value is not stored in the image storage unit 41.
  • the image determination unit 35a stores, in the image storage unit 41, a case where the sun reflection detection unit 34 does not detect sun reflection according to the detection result of the sun reflection detection unit 34. It is determined that the image is to be stored, and the case where the sun reflection detection unit 34 detects the sun reflection is determined not to be stored in the image storage unit 41. Then, the image determination unit 35a determines that the AND of the first determination result, the second determination result, and the third determination result is calculated, and that all of the first to third determination results are stored in the image storage unit 41.
  • the plant growth index measuring device Ma next executes the process S16, then executes the process S18, and performs the image.
  • index measuring apparatus Ma performs step S18 after performing step S17 next.
  • the plant growth index measuring device Ma discards (deletes) the image acquired in the process S11, that is, the image stored in the working memory of the storage unit 4a by the image storage control unit 36 of the control processing unit 3a. And the measurement position and measurement altitude (latitude X, longitude Y, altitude Z) acquired in step S11, that is, the measurement of the own apparatus stored in the working memory of the storage unit 4a. The position and the measured altitude (latitude X, longitude Y, altitude Z) are stored in the image storage unit 41 in association with each other.
  • the plant growth index measuring device Ma uses the image storage control unit 36 of the control processing unit 3a to add the serial number, the image acquired in the process S11, the measurement position and the measurement altitude (latitude X, longitude Y). , Altitude Z), that is, the image stored in the working memory of the storage unit 4a, the measurement position of the own device, and the measurement altitude (latitude X, longitude Y, altitude Z) are stored in the image storage unit 41 in association with each other.
  • index measuring apparatus Ma determines whether it is complete
  • the second determination result by the determination process based on the NDVI image obtained by the growth index processing unit 33 is not stored in the image storage unit 41. Therefore, in the code T1, as a result of the processes S11 to S15 being executed, the process S16 is executed, the image is discarded, and the image storage unit 41 stores non-stored image information.
  • the second determination result by the determination process based on the NDVI image obtained by the growth index processing unit 33 is not stored in the image storage unit 41. Therefore, in the code T2, as a result of the processes S11 to S15 being executed, the process S16 is executed, the image is discarded, and the non-stored image information is stored in the image storage unit 41.
  • the image generation unit 5 generates an image at each image generation position of each symbol ⁇ shown in FIG. 6A, but each process of the flowchart shown in FIG. 5 at each image generation position.
  • the image stored in the image storage unit 41 is only the image generated by the image generation unit 5 at the position of each symbol ⁇ shown in FIG. 6B.
  • FIG. 6A and FIG. 6B when the plant growth index measuring device Ma is taking off, climbing and turning back, the image generated by the image generation unit 5 is discarded, The non-stored image information is stored in the image storage unit 41.
  • the image generated by the image generation unit 5 is Is stored in the image storage unit 41.
  • the image storage unit 41 only a significant image is stored in the image storage unit 41 in order to obtain the growth index, and an image that is not significant in order to obtain the growth index is discarded.
  • a plurality of growth index images are obtained based on the plurality of visible images and the plurality of near-infrared images stored in the image storage unit 41 in this way.
  • a growth index of the entire field is obtained by combining the images into a single growth index composite image by a known method using the measured altitude (latitude X, longitude Y, altitude Z).
  • unnecessary images are included in the plurality of growth index images, wasteful synthesis processing occurs, or processing for removing unnecessary images is required.
  • the plant growth index measuring device Ma is configured to store only significant images in the image storage unit 41 in order to obtain the growth index, it is possible to further suppress a decrease in efficiency in the synthesis process. Note that such calculation of the growth index image and image synthesis thereof may be executed by the plant growth index measuring device Ma, or may be executed by an external device.
  • the plant growth index measurement device Ma and the plant growth index measurement method implemented in the present embodiment are the image determination unit 35a out of the images generated by the image generation unit 5 and the growth index. Since only the image determined to be stored in the image storage unit 41 is stored in the image storage unit 41 as a significant image for obtaining the image, the storage capacity of the image storage unit 41 can be further reduced, and the efficiency in the synthesis process is reduced. Can be further suppressed.
  • the plant growth index measuring device Ma and the plant growth index measuring method are based on the frequency determined based on the image generated by the image generation unit 5 and the frequency corresponding to the line or the interval of the crop growing in the field. Since the determination process is performed, the determination process can be performed on the image generated by the image generation unit 5.
  • the plant growth index measuring device Ma and the plant growth index measuring method perform the determination process based on the growth index obtained based on the image generated by the image generation unit 5.
  • the determination process can be performed on the generated image.
  • the plant growth index measuring device Ma and the plant growth index measuring method perform the determination process based on the detection result of the sun reflection detection unit 34 based on the image generated by the image generation unit 5, the image generation unit 5 The determination process can be performed on the image generated in step (b).
  • the plant growth index measuring device Ma and the plant growth index measuring method store the non-memory image information of the image determined not to be stored in the image storage unit 41, only the image determined not to be stored in the image storage unit 41 is stored. Can be retaken later.
  • the measurement position and measurement altitude (latitude X, longitude Y, altitude Z) of its own machine are synthesized by combining a plurality of growth index images.
  • the image is generated, in order to represent the mutual positional relationship and the actual imaging height in each of the plurality of growth index images, whether to record (store) the image generated and generated by the image generation unit 5 is as described above.
  • the plant growth index measurement according to the second embodiment was determined by analyzing the image generated by the image generation unit 5 from the viewpoint of the characteristics of the field without requiring the measurement position and measurement altitude of the own device.
  • the device Mb determines whether or not to record (store) the image generated by the image generation unit 5 based on the measurement position and the measurement altitude (latitude X, longitude Y, altitude Z) of the device itself.
  • Such a plant growth index measuring apparatus Mb in the second embodiment includes, for example, as shown in FIG. 1, an aircraft 1, an own aircraft state measuring unit 2 b, a control processing unit 3 b, a storage unit 4 b, and image generation. Unit 5 and IF unit 6.
  • the aircraft 1, the own aircraft state measurement unit 2b including the position altitude measurement unit 21, the image generation unit 5 and the IF unit 6 are respectively the plant growth index of the first embodiment. Since the measurement apparatus Ma is the same as the aircraft 1, the own aircraft state measurement unit 2a including the position altitude measurement unit 21, the image generation unit 5, and the IF unit 6, description thereof will be omitted.
  • the storage unit 4b is a circuit that is connected to the control processing unit 3b and stores various predetermined programs and various predetermined data under the control of the control processing unit 3b.
  • the various predetermined programs include, for example, a control program for controlling each part of the plant growth index measuring device Mb according to the function of each part, the position of the own device measured by the position altitude measuring part 21, and a later-described
  • the image generation unit 5 Based on the field area information stored in the field area information storage unit 42, the image generation unit 5 only performs an image determination program that performs the determination process or the image determination program that determines to store in the image storage unit 41.
  • a control processing program such as an image storage control program for storing the generated image in the image storage unit 41 is included.
  • Examples of the various predetermined data include an image generated by the image generation unit 5 (visible image and near-infrared image in the present embodiment), field area information indicating a location area of the field to be measured, and the determination. Data necessary for executing each program, such as a preset threshold value used in processing, is included.
  • the storage unit 4b includes, for example, a ROM, an EEPROM, a RAM, and the like.
  • storage part 4b is further provided with the agricultural field area
  • the field area information storage unit 42 stores field area information representing the location area of the field to be measured. For example, in the present embodiment, the position altitude measuring unit 21 outputs the latitude X and the longitude Y as the measurement position. Accordingly, the field area information storage unit 42 corresponds to each of a plurality of points representing the contour shape of the field.
  • the latitude X and longitude Y of the position are stored as the field area information. If the field is, for example, a rectangle, the latitude X and longitude Y of each position of the four vertices in the rectangle are stored in the field region information storage unit 42 as the field region information.
  • the control processing unit 3b controls each part of the plant growth index measuring device Mb according to the function of each part, and images an image of the field to be measured from above for obtaining a growth index indicating the degree of growth in the plant. , Is a circuit for generating. Similar to the control processing unit 3a, the control processing unit 3b includes, for example, a CPU and its peripheral circuits. In the second embodiment, the control processing unit 3b functionally includes a control unit 31, an image determination unit 35b, and an image storage control unit 36.
  • control unit 31 controls each part of the plant growth index measuring device Mb according to the function of each part, and controls the overall control of the plant growth index measuring device Mb.
  • the image determination unit 35b determines whether or not to store the image generated by the image generation unit 5 in the image storage unit 41 so that only a significant image is stored in the image storage unit 41 in order to obtain the growth index.
  • the determination process to perform is performed.
  • the image determination unit 35 b is based on the measurement position (latitude X, longitude Y) of the own device measured by the position altitude measurement unit 21 and the field area information stored in the field area information storage unit 42.
  • the determination process is performed. More specifically, the image determination unit 35b stores the measurement position (latitude X, longitude Y) of the own device measured by the position altitude measurement unit 21 in the field area information storage unit 42 as the determination process.
  • the image determination unit 35b further performs the determination process based on the measured altitude Z of the own device measured by the position altitude measurement unit 21. More specifically, as the determination process, the image determination unit 35b determines whether the measured altitude Z measured by the position altitude measurement unit 21 is greater than or equal to a predetermined threshold (fourth threshold) set in advance.
  • the fourth threshold value is set to a predetermined imaging altitude (flying altitude) set in advance, such as 15 m, 20 m, or 25 m, for example. More specifically, the image determination unit 35b performs the eleventh determination result by the determination processing based on the measurement position (latitude X, longitude Y) of the own device and the field area information, and the determination processing based on the measured altitude Z of the own device.
  • the image storage control unit 36 is the same as the image storage control unit 36 in the plant growth index measuring device Ma of the first embodiment described above, the description thereof is omitted.
  • FIG. 8 is a flowchart showing the operation of the plant growth index measuring apparatus according to the second embodiment.
  • the plant growth index measuring apparatus Mb having such a configuration, when the power is turned on, executes necessary initialization of each part and starts its operation.
  • the control processing unit 3b functionally includes a control unit 31, an image determination unit 35b, and an image storage control unit 36.
  • the plant growth index measuring device Mb in the second embodiment is also similar to the plant growth index measuring device Ma in the first embodiment according to the control of the control processing unit 3b by guided flight or autonomous flight, and around the field to be measured. Leaving from the area, facing the sky above the field and flying over the field in ninety-nine folds. While flying over the field to be measured from such takeoff, the plant growth index measuring device Mb repeatedly executes the following processes S21 to S26 at predetermined time intervals (sampling intervals).
  • the plant growth index measuring device Mb generates and acquires an image with the image generating unit 5 by the control unit 31 of the control processing unit 3b (S21), and synchronizes with this,
  • the position (latitude X, longitude Y) and altitude Z are acquired by the measuring unit 2b (S22).
  • These visible image, near-infrared image, and its own measurement position and measurement altitude (latitude X, longitude Y, altitude Z) are temporarily stored in the working memory of the storage unit 4b.
  • the plant growth index measuring apparatus Mb performs a determination process for determining whether or not to store the image acquired in the process S21 in the image storage unit 41 by the image determination unit 35b of the control processing unit 3b (S23). .
  • the plant growth index measuring device Mb next executes the process S26 after executing the process S24.
  • the plant growth index measuring device Mb next executes the process S26 after executing the process S25.
  • the image determination unit 35b stores the measurement position (latitude X, longitude Y) of the own device measured by the position altitude measurement unit 21 in the field area information storage unit 42. It is determined whether or not it is within the location area of the farm field represented by the farm field area information that has been determined, and as an eleventh determination result, the case of being within the location area of the farm field is determined to be stored in the image storage unit 41 Then, it is determined that the image storage unit 41 does not store the case where the field is not within the field location (the case where the field is outside the field location).
  • the image determination unit 35b determines whether or not the measured altitude Z of the own device measured by the position altitude measurement unit 21 is equal to or greater than a predetermined fourth threshold, As a twelfth determination result, it is determined that the case where it is equal to or greater than the fourth threshold is stored in the image storage unit 41, and the case where it is not equal to or greater than the fourth threshold is determined not to be stored in the image storage unit 41.
  • the image determination unit 35b calculates an AND of the eleventh determination result and the twelfth determination result, and determines that all of the eleventh and twelfth determination results are stored in the image storage unit 41 (the AND of the AND).
  • the plant growth index measuring device Mb next executes the process S26 after executing the process S24, When it determines with memorize
  • processing S24, processing S25 and processing S26 in the plant growth index measuring device Mb of the second embodiment are the same as the processing S16, processing S17 and processing S18 in the plant growth index measuring device Ma of the first embodiment, respectively. The description is omitted.
  • the plant growth index measurement device Mb and the plant growth index measurement method implemented in the second embodiment are the same as those in the first embodiment, among the images generated by the image generation unit 5. Since only the image determined to be stored in the image storage unit 41 as a significant image for obtaining the growth index by the image determination unit 35b is stored in the image storage unit 41, the storage capacity of the image storage unit 41 is further reduced. It is possible to further suppress a decrease in efficiency in the synthesis process.
  • the plant growth index measuring device Mb and the plant growth index measuring method use the measurement position (latitude X, longitude Y) of the own device measured by the position altitude measuring unit 21, so that it is generated by imaging over the field. Only the image can be reliably stored in the image storage unit 41.
  • the plant growth index measuring device Mc in the third embodiment is determined by analyzing the image generated in 5 from the viewpoint of the characteristics of the field. Based on at least one of K, whether to permit recording (storage) of the image generated by the image generating unit 5 is determined.
  • the plant growth index measuring device Mc in the third embodiment includes an aircraft 1, an own aircraft state measurement unit 2c, a control processing unit 3c, a storage unit 4c, and an image generation. Unit 5 and IF unit 6.
  • the aircraft 1, the own aircraft state measurement unit 2c including the position altitude measurement unit 21, the image generation unit 5 and the IF unit 6 are respectively the plant growth index of the first embodiment. Since the measurement apparatus Ma is the same as the aircraft 1, the own aircraft state measurement unit 2a including the position altitude measurement unit 21, the image generation unit 5, and the IF unit 6, description thereof will be omitted.
  • the storage unit 4c is a circuit that is connected to the control processing unit 3c and stores various predetermined programs and various predetermined data under the control of the control processing unit 3c.
  • the various predetermined programs include, for example, at least one of a control program for controlling each part of the plant growth index measuring device Mc according to the function of each part, and the altitude, direction, speed, and acceleration of the own machine.
  • the image generated by the image generation unit 5 is stored in the image storage unit 41 only when the image determination program for performing the determination process or the image determination program determines that the image storage unit 41 stores the image.
  • a control processing program such as a storage control program is included.
  • the various kinds of predetermined data include programs such as images generated by the image generation unit 5 (visible images and near-infrared images in the present embodiment) and preset threshold values used in the determination process. Data necessary for execution is included.
  • the storage unit 4b includes, for example, a ROM, an EEPROM, a RAM, and the like.
  • storage part 4c is equipped with the image memory
  • the control processing unit 3c controls each part of the plant growth index measuring device Mc according to the function of each part, and images an image of the field to be measured for obtaining a growth index indicating the degree of growth in the plant from above. , Is a circuit for generating.
  • the control processing unit 3c includes, for example, a CPU and its peripheral circuits, similarly to the control processing unit 3a.
  • the control processing unit 3c functionally includes a control unit 31, an image determination unit 35c, and an image storage control unit 36.
  • control unit 31 controls each part of the plant growth index measuring device Mc according to the function of each part, and controls the whole plant growth index measuring device Mb.
  • the image determination unit 35c determines whether or not to store the image generated by the image generation unit 5 in the image storage unit 41 so that only a significant image is stored in the image storage unit 41 in order to obtain the growth index.
  • the determination process to perform is performed.
  • the image determination unit 35c performs the determination process based on at least one of the altitude, direction, speed, and acceleration of the own device.
  • the image determination unit 35c performs a position altitude measurement unit as the determination process in the same manner as the image determination unit 35b of the second embodiment. It is determined whether or not the altitude Z measured in 21 is equal to or greater than the fourth threshold, and as a twenty-first determination result, it is determined that the case where the altitude Z is equal to or greater than the fourth threshold is stored in the image storage unit 41, The case where it is not greater than or equal to the fourth threshold is determined as not being stored in the image storage unit 41.
  • the control processing unit 3c takes the measurement position (latitude X, longitude Y) measured by the position altitude measurement unit 21 as indicated by a broken line in FIG.
  • the image processing unit 35c further includes a azimuth processing unit 37 that obtains the azimuth ⁇ of the device based on the current measurement position (latitude X, longitude) measured by the position altitude measurement unit 21 by the azimuth processing unit 37.
  • the predetermined azimuth ⁇ is a predetermined azimuth (for example, the azimuth of the long side when generating the image while reciprocating in ninety-nine folds in the direction along the long side in the contour of the field) to Y ref , Match within a preset second margin range Determines whether, as the 22 determination result, a case where the match is determined that when storing in the image storage unit 41 determines that if not stored if not the match in the image storage unit 41.
  • the azimuth ⁇ is calculated from the two sets of latitudes X and X ⁇ 1 and longitudes Y and Y ⁇ 1 measured at different image generation positions (different timings) by the position altitude measuring unit 21.
  • the own-machine state measurement part 2c is further provided with the direction measurement part 22 which measures the present azimuth
  • the measured orientation ⁇ may be used as described above.
  • the azimuth measuring unit 22 includes, for example, a three-axis azimuth meter (three-axis geomagnetic sensor).
  • the control processing unit 3c takes the measurement position (latitude X, longitude Y) measured by the position altitude measurement unit 21 as indicated by a broken line in FIG.
  • the image processing unit 35c is further functionally provided with a speed processing unit 38 for obtaining the speed S of the own device based on the current measurement position (latitude X, la, X) measured by the position altitude measuring unit 21 by the speed processing unit 38.
  • the fifth threshold value is determined as the 23rd determination result. Determines that the case of storing the case is above the image storage unit 41 determines that if not stored if it is not the fifth threshold value or more in the image storage unit 41.
  • the plant growth index measuring device Mc flies at a predetermined speed (for example, 1 m / frame, 2 m / frame, 3 m / frame, etc.) in the sky above the field, and may perform hovering or the like as necessary. Since the images being hovered are substantially the same, one image is sufficient. For this reason, the fifth threshold value is appropriately set to a value that can be distinguished from the predetermined speed above the field and the flying speed of hovering.
  • the velocity S is calculated by the position altitude measuring unit 21 at two different image generation positions (each at different timings), two sets of latitudes X and X ⁇ 1 and longitudes Y and Y ⁇ 1 and those.
  • the own apparatus state measuring section 2c measures the own apparatus speed S, for example, a speed measuring section 23 such as a speedometer.
  • the speed S measured by the speed measuring unit 23 may be used as described above.
  • the control processing unit 3c takes the measurement position (latitude X, longitude Y) measured by the position altitude measurement unit 21 as indicated by a broken line in FIG.
  • the image processing unit 35c further includes an acceleration processing unit 39 that obtains the acceleration K of the own device based on the current measurement position measured by the position altitude measuring unit 21 using the acceleration processing unit 39 (latitude X, Longitude Y), the previous measurement position (latitude X ⁇ 1 , longitude Y ⁇ 1 ), the previous measurement position (latitude X ⁇ 1 , longitude Y ⁇ 1 ), and their respective measurement time intervals
  • the acceleration K is obtained, and as the determination process, it is determined whether or not the obtained acceleration K is greater than or equal to a predetermined sixth threshold value, and the 24th determination result is greater than or equal to the sixth threshold value.
  • the image storage unit 41 Determines that the case of storing determines that if not stored if it is not the sixth threshold value or more in the image storage unit 41. In hovering, vibration often occurs, and the sixth threshold value is set to an appropriate value capable of identifying the acceleration of vibration generated by hovering from a plurality of samples.
  • the acceleration K is measured by the position altitude measuring unit 21 at three different latitudes X, X ⁇ 1 , X ⁇ 2 and longitudes Y, Y measured at different image generation positions (different timings). ⁇ 1 , Y ⁇ 2 and their respective measurement time intervals were obtained by the acceleration processing unit 39.
  • the own device state measuring unit 2c measures the acceleration S of the own device.
  • an acceleration measuring unit 24 such as an accelerometer may be further provided, and the acceleration S measured by the acceleration measuring unit 24 may be used as described above.
  • the image determination unit 35c calculates an AND of each of the determination results.
  • the image storage unit 41 when it is determined that all the determination results of each of the plurality are stored in the image storage unit 41 (when the AND operation result is 1), and finally stored in the image storage unit 41.
  • the image is finally stored. It is determined that it is not stored in the unit 41.
  • the image determination unit 35c performs the determination process based on the direction ⁇ and the speed S of the own device.
  • the image storage control unit 36 is the same as the image storage control unit 36 in the plant growth index measuring device Ma of the first embodiment described above, the description thereof is omitted.
  • FIG. 9 is a flowchart showing the operation of the plant growth index measuring apparatus according to the third embodiment.
  • the plant growth index measuring apparatus Mb having such a configuration, when the power is turned on, executes necessary initialization of each part and starts its operation.
  • the control processing unit 3c functionally includes a control unit 31, an image determination unit 35b, an image storage control unit 36, an azimuth processing unit 37, and a speed processing unit 38.
  • the plant growth index measuring device Mc in the third embodiment is also similar to the plant growth index measuring device Ma in the first embodiment according to the control of the control processing unit 3c by guided flight or autonomous flight, and around the field to be measured. Leaving from the area, facing the sky above the field and flying over the field in ninety-nine folds. While flying over the field to be measured from such takeoff, the plant growth index measuring device Mc repeatedly executes the following processes S31 to S39 at predetermined time intervals (sampling intervals).
  • the plant growth index measuring device Mc generates and acquires an image with the image generation unit 5 by the control unit 31 of the control processing unit 3 c (S 31), and synchronizes with this to generate its own state.
  • the position (latitude X, longitude Y) and altitude Z are acquired by the measuring unit 2c (S32).
  • These visible image, near-infrared image, and its own measurement position and measurement altitude (latitude X, longitude Y, altitude Z) are temporarily stored in the working memory of the storage unit 4c.
  • the plant growth index measuring device Mc uses the speed processing unit 38 of the control processing unit 3c to acquire the current measurement position (latitude X, longitude Y) and the previous measurement position (latitude X ⁇ 1 , longitude Y -1) and on the basis of the measured time interval which determines the speed S of the own apparatus (S33).
  • the obtained speed S of the own device is temporarily stored in the working memory of the storage unit 4c.
  • the plant growth index measuring device Mc uses the azimuth processing unit 37 of the control processing unit 3c to acquire the current measurement position (latitude X, longitude Y) and the previous measurement position (latitude X ⁇ 1 , Based on the longitude Y ⁇ 1 ), the direction ⁇ of the aircraft is obtained (S34).
  • the obtained orientation ⁇ of the own machine is temporarily stored in the working memory of the storage unit 4c.
  • the plant growth index measuring device Mc uses the control processing unit 3c to set the current measurement position (latitude X, longitude Y) as the previous measurement position (latitude X -1 , longitude Y -1 ), and the previous measurement.
  • the latitude (latitude X ⁇ 1 , longitude Y ⁇ 1 ) is updated (X ⁇ 1 ⁇ X, Y ⁇ 1 ⁇ Y) (S35).
  • the plant growth index measurement device Mc performs a determination process for determining whether or not to store the image acquired in the process S31 in the image storage unit 41 by the image determination unit 35c of the control processing unit 3c (S36). .
  • the plant growth index measuring device Mc executes step S39 after executing step S37.
  • index measuring apparatus Mc performs step S39 after performing step S38 next.
  • the image determination unit 35c determines whether or not the azimuth ⁇ obtained in step S34 matches the predetermined azimuth Yref within the predetermined second margin, As the twenty-second determination result, it is determined that the case of matching is stored in the image storage unit 41, and the case of not matching is determined not to be stored in the image storage unit 41.
  • the image determination unit 35c determines whether or not the speed S obtained in process S33 is equal to or higher than the fifth threshold value, and as a twenty-third determination result, is equal to or higher than the fifth threshold value. It is determined that the case is stored in the image storage unit 41, and the case where it is not greater than or equal to the fifth threshold is determined not to be stored in the image storage unit 41.
  • the image determination unit 35c calculates an AND of the 22nd determination result and the 23rd determination result, and determines that all of the 22nd and 23rd determination results are stored in the image storage unit 41 (the AND of the AND).
  • the calculation result is 1)
  • it is finally determined that the image storage unit 41 does not store the result.
  • the plant growth index measuring device Mc next executes the process S37 and then executes the process S39.
  • index measuring apparatus Mc performs process S39 after performing process S38 next.
  • processing S37, processing S38 and processing S39 in the plant growth index measuring device Mc of the third embodiment are the same as processing S16, processing S17 and processing S18 in the plant growth index measuring device Ma of the first embodiment, respectively. The description is omitted.
  • the plant growth index measuring device Mc according to the third embodiment and the plant growth index measuring method implemented therein are the same as in the first embodiment, among the images generated by the image generation unit 5. Since only the image determined to be stored in the image storage unit 41 as a significant image for obtaining the growth index by the image determination unit 35c is stored in the image storage unit 41, the storage capacity of the image storage unit 41 is further reduced. It is possible to further suppress a decrease in efficiency in the synthesis process.
  • the plant growth index measuring device Mc and the plant growth index measuring method perform the determination process based on the direction ⁇ of the own device, it is possible to reduce the memory of the image generated during the folding of the own device. Since the determination process is performed based on the speed S, the storage of the image generated during the hovering of the own device can be reduced.
  • the plant growth index measuring device Mc and the plant growth index measuring method reduce the memory of images generated while the own device is rising or descending. it can.
  • the plant growth index measuring device Mc and the plant growth index measuring method can detect the hovering by the acceleration caused by the vibration during the hovering of the own device. The storage of the generated image can be reduced.
  • the plant growth index measuring devices Ma, Mb, Mc in the first to third embodiments may be appropriately combined.
  • the plant growth index measuring devices Ma and Mb in the first and second embodiments are combined.
  • the plant growth index measuring devices Ma and Mc in the first and third embodiments are combined.
  • the plant growth index measuring devices Mb and Mc in the second and third embodiments are combined. All the plant growth index measuring devices Ma, Mb, Mc in the first to third embodiments are combined.
  • the plant growth index measuring device M calculates an AND of each determination result, and determines that all the determination results are stored in the image storage unit 41 (the AND operation result is 1).
  • the image generation unit 5 includes the visible imaging unit 51 and the infrared imaging unit 52.
  • a single imaging unit that generates an infrared image may be provided.
  • One imaging unit that generates such a visible image and an infrared image includes a single third imaging optical system that forms an optical image of a measurement target on a predetermined third imaging plane, An optical system having a single third image sensor that converts the optical image to be measured into an electrical signal, and an R that is disposed on the third image sensor. / G / B / Ir or W / Y / R / Ir.
  • the R is a filter that mainly transmits red light
  • the G is a filter that mainly transmits green light
  • the B is a filter that mainly transmits blue light
  • the W is a filter that mainly transmits white light
  • the Y is a filter that mainly transmits yellow light.
  • a plant growth index measurement device a plant growth index measurement method, a plant growth index measurement program, and a plant growth index measurement system that can generate a growth index image synthesized with higher accuracy are disclosed.
  • the plant growth index measuring apparatus is an apparatus for obtaining a growth index representing the degree of growth in a plant, and in particular, picked up at a time by an imaging unit (camera) that generates an image for obtaining a growth index.
  • a field growth index image in a wider area than the field area reflected in one image is generated.
  • the growth index image is an image made up of pixels having image values representing the growth index. That is, in this embodiment, since the farm field is usually wide with respect to the angle of view of the imaging unit (camera), it is difficult to capture the entire farm field as a single image by one imaging. By so-called panorama synthesis processing, the images are continuously connected and synthesized into one image (composite image).
  • the plant growth index measuring device is a plurality of growth index images composed of pixels of image values representing the growth index, and is generated so as to include different regions of the field.
  • An image acquisition unit that acquires the plurality of growth index images different from each other, and an image synthesis that generates a single growth index composite image by performing panoramic synthesis processing on the plurality of growth index images obtained by the image acquisition unit A part.
  • the image acquisition unit includes: a first imaging unit that generates a first image by capturing a first optical image in a first wavelength band; and a second optical image in a second wavelength band different from the first wavelength band.
  • the growth index image is generated based on the first and second images in the same region of the field generated by the second imaging unit that generates the second image by capturing the image and the first and second imaging units, respectively.
  • a growth index image generation unit that generates a plurality of first and second images so that each of the first and second imaging units includes different areas of the field, and the growth index image generation unit May be configured to generate the plurality of growth index images based on the plurality of first and second images.
  • the image acquisition unit receives the plurality of growth index images from an external device.
  • FIG. 10 is a diagram showing a configuration of a plant growth index measurement system in the fourth embodiment.
  • the plant growth index measurement system S of such an embodiment includes, for example, an image generation device M and a plant growth index measurement device P as shown in FIG.
  • the image generation device M is a device that generates a predetermined image in the field to be measured.
  • the predetermined image may be an original image for obtaining a growth index image (for example, when the growth index is NDVI, a visible image and a near-infrared image for obtaining NDVI). It is a growth index image generated based on the original image.
  • the image generation device M is attached to the end of a long rod such as a rod, for example, generates a growth index image of the field overlooking the field from above, or if there is a relatively high building adjacent to the field
  • the growth index image of the farm field may be generated from the building
  • the present embodiment includes an aircraft and is configured to generate the growth index image of the farm field from above.
  • the growth index is NDVI
  • the growth index is not limited to this and may be another index.
  • IPVI Infrared Percentage Index
  • Ri ′ / (Ri ′ + Rv) (NDVI + 1) / 2).
  • the image generation apparatus M includes an aircraft 61, a position altitude measurement unit 62, an orientation measurement unit 63, a control processing unit 64, a visible imaging unit 65, an infrared image An imaging unit 66, a storage unit 67, and an interface unit (IF unit) 68 are provided.
  • IF unit interface unit
  • the aircraft 61 is a device that flies in the atmosphere, such as a balloon, an airship, an airplane, a helicopter, and a multicopter.
  • the aircraft 61 may be a manned aircraft, but is preferably an unmanned aircraft (drone) by radio controlled flight (guided flight) or autonomous flight.
  • the aircraft 61 is connected to the control processing unit 64 and flies according to the control of the control processing unit 64 by guided flight or autonomous flight.
  • the position altitude measuring unit 62 is connected to the control processing unit 64, and is a device that measures the current position and altitude on the earth according to the control of the control processing unit 64.
  • a GPS Global Positioning System
  • the position altitude measurement unit 62 outputs the measurement result (measurement position (latitude X, longitude Y, altitude Z)) to the control processing unit 64.
  • the GPS may be a GPS having a correction function for correcting errors such as DGSP (Differential GSP).
  • the azimuth measuring unit 63 is a device that is connected to the control processing unit 64 and measures the current azimuth on the earth according to the control of the control processing unit 64, and includes, for example, a three-axis azimuth meter (three-axis geomagnetic sensor). Is done.
  • the azimuth measuring unit 63 outputs the measurement result (measurement azimuth (azimuth angle Y)) to the control processing unit 64.
  • the visible imaging unit 65 is an apparatus that is connected to the control processing unit 64 and generates a visible light image (visible image) according to the control of the control processing unit 64.
  • the visible imaging unit 65 corresponds to an example of a first imaging unit that generates a first image (here, a visible image) by imaging a first optical image in a first wavelength band (here, a visible wavelength band).
  • the visible imaging unit 65 is, for example, a first bandpass filter that transmits light in a relatively narrow band having a wavelength of 650 nm as a central wavelength, A first image-forming optical system that forms an optical image of a visible light to be measured that has passed through a band-pass filter on a predetermined image-forming surface; a light-receiving surface that is aligned with the first image-forming surface; A first image sensor that converts an optical image of a target visible light into an electrical signal, a first digital signal processor (DSP) that generates a visible image by performing known image processing on the output of the first image sensor, and the like A so-called camera or the like.
  • the visible imaging unit 65 outputs the visible image generated by imaging to the control processing unit 64.
  • the infrared imaging unit 66 is an apparatus that is connected to the control processing unit 64 and generates an image (infrared image) of infrared light (for example, near infrared light) according to the control of the control processing unit 64.
  • the infrared imaging unit 66 generates a second image (here, an infrared image) by capturing a second optical image in a second wavelength band (here, the infrared wavelength band) different from the first wavelength band. This corresponds to an example of a second imaging unit.
  • the infrared imaging unit 66 for example, a second bandpass filter that transmits light in a relatively narrow band having a wavelength of 800 nm as a central wavelength, A second imaging optical system that forms an optical image of the infrared light of the measurement object that has passed through the two-band pass filter on a predetermined imaging surface, and the light receiving surface is arranged to coincide with the second imaging surface; A second image sensor that converts an optical image of the infrared light to be measured into an electrical signal; a second DSP that performs known image processing on the output of the second image sensor to generate an infrared image; So-called infrared camera or the like.
  • the infrared imaging unit 66 outputs the infrared image generated by imaging to the control processing unit 64.
  • the IF unit 68 is a circuit that is connected to the control processing unit 64 and performs data input / output with an external device such as the plant growth index measuring device P according to the control of the control processing unit 64.
  • an external device such as the plant growth index measuring device P
  • serial communication RS232C interface circuit for example, serial communication RS232C interface circuit, Bluetooth (registered trademark) standard interface circuit, IrDA (Infrared Data Association) standard interface circuit, and USB (Universal Serial Bus) standard interface circuit Etc.
  • the IF unit 68 is a communication card or the like that communicates by wire or wirelessly, for example, an external device such as a plant growth index measuring device P or a server device that manages the growth index image via a communication network such as an Ethernet environment. (Ethernet is a registered trademark).
  • the storage unit 67 is a circuit that is connected to the control processing unit 64 and stores various predetermined programs and various predetermined data under the control of the control processing unit 64.
  • the various predetermined programs include a control program for controlling each unit of the image generation apparatus M according to the function of each unit, and a growth index image to be measured (an NDVI image (NDVI image in this embodiment)).
  • a control processing program such as a growth index image generation program is generated.
  • the various predetermined data include a visible image generated by the visible imaging unit 65, an infrared image generated by the infrared imaging unit 66, and a growth index generated based on the visible image and the infrared image. Data necessary for executing each program such as an image (an NDVI image in the present embodiment) is included.
  • the storage unit 67 includes, for example, a ROM (Read Only Memory) that is a nonvolatile storage element, an EEPROM (Electrically Erasable Programmable Read Only Memory) that is a rewritable nonvolatile storage element, and the like.
  • the storage unit 67 includes a RAM (Random Access Memory) that serves as a working memory of the control processing unit 6 that stores data generated during the execution of the predetermined program.
  • the storage unit 67 functionally includes an image storage unit 671 that stores the visible image, the infrared image, and the growth index image (NDVI image).
  • the image storage unit 671 associates the measurement position measured by the position altitude measurement unit 62 and the measurement direction measured by the direction measurement unit 63 with the visible image, the infrared image, and the growth index image (NDVI image), respectively.
  • the measurement position and the measurement orientation are accommodated in the header of each of the visible image, the infrared image, and the growth index image (NDVI image), thereby corresponding to each of the visible image, the infrared image, and the growth index image (NDVI image). Attached.
  • the image storage unit 671 stores the visible image, the infrared image, and the growth index image (NDVI image), but the storage unit 67 temporarily stores the visible image and the infrared image.
  • the growth index image (NDVI image) is generated by the control processing unit 64 based on the visible image and the infrared image
  • the temporarily stored visible image and infrared image are deleted (deleted), and the image storage unit 671 Only the growth index image (NDVI image) in which the measurement position and the measurement orientation are associated may be stored.
  • the control processing unit 64 is a circuit for controlling each unit of the image generation device M according to the function of each unit and generating a growth index image (an NDVI image in the present embodiment) to be measured.
  • the control processing unit 64 includes, for example, a CPU (Central Processing Unit) and its peripheral circuits. More specifically, the control processing unit 64 controls the flight of the aircraft 61, and generates a visible image and an infrared image by capturing images in synchronization with each other by the visible image capturing unit 65 and the infrared image capturing unit 66. An NDVI image is obtained based on the visible image and the infrared image, and the position altitude measuring unit 62 and the azimuth measuring unit 63 obtain the measurement position and measurement azimuth. These are stored in the image storage unit 671 in association with images and NDVI images. As described above, the image storage unit 671 may store only the growth index image (NDVI image) in which the measurement position and the measurement orientation are associated with each other.
  • NDVI image growth index image
  • the position altitude measuring unit 62, the direction measuring unit 63, the control processing unit 13, the visible imaging unit 65, the infrared imaging unit 66, the storage unit 67, and the IF unit 68 are mounted on the aircraft 61 and arranged at appropriate positions. Is done.
  • the visible imaging unit 65 and the infrared imaging unit 66 are configured so that the optical axes are parallel to each other and face downward, preferably vertically downward. 61.
  • the plant growth index measuring device P is a device that generates a single growth index composite image by continuously connecting a plurality of growth index images by so-called panoramic synthesis processing.
  • a plant growth index measuring apparatus P includes, for example, an IF unit 71, a control processing unit 72, a storage unit 73, an input unit 74, and an output unit 75 as shown in FIG.
  • the input unit 74 is connected to the control processing unit 72 and measures various commands such as a command for instructing start of generation of a growth index composite image and a growth index such as input of the name of a field to be measured. Is a device that inputs various data necessary for the plant growth index measuring device P, such as a plurality of input switches, keyboards, and mice assigned with predetermined functions.
  • the output unit 75 is connected to the control processing unit 72 and outputs commands and data input from the input unit 74 and a growth index composite image measured by the plant growth index measuring device P according to the control of the control processing unit 72.
  • a display device such as a CRT display, an LCD (liquid crystal display) and an organic EL display, a printing device such as a printer, and the like.
  • a touch panel may be configured from the input unit 74 and the output unit 75.
  • the input unit 74 is a position input device that detects and inputs an operation position such as a resistance film method or a capacitance method
  • the output unit 75 is a display device.
  • a position input device is provided on the display surface of the display device, one or more input content candidates that can be input to the display device are displayed, and the user touches the display position where the input content to be input is displayed. Then, the position is detected by the position input device, and the display content displayed at the detected position is input to the plant growth index measuring device P as the operation input content of the user.
  • the plant growth index measuring device P that is easy for the user to handle is provided.
  • the IF unit 71 is a circuit that is connected to the control processing unit 72 and inputs / outputs data to / from an external device such as the image generation device M under the control of the control processing unit 72.
  • an RS232C interface circuit that is a serial communication system, an interface circuit that uses the Bluetooth (registered trademark) standard, an IrDA (interface circuit that performs infrared communication such as the standard, an interface circuit that uses the USB standard, and the like.
  • the IF unit 71 is a communication card or the like that communicates by wire or wirelessly.
  • the IF unit 71 communicates with an external device such as an image generation device M or a server device that manages a growth index image via a communication network such as an Ethernet environment. (Ethernet is a registered trademark).
  • the storage unit 73 is a circuit that is connected to the control processing unit 72 and stores various predetermined programs and various predetermined data under the control of the control processing unit 72.
  • the various predetermined programs include, for example, a control program for controlling each part of the plant growth index measuring device P according to the function of each part, and a plurality of growth index images by performing panorama synthesis processing.
  • a control processing program such as an image composition program for generating a growth index composite image is included.
  • the image composition program includes a distortion correction program for performing distortion correction processing for correcting image distortion, and each of the plurality of growth index images based on each measurement position associated with each of the plurality of growth index images.
  • the B image is continuous with the A image.
  • the various kinds of predetermined data include programs such as the plurality of growth index images (NDVI images in the present embodiment) and a growth index composite image (NDVI composite image in the present embodiment) obtained by combining these images into one sheet. Data necessary for execution is included.
  • the storage unit 73 includes, for example, a ROM that is a nonvolatile storage element, an EEPROM that is a rewritable nonvolatile storage element, and the like.
  • the storage unit 73 includes a RAM serving as a working memory of the so-called control processing unit 6 that stores data generated during execution of the predetermined program.
  • the storage unit 73 may include a hard disk or the like that can store a relatively large amount of data.
  • the storage unit 73 functionally includes an image storage unit 731 that stores the plurality of growth index images (NDVI images). More specifically, a plurality of growth index images (NDVI images) in which measurement positions and measurement orientations are associated are stored. More specifically, the image storage unit 731 stores a plurality of growth index images (NDVI images) in which measurement positions and measurement orientations are accommodated in a header.
  • the image storage unit 731 stores only a plurality of growth index images (NDVI images) in which measurement positions and measurement orientations are associated with each other.
  • NDVI images growth index images
  • the image storage unit 731 is the original image of the measurement position and A plurality of visible images and a plurality of infrared images associated with measurement directions may be stored.
  • the control processing unit 72 is a circuit for controlling each part of the plant growth index measuring device P according to the function of each part and generating one growth index composite image based on a plurality of growth index images.
  • the control processing unit 72 includes, for example, a CPU and its peripheral circuits.
  • the control processing unit 72 functionally includes a control unit 721 and an image composition unit 722.
  • the control unit 721 controls each part of the plant growth index measuring device P according to the function of each part, and governs overall control of the plant growth index measuring device P.
  • the control unit 721 acquires a plurality of different growth index images generated by the IF unit 71 from the image generation device M so as to include different regions of the field by the image generation device M.
  • the image composition unit 722 generates a single growth index composite image by performing panoramic composition processing on the plurality of growth index images acquired by the IF unit 71.
  • the image composition unit 722 functionally includes a distortion correction unit 7221, an alignment unit 7222, a corresponding point search unit 7223, a transformation matrix calculation unit 7224, an image conversion unit 7225, and a composition unit 7226.
  • the distortion correction unit 7221 performs a distortion correction process for correcting the distortion of the growth index image.
  • the alignment unit 7222 performs alignment processing for obtaining the arrangement position of each of the plurality of growth index images based on each measurement position and each measurement orientation associated with each of the plurality of growth index images. As a result, among the plurality of growth index images, the growth index images adjacent to each other are obtained.
  • Corresponding point search unit 7223 selects two adjacent A-th and B-th images in the plurality of growth index images, and extracts corresponding points between the selected A-th and B-th images. Search processing is performed.
  • the first image A is N th growth index image (NDVI image) I N
  • the first B image is N + 1 th growth index image (NDVI image) I N + 1 .
  • a transformation matrix calculation unit 7224 rotates and translates the B-th image so that the B-th image is continuous with the A-th image. Is a conversion matrix calculation process for obtaining.
  • the image conversion unit 7225 performs image conversion processing for image conversion of the B-th image using the image conversion matrix obtained by the conversion matrix calculation unit 7224.
  • the synthesizing unit 7226 performs a synthesizing process for synthesizing the A-th image and the B-th image converted by the image converting unit 7225.
  • FIG. 11 is a flowchart showing the operation of the image generation apparatus used in the plant growth index measurement system.
  • FIG. 12 is a flowchart showing the operation of the plant growth index measuring apparatus used in the plant growth index measuring system.
  • FIG. 13 is a diagram for explaining the corresponding point search processing in the flowchart shown in FIG. 12.
  • FIG. 13A shows one of the NDVI images adjacent to each other, and
  • FIG. 13B shows the other.
  • FIG. 14 is a view for explaining the image conversion processing in the flowchart shown in FIG.
  • FIG. 14 is an NDVI image obtained by converting the NDVI image shown in FIG. 13A.
  • FIG. 15 is a diagram illustrating an example of an NDVI composite image.
  • FIG. 15 is an NDVI synthesized image obtained by synthesizing one of the NDVI images shown in FIGS. 13A and 13B after image conversion.
  • the image generation apparatus M When the image generating apparatus M of the plant growth index measuring system S is turned on, it initializes each necessary part and starts its operation.
  • the image generation apparatus M flies over the field to be measured from the one end of the field to the other end at a substantially constant predetermined altitude according to the control of the control processing unit 64 by guided flight or autonomous flight. When it reaches, it folds back so as to advance forward by a predetermined distance and flies from the other end to the one end, and when it reaches the one end, it folds back so as to advance forward by a predetermined distance and from the one end to the other end To fly. Similarly, the image generation apparatus M flies over the field to be measured in ninety folds by flying in the same manner.
  • the image generation apparatus M While flying over such a field to be measured, the image generation apparatus M repeatedly executes the following processes at predetermined time intervals (sampling intervals), and at each repetition, visible imaging is performed.
  • a visible image and a near-infrared image are generated by capturing a part of the field of the field corresponding to each field angle range of the unit 65 and the infrared imaging unit 66 by visible and near-infrared, and based on these A growth index image is generated.
  • the predetermined time interval is determined by considering, for example, the flight speed, the flight altitude, the angle of view of each of the visible imaging unit 65 and the infrared imaging unit 66, and the visible images and the near infrared images are of the same type. It sets so that it may overlap in part between adjacent images.
  • the image generation apparatus M captures an image of the farm field from the sky by the visible imaging unit 65 and the infrared imaging unit 66 according to the control of the control processing unit 64, and the visible image and the near infrared. An image is generated and acquired (S111).
  • the image generation apparatus M obtains a growth index image, in this embodiment, an NDVI image, based on the obtained visible image and near-infrared image by the control processing unit 64 (S112).
  • Each pixel value of the NDVI image is the pixel position of the visible image and the near infrared image corresponding to the pixel position of the NDVI image when the pixel value of the visible image is I and the pixel value of the near infrared image is R.
  • NDVI (IR) / (I + R).
  • the pixel value at the pixel position (0, 0) of the NDVI image is obtained from the pixel value at the pixel position (0, 0) of the visible image and the pixel value at the pixel position (0, 0) of the near-infrared image.
  • the pixel value at the pixel position (10, 15) of the NDVI image is obtained from the pixel value at the pixel position (10, 15) of the visible image and the pixel value at the pixel position (10, 15) of the near-infrared image. .
  • the parallax between the visible imaging unit 65 and the infrared imaging unit 66 is considered, and at least one of the pixel position of the visible image and the pixel position of the near-infrared image corrects the parallax.
  • NDVI may be obtained after shifting to.
  • the first imaging optical system of the visible imaging unit 65 and the second imaging optical system of the infrared imaging unit 66 are assumed to have the same optical characteristics such as an angle of view and distortion.
  • the image generation device M uses the position altitude measurement unit 62 and the direction measurement unit 63 according to the control of the control processing unit 64 to determine the position (latitude X, longitude Y, altitude X) and direction (azimuth) in the image generation device M.
  • the angle Y) is measured and acquired (S113).
  • the image generation apparatus M uses the control processing unit 64 to add the measurement position (latitude X, longitude Y, altitude X) and measurement azimuth (azimuth angle) acquired in step S113 to the header of the growth index image obtained in step S112. Y) is accommodated (S114), and the growth index image obtained in step S112 is stored and stored in the image storage unit 671 (S115).
  • the image generation apparatus M determines whether or not the processing is ended by the control processing unit 64. When the processing is finished (Yes), the processing is finished. When the processing is not finished (No), the processing is performed. The process returns to S111 (S116).
  • the image generating apparatus M By operating in this way, the image generating apparatus M generates a plurality of growth index images (NDVI images) corresponding to the respective regions of the part of the field and stores them in the image storage unit 671.
  • NDVI images growth index images
  • the control processing unit 72 is functionally configured with a control unit 721 and an image synthesis unit 722.
  • the image synthesis unit 722 includes a distortion correction unit 7221, an alignment unit 7222, and corresponding point search.
  • a unit 7223, a transformation matrix calculation unit 7224, an image conversion unit 7225, and a synthesis unit 7226 are functionally configured.
  • a plurality of growth index images (in this embodiment, NDVI images) corresponding to the respective fields of the field generated by the image generation device M are acquired from the IF unit 71 and stored in the image storage unit 731 of the storage unit 73.
  • the IF unit 68 of the image generation device M and the IF unit 71 of the plant growth index measurement device P are connected to each other by wire or wirelessly, and the plant growth index measurement is performed from the image generation device M via the IF unit 68 and the IF unit 71.
  • the plurality of growth index images are transferred to the device P.
  • a server device that manages the plurality of growth index images is provided on a network, and the plurality of growth index images are transferred from the image generation device M to the server device via the IF unit 68 and the network.
  • (NDVI image) is transferred, and then the plurality of growth index images (NDVI) from the server device to the plant growth index measurement device P via the network and IF unit 71 in response to a request from the plant growth index measurement device P.
  • Image is transferred.
  • a memory card such as a USB memory is prepared, and the plurality of growth index images (NDVI images) are transferred from the image generation device M to the memory card connected to the IF unit 68, and then the memory card is loaded.
  • the plurality of growth index images are transferred from the memory card to the plant growth index measuring device P by connecting to the IF unit 71.
  • the memory card may be used as the above-described image storage unit 671 when connected to the IF unit 68, and may be used as the above-described image storage unit 731 when connected to the IF unit 71. .
  • the plant growth index measurement device P is a distortion correction unit of the image synthesis unit 722. by 7221, of the plurality of growth index image (NDVI image), and N-th growth index image (NDVI image) I N, N + 1 th growth index images (NDVI image) I N + 1, by a known conventional method
  • distortion correction processing is performed to correct distortion caused by the first imaging optical system of the visible imaging unit 65, the second imaging optical system of the infrared imaging unit 66, and the like (S121).
  • Data for distortion correction may be accommodated in the header of a growth index image (NDVI image), for example, or may be input by the user (operator) from the input unit 74, for example.
  • the N is a serial number assigned to each of the plurality of growth index images (NDVI images). When the total number of the plurality of growth index images (NDVI images) is K, the number is 1 to K. It is an integer.
  • the growth index image refers to an NDVI image as an example thereof, and is not particularly annotated with parentheses.
  • the plant growth index measuring apparatus P uses the alignment unit 7222 of the image composition unit 722 to measure the Nth growth index image I N and the N + 1th growth index image I N + 1 stored in the headers. Based on the position (latitude X, longitude Y, altitude X) and measurement direction (azimuth angle Y), the Nth growth on the growth index composite image Is obtained by combining the plurality of growth index images into one image. An alignment process for obtaining the arrangement positions of the index image I N and the (N + 1) th growth index image I N + 1 is performed (S122).
  • a reference height and a reference direction are set as a reference in the growth index composite image Is, and the growth index image I is enlarged so as to be an image generated in the reference height and the reference direction.
  • the latitude X and longitude Y are corrected by reduction, rotation, etc., and the center position (intersection position of the diagonal line) of the growth index image I is regarded as the coordinates on the growth index composite image Is according to the latitude X and longitude Y. Is given to the growth index image I. Thereby, the arrangement position of the growth index image I in the growth index composite image Is is determined.
  • the image generation apparatus M generates the plurality of visible images and near-infrared images as described above, so that the Nth growth index image IN and the N + 1th growth index image I are generated.
  • N + 1 is adjacent in the left-right direction (horizontal direction) and the up-down direction (vertical direction) on the growth index composite image Is.
  • the plant growth index measuring apparatus P uses a corresponding point search unit 7223 of the image composition unit 722 to generate a plurality of corresponding points between the Nth growth index image I N and the N + 1th growth index image I N + 1.
  • Corresponding point search processing is performed (S123). More specifically, first, the corresponding point search unit 7223 selects one of the Nth growth index image I N and the N + 1th growth index image I N + 1 , for example, the N + 1th growth index image I N + 1 as a reference image. and then, the other of, a reference image, for example, N-th growth index image I N. Next, the corresponding point search unit 7223 extracts a plurality of feature points from the reference image.
  • the corresponding point search unit 7223 extracts, as feature points, pixels whose pixel values are significantly different from the pixel values of surrounding pixels in the reference image. For example, pixels whose pixel values differ from the pixel values of surrounding pixels by a predetermined threshold or more are extracted as feature points. A region having a predetermined number of pixels adjacent to each other (for example, 4 pixels or 9 pixels) or more may be extracted as a feature point. Then, the corresponding point search unit 7223 searches each reference point corresponding to each feature point extracted from the standard image from the reference image by a known conventional method. An example is shown in FIG. 13A shows a base image, and each point indicated by ⁇ is a feature point P N + 1 , FIG. 13B shows a reference image, and each point indicated by ⁇ is a feature point P N + 1 shown in FIG. 13A. a corresponding point P N which corresponds to.
  • plant growth indicator measuring device P the transformation matrix calculation unit 7224 of the image synthesis unit 722, based on the plurality of corresponding points extracted by the corresponding point searching unit 7223, N + 1 to N-th growth index image I N
  • a conversion matrix calculation process is performed to obtain an image conversion matrix M that rotates and translates the (N + 1) th growth index image I N + 1 so that the Nth growth index image I N + 1 is continuous (S124).
  • the image conversion matrix M is a matrix representing, for example, affine transformation, and the conversion formula is represented by the following formula 1.
  • the column vector (x, y, 1) on the right side in Expression 1 is the coordinate (pixel position) of the feature point extracted from the (N + 1) th growth index image I N + 1
  • the column vector ( x ′, y ′, 1) are the coordinates (pixel position) of the corresponding point corresponding to the feature point searched from the Nth growth index image IN.
  • the components a, b, c, and d in the first row, first column, first row, second column, second row, first column, and second row, second column in the image transformation matrix M acting on the column vector (x, y, 1) are represents a transformation matrix, one row and three columns and two rows and three columns each component t x of, t y represents the transformation matrix of the translation (translation).
  • Equation 1 The feature points obtained in step S123 and the coordinates (pixel positions) of the corresponding points are substituted into Equation 1, and these components a, b, c, d, t x and ty are obtained by, for example, the least square method. As a result, an image conversion matrix M is obtained.
  • the plant growth index measuring apparatus P uses the image conversion unit 7225 of the image composition unit 722 to image-convert the N + 1-th growth index image I N + 1 using the image conversion matrix M obtained by the conversion matrix calculation unit 7224. Conversion processing is performed (S125). For example, the (N + 1) th growth index image I N + 1 shown in FIG. 13A is converted into an image CIN + 1 shown in FIG.
  • plant growth indicator measuring device P the combining unit 7226 of the image combining unit 722, and the N-th growth index image I N and N + 1 th growth index image CI N + 1 after conversion image converted by the image conversion unit 7225
  • the plant growth index measuring apparatus P increments N by 1 in order to process the next growth index image I by the image composition unit 722 (N ⁇ N + 1, S127).
  • the plant growth index measuring device P determines whether or not the processing has been completed for all the growth index images I by the image composition unit 722, that is, whether or not N is greater than or equal to the maximum value MAX (S128). . If the result of this determination is that processing has not been completed for all the growth index images I, that is, if N is not equal to or greater than the maximum value MAX (No), the image composition unit 722 returns the processing to processing S121, As a result of the determination, when the processing has been completed for all the growth index images I, that is, when N is equal to or greater than the maximum value MAX (Yes), the image composition unit 722 terminates the present processing, and the growth index composition. The image Is is output to the output unit 75. Note that the growth index composite image Is may be output from the IF unit 21 to an external device as necessary.
  • the plant growth index measurement system S, the plant growth index measurement device P, and the plant growth index measurement method and the plant growth index measurement program implemented in the present embodiment are not visible images or near-infrared images. Since a plurality of growth index images I are panoramicly synthesized, a growth index composite image Is synthesized with higher accuracy can be generated.
  • FIG. 16 is a diagram for explaining a decrease in synthesis accuracy due to low contrast.
  • FIG. 16A shows an example of an NDVI image
  • FIG. 16B shows an example of a visible image
  • FIG. 16C shows an example of a near-infrared image.
  • the NDVI image shown in FIG. 16A is an image obtained based on the visible image shown in FIG. 16B and the near-infrared image shown in FIG. 16C.
  • FIG. 17 is a diagram for explaining a decrease in synthesis accuracy due to exposure variations.
  • 17A and 17B show an example of an NDVI image
  • FIG. 17C shows an example of an image when the sun is reflected in a paddy field
  • FIG. 17D shows an example of an image when the sun is underexposed
  • FIG. FIG. 17F shows an image when the image shown in FIG. 17D and the image shown in FIG. 17E are combined.
  • the growth index image I has a higher contrast than the visible image or the near-infrared image, for example, as shown in FIG. Is easy to extract. Therefore, when searching for corresponding points, it is easy to extract feature points of the base image, and it is easy to search for corresponding points of the reference image.
  • the growth index image I is generated based on a plurality of images having different wavelength bands, the growth index image I is exposed when compared with a visible image or a near-infrared image, for example, as shown in FIGS. 17A and 17B. There is little difference.
  • the plant growth index measurement system S, the plant growth index measurement device P, the plant growth index measurement method, and the plant growth index measurement program are synthesized with higher accuracy by being based on the plurality of growth index images I in the panorama synthesis process.
  • the growth index composite image Is can be generated.
  • the image transformation matrix M is obtained based on the feature points and the corresponding points, latitude X N of the plurality of growth index image I N respectively, longitude Y N, altitude Z N and based on the orientation theta N, the image transformation matrix M for performing affine transformation may be determined. That is, the growth index image I is visible when a first imaging unit (for example, the growth index image is an NDVI image) that captures the first optical image of the field in the first wavelength band from above (for example, above the field). A second image pickup unit that picks up a first image generated by the image pickup unit) and a second optical image of the field in a second wavelength band different from the first wavelength band from above (the sky) of the field.
  • a first imaging unit for example, the growth index image is an NDVI image
  • a second image pickup unit that picks up a first image generated by the image pickup unit) and a second optical image of the field in a second wavelength band different from the first wavelength band from above (the sky) of the field.
  • the plurality of growth index image I N respectively generates the growth index image I N
  • the first and second imaging units at the time of capturing the first and second images used at the time are provided with latitude X N , longitude Y N , altitude Z N and direction ⁇ N
  • the image composition unit includes the plurality of images Growing finger For each target image I N, by performing pixel position of the growth index image I N, latitude X N with the corresponding growth index image I N, longitude Y N, the affine transformation based on high Z N and orientation theta N,
  • the panorama composition processing may be performed by converting the pixel position in the growth index composition image Is.
  • FIG. 18 is a diagram for explaining panorama synthesis processing in the first modification.
  • the upper part of FIG. 18 shows the respective growth index image I N, the lower part of FIG. 18 shows the coordinate system of growth index composite image Is.
  • the affine transformation is a transformation that combines linear transformation and translation (translation), and is expressed by the above-described formula 1 or the following formula 2 (for example, “What is affine transformation”, [online] [Search May 19, 2016], Internet (URL: http // d.hatena.ne.jp / Zellij / 20120523 / p1)).
  • Equation 2 the matrix of 2 rows and 2 columns composed of the components a, b, c and d of 1 row and 1 column, 1 row and 2 columns, 2 rows and 1 column, and 2 rows and 2 columns is
  • the transformation matrix R ( ⁇ ) is represented, and the column vector (t x , t y ) in the second term on the right side of Equation 2 represents a translation (translation) transformation matrix.
  • the rotation matrix R ( ⁇ ) is multiplied by a scaling factor corresponding to the altitude at the time of imaging so that the altitude at the time of imaging is equal to the reference altitude.
  • the component a is a value obtained by multiplying cos ⁇ by the scaling coefficient.
  • t x in the transformation matrix of translation (translation) t y is the distance d [m] from the origin (0,0) in the coordinate system of the growth index composite image Is, horizontal (x 'axis Is obtained from latitude X and longitude Y, and is converted into the number of pixels, and is given by the following formula 4 (4-1, 4-2).
  • pix1m is a coefficient for converting a meter unit into a unit of the number of pixels, and is obtained by actual measurement, for example. Further, the calculation method of the distance d [m] and the angle ⁇ [rad] is known and is given by the following equation 5 (5-1, 5-2) (for example, “distance between two points and azimuth”) [Online], [May 22, 2016 search], Internet (URL: http://keisan.casio.jp/exec/system/1257670779)).
  • X1 and Y1 are the latitude and longitude of point A, respectively
  • X2 and Y2 are the latitude and longitude of point B, respectively
  • the point A or the point B is the origin (0, 0) in the coordinate system of the growth index composite image Is.
  • the image composition unit may perform the panorama composition processing based on a predetermined geometric mark derived from the cultivated land or the crop growing on the cultivated land. That is, the image composition unit performs a mark extraction unit that performs a mark extraction process for extracting the predetermined mark from the growth index image I, and a predetermined reference set in advance based on the extracted predetermined mark.
  • a transformation matrix computing unit for performing transformation matrix computation processing for obtaining an image transformation matrix for rotating and translating the growth index image I, and image transformation of the growth index image I using the image transformation matrix obtained by the transformation matrix computation unit.
  • An image conversion unit that performs image conversion processing, and a combining unit that performs combining processing for combining the growth index image I image-converted by the image conversion unit, until all the plurality of growth index images I N are combined.
  • the mark extraction unit performs the mark extraction process
  • the conversion matrix calculation unit performs the conversion matrix calculation process
  • the image conversion unit performs the image conversion process
  • the panorama combining process may be performed by performing the combining process by a unit.
  • Said predetermined criterion it is sufficient in common to said plurality of growth index image I N all, is set to an appropriate value as desired.
  • the predetermined mark is, for example, a ridge in the cultivated land.
  • a paddy field is a land between paddy fields and a paddy field includes a road and a waterway.
  • the predetermined mark is a strip of rice growing on the cultivated land, or an interval between the strips of rice.
  • the growth index value corresponding to the predetermined mark is generally a small value (low value) unlike the growth index value corresponding to the crop because the reflectance is different from that of the crop such as soil or weed. .
  • the predetermined mark is relatively conspicuous in the growth index image I and is easy to extract. Therefore, such a plant growth index measuring apparatus P performs the panorama synthesizing process based on the predetermined mark, so that the panorama synthesizing process is facilitated.
  • FIG. 19 is a diagram for explaining the panorama composition processing in the second modification.
  • FIG. 19A shows an example of the growth index image I
  • FIG. 19B shows the edge detection result of detecting an edge from the image of the region located in the center in FIG. 19A
  • FIG. 19C shows the image shown in FIG. The straight line detected by the Hough transform of the straight line is shown.
  • the predetermined mark is extracted by extracting a pixel having a pixel value equal to or less than a preset threshold value from the growth index image I as shown in FIGS. ⁇ RP is detected as Based on this ⁇ RP, a translation conversion matrix for translating the growth index image I with respect to a predetermined reference set in advance is obtained.
  • the straight Hough transform the strips of rice growing in paddy fields and the space between the strips of rice are detected, and the rotation transformation matrix is obtained from the angle of these inclinations.
  • a so-called edge filter for detecting an edge is applied to the growth index image I to detect the edge. For example, when an edge is detected for the growth index image I shown in FIG. 19A, the edge shown in FIG. 19B is detected.
  • a straight line is detected from each image of this edge as a line of rice or between the lines of rice by the Hough transform of the line. For example, as shown in FIG. 19C, a plurality of straight lines are detected from the edge image shown in FIG. 19B.
  • the inclination angle of each straight line is averaged, and the difference between the average inclination angle and a predetermined reference angle set in advance is used as a rotation amount, and a rotation conversion matrix is obtained. It is done.
  • the image conversion matrix M for rotating and translating the growth index image I is determined from the translation conversion matrix and the rotation conversion matrix for the calculated growth index image I.
  • the growth index image I is image-converted with the obtained image conversion matrix M, and the growth index image I after the image conversion is arranged at the arrangement position in the coordinate system on the growth index composite image Is.
  • the image is added to another adjacent growth index image I and synthesized.
  • the plant growth index measurement device P acquires a plurality of growth index images from the image generation device M via the IF unit 71.
  • the plant growth index measurement device P and the image generation device M may be configured integrally. That is, in the above-described fourth embodiment, the image acquisition unit is the IF unit 71 as an example, but the image acquisition unit is configured to capture the first optical image in the first wavelength band.
  • a first imaging unit that generates one image for example, a visible imaging unit when the growth index image is an NDVI image
  • a second optical image in a second wavelength band different from the first wavelength band A first imaging unit that generates two images (for example, an infrared imaging unit in the case where the growth index image is an NDVI image) and the first and second imaging units, respectively, in the same region of the field.
  • a growth index image generation unit that generates the growth index image based on the second image, and each of the first and second imaging units includes a plurality of first and second images so as to include different regions of the field. 2 strokes
  • the growth index image generating unit may generate a plurality of growth index image based on the plurality of first and second images.
  • the growth index image I may be generated by the plant growth index measuring device P. That is, the image acquisition unit is generated from an external device so as to include different regions of the field, and an interface unit that acquires a plurality of first and second images in different first and second wavelength bands; A growth index image generation unit that generates the plurality of growth index images based on the plurality of first and second images acquired by the interface unit may be provided.
  • the image generation apparatus M includes the visible imaging unit 65 that generates a visible image and the infrared imaging unit 66 that generates an infrared image.
  • Japanese Patent No. 5168353 is disclosed.
  • one imaging unit that generates a visible image and an infrared image may be provided.
  • One imaging unit that generates such a visible image and an infrared image includes a single third imaging optical system that forms an optical image of a measurement target on a predetermined third imaging plane, An optical system having a single third image sensor that converts the optical image to be measured into an electrical signal, and an R that is disposed on the third image sensor. / G / B / Ir or W / Y / R / Ir.
  • the R is a filter that mainly transmits red light
  • the G is a filter that mainly transmits green light
  • the B is a filter that mainly transmits blue light
  • the Ir is A filter that mainly transmits infrared light.
  • the W is a filter that mainly transmits white light
  • the Y is a filter that mainly transmits yellow light.
  • the translation amount when the image generation device M is moving at a constant linear velocity, the translation amount varies little, so the translation amount is set to a predetermined fixed value set in advance. It does not have to be obtained from the image.
  • a plant growth index measuring apparatus is a plant growth index measuring apparatus that generates an image obtained by imaging a field to be measured from above for obtaining a growth index that represents the degree of growth in a plant, Generated by the image generation unit to generate an image at a time interval, an image storage unit for storing the image, and an image storage unit to store only a significant image for obtaining the growth index. Generated by the image generation unit only when it is determined that the image determination unit stores the image in the image storage unit. And an image storage control unit that stores the processed image in the image storage unit.
  • Such a plant growth index measuring device is an image determined to be stored in the image storage unit as a significant image for obtaining the growth index by the image determination unit among the images generated by the image generation unit. Since only the image storage unit stores the image, the storage capacity of the image storage unit can be further reduced, and the decrease in efficiency in the composition process can be further suppressed.
  • an image frequency processing unit that obtains a frequency according to a line or a line of a crop growing on the field based on the image generated by the image generation unit. Further, the image determination unit performs the determination process based on the frequency obtained by the image frequency processing unit.
  • the image determination unit as the determination process, the frequency obtained by the image frequency processing unit is reflected in an image captured at a predetermined imaging altitude or the interval It is determined whether or not the frequency corresponding to the frequency (imaging altitude corresponding frequency) matches within a predetermined first margin range, and the case where the frequency matches is determined to be stored in the image storage unit.
  • the image frequency processing unit detects an edge from the image generated by the image generation unit, and generates a plurality of straight lines by straight line Hough transform from the image from which the edge is detected. It calculates
  • Such a plant growth index measuring apparatus performs the determination process based on the frequency corresponding to the line or the interval of the crop growing on the field, which is obtained based on the image generated by the image generation unit. Therefore, the determination process can be performed on the image generated by the image generation unit.
  • the above-described plant growth index measurement apparatus further includes a growth index processing unit that obtains the growth index based on the image generated by the image generation unit, and the image determination unit includes the growth index.
  • the said determination process is performed based on the growth parameter
  • the image generation unit includes a visible imaging unit that generates a visible image and an infrared imaging unit that generates a near-infrared image
  • the growth index processing unit includes: Based on the visible image and the near-infrared image generated by the visible imaging unit and the infrared imaging unit of the image generation unit, respectively, obtain an NDVI image having a pixel value representing NDVI corresponding to an example of the growth index, In the NDVI image obtained by the growth index processing unit as the determination process, the image determination unit determines whether or not the total number of pixels having a pixel value equal to or less than a predetermined first threshold is equal to or greater than a predetermined second threshold. It is determined, and the case where it is not greater than or equal to the second threshold is determined to be stored in the image storage unit.
  • Such a plant growth index measuring apparatus performs the determination process based on the growth index obtained based on the image generated by the image generation unit, the image generated by the image generation unit is used.
  • the determination process can be performed.
  • the sun capture detection unit obtains the size (width, the number of pixels) of a pixel region in which a pixel value is saturated from the image generated by the image generation unit, The pixel area having the obtained size equal to or larger than a predetermined third threshold is detected as the sun reflection, and the image determination unit detects the case where the sun reflection detection unit does not detect the sun reflection. It determines with the case where it memorize
  • Such a plant growth index measuring device performs the determination process based on the detection result of the solar capture detection unit based on the image generated by the image generation unit, the image generated by the image generation unit The determination process can be performed.
  • the own machine state measuring part which measures at least one of the altitude, direction, speed and acceleration of the own machine, the image generating part, and the image storing part
  • the image determination unit, the image storage control unit, and the own aircraft state measurement unit and further includes an aircraft flying in the atmosphere, wherein the image determination unit is based on the measurement result of the own aircraft state measurement unit
  • the determination process is performed.
  • the own state measuring unit includes an altitude measuring unit that measures altitude, and the image determining unit is measured by the own state measuring unit as the determination process.
  • the own machine state measurement unit includes an azimuth measurement unit that measures an azimuth
  • the image determination unit has a predetermined direction measured by the own machine state measurement unit.
  • the predetermined second margin range for example, when generating the image while reciprocating in ninety-nine folds in the direction along the long side in the contour of the field
  • the own machine state measuring unit includes a speed measuring unit that measures a speed, and the image determining unit is measured by the own machine state measuring unit as the determination process. It is determined whether or not the speed is equal to or higher than a predetermined fifth threshold, and the case where the speed is equal to or higher than the fifth threshold is determined to be stored in the image storage unit.
  • the own machine state measuring unit includes an acceleration measuring unit that measures acceleration, and the image determining unit is measured by the own machine state measuring unit as the determination process.
  • the own machine state measuring unit measures a plurality of the altitude, azimuth, speed, and acceleration of the own machine
  • the image determining unit is the own machine state measuring unit. Whether or not to perform the determination process based on the measurement results for each of the plurality of measurement results, and store the result in the image storage unit by ANDing the determination process results of the determination processes for each of the plurality of measurement results Determine.
  • the plant growth index measuring device can reduce the memory of images generated while the own device is rising or descending. In the case where the determination process is performed based on the orientation of the own device, the plant growth index measuring device can reduce the memory of the image generated during the turning of the own device.
  • the plant growth index measuring device can reduce the storage of images generated during the hovering of its own device.
  • the determination processing is performed based on the acceleration of the own device, the plant growth index measuring device can detect the hovering by the acceleration caused by the vibration during the hovering of the own device, so that the image generated during the hovering is stored. Can be reduced.
  • the apparatus further includes a position measuring unit that measures the position of the own device, and a field region information storage unit that stores field region information representing a location region of the field.
  • the image determination unit performs the determination process based on the position of the own device measured by the position measurement unit and the field area information stored in the field area information storage unit.
  • the image determination unit as the determination process, the field area information in which the position of the own device measured by the position measurement unit is stored in the field area information storage unit It is determined whether it is in the location area of the field represented by the above, and the case where it is in the location area of the field is determined to be stored in the image storage unit.
  • Such a plant growth index measuring apparatus can reliably store only an image generated by capturing an image above the field in the image storage unit.
  • the image storage control unit is further generated by the image generation unit when it is determined by the image determination unit that it is not stored in the image storage unit.
  • Predetermined information indicating the image that is determined not to be stored in the image storage unit by the image determination unit is stored in the image storage unit as non-stored image information.
  • the above-described plant growth index measuring apparatus further includes a position measuring unit that measures the position of the own device, wherein the image storage control unit is an image generated by the image generating unit, and the image determining unit The position of the own device measured by the position measurement unit when the image generation unit generates the image determined not to be stored in the image storage unit is stored in the image storage unit as the non-memory image information.
  • Such a plant growth index measuring apparatus stores non-stored image information of an image determined not to be stored in the image storage unit, only an image determined not to be stored in the image storage unit is recaptured later. Can do.
  • a plant growth index measurement method is a plant growth index measurement method for obtaining a growth index representing a degree of growth in a plant based on an image obtained by imaging a field to be measured from above, for a predetermined time.
  • An image generation step for generating images at intervals, and whether the image generated in the image generation step is stored in the image storage unit so that only significant images are stored in the image storage unit for obtaining the growth index.
  • An image determination step for performing a determination process for determining whether or not, and an image for storing the image generated in the image generation step in the image storage unit only when it is determined in the image determination step to be stored in the image storage unit A storage control step.
  • Such a plant growth index measurement method is an image determined to be stored in the image storage unit as a significant image for obtaining the growth index in the image determination step among the images generated in the image generation step. Since only the image storage unit stores the image, the storage capacity of the image storage unit can be further reduced, and the decrease in efficiency in the composition process can be further suppressed.
  • a plant growth index measurement program is a plant growth index measurement program for obtaining a growth index representing a degree of growth in a plant based on a plurality of images obtained by imaging a field to be measured from above at a predetermined time interval.
  • a plurality of images captured at the predetermined time interval are generated in the image generation step so as to store only significant images in the image storage unit for obtaining the growth index.
  • An image determination step for performing a determination process for determining whether or not to store an image in the image storage unit, and the image generation step generated only when it is determined in the image determination step that the image is stored in the image storage unit
  • a plant growth index measurement program for executing an image storage control step of storing an image in the image storage unit.
  • Such a plant growth index measurement program is determined to be stored in the image storage unit as a significant image for obtaining the growth index in the image determination step among the plurality of images captured at the predetermined time interval. Since only the stored image is stored in the image storage unit, the storage capacity of the image storage unit can be further reduced, and the reduction in efficiency in the composition process can be further suppressed.
  • a plant growth index measuring apparatus is a plurality of growth index images composed of pixels of image values representing a growth index representing a degree of growth in a plant, and is generated so as to include different regions of a field.
  • An image acquisition unit that acquires the plurality of growth index images that are different from each other and a plurality of growth index images that are obtained by the image acquisition unit are subjected to panoramic synthesis processing to generate one growth index composite image
  • An image composition unit is a first imaging unit that generates a first image by capturing a first optical image in the first wavelength band, and the first wavelength band.
  • a second imaging unit that generates a second image by capturing a second optical image in a different second wavelength band, and a first in the same region of the field generated by each of the first and second imaging units.
  • a growth index image generation unit that generates the growth index image based on the second image, and each of the first and second imaging units includes a plurality of first and second images so as to include different regions of the field. Two images are generated, and the growth index image generation unit generates the plurality of growth index images based on the plurality of first and second images.
  • the image acquisition unit is an interface unit that acquires the plurality of growth index images from an external device.
  • the image acquisition unit is generated from an external device so as to include different regions of the field, and a plurality of first and second wavelength bands in different first and second wavelength bands are used.
  • An interface unit that acquires a second image, and a growth index image generation unit that generates the plurality of growth index images based on the plurality of first and second images acquired by the interface unit.
  • the image synthesis unit selects two A-th and B-th images adjacent to each other in the plurality of growth index images, and the selected A-th and B-th images.
  • the B image is continuous with the A image.
  • the transformation matrix computing unit for performing transformation matrix computation processing for obtaining an image transformation matrix for rotating and translating the Bth image and the image transformation matrix obtained by the transformation matrix computing unit are used for image transformation of the Bth image.
  • the growth index image is generated by a first imaging unit that captures a first optical image of a field in a first wavelength band from above (for example, above the field).
  • Each of the plurality of growth index images is generated based on the latitude, longitude, altitude of the first and second imaging units at the time of imaging the first and second images used when generating the growth index image.
  • the image compositing unit for each of the plurality of growth index images, sets the pixel position of the growth index image to an offset based on the latitude, longitude, altitude, and direction included in the growth index image.
  • the panorama stitch process by converting the pixel position in the growth index composite image.
  • the growth index image Since the present inventor rarely grows individual crops in a field uniformly, the growth index image has a higher contrast than a visible image or a near-infrared image, and it is easy to extract a joining reference point. I found. And since this inventor produced
  • the image synthesis unit performs the panorama synthesis process based on a predetermined geometric mark derived from a cultivated land or a crop growing on the cultivated land.
  • the predetermined mark is a ridge in the cultivated land.
  • a paddy field is a land between paddy fields and a paddy field includes a road and a waterway.
  • the predetermined mark is a strip of rice growing on the cultivated land or between the strips of rice.
  • the image synthesis unit is based on a mark extraction unit that performs a mark extraction process for extracting the predetermined mark from the growth index image, and the extracted predetermined mark.
  • a transformation matrix computation unit that performs transformation matrix computation processing for obtaining an image transformation matrix that rotates and translates the growth index image with respect to a predetermined reference set in advance, and an image transformation matrix obtained by the transformation matrix computation unit
  • An image conversion unit that performs image conversion processing for image conversion of the growth index image; and a combining unit that performs combining processing for combining the growth index image converted by the image conversion unit.
  • the conversion matrix calculation unit performs the conversion matrix calculation process
  • the image conversion unit performs the image conversion process. It performs conversion processing to the panorama stitching process by performing the synthesis processing by the combining unit.
  • the predetermined mark Since the value of the growth index corresponding to the predetermined mark is different from the value of the growth index corresponding to the crop, it is generally a small value (low value). Therefore, the predetermined mark is relatively conspicuous in the growth index image. Easy to extract. For this reason, since the said plant growth parameter
  • a plant growth index measurement method is a plurality of growth index images composed of pixels of image values representing a growth index representing the degree of growth in a plant, and includes different regions of a field.
  • An image acquisition step for acquiring the plurality of growth index images different from each other and a plurality of growth index images obtained in the image acquisition step are subjected to panorama synthesis processing to generate a single growth index composite image.
  • An image composition step to be generated is provided.
  • a plant growth index measurement program is a plurality of growth index images composed of pixels of image values representing a growth index representing the degree of growth in a plant on a computer, and different regions of a field.
  • An image acquisition step of acquiring the plurality of growth index images different from each other generated so as to include a plurality of growth index images obtained in the image acquisition step, and a single growth index by panoramic synthesis processing This is a program for executing an image composition process for generating a composite image.
  • a plant growth index measurement system is a plant growth index measurement system comprising an image generation device and a plant growth index measurement device, wherein the image generation device represents a growth index representing a degree of growth in a plant.
  • a plurality of growth index images composed of pixels of image values representing the different growth index images so as to include different regions of the field, and the plant growth index measurement device, These are any of the above-mentioned plant growth index measuring devices.
  • Such a plant growth index measurement system uses any one of the above-described plant growth index measurement devices, it can generate a growth index composite image synthesized with higher accuracy.
  • index measuring apparatus which calculates

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Forests & Forestry (AREA)
  • Mathematical Physics (AREA)
  • Ecology (AREA)
  • Botany (AREA)
  • Health & Medical Sciences (AREA)
  • Environmental Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像を生成する植物生育指標測定装置、該方法および該プログラムである。本発明は、所定の時間間隔で画像を生成し、前記生育指標を求めるために有意な画像のみを画像記憶部に記憶するように、前記生成された画像を画像記憶部に記憶するか否かを判定し、その結果、前記画像記憶部に記憶すると判定された場合のみ、前記生成された画像を画像記憶部に記憶する。

Description

植物生育指標測定装置、該方法および該プログラム
 本発明は、植物における生育の度合いを表す生育指標を求める植物生育指標測定装置、植物生育指標測定方法および植物生育指標測定プログラムに関する。
 農業では、高品質および安定多収穫な農作物の植物を育てるために、例えば追肥時期や追肥量等の施肥管理を適切に実施する必要がある。そのために、現状の植物の状態が判定される。この判定には、例えばNDVI(Normalized Difference Vegetation Index、正規化植生指標)、DVI(Difference Vegetation Index、差植生指標)およびRVI(Ratio Vegetation Index、比植生指標)等の、植物における生育の度合いを表す生育指標が用いられる。このような生育指標は、圃場を、互いに異なる波長帯域で撮像した複数の画像に基づいて求められる。ここで、圃場は、通常、前記画像を生成するカメラの画角に対して広いため、圃場全体を1回の撮像による1枚の画像で写すことが難しい。このため、例えば、特許文献1では、互いに隣り合う圃場をオーバーラップして複数の画像を取得し、同一位置の圃場で色を補正し、この補正した複数の画像を1枚に合成し、これによって圃場全体の1枚の画像を得て、圃場の画像のRGB値から窒素相対分布を求める作物の生育診断方法が提案されている(例えば特許文献1の図11)。
 ところで、作物の生育状況を適切に把握するためには、適度な画像解像度の画像で、生育指標を求める必要がある。例えば、640ドット×480ドットであるVGAクラスの画像解像度を持つ撮像装置で高さ20mから圃場を撮像することが好ましい。この場合、1回の撮像による1枚の画像には、16.6m×12.4mの範囲で圃場が写り込み、複数の画像を1枚の画像に合成する際に、互いに隣接する画像間で、圃場の同じ領域を写し込んだ重複部分が存在していることが好ましいため、例えば、30m×100mの圃場全体の生育指標を求めるために、約40枚の画像が必要となり、したがって、その画像の記録(保存、記憶)に比較的大容量の記憶装置が必要となる。
 一方、圃場の個々の領域それぞれを写した複数の画像を得るために、前記撮像装置を搭載した、例えばヘリコプター等の航空機を圃場上空で例えば九十九折りで往復移動させる必要がある。前記撮像装置が所定の時間間隔で自動的に撮像および記録する場合、折り返し場所の画像は、圃場の画像ではないため、生育指標の演算には、不必要な画像となり、したがって、無駄な記録が生じてしまう。また、前記航空機を無線で遠隔操縦する場合、その未熟な操縦技術によっても、無駄な記録が生じてしまう虞がある。
 そして、このような生育指標の演算には不必要な画像が複数の画像に含まれると、これら複数の画像を合成する際に、無駄な合成の処理が生じ、あるいは、不必要な画像を除去する処理が必要となり、したがって、合成の処理の効率が低下してしまう。
特開2003-339238号公報
 本発明は、上述の事情に鑑みて為された発明であり、その目的は、記憶装置の記憶容量をより低減でき、合成の処理における効率の低下をより抑制できる植物生育指標測定装置および植物生育指標測定方法、植物生育指標測定プログラムを提供することである。
 本発明は、植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像を生成する植物生育指標測定装置、該方法および該プログラムである。本発明は、所定の時間間隔で画像を生成し、前記生育指標を求めるために有意な画像のみを画像記憶部に記憶するように、前記生成された画像を画像記憶部に記憶するか否かを判定し、その結果、前記画像記憶部に記憶すると判定された場合のみ、前記生成された画像を画像記憶部に記憶する。
 上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。
第1ないし第3実施形態にかかる植物生育指標測定装置の構成を示す図である。 圃場に生育する作物の条または条間に応じた周波数に基づく画像記憶の判定処理を説明するための図である。 圃場の生育指標に基づく画像記憶の判定処理を説明するための図である。 太陽の写り込みの検出に基づく画像記憶の判定処理を説明するための図である。 第1実施形態における植物生育指標測定装置の動作を示すフローチャートである。 第1実施形態における植物生育指標測定装置において、その飛行軌跡と画像記憶位置との関係を説明するための図である。 図6Aに示す飛行軌跡において、植物生育指標測定装置によって撮像され生成された画像を説明するための図である。 第2実施形態における植物生育指標測定装置の動作を示すフローチャートである。 第3実施形態における植物生育指標測定装置の動作を示すフローチャートである。 第4実施形態における植物生育指標測定システムの構成を示す図である。 前記植物生育指標測定システムに用いられる画像生成装置の動作を示すフローチャートである。 前記植物生育指標測定システムに用いられる植物生育指標測定装置の動作を示すフローチャートである。 図12に示すフローチャートにおける対応点探索の処理を説明するための図である。 図12に示すフローチャートにおける画像変換の処理を説明するための図である。 NDVI合成画像の一例を示す図である。 低コントラストによる合成精度の低下を説明するための図である。 露出のばらつきによる合成精度の低下を説明するための図である。 第1変形形態におけるパノラマ合成処理を説明するための図である。 第2変形形態におけるパノラマ合成処理を説明するための図である。
 以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
 実施形態における植物生育指標測定装置は、植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像、を生成する植物生育指標測定装置であって、所定の時間間隔で画像を生成する画像生成部と、前記画像を記憶する画像記憶部と、前記生育指標を求めるために有意な画像のみを前記画像記憶部に記憶するように、前記画像生成部で生成された画像を前記画像記憶部に記憶するか否かを判定する判定処理を行う画像判定部と、前記画像判定部で前記画像記憶部に記憶すると判定された場合のみ、前記画像生成部で生成された画像を前記画像記憶部に記憶する画像記憶制御部とを備えるものである。以下、このような植物生育指標測定装置について、第1ないし第3実施形態で、より具体的に説明する。
 (第1実施形態)
 図1は、第1ないし第3実施形態にかかる植物生育指標測定装置の構成を示す図である。なお、図1は、第1ないし第3実施形態における各植物生育指標測定装置Ma、Mb、Mcの各構成を示し、図1において、添え字aは、その構成が第1実施形態における植物生育指標測定装置Maに関する構成であることを示し、添え字bは、その構成が第2実施形態における植物生育指標測定装置Mbに関する構成であることを示し、そして、添え字cは、その構成が第3実施形態における植物生育指標測定装置Mcに関する構成であることを示す。図2は、圃場に生育する作物の条または条間に応じた周波数に基づく画像記憶の判定処理を説明するための図である。図2Aは、一例として、植物生育指標測定装置Maが比較的低い高度で圃場を撮像した画像を示し、図2Bは、一例として、植物生育指標測定装置Maが比較的高い高度で圃場を撮像した画像を示す。図3は、圃場の生育指標に基づく画像記憶の判定処理を説明するための図である。図3Aは、一例として、圃場の可視画像を示し、図3Bは、そのNDVI画像を示す。図3Cは、一例として、畦等の圃場外の可視画像を示し、図3Dは、そのNDVI画像を示す。図4は、太陽の写り込みの検出に基づく画像記憶の判定処理を説明するための図である。
 第1実施形態における植物生育指標測定装置Maは、例えば、図1に示すように、航空機1と、自機状態測定部2aと、制御処理部3aと、記憶部4aと、画像生成部5と、インターフェース部(IF部)6とを備える。
 航空機1は、大気中を飛行する装置であり、例えば、気球、飛行船、飛行機、ヘリコプタおよびマルチコプタ等である。航空機1は、有人機であって良いが、好ましくは、無線操縦飛行(誘導飛行)または自律飛行による無人機(ドローン)である。航空機1は、本実施形態では、制御処理部3aに接続され、誘導飛行または自律飛行による制御処理部3aの制御に従って飛行する。
 自機状態測定部2aは、制御処理部3aに接続され、制御処理部3aの制御に従って自機の飛行状態を測定する装置である。第1実施形態では、自機状態測定部2aは、自機の位置(緯度X、経度Y)および高度Zを測定する。このために、自機状態測定部2aは、地球上における現在の自機の位置(緯度X、経度Y)および高度Zを測定する位置高度測定部21を備える。位置高度測定部21は、例えば、衛星測位システムのGPS(Global Positioning System)を備えて構成される。なお、GPSは、DGSP(Differential GSP)等の誤差を補正する補正機能を持ったGPSであっても良い。位置高度測定部21は、その測定結果(自機の測定位置および測定高度(緯度X、経度Y、高度Z)を制御処理部3aへ出力する。前記自機の測定位置および測定高度は、後述のように生成される複数の画像、に基づいて求められる複数の生育指標画像、を合成して1枚の生育指標合成画像を生成する際に用いられ、前記複数の生育指標画像それぞれの位置およびその撮影高度を示す。生育指標画像は、生育指標を表す画素値を持つ画素で構成された画像である。
 画像生成部5は、制御処理部3aに接続され、制御処理部3aの制御に従って、植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像を、所定の時間間隔で生成する装置である。画像生成部5は、その生成した画像を制御処理部3aへ出力する。前記生育指標は、例えば、NDVI(Normalized Difference Vegetation Index、正規化植生指標、NDVI=(I-R)/(I+R))、RVI(Ratio Vegetation Index、比植生指標、RVI=Ri’/Rv)、DVI(Difference Vegetation Index、差植生指標、DVI=Ri’-Rv)、TVI(Transformed Vegetation Index、TVI=NDVI+0.5)0.5)、および、IPVI(Infrared Percentage Vegetation Index、IPVI=Ri’/(Ri’+Rv)=(NDVI+1)/2)等である。画像生成部5は、これら各種の生育指標のうち、採用された生育指標に応じた適宜な波長帯域の画像を生成する。本実施形態では、一例として、前記生育指標は、NDVIである。このため、画像生成部5は、前記画像として、可視画像および近赤外画像を生成する。より具体的には、画像生成部5は、可視撮像部51と、赤外撮像部52とを備える。
 可視撮像部51は、可視光の画像(可視画像)を生成する装置である。より具体的には、本実施形態では、NDVIを求めるために、可視撮像部51は、例えば、波長650nmを中心波長とする比較的狭帯域で光を透過する第1バンドパスフィルタ、前記第1バンドパスフィルタを透過した測定対象の可視光の光学像を所定の第1結像面上に結像する第1結像光学系、前記第1結像面に受光面を一致させて配置され、前記測定対象の可視光の光学像を電気的な信号に変換する第1イメージセンサ、前記第1イメージセンサの出力に対し公知の画像処理を施して可視画像を生成する第1デジタルシグナルプロセッサ(DSP)等を備えて構成される、いわゆるカメラ等である。可視撮像部51は、この撮像して生成した可視画像を制御処理部3aへ出力する。
 赤外撮像部52は、赤外光(例えば近赤外光)の画像(赤外画像(近赤外画像))を生成する装置である。より具体的には、本実施形態では、NDVIを求めるために、赤外撮像部52は、例えば、波長800nmを中心波長とする比較的狭帯域で光を透過する第2バンドパスフィルタ、前記第2バンドパスフィルタを透過した測定対象の赤外光の光学像を所定の第2結像面上に結像する第2結像光学系、前記第2結像面に受光面を一致させて配置され、前記測定対象の赤外光の光学像を電気的な信号に変換する第2イメージセンサ、前記第2イメージセンサの出力に対し公知の画像処理を施して近赤外画像を生成する第2DSP等を備えて構成される、いわゆる赤外カメラ等である。赤外撮像部52は、この撮像して生成した近赤外画像を制御処理部3aへ出力する。
 IF部6は、制御処理部3aに接続され、制御処理部3aの制御に従って、例えば外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるRS232Cのインターフェース回路、Bluetooth(登録商標)規格を用いたインターフェース回路、IrDA(Infrared Data Asscoiation)規格等の赤外線通信を行うインターフェース回路、および、USB(Universal Serial Bus)規格を用いたインターフェース回路等である。また、IF部6は、有線または無線によって通信する通信カード等であり、例えばイーサネット環境等の通信ネットワークを介して例えば外部機器との間で通信しても良い(イーサネットは登録商標)。
 記憶部4aは、制御処理部3aに接続され、制御処理部3aの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、当該植物生育指標測定装置Maの各部を当該各部の機能に応じて制御する制御プログラムや、画像生成部5で生成された画像に基づいて、前記圃場に生育する作物の条または条間に応じた周波数を求める画像周波数処理プログラムや、画像生成部5で生成された画像に基づいて、生育指標(本実施形態ではNDVI)を求める生育指標処理プログラムや、画像生成部5で生成された画像に基づいて、太陽の写り込みを検出する太陽写込検出プログラムや、生育指標を求めるために有意な画像のみを後述の画像記憶部41に記憶するように、画像生成部5で生成された画像を画像記憶部41に記憶するか否かを判定する判定処理を行う画像判定プログラムや、前記画像判定プログラムで画像記憶部41に記憶すると判定された場合のみ、画像生成部5で生成された画像を画像記憶部41に記憶する画像記憶制御プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、画像生成部5で生成された画像(本実施形態では可視画像および近赤外画像)や、前記判定処理で用いる予め設定された各閾値等の、各プログラムを実行する上で必要なデータ等が含まれる。記憶部4aは、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、記憶部4aは、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部3aのワーキングメモリとなるRAM(Random Access Memory)等を含む。
 記憶部4aは、画像生成部5で生成され、後述の画像判定部35aで記憶すると判定された画像(本実施形態では可視画像および近赤外画像)を記憶する画像記憶部41を機能的に備える。画像記憶部41は、例えば、画像生成部5で画像を生成した回数を表すシリアル番号、画像生成部5で生成され、画像判定部35aで記憶すると判定された画像、および、当該画像を撮像する際に位置高度測定部21で測定された自機の測定位置および測定高度(緯度X、経度Y、高度Z)を互いに対応付けて記憶する。そして、画像生成部5で生成された画像が、画像判定部35aで記憶しないと判定された場合、画像記憶部41は、前記シリアル番号、および、画像生成部5で生成され、画像判定部35aで記憶しないと判定された画像を撮像する際に位置高度測定部21で測定された自機の測定位置および測定高度(緯度X、経度Y、高度Z)を互いに対応付けて記憶する。この場合、前記自機の測定位置および測定高度(緯度X、経度Y、高度Z)は、非記憶画像情報の一例である。前記非記憶画像情報は、画像判定部35aで画像記憶部41に記憶しないと判定された場合に、画像生成部5で生成された画像であって画像判定部35aで画像記憶部41に記憶しないと判定された前記画像を指し示す所定の情報である。なお、非記憶画像情報としての測定高度Zは、省略されても良い。
 制御処理部3aは、植物生育指標測定装置Maの各部を当該各部の機能に応じてそれぞれ制御し、植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像、を生成するための回路である。制御処理部3aは、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部3aは、機能的に、制御部31と、画像周波数処理部32と、生育指標処理部33と、太陽写込検出部34と、画像判定部35aと、画像記憶制御部36とを備える。
 制御部31は、当該植物生育指標測定装置Maの各部を当該各部の機能に応じて制御し、当該植物生育指標測定装置Maの全体制御を司るものである。
 画像周波数処理部32は、画像生成部5で生成された画像に基づいて、圃場に生育する作物の条または条間に応じた周波数を求めるものである。より具体的には、画像周波数処理部32は、エッジを検出するための画像フィルタを用いることによって、画像生成部5で生成された画像からエッジを検出し、このエッジを検出した画像から直線のハフ変換によって複数の直線を前記条または前記条間として求め、この求めた複数の直線の間隔から前記周波数を求める。この周波数を求める際に用いる画像は、可視画像であって良く、近赤外画像であって良く、これら可視画像および近赤外画像に基づいて、生育指標処理部33によって求められた生育指標画像であって良い。画像周波数処理部32は、この求めた周波数を画像判定部35aに通知する。
 例えば、前記圃場が水田である場合、前記作物は、稲であり、前記条は、稲の条である。植物生育指標測定装置Maが比較的低い高度を飛行している場合、圃場の画像は、例えば、図2Aに示す画像となり、その画像に基づいて求められた、作物の条または条間に応じた周波数は、比較的低い周波数となる。一方、植物生育指標測定装置Maが比較的高い高度を飛行している場合、圃場の画像は、例えば、図2Bに示す画像となり、その画像に基づいて求められた、作物の条または条間に応じた周波数は、比較的高い周波数となる。このように、画像生成部5で生成された画像に基づいて求められた、圃場に生育する作物の条または条間に応じた周波数は、植物生育指標測定装置Maの高度(飛行高度)と相関する。上述したように、作物の生育状況を適切に把握するためには、適度な画像解像度の画像で、生育指標を求める必要があり、このため、画像生成部5における可視撮像部51および赤外撮像部52の各画像解像度に応じた適度な高度(例えば15mや20mや25m等)で撮像して生成した画像である必要がある。このため、本実施形態では、画像生成部5で生成された画像に基づいて求められた、圃場に生育する作物の条または条間に応じた周波数から、植物生育指標測定装置Maの高度(飛行高度)が推定され、その高度で生成された画像に対するその記憶の許否が、画像判定部35aによって後述のように判定されている。
 生育指標処理部33は、画像生成部5で生成された画像に基づいて、生育指標を求めるものである。より具体的には、本実施形態では、生育指標処理部33は、画像生成部5における可視撮像部51および赤外撮像部52それぞれで生成された可視画像および近赤外画像から、NDVIを表した画素値を持つNDVI画像を求める。NDVI画像の各画素値は、可視画像の画素値をIとし、近赤外画像の画素値をRとする場合に、NDVI画像の当該画素位置に対応する可視画像および近赤外画像の画素位置同士において、NDVI=(I-R)/(I+R)によって求められる。例えば、NDVI画像の画素位置(0、0)における画素値は、可視画像の画素位置(0、0)における画素値および近赤外画像の画素位置(0、0)における画素値から求められ、また例えば、NDVI画像の画素位置(10、15)における画素値は、可視画像の画素位置(10、15)における画素値および近赤外画像の画素位置(10、15)における画素値から求められる。なお、可視撮像部51と、赤外撮像部52との視差が考慮され、可視画像の画素位置および近赤外画像の画素位置の中の少なくともいずれか一方の画素位置が前記視差を修正するようにシフトされた上で、NDVIが求められても良い。また、可視撮像部51の前記第1結像光学系と赤外撮像部52の前記第2結像光学系は、例えば画角や歪曲収差等の光学特性が互いに同等であるものとする。
 植物生育指標測定装置Maは、生育指標を求めるための画像が必要であるため、上述したように、圃場ではない画像を記録(記憶)しても無駄になる。圃場ではない領域は、例えば畦等であり、圃場ではない前記領域には、畦道があったり、水路があったり、雑草が生育していたりする。これらの反射率は、圃場に生育する作物の反射率と異なり、通常、比較的低い。このため、例えば図3Aに示すように、圃場を写した画像に基づくNDVI画像は、圃場のNDVIが高いので、例えば図3Bに示すように、全面的に高い画素値の画像となる。一方、例えば図3Cに示すように、圃場ではない領域を多く含む画像に基づくNDVI画像は、圃場ではない領域のNDVIが低いので、例えば図3Dに示すように、NDVIが低い領域を多く含む画像となる。このため、本実施形態では、画像生成部5で生成された画像に基づいて求められた生育指標画像(ここではNDVI画像)から、前記画像に圃場ではない領域が多く含まれるか否かが推定され、前記画像に対するその記憶の許否が、画像判定部35aによって後述のように判定されている。
 太陽写込検出部34は、画像生成部5で生成された画像に基づいて、太陽の写り込みを検出するものである。より具体的には、太陽写込検出部34は、例えば、画像生成部5で生成された可視画像から、画素値が飽和した画素の総数を求めることによって、画素値が飽和した画素領域のサイズ(広さ、画素数)を求め、この求めたサイズが、予め設定された所定の閾値(第3閾値)以上である画素領域を前記太陽の写り込みとして検出する。前記第3閾値は、太陽の写り込んだ複数のサンプルの画像から、適宜に設定される。
 植物生育指標測定装置Maは、生育指標を求めるための画像が必要であるため、例えば、図4に示すように、太陽が写り込んだ画像を記録(記憶)しても、太陽が写り込んだ領域の画像では正しい生育指標(本実施形態ではNDVI)が求められないから、無駄になる。このため、本実施形態では、画像生成部5で生成された画像に基づいて太陽の写り込みが検出され、その検出結果に基づいて前記画像に対するその記憶の許否が、画像判定部35aによって後述のように判定されている。
 画像判定部35aは、前記生育指標を求めるために有意な画像のみを画像記憶部41に記憶するように、画像生成部5で生成された画像を画像記憶部41に記憶するか否かを判定する判定処理を行うものである。本実施形態では、画像判定部35aは、画像周波数処理部32で求めた周波数に基づいて、前記判定処理を行う。より具体的には、画像判定部35aは、前記判定処理として、画像周波数処理部32で求めた周波数が、予め設定された所定の撮像高度(飛行高度)で撮像した画像に写る前記条または前記条間に応じた周波数(撮像高度対応周波数)に、予め設定された所定の第1マージンの範囲内で一致するか否かを判定し、前記一致する場合を画像記憶部41に記憶する場合と判定し、前記一致しない場合を画像記憶部41に記憶しない場合と判定する。前記第1マージンは、前記撮像高度の許容範囲(撮像高度の下限値および上限値)に応じて設定される。そして、本実施形態では、画像判定部35aは、生育指標処理部33で求めた生育指標に基づいて、前記判定処理を行う。より具体的には、画像判定部35aは、前記判定処理として、生育指標処理部33で求めたNDVI画像において、予め設定された所定の閾値(第1閾値)以下の画素値を持つ画素の総数が予め設定された所定の閾値(第2閾値)以上であるか否かを判定し、前記第2閾値以上ではない場合を画像記憶部41に記憶する場合と判定し、前記第2閾値以上である場合を画像記憶部41に記憶しない場合と判定する。前記第1閾値は、圃場のNDVIと圃場ではない領域のNDVIとを区別できるように、これらの複数のサンプルから適宜に設定される。前記第2閾値は、全画素数に対する、例えば50%(画像全体に対し圃場ではない領域が50%)や、60%(画像全体に対し圃場ではない領域が60%)や、75%(画像全体に対し圃場ではない領域が75%)等の画素数に設定される。さらに、本実施形態では、画像判定部35aは、太陽写込検出部34の検出結果に基づいて、前記判定処理を行う。より具体的には、画像判定部35aは、太陽写込検出部34が太陽の写り込みを検出しない場合を、画像記憶部41に記憶する場合と判定し、太陽写込検出部34が太陽の写り込みを検出した場合を、画像記憶部41に記憶しない場合と判定する。より詳しくは、画像判定部35aは、画像周波数処理部32で求められた周波数に基づく前記判定処理による第1判定結果、生育指標処理部33で求められたNDVI画像に基づく前記判定処理による第2判定結果、および、太陽写込検出部34の検出結果に基づく前記判定処理による第3判定結果のANDが演算され、第1ないし第3判定結果の全てが画像記憶部41に記憶する場合と判定した場合(前記ANDの演算結果が1である場合)に、最終的に、画像記憶部41に記憶する場合と判定し、第1ないし第3判定結果のうちの少なくともいずれか1つが画像記憶部41に記憶しない場合と判定した場合(前記ANDの演算結果が0である場合)に、最終的に、画像記憶部41に記憶しない場合と判定する。
 画像記憶制御部36は、画像判定部35aで画像記憶部41に記憶すると判定された場合のみ、画像生成部5で生成された画像を画像記憶部41に記憶するものである。そして、画像記憶制御部36は、画像判定部35aで画像記憶部41に記憶しないと判定された場合に、画像生成部5で生成された画像であって画像判定部35aで画像記憶部41に記憶しないと判定された前記画像を指し示す所定の情報を非記憶画像情報として画像記憶部41に記憶する。より具体的には、画像記憶制御部36は、画像判定部35aで画像記憶部41に記憶すると判定された場合、画像生成部5で画像を生成した回数を表すシリアル番号、画像生成部5で生成され、画像判定部35aで記憶すると判定された画像、および、当該画像を撮像する際に位置高度測定部21で測定された自機の測定位置および測定高度(緯度X、経度Y、高度Z)を互いに対応付けて画像記憶部41に記憶し、画像判定部35aで画像記憶部41に記憶しないと判定された場合、前記シリアル番号、および、画像生成部5で生成され、画像判定部35aで記憶しないと判定された画像を撮像する際に位置高度測定部21で測定された自機の測定位置および測定高度(緯度X、経度Y、高度Z)を互いに対応付けて画像記憶部41に記憶する。
 次に、本実施形態の動作について説明する。図5は、第1実施形態における植物生育指標測定装置の動作を示すフローチャートである。図6は、第1実施形態における植物生育指標測定装置において、その飛行軌跡と画像記憶位置との関係を説明するための図である。図6Aは、飛行軌跡を示し、画像生成部5で画像を生成した画像生成位置を符号●で示している。図6Bは、図6Aに示す飛行軌跡において、画像生成部5で生成した画像を記憶した位置を符号●で示している。図7は、図6Aに示す飛行軌跡において、植物生育指標測定装置によって撮像され生成された画像を説明するための図である。図7Aは、一例として、図6Aに符号T1で示す各画像生成位置で生成された各画像のうちの1つの画像を示し、図7Dは、一例として、図6Aに符号T2で示す各画像生成位置で生成された各画像のうちの1つの画像を示し、図7Bおよび図7Cは、一例として、図6Aに符号T3で示す各画像生成位置で生成された各画像のうちの2つの画像を示す。
 このような構成の植物生育指標測定装置Maは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラムの実行によって、制御処理部3aには、制御部31、画像周波数処理部32、生育指標処理部33、太陽写込検出部34、画像判定部35aおよび画像記憶制御部36が機能的に構成される。
 植物生育指標測定装置Maは、誘導飛行または自律飛行による制御処理部3aの制御に従って、測定対象の圃場の周辺領域から飛び立ち、前記圃場の上空に向かう。そして、植物生育指標測定装置Maは、前記圃場の上空を、略一定の所定の高度で、圃場の一方端から他方端へ飛行し、前記他方端に到達すると、前方に所定距離だけ進むように折り返して前記他方端から前記一方端へ飛行し、前記一方端に到達すると、前方に所定距離だけ進むように折り返して前記一方端から前記他方端へ飛行する。植物生育指標測定装置Maは、以下同様に、飛行することによって、測定対象の圃場の上空を九十九折りに飛行する。このような離陸から測定対象の圃場の上空を飛行している間に、植物生育指標測定装置Maは、所定の時間間隔(サンプリング間隔)で、以下の各処理S11~S18を繰り返し実行する。
 すなわち、図5において、まず、植物生育指標測定装置Maは、制御処理部3aの制御部31によって、互いに同期するように、画像生成部5で画像を生成して取得し、自機状態測定部2aで位置および高度を取得する(S11)。画像生成部5では、前記画像として、可視撮像部51で可視画像が生成され、赤外撮像部52で近赤外画像が生成される。自機状態測定部2aでは、位置高度測定部21で自機の位置および測定高度(緯度X、経度Y、高度Z)が測定される。これら可視画像、近赤外画像、ならびに、自機の測定位置および測定高度(緯度X、経度Y、高度Z)は、記憶部4aのワーキングメモリに一旦記憶される。
 次に、植物生育指標測定装置Maは、制御処理部3aの画像周波数処理部32によって、処理S11で取得された画像に基づいて、前記条または条間に応じた周波数を求め、この求めた周波数を記憶部4aのワーキングメモリに一旦記憶する(S12)。
 次に、植物生育指標測定装置Maは、制御処理部3aの生育指標処理部33によって、処理S11で取得された画像に基づいて、生育指標、本実施形態ではNDVI画像を求め、この求めたNDVI画像を記憶部4aのワーキングメモリに一旦記憶する(S13)。
 次に、植物生育指標測定装置Maは、制御処理部3aの太陽写込検出部34によって、処理S11で取得された画像に基づいて、太陽の写り込みを検出し、この検出結果を記憶部4aのワーキングメモリに一旦記憶する(S14)。
 次に、植物生育指標測定装置Maは、制御処理部3aの画像判定部35aによって、処理S11で取得された画像を画像記憶部41に記憶するか否かを判定する判定処理を行う(S15)。この判定の結果、前記画像を画像記憶部41に記憶しないと判定した場合(No)には、植物生育指標測定装置Maは、次に、処理S16を実行した後に、処理S18を実行し、前記画像を画像記憶部41に記憶すると判定した場合(Yes)には、植物生育指標測定装置Maは、次に、処理S17を実行した後に、処理S18を実行する。
 より具体的には、まず、画像判定部35aは、前記判定処理として、処理S12で画像周波数処理部32によって求めた周波数が、前記撮像高度対応周波数に、前記第1マージンの範囲内で一致するか否かを判定し、第1判定結果として、前記一致する場合を画像記憶部41に記憶する場合と判定し、前記一致しない場合を画像記憶部41に記憶しない場合と判定する。次に、画像判定部35aは、前記判定処理として、処理S13で生育指標処理部33によって求めたNDVI画像において、前記第1閾値以下の画素値を持つ画素の総数が前記第2閾値以上であるか否かを判定し、第2判定結果として、前記第2閾値以上ではない場合を画像記憶部41に記憶する場合と判定し、前記第2閾値以上である場合を画像記憶部41に記憶しない場合と判定する。次に、画像判定部35aは、第3判定結果として、太陽写込検出部34の検出結果に応じて、太陽写込検出部34が太陽の写り込みを検出しない場合を、画像記憶部41に記憶する場合と判定し、太陽写込検出部34が太陽の写り込みを検出した場合を、画像記憶部41に記憶しない場合と判定する。そして、画像判定部35aは、これら第1判定結果、第2判定結果および第3判定結果のANDが演算され、第1ないし第3判定結果の全てが画像記憶部41に記憶する場合と判定した場合(前記ANDの演算結果が1である場合)に、最終的に、画像記憶部41に記憶する場合と判定し、第1ないし第3判定結果のうちの少なくともいずれか1つが画像記憶部41に記憶しない場合と判定した場合(前記ANDの演算結果が0である場合)に、最終的に、画像記憶部41に記憶しない場合と判定する。この最終的な判定において、画像記憶部41に記憶しない場合と判定した場合(No)には、植物生育指標測定装置Maは、次に、処理S16を実行した後に、処理S18を実行し、画像記憶部41に記憶する場合と判定した場合(Yes)には、植物生育指標測定装置Maは、次に、処理S17を実行した後に、処理S18を実行する。
 この処理S16では、植物生育指標測定装置Maは、制御処理部3aの画像記憶制御部36によって、処理S11で取得した画像、すなわち、記憶部4aのワーキングメモリに記憶されている画像を破棄(削除、消去)し、シリアル番号に、処理S11で取得した自機の測定位置および測定高度(緯度X、経度Y、高度Z)、すなわち、記憶部4aのワーキングメモリに記憶されている自機の測定位置および測定高度(緯度X、経度Y、高度Z)を対応付けて画像記憶部41に記憶する。
 前記処理S17では、植物生育指標測定装置Maは、制御処理部3aの画像記憶制御部36によって、シリアル番号に、処理S11で取得した画像および自機の測定位置および測定高度(緯度X、経度Y、高度Z)、すなわち、記憶部4aのワーキングメモリに記憶されている画像および自機の測定位置および測定高度(緯度X、経度Y、高度Z)を対応付けて画像記憶部41に記憶する。
 そして、前記処理S18では、植物生育指標測定装置Maは、制御処理部3aによって、終了か否かを判定し、終了である場合には(Yes)、本処理を終了し、終了でない場合には(No)、処理を処理S11に戻す。
 一例では、例えば、図6Aに示す飛行軌跡において、植物生育指標測定装置Maが離陸および上昇中である符号T1では、例えば、図7Aに示す画像が画像生成部5によって生成され、この生成された画像には、圃場ではない領域が多く写り込んでいるため、生育指標処理部33で求められたNDVI画像に基づく前記判定処理による第2判定結果が、画像記憶部41に記憶しない場合となる。したがって、符号T1では、処理S11ないし処理S15の各処理が実行された結果、処理S16が実行され、前記画像が破棄され、画像記憶部41には、非記憶画像情報が記憶される。なお、図示しないが、植物生育指標測定装置Maが降下中および着陸である場合も同様である。
 また例えば、図6Aに示す飛行軌跡において、植物生育指標測定装置Maが圃場の上空を適度な高度で飛行中である符号T3では、例えば、図7Bや図7Cに示す画像が画像生成部5によって生成され、この生成された画像には、圃場が種に写り込んでいるため、前記第1ないし第3判定結果の全てが、画像記憶部41に記憶する場合となる。したがって、符号T3では、処理S11ないし処理S15の各処理が実行された結果、処理S17が実行され、前記画像が画像記憶部41に記憶される。
 また例えば、図6Aに示す飛行軌跡において、植物生育指標測定装置Maが折り返しの飛行中である符号T2では、例えば、図7Dに示す画像が画像生成部5によって生成され、この生成された画像には、圃場ではない領域が多く写り込んでいるため、生育指標処理部33で求められたNDVI画像に基づく前記判定処理による第2判定結果が、画像記憶部41に記憶しない場合となる。したがって、符号T2では、処理S11ないし処理S15の各処理が実行された結果、処理S16が実行され、前記画像が破棄され、画像記憶部41には、非記憶画像情報が記憶される。
 したがって、図6Aに示す飛行軌跡において、画像生成部5は、図6Aに示す各符号●の各画像生成位置それぞれで画像を生成するが、各画像生成位置それぞれで図5に示すフローチャートの各処理が実行される結果、画像記憶部41に記憶される画像は、図6Bに示す各符号●の位置で画像生成部5によって生成された画像のみとなる。図6Aと図6Bとを比較すると分かるように、植物生育指標測定装置Maが、離陸中、上昇中および折り返しの飛行中である場合に、画像生成部5によって生成された画像は、破棄され、画像記憶部41には、非記憶画像情報が記憶され、一方、植物生育指標測定装置Maが、圃場の上空を適度な高度で飛行中である場合に、画像生成部5によって生成された画像は、画像記憶部41に記憶される。この結果、画像記憶部41には、生育指標を求めるために有意な画像のみが記憶され、生育指標を求めるために有意ではない画像は、破棄される。
 そして、このように画像記憶部41に記憶された複数の可視画像および複数の近赤外画像に基づいて複数の生育指標画像が求められ、これら求められた複数の生育指標画像が、測定位置および測定高度(緯度X、経度Y、高度Z)を用いた公知の手法によって1枚の生育指標合成画像に合成され、圃場全体の生育指標が得られる。この際に、前記複数の生育指標画像に、不必要な画像が含まれると、無駄な合成の処理が生じる、あるいは、不必要な画像を除去する処理が必要となるが、本実施形態では、前記生育指標を求めるために有意な画像のみを画像記憶部41に記憶するように、植物生育指標測定装置Maが構成されているので、合成の処理における効率の低下をより抑制できる。なお、このような生育指標画像の演算やその画像合成は、当該植物生育指標測定装置Maで実行されて良く、また、外部装置によって実行されて良い。
 以上説明したように、本実施形態における植物生育指標測定装置Maおよびこれに実装された植物生育指標測定方法は、画像生成部5で生成された画像のうち、画像判定部35aで、前記生育指標を求めるために有意な画像として、画像記憶部41に記憶すると判定された画像のみ、画像記憶部41に記憶するので、画像記憶部41の記憶容量をより低減でき、合成の処理における効率の低下をより抑制できる。
 上記植物生育指標測定装置Maおよび植物生育指標測定方法は、画像生成部5で生成された画像に基づいて求められた、圃場に生育する作物の条または条間に応じた周波数に基づいて、前記判定処理を行うので、画像生成部5で生成された画像で前記判定処理を実施できる。
 上記植物生育指標測定装置Maおよび植物生育指標測定方法は、画像生成部5で生成された画像に基づいて求められた、前記生育指標に基づいて、前記判定処理を行うので、画像生成部5で生成された画像で前記判定処理を実施できる。
 上記植物生育指標測定装置Maおよび植物生育指標測定方法は、画像生成部5で生成された画像に基づく太陽写込検出部34の検出結果に基づいて、前記判定処理を行うので、画像生成部5で生成された画像で前記判定処理を実施できる。
 上記植物生育指標測定装置Maおよび植物生育指標測定方法は、画像記憶部41に記憶しないと判定された画像の非記憶画像情報を記憶するので、画像記憶部41に記憶しないと判定された画像のみを、後に取り直すことができる。
 次に、別の実施形態について説明する。
(第2実施形態)
 上述の第1実施形態における植物生育指標測定装置Maでは、自機の測定位置および測定高度(緯度X、経度Y、高度Z)は、複数の生育指標画像を合成して1枚の生育指標合成画像を生成する際に、これら各複数の生育指標画像における相互の位置関係や実際の撮像高度を表すために、取得され、画像生成部5で生成した画像の記録(記憶)の許否は、前記自機の測定位置や測定高度を必要とせずに、画像生成部5で生成した前記画像を、圃場の特徴の観点から分析することで、決定されたが、第2実施形態における植物生育指標測定装置Mbは、前記自機の測定位置および測定高度(緯度X、経度Y、高度Z)に基づいて、画像生成部5で生成した画像の記録(記憶)の許否を決定するものである。
 このような第2実施形態における植物生育指標測定装置Mbは、例えば、図1に示すように、航空機1と、自機状態測定部2bと、制御処理部3bと、記憶部4bと、画像生成部5と、IF部6とを備える。これら第2実施形態の植物生育指標測定装置Mbにおける航空機1、位置高度測定部21を備える自機状態測定部2b、画像生成部5およびIF部6は、それぞれ、第1実施形態の植物生育指標測定装置Maにおける航空機1、位置高度測定部21を備える自機状態測定部2a、画像生成部5およびIF部6と同様であるからその説明を省略する。
 記憶部4bは、制御処理部3bに接続され、制御処理部3bの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、当該植物生育指標測定装置Mbの各部を当該各部の機能に応じて制御する制御プログラムや、位置高度測定部21で測定された自機の位置および後述の圃場領域情報記憶部42に記憶された圃場領域情報に基づいて、前記判定処理を行う画像判定プログラムや、前記画像判定プログラムで画像記憶部41に記憶すると判定された場合のみ、画像生成部5で生成された画像を画像記憶部41に記憶する画像記憶制御プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、画像生成部5で生成された画像(本実施形態では可視画像および近赤外画像)や、測定対象である圃場の所在領域を表す圃場領域情報や、前記判定処理で用いる予め設定された閾値等の、各プログラムを実行する上で必要なデータ等が含まれる。記憶部4bは、記憶部4aと同様に、例えばROM、EEPROMおよびRAM等を備える。
 そして、第2実施形態では、記憶部4bは、画像記憶部41に加えてさらに、図1に破線で示すように、前記圃場領域情報を記憶する圃場領域情報記憶部42を機能的に備える。記憶部4bの画像記憶部41は、記憶部4aの画像記憶部41と同様であるので、その説明を省略する。圃場領域情報記憶部42は、測定対象である圃場の所在領域を表す圃場領域情報を記憶するものである。例えば、本実施形態では、位置高度測定部21が測定位置として緯度Xおよび経度Yを出力するので、これに応じて、圃場領域情報記憶部42は、圃場の輪郭形状を表す複数の点の各位置の緯度Xおよび経度Yを前記圃場領域情報として記憶する。圃場が例えば矩形である場合には、前記矩形における4個の各頂点の各位置の緯度Xおよび経度Yが前記圃場領域情報として圃場領域情報記憶部42に記憶される。
 制御処理部3bは、植物生育指標測定装置Mbの各部を当該各部の機能に応じてそれぞれ制御し、植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像、を生成するための回路である。制御処理部3bは、制御処理部3aと同様に、例えば、CPUおよびその周辺回路を備えて構成される。制御処理部3bは、第2実施形態では、機能的に、制御部31と、画像判定部35bと、画像記憶制御部36とを備える。
 制御部31は、第1実施形態と同様に、当該植物生育指標測定装置Mbの各部を当該各部の機能に応じて制御し、当該植物生育指標測定装置Mbの全体制御を司るものである。
 画像判定部35bは、前記生育指標を求めるために有意な画像のみを画像記憶部41に記憶するように、画像生成部5で生成された画像を画像記憶部41に記憶するか否かを判定する判定処理を行うものである。本実施形態では、画像判定部35bは、位置高度測定部21で測定された自機の測定位置(緯度X、経度Y)および圃場領域情報記憶部42に記憶された圃場領域情報に基づいて、前記判定処理を行う。より具体的には、画像判定部35bは、前記判定処理として、位置高度測定部21で測定された自機の測定位置(緯度X、経度Y)が、圃場領域情報記憶部42に記憶された圃場領域情報で表される前記圃場の所在領域内であるか否かを判定し、前記圃場の所在領域内である場合を画像記憶部41に記憶する場合と判定し、前記圃場の所在領域内ではない場合(前記圃場の所在領域外である場合)を画像記憶部41に記憶しない場合と判定する。本実施形態では、画像判定部35bは、さらに、位置高度測定部21で測定された自機の測定高度Zに基づいて、前記判定処理を行う。より具体的には、画像判定部35bは、前記判定処理として、位置高度測定部21で測定された自機の測定高度Zが、予め設定された所定の閾値(第4閾値)以上であるか否かを判定し、前記第4閾値以上である場合を画像記憶部41に記憶する場合と判定し、前記第4閾値以上ではない場合を画像記憶部41に記憶しない場合と判定する。前記第4閾値は、例えば15mや20mや25m等の、予め設定された所定の撮像高度(飛行高度)に設定される。より詳しくは、画像判定部35bは、自機の測定位置(緯度X、経度Y)および圃場領域情報に基づく前記判定処理による第11判定結果、および、自機の測定高度Zに基づく前記判定処理による第12判定結果のANDが演算され、第11および第12判定結果の全てが画像記憶部41に記憶する場合と判定した場合(前記ANDの演算結果が1である場合)に、最終的に、画像記憶部41に記憶する場合と判定し、第11および第12判定結果のうちの少なくともいずれか1つが画像記憶部41に記憶しない場合と判定した場合(前記ANDの演算結果が0である場合)に、最終的に、画像記憶部41に記憶しない場合と判定する。
 画像記憶制御部36は、上述した第1実施形態の植物生育指標測定装置Maにおける画像記憶制御部36と同様であるので、その説明を省略する。
 次に、本実施形態の動作について説明する。図8は、第2実施形態における植物生育指標測定装置の動作を示すフローチャートである。
 このような構成の植物生育指標測定装置Mbは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラムの実行によって、制御処理部3bには、制御部31、画像判定部35bおよび画像記憶制御部36が機能的に構成される。そして、第2実施形態における植物生育指標測定装置Mbも、第1実施形態における植物生育指標測定装置Maと同様に、誘導飛行または自律飛行による制御処理部3bの制御に従って、測定対象の圃場の周辺領域から飛び立ち、前記圃場の上空に向い、圃場の上空を九十九折りに飛行する。このような離陸から測定対象の圃場の上空を飛行している間に、植物生育指標測定装置Mbは、所定の時間間隔(サンプリング間隔)で、以下の各処理S21~S26を繰り返し実行する。
 すなわち、図8において、まず、植物生育指標測定装置Mbは、制御処理部3bの制御部31によって、画像生成部5で画像を生成して取得し(S21)、これに同期して自機状態測定部2bで位置(緯度X、経度Y)および高度Zを取得する(S22)。これら可視画像、近赤外画像、ならびに、自機の測定位置および測定高度(緯度X、経度Y、高度Z)は、記憶部4bのワーキングメモリに一旦記憶される。
 次に、植物生育指標測定装置Mbは、制御処理部3bの画像判定部35bによって、処理S21で取得された画像を画像記憶部41に記憶するか否かを判定する判定処理を行う(S23)。この判定の結果、前記画像を画像記憶部41に記憶しないと判定した場合(No)には、植物生育指標測定装置Mbは、次に、処理S24を実行した後に、処理S26を実行し、前記画像を画像記憶部41に記憶すると判定した場合(Yes)には、植物生育指標測定装置Mbは、次に、処理S25を実行した後に、処理S26を実行する。
 より具体的には、まず、画像判定部35bは、前記判定処理として、位置高度測定部21で測定された自機の測定位置(緯度X、経度Y)が、圃場領域情報記憶部42に記憶された圃場領域情報で表される前記圃場の所在領域内であるか否かを判定し、第11判定結果として、前記圃場の所在領域内である場合を画像記憶部41に記憶する場合と判定し、前記圃場の所在領域内ではない場合(前記圃場の所在領域外である場合)を画像記憶部41に記憶しない場合と判定する。次に、画像判定部35bは、前記判定処理として、位置高度測定部21で測定された自機の測定高度Zが、予め設定された所定の第4閾値以上であるか否かを判定し、第12判定結果として、前記第4閾値以上である場合を画像記憶部41に記憶する場合と判定し、前記第4閾値以上ではない場合を画像記憶部41に記憶しない場合と判定する。そして、画像判定部35bは、これら第11判定結果および第12判定結果のANDが演算され、第11および第12判定結果の全てが画像記憶部41に記憶する場合と判定した場合(前記ANDの演算結果が1である場合)に、最終的に、画像記憶部41に記憶する場合と判定し、第11および第12判定結果のうちの少なくともいずれか1つが画像記憶部41に記憶しない場合と判定した場合(前記ANDの演算結果が0である場合)に、最終的に、画像記憶部41に記憶しない場合と判定する。この最終的な判定において、画像記憶部41に記憶しない場合と判定した場合(No)には、植物生育指標測定装置Mbは、次に、処理S24を実行した後に、処理S26を実行し、画像記憶部41に記憶する場合と判定した場合(Yes)には、植物生育指標測定装置Mbは、次に、処理S25を実行した後に、処理S26を実行する。
 これら第2実施形態の植物生育指標測定装置Mbにおける処理S24、処理S25および処理S26は、それぞれ、第1実施形態の植物生育指標測定装置Maにおける処理S16、処理S17および処理S18と同様であるので、その説明を省略する。
 以上説明したように、第2実施形態における植物生育指標測定装置Mbおよびこれに実装された植物生育指標測定方法は、第1実施形態と同様に、画像生成部5で生成された画像のうち、画像判定部35bで、前記生育指標を求めるために有意な画像として、画像記憶部41に記憶すると判定された画像のみ、画像記憶部41に記憶するので、画像記憶部41の記憶容量をより低減でき、合成の処理における効率の低下をより抑制できる。
 また、上記植物生育指標測定装置Mbおよび植物生育指標測定方法は、位置高度測定部21で測定した自機の測定位置(緯度X、経度Y)を用いるので、圃場の上空で撮像して生成した画像のみを確実に画像記憶部41に記憶できる。
 次に、別の実施形態について説明する。
(第3実施形態)
 上述の第1実施形態における植物生育指標測定装置Maでは、画像生成部5で生成した画像の記録(記憶)の許否は、前記自機の測定位置や測定高度を必要とせずに、画像生成部5で生成した前記画像を、圃場の特徴の観点から分析することで、決定されたが、第3実施形態における植物生育指標測定装置Mcは、自機の高度Z、方位φ、速度Sおよび加速度Kのうちの少なくとも1つに基づいて、画像生成部5で生成した画像の記録(記憶)の許否を決定するものである。
 このような第3実施形態における植物生育指標測定装置Mcは、例えば、図1に示すように、航空機1と、自機状態測定部2cと、制御処理部3cと、記憶部4cと、画像生成部5と、IF部6とを備える。これら第3実施形態の植物生育指標測定装置Mcにおける航空機1、位置高度測定部21を備える自機状態測定部2c、画像生成部5およびIF部6は、それぞれ、第1実施形態の植物生育指標測定装置Maにおける航空機1、位置高度測定部21を備える自機状態測定部2a、画像生成部5およびIF部6と同様であるからその説明を省略する。
 記憶部4cは、制御処理部3cに接続され、制御処理部3cの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、当該植物生育指標測定装置Mcの各部を当該各部の機能に応じて制御する制御プログラムや、自機の高度、方位、速度および加速度のうちの少なくとも1つに基づいて、前記判定処理を行う画像判定プログラムや、前記画像判定プログラムで画像記憶部41に記憶すると判定された場合のみ、画像生成部5で生成された画像を画像記憶部41に記憶する画像記憶制御プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、画像生成部5で生成された画像(本実施形態では可視画像および近赤外画像)や、前記判定処理で用いる予め設定された各閾値等の、各プログラムを実行する上で必要なデータ等が含まれる。記憶部4bは、記憶部4aと同様に、例えばROM、EEPROMおよびRAM等を備える。そして、第3実施形態では、記憶部4cは、記憶部4aと同様に、画像記憶部41を機能的に備える。
 制御処理部3cは、植物生育指標測定装置Mcの各部を当該各部の機能に応じてそれぞれ制御し、植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像、を生成するための回路である。制御処理部3cは、制御処理部3aと同様に、例えば、CPUおよびその周辺回路を備えて構成される。制御処理部3cは、第3実施形態では、機能的に、制御部31と、画像判定部35cと、画像記憶制御部36とを備える。
 制御部31は、第1実施形態と同様に、当該植物生育指標測定装置Mcの各部を当該各部の機能に応じて制御し、当該植物生育指標測定装置Mbの全体制御を司るものである。
 画像判定部35cは、前記生育指標を求めるために有意な画像のみを画像記憶部41に記憶するように、画像生成部5で生成された画像を画像記憶部41に記憶するか否かを判定する判定処理を行うものである。本実施形態では、画像判定部35cは、自機の高度、方位、速度および加速度のうちの少なくとも1つに基づいて、前記判定処理を行う。
 より具体的には、自機の高度Zに基づいて前記判定処理を行う場合では、画像判定部35cは、第2実施形態の画像判定部35bと同様に、前記判定処理として、位置高度測定部21で測定された高度Zが、前記第4閾値以上であるか否かを判定し、第21判定結果として、前記第4閾値以上である場合を画像記憶部41に記憶する場合と判定し、前記第4閾値以上ではない場合を画像記憶部41に記憶しない場合と判定する。
 自機の方位φに基づいて前記判定処理を行う場合では、制御処理部3cは、図1に破線で示すように、位置高度測定部21で測定された測定位置(緯度X、経度Y)に基づいて自機の方位φを求める方位処理部37を機能的にさらに備え、画像判定部35cは、方位処理部37によって、位置高度測定部21で測定された今回の測定位置(緯度X、経度Y)および前回の測定位置(緯度X-1、経度Y-1)に基づいて公知の演算手法によって方位φ(=f(X、X-1、Y、Y-1))を求め、この求めた方位φが、予め設定された所定の方位(例えば圃場の輪郭における長辺に沿った方向で九十九折りに往復しながら前記画像を生成する場合に前記長辺の方位等)Yrefに、予め設定された所定の第2マージンの範囲内で一致するか否かを判定し、第22判定結果として、前記一致する場合を画像記憶部41に記憶する場合と判定し、前記一致しない場合を画像記憶部41に記憶しない場合と判定する。
 なお、上述では、方位φは、位置高度測定部21によって、互いに異なる各画像生成位置(互いに異なる各タイミング)で測定された2組の緯度X、X-1および経度Y、Y-1から方位処理部37によって求められたが、図1に破線で示すように、自機状態測定部2cが、地球上における現在の方位φを測定する方位測定部22をさらに備え、この方位測定部22で測定された方位φが上述で用いられても良い。方位測定部22は、例えば3軸方位計(3軸地磁気センサ)を備えて構成される。
 自機の速度Sに基づいて前記判定処理を行う場合では、制御処理部3cは、図1に破線で示すように、位置高度測定部21で測定された測定位置(緯度X、経度Y)に基づいて自機の速度Sを求める速度処理部38を機能的にさらに備え、画像判定部35cは、前記速度処理部38によって、位置高度測定部21で測定された今回の測定位置(緯度X、経度Y)および前回の測定位置(緯度X-1、経度Y-1)ならびにこれの測定時間間隔に基づいて公知の演算手法によって速度S(=√((X-1-X)+(Y-1-Y))/(前回の測定から今回の測定までの時間t))を求め、前記判定処理として、この求めた速度Sが、予め設定された所定の第5閾値以上であるか否かを判定し、第23判定結果として、前記第5閾値以上である場合を画像記憶部41に記憶する場合と判定し、前記第5閾値以上ではない場合を画像記憶部41に記憶しない場合と判定する。植物生育指標測定装置Mcは、圃場の上空では、所定の速度(例えば1m/フレームや、2m/フレームや、3m/フレーム等)で飛行するが、必要に応じてホバリング等を行うことがあり、ホバリング中の画像は、略同じであるので、1枚あれば充分である。このため、前記第5閾値は、前記圃場の上空における前記所定の速度と、ホバリングの飛行速度と区別できる値に適宜に設定される。
 なお、上述では、速度Sは、位置高度測定部21によって、互いに異なる各画像生成位置(互いに異なる各タイミング)で測定された2組の緯度X、X-1および経度Y、Y-1ならびにそれらの測定時間間隔から速度処理部38によって求められたが、図1に破線で示すように、自機状態測定部2cが、自機の速度Sを測定する、例えば速度計等の速度測定部23をさらに備え、この速度測定部23で測定された速度Sが上述で用いられても良い。
 自機の加速度Kに基づいて前記判定処理を行う場合では、制御処理部3cは、図1に破線で示すように、位置高度測定部21で測定された測定位置(緯度X、経度Y)に基づいて自機の加速度Kを求める加速度処理部39を機能的にさらに備え、画像判定部35cは、前記加速度処理部39によって、位置高度測定部21で測定された今回の測定位置(緯度X、経度Y)、前回の測定位置(緯度X-1、経度Y-1)および前々回の測定位置(緯度X-1、経度Y-1)ならびにこれらの各測定時間間隔に基づいて公知の演算手法によって加速度Kを求め、前記判定処理として、この求めた加速度Kが、予め設定された所定の第6閾値以上であるか否かを判定し、第24判定結果として、前記第6閾値以上である場合を画像記憶部41に記憶する場合と判定し、前記第6閾値以上ではない場合を画像記憶部41に記憶しない場合と判定する。ホバリングでは、振動が生じることが多く、前記第6閾値は、複数のサンプルから、ホバリングによって生じる振動の加速度を識別できる適宜な値に設定される。
 なお、上述では、加速度Kは、位置高度測定部21によって、互いに異なる各画像生成位置(互いに異なる各タイミング)で測定された3組の緯度X、X-1、X-2および経度Y、Y-1、Y-2ならびにそれらの各測定時間間隔から加速度処理部39によって求められたが、図1に破線で示すように、自機状態測定部2cが、自機の加速度Sを測定する、例えば加速度計等の加速度測定部24をさらに備え、この加速度測定部24で測定された加速度Sが上述で用いられても良い。
 そして、自機の高度Z、方位φ、速度Sおよび加速度Kのうちの複数に基づいて、前記判定処理を行う場合では、画像判定部35cは、これら複数それぞれの各判定結果のANDが演算され、前記複数それぞれの各判定結果の全てが画像記憶部41に記憶する場合と判定した場合(前記ANDの演算結果が1である場合)に、最終的に、画像記憶部41に記憶する場合と判定し、前記複数それぞれの各判定結果のうちの少なくともいずれか1つが画像記憶部41に記憶しない場合と判定した場合(前記ANDの演算結果が0である場合)に、最終的に、画像記憶部41に記憶しない場合と判定する。
 ここでは、一例として、画像判定部35cは、自機の方位φおよび速度Sに基づいて、前記判定処理を行う。
 画像記憶制御部36は、上述した第1実施形態の植物生育指標測定装置Maにおける画像記憶制御部36と同様であるので、その説明を省略する。
 次に、本実施形態の動作について説明する。図9は、第3実施形態における植物生育指標測定装置の動作を示すフローチャートである。
 このような構成の植物生育指標測定装置Mbは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラムの実行によって、制御処理部3cには、制御部31、画像判定部35b、画像記憶制御部36、方位処理部37および速度処理部38が機能的に構成される。そして、第3実施形態における植物生育指標測定装置Mcも、第1実施形態における植物生育指標測定装置Maと同様に、誘導飛行または自律飛行による制御処理部3cの制御に従って、測定対象の圃場の周辺領域から飛び立ち、前記圃場の上空に向い、圃場の上空を九十九折りに飛行する。このような離陸から測定対象の圃場の上空を飛行している間に、植物生育指標測定装置Mcは、所定の時間間隔(サンプリング間隔)で、以下の各処理S31~S39を繰り返し実行する。
 すなわち、図9において、まず、植物生育指標測定装置Mcは、制御処理部3cの制御部31によって、画像生成部5で画像を生成して取得し(S31)、これに同期して自機状態測定部2cで位置(緯度X、経度Y)および高度Zを取得する(S32)。これら可視画像、近赤外画像、ならびに、自機の測定位置および測定高度(緯度X、経度Y、高度Z)は、記憶部4cのワーキングメモリに一旦記憶される。
 次に、植物生育指標測定装置Mcは、制御処理部3cの速度処理部38によって、処理S32で取得された今回の測定位置(緯度X、経度Y)および前回の測定位置(緯度X-1、経度Y-1)ならびにこれの測定時間間隔に基づいて、自機の速度Sを求める(S33)。この求められた自機の速度Sは、記憶部4cのワーキングメモリに一旦記憶される。
 次に、植物生育指標測定装置Mcは、制御処理部3cの方位処理部37によって、処理S32で取得された今回の測定位置(緯度X、経度Y)および前回の測定位置(緯度X-1、経度Y-1)に基づいて、自機の方位φを求める(S34)。この求められた自機の方位φは、記憶部4cのワーキングメモリに一旦記憶される。
 次に、植物生育指標測定装置Mcは、制御処理部3cによって、今回の測定位置(緯度X、経度Y)を、前回の測定位置(緯度X-1、経度Y-1)とし、前回の測定位緯度(緯度X-1、経度Y-1)を更新する(X-1←X、Y-1←Y)(S35)。
 次に、植物生育指標測定装置Mcは、制御処理部3cの画像判定部35cによって、処理S31で取得された画像を画像記憶部41に記憶するか否かを判定する判定処理を行う(S36)。この判定の結果、前記画像を画像記憶部41に記憶しないと判定した場合(No)には、植物生育指標測定装置Mcは、次に、処理S37を実行した後に、処理S39を実行し、前記画像を画像記憶部41に記憶すると判定した場合(Yes)には、植物生育指標測定装置Mcは、次に、処理S38を実行した後に、処理S39を実行する。
 より具体的には、まず、画像判定部35cは、処理S34で求めた方位φが、前記所定の方位Yrefに、前記所定の第2マージンの範囲内で一致するか否かを判定し、第22判定結果として、前記一致する場合を画像記憶部41に記憶する場合と判定し、前記一致しない場合を画像記憶部41に記憶しない場合と判定する。次に、画像判定部35cは、前記判定処理として、処理S33で求めた速度Sが、前記第5閾値以上であるか否かを判定し、第23判定結果として、前記第5閾値以上である場合を画像記憶部41に記憶する場合と判定し、前記第5閾値以上ではない場合を画像記憶部41に記憶しない場合と判定する。そして、画像判定部35cは、これら第22判定結果および第23判定結果のANDが演算され、第22および第23判定結果の全てが画像記憶部41に記憶する場合と判定した場合(前記ANDの演算結果が1である場合)に、最終的に、画像記憶部41に記憶する場合と判定し、第22および第23判定結果のうちの少なくともいずれか1つが画像記憶部41に記憶しない場合と判定した場合(前記ANDの演算結果が0である場合)に、最終的に、画像記憶部41に記憶しない場合と判定する。この最終的な判定において、画像記憶部41に記憶しない場合と判定した場合(No)には、植物生育指標測定装置Mcは、次に、処理S37を実行した後に、処理S39を実行し、画像記憶部41に記憶する場合と判定した場合(Yes)には、植物生育指標測定装置Mcは、次に、処理S38を実行した後に、処理S39を実行する。
 これら第3実施形態の植物生育指標測定装置Mcにおける処理S37、処理S38および処理S39は、それぞれ、第1実施形態の植物生育指標測定装置Maにおける処理S16、処理S17および処理S18と同様であるので、その説明を省略する。
 以上説明したように、第3実施形態における植物生育指標測定装置Mcおよびこれに実装された植物生育指標測定方法は、第1実施形態と同様に、画像生成部5で生成された画像のうち、画像判定部35cで、前記生育指標を求めるために有意な画像として、画像記憶部41に記憶すると判定された画像のみ、画像記憶部41に記憶するので、画像記憶部41の記憶容量をより低減でき、合成の処理における効率の低下をより抑制できる。
 また、上記植物生育指標測定装置Mcおよび植物生育指標測定方法は、自機の方位φに基づいて前記判定処理を行うので、自機の折り返し中に生成された画像の記憶が低減でき、自機の速度Sに基づいて前記判定処理を行うので、自機のホバリング中に生成された画像の記憶が低減できる。
 なお、自機の高度Zに基づいて前記判定処理を行う場合では、上記植物生育指標測定装置Mcおよび植物生育指標測定方法は、自機の上昇中または降下中に生成された画像の記憶が低減できる。自機の加速度に基づいて前記判定処理を行う場合では、上記植物生育指標測定装置Mcおよび植物生育指標測定方法は、自機のホバリング中の振動による加速度で前記ホバリングを検出できるから、前記ホバリング中に生成された画像の記憶が低減できる。
 なお、上述の実施形態において、第1ないし第3実施形態における植物生育指標測定装置Ma、Mb、Mcは、適宜に組み合わされても良い。例えば、第1および第2実施形態における植物生育指標測定装置Ma、Mbが組み合わされる。また例えば、第1および第3実施形態における植物生育指標測定装置Ma、Mcが組み合わされる。また例えば、第2および第3実施形態における植物生育指標測定装置Mb、Mcが組み合わされる。第1ないし第3実施形態における植物生育指標測定装置Ma、Mb、Mc全てが組み合わされる。これら各組合せにおいて、植物生育指標測定装置Mは、各判定結果のANDを演算し、各判定結果の全てが画像記憶部41に記憶する場合と判定した場合(前記ANDの演算結果が1である場合)に、最終的に、画像記憶部41に記憶する場合と判定し、各判定結果のうちの少なくともいずれか1つが画像記憶部41に記憶しない場合と判定した場合(前記ANDの演算結果が0である場合)に、最終的に、画像記憶部41に記憶しない場合と判定する。
 また、上述の実施形態では、画像生成部5は、可視撮像部51と赤外撮像部52とを備えて構成されたが、例えば特許第5168353号公報に開示されているように、可視画像および赤外画像を生成する1個の撮像部を備えて構成されても良い。このような可視画像および赤外画像を生成する1個の撮像部は、測定対象の光学像を所定の第3結像面上に結像する単一の第3結像光学系と、前記第3結像面に受光面を一致させて配置され、前記測定対象の光学像を電気的な信号に変換する第3イメージセンサ単一の光学系と、前記第3イメージセンサ上に配置されたR/G/B/Ir、あるいは、W/Y/R/Irとを備えて構成される。前記Rは、主に赤色光を透過させるフィルタであり、前記Gは、主に緑色光を透過させるフィルタであり、前記Bは、主に青色光を透過させるフィルタであり、そして、前記Irフィルタは、主に赤外光を透過させるフィルタである。前記Wは、主に白色光を透過させるフィルタであり、前記Yは、主に黄色光を透過させるフィルタである。
 (第4実施形態)
 上述のように、圃場は、通常、前記画像を生成するカメラの画角に対して広いため、圃場全体を1回の撮像による1枚の画像で写すことが難しい。このため、例えば、特開2003-339238号公報(特許文献1)では、互いに隣り合う圃場をオーバーラップして複数の画像を取得し、同一位置の圃場で色を補正し、この補正した複数の画像を1枚に合成し、これによって圃場全体の1枚の画像を得て、圃場の画像のRGB値から窒素相対分布を求める作物の生育診断方法が提案されている(例えば特許文献1の図11)。
 ところで、前記特許文献1のように、複数の画像を繋ぎ合わせて1枚に合成する、いわゆるパノラマ合成処理を実施する場合、互いに隣接する画像間で連続的に繋ぎ合わせるために、繋ぎ合わせの基準となる繋ぎ合わせ基準点を抽出する必要がある。しかしながら、圃場は、土壌や作物が一面に広がっており、土や葉の反射率が近いため、圃場を写した可視画像は、そのコントラストが低くなる傾向にあることから、前記繋ぎ合わせ基準点の抽出が難しく、合成の精度(繋ぎ合わせの精度)が低下してしまう。また、圃場を写した近赤外画像も、作物が一面に広がっている場合、そのコントラストが低くなる傾向にあり、同様に、合成の精度が低下してしまう。さらに、可視画像や近赤外画像の撮像の際に、太陽が写り込んだり、圃場ではない被写体が写り込んだりすると、露出が大きく変化してしまうため、露出オーバーや露出アンダーが生じてしまうことから、繋ぎ合わせ基準点の抽出にばらつきが生じて合成の精度が低下してしまう。
 そこで、第4実施形態では、より精度良く合成した生育指標の画像を生成できる植物生育指標測定装置、植物生育指標測定方法、植物生育指標測定プログラムおよび植物生育指標測定システムについて開示する。
 この第4実施形態における植物生育指標測定装置は、植物における生育の度合いを表す生育指標を求める装置であり、特に、生育指標を求めるための画像を生成する撮像部(カメラ)によって1回で撮像される1枚の画像に写り込む圃場の領域よりも広い領域での圃場の生育指標画像を生成する。前記生育指標画像は、生育指標を表した画像値の画素で構成された画像である。すなわち、本実施形態では、圃場が、通常、前記撮像部(カメラ)の画角に対して広いため、圃場全体を1回の撮像による1枚の画像で写すことが難しいため、複数の画像が、いわゆるパノラマ合成処理によって、連続的に繋ぎ合わされて1枚の画像(合成画像)に合成される。このために、本実施形態における植物生育指標測定装置は、前記生育指標を表した画像値の画素で構成された複数の生育指標画像であって、圃場の互いに異なる領域を含むように生成された、互いに異なる前記複数の生育指標画像を取得する画像取得部と、前記画像取得部で所得された複数の生育指標画像を、パノラマ合成処理することによって1枚の生育指標合成画像を生成する画像合成部を備える。
 前記画像取得部は、第1波長帯域での第1光学像を撮像することによって第1画像を生成する第1撮像部と、前記第1波長帯域と異なる第2波長帯域での第2光学像を撮像することによって第2画像を生成する第2撮像部と、前記第1および第2撮像部それぞれによって生成された、圃場の同一領域における第1および第2画像に基づいて前記生育指標画像を生成する生育指標画像生成部とを備え、前記第1および第2撮像部それぞれは、圃場の互いに異なる領域を含むように、複数の第1および第2画像を生成し、前記生育指標画像生成部は、前記複数の第1および第2画像に基づいて前記複数の生育指標画像を生成するように構成されて良いが、ここでは、前記画像取得部は、外部機器から、前記複数の生育指標画像を取得するインターフェース部を備えて構成される場合について以下に説明する。すなわち、前記複数の生育指標画像を生成する画像生成装置と、前記画像生成装置で生成された前記複数の生育指標画像を取得してこれら複数の生育指標画像を合成して1枚の画像(生育指標合成画像)を生成する植物生育指標測定装置とを備える植物生育指標測定システムについて以下に説明する。
 図10は、第4実施形態における植物生育指標測定システムの構成を示す図である。このような実施形態の植物生育指標測定システムSは、例えば、図10に示すように、画像生成装置Mと、植物生育指標測定装置Pとを備える。
 画像生成装置Mは、測定対象の圃場における所定の画像を生成する装置である。前記所定の画像は、生育指標画像を求めるための元画像(例えば生育指標がNDVIである場合、NDVIを求めるための可視画像および近赤外画像)であって良いが、本実施形態では、前記元画像に基づいて生成した生育指標画像である。画像生成装置Mは、例えば竿等の長尺なロッドの先端に取り付けられ、上方から圃場を俯瞰した前記圃場の生育指標画像を生成したり、前記圃場に隣接して比較的高い建物があれば、前記建物から前記圃場の生育指標画像を生成したり等しても良いが、本実施形態では、航空機を備え、上空から前記圃場の生育指標画像を生成するように構成されている。
 なお、本実施形態では、生育指標がNDVIである場合について以下に説明するが、生育指標は、これに限定されるものではなく、他の指標であって良い。例えば、生育指標は、RVIであって良い(RVI=Ri’/Rv、RVI(x、y)=ri’(x、y)/rv(x、y))。また例えば、生育指標は、DVIであって良い(DVI=Ri’-Rv、DVI(x、y)=ri’(x、y)-rv(x、y))。また例えば、生育指標は、TVI(Transformed Vegetation Index)であって良い(TVI=NDVI+0.5)0.5)。また例えば、生育指標は、IPVI(Infrared Percentage Vegetation Index)であって良い(IPVI=Ri’/(Ri’+Rv)=(NDVI+1)/2)。生育指標がこれら他の指標である場合も以下と同様に、互いに異なる圃場の領域を含む複数の生育指標画像を合成した生育指標画像(合成生育指標画像、結合生育指標画像、パノラマ生育指標画像)を生成できる。
 より詳しくは、画像生成装置Mは、例えば、図10に示すように、航空機61と、位置高度測定部62と、方位測定部63と、制御処理部64と、可視撮像部65と、赤外撮像部66と、記憶部67と、インターフェース部(IF部)68とを備える。
 航空機61は、大気中を飛行する装置であり、例えば、気球、飛行船、飛行機、ヘリコプタおよびマルチコプタ等である。航空機61は、有人機であって良いが、好ましくは、無線操縦飛行(誘導飛行)または自律飛行による無人機(ドローン)である。航空機61は、本実施形態では、制御処理部64に接続され、誘導飛行または自律飛行による制御処理部64の制御に従って飛行する。
 位置高度測定部62は、制御処理部64に接続され、制御処理部64の制御に従って、地球上における現在の位置および高度を測定する装置であり、例えば、衛星測位システムのGPS(Global Positioning System)を備えて構成される。位置高度測定部62は、その測定結果(測定位置(緯度X、経度Y、高度Z))を制御処理部64へ出力する。なお、GPSは、DGSP(Differential GSP)等の誤差を補正する補正機能を持ったGPSであっても良い。
 方位測定部63は、制御処理部64に接続され、制御処理部64の制御に従って、地球上における現在の方位を測定する装置であり、例えば3軸方位計(3軸地磁気センサ)を備えて構成される。方位測定部63は、その測定結果(測定方位(方位角Y))を制御処理部64へ出力する。
 可視撮像部65は、制御処理部64に接続され、制御処理部64の制御に従って可視光の画像(可視画像)を生成する装置である。可視撮像部65は、第1波長帯域(ここでは可視波長帯域)での第1光学像を撮像することによって第1画像(ここでは可視画像)を生成する第1撮像部の一例に相当する。より具体的には、本実施形態では、NDVIを求めるために、可視撮像部65は、例えば、波長650nmを中心波長とする比較的狭帯域で光を透過する第1バンドパスフィルタ、前記第1バンドパスフィルタを透過した測定対象の可視光の光学像を所定の結像面上に結像する第1結像光学系、前記第1結像面に受光面を一致させて配置され、前記測定対象の可視光の光学像を電気的な信号に変換する第1イメージセンサ、前記第1イメージセンサの出力に対し公知の画像処理を施して可視画像を生成する第1デジタルシグナルプロセッサ(DSP)等を備えて構成される、いわゆるカメラ等である。可視撮像部65は、この撮像して生成した可視画像を制御処理部64へ出力する。
 赤外撮像部66は、制御処理部64に接続され、制御処理部64の制御に従って赤外光(例えば近赤外光)の画像(赤外画像)を生成する装置である。赤外撮像部66は、前記第1波長帯域と異なる第2波長帯域(ここでは赤外波長帯域)での第2光学像を撮像することによって第2画像(ここでは赤外画像)を生成する第2撮像部の一例に相当する。より具体的には、本実施形態では、NDVIを求めるために、赤外撮像部66は、例えば、波長800nmを中心波長とする比較的狭帯域で光を透過する第2バンドパスフィルタ、前記第2バンドパスフィルタを透過した測定対象の赤外光の光学像を所定の結像面上に結像する第2結像光学系、前記第2結像面に受光面を一致させて配置され、前記測定対象の赤外光の光学像を電気的な信号に変換する第2イメージセンサ、前記第2イメージセンサの出力に対し公知の画像処理を施して赤外画像を生成する第2DSP等を備えて構成される、いわゆる赤外カメラ等である。赤外撮像部66は、この撮像して生成した赤外画像を制御処理部64へ出力する。
 IF部68は、制御処理部64に接続され、制御処理部64の制御に従って、例えば植物生育指標測定装置P等の外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるRS232Cのインターフェース回路、Bluetooth(登録商標)規格を用いたインターフェース回路、IrDA(Infrared Data Asscoiation)規格等の赤外線通信を行うインターフェース回路、および、USB(Universal Serial Bus)規格を用いたインターフェース回路等である。また、IF部68は、有線または無線によって通信する通信カード等であり、例えばイーサネット環境等の通信ネットワークを介して例えば植物生育指標測定装置Pや生育指標画像を管理するサーバ装置等の外部装置との間で通信しても良い(イーサネットは登録商標)。
 記憶部67は、制御処理部64に接続され、制御処理部64の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、当該画像生成装置Mの各部を当該各部の機能に応じて制御する制御プログラムや、測定対象の生育指標画像(本実施形態ではNDVIの画像(NDVI画像))を生成する生育指標画像生成プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、可視撮像部65で生成された可視画像や、赤外撮像部66で生成された赤外画像や、これら可視画像および赤外画像に基づいて生成された生育指標画像(本実施形態ではNDVI画像)等の、各プログラムを実行する上で必要なデータ等が含まれる。記憶部67は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、記憶部67は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部6のワーキングメモリとなるRAM(Random Access Memory)等を含む。
 そして、記憶部67は、これら可視画像、赤外画像および生育指標画像(NDVI画像)を記憶する画像記憶部671を機能的に備える。画像記憶部671は、可視画像、赤外画像および生育指標画像(NDVI画像)それぞれに、位置高度測定部62で測定した測定位置および方位測定部63で測定した測定方位を、対応付けて、これらを記憶する。例えば、測定位置および測定方位は、可視画像、赤外画像および生育指標画像(NDVI画像)それぞれのヘッダに収容されることで、可視画像、赤外画像および生育指標画像(NDVI画像)それぞれに対応付けられる。
 なお、上述では、画像記憶部671は、これら可視画像、赤外画像および生育指標画像(NDVI画像)を記憶したが、記憶部67は、可視画像および赤外画像を一時的に記憶し、これら可視画像および赤外画像に基づいて制御処理部64によって生育指標画像(NDVI画像)を生成した後に、これら一時的に記憶した可視画像および赤外画像を消去(削除)し、画像記憶部671は、測定位置および測定方位を対応付けた生育指標画像(NDVI画像)のみを記憶しても良い。
 制御処理部64は、画像生成装置Mの各部を当該各部の機能に応じてそれぞれ制御し、測定対象の生育指標画像(本実施形態ではNDVI画像)を生成するための回路である。制御処理部64は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。より詳しくは、制御処理部64は、航空機61の飛行を制御し、可視撮像部65および赤外撮像部66によって、互いに同期するように撮像して可視画像および赤外画像を生成し、これら生成した可視画像および赤外画像に基づいてNDVI画像を求め、位置高度測定部62および方位測定部63によって、測定位置および測定方位を取得し、これら取得した測定位置および測定方位を可視画像、赤外画像およびNDVI画像に対応付けて、これらを画像記憶部671に記憶する。なお、上述したように、画像記憶部671は、測定位置および測定方位を対応付けた生育指標画像(NDVI画像)のみを記憶しても良い。
 そして、これら位置高度測定部62、方位測定部63、制御処理部13、可視撮像部65、赤外撮像部66、記憶部67およびIF部68は、航空機61に搭載され、適宜な位置に配置される。可視撮像部65および赤外撮像部66は、航空機61によって当該画像生成装置Mが飛行している場合に、各光軸が互いに平行で、かつ、下方、好ましくは鉛直下方を向くように、航空機61に配置される。
 一方、植物生育指標測定装置Pは、複数の生育指標画像を、いわゆるパノラマ合成処理によって、連続的に繋ぎ合わせて1枚の生育指標合成画像を生成する装置である。このような植物生育指標測定装置Pは、例えば、図10に示すように、IF部71と、制御処理部72と、記憶部73と、入力部74と、出力部75とを備える。
 入力部74は、制御処理部72に接続され、例えば、生育指標合成画像の生成開始を指示するコマンド等の各種コマンド、および、例えば測定対象の圃場の名称の入力等の生育指標を測定する上で必要な各種データを植物生育指標測定装置Pに入力する機器であり、例えば、所定の機能を割り付けられた複数の入力スイッチ、キーボードおよびマウス等である。出力部75は、制御処理部72に接続され、制御処理部72の制御に従って、入力部74から入力されたコマンドやデータ、および、植物生育指標測定装置Pによって測定された生育指標合成画像を出力する機器であり、例えばCRTディスプレイ、LCD(液晶ディスプレイ)および有機ELディスプレイ等の表示装置やプリンタ等の印刷装置等である。
 なお、入力部74および出力部75からタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部74は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部75は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な1または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として植物生育指標測定装置Pに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い植物生育指標測定装置Pが提供される。
 IF部71は、IF部68と同様に、制御処理部72に接続され、制御処理部72の制御に従って、例えば画像生成装置M等の外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるRS232Cのインターフェース回路、Bluetooth(登録商標)規格を用いたインターフェース回路、IrDA(規格等の赤外線通信を行うインターフェース回路、および、USB規格を用いたインターフェース回路等である。また、IF部71は、有線または無線によって通信する通信カード等であり、例えばイーサネット環境等の通信ネットワークを介して例えば画像生成装置Mや生育指標画像を管理するサーバ装置等の外部装置との間で通信しても良い(イーサネットは登録商標)。
 記憶部73は、制御処理部72に接続され、制御処理部72の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、当該植物生育指標測定装置Pの各部を当該各部の機能に応じて制御する制御プログラムや、複数の生育指標画像を、パノラマ合成処理することによって1個の生育指標合成画像を生成する画像合成プログラム等の制御処理プログラムが含まれる。前記画像合成プログラムには、画像の歪曲を補正する歪曲補正処理を行う歪曲補正プログラムや、前記複数の生育指標画像それぞれに対応付けられている各測定位置に基づいて前記複数の生育指標画像それぞれの配置位置を求める位置合せ処理を行う位置合せプログラムや、前記複数の生育指標画像における互いに隣接する2個の第Aおよび第B画像を選定し、前記選定した第Aおよび第B画像間で複数の対応点を抽出する対応点探索処理を行う対応点探索プログラムや、前記対応点探索プログラムで抽出された複数の対応点に基づいて、前記第A画像に前記第B画像が連続するように前記第B画像を回転および並進する画像変換行列を求める変換行列演算処理を行う変換行列演算プログラムや、前記変換行列演算プログラムで求めた画像変換行列を用いて前記第B画像を画像変換する画像変換処理を行う画像変換プログラムや、前記第A画像と前記画像変換プログラムで画像変換した前記第B画像とを合成する合成処理を行う合成プログラムが含まれる。前記各種の所定のデータには、前記複数の生育指標画像(本実施形態ではNDVI画像)やこれらを1枚に合成した生育指標合成画像(本実施形態ではNDVI合成画像)等の、各プログラムを実行する上で必要なデータ等が含まれる。記憶部73は、例えば不揮発性の記憶素子であるROMや書き換え可能な不揮発性の記憶素子であるEEPROM等を備える。そして、記憶部73は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部6のワーキングメモリとなるRAM等を含む。なお、記憶部73は、比較的大容量のデータを記憶できるハードディスク等を備えても良い。
 そして、記憶部73は、これら複数の生育指標画像(NDVI画像)を記憶する画像記憶部731を機能的に備える。より具体的には、測定位置および測定方位を対応付けた複数の生育指標画像(NDVI画像)を記憶する。より詳しくは、画像記憶部731は、測定位置および測定方位をヘッダに収容した複数の生育指標画像(NDVI画像)を記憶する。
 なお、上述では、画像記憶部731は、測定位置および測定方位を対応付けた複数の生育指標画像(NDVI画像)のみを記憶したが、画像記憶部731は、その元画像である、測定位置および測定方位を対応付けた複数の可視画像および複数の赤外画像を記憶しても良い。
 制御処理部72は、植物生育指標測定装置Pの各部を当該各部の機能に応じてそれぞれ制御し、複数の生育指標画像に基づいて1枚の生育指標合成画像を生成するための回路である。制御処理部72は、例えば、CPUおよびその周辺回路を備えて構成される。制御処理部72は、機能的に、制御部721と画像合成部722とを備える。
 制御部721は、当該植物生育指標測定装置Pの各部を当該各部の機能に応じて制御し、当該植物生育指標測定装置Pの全体制御を司るものである。制御部721は、IF部71によって、画像生成装置Mから、画像生成装置Mで圃場の互いに異なる領域を含むように生成された、互いに異なる複数の生育指標画像を取得する。
 画像合成部722は、IF部71で取得された複数の生育指標画像を、パノラマ合成処理することによって1個の生育指標合成画像を生成するものである。画像合成部722は、機能的に、歪曲補正部7221と、位置合せ部7222と、対応点探索部7223と、変換行列演算部7224、画像変換部7225と、合成部7226とを備える。
 歪曲補正部7221は、生育指標画像の歪曲を補正する歪曲補正処理を行うものである。
 位置合せ部7222は、複数の生育指標画像それぞれに対応付けられている各測定位置および各測定方位に基づいて、複数の生育指標画像それぞれの配置位置を求める位置合せ処理を行うものである。これによって複数の生育指標画像の中で、互いに隣接する育指標画像が求められる。
 対応点探索部7223は、前記複数の生育指標画像における互いに隣接する2個の第Aおよび第B画像を選定し、前記選定した第Aおよび第B画像間で複数の対応点を抽出する対応点探索処理を行うものである。後述の、図12に示すフローチャートの説明では、前記第A画像は、N番目の生育指標画像(NDVI画像)Iであり、前記第B画像は、N+1番目の生育指標画像(NDVI画像)IN+1である。
 変換行列演算部7224は、対応点探索部7223で抽出された複数の対応点に基づいて、前記第A画像に前記第B画像が連続するように前記第B画像を回転および並進する画像変換行列を求める変換行列演算処理を行うものである。
 画像変換部7225は、変換行列演算部7224で求めた画像変換行列を用いて前記第B画像を画像変換する画像変換処理を行うものである。
 合成部7226は、前記第A画像と画像変換部7225で画像変換した前記第B画像とを合成する合成処理を行うものである。
 次に、本実施形態の動作について説明する。図11は、前記植物生育指標測定システムに用いられる画像生成装置の動作を示すフローチャートである。図12は、前記植物生育指標測定システムに用いられる植物生育指標測定装置の動作を示すフローチャートである。図13は、図12に示すフローチャートにおける対応点探索の処理を説明するための図である。図13Aは、互いに隣接するNDVI画像のうちの一方を示し、図13Bは、その他方を示す。図14は、図12に示すフローチャートにおける画像変換の処理を説明するための図である。図14は、図13Aに示すNDVI画像を画像変換したNDVI画像である。図15は、NDVI合成画像の一例を示す図である。図15は、図13Aおよび図13Bに示す各NDVI画像を、一方を画像変換後に合成したNDVI合成画像である。
 まず、画像生成装置Mの動作について説明する。このような植物生育指標測定システムSの画像生成装置Mは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。
 画像生成装置Mは、誘導飛行または自律飛行による制御処理部64の制御に従って、測定対象の圃場を上空を、略一定の所定の高度で、圃場の一方端から他方端へ飛行し、前記他方端に到達すると、前方に所定距離だけ進むように折り返して前記他方端から前記一方端へ飛行し、前記一方端に到達すると、前方に所定距離だけ進むように折り返して前記一方端から前記他方端へ飛行する。画像生成装置Mは、以下同様に、飛行することによって、測定対象の圃場の上空を九十九折りに飛行する。このような測定対象の圃場の上空を飛行している間に、画像生成装置Mは、所定の時間間隔(サンプリング間隔)で、以下の各処理を繰り返し実行し、この繰り返しの各回で、可視撮像部65および赤外撮像部66の各画角の範囲に相当する前記圃場の一部の領域を可視および近赤外で撮像することで可視画像および近赤外画像を生成し、これらに基づいて生育指標画像を生成している。前記所定の時間間隔は、例えば飛行速度や、飛行高度や、可視撮像部65および赤外撮像部66の各画角等を考慮することによって、各可視画像および各近赤外画像が同種の互いに隣接する画像同士において一部で重複するように、設定される。
 より具体的には、図11において、画像生成装置Mは、制御処理部64の制御に従った可視撮像部65および赤外撮像部66によって、圃場を上空から撮像して可視画像および近赤外画像を生成し、取得する(S111)。
 次に、画像生成装置Mは、制御処理部64によって、これら取得した可視画像および近赤外画像に基づいて生育指標画像、本実施形態では、NDVI画像を求める(S112)。NDVI画像の各画素値は、可視画像の画素値をIとし、近赤外画像の画素値をRとする場合に、NDVI画像の当該画素位置に対応する可視画像および近赤外画像の画素位置同士において、NDVI=(I-R)/(I+R)によって求められる。例えば、NDVI画像の画素位置(0、0)における画素値は、可視画像の画素位置(0、0)における画素値および近赤外画像の画素位置(0、0)における画素値から求められ、また例えば、NDVI画像の画素位置(10、15)における画素値は、可視画像の画素位置(10、15)における画素値および近赤外画像の画素位置(10、15)における画素値から求められる。なお、可視撮像部65と、赤外撮像部66との視差が考慮され、可視画像の画素位置および近赤外画像の画素位置の中の少なくともいずれか一方の画素位置が前記視差を修正するようにシフトされた上で、NDVIが求められても良い。また、可視撮像部65の前記第1結像光学系と赤外撮像部66の前記第2結像光学系は、例えば画角や歪曲収差等の光学特性が互いに同等であるものとする。
 次に、画像生成装置Mは、制御処理部64の制御に従った位置高度測定部62および方位測定部63によって、画像生成装置Mにおける位置(緯度X、経度Y、高度X)および方位(方位角Y)を測定し、取得する(S113)。
 次に、画像生成装置Mは、制御処理部64によって、処理S112で求めた生育指標画像のヘッダに、処理S113で取得した測定位置(緯度X、経度Y、高度X)および測定方位(方位角Y)を収容し(S114)、処理S112で求めた生育指標画像を画像記憶部671に記憶して保存する(S115)。
 そして、画像生成装置Mは、制御処理部64によって、終了か否かを判定し、終了である場合には(Yes)、本処理を終了し、終了でない場合には(No)、処理を処理S111に戻す(S116)。
 このように動作することで、画像生成装置Mは、前記圃場の一部の各領域それぞれに対応する複数の生育指標画像(NDVI画像)を生成し、これらを画像記憶部671に記憶する。
 次に、植物生育指標測定装置Pの動作について説明する。上記植物生育指標測定システムSの植物生育指標測定装置Pは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラムの実行によって、制御処理部72には、制御部721および画像合成部722が機能的に構成され、画像合成部722には、歪曲補正部7221、位置合せ部7222、対応点探索部7223、変換行列演算部7224、画像変換部7225および合成部7226が機能的に構成される。そして、画像生成装置Mによって生成された圃場の各領域それぞれに対応する複数の生育指標画像(本実施形態ではNDVI画像)がIF部71から取得され、記憶部73の画像記憶部731に記憶される。例えば、画像生成装置MのIF部68と植物生育指標測定装置PのIF部71とが互いに有線または無線によって接続され、IF部68およびIF部71を介して画像生成装置Mから植物生育指標測定装置Pへ前記複数の生育指標画像(NDVI画像)が転送される。また例えば、ネットワーク上に、前記複数の生育指標画像(NDVI画像)を管理するサーバ装置が設けられ、IF部68および前記ネットワークを介して画像生成装置Mから前記サーバ装置へ前記複数の生育指標画像(NDVI画像)が転送され、その後、植物生育指標測定装置Pの要求に応じて、前記ネットワークおよびIF部71を介して前記サーバ装置から植物生育指標測定装置Pへ前記複数の生育指標画像(NDVI画像)が転送される。また例えば、USBメモリ等のメモリカードが用意され、画像生成装置Mから、IF部68に接続された前記メモリカードへ前記複数の生育指標画像(NDVI画像)が転送され、その後、前記メモリカードをIF部71に接続して前記メモリカードから植物生育指標測定装置Pへ前記複数の生育指標画像(NDVI画像)が転送される。なお、前記メモリカードは、IF部68に接続された場合には上述の画像記憶部671として使用され、IF部71に接続された場合には、上述の画像記憶部731として使用されても良い。
 このように前記複数の生育指標画像(NDVI画像)が記憶部73の画像記憶部731に記憶されると、図12において、まず、植物生育指標測定装置Pは、画像合成部722の歪曲補正部7221によって、前記複数の生育指標画像(NDVI画像)の中の、N番目の生育指標画像(NDVI画像)Iと、N+1番目の生育指標画像(NDVI画像)IN+1を、公知の常套手法によって、例えば可視撮像部65の前記第1結像光学系や赤外撮像部66の前記第2結像光学系等に起因する歪曲を補正する歪曲補正処理を行う(S121)。歪曲補正のためのデータは、例えば生育指標画像(NDVI画像)のヘッダに収容されて良く、また例えば入力部74からユーザ(オペレータ)によって入力されて良い。なお、前記Nは、前記複数の生育指標画像(NDVI画像)それぞれに割り付けられたシリアル番号であり、前記複数の生育指標画像(NDVI画像)の総数がKである場合に、1からKまでの整数である。前記Nは、図12に示すフローチャートが開始される際に、N=1に初期化される。また、図12に示すフローチャートの以下の説明では、生育指標画像は、その一例としてのNDVI画像を指すものとし、特に、括弧書きで注釈しない。
 次に、植物生育指標測定装置Pは、画像合成部722の位置合せ部7222によって、N番目の生育指標画像Iと、N+1番目の生育指標画像IN+1とを、それらヘッダに収容された測定位置(緯度X、経度Y、高度X)および測定方位(方位角Y)に基づいて、前記複数の生育指標画像を1枚の画像に合成した生育指標合成画像Is上での、N番目の生育指標画像IおよびN+1番目の生育指標画像IN+1それぞれの配置位置を求める位置合せ処理を行う(S122)。より具体的には、例えば、生育指標合成画像Isには、基準として基準高度および基準方向が設定され、生育指標画像Iは、これら基準高度および基準方向で生成された画像となるように、拡大、縮小および回転等によって修正され、その緯度Xおよび経度Yが生育指標画像Iの中央位置(対角線の交点位置)とみなされ、前記緯度Xおよび経度Yに応じて生育指標合成画像Is上の座標が生育指標画像Iに与えられる。これによって生育指標画像Iの生育指標合成画像Isにおける配置位置が決定される。なお、画像生成装置Mは、本実施形態では、上述のように、前記複数の可視画像および近赤外画像を生成するので、N番目の生育指標画像Iと、N+1番目の生育指標画像IN+1とは、生育指標合成画像Is上において、左右方向(水平方向)および上下方向(垂直方向)のうちのいずれかで隣り合う。
 次に、植物生育指標測定装置Pは、画像合成部722の対応点探索部7223によって、N番目の生育指標画像Iと、N+1番目の生育指標画像IN+1との間で、複数の対応点を抽出する対応点探索処理を行う(S123)。より具体的には、まず、対応点探索部7223は、N番目の生育指標画像IおよびN+1番目の生育指標画像IN+1のうちの一方を、例えばN+1番目の生育指標画像IN+1を基準画像とし、その他方を、例えばN番目の生育指標画像Iを参照画像とする。次に、対応点探索部7223は、基準画像から複数の特徴点を抽出する。より詳しくは、対応点探索部7223は、基準画像において、画素値が周辺画素の画素値より有意に異なる画素を特徴点として抽出する。例えばその画素値が周辺画素の画素値より予め設定された閾値以上で異なる画素が、特徴点として抽出される。互いに隣接する所定の画素数(例えば4画素や9画素等)以上の領域が特徴点として抽出されても良い。そして、対応点探索部7223は、基準画像から抽出した各特徴点に対応する各対応点を参照画像から、公知の常套手法によって、探索する。その一例が図13に示されている。図13Aは、基準画像を示し、その●で示す各点は、特徴点PN+1であり、図13Bは、参照画像を示し、その●で示す各点は、図13Aに示す各特徴点PN+1に対応する対応点Pである。
 次に、植物生育指標測定装置Pは、画像合成部722の変換行列演算部7224によって、対応点探索部7223で抽出された複数の対応点に基づいて、N番目の生育指標画像IにN+1番目の生育指標画像IN+1が連続するようにN+1番目の生育指標画像IN+1を回転および並進する画像変換行列Mを求める変換行列演算処理を行う(S124)。より具体的には、画像変換行列Mは、例えばアフィン変換を表す行列であり、変換式は、次式1によって表される。ここで、式1における右辺の列ベクトル(x、y、1)は、N+1番目の生育指標画像IN+1から抽出された特徴点の座標(画素位置)であり、式1における左辺の列ベクトル(x’、y’、1)は、N番目の生育指標画像Iから探索された前記特徴点に対応する対応点の座標(画素位置)である。列ベクトル(x、y、1)に作用する画像変換行列Mにおける1行1列、1行2列、2行1列および2行2列の各成分a、b、c、dは、回転の変換行列を表し、1行3列および2行3列の各成分t、tは、並進(平行移動)の変換行列を表す。処理S123で求めた特徴点およびその対応点の各座標(画素位置)が式1に代入され、例えば最小二乗法によって、これら各成分a、b、c、d、t、tが求められ、これによって画像変換行列Mが求められる。
Figure JPOXMLDOC01-appb-M000001
 次に、植物生育指標測定装置Pは、画像合成部722の画像変換部7225によって、変換行列演算部7224で求めた画像変換行列Mを用いてN+1番目の生育指標画像IN+1を画像変換する画像変換処理を行う(S125)。例えば、図13Aに示すN+1番目の生育指標画像IN+1は、画像変換行列Mによって図14に示す画像CIN+1に変換される。
 次に、植物生育指標測定装置Pは、画像合成部722の合成部7226によって、N番目の生育指標画像Iと画像変換部7225で画像変換した変換後のN+1番目の生育指標画像CIN+1とを合成する合成処理を行う(S126)。より具体的には、合成部7226は、生育指標合成画像Is上の座標系において、処理S122で求めた配置位置で、N番目の生育指標画像Iと画像変換部7225で画像変換した変換後のN+1番目の生育指標画像CIN+1と画像加算する(Is=I+CIN+1)。例えば、図13および図14に示す例では、図15に示すように、図13Bに示すN番目の生育指標画像Iと、図14に示す変換後のN+1番目の生育指標画像CIN+1とが1枚に重ね合わされる。なお、図15では、図13Bに示すN番目の生育指標画像Iと、図14に示す変換後のN+1番目の生育指標画像CIN+1とが、視覚的に区別できるように、便宜上、それらの境界を白線で明示しているが、実際の生育指標合成画像Isでは、前記白線は、不要である。
 次に、植物生育指標測定装置Pは、画像合成部722によって、次の生育指標画像Iを処理するために、Nを1だけインクリメントする(N←N+1、S127)。
 次に、植物生育指標測定装置Pは、画像合成部722によって、全ての生育指標画像Iについて処理を終了したか否かを、すなわち、Nが最大値MAX以上か否かを判定する(S128)。この判定の結果、全ての生育指標画像Iについて処理を終了していない場合、すなわち、Nが最大値MAX以上ではない場合(No)、画像合成部722は、処理を処理S121に戻し、一方、前記判定の結果、全ての生育指標画像Iについて処理を終了している場合、すなわち、Nが最大値MAX以上である場合(Yes)、画像合成部722は、本処理を終了し、生育指標合成画像Isを出力部75に出力する。なお、必要に応じて、IF部21から外部機器へ生育指標合成画像Isが出力されても良い。
 以上説明したように、本実施形態における植物生育指標測定システムS、植物生育指標測定装置Pならびにこれに実装された植物生育指標測定方法および植物生育指標測定プログラムは、可視画像や近赤外画像では無く、複数の生育指標画像Iをパノラマ合成処理するので、より精度良く合成した生育指標合成画像Isを生成できる。
 図16は、低コントラストによる合成精度の低下を説明するための図である。図16Aは、NDVI画像の一例を示し、図16Bは、可視画像の一例を示し、図16Cは、近赤外画像の一例を示す。図16Aに示すNDVI画像は、図16Bに示す可視画像と図16Cに示す近赤外画像に基づいて求められた画像である。図17は、露出のばらつきによる合成精度の低下を説明するための図である。図17Aおよび図17Bは、NDVI画像の一例を示し、図17Cは、太陽が水田に写り込んだ場合の画像の一例を示し、図17Dは、露出アンダーの場合の画像の一例を示し、図17Eは、適正露出の場合の画像の一例を示し、図17Fは、図17Dに示す画像と図17Eに示す画像とを合成した場合の画像を示す。
 圃場は、土壌や作物が一面に広がっており、土や葉の反射率が近いため、圃場を写した可視画像は、例えば、図16Bに示すように、そのコントラストが低くなる傾向にある。このため、可視画像では、繋ぎ合わせの基準となる繋ぎ合わせ基準点の抽出が難しく、合成の精度(繋ぎ合わせの精度)が低下してしまう。また、圃場を写した近赤外画像も、作物が一面に広がっている場合、例えば図16Cに示すように、そのコントラストが低くなる傾向にあり、同様に、合成の精度が低下してしまう。しかしながら、圃場における個々の作物が均一に生育することは少ないため、生育指標画像Iは、例えば図16Aに示すように、可視画像や近赤外画像と比較すると、コントラストが高く、繋ぎ合わせ基準点が抽出し易い。したがって、対応点探索する場合に、基準画像の特徴点が抽出し易く、その参照画像の対応点も探索し易い。
 また、可視画像や近赤外画像の撮像の際に、例えば図17Cに示すように、太陽が写り込んだり、例えば図17Dに示すように、圃場ではない被写体が写り込んだりすると、露出が大きく変化してしまうため、露出オーバーや露出アンダーが生じてしまう。このため、このような画像を合成すると、繋ぎ合わせ基準点の抽出にばらつきが生じて合成の精度が低下してしまう。例えば図17Dに示す露出アンダーの画像と、図17Eに示す、圃場のみが被写体で適正露出の画像とが合成されると、図17Fに示すように、繋ぎ合わせを境界に、その前後(左右)で明暗や色調等に段差が生じ、合成の精度が低下してしまう。しかしながら、生育指標画像Iが波長帯域の異なる複数の画像に基づいて生成するので、生育指標画像Iは、例えば図17Aおよび図17Bに示すように、可視画像や近赤外画像と比較すると、露出差が少ない。
 したがって、上記植物生育指標測定システムS、植物生育指標測定装置P、植物生育指標測定方法および植物生育指標測定プログラムは、パノラマ合成処理で複数の生育指標画像Iに基づくことで、より精度良く合成した生育指標合成画像Isを生成できる。
 なお、上述の第4実施形態では、特徴点と対応点とに基づいて画像変換行列Mが求められたが、前記複数の生育指標画像Iそれぞれにおける緯度X、経度Y、高度Zおよび方位θに基づいて、アフィン変換を行う画像変換行列Mが求められても良い。すなわち、前記生育指標画像Iは、第1波長帯域での圃場の第1光学像を前記圃場の上方(例えば上空)から撮像する第1撮像部(例えば生育指標画像がNDVI画像である場合では可視撮像部)によって生成された第1画像、および、前記第1波長帯域と異なる第2波長帯域での前記圃場の第2光学像を前記圃場の上方(前記上空)から撮像する第2撮像部(例えば生育指標画像がNDVI画像である前記場合では赤外撮像部)によって生成された第2画像に基づいて生成され、前記複数の生育指標画像Iそれぞれは、当該生育指標画像Iを生成する際に用いられた第1および第2画像それぞれの撮像時における第1および第2撮像部の緯度X、経度Y、高度Zおよび方位θを備え、前記画像合成部は、前記複数の生育指標画像Iそれぞれについて、当該生育指標画像Iの画素位置を、当該生育指標画像Iの備える緯度X、経度Y、高度Zおよび方位θに基づくアフィン変換を行うことによって、前記生育指標合成画像Isにおける画素位置へ変換することによって前記パノラマ合成処理しても良い。
 図18は、第1変形形態におけるパノラマ合成処理を説明するための図である。図18の上段は、各生育指標画像Iを示し、図18の下図は、生育指標合成画像Isの座標系を示す。
 アフィン変換は、公知のように、線形変換と平行移動(並進)とを組み合わせた変換であり、上述の式1もしくは次式2で表される(例えば、「アフィン変換とは」、[online]、[2016年5月19日検索]、インターネット(URL:http//d.hatena.ne.jp/Zellij/20120523/p1))。
Figure JPOXMLDOC01-appb-M000002
 ここで、式2の右辺の列ベクトル(x、y)は、図18の上段に示すように、生育指標画像Iでの画素位置であり(N番目の生育指標画像Iではx=x、y=y)、列ベクトル(x’、y’)は、図18の下段に示すように、生育指標合成画像Isの座標系での画素位置を示す。式2の右辺第1項における、1行1列、1行2列、2行1列および2行2列の各成分a、b、c、dから成る2行2列の行列は、回転の変換行列R(θ)を表し、式2の右辺第2項の列ベクトル(t、t)は、並進(平行移動)の変換行列を表す。
 回転の変換行列R(θ)における各成分a、b、c、dは、方位測定部(3軸方位計)13の値θから、次式3によって与えられる(N番目の生育指標画像Iではθ=θ)。なお、撮像時の高度が基準高度と異なる場合には、回転行列R(θ)に、撮像時の高度が基準高度と同等となるように、撮像時の高度に応じたスケーリング係数が乗算される。例えば、成分aは、cosθに前記スケーリング係数を乗算した値である。
Figure JPOXMLDOC01-appb-M000003
 そして、並進(平行移動)の変換行列における各成分t、tは、生育指標合成画像Isの座標系における原点(0、0)からの距離d[m]と、水平方向(x’軸)との角度φ[rad]を、緯度Xおよび経度Yから、求め、画素数に変換することで、次式4(4-1、4-2)で与えられる。
Figure JPOXMLDOC01-appb-M000004
 ここで、pix1mは、メートル単位を画素数の単位に変換するための係数であり、例えば、実測することによって求められる。また、前記距離d[m]および角度φ[rad]の算出方法は、公知であり、次式5(5-1、5-2)によって与えられる(例えば「2地点間の距離と方位角」、[online]、[2016年5月22日検索]、インターネット(URL:http//keisan.casio.jp/exec/system/1257670779))。なお、X1およびY1は、それぞれ、A地点の緯度および経度であり、X2およびY2は、それぞれ、B地点の緯度および経度であり、rは、地球を球体とみなした赤道半径(=6378.137km)である。ここでは、A地点またはB地点が、生育指標合成画像Isの座標系における原点(0、0)となる。
d=r×arccos[sin(Y1)sin(Y2)+cos(Y1)cos(Y2)cos(X2-X1)]   ・・・(5-1)
φ=90-arctan[sin(X2-X1),cos(Y1)tan(Y2)-sin(Y1)cos(X2-X1)]   ・・・(5-2)
 また、前記画像合成部は、耕作地または前記耕作地に生育する作物に由来する幾何的な所定の目印に基づいて前記パノラマ合成処理しても良い。すなわち、前記画像合成部は、前記生育指標画像Iから前記所定の目印を抽出する目印抽出処理を行う目印抽出部と、前記抽出した所定の目印に基づいて、予め設定された所定の基準に対して前記生育指標画像Iを回転および並進する画像変換行列を求める変換行列演算処理を行う変換行列演算部と、前記変換行列演算部で求めた画像変換行列を用いて前記生育指標画像Iを画像変換する画像変換処理を行う画像変換部と、前記画像変換部で画像変換した前記生育指標画像Iを合成する合成処理を行う合成部とを備え、前記複数の生育指標画像I全てを合成するまで、前記目印抽出部によって前記目印抽出処理を行い、前記変換行列演算部によって前記変換行列演算処理を行い、前記画像変換部によって前記画像変換処理を行い、前記合成部によって前記合成処理を行うことによって前記パノラマ合成処理しても良い。前記所定の基準は、前記複数の生育指標画像I全てに共通していれば良く、任意に適宜な値に設定される。前記所定の目印は、例えば、前記耕作地における畦である。畦は、水田と水田との間の土地であり、畦には、道や水路が含まれる。また例えば、前記所定の目印は、前記耕作地に生育する稲の条、また、前記稲の条間である。前記所定の目印に対応する生育指標の値は、例えば土壌や雑草等で反射率が作物の反射率と異なるため、作物に対応する生育指標の値と異なり、一般に小さい値(低い値)となる。このため、前記所定の目印は、生育指標画像Iの中で比較的目立ち、抽出し易い。したがって、このような植物生育指標測定装置Pは、前記所定の目印に基づいてパノラマ合成処理するので、パノラマ合成処理がし易くなる。
 図19は、第2変形形態におけるパノラマ合成処理を説明するための図である。図19Aは、生育指標画像Iの一例を示し、図19Bは、図19Aにおける中央に位置する領域の画像から、エッジを検出したエッジ検出結果を示し、図19Cは、図19Bに示す画像から、直線のハフ変換によって検出された直線を示す。
 より具体的には、例えば、図17Aや図17Bに示すような、前記生育指標画像Iから、画素値が予め設定された閾値以下の画素値を持つ画素を抽出することによって、前記所定の目印として畦RPが検出される。この畦RPに基づいて、予め設定された所定の基準に対して前記生育指標画像Iを並進する並進の変換行列が求められる。
 また、直線のハフ変換によって、水田に生育する稲の条、また、前記稲の条間が検出され、これらの傾きの角度から、回転の変換行列が求められる。より詳しくは、前記生育指標画像Iに対し、エッジを検出するためのいわゆるエッジフィルタが作用され、エッジが検出される。例えば、図19Aに示す生育指標画像Iに対し、エッジを検出すると、図19Bに示すエッジが検出される。次に、このエッジの各画像から直線のハフ変換によって直線が、稲の条または前記稲の条間として検出される。例えば、図19Bに示すエッジの画像から、図19Cに示すように、複数の直線が検出される。通常、複数の直線が検出されるので、各直線の傾き角度が平均され、平均値の傾き角度と、予め設定された所定の基準角度との差が回転量とされ、回転の変換行列が求められる。
 これら求められた生育指標画像Iに対する並進の変換行列および回転の変換行列から、前記生育指標画像Iを回転および並進する画像変換行列Mが求められる。
 そして、この求めた画像変換行列Mで前記生育指標画像Iが画像変換され、この画像変換後の前記生育指標画像Iが、生育指標合成画像Is上の座標系における配置位置に配置され、これに隣接する他の前記生育指標画像Iと画像加算され、合成される。
 このような各処理が前記複数の生育指標画像I全てにつて実施され、生育指標合成画像Isが生成される。
 また、上述の第4実施形態では、植物生育指標測定装置Pは、複数の生育指標画像を画像生成装置Mから、IF部71を介して取得したが、植物生育指標測定装置Pと画像生成装置Mとは、一体に構成されても良い。すなわち、上述の第4実施形態では、前記画像取得部は、その一例としてのIF部71であったが、前記画像取得部は、第1波長帯域での第1光学像を撮像することによって第1画像を生成する第1撮像部(例えば生育指標画像がNDVI画像である場合では可視撮像部)と、前記第1波長帯域と異なる第2波長帯域での第2光学像を撮像することによって第2画像を生成する第2撮像部(例えば生育指標画像がNDVI画像である前記場合では赤外撮像部)と、前記第1および第2撮像部それぞれによって生成された、圃場の同一領域における第1および第2画像に基づいて前記生育指標画像を生成する生育指標画像生成部とを備え、前記第1および第2撮像部それぞれは、圃場の互いに異なる領域を含むように、複数の第1および第2画像を生成し、前記生育指標画像生成部は、前記複数の第1および第2画像に基づいて前記複数の生育指標画像を生成しても良い。
 あるいは、生育指標画像Iは、植物生育指標測定装置Pで生成されても良い。すなわち、前記画像取得部は、外部機器から、圃場の互いに異なる領域を含むように生成され、互いに異なる第1および第2波長帯域での複数の第1および第2画像を取得するインターフェース部と、前記インターフェース部で取得した複数の第1および第2画像に基づいて前記複数の生育指標画像を生成する生育指標画像生成部とを備えても良い。
 また、上述の第4実施形態では、画像生成装置Mは、可視画像を生成する可視撮像部65、および、赤外画像を生成する赤外撮像部66を備えたが、例えば特許第5168353号公報に開示されているように、可視画像および赤外画像を生成する1個の撮像部を備えても良い。このような可視画像および赤外画像を生成する1個の撮像部は、測定対象の光学像を所定の第3結像面上に結像する単一の第3結像光学系と、前記第3結像面に受光面を一致させて配置され、前記測定対象の光学像を電気的な信号に変換する第3イメージセンサ単一の光学系と、前記第3イメージセンサ上に配置されたR/G/B/Ir、あるいは、W/Y/R/Irとを備えて構成される。前記Rは、主に赤色光を透過させるフィルタであり、前記Gは、主に緑色光を透過させるフィルタであり、前記Bは、主に青色光を透過させるフィルタであり、そして、前記Irは、主に赤外光を透過させるフィルタである。前記Wは、主に白色光を透過させるフィルタであり、前記Yは、主に黄色光を透過させるフィルタである。
 また、上述の第4実施形態において、画像生成装置Mが等速直線運動している場合には、並進量の変動は、少ないので、並進量は、予め設定された所定の固定値とされ、画像から求めなくても良い。
 本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
 一態様にかかる植物生育指標測定装置は、植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像、を生成する植物生育指標測定装置であって、所定の時間間隔で画像を生成する画像生成部と、前記画像を記憶する画像記憶部と、前記生育指標を求めるために有意な画像のみを前記画像記憶部に記憶するように、前記画像生成部で生成された画像を前記画像記憶部に記憶するか否かを判定する判定処理を行う画像判定部と、前記画像判定部で前記画像記憶部に記憶すると判定された場合のみ、前記画像生成部で生成された画像を前記画像記憶部に記憶する画像記憶制御部とを備える。
 このような植物生育指標測定装置は、前記画像生成部で生成された画像のうち、画像判定部で、前記生育指標を求めるために有意な画像として、前記画像記憶部に記憶すると判定された画像のみ、前記画像記憶部に記憶するので、前記画像記憶部の記憶容量をより低減でき、合成の処理における効率の低下をより抑制できる。
 他の一態様では、上述の植物生育指標測定装置において、前記画像生成部で生成された画像に基づいて、前記圃場に生育する作物の条または条間に応じた周波数を求める画像周波数処理部をさらに備え、前記画像判定部は、前記画像周波数処理部で求めた周波数に基づいて、前記判定処理を行う。好ましくは、上述の植物生育指標測定装置において、前記画像判定部は、前記判定処理として、前記画像周波数処理部で求めた周波数が、所定の撮像高度で撮像した画像に写る前記条または前記条間に応じた周波数(撮像高度対応周波数)に、所定の第1マージンの範囲内で一致するか否かを判定し、前記一致する場合を前記画像記憶部に記憶する場合と判定する。好ましくは、上述の植物生育指標測定装置において、前記画像周波数処理部は、前記画像生成部で生成された画像からエッジを検出し、前記エッジを検出した画像から直線のハフ変換によって複数の直線を前記条または前記条間として求め、前記求めた複数の直線の間隔から前記周波数を求める。
 このような植物生育指標測定装置は、前記画像生成部で生成された画像に基づいて求められた、前記圃場に生育する作物の条または条間に応じた周波数に基づいて、前記判定処理を行うので、前記画像生成部で生成された画像で前記判定処理を実施できる。
 他の一態様では、上述の植物生育指標測定装置において、前記画像生成部で生成された画像に基づいて、前記生育指標を求める生育指標処理部をさらに備え、前記画像判定部は、前記生育指標処理部で求めた生育指標に基づいて、前記判定処理を行う。好ましくは、上述の植物生育指標測定装置において、前記画像生成部は、可視画像を生成する可視撮像部と、近赤外画像を生成する赤外撮像部とを備え、前記生育指標処理部は、前記画像生成部の可視撮像部および赤外撮像部それぞれで生成された可視画像および近赤外画像に基づいて、前記生育指標の一例に相当するNDVIを表した画素値を持つNDVI画像を求め、前記画像判定部は、前記判定処理として、前記生育指標処理部で求めたNDVI画像において、所定の第1閾値以下の画素値を持つ画素の総数が所定の第2閾値以上であるか否かを判定し、前記第2閾値以上ではない場合を前記画像記憶部に記憶する場合と判定する。
 このような植物生育指標測定装置は、前記画像生成部で生成された画像に基づいて求められた、前記生育指標に基づいて、前記判定処理を行うので、前記画像生成部で生成された画像で前記判定処理を実施できる。
 他の一態様では、上述の植物生育指標測定装置において、前記画像生成部で生成された画像に基づいて、太陽の写り込みを検出する太陽写込検出部をさらに備え、前記画像判定部は、前記太陽写込検出部の検出結果に基づいて、前記判定処理を行う。好ましくは、上述の植物生育指標測定装置において、前記太陽写込検出部は、前記画像生成部で生成された画像から、画素値が飽和した画素領域のサイズ(広さ、画素数)を求め、前記求めたサイズが所定の第3閾値以上である画素領域を前記太陽の写り込みとして検出し、前記画像判定部は、前記太陽写込検出部が前記太陽の写り込みを検出しない場合を前記画像記憶部に記憶する場合と判定する。
 このような植物生育指標測定装置は、前記画像生成部で生成された画像に基づく前記太陽写込検出部の検出結果に基づいて、前記判定処理を行うので、前記画像生成部で生成された画像で前記判定処理を実施できる。
 他の一態様では、上述の植物生育指標測定装置において、自機の高度、方位、速度および加速度のうちの少なくとも1つを測定する自機状態測定部と、前記画像生成部、前記画像記憶部、前記画像判定部、前記画像記憶制御部および前記自機状態測定部を搭載し、大気中を飛行する航空機とをさらに備え、前記画像判定部は、前記自機状態測定部の測定結果に基づいて、前記判定処理を行う。好ましくは、上述の植物生育指標測定装置において、前記自機状態測定部は、高度を測定する高度測定部を備え、前記画像判定部は、前記判定処理として、前記自機状態測定部で測定された高度が、所定の第4閾値以上であるか否かを判定し、前記第4閾値以上である場合を前記画像記憶部に記憶する場合と判定する。好ましくは、上述の植物生育指標測定装置において、前記自機状態測定部は、方位を測定する方位測定部を備え、前記画像判定部は、前記自機状態測定部で測定された方位が、所定の方位(例えば圃場の輪郭における長辺に沿った方向で九十九折りに往復しながら前記画像を生成する場合に前記長辺の方位等)に、所定の第2マージンの範囲内で一致するか否かを判定し、前記一致する場合を前記画像記憶部に記憶する場合と判定する。好ましくは、上述の植物生育指標測定装置において、前記自機状態測定部は、速度を測定する速度測定部を備え、前記画像判定部は、前記判定処理として、前記自機状態測定部で測定された速度が、所定の第5閾値以上であるか否かを判定し、前記第5閾値以上である場合を前記画像記憶部に記憶する場合と判定する。好ましくは、上述の植物生育指標測定装置において、前記自機状態測定部は、加速度を測定する加速度測定部を備え、前記画像判定部は、前記判定処理として、前記自機状態測定部で測定された加速度が、所定の第6閾値以上であるか否かを判定し、前記第6閾値以上ではない場合を前記画像記憶部に記憶する場合と判定する。好ましくは、上述の植物生育指標測定装置において、前記自機状態測定部は、自機の高度、方位、速度および加速度のうちの複数を測定し、前記画像判定部は、前記自機状態測定部における複数の測定結果それぞれついて、当該測定結果に基づいて前記判定処理を行い、前記複数の測定結果それぞれについての各判定処理の各判定処理結果のANDによって、前記画像記憶部に記憶するか否かを判定する。
 自機の高度に基づいて前記判定処理を行う場合、上記植物生育指標測定装置は、自機の上昇中または降下中に生成された画像の記憶が低減できる。自機の方位に基づいて前記判定処理を行う場合、上記植物生育指標測定装置は、自機の折り返し中に生成された画像の記憶が低減できる。自機の速度に基づいて前記判定処理を行う場合、上記植物生育指標測定装置は、自機のホバリング中に生成された画像の記憶が低減できる。自機の加速度に基づいて前記判定処理を行う場合、上記植物生育指標測定装置は、自機のホバリング中の振動による加速度で前記ホバリングを検出できるから、前記ホバリング中に生成された画像の記憶が低減できる。
 他の一態様では、上述の植物生育指標測定装置において、自機の位置を測定する位置測定部と、前記圃場の所在領域を表す圃場領域情報を記憶する圃場領域情報記憶部とをさらに備え、前記画像判定部は、前記位置測定部で測定された自機の位置および前記圃場領域情報記憶部に記憶された圃場領域情報に基づいて、前記判定処理を行う。好ましくは、上述の植物生育指標測定装置において、前記画像判定部は、前記判定処理として、前記位置測定部で測定された自機の位置が、前記圃場領域情報記憶部に記憶された圃場領域情報で表される前記圃場の所在領域内であるか否かを判定し、前記圃場の所在領域内である場合を前記画像記憶部に記憶する場合と判定する。
 このような植物生育指標測定装置は、圃場の上空で撮像して生成した画像のみを確実に画像記憶部に記憶できる。
 他の一態様では、上述の植物生育指標測定装置において、前記画像記憶制御部は、さらに、前記画像判定部で前記画像記憶部に記憶しないと判定された場合に、前記画像生成部で生成された画像であって前記画像判定部で前記画像記憶部に記憶しないと判定された前記画像を指し示す所定の情報を非記憶画像情報として前記画像記憶部に記憶する。好ましくは、上述の植物生育指標測定装置において、自機の位置を測定する位置測定部をさらに備え、前記画像記憶制御部は、前記画像生成部で生成された画像であって前記画像判定部で前記画像記憶部に記憶しないと判定された前記画像を前記画像生成部で生成した際の前記位置測定部で測定された自機の位置を、前記非記憶画像情報として前記画像記憶部に記憶する。
 このような植物生育指標測定装置は、前記画像記憶部に記憶しないと判定された画像の非記憶画像情報を記憶するので、前記画像記憶部に記憶しないと判定された画像のみを、後に取り直すことができる。
 他の一態様にかかる植物生育指標測定方法は、測定対象の圃場を上方から撮像した画像に基づいて、植物における生育の度合いを表す生育指標を求める植物生育指標測定方法であって、所定の時間間隔で画像を生成する画像生成工程と、前記生育指標を求めるために有意な画像のみを画像記憶部に記憶するように、前記画像生成工程で生成された画像を前記画像記憶部に記憶するか否かを判定する判定処理を行う画像判定工程と、前記画像判定工程で前記画像記憶部に記憶すると判定された場合のみ、前記画像生成工程で生成された画像を前記画像記憶部に記憶する画像記憶制御工程とを備える。
 このような植物生育指標測定方法は、前記画像生成工程で生成された画像のうち、画像判定工程で、前記生育指標を求めるために有意な画像として、前記画像記憶部に記憶すると判定された画像のみ、前記画像記憶部に記憶するので、前記画像記憶部の記憶容量をより低減でき、合成の処理における効率の低下をより抑制できる。
 他の一態様にかかる植物生育指標測定プログラムは、測定対象の圃場を上方から所定の時間間隔で撮像した複数の画像に基づいて、植物における生育の度合いを表す生育指標を求める植物生育指標測定プログラムであって、コンピュータに、前記所定の時間間隔で撮像した複数の画像に対し、前記生育指標を求めるために有意な画像のみを画像記憶部に記憶するように、前記画像生成工程で生成された画像を前記画像記憶部に記憶するか否かを判定する判定処理を行う画像判定工程と、前記画像判定工程で前記画像記憶部に記憶すると判定された場合のみ、前記画像生成工程で生成された画像を前記画像記憶部に記憶する画像記憶制御工程とを実行させるための植物生育指標測定プログラムである。
 このような植物生育指標測定プログラムは、前記所定の時間間隔で撮像した複数の画像のうち、画像判定工程で、前記生育指標を求めるために有意な画像として、前記画像記憶部に記憶すると判定された画像のみ、前記画像記憶部に記憶するので、前記画像記憶部の記憶容量をより低減でき、合成の処理における効率の低下をより抑制できる。
 一態様にかかる植物生育指標測定装置は、植物における生育の度合いを表す生育指標を表した画像値の画素で構成された複数の生育指標画像であって、圃場の互いに異なる領域を含むように生成された、互いに異なる前記複数の生育指標画像を取得する画像取得部と、前記画像取得部で所得された複数の生育指標画像を、パノラマ合成処理することによって1個の生育指標合成画像を生成する画像合成部とを備える。好ましくは、上述の植物生育指標測定装置において、前記画像取得部は、第1波長帯域での第1光学像を撮像することによって第1画像を生成する第1撮像部と、前記第1波長帯域と異なる第2波長帯域での第2光学像を撮像することによって第2画像を生成する第2撮像部と、前記第1および第2撮像部それぞれによって生成された、圃場の同一領域における第1および第2画像に基づいて前記生育指標画像を生成する生育指標画像生成部とを備え、前記第1および第2撮像部それぞれは、圃場の互いに異なる領域を含むように、複数の第1および第2画像を生成し、前記生育指標画像生成部は、前記複数の第1および第2画像に基づいて前記複数の生育指標画像を生成する。好ましくは、上述の植物生育指標測定装置において、前記画像取得部は、外部機器から、前記複数の生育指標画像を取得するインターフェース部である。好ましくは、上述の植物生育指標測定装置において、前記画像取得部は、外部機器から、圃場の互いに異なる領域を含むように生成され、互いに異なる第1および第2波長帯域での複数の第1および第2画像を取得するインターフェース部と、前記インターフェース部で取得した複数の第1および第2画像に基づいて前記複数の生育指標画像を生成する生育指標画像生成部とを備える。好ましくは、上述の植物生育指標測定装置において、前記画像合成部は、前記複数の生育指標画像における互いに隣接する2個の第Aおよび第B画像を選定し、前記選定した第Aおよび第B画像間で複数の対応点を抽出する対応点探索処理を行う対応点探索部と、前記対応点探索部で抽出された複数の対応点に基づいて、前記第A画像に前記第B画像が連続するように前記第B画像を回転および並進する画像変換行列を求める変換行列演算処理を行う変換行列演算部と、前記変換行列演算部で求めた画像変換行列を用いて前記第B画像を画像変換する画像変換処理を行う画像変換部と、前記第A画像と前記画像変換部で画像変換した前記第B画像とを合成する合成処理を行う合成部とを備え、前記複数の生育指標画像全てを合成するまで、前記対応点探索部によって前記対応点探索処理を行い、前記変換行列演算部によって前記変換行列演算処理を行い、前記画像変換部によって前記画像変換処理を行い、前記合成部によって前記合成処理を行うことによって前記パノラマ合成処理する。好ましくは、上述の植物生育指標測定装置において、前記生育指標画像は、第1波長帯域での圃場の第1光学像を前記圃場の上方(例えば上空)から撮像する第1撮像部によって生成された第1画像、および、前記第1波長帯域と異なる第2波長帯域での前記圃場の第2光学像を前記圃場の上方(前記上空)から撮像する第2撮像部によって生成された第2画像に基づいて生成され、前記複数の生育指標画像それぞれは、当該生育指標画像を生成する際に用いられた第1および第2画像それぞれの撮像時における第1および第2撮像部の緯度、経度、高度および方位を備え、前記画像合成部は、前記複数の生育指標画像それぞれについて、当該生育指標画像の画素位置を、当該生育指標画像の備える緯度、経度、高度および方位に基づくアフィン変換を行うことによって、前記生育指標合成画像における画素位置へ変換することによって前記パノラマ合成処理する。
 本発明者は、圃場における個々の作物が均一に生育することは少ないため、生育指標画像は、可視画像や近赤外画像と比較すると、コントラストが高く、繋ぎ合わせ基準点の抽出がし易いことを見出した。そして、本発明者は、生育指標画像が波長帯域の異なる複数の画像に基づいて生成するので、生育指標画像は、可視画像や近赤外画像と比較すると、露出差が少ないことを見出した。したがって、上記植物生育指標測定装置は、可視画像や近赤外画像では無く、複数の生育指標画像をパノラマ合成処理するので、より精度良く合成した生育指標合成画像を生成できる。
 他の一態様では、上述の植物生育指標測定装置において、前記画像合成部は、耕作地または前記耕作地に生育する作物に由来する幾何的な所定の目印に基づいて前記パノラマ合成処理する。好ましくは、上述の植物生育指標測定装置において、前記所定の目印は、前記耕作地における畦である。畦は、水田と水田との間の土地であり、畦には、道や水路が含まれる。好ましくは、上述の植物生育指標測定装置において、前記所定の目印は、前記耕作地に生育する稲の条、また、前記稲の条間である。好ましくは、上述の植物生育指標測定装置において、前記画像合成部は、前記生育指標画像から前記所定の目印を抽出する目印抽出処理を行う目印抽出部と、前記抽出した所定の目印に基づいて、予め設定された所定の基準に対して前記生育指標画像を回転および並進する画像変換行列を求める変換行列演算処理を行う変換行列演算部と、前記変換行列演算部で求めた画像変換行列を用いて前記生育指標画像を画像変換する画像変換処理を行う画像変換部と、前記画像変換部で画像変換した前記生育指標画像を合成する合成処理を行う合成部とを備え、前記複数の生育指標画像全てを合成するまで、前記目印抽出部によって前記目印抽出処理を行い、前記変換行列演算部によって前記変換行列演算処理を行い、前記画像変換部によって前記画像変換処理を行い、前記合成部によって前記合成処理を行うことによって前記パノラマ合成処理する。
 前記所定の目印に対応する生育指標の値は、作物に対応する生育指標の値と異なり、一般に小さい値(低い値)となるため、前記所定の目印は、生育指標画像の中で比較的目立ち、抽出し易い。このため、上記植物生育指標測定装置は、前記所定の目印に基づいてパノラマ合成処理するので、パノラマ合成処理がし易くなる。
 他の一態様にかかる植物生育指標測定方法は、植物における生育の度合いを表す生育指標を表した画像値の画素で構成された複数の生育指標画像であって、圃場の互いに異なる領域を含むように生成された、互いに異なる前記複数の生育指標画像を取得する画像取得工程と、前記画像取得工程で所得された複数の生育指標画像を、パノラマ合成処理することによって1個の生育指標合成画像を生成する画像合成工程を備える。
 他の一態様にかかる植物生育指標測定プログラムは、コンピュータに、植物における生育の度合いを表す生育指標を表した画像値の画素で構成された複数の生育指標画像であって、圃場の互いに異なる領域を含むように生成された、互いに異なる前記複数の生育指標画像を取得する画像取得工程と、前記画像取得工程で所得された複数の生育指標画像を、パノラマ合成処理することによって1個の生育指標合成画像を生成する画像合成工程とを実行させるためのプログラムである。
 このような植物生育指標測定方法および植物生育指標測定プログラムは、可視画像や近赤外画像では無く、複数の生育指標画像をパノラマ合成処理するので、より精度良く合成した生育指標合成画像を生成できる。
 他の一態様にかかる植物生育指標測定システムは、画像生成装置と、植物生育指標測定装置とを備える植物生育指標測定システムであって、前記画像生成装置は、植物における生育の度合いを表す生育指標を表した画像値の画素で構成された複数の生育指標画像であって、圃場の互いに異なる領域を含むように、互いに異なる前記複数の生育指標画像を生成し、前記植物生育指標測定装置は、これら上述のいずれかの植物生育指標測定装置である。
 このような植物生育指標測定システムは、これら上述のいずれかの植物生育指標測定装置を用いるので、より精度良く合成した生育指標合成画像を生成できる。
 この出願は、2016年6月22日に出願された日本国特許出願特願2016-123432と2016年6月22日に出願された日本国特許出願特願2016-123433とを基礎とするものであり、その内容は、本願に含まれるものである。
 本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
 本発明によれば、植物における生育の度合いを表す生育指標を求める植物生育指標測定装置、植物生育指標測定方法および植物生育指標測定プログラムが提供できる。
 

Claims (14)

  1.  植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像、を生成する植物生育指標測定装置であって、
     所定の時間間隔で画像を生成する画像生成部と、
     前記画像を記憶する画像記憶部と、
     前記生育指標を求めるために有意な画像のみを前記画像記憶部に記憶するように、前記画像生成部で生成された画像を前記画像記憶部に記憶するか否かを判定する判定処理を行う画像判定部と、
     前記画像判定部で前記画像記憶部に記憶すると判定された場合のみ、前記画像生成部で生成された画像を前記画像記憶部に記憶する画像記憶制御部とを備える、
     植物生育指標測定装置。
  2.  前記画像生成部で生成された画像に基づいて、前記圃場に生育する作物の条または条間に応じた周波数を求める画像周波数処理部をさらに備え、
     前記画像判定部は、前記画像周波数処理部で求めた周波数に基づいて、前記判定処理を行う、
     請求項1に記載の植物生育指標測定装置。
  3.  前記画像生成部で生成された画像に基づいて、前記生育指標を求める生育指標処理部をさらに備え、
     前記画像判定部は、前記生育指標処理部で求めた生育指標に基づいて、前記判定処理を行う、
     請求項1に記載の植物生育指標測定装置。
  4.  前記画像生成部で生成された画像に基づいて、太陽の写り込みを検出する太陽写込検出部をさらに備え、
     前記画像判定部は、前記太陽写込検出部の検出結果に基づいて、前記判定処理を行う、
     請求項1に記載の植物生育指標測定装置。
  5.  自機の高度、方位、速度および加速度のうちの少なくとも1つを測定する自機状態測定部と、
     前記画像生成部、前記画像記憶部、前記画像判定部、前記画像記憶制御部および前記自機状態測定部を搭載し、大気中を飛行する航空機とをさらに備え、
     前記画像判定部は、前記自機状態測定部の測定結果に基づいて、前記判定処理を行う、
     請求項1に記載の植物生育指標測定装置。
  6.  自機の位置を測定する位置測定部と、
     前記圃場の所在領域を表す圃場領域情報を記憶する圃場領域情報記憶部とをさらに備え、
     前記画像判定部は、前記位置測定部で測定された自機の位置および前記圃場領域情報記憶部に記憶された圃場領域情報に基づいて、前記判定処理を行う、
     請求項1に記載の植物生育指標測定装置。
  7.  前記画像記憶制御部は、さらに、前記画像判定部で前記画像記憶部に記憶しないと判定された場合に、前記画像生成部で生成された画像であって前記画像判定部で前記画像記憶部に記憶しないと判定された前記画像を指し示す所定の情報を非記憶画像情報として前記画像記憶部に記憶する、
     請求項1ないし請求項6のいずれか1項に記載の植物生育指標測定装置。
  8.  測定対象の圃場を上方から撮像した画像に基づいて、植物における生育の度合いを表す生育指標を求める植物生育指標測定方法であって、
     所定の時間間隔で画像を生成する画像生成工程と、
     前記生育指標を求めるために有意な画像のみを画像記憶部に記憶するように、前記画像生成工程で生成された画像を前記画像記憶部に記憶するか否かを判定する判定処理を行う画像判定工程と、
     前記画像判定工程で前記画像記憶部に記憶すると判定された場合のみ、前記画像生成工程で生成された画像を前記画像記憶部に記憶する画像記憶制御工程とを備える、
     植物生育指標測定方法。
  9.  測定対象の圃場を上方から所定の時間間隔で撮像した複数の画像に基づいて、植物における生育の度合いを表す生育指標を求める植物生育指標測定プログラムであって、
     コンピュータに、
     前記所定の時間間隔で撮像した複数の画像に対し、前記生育指標を求めるために有意な画像のみを画像記憶部に記憶するように、前記画像生成工程で生成された画像を前記画像記憶部に記憶するか否かを判定する判定処理を行う画像判定工程と、
     前記画像判定工程で前記画像記憶部に記憶すると判定された場合のみ、前記画像生成工程で生成された画像を前記画像記憶部に記憶する画像記憶制御工程と
     を実行させるための植物生育指標測定プログラム。
  10.  植物における生育の度合いを表す生育指標を表した画像値の画素で構成された複数の生育指標画像であって、圃場の互いに異なる領域を含むように生成された、互いに異なる前記複数の生育指標画像を取得する画像取得部と、
     前記画像取得部で所得された複数の生育指標画像を、パノラマ合成処理することによって1個の生育指標合成画像を生成する画像合成部とを備える、
     植物生育指標測定装置。
  11.  前記画像合成部は、耕作地または前記耕作地に生育する作物に由来する幾何的な所定の目印に基づいて前記パノラマ合成処理する、
     請求項10に記載の植物生育指標測定装置。
  12.  植物における生育の度合いを表す生育指標を表した画像値の画素で構成された複数の生育指標画像であって、圃場の互いに異なる領域を含むように生成された、互いに異なる前記複数の生育指標画像を取得する画像取得工程と、
     前記画像取得工程で所得された複数の生育指標画像を、パノラマ合成処理することによって1個の生育指標合成画像を生成する画像合成工程を備える、
     植物生育指標測定方法。
  13.  コンピュータに、
     植物における生育の度合いを表す生育指標を表した画像値の画素で構成された複数の生育指標画像であって、圃場の互いに異なる領域を含むように生成された、互いに異なる前記複数の生育指標画像を取得する画像取得工程と、
     前記画像取得工程で所得された複数の生育指標画像を、パノラマ合成処理することによって1個の生育指標合成画像を生成する画像合成工程と
     を実行させるための植物生育指標測定プログラム。
  14.  画像生成装置と、植物生育指標測定装置とを備える植物生育指標測定システムであって、
     前記画像生成装置は、植物における生育の度合いを表す生育指標を表した画像値の画素で構成された複数の生育指標画像であって、圃場の互いに異なる領域を含むように、互いに異なる前記複数の生育指標画像を生成し、
     前記植物生育指標測定装置は、請求項10または請求項11に記載の植物生育指標測定装置である、
     植物生育指標測定システム。
     
PCT/JP2017/020022 2016-06-22 2017-05-30 植物生育指標測定装置、該方法および該プログラム WO2017221641A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018523632A JP6981408B2 (ja) 2016-06-22 2017-05-30 植物生育指標測定装置、該方法および該プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-123432 2016-06-22
JP2016123433 2016-06-22
JP2016-123433 2016-06-22
JP2016123432 2016-06-22

Publications (1)

Publication Number Publication Date
WO2017221641A1 true WO2017221641A1 (ja) 2017-12-28

Family

ID=60784449

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020022 WO2017221641A1 (ja) 2016-06-22 2017-05-30 植物生育指標測定装置、該方法および該プログラム

Country Status (2)

Country Link
JP (1) JP6981408B2 (ja)
WO (1) WO2017221641A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208537A1 (ja) * 2018-04-25 2019-10-31 株式会社Nttドコモ 情報処理装置
WO2020044628A1 (ja) * 2018-08-29 2020-03-05 コニカミノルタ株式会社 圃場撮影システムおよび圃場撮影方法
CN111024710A (zh) * 2019-12-17 2020-04-17 江苏恒宝智能系统技术有限公司 一种农作物异常检测系统及方法
JP2021511593A (ja) * 2018-01-23 2021-05-06 エックス デベロップメント エルエルシー 画像における作物境界検出
JP2022528260A (ja) * 2019-04-09 2022-06-09 豊疆智能科技股▲ふん▼有限公司 農業刈り作業機械のための画像収集装置及びその処理方法
JP7525996B2 (ja) 2019-12-19 2024-07-31 キヤノンマーケティングジャパン株式会社 システム、プログラム及びシステムの制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339238A (ja) * 2002-05-28 2003-12-02 Satake Corp 作物の生育診断方法及びその装置
JP2006250827A (ja) * 2005-03-11 2006-09-21 Pasuko:Kk 作物の生育状況分析方法
JP2009176163A (ja) * 2008-01-25 2009-08-06 Hitachi Software Eng Co Ltd 区画データ作成システム
JP2011204121A (ja) * 2010-03-26 2011-10-13 Pasuko:Kk 単画像の生成方法
US20150278640A1 (en) * 2014-03-26 2015-10-01 FI2 Solutions, LLC Crop stand analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339238A (ja) * 2002-05-28 2003-12-02 Satake Corp 作物の生育診断方法及びその装置
JP2006250827A (ja) * 2005-03-11 2006-09-21 Pasuko:Kk 作物の生育状況分析方法
JP2009176163A (ja) * 2008-01-25 2009-08-06 Hitachi Software Eng Co Ltd 区画データ作成システム
JP2011204121A (ja) * 2010-03-26 2011-10-13 Pasuko:Kk 単画像の生成方法
US20150278640A1 (en) * 2014-03-26 2015-10-01 FI2 Solutions, LLC Crop stand analysis

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403846B2 (en) 2018-01-23 2022-08-02 X Development Llc Crop boundary detection in images
JP2022126671A (ja) * 2018-01-23 2022-08-30 エックス デベロップメント エルエルシー 画像における作物境界検出
JP7083910B2 (ja) 2018-01-23 2022-06-13 エックス デベロップメント エルエルシー 画像における作物境界検出
JP2021511593A (ja) * 2018-01-23 2021-05-06 エックス デベロップメント エルエルシー 画像における作物境界検出
JPWO2019208537A1 (ja) * 2018-04-25 2021-06-10 株式会社Nttドコモ 情報処理装置
WO2019208537A1 (ja) * 2018-04-25 2019-10-31 株式会社Nttドコモ 情報処理装置
JP7299213B2 (ja) 2018-04-25 2023-06-27 株式会社Nttドコモ 情報処理装置
US11763441B2 (en) 2018-04-25 2023-09-19 Ntt Docomo, Inc. Information processing apparatus
JPWO2020044628A1 (ja) * 2018-08-29 2021-09-24 コニカミノルタ株式会社 圃場撮影システムおよび圃場撮影方法
WO2020044628A1 (ja) * 2018-08-29 2020-03-05 コニカミノルタ株式会社 圃場撮影システムおよび圃場撮影方法
JP2022528260A (ja) * 2019-04-09 2022-06-09 豊疆智能科技股▲ふん▼有限公司 農業刈り作業機械のための画像収集装置及びその処理方法
JP7397880B2 (ja) 2019-04-09 2023-12-13 豊疆智能科技股▲ふん▼有限公司 農業刈り作業機械のための画像収集装置及びその処理方法
CN111024710A (zh) * 2019-12-17 2020-04-17 江苏恒宝智能系统技术有限公司 一种农作物异常检测系统及方法
CN111024710B (zh) * 2019-12-17 2022-04-08 江苏恒宝智能系统技术有限公司 一种农作物异常检测系统及方法
JP7525996B2 (ja) 2019-12-19 2024-07-31 キヤノンマーケティングジャパン株式会社 システム、プログラム及びシステムの制御方法

Also Published As

Publication number Publication date
JP6981408B2 (ja) 2021-12-15
JPWO2017221641A1 (ja) 2019-04-11

Similar Documents

Publication Publication Date Title
WO2017221641A1 (ja) 植物生育指標測定装置、該方法および該プログラム
Deng et al. UAV-based multispectral remote sensing for precision agriculture: A comparison between different cameras
Shi et al. Unmanned aerial vehicles for high-throughput phenotyping and agronomic research
US9945828B1 (en) Airborne multispectral imaging system with integrated navigation sensors and automatic image stitching
De Oca et al. Low-cost multispectral imaging system for crop monitoring
Huang et al. Multispectral imaging systems for airborne remote sensing to support agricultural production management
Lucieer et al. HyperUAS—Imaging spectroscopy from a multirotor unmanned aircraft system
Xiang et al. Method for automatic georeferencing aerial remote sensing (RS) images from an unmanned aerial vehicle (UAV) platform
Berni et al. Thermal and narrowband multispectral remote sensing for vegetation monitoring from an unmanned aerial vehicle
JP6996560B2 (ja) 作物栽培支援装置
CA2957081A1 (en) Methods for agronomic and agricultural monitoring using unmanned aerial systems
JP6507927B2 (ja) 植物生育指標測定装置、該方法および該プログラム
CN108414454A (zh) 一种植物三维结构及光谱信息的同步测量系统及测量方法
Gautam et al. Footprint determination of a spectroradiometer mounted on an unmanned aircraft system
WO2019082519A1 (ja) 情報処理装置、情報処理方法、プログラム、情報処理システム
Torres-Sánchez et al. Imagery from unmanned aerial vehicles for early site specific weed management
Lan et al. Development of an airborne remote sensing system for crop pest management: system integration and verification
US20240166349A1 (en) Methods and Systems for Cloud-Based Management of Images Captured by Aerial Vehicles
AU2022439107A1 (en) Systems and methods for multispectral landscape mapping
Selsam et al. Acquisition and automated rectification of high-resolution RGB and near-IR aerial photographs to estimate plant biomass and surface topography in arid agro-ecosystems
JP2003083745A (ja) 航空機搭載撮像装置および航空撮像データ処理装置
WO2020179276A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
Petro et al. Aerial mapping of rice crops using mosaicing techniques for vegetative index monitoring
US20240044645A1 (en) Apparatus and method for area mapping
Barbieux et al. Correction of airborne pushbroom images orientation using bundle adjustment of frame images

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018523632

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17815110

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17815110

Country of ref document: EP

Kind code of ref document: A1