WO2020075868A1 - 圃場画像分析方法 - Google Patents

圃場画像分析方法 Download PDF

Info

Publication number
WO2020075868A1
WO2020075868A1 PCT/JP2019/040454 JP2019040454W WO2020075868A1 WO 2020075868 A1 WO2020075868 A1 WO 2020075868A1 JP 2019040454 W JP2019040454 W JP 2019040454W WO 2020075868 A1 WO2020075868 A1 WO 2020075868A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
field
image
drone
camera
Prior art date
Application number
PCT/JP2019/040454
Other languages
English (en)
French (fr)
Inventor
千大 和氣
洋 柳下
西片　丈晴
Original Assignee
株式会社ナイルワークス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ナイルワークス filed Critical 株式会社ナイルワークス
Priority to JP2020511545A priority Critical patent/JP6887142B2/ja
Publication of WO2020075868A1 publication Critical patent/WO2020075868A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment

Definitions

  • the present invention relates to a processing method and a program for analyzing a growing situation of an image of a field, particularly an image of a field photographed by a drone.
  • the present invention is an acquisition step of acquiring image data of a field photographed by a camera mounted on a drone, and correcting the image data according to a relative position of the sun and the camera at the time of photographing by the camera or a state of sunlight.
  • the problem is solved by providing a field image analysis method including a correction step for performing the above-described correction and an analysis step for analyzing the growth status of a crop in the field based on the corrected image data.
  • the present invention provides the field image analysis method according to paragraph 0007, wherein in the correction step, the light amount of the image data is corrected according to the relative angle between the irradiation direction of sunlight and the shooting direction of the camera. This solves the above problem.
  • the image data is acquired by being photographed toward the backlight side or the backlight side image data obtained by photographing the camera toward the sunshine side with respect to the sun.
  • the problem is solved by providing the field image analysis method described in paragraph 0007, in which the correction amount of the image data used for the analysis in the analysis step is changed based on the backlit image data.
  • the forward-light side image data obtained by photographing the camera toward the forward light side with respect to the sun from the image data used for the analysis in the analyzing step, or the backlight light image is obtained.
  • the problem is solved by providing the field image analysis method described in paragraph 0007, which excludes the backlight-side image data captured and acquired toward the side.
  • the correction step it is determined whether the image data is the forward-light side image data or the backlight-side image data based on the position and time of the drone when the image data was captured, paragraph 0008.
  • the above problem is solved by providing the described field image analysis method.
  • the present invention solves the above problem by providing the field image analysis method according to paragraph 0012, wherein the correction step estimates the proportion of the direct light in accordance with the light amount of the image data.
  • the present invention provides the field image analysis method according to paragraph 0012, wherein, in the correction step, the proportion of direct light in the incident light is estimated based on the size of the contrast of the shadow of the object in the image data.
  • the invention of the present application in the correcting step, based on an image of a camera that shoots in the sky direction, estimates the proportion of the direct light in all the incident light that enters the camera at the time of shooting, the field image according to paragraph 0012.
  • the altitude of the sun at the time of photographing is estimated based on the position of the shadow of the drone in the field image, and the image data is corrected according to the estimated altitude of the sun.
  • the problem is solved by providing the field image analysis method described in 0007.
  • the present invention solves the above-mentioned problems by providing the field image analysis method according to paragraph 0016, wherein in the correction step, the position of the shadow of the drone is measured during turning.
  • the present invention provides the field image analysis method according to Paragraph 0007, which includes a drug amount adjusting step of adjusting the amount of drug spraying of the drone based on the analysis result of the image data, thereby solving the above problems. Solve.
  • the present invention provides a method for analyzing a field image according to paragraph 0018, which includes a position adjusting step of adjusting a position or a direction of the camera or a position or a direction of a medicine spraying nozzle according to a flight degree of the drone.
  • the present invention provides the field image analysis method according to paragraphs 0007 to 0019, wherein the analysis step includes a step of excluding a region in which reflectance of near-infrared rays is a predetermined value or more from the image data. This solves the above problem.
  • an image data acquisition unit for acquiring image data of a field photographed by a camera mounted on a drone, and the relative position of the sun and the camera at the time of photographing by the camera or the state of the sunlight depending on the state.
  • the problem is solved by providing a field image analysis system that includes an image data correction unit that corrects image data, and an image analysis unit that analyzes the growth state of crops in the field based on the corrected image data.
  • the present invention provides the field image analysis system according to paragraph 0021, wherein the image data correction unit corrects the light amount of the image data according to a relative angle between the irradiation direction of sunlight and the shooting direction of the camera.
  • the image data correction unit is configured such that the image data is obtained as forward light side image data obtained by taking the camera toward a forward light side with respect to the sun, or a back light side taken toward a back light side.
  • the image data correction unit obtains forward light side image data obtained by photographing the camera toward the forward light side with respect to the sun from the image data used for analysis in the image analysis unit.
  • the above problem can be solved by providing the field image analysis system according to paragraph 0021 that excludes the backlight side image data captured and acquired toward the backlight side.
  • the image data correction unit determines whether the image data is the forward light side image data or the back light side image data based on the position and time of the drone when the image data was captured, paragraph
  • the above problem is solved by providing the field image analysis system described in 0023.
  • the field image analysis system according to claim 15, wherein the image data correction unit changes the correction content of the image data according to a ratio of direct light directly incident on the camera from the sun to all incident light.
  • the image data correction unit estimates the altitude of the sun at the time of shooting based on the position of the shadow of the drone in the field image, and corrects the image data according to the estimated altitude of the sun.
  • the problem is solved by providing a field image analysis system according to claim 15.
  • the present invention solves the above problem by providing the field image analysis system according to claim 23, wherein the image data correction unit measures the position of the shadow of the drone during turning.
  • the present invention provides the field image analysis system according to claim 15, further comprising a drug amount adjustment unit that adjusts the amount of drug spraying of the drone based on an analysis result of the image data. To solve.
  • the image data correction unit and the image analysis unit are mounted on the drone, a control device for inputting control information to the drone, or another external server.
  • the above problem is solved by providing the field image analysis system described in any one of 1.
  • FIG. 1 is an example of an overall conceptual diagram of a field photography system using an embodiment of a field photography drone according to the present invention. It is a schematic diagram showing the control function of the Example of the drone for field photography which concerns on this invention. It is an example of an outline flowchart of the field image analysis according to the present invention. It is a schematic diagram showing the relationship between reflected light and transmitted light in field photography. It is a schematic diagram showing the example of the brightness correction based on the direction of the sun in field photography.
  • FIG. 1 is a plan view of an embodiment of a drone (100) according to the present invention
  • FIG. 2 is a bottom view thereof
  • FIG. 3-a is a front view thereof (as seen from the traveling direction side)
  • FIG. A right side view and a perspective view are shown in FIG.
  • a drone means any power means (electric power, prime mover, etc.) and control method (whether wireless or wired, autonomous flight type or manual control type, etc.). Instead, it refers to any flying body having multiple rotors or flight means.
  • Rotor blades (101-1a, 101-1b, 101-2a, 101-2b, 101-3a, 101-3b, 101-4a, 101-4b) (also called rotors) are used to fly the drone (100). Considering the balance of flight stability, airframe size, and battery consumption, it is desirable that eight aircraft (four sets of two-stage rotary blades) are provided.
  • Motors (102-1a, 102-1b, 102-2a, 102-2b, 102-3a, 102-3b, 102-4a, 102-4b) are rotors (101-1a, 101-1b, 101-2a) , 101-2b, 101-3a, 101-3b, 101-4a, 101-4b) is a means for rotating (typically an electric motor, but may be a motor, etc.) It is desirable that one unit be installed.
  • the upper and lower rotor blades (eg 101-1a and 101-1b) and their corresponding motors (eg 102-1a and 102-1b) in one set are for drone flight stability etc. It is desirable that the axes be collinear and rotate in opposite directions.
  • the medicine nozzles (103-1, 103-2, 103-3, 103-4) are means for spraying the medicine downward, and are preferably provided with four machines.
  • the drug tank (104) is a tank for storing the drug to be sprayed, and is preferably provided at a position close to the center of gravity of the drone (100) and lower than the center of gravity from the viewpoint of weight balance.
  • the drug hose (105-1, 105-2, 105-3, 105-4) connects the drug tank (104) with each drug nozzle (103-1, 103-2, 103-3, 103-4). It may be made of a hard material and may also serve to support the medicine nozzle.
  • the pump (106) is a means for discharging the medicine from the nozzle.
  • the farm field photographing camera (107) is a camera for photographing a farm field (farmland) from the drone (100), and is preferably installed in a direction for photographing a farm field behind the traveling direction of the machine body. Further, it is desirable that the angle between the field photographing camera (107) and the machine body be variable by means of a stepping motor or the like.
  • FIG. 4 shows an overall conceptual diagram of an embodiment of a field photographing system using the drone (100) according to the present invention.
  • the pilot (401) transmits a command to the drone (100) by the operation of the user (402), and also information received from the drone (100) (for example, position, drug amount, battery level, field photography camera). It is a means for displaying images and the like, and may be realized by a portable information device such as a general tablet terminal that runs a computer program.
  • the drone (100) according to the present invention be controlled to perform autonomous flight, it is desirable that the drone (100) can be manually operated during basic operations such as takeoff and return, and in an emergency. It is desirable that the pilot (401) and the drone (100) perform wireless communication by Wi-Fi or the like.
  • the farm field (403) is a rice field, a field or the like to be imaged by the drone (100).
  • the topography of the field (403) is complicated, and there are cases where the topographic map cannot be obtained in advance, or the topographic map and the situation at the site are inconsistent.
  • the field (403) is adjacent to a house, a hospital, a school, a field for other crops, a road, a railroad, or the like.
  • there may be obstacles such as buildings and electric wires in the field (403).
  • the base station (404) is a device that provides a master device function of Wi-Fi communication, etc. It is desirable that it also functions as an RTK-GPS base station and can provide an accurate position of the drone (100). (Wi-Fi communication master function and RTK-GPS base station may be independent devices).
  • the farm cloud (405) is a group of computers typically operating on a cloud service and related software, and it is desirable that the farm cloud (405) be wirelessly connected to the control unit (401) by a mobile phone line or the like.
  • the farming cloud (405) may analyze the image of the field (403) captured by the drone (100), grasp the growing condition of the crop, and perform a process for determining a flight route. Further, the drone (100) may be provided with the stored topographical information of the field (403). In addition, the history of the drone (100) flight and captured images may be accumulated and various analysis processes may be performed.
  • the drone (100) takes off from the landing point (406) outside the field (403) and sprays the drug on the field (403), or when the drug replenishment or charging is needed. Return to (406).
  • the flight route (entry route) from the landing point (406) to the target field (403) may be saved in advance in the farm cloud (405), etc., or before the user (402) starts taking off. You may enter in.
  • FIG. 5 is a schematic view showing the control function of the embodiment of the drug spraying drone according to the present invention.
  • the flight controller (501) is a component that controls the entire drone, and specifically may be an embedded computer including a CPU, memory, related software, and the like.
  • the flight controller (501) based on the input information received from the control device (401) and the input information obtained from various sensors described below, via the control means such as ESC (Electronic Speed Control), the motor (102- 1a, 102-1b, 102-2a, 102-2b, 102-3a, 102-3b, 104-a, 104-b) to control the flight speed of the drone (100).
  • ESC Electronic Speed Control
  • the actual number of revolutions of the motor (102-1a, 102-1b, 102-2a, 102-2b, 102-3a, 102-3b, 104-a, 104-b) is fed back to the flight controller (501) and is normal. It is configured so that it can be monitored whether it is rotating normally.
  • the rotary blade (101) may be provided with an optical sensor or the like so that the rotation of the rotary blade (101) is fed back to the flight controller (501).
  • the software used by the flight controller (501) is preferably rewritable via a storage medium or the like for function expansion / change, problem correction, or the like, or through a communication means such as Wi-Fi communication or USB.
  • a part of the calculation process used by the flight controller (501) for control may be executed by another computer existing on the flight controller (401), the farming support cloud (405), or elsewhere. Good. Since the flight controller (501) is highly important, some or all of its constituent elements may be duplicated.
  • the battery (502) is a means for supplying power to the flight controller (501) and other components of the drone, and is, for example, rechargeable.
  • the battery (502) is connected to the flight controller (501) via a fuse or a power supply unit including a circuit breaker and the like.
  • the battery (502) may be a smart battery having a function of transmitting its internal state (amount of stored electricity, accumulated usage time, etc.) to the flight controller (501) in addition to the power supply function.
  • the flight controller (501) communicates with the pilot (401) via the Wi-Fi slave unit function (503) and further via the base station (404), and issues necessary commands from the pilot (401). As well as receiving, necessary information can be transmitted to the pilot (401).
  • the base station (404) may have the function of the RTK-GPS base station in addition to the communication function by Wi-Fi.
  • the GPS module (504) can measure the absolute position of the drone (100) with an accuracy of a few centimeters. Since the GPS module (504) is of high importance, it is duplicated and multiplexed, and each redundant GPS module (504) uses a different satellite to cope with the failure of a specific GPS satellite. Is controlled.
  • the 6-axis gyro sensor (505) is means for measuring accelerations of the drone body in three directions orthogonal to each other (further, means for calculating velocity by integration of accelerations).
  • the 6-axis gyro sensor (505) is a means for measuring the change in the attitude angle of the drone body in the three directions described above, that is, the angular velocity.
  • the geomagnetic sensor (506) is a means for measuring the direction of the drone body by measuring the geomagnetic field.
  • the barometric pressure sensor (507) is a means for measuring the barometric pressure, and can indirectly measure the altitude of the drone.
  • the laser sensor (508) is a means for measuring the distance between the drone body and the ground surface by utilizing the reflection of laser light, and may be an IR (infrared) laser, for example.
  • the sonar (509) is a means for measuring the distance between the drone body and the ground surface by using the reflection of sound waves such as ultrasonic waves. These sensors may be selected based on the cost objectives and performance requirements of the drone. Further, a gyro sensor (angular velocity sensor) for measuring the inclination of the airframe, a wind sensor for measuring wind power, and the like may be added. Further, it is desirable that these sensors are duplicated or multiplexed.
  • the flow rate sensor (510) is a means for measuring the flow rate of the medicine, and is provided at a plurality of places in the path from the medicine tank (104) to the medicine nozzle (103).
  • the liquid shortage sensor (511) is a sensor that detects that the amount of the medicine has become equal to or less than a predetermined amount.
  • the field shooting camera (107) is a means for shooting the field (403) and acquiring data for image analysis, and is preferably a multi-spectral camera.
  • the obstacle detection camera (513) is a camera for detecting a drone obstacle. Since the image characteristics and the orientation of the lens are different from those of the field photography camera (107), it is a device different from the field photography camera (106). Is desirable.
  • the switch (514) is a means for the user (402) of the drone (100) to make various settings.
  • the obstacle contact sensor (515) is for detecting that the drone (100), in particular its rotor and propeller guard parts, has come into contact with obstacles such as electric wires, buildings, human bodies, trees, birds or other drones.
  • the cover sensor (516) is a sensor that detects that the operation panel of the drone (100) and the cover for internal maintenance are open.
  • the drug injection port sensor (517) is a sensor that detects that the injection port of the drug tank (104) is open.
  • the flight controller (501) sends a control signal to the pump (106) to adjust the medicine ejection amount and stop the medicine ejection. It is desirable that the current status of the pump (106) (for example, the number of revolutions) is fed back to the flight controller (501).
  • the LED (517-2) is a display means for informing the drone operator of the state of the drone.
  • Display means such as a liquid crystal display may be used instead of or in addition to the LEDs.
  • the buzzer (518) is an output means for notifying the state of drone (especially error state) by an audio signal.
  • the Wi-Fi cordless handset function (519) is an optional component for communicating with an external computer or the like, for example, for software transfer, apart from the control device (401).
  • Other wireless communication means such as infrared communication, Bluetooth (registered trademark), ZigBee (registered trademark), NFC, or wired communication means such as USB connection may be used instead of or in addition to the Wi-Fi slave unit function. May be used.
  • the speaker (520) is an output means for notifying the drone state (particularly, an error state) by using a recorded human voice, synthetic voice, or the like. Depending on the weather conditions, it may be difficult to see the visual display of the drone (100) in flight, so in such a case, it is effective to communicate the situation by voice.
  • the warning light (521) is a display means such as a strobe light for notifying the state of the drone (in particular, an error state).
  • the nozzle position adjusting mechanism (522) is means for changing the position of the drug nozzles (103-1, 103-2, 103-3, 103-4) and may be realized by a stepping motor. These input / output means may be selected according to the cost target and performance requirements of the drone, and may be duplicated / multiplexed.
  • NDVI Normalized Difference Vegetation Index
  • FIG. 6 shows a schematic flowchart of the field image analysis according to the present invention.
  • the field image analysis program obtains an image of a crop imaged by the field imaging camera (107) of the drone (100) as an input (S601).
  • Image input may be performed collectively on the image data of the entire field that has already been photographed (in this case, the image should be recorded as moving image data, and the information on sunlight described below should be recorded with the same time code as the moving image.
  • a part of the image currently being captured may be input by a streaming method (quasi-real time method).
  • the correction parameter to be used is obtained according to the shooting condition (S602).
  • the correction information may be selected from a set of parameters obtained by a prior experiment or the like according to the environment at the time of shooting such as the position of the sun.
  • the data to be analyzed is corrected using the selected parameters.
  • correction may be performed by multiplying a predetermined coefficient for each section (particularly, red light and near-infrared light) into which the wavelength band is divided.
  • the calculation formula of NDVI is ( ⁇ * IR - ⁇ * R) / ( ⁇ * IR + ⁇ * R), and the correction may be performed by substituting the predetermined values for ⁇ and ⁇ .
  • the correction numerical values suitable for various sunlight conditions should be obtained through experiments in advance, and appropriate values should be set according to the sunlight conditions at the time of shooting determined by the method described below. It is preferable to select it, but instead of selecting a set of correction parameters prepared in advance, another correction method may be used, such as performing calculation as needed according to the situation of sunlight at the time of shooting.
  • analysis processing is performed on the corrected analysis target data (preprocessing and postprocessing may be performed in addition to the above NDVI calculation) (S604).
  • the information of the analysis processing result may be stored once and used for the subsequent analysis, or may be referred to in real time during the flight of the drone (100).
  • correction parameter determination processing S602
  • image data correction processing S603
  • analysis image target data analysis processing S604
  • it may be executed by a computer installed in the drone (100) or a computer installed in the control device (401) that inputs a control command to the drone via wireless communication.
  • Computers at a plurality of locations may perform processing in cooperation with each other.
  • the analysis process may be performed after the fact, or may be performed in real time during the flight of the drone (100).
  • the real-time analysis has the advantage that the drug application can be adjusted dynamically according to the growth situation of the crop.
  • FIG. 7 is a schematic diagram showing the basic concept of separating reflected light and transmitted light in the nitrogen content measuring method according to the present invention.
  • 7-a is a view seen from the horizontal direction
  • FIG. 7-b is a view seen from the sky.
  • the drone (100), crop (701), and sun (702) are schematic representations, and their positions and sizes do not represent actual scales.
  • the image of the crop (701) in the field (403) taken by the camera (103) of the drone (100) shows the crop (701-1) that is horizontally on the sun (702) side when viewed from the current position of the drone (100). ) (Backlight side), the transmitted light is strong, and when viewed from the current position of the drone (100), the reflected light is horizontal for the crop (701-2) (forward light side) opposite the sun (701). strong.
  • the position of the sun may be grasped by an optical sensor included in the drone (100), or may be grasped from a time and date at the time of photographing obtained by a clock included in the drone (100) or its control device.
  • the image of the field since there is a discontinuous difference in the brightness of the image between the sun side and the side opposite to the sun, with the straight line corresponding to 703 in Fig. 7-b as the boundary, the saved image is analyzed by the computer at the analysis stage. You may grasp by processing.
  • the information regarding the direction of the sun (702) thus grasped is preferably stored in association with the moving image of the crop (701) photographed by the camera (107) and provided for analysis processing.
  • the saved moving image is sent to a computer for analysis by a method such as temporarily storing it in the memory of the drone (100) and then transferring it later, or transmitting it via a wireless communication function, and it becomes the target of analysis. Become.
  • the image processing program of the computer it is possible to measure the nitrogen content in the crops by filtering each still image frame in the moving image by wavelength and measuring the near-infrared amount. Sufficient accuracy cannot be obtained only by measuring the amount of near-infrared rays. Therefore, by applying the correction processing, highly accurate measurement can be performed.
  • the influence of transmitted light is eliminated and the reflected light center A mold image can be taken.
  • the drone (100) can fly all over the field (403) by human control or automatic control, and as a result, the reflected light center of all crops (701) in the field (403). It is possible to obtain an image of. In the analysis of the image of the reflected light center, it is desirable to use the correction parameter matched to it.
  • the light that is first reflected from the crop is the center, and the secondary reflected light caused by the reflected light being further reflected on the crop, and the tertiary reflected light. Since it is possible to relatively reduce the influence and the influence of the light that the transmitted light reflects on the crop, it is possible to measure the nitrogen content with high accuracy. In addition, it is clear from the inventor's experiment that the attenuation of the reflected light of the red light with respect to the incident light of the reflected light of the second or higher order (the secondary reflected light) is 50% or less. A more accurate measurement of the nitrogen content can be performed by measuring the near-infrared ray after removing the region where the red light is higher than the threshold value from the image in the extracted image.
  • the image captured when shooting a backlit crop has lower image brightness than the image captured when shooting a frontlit crop, so the direction of sunlight and the shooting direction of the camera on the drone are different.
  • By adjusting the brightness of the image data according to the angle formed it is possible to use both the image on the backlight side and the image on the normal side for image analysis for growth diagnosis. For example, if the angle ⁇ formed by the shooting direction (801) of the camera on the drone and the direction of sunlight (802) is defined as shown in FIG. 8-A, the angle ⁇ becomes as shown in FIG. 8-B.
  • the brightness of the image data acquired under the conditions of 0 degree and 360 degrees is corrected so as to be large, and the brightness of the image data acquired when the angle ⁇ is 180 degrees is not corrected, or more than that of the image of 0 degrees and 360 degrees.
  • the brightness correction amount may be reduced.
  • the direction of the sun can be estimated based on the time and date information, and the information on the position and direction of the camera can be obtained from the flight controller (501).
  • the following image analysis method can be performed to measure the nitrogen absorption amount with higher accuracy.
  • the characteristics of the sunlight illuminating the crop (701) at the time of shooting the field (403) by the drone (100) should be understood and the correction calculation should be performed accordingly. Is desirable. This is because the reflected light and transmitted light from the crop (201) are also affected by the characteristics of sunlight that depend on the weather. In particular, it is preferable to measure the ratio of direct light to skylight (light diffused by water vapor or dust in the atmosphere or reflected by clouds to reach the ground).
  • the characteristics of sunlight may be measured by an optical sensor provided in the drone (100) or a camera, and may be stored in association with an image of a field for analysis.
  • the characteristics of the sunlight may be indirectly estimated by the following method, and correction may be performed according to the estimated characteristics. In particular, it is desirable to perform the correction based on the ratio of the direct light to the total incident light.
  • the amount of direct light, or the proportion of direct light in the incident light is estimated by measuring the contrast of the shadow of the object containing the crop in the field image (the density of the shadow compared to other parts in the image). May be.
  • the ratio of direct light to skylight may be estimated from the reflectance at all wavelengths of the image of the crop (701-1) on the backlight side and the image of the crop (701-2) on the grazing side divided by the above method. . This is because it is clear that when the direct light is strong, the difference in reflectance between the back light side and the forward light side is large.
  • the characteristics of sunlight may be estimated from the difference between the spectral characteristics of the image of the crop (701-1) on the backlight side and the spectral characteristics of the image of the crop (701-2) on the backlight side.
  • the proportion of light may be estimated directly from the light quantity of the entire image.
  • the ratio of direct light may be estimated from the ratio of the sun altitude and total light intensity that can be calculated from the time, and the correction may be performed accordingly. For example, if the sun's altitude is high but the total light intensity is low, it means that the cloud is thick and the proportion of direct light is low.
  • the position of the sun may be calculated from the altitude and nose direction of the drone (100) and the position of the shadow of the airframe in the image captured by the field photography camera (107). Since the altitude of the drone (100) can be grasped by GPS (504) and various sensors, the position of the sun can be grasped by the principle of triangulation. It is desirable to measure the position of the shadow by hovering the machine and rotating it horizontally preferably by 360 degrees so that an object on the field is not mistaken for the shadow of the machine. Rotating 360 degrees also contributes to the calibration of the geomagnetic sensor (506). As an alternative method, the position of the shadow of the drone (100) may be measured when the drone turns. In order for the drone (100) to fly all over the field, it is necessary to change the direction anyway, so using this method has the advantage of not wasting the flight time of the drone (100). .
  • the position of the sun changes during the flight of the drone (100)
  • the measurement may be performed at every predetermined time, and the shadow position measurement process may be performed during hovering, which is required during landing and takeoff.
  • the following additional processing may be performed in the image analysis processing.
  • the soil and water surfaces have the characteristic that the attenuation rate of reflected light with respect to incident light in the near infrared region is 10% or less.
  • the region where the near infrared ray is above the threshold value is extracted from the image of the reflected light center obtained by the above method, it is highly likely that it corresponds to soil and water surface, so by excluding that region from the measurement of nitrogen accumulation amount. , The accuracy of measurement can be improved.
  • the reflectance of the upper and lower leaves of a crop by a threshold of reflected red light, which allows the upper leaf nitrogen content and the lower leaf nitrogen content to be separated.
  • the content can be measured independently. Based on this measured value, the state of nitrogen translocation of the crop can be estimated.
  • the field shooting camera (107) is used to shoot the field, the above-mentioned captured image is analyzed, and an appropriate amount of the fertilizer or other drug is sprayed once based on the analysis result. You may carry out collectively by the flight of. As a result, the utilization rate of drones per field area is improved, and economic benefits are obtained. Even if real-time analysis is performed, the analysis process requires some time, so aim the field photography camera (107) toward the front of the drone (100) to adjust the drug spraying or to decide whether or not to allow it. It is desirable to secure the analysis time.
  • the angle of the field photography camera (107) can be adjusted with a stepping motor or the like, and it can be automatically adjusted according to the flight speed. desirable. That is, when the flight speed is fast, the field shooting camera (107) is set in the direction for shooting the front, and when the flight speed is slow, the field shooting camera (107) is set in the direction for shooting the rear (a position close to immediately below the machine body). It is desirable to do.
  • the position of the chemical spray nozzle (103) can be adjusted by a stepping motor, etc., and it is necessary for analysis by adjusting automatically according to the flight speed. It may be possible to secure sufficient time. That is, when the flight speed is high, the chemical spray nozzle (103) may be located further rearward in the flight direction.
  • the calculation time required for the analysis may be estimated, the flight speed may be determined accordingly, and the drug application amount may be adjusted accordingly.
  • the nitrogen content which is important for evaluating the growth rate of crops such as rice, can be efficiently and accurately measured by a simple means called drone.
  • Efficiency is high compared to the case where a measuring instrument is carried to the field and a large number of samples are measured.
  • the accuracy is much higher than that of the measurement method using satellite images or images taken from the sky.
  • the image analysis takes into account environmental conditions such as the position and angle of the sun and the weather, more accurate analysis is possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Mining & Mineral Resources (AREA)
  • Environmental Sciences (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Wood Science & Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pest Control & Pesticides (AREA)
  • Insects & Arthropods (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Zoology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Catching Or Destruction (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】精度が高い作物の生育分析を可能にする圃場画像分析方法とプログラムを提供する。 【解決策】圃場上を飛行するドローンにより圃場の作物を撮影する。逆光か順光か（透過光か反射光か）、直接光と天空光の比率、および、太陽の位置と方向などの撮影時の太陽光の状況を圃場画像情報と共に記録し、分析の際に、撮影時の太陽光の状況に基づいて取得画像の補正を行うすることで、正確な圃場画像分析を可能にする。画像分析はドローンの飛行中に行なってもよい。

Description

圃場画像分析方法
本願発明は、圃場の画像、特に、ドローンによって撮影された圃場の画像の、生育状況分析のための処理方法とプログラムに関する。
作物の生育状況分析の重要な分野として、稲や小麦等の作物の生長度を測定するために、葉への窒素吸収量を測定する方法が知られている。窒素吸収量は、作物の収穫量と食味に大きく影響する。窒素吸収量が適正量を超えている場合は、食味低下、環境汚染を招き、適正量を下回っている場合は収量低下を招くため、窒素吸収量を正確かつ効率的に測定できれば得られる価値は大きい。
窒素吸収量により葉の葉緑素（クロロフィルa、クロロフィルb、カロテノイド等）の密度が変化することを利用し、葉の透過光の特性を分析することで、葉緑素の密度を推定して葉への窒素吸収量を推定し、結果的に作物の生長度を測定する方法が知られている（たとえば、特許文献１）。しかし、この方法では、実際に圃場に出向き作物の葉を測定器に読み込ませて測定する必要があることから、特に多数のデータサンプルを得る際の効率が悪いという課題があった（典型的には、一圃場あたり１時間程度の時間を要していた）。
上記の測定の効率性を高めるために、圃場の作物を人工衛星、ドローン、または、上空に設置されたカメラ等から撮影し、特に近赤外線領域のスペクトラムを分析することで、窒素の吸収量を推定する方法も提案されている（たとえば、特許文献２）が、精度の点で課題があった。精度が低い理由としては、水面の画像と作物の画像の混在、透過光と反射光の混在、一次反射光と二次および三次反射光の混在、表面反射と内部反射の混在等があった。
特許公開公報　特開２０１１－３８８７９ 特許公開公報　特開２００３－３３９２３８
精度が高い作物の生育分析を可能にする圃場画像分析方法とプログラムを提供する。
本願発明は、ドローンに搭載されたカメラにより撮影した圃場の画像データを取得する取得ステップと、前記カメラによる撮影時の太陽と前記カメラの相対位置もしくは太陽光の状態に応じて前記画像データを補正する補正ステップと、前記補正された画像データに基づいて前記圃場の作物の生育状況を分析する分析ステップとを含む圃場画像分析方法を提供することで上記課題を解決する。
また、本願発明は、前記補正ステップでは、太陽光の照射方向と前記カメラの撮影方向の相対角度に応じて、前記画像データの光量を補正する、段落０００７に記載の圃場画像分析方法を提供することで上記課題を解決する。
また、本願発明は、前記補正ステップでは、前記画像データが前記カメラを太陽に対して順光側に向けて撮影されて取得された順光側画像データか逆光側に向けて撮影されて取得された逆光側画像データかに基づき前記分析ステップでの分析に用いられる画像データの補正量を変更する、段落０００７に記載の圃場画像分析方法を提供することで上記課題を解決する。
また、本願発明は、前記補正ステップでは、前記分析ステップでの分析に用いられる画像データから前記カメラを太陽に対して順光側に向けて撮影されて取得された順光側画像データ、もしくは逆光側に向けて撮影されて取得された逆光側画像データを除外する、段落０００７に記載の圃場画像分析方法を提供することで上記課題を解決する。
前記補正ステップでは、前記画像データが前記順光側画像データか前記逆光側画像データかの判定を、前記画像データが撮影された時の前記ドローンの位置と時刻とに基づいて行なう、段落０００８に記載の圃場画像分析方法を提供することで上記課題を解決する。
また、本願発明は、前記補正ステップでは、太陽から直接前記カメラに入射する直接光の全入射光に占める割合に応じて前記画像データの補正内容を変更する、段落０００７に記載の圃場画像分析方法を提供することで上記課題を解決する。 
また、本願発明は、前記補正ステップでは、前記画像データの光量に応じて前記直接光の割合を推定する段落００１２に記載の圃場画像分析方法を提供することで上記課題を解決する。
また、本願発明は、前記補正ステップでは、前記画像データ内の物体の影のコントラストの大きさに基づいて入射光に占める直接光の割合を推定する、段落００１２に記載の圃場画像分析方法を提供することで上記課題を解決する。 
また、本願発明は、前記補正ステップでは、天空方向を撮影するカメラの画像に基づいて撮影時に前記カメラに入射する全入射光に占める前記直接光の割合を推定する、段落００１２に記載の圃場画像分析方法を提供することで上記課題を解決する。 
また、本願発明は、前記補正ステップでは、圃場画像中の前記ドローンの影の位置に基づいて撮影時の太陽の高度を推定し、推定した太陽の高度に応じて前記画像データを補正する、段落０００７に記載の圃場画像分析方法を提供することで上記課題を解決する。 
また、本願発明は、前記補正ステップでは、前記ドローンの影の位置の測定を旋回時に行なう、段落００１６に記載の圃場画像分析方法を提供することで上記課題を解決する。 
また、本願発明は、前記画像データの分析結果に基づいて、前記ドローンの薬剤散布の量を調整する薬剤量調整ステップを含む、段落０００７に記載の圃場画像分析方法を提供することで上記課題を解決する。 
また、本願発明は、前記ドローンの飛行度に応じて、前記カメラの位置若しくは方向、または、薬剤散布ノズルの位置若しくは方向を調整する位置調整ステップを含む、段落００１８に記載の 圃場画像分析方法を提供することで上記課題を解決する。 
また、本願発明は、前記分析ステップは、前記画像データから近赤外線の反射率が所定の値以上である領域を排除するステップを含む、段落０００７から段落００１９に記載の圃場画像分析方法を提供することで上記課題を解決する。 
また、本願発明は、ドローンに搭載されたカメラにより撮影した圃場の画像データを取得する画像データ取得部と、前記カメラによる撮影時の太陽と前記カメラの相対位置もしくは太陽光の状態に応じて前記画像データを補正する画像データ補正部と、 前記補正された画像データに基づいて前記圃場の作物の生育状態を分析する画像分析部とを有する圃場画像分析システムを提供することで上記課題を解決する。 
また、本願発明は、前記画像データ補正部は、太陽光の照射方向と前記カメラの撮影方向の相対角度に応じて、前記画像データの光量を補正する、段落００２１に記載の圃場画像分析システムを提供することで上記課題を解決する。
また、本願発明は、前記画像データ補正部は、前記画像データが前記カメラを太陽に対して順光側に向けて撮影した取得した順光側画像データか逆光側に向けて撮影された逆光側画像データかに基づき前記画像分析部での分析に用いられる画像データの補正量を変更する、段落００２１に記載の圃場画像分析システムを提供することで上記課題を解決する。 
また、本願発明は、前記画像データ補正部は、前記画像分析部での分析に用いられる画像データから前記カメラを太陽に対して順光側に向けて撮影されて取得された順光側画像データ、もしくは逆光側に向けて撮影されて取得された逆光側画像データを除外する段落００２１に記載の圃場画像分析システムを提供することで上記課題を解決する。
前記画像データ補正部は、前記画像データが前記順光側画像データか前記逆光側画像データかの判定を、前記画像データが撮影された時の前記ドローンの位置と時刻とに基づいて行なう、段落００２３に記載の圃場画像分析システムを提供することで上記課題を解決する。 
前記画像データ補正部は、太陽から直接前記カメラに入射する直接光の全入射光に占める割合に応じて前記画像データの補正内容を変更する、請求項１５に記載の圃場画像分析システムを提供することで上記課題を解決する。 
また、本願発明は、前記画像データ補正部は、前記画像データ内の物体の影のコントラストの大きさに基づいて全入射光に占める直接光の割合を推定する、請求項２０に記載の圃場画像分析システムを提供することで上記課題を解決する。
また、本願発明は、前記画像データ補正部は、天空方向を撮影するカメラの画像に基づいて撮影時に前記カメラで撮影される画像の前記直射光の割合を推定する、請求項２０に記載の圃場画像分析システムを提供することで上記課題を解決する。 
また、本願発明は、前記画像データ補正部は、圃場画像中の前記ドローンの影の位置に基づいて撮影時の太陽の高度を推定し、推定した太陽の高度に応じて前記画像データを補正する、請求項１５に記載の圃場画像分析システムを提供することで上記課題を解決する。
また、本願発明は、前記画像データ補正部は、前記ドローンの影の位置の測定を旋回時に行なう、請求項２３に記載の圃場画像分析システムを提供することで上記課題を解決する。 
また、本願発明は、前記画像データの分析結果に基づいて、前記ドローンの薬剤散布の量を調整する薬剤量調整部を含む、請求項１５に記載の圃場画像分析システムを提供することで上記課題を解決する。
また、本願発明は、前記ドローンの飛行度に応じて、前記カメラの位置若しくは方向、または、薬剤散布ノズルの位置若しくは方向を調整するノズル位置調整部を含む、請求項２５に記載の圃場画像分析システムを提供することで上記課題を解決する。 
また、本願発明は、前記画像分析部は、前記画像データから近赤外線の反射率が所定の値以上である領域を排除する命令群を含む、請求項１５ないし請求項２６のいずれか１項に記載の圃場画像分析システムを提供することで上記課題を解決する。
また、本願発明は、前記画像データ補正部及び前記画像分析部は、前記ドローン、または前記ドローンに操縦情報を入力する操縦器、またはその他の外部サーバに実装される、請求項１５ないし請求項２６のいずれか１項に記載の圃場画像分析システムを提供することで上記課題を解決する。
精度が高い作物の生育分析を可能にする圃場画像分析方法とプログラムが提供される。
本願発明に係る圃場撮影用ドローンの実施例の平面図である。 本願発明に係る圃場撮影用ドローンの実施例の正面図である。 本願発明に係る圃場撮影用ドローンの実施例の右側面図、背面図、および、斜視図である。 本願発明に係る圃場撮影用ドローンの実施例を使用した圃場撮影システムの全体概念図の例である。 本願発明に係る圃場撮影用ドローンの実施例の制御機能を表した模式図である。 本願発明に係る圃場画像分析の概要フローチャートの例である。 圃場撮影における反射光と透過光の関係を表わした模式図である。 圃場撮影における太陽の方向に基づく輝度補正の例を表わした模式図である。
図１に本願発明に係るドローン（100）の実施例の平面図を、図２にその底面図を、図３－ａにその（進行方向側から見た）正面図、図３－ｂにその右側面図、図３－ｃに斜視図を示す。なお、本願明細書において、ドローンとは、動力手段（電力、原動機等）、操縦方式（無線であるか有線であるか、および、自律飛行型であるか手動操縦型であるか等）を問わず、複数の回転翼または飛行手段を有する飛行体全般を指すものとする。
回転翼（101-1a、101-1b、101-2a、101-2b、101-3a、101-3b、101-4a、101-4b）（ローターとも呼ばれる）は、ドローン（100）を飛行させるための手段であり、飛行の安定性、機体サイズ、および、バッテリー消費量のバランスを考慮し、8機（2段構成の回転翼が4セット）備えられていることが望ましい。
モーター（102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、102-4ａ、102-4b）は、回転翼（101-1a、101-1b、101-2a、101-2b、101-3a、101-3b、101-4a、101-4b）を回転させる手段（典型的には電動機だが発動機等であってもよい）であり、一つの回転翼に対して1機設けられていることが望ましい。１セット内の上下の回転翼（たとえば、101-1aと101-1b）、および、それらに対応するモーター（たとえば、102-1aと102-1b）は、ドローンの飛行の安定性等のために軸が同一直線上にあり、かつ、互いに反対方向に回転することが望ましい。
薬剤ノズル（103-1、103-2、103-3、103-4）は、薬剤を下方に向けて散布するための手段であり4機備えられていることが望ましい。薬剤タンク（104）は散布される薬剤を保管するためのタンクであり、重量バランスの観点からドローン（100）の重心に近い位置でかつ重心より低い位置に設けられていることが望ましい。薬剤ホース（105-1、105-2、105-3、105-4）は、薬剤タンク（104）と各薬剤ノズル（103-1、103-2、103-3、103-4）とを接続する手段であり、硬質の素材から成り、当該薬剤ノズルを支持する役割を兼ねていてもよい。ポンプ（106）は、薬剤をノズルから吐出するための手段である。
圃場撮影カメラ（107）は、ドローン（100）から圃場（農地）を撮影するためのカメラであり、機体の進行方向に対して後方にある圃場を撮影する向きに設置されていることが望ましい。また、圃場撮影カメラ（107）と機体の角度はステッピングモーター等の手段により可変となっていることが望ましい。
図４に本願発明に係るドローン（100）を使用した圃場撮影用システムの実施例の全体概念図を示す。本図は模式図であって、縮尺は正確ではない。操縦器（401）は、使用者（402）の操作によりドローン（100）に指令を送信し、また、ドローン（100）から受信した情報（たとえば、位置、薬剤量、電池残量、圃場撮影カメラ映像等）を表示するための手段であり、コンピューター・プログラムを稼働する一般的なタブレット端末等の携帯情報機器によって実現されてよい。本願発明に係るドローン（100）は自律飛行を行なうよう制御されることが望ましいが、離陸や帰還などの基本操作時、および、緊急時にはマニュアル操作が行なえるようになっていることが望ましい。操縦器（401）とドローン（100）はWi-Fi等による無線通信を行なうことが望ましい。
圃場（403）は、ドローン（100）による撮影の対象となる田圃や畑等である。実際には、圃場（403）の地形は複雑であり、事前に地形図が入手できない場合、あるいは、地形図と現場の状況が食い違っている場合がある。通常、圃場（403）は家屋、病院、学校、他作物圃場、道路、鉄道等と隣接している。また、圃場（403）内に、建築物や電線等の障害物が存在する場合もある。
基地局（404）は、Wi-Fi通信の親機機能等を提供する装置であり、RTK-GPS基地局としても機能し、ドローン（100）の正確な位置を提供できるようにすることが望ましい（Wi-Fi通信の親機機能とRTK-GPS基地局が独立した装置であってもよい）。営農クラウド（405）は、典型的にはクラウドサービス上で運営されているコンピューター群と関連ソフトウェアであり、操縦器（401）と携帯電話回線等で無線接続されていることが望ましい。営農クラウド（405）は、ドローン（100）が撮影した圃場（403）の画像を分析し、作物の生育状況を把握して、飛行ルートを決定するための処理を行なってよい。また、保存していた圃場（403）の地形情報等をドローン（100）に提供してよい。加えて、ドローン（100）の飛行および撮影映像の履歴を蓄積し、様々な分析処理を行なってもよい。
通常、ドローン（100）は圃場（403）の外部にある発着地点（406）から離陸し、圃場（403）に薬剤を散布した後に、あるいは、薬剤補充や充電等が必要になった時に発着地点（406）に帰還する。発着地点（406）から目的の圃場（403）に至るまでの飛行経路（侵入経路）は、営農クラウド（405）等で事前に保存されていてもよいし、使用者（402）が離陸開始前に入力してもよい。
図５に本願発明に係る薬剤散布用ドローンの実施例の制御機能を表した模式図を示す。フライトコントローラー（501）は、ドローン全体の制御を司る構成要素であり、具体的にはCPU、メモリー、関連ソフトウェア等を含む組み込み型コンピューターであってよい。フライトコントローラー（501）は、操縦器（401）から受信した入力情報、および、後述の各種センサーから得た入力情報に基づき、ESC（Electronic Speed Control）等の制御手段を介して、モーター（102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-b）の回転数を制御することで、ドローン（100）の飛行を制御する。モーター（102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-b）の実際の回転数はフライトコントローラー（501）にフィードバックされ、正常な回転が行なわれているかを監視できる構成になっている。あるいは、回転翼（101）に光学センサー等を設けて回転翼（101）の回転がフライトコントローラー（501）にフィードバックされる構成でもよい。
フライトコントローラー（501）が使用するソフトウェアは、機能拡張・変更、問題修正等のために記憶媒体等を通じて、または、Wi-Fi通信やUSB等の通信手段を通じて書き換え可能になっていることが望ましい。また、フライトコントローラー（501）が制御に使用する計算処理の一部が、操縦器（401）上、または、営農支援クラウド（405）上や他の場所に存在する別のコンピューターによって実行されてもよい。フライトコントローラー（501）は重要性が高いため、その構成要素の一部または全部が二重化されていてもよい。
バッテリー（502）は、フライトコントローラー（501）、および、ドローンのその他の構成要素に電力を供給する手段であり、例えば充電式である。バッテリー（502）はヒューズ、または、サーキットブレーカー等を含む電源ユニットを介してフライトコントローラー（501）に接続されている。バッテリー（502）は電力供給機能に加えて、その内部状態（蓄電量、積算使用時間等）をフライトコントローラー（501）に伝達する機能を有するスマートバッテリーであってもよい。
フライトコントローラー（501）は、Wi-Fi子機機能（503）を介して、さらに、基地局（404）を介して操縦器（401）とやり取りを行ない、必要な指令を操縦器（401）から受信すると共に、必要な情報を操縦器（401）に送信できる。基地局（404）は、Wi-Fiによる通信機能に加えて、RTK-GPS基地局の機能も備えていてもよい。RTK基地局の信号とGPS測位衛星からの信号を組み合わせることで、GPSモジュール（504）により、ドローン（100）の絶対位置を数センチメートル程度の精度で測定可能となる。GPSモジュール（504）は重要性が高いため、二重化・多重化しており、また、特定のGPS衛星の障害に対応するため、冗長化されたそれぞれのGPSモジュール（504）は別の衛星を使用するよう制御されている。
６軸ジャイロセンサー（505）はドローン機体の互いに直交する３方向の加速度を測定する手段（さらに、加速度の積分により速度を計算する手段）である。また、６軸ジャイロセンサー（505）は、上述の３方向におけるドローン機体の姿勢角の変化、すなわち角速度を測定する手段である。地磁気センサー（506）は、地磁気の測定によりドローン機体の方向を測定する手段である。気圧センサー（507）は、気圧を測定する手段であり、間接的にドローンの高度も測定することもできる。レーザーセンサー（508）は、レーザー光の反射を利用してドローン機体と地表との距離を測定する手段であり、例えばIR（赤外線）レーザーを使用してよい。ソナー（509）は、超音波等の音波の反射を利用してドローン機体と地表との距離を測定する手段である。これらのセンサー類は、ドローンのコスト目標や性能要件に応じて取捨選択してよい。また、機体の傾きを測定するためのジャイロセンサー（角速度センサー）、風力を測定するための風力センサーなどが追加されていてもよい。また、これらのセンサー類は二重化または多重化されていることが望ましい。
流量センサー（510）は薬剤の流量を測定するための手段であり、薬剤タンク（104）から薬剤ノズル（103）に至る経路の複数の場所に設けられている。液切れセンサー（511）は薬剤の量が所定の量以下になったことを検知するセンサーである。圃場撮影カメラ（107）は圃場(403)を撮影し、画像分析を行なうためのデータを取得する手段であり、マルチスペクトルカメラであることが望ましい。障害物検知カメラ（513）はドローン障害物を検知するためのカメラであり、画像特性とレンズの向きが圃場撮影カメラ（107）とは異なるため、圃場撮影カメラ（106）とは別の機器であることが望ましい。スイッチ（514）はドローン（100）の使用者（402）が様々な設定を行なうための手段である。障害物接触センサー（515）はドローン（100）、特に、そのローターやプロペラガード部分が電線、建築物、人体、立木、鳥、または、他のドローン等の障害物に接触したことを検知するためのセンサーである。カバーセンサー（516）は、ドローン（100）の操作パネルや内部保守用のカバーが開放状態であることを検知するセンサーである。薬剤注入口センサー（517）は薬剤タンク（104）の注入口が開放状態であることを検知するセンサーである。これらのセンサー類はドローンのコスト目標や性能要件に応じて取捨選択してよく、二重化・多重化してもよい。
フライトコントローラー（501）はポンプ（106）に対して制御信号を送信し、薬剤吐出量の調整や薬剤吐出の停止を行なう。ポンプ（106）の現時点の状況（たとえば、回転数等）は、フライトコントローラー（501）にフィードバックされる構成となっていることが望ましい。
LED（517-2）は、ドローンの操作者に対して、ドローンの状態を知らせるための表示手段である。LEDに替えて、または、それに加えて液晶ディスプレイ等の表示手段を使用してもよい。ブザー（518）は、音声信号によりドローンの状態（特にエラー状態）を知らせるための出力手段である。Wi-Fi子機機能（519）は操縦器（401）とは別に、たとえば、ソフトウェアの転送などのために外部のコンピューター等と通信するためのオプショナルな構成要素である。Wi-Fi子機機能に替えて、または、それに加えて、赤外線通信、Bluetooth（登録商標）、ZigBee（登録商標）、NFC等の他の無線通信手段、または、USB接続などの有線通信手段を使用してもよい。スピーカー（520）は、録音した人声や合成音声等により、ドローンの状態（特にエラー状態）を知らせる出力手段である。天候状態によっては飛行中のドローン（100）の視覚的表示が見にくいことがあるため、そのような場合には音声による状況伝達が有効である。警告灯（521）はドローンの状態（特にエラー状態）を知らせるストロボライト等の表示手段である。ノズル位置調整機構（522）は、薬剤ノズル（103-1、103-2、103-3、103-4）の位置を変更するための手段であり、ステッピングモーターによって実現されていてよい。これらの入出力手段やは、ドローンのコスト目標や性能要件に応じて取捨選択してよく、二重化・多重化してもよい。
圃場の画像に基づいた作物の生育状況の分析には、赤色光（波長約680nm）と近赤外光（波長約780nm）の反射光による画像を取得してNDVI（Normalized Difference Vegetation Index）を計算することが有効である。一般に、NDVIは（IR － R）/（IR + R）という計算式により求められる（ここで、IRは近赤外光の反射率、Rは赤色光の反射率）である。IRとRは圃場の画像を周波数帯域毎に分析することにより得られるが、カメラにより得られる光量はその時点の環境光等に大きく影響されるため、単に光量のデータだけでは正確な分析を行なうことはできない。状況に応じた適切な補正を行なうことが必要である。
図６に本願発明に係る圃場画像分析の概要フローチャートを示す。圃場画像分析プログラムはドローン（100）の圃場撮影用カメラ（107）で撮影された作物の画像を入力として得る（S601）。画像入力は撮影済の圃場全体の画像データをまとめて行なってもよい（この場合には、画像を動画データとして記録し、後述の太陽光に関する情報を動画と同じタイムコードで記録しておくことが好ましい）が、現在撮影中の画像の一部をストリーミング方式（準リアルタイム方式）で入力してもよい。次に、撮影時の条件に応じて、使用する補正パラメーターを求める（S602）。補正情報は、太陽の位置等の撮影時の環境に応じて、事前の実験等によって得られたパラメーターの集合から選択したものであってよい。次に、選択されたパラメーターを使用して分析対象データの補正を行なう。典型的には、波長帯域を分割した区間（特に、赤色光と近赤外線光）ごとに所定の係数を乗ずること等により補正を行なってよい、たとえば、NDVIの計算式を（α*IR － β*R）/（α*IR + β*R）とし、αとβに所定の数値を代入することで補正を行なってよい。αとβに代入する具体的数値は、事前の実験により様々な太陽光の状態に適する補正数値を求めておき、後述の方法で求めた撮影時の太陽光の状態に合わせて適切なものを選択することが望ましいが、事前に用意した補正パラメーターのセットを選択するのではなく、撮影時の太陽光の状況に応じて随時計算を行なうなど、他の補正方法を使用してもよい。最後に、補正後の分析対象データに対して分析処理を行なう（上記のNDVIの計算に加えて前処理や後処理を行なってよい）（S604）。分析処理結果の情報はいったん保存して事後の分析に供してもよいが、ドローン（100）が飛行中にリアルタイムで参照できるようにしてもよい。
上述の補正用パラメーター決定処理（S602）、画像データ補正処理（S603）、分析画像対象データの分析処理（S604）の処理は営農クラウド（405）上や他の外部サーバ上で行なってもよいが、ドローン（100）が搭載するコンピューターや無線通信を介してドローンに操縦指令を入力する操縦器（401）が搭載するコンピューターにより実行してもよい。複数の場所にあるコンピューターが協調連携して処理を行なってもよい。分析処理は事後的に行なってもよいが、ドローン（100）の飛行中にリアルタイムで行なってもよい。リアルタイムで分析を行なうことにより、作物の生育状況に応じて薬剤散布を動的に調整できるという利点が生じる。
（透過光・反射光補正）
図７に本願発明に係る窒素量測定方法における反射光と透過光の分離の基本的考え方を表わした模式図を示す。図７－ａは水平方向から見た図、図７－ｂは上空から見た図である。なお、ドローン（100）、作物（701）、および、太陽（702）、は模式的表現であり、その位置と大きさは実際の縮尺を表わすものではない。ドローン（100）のカメラ（103）が撮影する圃場（403）の作物（701）の画像は、ドローン（100）の現在位置から見て水平方向に太陽（702）側にある作物（701-1）（逆光側）については透過光が強く、ドローン（100）の現在位置から見て水平方向に太陽（701）の反対側にある作物（701-2）（順光側）については反射光が強い。
ここで太陽の位置は、ドローン（100）が備える光センサーによって把握してもよいが、ドローン（100）またはその操縦装置が備える時計により得られる撮影時の時刻と日付から把握してもよい。また、圃場の画像において図７－ｂの703に相当する直線を境界として、太陽側と太陽の反対側では画像の明度に不連続な差異が生じるので、保存した画像を分析段階でコンピューターによって前処理することで把握してもよい。
把握した太陽（702）の方向に関する情報はカメラ（107）で撮影した作物（701）の動画像と対応付けて保存し、分析処理に供することが好ましい。加えて、GPS等の手段により測定した撮影時のドローン（100）の位置、および、光センサーにより測定した太陽光の特性の情報も作物（701）の動画像と対応付けて保存することが好ましい。保存された動画像は、ドローン（100）内のメモリーに一時的に保存して後に転送する、または、無線通信機能を通じて送信する等の方法により、分析用のコンピューターに送られ、分析の対象となる。コンピューターの画像処理プログラムにより、動画像中の各静止画フレームに波長によるフィルター処理を行ない、近赤外線量を測定することにより、作物中の窒素量を測定可能であるが、前述のとおり、単純に近赤外線の量を測定するだけでは、十分な精度が出せないため、補正処理を適用することで、精度が高い測定を行なうことができる。
ドローン（100）の現在位置から見て太陽（702）の側にある作物（701-1）の画像を窒素含有量測定の対象から除外することで、透過光の影響を排除し、反射光中心型の画像を撮影することができる。ドローン（100）は、人による操縦、または、自動制御により圃場（403）の上空をくまなく飛行することができるので、結果的に圃場（403）にあるすべての作物（701）の反射光中心の画像を得ることが可能である。反射光中心の画像の分析ではそれに合わせた補正パラメーターを使用することが望ましい。
この方法で取得された画像では、作物から最初に反射した光（一次反射光）が中心になっており、反射光がさらに作物に反射したことによる生じる二次反射光、さらに、三次反射光の影響、および、透過光がさらに作物に反射した光の影響を相対的に軽減できるため、精度が高い窒素含有量の測定が可能となる。加えて、二次以上の反射光（複次反射光）では、赤色光の反射光の入射光に対する減衰率が50%以下であることが発明者の実験により明らかになっているため、赤色光のみを抽出した画像において赤色光が閾値より強い領域を画像から除いた後に、近赤外線の測定を行なうことで、より正確な窒素料の測定が行なえる。
逆に、ドローン（100）の現在位置から見て太陽（702）の反対側にある作物（701-2）の画像を窒素含有量測定の対象から除外することで、反射光の影響を排除し、透過光中心型の画像を撮影することができる。同様に、ドローン（100）を圃場（403）の上空をくまなく飛行させることで、圃場全体の透過光中心の画像を得ることが可能である。透過光中心の画像の分析ではそれに合わせた補正パラメーターを使用することが望ましい。作物の種類、および、太陽光の状況によっては、透過光中心の画像の分析が好ましいこともあるため、分析のためのコンピューター・プログラムは反射光中心の分析と透過光中心の分析の両方に対応可能なように作成しておくことが好ましい。
逆光側の作物を撮影する場合に取得される画像は、順光側の作物を撮影する場合の取得画像よりも画像の輝度が低くなるため、太陽光の方向とドローン上のカメラの撮影方向の成す角度に応じて、画像データの輝度を調整することにより、逆光側の画像と順光側の画像の両方を生育診断の画像分析に利用することが可能となる。例えば、図８－aに示すようにドローン上のカメラの撮影方向（801）と太陽光の方向（802）との成す角度θを定義した場合、図８―ｂに示すように、角度θが０度と３６０度の状況で取得された画像データの輝度を大きくするように補正し、角度θが１８０度で取得された画像データの輝度は補正しない、または０度と３６０度の画像よりも輝度の補正量を小さくするようにしてよい。本実施形態において、太陽の方角は時刻と日付情報により推測を行うことができ、カメラの位置と方向の情報は、フライトコントローラー（501）から取得することができる。
上述の反射光と透過光の分離の方法に加えて、または、その方法に替えて以下の画像分析方法を行なうことにより、より精度が高い窒素吸収量の測定が可能である。
（分光特性補正）
窒素含有量のより正確な測定を行なうためには、ドローン（100）による圃場（403）撮影の時点において作物（701）を照らす太陽光の特性を把握し、それに合わせた補正の計算を行なうことが望ましい。天候により左右される太陽光の特性により、作物（201）による反射光および透過光も影響を受けるからである。特に、直接光と天空光（大気中の水蒸気や塵などによって拡散されるか、雲から反射されて地面に到達する光）の割合を測定することが好ましい。太陽光の特性はドローン（100）に備えた光センサー、あるいは、カメラで測定し、圃場の画像と対応づけて保存して分析に供してもよい。さらに、以下のような方法で太陽光の特性を間接的に推定し、それに合わせた補正を行なってもよい。特に、直接光の全入射光に占める割合に基づいた補正を行なうことが望ましい。
圃場画像中の作物を含む物体の影のコントラスト（画像内の他の部分と比較した影の濃さ）を測定することにより直接光の光量、あるいは、入射光に占める直接光の割合を推定してもよい。前述の方法により分割した逆光側の作物（701-１）の画像と順光側の作物（701-2）の画像の全波長における反射率から直接光と天空光の割合を推定してもよい。直接光が強いときは逆光側と順光側の反射率の差が大きいことが明らかになっているからである。同様に、逆光側の作物（701-1）の画像の分光特性と順光側の作物（701-2）の画像の分光特性の差分から太陽光の特性を推定してもよい。画像全体の光量から直接光の割合を推定するようにしてもよい。
時刻から算出できる太陽高度と総光量の比率から直接光の割合を推定し、それに応じた補正を行なってもよい。たとえば、太陽の高度が高いのに総光量が少ない場合には、雲が厚く、直接光の割合が低いことを意味する。
（太陽角補正）
分光特性（各波長帯域のヒストグラム）は、太陽の方向と高度にも大きく影響を受けるため、撮影時の時刻から把握した太陽の方向と高度に関する情報圃場の画像と共に記録し、それに応じて補正パラメーターを算出する、または、計算式自体を変更する等の手順を分析処理に取り込むことが望ましい。
代替の方法として、太陽の位置をドローン（100）の高度と機首方向、圃場撮影カメラ（107）で撮影された画像内の機体の影の位置から算出してもよい。ドローン（100）の高度は、GPS（504）や各種センサーにより把握できるため、三角測量の原理により、太陽の位置を把握可能である。影の位置の測定は、圃場上の物体を機体の影と誤認しないよう、機体をホバリング状態にして、水平方向に好ましくは360度回転させて行なうことが望ましい。360度回転させることは地磁気センサー（506）のキャリブレーションにも貢献する。代替の方法として、ドローン（100）が方向転換を行なう際に、自機の影の位置を測定するようにしてもよい。ドローン（100）が圃場上空をくまなく飛行するためには、いずれにせよ方向転換が必要となるため、この方法を採用することで、ドローン（100）の飛行時間を無駄にしないというメリットが生じる。
ドローン（100）の飛行中にも太陽の位置は変化していくため、上記の影の位置の測定はドローン（100）の飛行中に定期的に行なうことが望ましい。所定の時間経過ごとに測定を行なってよく、さらに、着陸時および離陸時にいずれせよ必要となるホバリング時に影の位置の測定処理を行なってもよい。
上記で説明した太陽光の状況に応じた補正に加えて、画像分析処理において以下のような追加的処理を行なってもよい。土および水面は近赤外線領域における入射光に対する反射光の減衰率が10%以下であるという特性を有する。上記方法で得た反射光中心の画像から近赤外線が閾値以上である領域を抽出すると、それが土および水面に相当する可能性が高いため、その領域を窒素蓄積量の測定から排除することで、測定の精度を高めることができる。
また、赤色光の反射光の閾値により表面反射と内部反射を分離することが可能である。表面反射は葉の葉緑素の含有量にあまり影響されないため、画像から表面反射部分を削除してから近赤外線量の測定を行なうことで、より正確な葉緑素の含有量を測定できる。
同様に、近赤外線光および赤色光の反射光の閾値により葉の反射と穂の反射を分離することが可能である。葉緑素の測定は葉を中心にして行なうことが必要であるため、画像から穂の部分を削除してから近赤外線量の測定を行なうことで、より正確な葉緑素の含有量を測定できる。
同様に、赤色光の反射光の閾値により作物の上部にある葉の反射と下部にある葉の反射を分離することが可能であり、これにより上部の葉の窒素含有量と下部の葉の窒素含有量を独立して測定できる。この測定値に基づき、作物の窒素転流の状況を推定できる。
（同時散布の場合のカメラ角度）
本願発明に係るドローン（100）により、圃場撮影カメラ（107）による圃場の撮影、上述してきたような撮影画像の分析、そして、分析結果に基づいた適切な量の肥料等の薬剤散布を一回の飛行によりまとめて行なうようにしてもよい。これにより、圃場面積あたりのドローンの利用率を向上し、経済的なメリットが得られる。リアルタイム分析を行なう場合であっても、分析処理には多少の時間を要するため、圃場撮影カメラ（107）をドローン（100）の機体前方に向け、薬剤散布の調整、あるいは、可否の決定のための分析時間を確保することが望ましい。
この場合において、確保すべき分析時間はドローン（100）の飛行速度によって変わるため、圃場撮影カメラ（107）の角度をステッピングモーター等により調整可能とし、飛行速度に応じて自動的に調整することが望ましい。すなわち、飛行速度が速いときには、圃場撮影カメラ（107）を、前方を撮影する向きにし、飛行速度が遅いときには、圃場撮影カメラ（107）を、後方（機体直下に近い位置）を撮影する向きとすることが望ましい。圃場撮影カメラ（107）の角度調整に替えて、あるいは、加えて、薬剤散布ノズル（103）の位置をステッピングモーター等により調整可能とし、飛行速度に応じて自動的に調整することで分析に必要な時間を確保するようにしてもよい。すなわち、飛行速度が速いときには、薬剤散布ノズル（103）を、飛行方向のより後方側に位置させるようにしてよい。
逆に、分析に求められる計算時間を推定し、それに応じて飛行速度を決定し、さらに、それに応じて薬剤散布量を調整するようにしてもよい。
（本願発明による技術的に顕著な効果）
稲をはじめとする作物の生長度評価に必要な重要な窒素含有量を、ドローンという簡便な手段により、効率的かつ高精度で測定可能となる。測定機器を圃場まで運び多数のサンプルを測定する場合と比較して効率性が高い。また、衛星写真や単なる上空からの撮影画像による測定方法と比較して精度がはるかに高い。加えて、画像分析には太陽の位置や角度、天候などの環境条件を加味するため、さらに正確な分析が可能となる。

Claims (28)

  1. ドローンに搭載されたカメラにより撮影した圃場の画像データを取得する取得ステップと、
    前記カメラによる撮影時の太陽と前記カメラの相対位置もしくは太陽光の状態に応じて前記画像データを補正する補正ステップと、
    前記補正された画像データに基づいて前記圃場の作物の生育状況を分析する分析ステップとを含む
    圃場画像分析方法。
  2. 前記補正ステップでは、太陽光の照射方向と前記カメラの撮影方向の相対角度に応じて、前記画像データの光量を補正する、請求項１に記載の圃場画像分析方法。
  3. 前記補正ステップでは、前記画像データが前記カメラを太陽に対して順光側に向けて撮影されて取得された順光側画像データか逆光側に向けて撮影されて取得された逆光側画像データかに基づき前記分析ステップでの分析に用いられる画像データの補正量を変更する、請求項１に記載の圃場画像分析方法。
  4. 前記補正ステップでは、前記分析ステップでの分析に用いられる画像データから前記カメラを太陽に対して順光側に向けて撮影されて取得された順光側画像データ、もしくは逆光側に向けて撮影されて取得された逆光側画像データを除外する
    請求項１に記載の圃場画像分析方法。
  5. 前記補正ステップでは、前記画像データが前記順光側画像データか前記逆光側画像データかの判定を、前記画像データが撮影された時の前記ドローンの位置と時刻とに基づいて行なう、請求項２に記載の圃場画像分析方法。 
  6. 前記補正ステップでは、太陽から直接前記カメラに入射する直接光の全入射光に占める割合に応じて前記画像データの補正内容を変更する、 
    請求項１に記載の圃場画像分析方法。 
  7. 前記補正ステップでは、前記画像データの光量に応じて前記直接光の割合を推定する請求項６に記載の圃場画像分析方法。
  8. 前記補正ステップでは、前記画像データ内の物体の影のコントラストの大きさに基づいて入射光に占める直接光の割合を推定する、請求項６に記載の圃場画像分析方法。 
  9. 前記補正ステップでは、天空方向を撮影するカメラの画像に基づいて撮影時に前記カメラに入射する全入射光に占める前記直接光の割合を推定する、請求項６に記載の圃場画像分析方法。 
  10. 前記補正ステップでは、圃場画像中の前記ドローンの影の位置に基づいて撮影時の太陽の高度を推定し、推定した太陽の高度に応じて前記画像データを補正する、請求項１に記載の圃場画像分析方法。 
  11. 前記補正ステップでは、前記ドローンの影の位置の測定を旋回時に行なう、請求項１０に記載の圃場画像分析方法。 
  12. 前記画像データの分析結果に基づいて、前記ドローンの薬剤散布の量を調整する薬剤量調整ステップを含む、請求項１に記載の圃場画像分析方法。 
  13. 前記ドローンの飛行度に応じて、前記カメラの位置若しくは方向、または、薬剤散布ノズルの位置若しくは方向を調整する位置調整ステップを含む、請求項１２に記載の 圃場画像分析方法。 
  14. 前記分析ステップは、前記画像データから近赤外線の反射率が所定の値以上である領域を排除するステップを含む、請求項１から請求項１３に記載の圃場画像分析方法。 
  15. ドローンに搭載されたカメラにより撮影した圃場の画像データを取得する画像データ取得部と、
    前記カメラによる撮影時の太陽と前記カメラの相対位置もしくは太陽光の状態に応じて前記画像データを補正する画像データ補正部と、
     前記補正された画像データに基づいて前記圃場の作物の生育状態を分析する画像分析部とを有する
    圃場画像分析システム。 
  16. 前記画像データ補正部は、太陽光の照射方向と前記カメラの撮影方向の相対角度に応じて、前記画像データの光量を補正する、請求項１５に記載の圃場画像分析システム。
  17. 前記画像データ補正部は、前記画像データが前記カメラを太陽に対して順光側に向けて撮影した取得した順光側画像データか逆光側に向けて撮影された逆光側画像データかに基づき前記画像分析部での分析に用いられる画像データの補正量を変更する、請求項１５に記載の圃場画像分析システム。 
  18. 前記画像データ補正部は、前記画像分析部での分析に用いられる画像データから前記カメラを太陽に対して順光側に向けて撮影されて取得された順光側画像データ、もしくは逆光側に向けて撮影されて取得された逆光側画像データを除外する
    請求項１５に記載の圃場画像分析システム。
  19. 前記画像データ補正部は、前記画像データが前記順光側画像データか前記逆光側画像データかの判定を、前記画像データが撮影された時の前記ドローンの位置と時刻とに基づいて行なう、請求項１７に記載の圃場画像分析システム。 
  20. 前記画像データ補正部は、太陽から直接前記カメラに入射する直接光の全入射光に占める割合に応じて前記画像データの補正内容を変更する、請求項１５に記載の圃場画像分析システム。 
  21. 前記画像データ補正部は、前記画像データ内の物体の影のコントラストの大きさに基づいて全入射光に占める直接光の割合を推定する、請求項２０に記載の圃場画像分析システム。 
  22. 前記画像データ補正部は、天空方向を撮影するカメラの画像に基づいて撮影時に前記カメラで撮影される画像の前記直射光の割合を推定する、請求項２０に記載の圃場画像分析システム。 
  23. 前記画像データ補正部は、圃場画像中の前記ドローンの影の位置に基づいて撮影時の太陽の高度を推定し、推定した太陽の高度に応じて前記画像データを補正する、請求項１５に記載の圃場画像分析システム。
  24. 前記画像データ補正部は、前記ドローンの影の位置の測定を旋回時に行なう、請求項２３に記載の圃場画像分析システム。 
  25. 前記画像データの分析結果に基づいて、前記ドローンの薬剤散布の量を調整する薬剤量調整部を含む、請求項１５に記載の圃場画像分析システム。
  26. 前記ドローンの飛行度に応じて、前記カメラの位置若しくは方向、または、薬剤散布ノズルの位置若しくは方向を調整するノズル位置調整部を含む、請求項２５に記載の圃場画像分析システム。 
  27. 前記画像分析部は、前記画像データから近赤外線の反射率が所定の値以上である領域を排除する命令群を含む、請求項１５ないし請求項２６のいずれか１項に記載の圃場画像分析システム。
  28. 前記画像データ補正部及び前記画像分析部は、前記ドローン、または前記ドローンに操縦情報を入力する操縦器、またはその他の外部サーバに実装される、請求項１５ないし請求項２６のいずれか１項に記載の圃場画像分析システム。

     
PCT/JP2019/040454 2018-10-12 2019-10-15 圃場画像分析方法 WO2020075868A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020511545A JP6887142B2 (ja) 2018-10-12 2019-10-15 圃場画像分析方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-193240 2018-10-12
JP2018193240 2018-10-12

Publications (1)

Publication Number Publication Date
WO2020075868A1 true WO2020075868A1 (ja) 2020-04-16

Family

ID=70165071

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040454 WO2020075868A1 (ja) 2018-10-12 2019-10-15 圃場画像分析方法

Country Status (2)

Country Link
JP (1) JP6887142B2 (ja)
WO (1) WO2020075868A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434569A (zh) * 2020-11-09 2021-03-02 吉林化工学院 一种无人机热成像系统
CN112565726A (zh) * 2020-12-10 2021-03-26 广州极飞科技有限公司 作业处方图的确定方法、作业控制方法及相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009664A (ja) * 2001-06-29 2003-01-14 Minolta Co Ltd 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体
JP2004061220A (ja) * 2002-07-26 2004-02-26 Gosei:Kk 地下水の探査方法
JP2014089219A (ja) * 2014-02-21 2014-05-15 Nikken Sekkei Ltd 直射光有無判断装置
JP2017009553A (ja) * 2015-06-26 2017-01-12 日産自動車株式会社 車両位置判定装置及び車両位置判定方法
JP2017206066A (ja) * 2016-05-16 2017-11-24 株式会社プロドローン 薬液散布用無人航空機
JP2018111429A (ja) * 2017-01-12 2018-07-19 東光鉄工株式会社 ドローンを使用した農薬散布方法
JP2018128376A (ja) * 2017-02-09 2018-08-16 株式会社トプコン 演算装置、演算方法およびプログラム
WO2018180954A1 (ja) * 2017-03-28 2018-10-04 コニカミノルタ株式会社 画像処理装置、生育調査画像作成システム及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009664A (ja) * 2001-06-29 2003-01-14 Minolta Co Ltd 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体
JP2004061220A (ja) * 2002-07-26 2004-02-26 Gosei:Kk 地下水の探査方法
JP2014089219A (ja) * 2014-02-21 2014-05-15 Nikken Sekkei Ltd 直射光有無判断装置
JP2017009553A (ja) * 2015-06-26 2017-01-12 日産自動車株式会社 車両位置判定装置及び車両位置判定方法
JP2017206066A (ja) * 2016-05-16 2017-11-24 株式会社プロドローン 薬液散布用無人航空機
JP2018111429A (ja) * 2017-01-12 2018-07-19 東光鉄工株式会社 ドローンを使用した農薬散布方法
JP2018128376A (ja) * 2017-02-09 2018-08-16 株式会社トプコン 演算装置、演算方法およびプログラム
WO2018180954A1 (ja) * 2017-03-28 2018-10-04 コニカミノルタ株式会社 画像処理装置、生育調査画像作成システム及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIRATA, SATOSHI ET AL.: "Estimation of Plant Height with Flying Drone", PROCEEDINGS OF THE 62ND ANNUAL CONFERENCE OF THE INSTITUTE OF SYSTEMS, CONTROL AND INFORMATION ENGINEERS, 16 May 2018 (2018-05-16) *
ITO, ATSUSHI ET AL.: "Applying A Drone for Agriculture", IEICE TECHNICAL REPORT, vol. 117, no. 52, 18 May 2017 (2017-05-18), pages 25 - 30, ISSN: 0913-5685 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434569A (zh) * 2020-11-09 2021-03-02 吉林化工学院 一种无人机热成像系统
CN112434569B (zh) * 2020-11-09 2024-03-12 吉林化工学院 一种无人机热成像系统
CN112565726A (zh) * 2020-12-10 2021-03-26 广州极飞科技有限公司 作业处方图的确定方法、作业控制方法及相关装置

Also Published As

Publication number Publication date
JPWO2020075868A1 (ja) 2021-02-15
JP6887142B2 (ja) 2021-06-16

Similar Documents

Publication Publication Date Title
CN111556986B (zh) 无人机及其控制方法以及计算机可读取记录介质
JP6390013B2 (ja) 小型無人飛行機の制御方法
JP6762629B2 (ja) 圃場作物撮影方法および撮影用ドローン
JP6889502B2 (ja) ドローン、ドローンの制御方法、および、ドローン制御プログラム
WO2020075868A1 (ja) 圃場画像分析方法
JP7353630B2 (ja) ドローンの制御システム、ドローンの制御方法およびドローン
JP7311146B2 (ja) 圃場管理システム
JP6973829B2 (ja) 圃場撮影用カメラ
WO2019189929A1 (ja) 薬剤散布用ドローン
WO2021255940A1 (ja) 作物の生育診断を行うドローンと、そのカメラシステム
JP7359464B2 (ja) 農作物育成システム
CN112911932B (zh) 行驶路径生成装置、行驶路径生成方法和计算机可读取记录介质以及无人机
JP7075127B2 (ja) 圃場分析方法、圃場分析プログラム、圃場分析装置、ドローンシステムおよびドローン
JP2022084735A (ja) ドローン、ドローンの制御方法、および、ドローンの制御プログラム
JP7411259B2 (ja) 植物の病理診断システム、植物の病理診断方法、植物の病理診断装置、およびドローン
WO2021255885A1 (ja) 散布システム、散布方法、およびドローン
JP7412037B2 (ja) ドローンシステム、操作器および作業エリアの定義方法
JP7011233B2 (ja) 散布システムおよび散布管理装置
WO2021152741A1 (ja) 農作物育成システム
WO2021224970A1 (ja) 測位システム、移動体、速度推定システム、測位方法、および速度推定方法
JP7387195B2 (ja) 圃場管理システム、圃場管理方法およびドローン
WO2021205559A1 (ja) 表示装置、ドローンの飛行可否判定装置、ドローン、ドローンの飛行可否判定方法、およびコンピュータプログラム
JP7169022B2 (ja) 収穫量予測システム、収穫量予測方法、および収穫量予測プログラム、ならびに収穫時期予測システム
JPWO2020045397A1 (ja) ドローン、ドローンの制御方法、および、ドローン制御プログラム
JP2021082173A (ja) 営農支援システム、営農支援方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020511545

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19870946

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19870946

Country of ref document: EP

Kind code of ref document: A1