WO2023079063A1 - Methode und system zur datenerhebung auf einem agrarwirtschaftlich genutzten feld - Google Patents

Methode und system zur datenerhebung auf einem agrarwirtschaftlich genutzten feld Download PDF

Info

Publication number
WO2023079063A1
WO2023079063A1 PCT/EP2022/080785 EP2022080785W WO2023079063A1 WO 2023079063 A1 WO2023079063 A1 WO 2023079063A1 EP 2022080785 W EP2022080785 W EP 2022080785W WO 2023079063 A1 WO2023079063 A1 WO 2023079063A1
Authority
WO
WIPO (PCT)
Prior art keywords
weed
data
image analysis
flight
reference point
Prior art date
Application number
PCT/EP2022/080785
Other languages
English (en)
French (fr)
Inventor
Matthias Tempel
Josef EXLER
Original Assignee
Bayer Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayer Aktiengesellschaft filed Critical Bayer Aktiengesellschaft
Priority to AU2022381713A priority Critical patent/AU2022381713A1/en
Priority to EP22812641.3A priority patent/EP4430578A1/de
Priority to CA3237567A priority patent/CA3237567A1/en
Publication of WO2023079063A1 publication Critical patent/WO2023079063A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation

Definitions

  • the present invention relates to a method and a system for data collection on an agricultural field by a combination of long-distance flight and near-ground detection, in particular for the detection of weeds.
  • the present invention also includes a computer program product.
  • the object is achieved by a method for data collection on an agricultural field through a combination of long-distance flight and near-ground sensing, wherein a) in a first step, the geographic position of the respective reference point is recorded by near-ground sensing at reference points on the agricultural field and for each reference point at least one photograph of at least one weed on the agricultural field is taken, b) in a second step, flight detection parameters are determined using the data of an image analysis of the photographs of the at least one weed for each reference point, c) in in a third step, at least the reference points on the agricultural field are recorded photographically by remote flight sensing, the remote flight sensing parameters being used at least partially for the remote flight sensing.
  • the method for collecting data on an agricultural field first collects reference data from a weed or weeds by ground probing.
  • the reference data is used, among other things, to derive flight remote sensing parameters and thus ensure that flight remote sensing can deliver image data that is of high quality and is suitable, for example, for the creation of a weed distribution map. This procedure enables optimal acquisition of the flight remote sensing data and minimizes the collection of useless data. This leads to increases in efficiency and cost savings.
  • the image analysis of the photograph in step b) is improved because exactly one weed is selected. This avoids, for example, detecting a number of weeds lying close together, for which it is more likely that the image analysis in step b) will lead to incorrect results and possible consequential errors resulting from this, for example in the determination of the flight remote sensing parameters.
  • near-ground reconnaissance is carried out at at least 20 (twenty) reference points.
  • the image analysis of the photographs for each reference point in the second step b) includes the determination of at least one weed and its size.
  • the image analysis in the second step b) includes determining the weed species for the at least one weed.
  • the flight remote sensing parameters are defined in the second step b) by first determining the projected size of a single pixel of the smallest weed on the ground to be detected (Ground Sampling Distance, GSD).
  • the smallest weed to be detected is determined based on a size comparison of all identified weeds from the image analysis to the photographs for each reference point.
  • this procedure makes it possible to identify weeds in an early stage of growth using remote aerial sensing, because the smallest weeds to be detected on the agricultural field are used as a basis for determining the remote aerial sensing parameters.
  • the flight remote sensing parameters include flight altitude and camera characteristics and are determined based on the projected size of a single pixel of the smallest ground weed to be detected (GSD).
  • the image analysis of the photographic flight remote sensing data in the fourth step d) includes the determination of at least one weed.
  • a fourth step d) at least one weed distribution map for the agricultural field by means of an image analysis Photographic flight remote sensing data created.
  • the accuracy of the at least one weed distribution map is determined by comparing the image analysis of the photographic flight remote sensing data and the image analysis of the ground proximity sensing data at the reference points.
  • the comparison of the image analysis of the photographic long-distance flight detection data and the image analysis of the ground proximity detection data at the reference points is carried out in the fourth step d) by checking whether at the same geographic position of a reference point both in the image analysis of the photographic long-distance flight detection data and in the Image analysis of the photographic near-ground exploration data at least one weed has been detected.
  • a further embodiment relates to a system for data collection on an agricultural field by a combination of long-distance flight and near-ground detection, comprising: at least one measuring rod; a receiving unit; a computing unit; and an output unit; whereby, with the aid of the at least one measuring rod, the geographic position of individual reference points on an agricultural field is recorded by ground proximity exploration and at least one photograph of at least one weed on the agricultural field is taken for each reference point, wherein the data from the reference points via the receiving unit is made available to the computer unit, wherein, the computing unit is configured to perform an image analysis of the photographic data from the respective reference points and to determine at least one weed for each reference point, wherein the computing unit is configured to determine flight remote sensing parameters based on the image analysis, wherein the output unit is configured to at least the Display, output or store in a data memory information from the computer unit relating to the determination of remote flight detection parameters.
  • Another embodiment relates to a computer program product for controlling the system described above, which when executed by a processor is configured to carry out the method described above.
  • a further embodiment relates to a measuring stick for data collection by ground proximity exploration in an agricultural field, comprising: at least one stick; a sensor for determining the geographical position of individual reference points on the agricultural field; a camera for photographing at least one weed for each reference point; an output unit; wherein the sensor for determining the geographical position and the camera are positioned on the pole such that the geographical position and the photograph can be determined at a reference point at the same time.
  • such a measuring rod makes it possible to collect the necessary data for a reference point on the agricultural field quickly and accurately. Measurement errors or inaccuracies can thus be minimized or ruled out.
  • FIG. 1 schematically shows step a) of the method for data collection on an agricultural field.
  • FIG. 2 schematically shows step b) of the method for data collection on an agricultural field.
  • FIG. 3 schematically shows step c) of the method for data collection on an agricultural field.
  • FIG. 4 schematically shows step d) of the method for data collection on an agricultural field and in particular the creation of at least one weed distribution map.
  • FIG. 5 schematically shows step d) of the method for data collection on an agricultural field and in particular the determination of the accuracy of the at least one weed distribution map.
  • FIG. 6 shows specific examples of determining the accuracy of the at least one weed distribution map.
  • FIG. 7 schematically shows a system for data collection on an agricultural field.
  • FIG. 8 shows a schematic of three possible embodiments of a measuring rod for data collection by ground probing on a field used for agriculture.
  • Figures 1 to 3 show a schematic of a method 10 for data collection on an agricultural field by a combination of long-distance flight and near-ground detection, where a) in a first step, the geographic position of the respective reference point is recorded by near-ground detection at reference points on the agricultural field and for each reference point at least one photograph of at least one weed on the agricultural field is taken, b) in a second step, flight detection parameters are determined using the data of an image analysis of the photographs of the at least one weed for each reference point, c) in a third step, at least the reference points on the agricultural field are photographed by aerial remote sensing, wherein the remote flight reconnaissance parameters determined in step b) are used at least partially for the remote flight reconnaissance.
  • the method of data collection on the agricultural field includes the detection of weeds by a combination of long-distance aerial and ground-level sensing.
  • FIG. 1 shows a schematic of step a) of method 10.
  • Data are collected at reference points 12 on the field 11 used for agriculture by means of near-ground reconnaissance.
  • the agricultural field 11 is shown in Figure 1 from a bird's eye view.
  • the geographic position is recorded for each reference point 12 .
  • at least one photograph 14 of at least one weed 13 on the agriculturally used field 11 is made for each reference point 12 .
  • a measuring rod 300 can be used for this data collection.
  • the measuring rod comprises, for example, a sensor 320 for determining the geographic position of individual reference points 12 and a camera 330 for photographically capturing 14 at least one weed 13 for each reference point 12.
  • 20 (twenty) reference points 12 on the agricultural field 11 Data collected so that the data collection includes twenty photographs and the respective geographic position of the photographs.
  • At least one reference point is chosen on which a weed is growing.
  • At least one reference point is chosen on which a single weed plant is growing.
  • the geographic position is determined by a positioning system.
  • a known positioning system is a satellite navigation system such as NAVSTAR GPS, GLONASS, Galileo or Beidou. Since the abbreviation GPS (Global Positioning System) has established itself in everyday language as a generic term for all satellite navigation systems, the term GPS is used below as a collective term for all positioning systems.
  • GPS Global Positioning System
  • RTK Real Time Kinematic GPS position determination system
  • Accuracies of 1 to 2 cm are achieved.
  • the coordinates of the points can be calculated in real time after initialization.
  • a ground proximity survey is carried out at at least (twenty) 20, preferably (thirty) 30 and even more preferably (fifty) 50 reference points.
  • At least one photographic recording of the agricultural field is made for each reference point with the same working distance and preferably with the same camera properties.
  • camera characteristics relate to sensor size, sensor resolution, and/or (preferably "and") focal length.
  • the geographical position is determined and the photograph is taken at a reference point at the same time.
  • ground-level reconnaissance refers to surveying the agricultural field and collecting data in a low-level area, for example at a distance of no more than two meters from the ground, preferably no more than one meter.
  • the term "reference point" refers to a narrowly defined area on an agricultural field.
  • the reference points can be chosen at random. There just has to be at least one weed growing at a reference point.
  • a geographical position can be determined for each reference point. For example, a reference point covers an area of 20 cm 2 , preferably 10 cm 2 and even more preferably 5 cm 2 .
  • a “photograph” means data capture with a camera, for example, in 2D.
  • the camera includes an image sensor capable of capturing individual weeds in the field with good resolution.
  • a camera of a mobile phone can be used.
  • the camera is configured to capture photographs in the visible wavelength range.
  • the camera is configured to capture color (RGB) information.
  • weeds refers to plants that occur as spontaneous “companion vegetation” in the agricultural field, which are not intentionally grown there and from the seed potential of the soil, via root suckers or come to development via the inflow of seeds.
  • Weeds can be monocotyledonous or dicotyledonous plants.
  • FIG. 2 schematically shows step b) of the method for data collection on an agricultural field.
  • Flight remote sensing parameters 16 are determined on the basis of an image analysis 15 of the photographs 14 of all reference points 12 .
  • the image analysis of the photographs for each reference point in the second step b) includes the determination of at least one weed and its size.
  • determining the size of the at least one weed includes determining the area and diameter of the at least one weed.
  • the image analysis includes determining the weed species for the at least one weed.
  • the image analysis includes determining the BBCH growth stage for the at least one weed.
  • BBCH growth stage is preferably visually determined by image analysis.
  • the BBCH code (or the BBCH scale) provides information about the morphological stage of development of a plant.
  • the at least one weed and its properties are determined by means of instance segmentation, preferably using artificial intelligence and more preferably using a convolutional neural network and even more preferably a "Region Based Convolutional Neural Network" (R-CNN).
  • R-CNN Region Based Convolutional Neural Network
  • Instance segmentation and the use of R-CNN to determine weeds is known to those skilled in the art see, for example, Julien Champ et al., Instance segmentation for the fine detection of crop and weed plants by precision agricultural robots, Applications in Plant Sciences 2020 8/7); el 1373.
  • the flight remote sensing parameters are set in step b) by first determining the projected size of a single pixel of the smallest ground weed to be detected (Ground Sampling Distance, GSD).
  • the size comparison of all identified weeds also takes into account the weed species and preferably also the BBCH growth stage of each weed.
  • the value for the smallest weed to be detected is thresholded or adjusted to a threshold.
  • a threshold value of 2 cm can be determined for certain weeds such as thistles, because the plants cannot be recognized by image analysis of flight remote sensing data if the plants are less than 2 cm in size.
  • the flight remote sensing parameters include flight altitude and camera characteristics, and these are determined based on the projected size of a single pixel of the smallest detectable ground weed (GSD).
  • GSD ground weed
  • the camera characteristics include sensor size, sensor resolution, and/or (preferably "and") focal length.
  • the flight remote sensing parameters include the geographic location of the reference points.
  • flight remote sensing parameters are determined that ensure weed detection while maximizing the area performance of remote sensing.
  • the following formula is used: "Plant size in mm / 2 * Correction factor for light * Correction factor for flight conditions".
  • the correction factor for light takes into account, for example, the time of day/season or the weather conditions (sunny, slightly cloudy, etc.).
  • the correction factor for flight conditions takes into account, for example, unsteady wind conditions that affect the camera shutter speed, the overlapping of the photographic recordings or the flight speed.
  • the correction factors thus compensate for the image blur.
  • the adjustment can also be made in advance immediately before the flight based on the weather forecast at the location.
  • FIG. 3 schematically shows step c) of the method for data collection on an agricultural field. At least the reference points 12 are recorded photographically 14 on the agricultural field 11 by remote aerial survey.
  • the aircraft 17 is shown by way of example as a drone with a camera, which can be used for remote aerial reconnaissance.
  • the flight remote sensing parameters 16 determined in step b) are used at least partially for the flight remote sensing.
  • the entire area encompassed by the reference points is captured photographically.
  • the entire agricultural field is photographed by aerial remote sensing.
  • the remote flight reconnaissance parameters determined in step b), such as the flight altitude and the camera properties, are used at least partially for the remote reconnaissance.
  • flight remote sensing parameters such as the choice of aircraft, the flight route, etc. that must be taken into account.
  • At least one unmanned aerial vehicle is used in step c) for flight remote sensing.
  • UAV unmanned aerial vehicle
  • Several aircraft can also be used.
  • cameras integrated in aircraft or cameras that can be attached to aircraft are used for the photographic recordings of flight remote sensing.
  • the use of a high-resolution camera sensor is particularly important for this.
  • the image analysis of the photographic flight remote sensing data in the fourth step d) includes the identification of at least one weed.
  • the image analysis of the photographic flight remote sensing data in the fourth step d) includes determining the size of the at least one weed.
  • determining the size of the at least one weed includes determining the area and diameter of the at least one weed.
  • the image analysis of the photographic flight remote sensing data in the fourth step d) includes determining the weed species for the at least one weed.
  • the image analysis of the photographic flight remote sensing data in the fourth step d) includes the determination of the BBCH growth stage of the at least one weed.
  • the determination of the at least one weed and its properties is performed by means of instance segmentation, preferably using artificial intelligence and more preferably using a convolutive neural network and in particular an R-CNN. As described above, such methods are known to those skilled in the art.
  • Figure 4 schematically shows step d) of the method for data collection on an agricultural field 11 and in particular the creation of at least one weed distribution map 18.
  • the at least one weed distribution map 18 for the agricultural field 11 is created by means of an image analysis 19 of the photographic flight remote sensing data 20.
  • the aircraft 17 shown as a drone in Figure 4
  • flies over the agricultural field 11 see dashed line 25, which flight route as an example).
  • the photographic recording 20 of the entire field 11 takes place. Overlapping photographic recordings 20 are preferably made, which can be used for georeferencing and, if necessary, for orthorectification of the image data.
  • the at least one weed distribution map 18 is created on the basis of georef ened and preferably orthorectified photographic aerial survey data 20 and the image analysis 19, in which at least the weeds 13 on the agricultural field 11 are determined.
  • the image analysis 19 preferably also determines the size of the weeds 13 and in particular also the weed species of the individually identified weeds or the BBCH growth stage.
  • the weed distribution map 18 shows at least those areas 21 on the agricultural field 11 in which weeds 13 grow (shown as hatched areas 21 in FIG. 4).
  • the white areas in the weed distribution map 18 in FIG. 4 show examples of regions on the agricultural field where no weeds were growing (or were too small) at the time the data was collected.
  • the weed distribution map 18 can also display more detailed data, such as the distribution and occurrence of different weed species, the reference points 12 or the size or the BBCH growth stage of the individual weeds. Combinations of these data can also be displayed.
  • FIG. 5 schematically shows step d) of the method for data collection on an agricultural field 11 and in particular the determination of the accuracy of the at least one weed distribution map.
  • the accuracy of the at least one weed distribution map is determined by comparing the image analysis of the photographic remote flight detection data 27 and the image analysis of the ground proximity detection data 26 at the reference points 12 .
  • the comparison of the image analysis of the photographic remote flight detection data 27 and the image analysis of the ground proximity detection data 26 at the reference points 12 is carried out in the fourth step d) by checking whether at the same geographic position of a reference point 12 both in the image analysis of the photographic remote flight detection data 27 and in at least one weed 13 has been recognized by the image analysis of the ground proximity sensing data 26 .
  • Figure 4 shows number 28 a scenario in which at a weed was detected in both image analyses.
  • Paragraph 29 shows a scenario where weeds were only detected in the image analysis of the near-ground sensing data 27, but not in the image analysis of the flight remote sensing data 27. It is also possible that weeds are detected in both image analyzes (26 and 27), it however, the weeds are different weed species.
  • the at least one weed distribution map for the agricultural field is used for the site-specific application of at least one weed control agent.
  • All known biologically and/or chemically based herbicides can be used as weed control agents.
  • the site-specific application of a weed control agent according to the weed distribution map is carried out by a tractor with a crop protection sprayer.
  • the determination of the weed species in step d) can be used to determine which at least one weed control agent to use.
  • different herbicides may be used for different weeds.
  • the agricultural field is planted with an arable crop preferably selected from the group consisting of corn, sugar beet, corn and soybeans.
  • the accuracy of the at least one weed distribution map in fourth step d) is sufficient if, based on all reference points recorded by ground proximities, at least in 95% (preferably at least in 96.5% and even more preferably in 98%) of the comparisons at the geographic position of a At least one weed has been detected at the reference point both in the image analysis of the photographic flight remote sensing data and in the image analysis of the ground proximity sensing data.
  • at least one weed that is of the same type of weed is preferably recognized in both image analyses.
  • FIG. 6 shows specific examples of determining the accuracy of the at least one weed distribution map.
  • the left-hand side of FIG. 6 shows an example a) in which near-ground detection data and remote flight detection data were collected at twenty reference points and at least one weed distribution map was determined using the method described.
  • the comparisons of the image analysis of the photographic flight remote sensing data 27 with the image analysis of the near ground sensing data 26 for each reference point showed that at least one weed was detected at 19 reference points in both data sets.
  • a weed was only detected at a reference point in the image analysis of the near-ground detection data 26, but not in the image analysis of the long-distance flight detection data 27.
  • a further example b) is shown on the right-hand side of FIG. 6, in which near-ground detection data and remote flight detection data were collected at twenty reference points and at least one weed distribution map was determined using the method described.
  • the comparison of the image analysis of the photographic flight remote sensing data 27 with the image analysis of the near ground sensing data 26 for each reference point showed that at least one weed was detected at 18 reference points in both data sets.
  • a weed was only detected at two reference points in the image analysis of the near-ground detection data 26, but not in the image analysis of the long-distance flight detection data 27.
  • FIG. 7 schematically shows a system 100 for data collection on an agricultural field by a combination of long-distance flight and near-ground detection.
  • the system comprises at least one measuring stick 110, a receiving unit 120, a computer unit 130 and an output unit 140.
  • the geographic position at individual reference points on an agricultural field is recorded by ground proximity sensing and at least one photograph of each reference point made at least one weed on the agricultural field.
  • the data from the reference points are made available to the computer unit via the receiving unit.
  • the computer unit is configured to carry out an image analysis of the photographic data from the respective reference points and to determine at least one weed for each reference point.
  • the computing unit is further configured to determine flight remote sensing parameters based on the image analysis.
  • the output unit is configured, at least the information from display, output or store in a data memory the computer unit with regard to the determination of flight remote sensing parameters.
  • the system includes the dipstick further described by FIG.
  • the data is transmitted from the measuring rod 110 to the receiving unit 120 by various transmission techniques known per se to those skilled in the art, such as via cable or wirelessly, for example via networks such as PAN (e.g. Bluetooth), LAN (e.g. Ethernet); WAN (e.g. ISDN), GAN (e.g. the Internet), LPWAN or LPN (e.g. SigFox, LoRAWAN, etc ), cellular networks or others.
  • PAN e.g. Bluetooth
  • LAN e.g. Ethernet
  • WAN e.g. ISDN
  • GAN e.g. the Internet
  • LPWAN or LPN e.g. SigFox, LoRAWAN, etc
  • the system includes a receiving unit, a computer unit and an output unit. It is conceivable that the units mentioned are part of a single computer system; however, it is also conceivable for the units mentioned to be components of a number of separate computer systems which are connected to one another via a network in order to transmit data and/or control signals from one unit to another unit. It is possible, for example, for the computer unit to be in the “cloud” and for the analysis steps described in this application to be carried out by this computer unit in the “cloud”.
  • a "computer system” is an electronic data processing system that processes data using programmable calculation rules. Such a system typically includes a "computer,” the unit that includes a processor for performing logical operations, and peripherals.
  • peripherals are all devices that are connected to the computer and are used to control the computer and/or as input and output devices. Examples of this are monitors (screens), printers, scanners, mice, keyboards, drives, cameras, microphones, loudspeakers, etc. Internal connections and expansion cards are also considered peripherals in computer technology.
  • Today's computer systems are often divided into desktop PCs, portable PCs, laptops, notebooks, netbooks and tablet PCs and so-called handhelds (e.g. smartphones); all of these systems can be used for execution.
  • the computer unit 130 is configured to carry out step b) of the method, which is described in detail above, including all preferred embodiments thereof.
  • the system includes at least one aircraft 150.
  • the aircraft preferably includes a data receiving and transmitting unit.
  • the aircraft is preferably at least one unmanned aerial vehicle (UAV).
  • UAV unmanned aerial vehicle
  • the output unit is configured to transmit at least the information from the computer unit relating to the specific flight remote sensing parameters to the at least one aircraft using the transmission technologies described above and known to those skilled in the art.
  • the at least one aircraft 150 is configured to carry out step c) of the method - including all preferred embodiments thereof - described in detail above.
  • the flight remote sensing data are made available by the aircraft 150 to the computer unit 130 via the receiving unit 120 .
  • the computing unit 130 is configured to perform step d) of the method - including all preferred embodiments thereof - detailed above.
  • the computer unit can carry out the image analysis of the flight remote sensing data, create at least one weed distribution map of the agricultural field and/or check the accuracy of the weed distribution map.
  • the weed distribution map generated by the computer unit 130 is made available by the output unit 140 to the receiving unit of a tractor with a crop protection sprayer, preferably after checking the accuracy of the weed distribution map.
  • the tractor with the crop protection sprayer is configured to carry out a site-specific application of a weed control agent according to the weed distribution map on the agricultural field.
  • FIG. 1 Another embodiment relates to a storage medium storing the computer program product.
  • FIG. 8 schematically shows three possible embodiments a) to c) of a measuring rod 300 for collecting data by probing the ground in a field used for agriculture.
  • the dipstick 300 includes at least one stick 310; a sensor 320 for determining the geographical position of individual reference points on an agricultural field; a camera 330 for photographing at least one weed for each reference point; and an output unit 340.
  • the sensor for determining the geographical position and the camera are positioned on the pole so that the geographical position and the photograph at a reference point are the same Time can be determined or made.
  • pole 310 is a plumbing pole.
  • the senor 320 is a positioning system and more particularly a satellite navigation system such as NAVSTAR GPS, GLONASS, Galileo or Beidou.
  • a satellite navigation system such as NAVSTAR GPS, GLONASS, Galileo or Beidou.
  • RTK Real Time Kinematic GPS position determination system is particularly preferred.
  • camera 330 includes an image sensor capable of capturing individual weeds in the field with good resolution.
  • a camera of a mobile phone can be used.
  • the camera is configured to capture photographs in the visible wavelength range.
  • the camera is configured to capture color (RGB) information.
  • the camera captures photographs in 2D.
  • the output unit 340 comprises a transmission unit.
  • the transmission unit is configured to transmit the data from the sensor 310 and/or (preferably "and") the camera 330 to other devices via the transmission techniques described above, which are known per se, such as via cables or wirelessly.
  • the camera is located at the bottom of the rod 310, preferably at right angles to the rod (as shown in Figure 8a)). In this position, the camera can photograph the at least one weed from above (in the downward extension of the vertical direction of the stick, nadir position).
  • the measuring stick 300 includes a camera mount 350.
  • the camera mount is configured to fix the camera to the stick firmly, but preferably reversibly.
  • the gauge 300 includes a laser pointer 360 (see also Figure 8b) and Figure 8c)).
  • the laser pointer is configured to illuminate the at least one weed on the agricultural field. This ensures that the geographical position and the photographic recording can be synchronized at exactly the exact location.
  • Sensor 320, camera 330 and laser pointer 360 are therefore preferably synchronized.
  • the camera 330 is located at the bottom on the side of the rod 310.
  • the recording area of the camera is shown with dashed lines.
  • the laser pointer 360 is also located at the bottom of the wand. Its laser light (dashed line) is aimed at the center of the camera's 330 field of view.
  • the determination of the geographic position, ie where the laser illuminates the at least one weed, is slightly offset compared to the vertical direction of the measuring stick (see 321). This difference in the geographical position of the weed to be detected and the sensor 320 is compensated for via a correction factor in determining the exact geographical position of the weed to be detected.
  • FIG. 8c in which the camera 300 is fastened laterally (and preferably at right angles to the rod) further up on the rod 310 with a camera holder 350.
  • RTK GPS surveying poles are known in the prior art (e.g. ProMark 220 GNSS Ashtech from Spectra, GeoMax Zenitz 35 pro from Geometra) but are not suitable for photographically recording at least one weed at a reference point on an agricultural field and at the same time the geographical position to measure. In the case of the known measuring rods, such data collection takes place sequentially at best, which can lead to measurement errors.
  • the dipstick described in the application addresses this problem and offers a solution that is significantly less error-prone.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Die Erfindung betrifft Methode zur Datenerhebung auf einem landwirtschaftlich genutzten Feld durch eine Kombination von Flugfem- undBodennaherkundung, wobei in einem ersten Schritt durch Bodennaherkundung an Referenzpunkten auf dem landwirtschaftlich genutzten Feld die geographische Position des jeweiligen Referenzpunktes erfasst wird und fur jeden Referenzpunkt zumindest eine fotografische Aufnahme von zumindest einem Unkraut auf dem landwirtschaftlich genutzten Feld gemacht wird; i inn eeiinneemm zweiten Schritt Flugfemerkundungsparameter anhand der Daten einer Bildanalyse der fotografischen Aufnahmen von dem zumindest einem Unkraut fur jeden Referenzpunkt bestimmt werden; und in einem dritten Schritt zumindest die Referenzpunkte auf dem landwirtschaftlich genutzten Feld durch Flugfernerkundungfotografisch erfasst werden, wobei fur die Flugfemerkundung zumindest teilweise die in Schritt b) bestimmten Flugfemerkundungsparameter verwendet werden.

Description

Methode und System zur Datenerhebung auf einem agrarwirtschaftlich genutzten Feld
Einleitung
Die vorliegende Erfindung betrifft eine Methode und ein System zur Datenerhebung auf einem agrarwirtschaftlich genutzten Feld durch eine Kombination von Flugfern- und Bodennaherkundung insbesondere zur Erkennung von Unkräutern. Die vorliegende Erfindung umfasst auch ein Computerprogrammprodukt.
Hintergrund der Erfindung
Die Präzisionslandwirtschaft ermöglicht es heute durch teilflächenspezifische Herbizidapplikation den Herbizidauwand auf einem agrarwirtschaftlich genutzten Feld zu verringern und trotzdem eine gute Unkrautkontrolle zu erhalten. Ein möglicher Ansatz, die für eine teilflächenspezifische Herbizidapplikation notwendigen Unkrautverteilungskarten zu generieren, ist die objektbasierte Analyse von georef erenzierten Bilddaten unter Verwendung von Modellen des maschinellen Lernens. Dabei werden die Bilddaten häufig mittels Flugfemerkundung und insbesondere durch Verwendung von Drohnen (Unmanned Aerial Vehicle; U AV) und an den Drohnen befestigten bzw. integrierten Kamerasystemen erfasst. Die Bilddaten werden dann mit Referenzdaten, die durch Bodennaherkundungerhalten worden sind, verifiziert. Bei diesem Vorgehen ergeben sich verschiedene Probleme, da beispielsweise die Erfassung von Referenzdaten aufwändig und/oder subjektiv sein kann. Die Verifikation der Bilddaten mit den Referenzdaten kann auch ergeben, dass die Bilddaten zur Generierung der Unkrautverteilungskarten nicht geeignet sind und nochmals erfasst werden müssen. Insgesamt ist es daher wünschenswert die Datenerfassung und die Unkrauterkennung auf einem landwirtschaftlich genutzten Feld und insbesondere die Erstellung von Unkrautverteilungskarten insgesamt zu verbessern bzw. zumindest einzelne Schritte, die dazu notwendig sind, zu optimieren bzw. zu vereinfachen. Zusammenfassung der Erfindung
Angesichts der beschriebenen Ausgangslage war es eine Aufgabenstellung der vorliegenden Erfindung die bestehenden digitalen Methoden und Systeme zur Datenerfassung und Unkrauterkennung auf einem agrarwirtschaftlich genutzten Feld insbesondere im Hinblick für die Erstellung von Unkrautverteilungskarten, die für teilflächenspezifische Herbizidapplikation notwendig sind, weiter zu verbessern.
In einer ersten Ausführungsform wird die Aufgabe gelöst durch eine Methode zur Datenerhebung auf einem landwirtschaftlich genutzten Feld durch eine Kombination von Flugfem- und Bodennaherkundung, wobei a) in einem ersten Schritt durch Bodennaherkundung an Referenzpunkten auf dem landwirtschaftlich genutzten Feld die geographische Position des jeweiligen Referenzpunktes erfasst wird und für jeden Referenzpunkt zumindest eine fotografische Aufnahme von zumindest einem Unkraut auf dem landwirtschaftlich genutzten Feld gemacht wird, b) in einem zweiten Schritt Flugfemerkundungsparameter anhand der Daten einer Bildanalyse der fotografischen Aufnahmen von dem zumindest einem Unkraut für jeden Referenzpunkt bestimmt werden, c) in einem dritten Schritt zumindest die Referenzpunkte auf dem landwirtschaftlich genutzten Feld durch Flugfemerkundung fotografisch erfasst werden, wobei für die Flugfemerkundung zumindest teilweise die in Schritt b) bestimmten Flugfemerkundungsparameter verwendet werden.
Anders gesagt wird durch die Methode zur Datenerhebung auf einem landwirtschaftlich genutzten Feld zuerst durch Bodennaherkundung Referenzdaten von einem Unkraut bzw. von Unkräutern erhoben. Die Referenzdaten werden verwendet, um u.a. Flugfemerkundungsparameter abzuleiten und so zu gewährleisten, dass die Flugfernerkundung Bilddaten liefern kann, die eine hohe Qualität aufweisen und sich beispielsweise für die Erstellung einer Unkrautverteilungskarte eignen. Durch dieses Vorgehen wird eine optimale Erfassung derFlugfernerkundungsdatenermöglichtund ein Sammeln vonunbrauchbarenDaten minimiert. Das führt zu Effizienzsteigerungen und Kosteneinsparungen.
In einem Beispiel wird in dem ersten Schritt a) zumindest ein Referenzpunkt gewählt, auf dem ein Unkraut wächst. In anderen Worten wird damit die Bildanalyse der fotografischen Aufnahme in Schritt b) verbessert, weil genau ein Unkraut ausgewählt wird. Dadurch wird beispielsweise vermieden, dass mehrere eng beieinanderliegende Unkräuter erfasst werden, bei denen es wahrscheinlicher ist, dass die Bildanalyse in Schritt b) zu falschen Ergebnissen führt und daraus mögliche Folgefehler z.B. bei der Bestimmung der Flugfernerkundungsparameter resultieren.
In einem weiteren Beispiel wird im ersten Schritt a) Bodennaherkundung an zumindest 20 (zwanzig) Referenzpunkten durch geführt.
Für eine gute Bestimmung der Flugfernerkundungsparameter sowie der späteren Evaluierung der Genauigkeit der Erfassung und/oder Bestimmung der Unkräuter ist es erforderlich, Daten an einer gewissen Mindestanzahl an Referenzpunkten zu erheben.
In einem Beispiel umfasst die Bildanalyse der fotografischen Aufnahmen für jeden Referenzpunkt im zweiten Schritt b) die Bestimmung von zumindest einem Unkraut sowie dessen Größe.
In einem Beispiel umfasst die Bildanalyse im zweiten Schritt b) die Bestimmung der Unkrautart für das zumindest eine Unkraut.
In einem weiteren Beispiel werden die Flugfernerkundungsparameter im zweiten Schritt b) dadurch festgelegt, dass zuerst die projizierte Größe eines einzelnen Pixels des kleinsten zu erfassenden Unkrauts am Boden (Ground Sampling Distance, GSD) bestimmt wird.
In einem Beispiel wird das kleinste zu erfassende Unkraut anhand eines Grössenvergleichs aller identifizierten Unkräuter von der Bildanalyse zu den fotografischen Aufnahmen für jeden Referenzpunkt ermittelt.
In anderen Worten ist es durch dieses Vorgehen möglich, Unkräuter in einem frühen Wachstumsstadium auch mit Flugfemerkundung zu identifizieren, weil die kleinsten zu erfassenden Unkräuter auf dem agrarwirtschaftlich genutzten Feld als Maßgabe für die Bestimmung der Flugfernerkundungsparameter verwendet werden.
In einem Beispiel umfassen die Flugfernerkundungsparameter die Flughöhe und die Kameraeigenschaften und werden auf Basis der projizierten Größe eines einzelnen Pixels des kleinsten zu erfassenden Unkrauts am Boden (GSD) bestimmt.
In einem Beispiel umfasst die Bildanalyse der fotografischen Flugfernerkundungsdaten im vierten Schritt d) die Bestimmung von zumindest einem Unkraut.
In einem Beispiel wird in einem vierten Schritt d) zumindest eine Unkrautverteilungskarte für das landwirtschaftlich genutzte Feld mittels einer Bildanalyse der fotografischen Flugfemerkundungsdaten erstellt.
In einem Beispiel wird in dem vierten Schritt d) die Genauigkeit, der zumindest einen Unkrautverteilungskarte durch Vergleich der Bildanalyse der fotografischen Flugfemerkundungsdaten und der Bildanalyse der Bodennaherkundungsdaten an den Ref erenzpunkten b estimmt.
In einem weiteren Beispiel erfolgt der Vergleich der Bildanalyse der fotografischen Flugfemerkundungsdaten und der Bildanalyse der Bodennaherkundungsdaten an den Referenzpunkten im vierten Schritt d) dadurch, dass überprüft wird, ob an der gleichen geographischen Position eines Referenzpunktes sowohl in der Bildanalyse der fotografischen Flugfemerkundungsdaten als auch in der Bildanalyse der fotografischen Bodennah erkundungsdaten zumindest ein Unkraut erkannt worden ist.
In anderen Worten erfolgt nach der Flugfemerkundung und der Erstellung der Unkrautverteilungskarte eine Validierung mit den Daten die an den Referenzpunkten erhoben worden sind. Damit ist es möglich die Genauigkeit und somit die Qualität der Unkrautverteilungskarte zu bestimmen. Damit kann auch bestimmt werden, ob sich die Unkrautverteilungskarte für eine teilflächenspezifische Herbizidapplikation auf dem landwirtschaftlich genutzten Feld eignet.
Eine weitere Ausführungsform betrifft ein System zur Datenerhebung auf einem landwirtschaftlich genutzten Feld durch eine Kombination von Flugfern- und Bodennaherkundung umfassend: zumindest einen Messstab; eine Empfangseinheit; eine Rechnereinheit; und eine Ausgabeeinheit; wobei, mit Hilfe des zumindest einen Messstabes durch Bodennaherkundung die geographische Position von einzelnen Referenzpunkten auf einem landwirtschaftlich genutzten Feld erfasst wird und fürjeden Referenzpunkt zumindest eine fotografische Aufnahme von zumindest einem Unkraut auf dem landwirtschaftlich genutzten Feld gemacht wird, wobei, die Daten von den Referenzpunkten über die Empfangseinheit der Rechnereinheit zur Verfügung gestellt werden, wobei, die Rechnereinheit konfiguriert ist, eine Bildanalyse der fotografischen Daten von den jeweiligen Referenzpunkten durchzuführen und zumindest ein Unkraut für jeden Referenzpunkt zu bestimmen, wobei die Rechnereinheit konfiguriert ist, Flugfernerkundungsparameter auf der Grundlage der Bildanalyse zu bestimmen, wobei die Ausgabeeinheit konfiguriert ist, zumindest die Information von der Rechnereinheit bezüglich der Ermittlung von Flugfemerkundungsparameter anzuzeigen, auszugeben oder in einem Datenspeicher zu speichern.
Eine weitere Ausführungsform betrifft ein Computerprogrammprodukt zur Steuerung des oben beschriebenen Systems, welches bei Ausführung durch einen Prozessor so konfiguriert ist, die oben beschriebene Methode auszuführen.
Eine weitere Ausführungsform betrifft einen Messstab zur Datenerhebung durch Bodennaherkundung auf einem landwirtschaftlich genutzten Feld umfassend: zumindest einen Stab; einen Sensor zur Bestimmung der geographischen Position von einzelnen Referenzpunkten auf dem landwirtschaftlich genutzten Feld; eine Kamera zur fotografischen Erfassung von zumindest einem Unkraut für jeden Referenzpunkt; eine Ausgabeeinheit; wobei der Sensor zur Bestimmung der geographischen Position und die Kamera so auf bzw. am Stab positioniert sind, dass diegeographischePositionunddiefotografische Aufnahme an einem Referenzpunkt zum gleichen Zeitpunkt bestimmt bzw. gemacht werden können.
Anders gesagt ist es durch einen solchen Messstab möglich schnell und genau die erforderlichen Daten für einen Referenzpunkt auf dem landwirtschaftlich genutzten Feld zu erheben. Messfehler bzw. Ungenauigkeiten können dadurch minimiert bzw. ausgeschlossen werden.
Kurze Beschreibung der Figuren
Ausgestaltungen der Erfindung werden nachfolgend durch Bezugnahme auf die folgenden Figuren beschrieben: Figur 1 zeigt schematisch Schritt a) der Methode zur Datenerhebung auf einem landwirtschaftlich genutzten Feld.
Figur 2 zeigt schematisch Schritt b) der Methode zur Datenerhebung auf einem landwirtschaftlich genutzten Feld.
Figur 3 zeigt schematisch Schritt c) der Methode zur Datenerhebung auf einem landwirtschaftlich genutzten Feld.
Figur 4 zeigt schematisch Schritt d) der Methode zur Datenerhebung auf einem landwirtschaftlich genutzten Feld und insbesondere die Erstellung zumindest einer Unkrautverteilungskarte.
Figur 5 zeigt schematisch Schritt d) der Methode zur Datenerhebung auf einem landwirtschaftlich genutzten Feld und insbesondere die Bestimmung der Genauigkeit der zumindest einen Unkrautverteilungskarte.
Figur 6 zeigt konkrete Beispiele der Bestimmung der Genauigkeit von der zumindest einen Unkrautverteilungskarte.
Figur 7 zeigt schematisch ein System zur Datenerhebung auf einem landwirtschaftlich genutzten Feld.
Figur 8 zeigt schematisch drei mögliche Ausführungsformen eines Messstabes zur Datenerhebung durch Bodennaherkundung auf einem landwirtschaftlich genutzten Feld.
Detaillierte Beschreibung
Die Figuren 1 bis 3 zeigen schematisch eine Methode 10 zur Datenerhebung auf einem landwirtschaftlich genutzten Feld durch eine Kombination von Flugfern- und Bodennaherkundung, wobei a) in einem ersten Schritt durch Bodennaherkundung an Referenzpunkten auf dem landwirtschaftlich genutzten Feld die geographische Position des jeweiligen Referenzpunktes erfasst wird und für jeden Referenzpunkt zumindest eine fotografische Aufnahme von zumindest einem Unkraut auf dem landwirtschaftlich genutzten Feld gemacht wird, b) in einem zweiten Schritt Flugfemerkundungsparameter anhand der Daten einer Bildanalyse der fotografischen Aufnahmen von dem zumindest einem Unkraut für jeden Referenzpunkt bestimmt werden, c) in einem dritten Schritt zumindest die Referenzpunkte auf dem landwirtschaftlich genutzten Feld durch Flugfernerkundung fotografisch erfasst werden, wobei für die Flugfemerkundung zumindest teilweise die in Schritt b) bestimmten Flugfemerkundungsparameter verwendet werden.
In einem Beispiel umfasst die Methode der Datenerhebung auf dem landwirtschaftlich genutzten Feld durch eine Kombination von Flugfern- und Bodennaherkundung die Erkennung von Unkräutern.
Figur 1 zeigt schematisch Schritt a) der Methode 10. Auf den landwirtschaftlich genutzten Feld 11 werden an Referenzpunkten 12 durch Bodennaherkundung Daten erhoben. Das landwirtschaftlich genutzte Feld 11 ist in Figur 1 aus der Vogelperspektive dargestellt. Für jeden Referenpunkt 12 wird die geographische Position erfasst. Zusätzlich wird für jeden Referenzpunkt 12 zumindest eine fotografische Aufnahme 14 von zumindest einem Unkraut 13 auf dem landwirtschaftlich genutzten Feld 11 gemacht. Für diese Datenerhebung kann beispielsweise ein Messstab 300 eingesetzt werden. Der Messstab umfasst beispielsweise einen Sensor 320 zur Bestimmung der geographischen Position von einzelnen Referenzpunkten 12 sowie eine Kamera 330 zur fotografischen Erfassung 14 von zumindest einem Unkraut 13 für jeden Referenzpunkt 12. In Figur 1 werden an 20 (zwanzig) Referenzpunkten 12 auf dem landwirtschaftlich genutzten Feld 11 Daten erhoben, so dass die Datenerhebung zwanzig fotografische Aufnahmen und die jeweilige geographische Position von den fotografischen Aufnahmen umfasst.
In einem Beispiel wird zumindest ein Referenzpunkt gewählt, auf dem ein Unkraut wächst.
In einem Beispiel wird zumindest ein Referenzpunkt gewählt, auf dem eine einzelne Unkrautpflanze wächst.
In einem einem weiteren Beispiel wird die geographische Position durch ein Positionsbestimmungssystem bestimmt. Ein bekanntes Positionsbestimmungssystem ist ein Satellitennavigationssystem wie beispielsweise NAVSTAR GPS, GLONASS, Galileo oder Beidou. Da sich die Abkürzung GPS (Globales Positionsbestimmungssystem) in der Umgangssprache als generische Bezeichnungfür alle Satellitennavigationssysteme etabliert hat, wird nachfolgend der Begriff GPS als Sammelbezeichnung für alle Positionsbestimmungssysteme verwendet. Besonders bevorzugt ist die Verwendung eines RTK (Real Time Kinematic) - GPS Positionsbestimmungssystems. Dabei werden Genauigkeiten von 1 bis 2 cm erreicht. Die Koordinaten der Punkte können nach der Initialisierung in Echtzeit berechnet werden. In einem Beispiel wird im ersten Schritt a) der Methode eine Bodennaherkundung an zumindest (zwanzig) 20 vorzugsweise (dreissig) 30 und noch bevorzugter (fünfzig) 50 Referenzpunkten durchgeführt.
In einem Beispiel wird im ersten Schritt a) der Methode, die zumindest eine fotografische Aufnahme von dem landwirtschaftlich genutzten Feld für jeden Referenzpunkt mit dem gleichen Arbeitsab stand und vorzugsweise mit den gleichen Kameraeigenschaften gemacht wird. In einem Beispiel beziehen sich die Kameraeigenschaften auf die Sensorgröße, die Sensorauflösung und/oder (vorzugsweise „und) die Brennweite.
In einem weiteren Beispiel wird die Bestimmung der geographischen Position und die fotografische Aufnahme an einem Referenzpunkt zum gleichen Zeitpunkt durchgeführt.
In einem Beispiel bezieht sich der Begriff „Bodennaherkundung“ auf die Besichtigung des landwirtschaftlich genutzten Feldes und der Erhebung von Daten in einem bodennahen Bereich beispielsweise in einer Entfernung vom Boden von maximal zwei Metervorzugsweise von maximal einem Meter.
In einem Beispiel bezieht sich der Begriff „Referenzpunkt“ auf einen eng eingegrenzten Bereich auf einem landwirtschaftlich genutzten Feld. Die Referenzpunkte können zufällig gewählt werden. Es muss nur zumindest ein Unkraut an einem Referenzpunkt wachsen. Für jeden Referenzpunkt kann eine geographische Position bestimmt werden. Beispielsweise umfasst ein Referenzpunkt einen Bereich von 20 cm2, bevorzugt 10 cm2 und noch bevorzugter 5cm2.
In einem Beispiel versteht man unter einer „fotografischen Aufnahme“ (oder einer „fotografischen Erfassung“) eine Datenerfassung mit einer Kamera beispielsweise in 2D. Die Kamera umfasst einen Bildsensor, der geeignet ist, um einzelne Unkräuter aufdem Feld in einer guten Auflösung zu erfassen. Beispielsweise kann eine Kamera eines Mobiltelefons eingesetzt werden. In einem Beispiel ist die Kamera so konfiguriert, dass sie im sichtbaren Wellenlängenbereich fotografische Aufnahmen erfassen kann.
In einem Beispiel ist die Kamera so konfiguriert, dass sie Farbinformationen (RGB) erfassen kann.
In einem Beispiel bezeichnet der Begriff „Unkraut“ Pflanzen die als spontane „Begleitvegetation“ auf dem landwirtschaftlich genutzten Feld vorkommen, die dort nicht gezielt angebaut werden und aus dem Samenpotential des Bodens, über Wurzelausläufer oder über Zuflug der Samen zur Entwicklung kommen. Unkräuter können monokotyle oder dikotyle Pflanzen sein.
Figur 2 zeigt schematisch Schritt b) der Methode zur Datenerhebung auf einem landwirtschaftlich genutzten Feld. Anhand einer Bildanalyse 15 der fotografischen Aufnahmen 14 aller Referenzpunkte 12 werden Flugfernerkundungsparameter 16 bestimmt.
In einem Beispiel umfasst die Bildanalyse der fotografischen Aufnahmen für jeden Referenzpunkt im zweiten Schritt b) die Bestimmung von zumindest einem Unkraut sowie dessen Größe.
In einem Beispiel umfasst die Bestimmung der Größe des zumindest einen Unkrautes die Bestimmung der Fläche und des Durchmessers des zumindest einen Unkrautes.
In einem Beispiel umfasst die Bildanalyse die Bestimmung der Unkrautart für das zumindest eine Unkraut.
In einem Beispiel umfasst die Bildanalyse die Bestimmung des BBCH Wachstumsstadiums für das zumindest eine Unkraut. Das BBCH Wachstumsstadium wird durch die Bildanalyse vorzugsweise visuell bestimmt. Der BBCH-Code (oder auch: Die BBCH- Skala) gibt Auskunft über das morphologische Entwicklungsstadium einer Pflanze.
In einem Beispiel erfolgt die Bestimmung des zumindest einen Unkrauts und dessen Eigenschaften mittels Instanzsegmentierung vorzugsweise unter Verwendung von künstlicher Intelligenz und noch bevorzugter unter Verwendung eines konvolutiven neuronalen Netzwerks und noch bevorzugter eines „Region Based Convolutional Neural Networks“ (R-CNN). Instanzsegmentierung und der Einsatz von R-CNN zur Bestimmung von Unkräutern ist dem Fachmann bekannt siehe beispielsweise Julien Champ et al., Instance segmentation for the fine detection of crop and weed plants by precision agricultural robots, Applications in Plant Sciences 2020 8/7); el 1373.
In einem Beispiel wird die Flugfernerkundungsparameter im zweiten Schrittb) dadurch festgelegt, dass zuerst die projizierte Größe eines einzelnen Pixels des kleinsten zu erfassenden Unkrautes am Boden (Ground Sampling Distance, GSD) bestimmt wird.
In einem Beispiel wird für den Größenvergleich aller identifizierten Unkräuter auch die Unkrautart und vorzugsweise auch das BBCH Wachsum stadium der einzelnen Unkräuter in Betracht gezogen.
In einem Beispiel wird für den Wert für das kleinste zu erfassende Unkraut ein Schwellenwert verwendet bzw. der Wert an einen Schwellenwert angepasst. Beispielsweise kann man einen Schwellenwert für bestimmte Unkräuter wie z.B. Disteln von 2 cm bestimmen, weil die Pflanzen durch die Bildanalyse von Flugfernerkundungsdaten bei einer Pflanzen große unter 2 cm nicht erkannt werden können.
In einem Beispiel umfassen die Flugfernerkundungsparameter die Flughöhe und die Kameraeigenschaften und diese werden auf Basis der projizierten Größe eines einzelnen Pixels des kleinsten zu erfassenden Unkrautes am Boden (GSD) bestimmt.
In einem Beispiel umfassen die Kameraeigenschaften die Sensorgröße, die Sensorauflösung und/oder (vorzugsweise „und) die Brennweite.
In einem Beispiel umfassen die Flugfernerkundungsparameter die geographische Position der Referenzpunkte.
In einem weiteren Beispiel werden Flugfernerkundungsparameter bestimmt, die die Erkennung der Unkräuter gewährleisten und gleichzeitig die Flächenleistung der Fernerkundung maximieren. In einem Beispiel wird dafür folgende Formel verwendet: „Größe Pflanze in mm / 2 * Korrekurfaktor für Licht * Korrekturfaktor für Flugbedingungen“. Der Korrekturfaktor für Licht berücksichtigt beispielsweise die Tageszeit/Jahreszeit bzw. die Wetterverhältnisse (sonnig, leicht bewölkt etc.). Der Korrekturfaktor für Flugbedingungen berücksichtigt beispielsweise unruhige Windverhältnisse die Auswirkungen auf die Kameraverschlusszeiten, die Überlappung der fotographischen Aufnahmen oder auch die Fluggeschwindigkeit haben. Die Korrekturfaktoren kompensieren somit die Bildunschärfe. Die Anpassung kann im Vorfeld auch unmittelbar vor dem Flug aufgrund der Wettervorsage am Standort erfolgen.
Figur 3 zeigt schematisch Schritt c) der Methode zur Datenerhebung auf einem landwirtschaftlich genutzten Feld. Zumindest die Referenzpunkte 12 werden auf dem landwirtschaftlich genutzten Feld 11 durch Flugfemerkundung fotografisch 14 erfasst. In Figur 3 ist das Flugfahrzeug 17 beispielshaft als Drohne mit Kamera dargestellt, welches für die Flugfemerkundung eingesetzt werden kann. Für die Flugfernerkundung wird zumindest teilweise die in Schritt b) bestimmten Flugfemerkundungsparameter 16 verwendet.
In einem Beispiel wird die ganze Fläche, die von den Referenzpunkten umfasst ist, fotografisch erfasst.
In einem weiteren Beispiel wird das ganze landwirtschaftlich genutzte Feld fotografisch durch Flugfernerkundung erfasst. Für die Generierung einer geeigneten
Unkrautverteilungskarte, ist die fotografische Erfassung des ganzen Feldes notwendig. Für die Flugfemerkundung wird zumindest teilweise die in Schritt b) bestimmten Flugfemerkundungsparameter wie beispielsweise die Flughöhe und die Kameraeigenschaften verwendet. Darüber hinaus gibt es weitere Flugfernerkundungsparameter wie beispielsweise die Wahl des Luftfahrzeugs, die Flugroute, etc. die berücksichtigt werden müssen.
In einem Beispiel wird in Schritt c) für die Flugfernerkundung zumindest ein unbemanntes Luftfahrzeug (Unmanned Aerial Vehicle, UAV) eingesetzt. Es können auch mehrere Luftfahrzeuge eingesetzt werden.
In einem Beispiel werden für die fotografischen Aufnahmen der Flugfernerkundungin Luftfahrzeuge integrierte bzw. an Luftfahrzeuge fixierbare Kameras eingesetzt. Wichtig dafür ist insbesondere die Verwendung eines hochauflösenden Kamerasensors.
In einem Beispiel umfasst die Bildanalyse der fotografischen Flugfernerkundungsdaten im vierten Schritt d) die Bestimmung von zumindest einem Unkraut.
In einem Beispiel umfasst die Bildanalyse der fotografischen Flugfernerkundungsdaten im vierten Schritt d) die Bestimmung der Größe des zumindest einen Unkrautes.
In einem Beispiel umfasst die Bestimmung der Größe des zumindest einen Unkrautes die Bestimmung der Fläche und des Durchmessers des zumindest einen Unkrautes.
In einem Beispiel umfasst die Bildanalyse der fotografischen Flugfernerkundungsdaten im vierten Schritt d) die Bestimmung der Unkrautart für das zumindest eine Unkraut.
In einem Beispiel umfasst die Bildanalyse der fotografischen Flugfernerkundungsdaten im vierten Schritt d) die Bestimmung des BBCH Wachstumsstadiums des zumindest einen Unkrautes.
In einem Beispiel erfolgt die Bestimmung des zumindest einen Unkrauts und dessen Eigenschaften mittels Instanzsegmentierung vorzugsweise unter Verwendung von künstlicher Intelligenz und noch bevorzugter unter Verwendung eines konvolutiven neuronalen Netzwerks und insbesondere eines R-CNN. Wie oben beschrieben sind solche Verfahren dem Fachmann bekannt.
Figur 4 zeigt schematisch Schritt d) der Methode zur Datenerhebung auf einem landwirtschaftlich genutzten Feld 11 und insbesondere die Erstellung zumindest einer Unkrautverteilungskarte 18. Die zumindest eine Unkrautverteilungskarte 18 für das landwirtschaftlich genutzte Feld 11 wird mittels einer Bildanalyse 19 der fotografischen Flugfemerkundungsdaten 20 erstellt. Das Luftfahrzeug 17 (in Figur 4 als Drohne dargestellt) fliegt über das landwirtschaftlich genutzte Feld 11 (siehe gestrichelte Linie 25, welche die Flugroute exemplarisch darstellt). In regelmäßigen Abständen 21, 22, 23, 24 (etc.) erfolgt die fotografische Erfassung 20 des ganzen Feldes 11. Dabei werden vorzugsweise sich überlappende fotografische Aufnahmen 20 gemacht, die zur Georef erenzierung und ggfs. zur Orthorektifizierung der Bilddaten verwendet werden können.
In einem Beispiel erfolgt die Erstellung der zumindest einen Unkrautverteilungskarte 18 auf Basis von georef enzierten und vorzugsweise orthorektifizierten fotografischen Flugfererkundungsdaten 20 und der Bildanalyse 19, bei der zumindest die Unkräuter 13 auf dem landwirtschaftlich genutzten Feld 11 bestimmt werden. Vorzugsweise wird durch die Bildanalyse 19 wie oben beschrieben auch die Größe der Unkräuter 13 bzw. insbesondere auch die Unkrautarten der einzelnen identifizierten Unkräuter bzw. das BBCH Wachstumsstadium bestimmt.
In einem Beispiel zeigt die Unkrautsverteilungskarte 18 zumindest diejenigen Bereiche 21 auf den landwirtschaftlich genutzten Feld 11 in denen Unkräuter 13 wachsen (in Figur 4 als schraffierte Bereiche 21 dargestellt). Die weißen Bereiche in der Unkrautverteilungskarte 18 in Figur 4 zeigen exemplarisch Regionen auf dem landwirtschaftlich genutzten Feld wo zum Zeitpunkt der Datenerhebung keine Unkräuter wachsen (bzw. zu klein sind). Die Unkrautsverteilungskarte 18 kann auch detailiertere Daten anzeigen, wie beispielsweise die Verteilung und das Vorkommen von verschiedenen Unkrautarten, die Referenzpunkte 12 oder die Größe bzw. das BBCH Wachstumsstadium der einzelnen Unkräuter. Es können auch Kombinationen dieser Daten dargestellt werden.
Figur 5 zeigt schematisch Schritt d) der Methode zur Datenerhebung auf einem landwirtschaftlich genutzten Feld 11 und insbesondere die Bestimmung der Genauigkeit der zumindest einen Unkrautverteilungskarte. Die Genauigkeit der zumindest einen Unkrautverteilungskarte wird durch Vergleich der Bildanalyse der fotografischen Flugfemerkundungsdaten 27 und der Bildanalyse der Bodennaherkundungsdaten 26 an den Referenzpunkten 12 bestimmt.
In einem Beispiel erfolgt der Vergleich der Bildanalyse der fotografischen Flugfemerkundungsdaten 27 und der Bildanalyse der Bodennaherkundungsdaten 26 an den Referenzpunkten 12 im vierten Schritt d) dadurch, dass überprüft wird, ob an der gleichen geographischen Position eines Referenzpunktes 12 sowohl in derBildanalysederfotografischen Flugfemerkundungsdaten 27 als auch in der Bildanalyse der Bodennaherkundungsdaten 26 zumindest ein Unkraut 13 erkannt worden ist. Figur 4 zeigt Ziffer 28 ein Szenario, bei dem bei beiden Bildanalysen ein Unkraut erkannt worden ist. In Ziffer 29 stellt ein Szenario dar, wo nur in der Bildanalyse der Bodennaherkundungsdaten 27 ein Unkraut erkannt worden ist, nicht jedoch in der Bildanalyse der Flugfernerkundungsdaten 27. Es ist auch möglich, dass bei beiden Bildanalysen (26 und 27) Unkräuter erkannt werden, es sich jedochbei den Unkräutern um unterschiedliche Unkrautarten handelt.
In einem Beispiel wird die zumindest eine Unkrautverteilungskarte für das landwirtschaftlich genutzte Feld für die teilflächenspezifischen Anwendung von zumindest einem Unkrautbekämpfungsmittel verwendet. Als Unkrautbekämpfungsmittel können alle bekannten Herbizide auf biologischer und/oder chemischer Basis eingesetzt werden.
In einem Beispiel wird die teilflächenspezifische Anwendung von einem Unkrautbekämpfungsmittel gemäß Unkrautverteilungskarte durch einen Traktor mit Pflanzenschutzspritze durchgeführt.
In einem Beispiel kann die Bestimmung der Unkrautart in Schritt d) verwendet werden, um zu bestimmen, welches zumindest eine Unkrautbekämpfungsmittel eingesetzt werden soll.
In einem Beispiel können für verschiedene Unkräuter unterschiedliche Unkrautbekämpfungsmittel eingesetzt werden.
In einem Beispiel ist bzw. wird auf dem landwirtschaftlich genutzten Feld eine Ackerkultur vorzugsweise ausgewählt aus der Gruppe von Mais, Zuckerrübe, Getreide und Sojabohnen an gepflanzt.
In einem weiteren Beispiel ist die Genauigkeit der zumindest einen Unkrautverteilungskarte im vierten Schritt d) ausreichend, wenn bezogen auf alle durch Bodennaherkundung erfassten Referenzpunkte zumindest in 95% (vorzugsweise zumindest in 96.5% und noch bevorzugter in 98%) der Vergleiche an der geographischen Position eines Referenzpunktes sowohl in der Bildanalyse der fotografischen Flugfemerkundungsdaten als auch in der Bildanalyse der Bodennaherkundungsdaten zumindest ein Unkraut erkannt worden ist. Vorzugsweise wird in diesem Vergleich in beiden Bildanalysen zumindest ein Unkraut erkannt, welches von der gleichen Unkrautart ist.
Figur 6 zeigt konkrete Beispiele der Bestimmung der Genauigkeit von der zumindest einen Unkrautverteilungskarte. Auf der linken Seite von Figur 6 ist ein Beispiel a) dargestellt, bei dem an zwanzig Referenzpunkten Bodennaherkundungsdaten und Flugfemerkundungsdaten erhoben worden sind und durch die beschriebene Methode zumindest eine Unkrautverteilungskarte bestimmt wurde. Die Vergleiche der Bildanalyse der fotografischen Flugfernerkundungsdaten 27 mit der Bildanalyse derBodennaherkundungsdaten 26 für jeden Referenzpunkt ergab, dass an 19 Referenzpunkten bei beiden Datensätzen zumindest ein Unkraut erkannt wurde. An einem Referenzpunkt wurde nur in der Bildanalyse der Bodennaherkundungsdaten 26 ein Unkraut erkannt, nicht jedoch in der Bildanalyse der Flugfemerkundungsdaten 27. Insgesamt ergibt das für dieses Beispiel eine Genauigkeit der Unkrautverteilungskarte von 95%, die ausreichend ist, um die zumindest eine Unkrautverteilungskarte für eine teilflächenspezifischen Anwendung von zumindest einem Unkrautbekämpfungsmittel zu verwenden. Auf der rechten Seite von Figur 6 ist ein weiteres Beispiel b) dargestellt, bei dem an zwanzig Referenzpunkten Bodennaherkundungsdaten und Flugfemerkundungsdaten erhoben worden sind und durch die beschriebene Methode zumindest eine Unkrautverteilungskarte bestimmt wurde. Die Vergleiche der Bildanalyse der fotografischen Flugfemerkundungsdaten 27 mit der Bildanalyse derBodennaherkundungsdaten 26 für jeden Referenzpunkt ergab, dass an 18 Referenzpunkten bei beiden Datensätzen zumindest ein Unkraut erkannt wurde. An zwei Referenzpunkten wurde nur in der Bildanalyse der Bodennaherkundungsdaten 26 ein Unkraut erkannt, nicht jedoch in der Bildanalyse der Flugfemerkundungsdaten 27. Insgesamt ergibt das für dieses Beispiel eine Genauigkeit der zumindest einen Unkrautverteilungskarte von 90%, die nicht ausreichend ist, um die zumindest eine Unkrautverteilungskarte für eine teilflächenspezifischen Anwendungvon zumindest einem Unkrautbekämpfungsmittel zu verwenden.
Figur 7 zeigt schematisch ein System 100 zur Datenerhebung auf einem landwirtschaftlich genutzten Feld durch eine Kombination von Flugfern- und Bodennaherkundung. Das System umfasst zumindest einen Messstab 110, eine Empfangseinheit 120, eine Rechnereinheit 130 und eine Ausgabeeinheit 140. Mit Hilfe des zumindest einen Messstabes wird durch Bodennaherkundung die geographische Position an einzelnen Referenzpunkten auf einem landwirtschaftlich genutzten Feld erfasst und für jeden Referenzpunkt zumindest eine fotografische Aufnahme von zumindest einem Unkraut auf dem landwirtschaftlich genutzten Feld gemacht. Die Daten von den Referenzpunkten werden über die Empfangseinheit der Rechnereinheit zur Verfügung gestellt. Die Rechnereinheit ist konfiguriert, eine Bildanalyse der fotografischen Daten von den jeweiligen Referenzpunkten durchzuführen und zumindest ein Unkraut für jeden Referenzpunkt zu bestimmen. Die Rechnereinheit ist weiter konfiguriert, Flugfemerkundungsparameter auf der Grundlage der Bildanalyse zu bestimmen. Die Ausgabeeinheit ist konfiguriert, zumindest die Information von der Rechnereinheit bezüglich der Ermittlung von Flugfernerkundungsparameter anzuzeigen, auszugeben oder in einem Datenspeicher zu speichern.
In einem Beispiel umfasst dass System den durch Figur8 näherbeschriebenen Messstab.
In einem Beispiel werden die Daten vom Messstab 110 zur Empfangseinheit 120 durch verschiedene, dem Fachmann an sich bekannte Übertragungstechniken wie z.B. über Kabel oder kabellos z.B. üb er Netzwerke wie PAN (z. B. Bluetooth), LAN (z. B. Ethernet); WAN (z. B. ISDN), GAN (z.B. das Internet), LPWAN oder LPN (wie z.B. SigFox, LoRAWAN, etc ), Mobilfunknetzwerke oder andere, übertragen.
Das System umfasst eine Empfangseinheit, eine Rechnereinheit und eine Ausgabeeinheit. Es ist denkbar, dass die genannten Einheiten Bestandteile eines einzigen Computersystems sind; es ist aber auch denkbar, dass die genannten Einheiten Bestandteile von mehreren separaten Computersystemen sind, die über ein Netzwerk miteinander verbunden sind, um Daten und/oder Steuersignale von einer Einheit zu einer anderen Einheit zu übermitteln. Es ist beispielsweise möglich, dass die Rechnereinheit in der „Cloud“ liegt und die in dieser Anmeldung beschrieb en en Analyse schritte durch diese Rechnereinheit in der „Cloud“ durchgeführt werden. Ein "Computersystem" ist ein System zur elektronischen Datenverarbeitung, das mittels programmierbarer Rechenvorschriften Daten verarbeitet. Ein solches Sy stem umfasstüblicherweise einen "Computer", diejenige Einheit, die einen Prozessor zur Durchführung logischer Operationen umfasst, sowie eine Peripherie. Als "Peripherie" bezeichnet man in der Computertechnik alle Geräte, die an den Computer angeschlossen sind, und zur Steuerungdes Computers und/oder alsEin- und Ausgabegeräte dienen. Beispielehierfür sind Monitor (Bildschirm), Drucker, Scanner, Maus, Tastatur, Laufwerke, Kamera, Mikrofon, Lautsprecher etc. Auch interne Anschlüsse und Erweiterungskarten gelten in der Computertechnik als Peripherie. Computersysteme von heute werden häufig in Desktop-PCs, Portable PCs, Laptops, Notebooks, Netbooks und Tablet-PCs und so genannte Handhelds (zB. Smartphone) unterteilt; alle diese Systeme können zur Ausführung genutzt werden.
Die Rechnereinheit 130 ist konfiguriert, den oben ausführlich beschriebenen Schritt b) der Methode - inklusive aller bevorzugten Ausführungsformen davon - auszuführen.
In einem Beispiel umfasst das System zumindest ein Flugfahrzeug 150. Das Flugfahrzeug umfasst vorzugsweise eine Datenempfangs- und Sendeeinheit. Vorzugsweise ist das Flugfahrzeug zumindest ein unbemanntes Luftfahrzeug (Unmanned Aerial Vehicle, UAV). Es können auch mehrere Luftfahrzeuge eingesetzt werden. In einem Beispiel ist die Ausgabeeinheit konfiguriert, zumindest die Information von der Rechnereinheitbezüglich der bestimmten Flugfernerkundungsparameter an das zumindest eine Flugfahrzeug, mittels den oben beschriebenen und dem Fachmann und sich bekannten Übertragungstechnologien, zu übermitteln.
In einem weiteren Beispiel ist, das zumindest eine Flugfahrzeug 150 konfiguriert, den oben ausführlich beschriebenen Schritt c) der Methode - inklusive aller bevorzugten Ausführungsformen davon - auszuführen.
In einem weiteren Beispiel werden die Daten der Flugfernerkundung vom Flugfahrzeug 150 über die Empfangseinheit 120 der Rechnereinheit 130 zur Verfügung gestellt.
In einem Beispiel ist die Rechnereinheit 130 konfiguriert, den oben ausführlich beschriebenen Schritt d) der Methode - inklusive aller bevorzugten Ausführungsformen davon - auszuführen.D.h. die Rechnereinheit kann die Bildanalyse der Flugfernerkundungsdaten durchführen, zumindest eine Unkrautverteilungskarte des landwirtschaftlich genutzten Feldes erstellen und/oder die Genauigkeit der Unkrautverteilungskarte überprüfen.
In einem Beispiel wird die von der Rechnereinheit 130 generierte Unkrautverteilungskarte, vorzugsweise nach Überprüfung der Genauigkeit der Unkrautverteilungskarte, von der Ausgabeeinheit 140 der Empfangseinheit eines Traktors mit Pflanzenschutzspritze zur Verfügung gestellt. Der Traktor mit Pflanzenschutzspritze ist konfiguriert eine teilflächenspezifische Anwendung von einem Unkrautbekämpfungsmittel gemäß Unkrautverteilungskarte auf dem landwirtschaftlich genutzten Feld durchzuführen.
Weitere Ausführungsformen der Erfindung betreffen ein Computerprogrammprodukt zur Steuerung des oben beschriebenen Systems, das bei Ausführung durch einen Prozessor so konfiguriert ist, die oben beschriebene Methode auszuführen. Eine weitere Ausführungßform betrifft ein Speichermedium, welches das Computerprogrammprodukt gespeichert hat.
Figur 8 zeigt schematisch drei mögliche Ausführungsformen a) bis c) eines Messstabes 300 zur Datenerhebung durch Bodennaherkundung auf einem landwirtschaftlich genutzten Feld. Der Messstab 300 umfasst zumindest einen Stab 310; einen Sensor 320 zur Bestimmung der geographischen Position von einzelnen Referenzpunkten auf einem landwirtschaftlich genutzten Feld; eine Kamera 330 zur fotografischen Erfassung von zumindest einem Unkraut für jeden Referenzpunkt; und eine Ausgabeeinheit 340. Der Sensor zur Bestimmung der geographischen Position und die Kamera sind so auf bzw. am Stab positioniert, dass die geographische Position und die fotografische Aufnahme an einem Referenzpunkt zum gleichen Zeitpunkt bestimmt bzw. gemacht werden können.
In einem Beispiel ist der Stab 310 ein Lotstab.
In einem Beispiel ist der Sensor 320 ein Positionsbestimmungssystem und insbesondere ein Satellitennavigationssystem wie beispielsweiseNAVSTAR GPS, GLONASS, Galileo oder Beidou. Besonders bevorzugt ist die Verwendung eines RTK (Real Time Kinematic) - GPS Positionsbestimmungssystems.
In einem Beispiel umfasst die Kamera 330 einen Bildsensor, der geeignet ist, um einzelne Unkräuter auf dem Feld in einer guten Auflösungzu erfassen. Beispielsweise kann eine Kamera eines Mobiltelefons eingesetzt werden. In einem Beispiel ist die Kamera so konfiguriert, dass sie im sichtbaren Wellenlängenbereich fotografische Aufnahmen erfassen kann. In einem Beispiel ist die Kamera so konfiguriert, dass sie Farbinformationen (RGB) erfassen kann. In einem Beispiel erfasst die Kamera fotografische Aufnahmen in 2D.
In einem Beispiel umfasst die Ausgabeeinheit 340 eine Sendeeinheit.
In einem Beispiel ist die Sendeeinheit konfiguriert die Daten von dem Sensor 310 und/oder (bevorzugt „und“) der Kamera 330 über die oben beschriebenen, an sich bekannten Übertragungstechniken wie z.B. über Kabel oder kabellos an andere Geräte zu übermitteln.
In einem Beispiel sind für die Übertragung der geografischen Positionsdaten und für die Übertragung der Bilddaten zwei unabhängige Ausgabeeinheiten 340 vorhanden.
In einem Beispiel befindet sich die Kameraam unterenEnde des Stab s 310 vorzugsweise im rechten Winkel zum Stab (so wie in Figur 8 a) dargestellt). Die Kamera kann in dieser Positionierung das zumindest eine Unkraut von oben (in der Verlängerung der Lotrichtung des Stabes nach unten, Nadir-Position) fotografisch festhalten.
In einem Beispiel umfasst der Messstab 300 eine Kamerahalterung 350. Die Kamerahalterung ist konfiguriert die Kamera am Stab fest aber vorzugsweise reversibel zu fixieren.
In einem Beispiel umfasst der Messtab 300 einen Laserzeiger 360 (siehe auch Figur 8b) und Figur 8c)). Der Laserzeiger ist konfiguriert das zumindest eine Unkraut auf dem landwirtschaftlich genutzten Feld anzustrahlen. Damit kann gewährleistet werden, dass die geographische Position und die fotografische Erfassung synchronisiert an genau der exakten Stelle erfolgen kann.
Der Sensor 320, die Kamera 330 und der Laserzeiger 360 sind deshalb vorzugsweise synchronisiert. In Figur 8b) befindet sich beispielsweise die Kamera 330 unten seitlich am Stab 310. Mit gestrichelten Linien ist der Aufnahmebereich der Kamera dargestellt. Der Laserzeiger 360 befindet sich auchim unteren Bereich des Stabs. Sein Laserlicht (gestrichelte Linie) ist auf die Mitte des Aufnahmebereichs der Kamera 330 gerichtet. Die Bestimmung der geographischen Position, d.h. da wo der Laser das zumindest eine Unkraut anstrahlt ist im Vergleich zur Lotrichtung des Messstabes leicht versetzt (siehe 321). Dieser Unterschied in der geographischen Position von dem zu erfassenden Unkrautund dem Sensor 320 wird bei der Bestimmung der exakten geographischen Position des zu erfassenden Unkrautes über einen Korrekturfaktor ausgeglichen. Gleiches gilt für die Ausführungsform der Figur 8c) in der die Kamera 300 seitlich (und vorzugsweise im rechten Winkel zum Stab) weiter oben am Stab 310 mit einer Kamerahalterung 350 befestigt ist.
RTK-GPS-Vermessungs-Lotstäbe sind im Stand der Technik bekannt (z.B. ProMark 220 GNSS Ashtech von Spectra, GeoMax Zenitz 35 pro von Geometra) aber nicht geeignet zumindest ein Unkraut an einer Referenzstelle auf einem landwirtschaftlich genutzten Feld fotografisch festzuhalten und gleichzeitig die geographische Position zu vermessen. Bei den bekannten Messstäben erfolgt eine solche Datenerhebung allenfalls sequentiell, was zu Messfehlern führen kann. Der in der Anmeldung beschriebene Messstab adressiert dieses Problem und bietet eine Lösung, die deutlich weniger fehleranfällig ist.
Die Erfindung ist erläutert, ohne zwischen den Erfindungsgegenständen (Methode, System, Computerprogrammprodukt, Speichermedium, Messstab) wesentlich zu unterscheiden. Die Erläuterungen sollen vielmehr für alle Erfindungsgegenstände in analoger Weise gelten, unabhängig davon, in welchem Kontext sie erfolgen.
Wenn in der vorliegenden Beschreibung oder in den Patentansprüchen Schritte in einer Reihenfolge genannt sind, bedeutet dies nicht zwingend, dass die Erfindung auf die genannte Reihenfolge beschränkt ist. Vielmehr ist denkbar, dass die Schritte auch in einer anderen Reihenfolge oder auch parallel zueinander ausgeführt werden; es sei denn, ein Schritt baut auf einem anderen Schritt auf, was zwingend erforderlich macht, dass der aufbauende Schritt nachfolgend ausgeführt wird (was im Einzelfall aber deutlich wird). Die genannten Reihenfolgen stellen damit bevorzugte Ausführungsformen der Erfindung dar.

Claims

Patentansprüche
1. Methode (10) zur Datenerhebung auf einem landwirtschaftlich genutzten Feld durch eine Kombination von Flugfern- und Bodennaherkundung, wobei a) in einem ersten Schritt durch Bodennaherkundung an Referenzpunkten auf dem landwirtschaftlich genutzten Feld die geographische Position des jeweiligen Referenzpunktes erfasst wird und für jeden Referenzpunkt zumindest eine fotografische Aufnahme von zumindest einem Unkraut auf dem landwirtschaftlich genutzten Feld gemacht wird, b) in einem zweiten Schritt Flugfemerkundungsparameter anhand der Daten einer Bildanalyse der fotografischen Aufnahmen von dem zumindest einem Unkraut für jeden Referenzpunkt bestimmt werden, c) in einem dritten Schritt zumindest die Referenzpunkte auf dem landwirtschaftlich genutzten Feld durch Flugfernerkundung fotografisch erfasst werden, wobei für die Flugfemerkundung zumindest teilweise die in Schritt b) bestimmten Flugfemerkundungsparameter verwendet werden.
2. Methode nach Anspruch 1 , wobei in dem ersten Schritt a) zumindest ein Referenzpunkt gewählt, auf dem ein Unkraut wächst.
3. Methode nach einem der vorherigen Ansprüche, wobei im ersten Schritt a) Bodennaherkundung an zumindest 20 Referenzpunkten durchgeführt wird.
4. Methode nach einem der vorherigen Ansprüche, wobei die Bildanalyse der fotografischen Aufnahmen für jeden Referenzpunkt im zweiten Schritt b) die Bestimmung von zumindest einem Unkraut sowie dessen Größe umfasst.
5. Methode nach Anspruch 4, wobei die Bildanalyse die Bestimmung der Unkrautart für das zumindest eine Unkraut umfasst.
6. Methode nach einem der vorherigen Ansprüche, wobei die Flugfemerkundungsparameter im zweiten Schritt b) dadurch festgelegt werden, dass zuerst die projizierte Größe eines einzelnen Pixels des kleinsten zu erfassenden Unkrautes am Boden bestimmt wird. Methode nach Anspruch 6, wobei das kleinste zu erfassende Unkraut anhand eines Grössenvergleichs aller identifizierten Unkräuter von der Bildanalyse zu den fotografischen Aufnahmen für jeden Referenzpunkt ermittelt wird. Methode nach einem der vorherigen Ansprüche, wobei die Flugfemerkundungsparameter die Flughöhe und die Kameraeigenschaften umfassen und diese auf Basis der projizierten Größe eines einzelnen Pixels des kleinsten zu erfassenden Unkrautes am Boden bestimmt werden Methode nach einem der vorherigen Ansprüche, wobei die Bildanalyse der fotografischen Flugfemerkundungsdaten im vierten Schritt d) die Bestimmung von zumindest einem Unkraut umfasst. Methode nach einem der vorherigen Ansprüche, wobei in einem vierten Schritt d) zumindest eine Unkrautverteilungskarte für das landwirtschaftlich genutzte Feld mittels einer Bildanalyse der fotografischen Flugfernerkundungsdaten erstellt wird. Methode nach Anspruch 10, wobei die Genauigkeit der zumindest einen Unkrautverteilungskarte durch Vergleich der Bildanalyse der fotografischen Flugfemerkundungsdaten und der Bildanalyse der Bodennaherkundungsdaten an den Ref erenzpunkten b estimmt wird . Methode nach Anspruch 11, wobei der Vergleich der Bildanalyse der fotografischen Flugfemerkundungsdaten und der Bildanalyse der Bodennaherkundungsdaten an den Referenzpunkten im vierten Schritt d) dadurch erfolgt, dass überprüft wird, ob an der gleichen geographischen Position eines Referenzpunktes sowohl in der Bildanalyse der fotografischen Flugfemerkundungsdaten als auch in der Bildanalyse der Bodennah erkundungsdaten zumindest ein Unkraut erkannt worden ist. Ein System (100) zur Datenerhebung auf einem landwirtschaftlich genutzten Feld durch eine Kombination von Flugfern- und Bodennaherkundungumfassend: zumindest einen Messstab (110); eine Empfangseinheit (120); eine Rechnereinheit (130); und eine Ausgabeeinheit (140); wobei, mit Hilfe des zumindest einen Messstabes durch Bodennaherkundung die geographische Position von einzelnen Referenzpunkten auf einem landwirtschaftlich genutzten Feld erfasst wird und fürjeden Referenzpunkt zumindest eine fotografische Aufnahme von zumindest einem Unkraut auf dem landwirtschaftlich genutzten Feld gemacht wird, wobei, die Daten von den Referenzpunkten über die Empfangseinheit der Rechnereinheit zur Verfügung gestellt werden, wobei, die Rechnereinheit konfiguriert ist, eine Bildanalyse der fotografischen Daten von den jeweiligen Referenzpunkten durchzuführen und zumindest ein Unkraut fürjeden Referenzpunkt zu bestimmen, wobei die Rechnereinheit konfiguriert ist, Flugfernerkundungsparameter auf der Grundlage der Bildanalyse zu bestimmen, wobei die Ausgabeeinheit konfiguriert ist, zumindest die Information von der Rechnereinheit bezüglich der Ermittlung von Flugfemerkundungsparameter anzuzeigen, auszugeben oder in einem Datenspeicher zu speichern. Ein Computerprogrammprodukt (200) zur Steuerung von einem System nach einem der Ansprüche 13, das bei Ausführung durch einen Prozessor so konfiguriert ist, die Methode nach einem der Ansprüche 1 bis 12 auszuführen. Ein Messstab (300) zur Datenerhebung durch Bodennaherkundung auf einem landwirtschaftlich genutzten Feld umfassend: zumindest einen Stab (310); einen Sensor (320) zur Bestimmung der geographischen Position von einzelnen Referenzpunkten auf einem landwirtschaftlich genutzten Feld; eine Kamera (330) zur fotografischen Erfassung von zumindest einem Unkraut für jeden Referenzpunkt; eine Ausgabeeinheit (340); wobei der Sensor zur Bestimmung der geographischen Position und die Kamera so auf bzw. am Stab positioniert sind, dass die geographischePosition und die fotografische
Aufnahme an einem Referenzpunkt zum gleichen Zeitpunkt bestimmt bzw. gemacht werden können.
22
PCT/EP2022/080785 2021-11-08 2022-11-04 Methode und system zur datenerhebung auf einem agrarwirtschaftlich genutzten feld WO2023079063A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
AU2022381713A AU2022381713A1 (en) 2021-11-08 2022-11-04 Method and system for collecting data on a field used for agriculture
EP22812641.3A EP4430578A1 (de) 2021-11-08 2022-11-04 Methode und system zur datenerhebung auf einem agrarwirtschaftlich genutzten feld
CA3237567A CA3237567A1 (en) 2021-11-08 2022-11-04 Method and system for collecting data on a field used for agriculture

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21206921.5 2021-11-08
EP21206921 2021-11-08

Publications (1)

Publication Number Publication Date
WO2023079063A1 true WO2023079063A1 (de) 2023-05-11

Family

ID=78592489

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/080785 WO2023079063A1 (de) 2021-11-08 2022-11-04 Methode und system zur datenerhebung auf einem agrarwirtschaftlich genutzten feld

Country Status (4)

Country Link
EP (1) EP4430578A1 (de)
AU (1) AU2022381713A1 (de)
CA (1) CA3237567A1 (de)
WO (1) WO2023079063A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200193589A1 (en) * 2018-12-10 2020-06-18 The Climate Corporation Mapping field anomalies using digital images and machine learning models
US20210068335A1 (en) * 2018-05-06 2021-03-11 Weedout Ltd. Methods and systems for weed control
WO2021062459A1 (en) * 2019-10-04 2021-04-08 Single Agriculture Pty Ltd Weed mapping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210068335A1 (en) * 2018-05-06 2021-03-11 Weedout Ltd. Methods and systems for weed control
US20200193589A1 (en) * 2018-12-10 2020-06-18 The Climate Corporation Mapping field anomalies using digital images and machine learning models
WO2021062459A1 (en) * 2019-10-04 2021-04-08 Single Agriculture Pty Ltd Weed mapping

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JULIEN CHAMP ET AL.: "Instance segmentation for the fine detection of crop and weed plants by precision agricultural robots", APPLICATIONS IN PLANT SCIENCES, vol. 8, no. 7, 2020, pages e1 1373
MARTIN WEIS ET AL: "Qualitative und quantitative Messung der Verunkrautung in Kulturpflanzenbeständen mittels Bildanalyse (Qualitative and quantitative measurement of weed distribution in crops using image processing)", BORNIMER AGRARTECHNISCHE BERICHTE, 1 May 2008 (2008-05-01), pages 67 - 74, XP055299413 *

Also Published As

Publication number Publication date
AU2022381713A1 (en) 2024-05-09
CA3237567A1 (en) 2023-05-11
EP4430578A1 (de) 2024-09-18

Similar Documents

Publication Publication Date Title
Torres-Sánchez et al. Assessing UAV-collected image overlap influence on computation time and digital surface model accuracy in olive orchards
Stanton et al. Unmanned aircraft system-derived crop height and normalized difference vegetation index metrics for sorghum yield and aphid stress assessment
US11631166B2 (en) Crop yield prediction method and system based on low-altitude remote sensing information from unmanned aerial vehicle
Forsmoo et al. Drone‐based structure‐from‐motion photogrammetry captures grassland sward height variability
DE112021000243B4 (de) Verfahren, system und computerprogrammprodukt zur bestimmung von kulturpflanzentyp und/oder aussaattermin
EP2044573B1 (de) Überwachungskamera, verfahren zur kalibrierung der überwachungskamera sowie verwendung der überwachungskamera
DE69627487T2 (de) Direktes digitales panorama-luftbildsystem und -verfahren
EP1637838B1 (de) Verarbeitung von Fernerkundungsdaten
Sinde-González et al. Biomass estimation of pasture plots with multitemporal UAV-based photogrammetric surveys
DE102016123286B4 (de) Verfahren und Vorrichtung zur Georeferenzierung von Luftbilddaten
DE102015221085A1 (de) Verfahren und Informationssystem zum Erkennen zumindest einer auf einem Feld angepflanzten Pflanze
EP3528609A1 (de) Ertragsvorhersage für ein kornfeld
EP0325957B1 (de) Grossmassstäbliches Kartieren von Parametern mehrdimensionaler Strukturen in Naturräumen
DE102015221092A1 (de) Verfahren und Informationssystem zum Erfassen zumindest eines Pflanzenparameterdatensatzes einer auf einem Feld wachsenden Pflanze
WO2021105019A1 (de) Verfahren zum generieren einer vielzahl von annotierten bildern
DE102014205083B3 (de) Erstellen von Karten mit Küstenlinien
DE112018007180T5 (de) Ort-schätzung-vorrichtung, bewegendes objekt, ort-schätzung-verfahren und programm
DE102017220005A1 (de) Verfahren und Anzeigegerät zum Führen einer Arbeitsmaschine
WO2023079063A1 (de) Methode und system zur datenerhebung auf einem agrarwirtschaftlich genutzten feld
EP0634628B1 (de) Verfahren zur Erdbeobachtung
Rajan et al. Mapping crop ground cover using airborne multispectral digital imagery
Kutnjak et al. Potential of aerial robotics in crop production: high resolution NIR/VIS imagery obtained by automated unmanned aerial vehicle (UAV) in estimation of botanical composition of alfalfa-grass
DE102022212642A1 (de) Verfahren und System zur Ermittlung von Baumdurchmessern auf Brusthöhe
Pflanz et al. Automatisierte Unkrauterkennung auf dem Acker–Möglichkeiten und Grenzen
CN110648281B (zh) 田间全景图生成方法、装置、系统、服务器及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22812641

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: AU2022381713

Country of ref document: AU

ENP Entry into the national phase

Ref document number: 3237567

Country of ref document: CA

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112024008578

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 2022381713

Country of ref document: AU

Date of ref document: 20221104

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2022812641

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022812641

Country of ref document: EP

Effective date: 20240610

ENP Entry into the national phase

Ref document number: 112024008578

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20240430