WO2020164833A1 - Steuerung einer landmaschine basierend auf detektion eines grenzverlaufs auf landwirtschaftlichen nutzflächen - Google Patents

Steuerung einer landmaschine basierend auf detektion eines grenzverlaufs auf landwirtschaftlichen nutzflächen Download PDF

Info

Publication number
WO2020164833A1
WO2020164833A1 PCT/EP2020/050793 EP2020050793W WO2020164833A1 WO 2020164833 A1 WO2020164833 A1 WO 2020164833A1 EP 2020050793 W EP2020050793 W EP 2020050793W WO 2020164833 A1 WO2020164833 A1 WO 2020164833A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
agricultural machine
agricultural
weed
environment data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2020/050793
Other languages
English (en)
French (fr)
Inventor
Zhihu Chen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of WO2020164833A1 publication Critical patent/WO2020164833A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic

Definitions

  • the present invention relates to the field of autonomously or partially autonomously driving agricultural machinery.
  • the present invention relates to a device, a method, a computer program product, a computer-readable storage medium and a data carrier signal for controlling such a medium
  • Agricultural machinery that can be controlled by means of a navigation system during their movements on a useful agricultural area are known from the prior art.
  • US 2018/01 13473 A1 discloses an agricultural machine with an automated steering system that is based on the global navigation satellite system (GNSS).
  • the GNSS comprises an antenna and a receiver which is arranged at a certain distance from the antenna. Movement parameters of the agricultural machine such as position, alignment (roll-pitch-yaw angle) and speed can be determined in this way. Control signals for steering the agricultural machine can be generated on the basis of the specific movement parameters.
  • the present invention is therefore based on the object of carrying out the agricultural cultivation of the usable areas with increased safety while at the same time keeping the cost level at least the same.
  • the object is achieved by a device, a method, a computer program product, a computer-readable storage medium and a
  • the agricultural machine can be designed as a one-piece vehicle or articulated vehicle. It can include a swather, a hay machine, a combine harvester, a spray machine, a sprayer or another vehicle that can be used in agriculture.
  • the agricultural machine is an autonomous or semi-autonomous vehicle. This means that the agricultural machine can act entirely (in the case of a fully autonomous vehicle) or partially (in the case of a partially autonomous vehicle) without the influence of a human driver.
  • the control device can be located in the agricultural machine, or outside or partially outside the agricultural machine.
  • the device can be part of a central monitoring device for the agricultural area.
  • Communication can be wireless, for example via BlueTooth, infrared, near field communication (NFC), radio, Internet, intranet, cloud systems and / or wired systems.
  • the environment sensor system for generating environment data can comprise one or more environment sensors.
  • the environment sensors preferably include a radar sensor (e.g. a broadband radar sensor or a ground radar sensor, Engl .:
  • the environment sensor system can be attached to the agricultural machine and thus record the environment of the agricultural machine moving on the agricultural area in real time.
  • the environment sensor system can be part of a central monitoring device for monitoring the usable area, the monitoring device being connected to the control device and / or the agricultural machine.
  • the multiple environment sensors of the environment sensor system can be arranged at different positions of the agricultural machine and / or the central monitoring device. At least one of the environment sensors can be arranged on another vehicle, for example on another agricultural machine on the agricultural area.
  • the environment data are analyzed by means of the evaluation unit in order to identify a plurality of objects in the environment data.
  • the object recognition is based on a segmentation of the surrounding data, in which a certain algorithm or several algorithms are used, which are designed to recognize content-related regions by combining neighboring pixels or voxels according to a certain homogeneity criterion.
  • the recognized objects are classified by means of the evaluation unit in order to assign an object class (for example cultivation area, weed area, paths) to each of the objects.
  • the classification is preferably based on an analysis of the environment data with regard to reflection properties of the various detected objects. For example, crops such as cabbage vegetables, maize and grain have a higher reflection coefficient than weeds at certain wavelengths of light. A reflection measurement can therefore be used to distinguish between the various objects.
  • the limit course relates to a transition from the cultivation area to the weed area or vice versa, the transition comprising a dimensionless line or curve or can have a width that can be detected by the environment sensor.
  • the segmentation is preferably a semantic segmentation.
  • a control signal is generated which brings about a suitable measure for the agricultural machine.
  • the control signal can be output to an external entity, such as a central control device, which is connected to the agricultural machine, or the agricultural machine itself (for example an actuator of the agricultural machine).
  • the method further comprises the control signal causing the agricultural machine to brake (e.g. full braking), change the direction of travel and / or emit a warning signal (e.g. a warning light signal such as a red light signal, a warning sound signal or a vibration signal).
  • the control of the agricultural machine according to the invention is particularly advantageous because it allows different areas on the agricultural area such as cultivation areas and weed areas to be taken into account when generating the control signal.
  • Adjacent cultivation areas or fields are often separated from one another by a weed area. Therefore, such weed areas mark the boundary between two neighboring fields. If only one of the two adjacent field pieces is to be processed by the agricultural machine at a given point in time, according to the invention it can be particularly reliably avoided that the other field piece, which is not to be entered, is accidentally impaired by the agricultural machine. Agricultural management can therefore be automated or partially automated in a secure manner.
  • the method further comprises creating a raster map based on the surroundings data, the raster map having a plurality of raster elements, an object class being assigned to each of the raster elements.
  • Each grid element corresponds to a surface element of the agricultural area.
  • the object classes can be assigned area by area.
  • the grid map provides particularly precise information on how the usable area is divided into different areas. This is advantageous for reliable control of the agricultural machine on the usable area.
  • an attribute is assigned to at least one of the grid elements, the attribute comprising a height and / or density of an object recognized in at least one grid element.
  • control signal is generated under the condition that, viewed from the agricultural machine, the cultivation area is in front of the weed area.
  • the weed area is therefore further away from the agricultural machine than the cultivation area. In this way, an unnecessary measure such as braking when entering the cultivation area to be worked can be avoided and at the same time a necessary measure can be ensured before entering a (temporarily) not to be worked field piece.
  • the method further comprises evaluating the environment data in order to detect a path area between two weed areas adjoining the path area.
  • Such a path area marks the boundary between two neighboring fields.
  • Another control signal for braking or changing the direction of travel of the agricultural machine can be triggered when the path area is detected. This can prevent unintentional entering of a neighboring field Pieces that are (temporarily) not to be edited are particularly safe to avoid.
  • the method further comprises evaluating the surroundings data in order to detect a path area within a cultivation area.
  • the path area does not mark the boundary of the cultivation area.
  • the agricultural machine does not have to be braked. Therefore, no control signal based on the detection of the route area or an all-clear signal (e.g. a green light signal) is triggered.
  • the computer program product according to the invention is designed to be loaded into a memory of a computer and comprises software code sections with which the method steps of the method according to the invention are carried out when the computer program product is running on the computer.
  • a program is part of the software of a data processing system, for example an evaluation device or a computer.
  • Software is a collective term for programs and associated data.
  • the complement to software is hardware.
  • Hardware describes the mechanical and electronic alignment of a data processing system.
  • a computer is an evaluation device.
  • Computer program products generally comprise a sequence of instructions which, when the program is loaded, cause the hardware to carry out a specific method that leads to a specific result.
  • the computer program product causes the inventive technical effect described above.
  • the computer program product according to the invention is platform independent. That means it can run on any computing platform.
  • the computer program product is preferably executed on an evaluation device according to the invention for detecting the surroundings of the vehicle.
  • the software code sections are written in any programming language, for example in Python.
  • the computer-readable storage medium is, for example, an electronic, magnetic, optical or magneto-optical storage medium.
  • the data carrier signal is a signal which the computer program product from a storage medium on which the computer program product is stored to another entity, for example another storage medium, a server, a cloud system or a data processing facility , transmits.
  • FIG. 1 shows a schematic representation of a device according to the invention according to one embodiment
  • Fig. 2 is a schematic representation of a grid map that is created based on He detection of an agricultural area
  • FIG. 3 shows a schematic representation of the usable area to illustrate the control according to the invention.
  • the control device 10 comprises an input interface 12 for receiving environment data that are generated by a environment sensor system 22 when detecting an agricultural area 60 (FIG. 2).
  • the environment data can be received directly from the environment sensor system 22, as shown by way of example in FIG. 1, or alternatively from another device to which the environment data was previously fed.
  • the control device 10 also includes an evaluation unit 14 for evaluating the environment data. The environment data are analyzed by means of the evaluation unit 14 in order to identify a plurality of objects in the environment data.
  • the object recognition is based on a segmentation of the surrounding data, in which a certain algorithm or several algorithms are used that are designed to recognize contiguous regions by combining neighboring pixels or voxels according to a certain homogeneity criterion.
  • the recognized objects are classified by means of the evaluation unit 14 in order to assign an object class (for example cultivation area, weed area, paths) to each of the objects.
  • the classification is preferably based on an analysis of the environment data with regard to the reflection properties of the various detected objects. For example, crops such as cabbage vegetables, maize and cereals have a higher reflection coefficient than weeds at certain wavelengths of light. A reflection measurement can therefore be used to differentiate between the various objects.
  • FIG. 2 shows a schematic representation of the evaluation result, the usable area 60 detected by the environment sensor system 22 being combined in this example as a grid map 24 with a plurality of grid elements 242.
  • the exemplary boundary 63 is shown as a dashed line.
  • the control device 10 also includes a signal unit 16 for generating a control signal based on the detected boundary 63.
  • the control signal is designed to bring about a suitable measure for the agricultural machine.
  • the control signal can be output to an external entity such as a central control device that is connected to the agricultural machine 50 or the agricultural machine 50 itself (for example an actuator of the agricultural machine 50).
  • the control signal can, for example, cause the agricultural machine 50 to brake (for example, full braking), to change the direction of travel and / or to issue a warning signal (for example, a Warning light signal such as a red light signal, a warning sound signal or a vibration signal).
  • FIG. 3 shows a schematic illustration of the usable area 60, which comprises two adjacent cultivation areas 62a, 62b.
  • the cultivation areas 62a, 62b are circumferentially each enclosed by a weed area 64a, 64b.
  • the weed areas 64a, 64b are again enclosed circumferentially by an outer path area 66 and laterally spaced from one another by a central path area 66c.
  • the cultivation areas 62a, 62b, the weed areas 64a, 64b, and the path areas 66a, 66b, 66c each partially fall under the detection area 222 of the environment sensor system 22, which in this example is attached to the agricultural machine 50.
  • a first boundary 63a is detected between the first cultivation area 62a and the first weed area 64a, the first boundary 63a being shown as a dashed line in FIG. 3.
  • the first weed area 64a is further away from the agricultural machine 50 than the first cultivation area 62a. This means that the agricultural machine 50 approaches its boundary starting from an attachment area 62a.
  • the signal unit 16 can then trigger a first control signal, which causes the agricultural machine 50 to brake.
  • the second boundary 63b between the second cultivation area 62b and the second weed area 64b is detected, the second boundary 63b being shown as a dashed line in FIG.
  • the second weed area 64b is further away from the agricultural machine 50 than the second cultivation area 62b.
  • the signal unit 16 does not generate a control signal in response to the detection of the second boundary 63b.
  • both boundary profiles 63a, b are recorded and detected simultaneously by the environment sensor system 22. The first control signal is triggered despite the detection of the second boundary 63b.
  • the middle path area 66c is detected, which is arranged between two adjacent weed areas 64a, 64b. This means that the agricultural machine 50 is approaching a boundary between two adjacent cultivation areas 62a, 62b.
  • the signal unit 1 6 can then trigger a second control signal, which causes the agricultural machine 50 to brake in order to avoid entry into the second cultivation area 62b if it is not to be processed (temporarily).
  • a respective path area 66a, 66b is detected within the first and second cultivation area 62a, 62b.
  • the signal unit 16 does not generate a control signal in response to the, which has no influence on the generation of the other control signals.
  • the control device 10 can be designed to trigger the first and second control signals described above as a common or single control signal, since the first boundary and the separation of the two weed areas 64a, b by the middle path area 66c are simultaneously below the detection area 222 of the Environment sensors 22 fall.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Guiding Agricultural Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Verfahren zur Steuerung einer Landmaschine (50), umfassend Erhalten von Umfelddaten, die von einer Umfeldsensorik (22) beim Erfassen einer landwirtschaftlichen Nutzfläche (60) erzeugt sind; Auswerten der Umfelddaten, um einen Anbaubereich (62), einen Unkrautbereich (64) und einen Grenzverlauf (63) zwischen dem Anbaubereich (62) und dem Unkrautbereich (64) basierend auf einer Segmentierung der Umfelddaten zu detektieren; und Erzeugen eines Steuersignals für die Landmaschine (50) basierend auf dem erkannten Grenzverlauf (63).

Description

Steuerung einer Landmaschine basierend auf Detektion eines Grenzverlaufs auf landwirtschaftlichen Nutzflächen
TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft das Gebiet der autonom beziehungsweise teilauto nom fahrenden Landmaschinen. Insbesondere betrifft die vorliegende Erfindung eine Vorrichtung, ein Verfahren, ein Computer-Programm-Produkt, ein computerlesbares Speichermedium sowie ein Datenträgersignal zur Steuerung einer solchen
Landmaschine.
TECHNISCHER HINTERGRUND
Landmaschinen, die während ihrer Bewegungen auf einer landwirtschaftlichen Nutz fläche mittels eines Navigationssystems steuerbar sind, sind aus dem Stand der Technik bekannt. Beispielsweise offenbart US 2018/01 13473 A1 eine Landmaschine mit einem automatisierten Lenkungssystem, das auf dem Globalen Navigationssatel litensystem (Engl.: GNSS) basiert. Das GNSS umfasst eine Antenne und einen Emp fänger, der mit einem bestimmten Abstand von der Antenne angeordnet ist. Bewe gungsparameter der Landmaschine wie Position, Ausrichtung (Roll-Nick-Gier-Winkel) und Geschwindigkeit können auf diese Weise bestimmt werden. Auf Basis der be stimmten Bewegungsparameter können Steuersignale zur Lenkung der Landma schine generiert werden.
Bei der Bewirtschaftung von landwirtschaftlichen Nutzflächen wie Feldern ist es be sonders wichtig, dass sich das dafür verwendete Mittel, insbesondere eine Landma schine, für bestimmte Bearbeitungsvorgänge nur innerhalb einer vordefinierten Be grenzung bewegt. Eine ungewollte Grenzüberschreitung der Landmaschine kann dazu führen, dass Ernten beschädigt werden. Zusätzlich besteht das Risiko einer Kollision mit anderen Landmaschinen oder Personen, was fatale Folgen haben kann.
Jedoch haben diese aus dem Stand der Technik bekannten Systeme den Nachteil, dass die Erfassung der Objekte auf der Nutzfläche nicht hinreichend genau und stö- rungsfrei funktioniert. Dies führt dazu, dass Begrenzungen von Feldstücken nicht mit der gebotenen Zuverlässigkeit erkannt werden können. Außerdem sind GNSS- basierte Lösungen aufgrund der häufig hohen Lizenzgebühren für die Nutzung von GNSS-Systemen sehr kostspielig.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, die landwirtschaftliche Bearbeitung der Nutzflächen mit erhöhter Sicherheit bei gleichzeitig zumindest gleichbleibendem Kostenniveau durchzuführen.
Die Aufgabe wird gelöst durch eine Vorrichtung, ein Verfahren, ein Computer- Programm-Produkt, ein computerlesbares Speichermedium sowie ein
Datenträgersignal gemäß den unabhängigen Ansprüchen.
Die Landmaschine kann als einteiliges Fahrzeug oder Gelenkfahrzeug ausgebildet sein. Sie kann einen Schwader, eine Heumaschine, einen Mähdrescher, eine Spritz maschine, eine Sprühmaschine (Engl.: Sprayer) oder ein anderes in der Landwirt schaft einsetzbares Fahrzeug umfassen. Die Landmaschine ist ein autonom oder teilautonom fahrendes Fahrzeug. Dies bedeutet, dass die Landmaschine ganz (beim vollautnom fahrenden Fahrzeug) bzw. teilweise (beim teilautonom fahrenden Fahr zeug) ohne Einfluss eines menschlichen Fahrers agieren kann.
Bei der Vorrichtung zur Steuerung der Landmaschine kann es sich beispielsweise um eine elektronische Steuer- oder Regeleinheit (engl. ECU = Electronic Control Unit), ein elektronisches Steuer- oder Regelmodul (ECM = Electronic Control Modu- le) oder eine Steuer-/Regeleinheit für autonomes Fahren (z.B. ein„Autopilot“) han deln. Die Steuervorrichtung kann sich in der Landmaschine befinden, oder außerhalb bzw. teilweise außerhalb der Landmaschine. Beispielsweise kann die Steuervorrich tung Teil einer zentralen Überwachungseinrichtung für die landwirtschaftliche Nutz fläche sein. Die Kommunikation kann drahtlos, etwa über BlueTooth, Infrarot, Nah feld-Kommunikation (Engl.: NFC), Funk, Internet, Intranet, Cloud-Systeme und/oder verdrahtete Systeme erfolgen.
Die Umfeldsensorik zum Erzeugen von Umfelddaten kann einen oder mehrere Um feldsensoren umfassen. Die Umfeldsensoren umfassen vorzugsweise einen Radar- sensor (z.B. einen Breitbandradarsensor oder einen Bodenradarsensor, Engl.:
Ground Penetrating Radar, GPR), einen Lidarsensor, einen Ultraschallsensor und/oder eine Kamera, etwa eine Stereokamera oder 3D-Kamera oder eine Infrarot kamera, umfassen. Die Umfeldsensorik kann an der Landmaschine angebracht sein und somit das Umfeld der auf der landwirtschaftlichen Nutzfläche fahrenden Land maschine in Echtzeit erfassen. Alternativ kann die Umfeldsensorik Teil einer zentra len Überwachungseinrichtung zum Überwachen der Nutzfläche sein, wobei die Überwachungseinrichtung mit der Steuervorrichtung und/oder der Landmaschine verbunden ist. Die mehreren Umfeldsensoren der Umfeldsensorik können an unter schiedlichen Positionen der Landmaschine und/oder der zentralen Überwachungs einrichtung angeordnet sein. Es kann zumindest einer der Umfeldsensoren an einem anderen Fahrzeug angeordnet sein, beispielsweise an einer anderen Landmaschine auf der landwirtschaftlichen Nutzfläche.
Mittels der Auswerteeinheit werden die Umfelddaten analysiert, um eine Mehrzahl von Objekten in den Umfelddaten zu erkennen. Die Objekterkennung basiert auf ei ner Segmentierung der Umfelddaten, bei der ein bestimmter Algorithmus oder meh rere Algorithmen verwendet werden, die dazu ausgebildet sind, inhaltlich zusam menhängenden Regionen durch Zusammenfassung benachbarter Pixel oder Voxel entsprechend einem bestimmten Homogenitätskriterium zu erkennen. Die erkannten Objekte werden mittels der Auswerteeinheit klassifiziert, um jedem der Objekte eine Objektklasse (beispielsweise Anbaufläche, Unkrautfläche, Wege), zuzuweisen. Die Klassifizierung basiert vorzugsweise auf einer Analyse der Umfelddaten hinsichtlich Reflexionseigenschaften der verschiedenen erfassten Objekte. Beispielsweise wei sen Anbauprodukte wie Kohlgemüse, Mais und Getreide weisen bei bestimmten Lichtwellenlängen einen höheren Reflexionskoeffizienten als Unkräuter auf. Daher kann mittels einer Reflexionsmessung zwischen den verschiedenen Objekten unter schieden werden.
Auf diese Weise werden ein Anbaubereich, ein Unkrautbereich sowie ein Grenzver lauf zwischen dem Anbaubereich und dem Unkrautbereich detektiert. Der Grenzver lauf bezieht sich auf einen Übergang vom Anbaubereich zum Unkrautbereich oder umgekehrt, wobei der Übergang eine dimensionslose Linien bzw. Kurve umfassen oder eine vom Umfeldsensor erfassbare Breite haben kann. Die Segmentierung ist vorzugsweise eine semantische Segmentierung.
Beruhend auf der obigen sensorbasierten Objekterkennung und Detektion des Grenzverlaufs wird ein Steuersignal erzeugt, welches eine geeignete Maßnahme für die Landmaschine hervorruft. Das Steuersignal kann an eine externe Entität wie eine zentrale Steuereinrichtung, die mit der Landmaschine verbunden ist, oder die Land maschine selbst (bspw. einen Aktor der Landmaschine) ausgegeben werden. Gemäß einer Ausführungsform umfasst das Verfahren ferner bewirkt das Steuersignal, dass die Landmaschine eine Bremsung (z.B. Vollbremsung), eine Fahrtrichtungsänderung vornimmt und/oder ein Warnsignal (z.B. ein Warnlichtsignal wie ein rotes Lichtsignal, ein Warntonsignal oder ein Vibrationssignal) aussendet.
Die erfindungsgemäße Steuerung der Landmaschine ist besonders vorteilhaft, da hierdurch verschiedene Bereiche auf der landwirtschaftlichen Nutzfläche wie Anbau flächen und Unkrautflächen bei der Erzeugung des Steuersignals berücksichtigt wer den. Benachbarte Anbauflächen bzw. Feldstücke sind oft mit einem Unkrautbereich voneinander getrennt. Daher markieren derartige Unkrautbereiche die Grenze zwi schen zwei benachbarten Feldstücken. Wenn zu einem gegebenen Zeitpunkt nur eins der beiden benachbarten Feldstücke von der Landmaschine bearbeitet werden soll, kann erfindungsgemäß besonders zuverlässig vermieden werden, dass das an dere Feldstück, welches nicht betreten werden soll, versehentlich durch die Landma schine beeinträchtigt wird. Die landwirtschaftliche Bewirtschaftung kann daher auf sichere Weise automatisiert bzw. teilautomatisiert werden.
Vorteilhafte Ausgestaltungen und Weiterbildungen sind in den Unteransprüchen an gegeben.
Gemäß einer Ausführungsform umfasst das Verfahren ferner Erstellen einer Raster karte basierend auf den Umfelddaten, wobei die Rasterkarte mehrere Rasterelemen te aufweist, wobei jedem der Rasterelemente eine Objektklasse zugeordnet wird. Jedes Rasterelement entspricht einem Flächenelement der landwirtschaftlichen Nutzfläche. Auf diese Weise können die Objektklassen bereichsweise zugewiesen werden. Die Rasterkarte liefert besonders genaue Information darüber, wie die Nutz fläche in verschiedene Bereiche aufgeteilt ist. Dies ist vorteilhaft für eine zuverlässige Steuerung der Landmaschine auf der Nutzfläche.
Gemäß einer weiteren Ausführungsform ist zumindest einem der Rasterelemente ein Attribut zugewiesen, wobei das Attribut eine Höhe und/oder Dichte eines im zu mindest einen Rasterelements erkannten Objektes umfasst.
Auf diese Weise sind umfangreichere Informationen über die verschiedenen Flä chenelemente der Nutzfläche ermittelbar, was die sicherere Steuerung der Landma schine auf der Nutzfläche weiter begünstigt.
Gemäß einer weiteren Ausführungsform wird das Steuersignal unter der Bedingung erzeugt, dass sich der Anbaubereich von der Landmaschine ausgehend betrachtet vor dem Unkrautbereich befindet.
Der Unkrautbereich ist daher weiter als der Anbaubereich von der Landmaschine entfernt. Auf diese Weise kann eine unnötige Maßnahme wie Bremsung beim Eintritt in den zu bearbeitenden Anbaubereich vermieden und zugleich eine erforderliche Maßnahme vorm Eintritt in ein (vorübergehend) nicht zu bearbeitendes Feldstück sichergestellt werden.
Gemäß einer Ausführungsform umfasst das Verfahren ferner Auswerten der Umfeld daten, um einen Wegbereich zwischen zwei an den Wegbereich angrenzenden Un krautbereichen zu detektieren.
Ein derartiger Wegbereich markiert in vielen Fällen die Grenze zwischen zwei be nachbarten Feldstücken. Ein weiteres Steuersignal zur Bremsung oder Fahrtrich tungsänderung der Landmaschine kann bei der Detektion des Wegbereichs ausge löst werden. Hierdurch kann das ungewollte Betreten eines benachbarten Feld- Stücks, welches (vorübergehend) nicht bearbeitete werden soll, besonders sicher vermieden werden.
Alternativ oder zusätzlich umfasst das Verfahren ferner Au swerten der Umfelddaten, um einen Wegbereich innerhalb eines Anbaubereichs zu detektieren. In diesem Fall markiert der Wegbereich keine Begrenzung des Anbaubereichs. Die Landmaschine muss nicht gebremst werden. Es wird daher kein auf der Detektion des Wegbereichs basierendes Steuersignal oder ein Entwarnungssignal (z.B. ein grünes Lichtsignal) ausgelöst.
Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in einen Speicher eines Computers geladen zu werden und umfasst Softwarecodeabschnitte, mit de nen die Verfahrensschritte des erfindungsgemäßen Verfahrens ausgeführt werden, wenn das Computerprogrammprodukt auf dem Computer läuft.
Ein Programm gehört zur Software eines Daten verarbeitenden Systems, zum Bei spiel einer Auswerteeinrichtung oder einem Computer. Software ist ein Sammelbe griff für Programme und zugehörigen Daten. Das Komplement zu Software ist Hard ware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines Daten verarbeitenden Systems. Ein Computer ist eine Auswerteeinrichtung.
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfah ren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogramm produkt den oben beschriebenen erfinderischen technischen Effekt hervor.
Das erfindungsgemäße Computerprogrammprodukt ist Plattform unabhängig. Das heißt, es kann auf jeder beliebigen Rechenplattform ausgeführt werden. Bevorzugt wird das Computerprogrammprodukt auf einer erfindungsgemäßen Auswertevorrich tung zum Erfassen des Umfelds des Fahrzeugs ausgeführt. Die Softwarecodeabschnitte sind in einer beliebigen Programmiersprache geschrie ben, zum Beispiel in Python.
Das computerlesbare Speichermedium ist beispielsweise ein elektronisches, magne tisches, optisches oder magneto-optisches Speichermedium.
Das Datenträgersignal ist ein Signal, welches das Computer-Programm-Produkt von einem Speichermedium, auf dem das Computer-Programm-Produkt gespeichert ist, auf eine andere Entität, beispielsweise ein anderes Speichermedium, einen Server, ein Cloud-System oder eine Daten verarbeitende Einrichtung, überträgt.
Ausführungsformen werden nun beispielhaft und unter Bezugnahme auf die beige fügten Zeichnungen beschrieben. Es zeigen:
Fig. 1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung gemäß einer Ausführungsform;
Fig. 2 eine schematische Darstellung einer Rasterkarte, die basierend auf Er fassung einer landwirtschaftlichen Nutzfläche erstellt ist; und
Fig. 3 eine schematische Darstellung der Nutzfläche zur Veranschaulichung der erfindungsgemäßen Steuerung.
In den Figuren beziehen sich gleiche Bezugszeichen auf gleiche oder funktionsähnli che Bezugsteile. In den einzelnen Figuren sind die jeweils relevanten Bezugsteile gekennzeichnet.
Fig. 1 zeigt schematisch eine Vorrichtung 10 zur Steuerung einer Landmaschine 50. Die Steuervorrichtung 10 umfasst eine Eingangsschnittstelle 12 zum Erhalten von Umfelddaten, die von einer Umfeldsensorik 22 beim Erfassen einer landwirtschaftli chen Nutzfläche 60 (Fig. 2) erzeugt sind. Die Umfelddaten können direkt von der Um feldsensorik 22, wie in Fig. 1 beispielhaft gezeigt, oder alternativ von einer anderen Einrichtung, der die Umfelddaten vorher eingespeist wurden, empfangen werden. Die Steuervorrichtung 10 umfasst außerdem eine Auswerteeinheit 14 zum Auswerten der Umfelddaten. Mittels der Auswerteeinheit 14 werden die Umfelddaten analysiert, um eine Mehrzahl von Objekten in den Umfelddaten zu erkennen. Die Objekterken nung basiert auf einer Segmentierung der Umfelddaten, bei der ein bestimmter Algo rithmus oder mehrere Algorithmen verwendet werden, die dazu ausgebildet sind, in haltlich zusammenhängenden Regionen durch Zusammenfassung benachbarter Pi xel oder Voxel entsprechend einem bestimmten Homogenitätskriterium zu erkennen. Die erkannten Objekte werden mittels der Auswerteeinheit 14 klassifiziert, um jedem der Objekte eine Objektklasse (beispielsweise Anbaufläche, Unkrautfläche, Wege), zuzuweisen. Die Klassifizierung basiert vorzugsweise auf einer Analyse der Umfeld daten hinsichtlich Reflexionseigenschaften der verschiedenen erfassten Objekte. Beispielsweise weisen Anbauprodukte wie Kohlgemüse, Mais und Getreide weisen bei bestimmten Lichtwellenlängen einen höheren Reflexionskoeffizienten als Unkräu ter auf. Daher kann mittels einer Reflexionsmessung zwischen den verschiedenen Objekten unterschieden werden.
Auf diese Weise werden ein Anbaubereich 62, ein Unkrautbereich 64 und ein Grenz verlauf 63 zwischen dem Anbaubereich 62 und dem Unkrautbereich 64 detektiert.
Fig. 2 zeigt eine schematische Darstellung des Auswerteergebnisses, wobei die von der Umfeldsensorik 22 erfasste Nutzfläche 60 in diesem Beispiel als Rasterkarte 24 mit einer Vielzahl von Rasterelementen 242 zusammengefasst ist. Der beispielhafte Grenzverlauf 63 ist als gestrichelte Linie dargestellt.
Die Steuervorrichtung 10 umfasst außerdem eine Signaleinheit 16 zur Erzeugung eines Steuersignals basierend auf dem erkannten Grenzverlauf 63. Das Steuersignal ist dazu ausgebildet, eine geeignete Maßnahme für die Landmaschine hervorzuru fen. Das Steuersignal kann an eine externe Entität wie eine zentrale Steuereinrich tung, die mit der Landmaschine 50 verbunden ist, oder die Landmaschine 50 selbst (bspw. einen Aktor der Landmaschine 50) ausgegeben werden. Das Steuersignal kann beispielsweise bewirken, dass die Landmaschine 50 eine Bremsung (z.B. Voll bremsung), eine Fahrtrichtungsänderung vornimmt und/oder ein Warnsignal (z.B. ein Warnlichtsignal wie ein rotes Lichtsignal, ein Wamtonsignal oder ein Vibrationssignal) aussendet.
Fig. 3 zeigt eine schematische Darstellung der Nutzfläche 60, die zwei benachbarte Anbaubereiche 62a, 62b umfasst. Die Anbaubereiche 62a, 62b sind umfänglich je weils von einem Unkrautbereich 64a, 64b umschlossen. Die Unkrautbereiche 64a, 64b sind umfänglich wiederum von einem äußeren Wegbereich 66 umschlossen und seitlich durch einen zentralen Wegbereich 66c voneinander beabstandet. Ferner be findet sich ein innerer Wegbereich 66a, 66b im jeweiligen Anbaubereich 62a, 62b.
Wenn sich die Landmaschine 50 in der in Fig. 3 gezeigten Position befindet, fallen die Anbaubereiche 62a, 62b, die Unkrautbereiche 64a, 64b, sowie die Wegbereiche 66a, 66b, 66c jeweils teilweise unter den Erfassungsbereich 222 der Umfeldsensorik 22, die in diesem Beispiel an der Landmaschine 50 angebracht ist.
Hier wird ein erster Grenzverlauf 63a zwischen dem ersten Anbaubereich 62a und dem ersten Unkrautbereich 64a detektiert, wobei der erste Grenzverlauf 63a als ge strichelte Linie in Fig. 3 dargestellt ist. Der erste Unkrautbereich 64a ist weiter als der erste Anbaubereich 62a von der Landmaschine 50 entfernt. Dies bedeutet, dass sich die Landmaschine 50 ausgehend von einem Anbaubereich 62a dessen Begrenzung annähert. Die Signaleinheit 16 kann daraufhin ein erstes Steuersignal auslösen, wel ches bewirkt, dass die Landmaschine 50 bremst.
Gleichzeitig wird, wie in Fig. 3 gezeigt, zweiter Grenzverlauf 63b zwischen dem zwei ten Anbaubereich 62b und dem zweiten Unkrautbereich 64b detektiert, wobei der zweite Grenzverlauf 63b als gestrichelte Linie in Fig. 3 dargestellt ist. Der zweite Un krautbereich 64b ist weiter als der zweite Anbaubereich 62b von der Landmaschine 50 entfernt. Dies bedeutet, dass sich die Landmaschine 50 ausgehend vom Umfeld eines Anbaubereichs 62b dessen Begrenzung annähert. In diesem Fall erzeugt die Signaleinheit 16 kein Steuersignal in Reaktion auf die Detektion des zweiten Grenz verlauf 63b. Im in Fig. 3 gezeigten Beispiel werden beide Grenzverläufe 63a, b gleichzeitig durch die Umfeldsensorik 22 erfasst und detektiert. Das erste Steuersig nal wird trotz Detektion des zweiten Grenzverlaufs 63b ausgelöst. Außerdem wird, wie in Fig. 3 gezeigt, der mittlere Wegbereich 66c detektiert, der zwischen zwei benachbarten Unkrautbereichen 64a, 64b angeordnet ist. Dies bedeu tet, dass sich die Landmaschine 50 einer Begrenzung zwischen zwei benachbarten Anbaubereichen 62a, 62b annähert. Die Signaleinheit 1 6 kann daraufhin ein zweites Steuersignal auslösen, welches bewirkt, dass die Landmaschine 50 bremst, um ei nen Eintritt in den zweiten Anbaubereich 62b zu vermeiden, wenn dieser (vorüberge hend) nicht bearbeitet werden soll.
Des Weiteren wird, wie in Fig. 3 gezeigt, innerhalb des ersten und zweiten Anbaube reichs 62a, 62b jeweils ein Wegbereich 66a, 66b detektiert. In diesem Fall erzeugt die Signaleinheit 16 kein Steuersignal in Reaktion auf die, wobei dies keinen Einfluss hat auf die Erzeugung der anderen Steuersignale.
Die Steuervorrichtung 10 kann dazu ausgebildet sein, um das oben beschriebene erste und zweite Steuersignal als ein gemeinsames bzw. einziges Steuersignal aus zulösen, da der erste Grenzverlauf und die Trennung der beiden Unkrautbereiche 64a, b durch den mittleren Wegbereich 66c gleichzeitig unter den Erfassungsbereich 222 der Umfeldsensorik 22 fallen.
Bezuaszeichen Steuervorrichtung
Eingangsschnittstelle
Auswerteeinheit
Signaleinheit
Ausgangsschnittstelle
Umfeldsensorik
2 Erfassungsbereich
Rasterkarte
2 Rasterkartenelemente
Landmaschine (Sprühmaschine) Nutzfläche
, 62a, b Anbaubereich
, 63a, b Grenzverlauf
, 64a, b Unkrautbereich
Wegbereich

Claims

Patentansprüche
1. Verfahren zur Steuerung einer Landmaschine (50), umfassend:
Erhalten von Umfelddaten, die von einer Umfeldsensorik (22) beim Erfassen einer landwirtschaftlichen Nutzfläche (60) erzeugt sind;
Auswerten der Umfelddaten, um einen Anbaubereich (62), einen Unkrautbe reich (64) und einen Grenzverlauf (63) zwischen dem Anbaubereich (62) und dem Unkrautbereich (64) basierend auf einer Segmentierung der Umfelddaten zu detek- tieren; und
Erzeugen eines Steuersignals für die Landmaschine (50) basierend auf dem detektierten Grenzverlauf (63).
2. Verfahren nach Anspruch 1 , weiter umfassend Erstellen einer Rasterkarte (24) basierend auf den Umfelddaten, wobei die Rasterkarte (24) mehrere Rasterelemente (242) aufweist, wobei jedem der Rasterelemente (242) eine mittels der Segmentie rung bestimmte Objektklasse zugeordnet wird.
3. Verfahren nach Anspruch 2, wobei zumindest einem der Rasterelemente (242) ein Attribut zugewiesen ist, wobei das Attribut eine Höhe und/oder Dichte eines im zumindest einen Rasterelements (242) erkannten Objektes umfasst.
4. Verfahren nach einem der vorangehenden Ansprüche, wobei das Steuersignal unter der Bedingung erzeugt wird, dass der Unkrautbereich (64) weiter als der An baubereich (62) von der Landmaschine (50) entfernt ist.
5. Verfahren nach einem der vorangehenden Ansprüche, weiter umfassend Auswerten der Umfelddaten, um einen Wegbereich (66) zwischen zwei an den Weg bereich (66) angrenzenden Unkrautbereichen (64) zu detektieren.
6. Verfahren nach einem der vorangehenden Ansprüche, wobei das Steuersignal bewirkt, dass die Landmaschine (50) eine Bremsung, eine Fahrtrichtungsänderung vornimmt und/oder ein Warnsignalaussendet.
7. Vorrichtung (10) zur Steuerung einer Landmaschine (50), umfassend:
eine Eingangsschnittstelle (12) zum Erhalten von Umfelddaten, die von einer Umfeldsensorik (22) beim Erfassen einer landwirtschaftlichen Nutzfläche (60) erzeugt sind;
eine Auswerteeinheit (14) zum Auswerten der Umfelddaten, um einen Anbau bereich (62), einen Unkrautbereich (64) und einen Grenzverlauf (63) zwischen dem Anbaubereich (62) und dem Unkrautbereich (64) basierend auf einer Segmentierung der Umfelddaten zu detektieren; und
eine Signaleinheit (16) zum Erzeugen eines Steuersignals für die Landma schine (50) basierend auf dem erkannten Grenzverlauf (63).
8. System zur Steuerung einer Landmaschine (50), umfassend eine Vorrichtung (10) nach Anspruch 7, das System ferner umfassend eine Umfeldsensorik (22) zum Erzeugen von Umfelddaten beim Erfassen einer landwirtschaftlichen Nutzfläche (60).
9. Verwendung der Vorrichtung (10) nach Anspruch 7 und/oder des Systems nach Anspruch 8 in einer Landmaschine (50).
10. Computer-Programm-Produkt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach An spruch 1 auszuführen.
11. Computerlesbares Speichermedium, auf dem das Computer-Programm- Produkt nach Anspruch 10 gespeichert ist.
12. Datenträgersignal, das das Computer-Programm-Produkt nach Anspruch 10 überträgt.
PCT/EP2020/050793 2019-02-14 2020-01-14 Steuerung einer landmaschine basierend auf detektion eines grenzverlaufs auf landwirtschaftlichen nutzflächen Ceased WO2020164833A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019201912.9A DE102019201912A1 (de) 2019-02-14 2019-02-14 Steuerung einer Landmaschine basierend auf Detektion eines Grenzverlaufs auf landwirtschaftlichen Nutzflächen
DE102019201912.9 2019-02-14

Publications (1)

Publication Number Publication Date
WO2020164833A1 true WO2020164833A1 (de) 2020-08-20

Family

ID=69167836

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/050793 Ceased WO2020164833A1 (de) 2019-02-14 2020-01-14 Steuerung einer landmaschine basierend auf detektion eines grenzverlaufs auf landwirtschaftlichen nutzflächen

Country Status (2)

Country Link
DE (1) DE102019201912A1 (de)
WO (1) WO2020164833A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0634628A1 (de) * 1993-07-13 1995-01-18 Daimler-Benz Aerospace Aktiengesellschaft Verfahren und Anordnung zur Erdbeobachtung
EP1840690A2 (de) * 2006-03-30 2007-10-03 CLAAS Selbstfahrende Erntemaschinen GmbH Verfahren zur Erstellung eines Routenplans für landwirtschaftliche Maschinensysteme
EP2368419A1 (de) * 2010-03-23 2011-09-28 CLAAS Agrosystems GmbH & Co. KG Verfahren zur Erkennung einer Struktur auf einem Feld, Verfahren zum Lenken eines landwirtschaftlichen Fahrzeugs und ein landwirtschaftliches Fahrzeug
DE102011078290A1 (de) * 2011-06-29 2013-01-03 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassifizieren eines Umgebungsbereiches eines Fahrzeuges
DE102016209437A1 (de) * 2016-05-31 2017-11-30 Deere & Company Selbsttätiges Lenksystem zur Führung eines landwirtschaftlichen Fahrzeugs über ein Feld und entsprechendes Verfahren
US20180113473A1 (en) 2003-03-20 2018-04-26 Agjunction Llc Gnss and optical guidance and machine control

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0634628A1 (de) * 1993-07-13 1995-01-18 Daimler-Benz Aerospace Aktiengesellschaft Verfahren und Anordnung zur Erdbeobachtung
US20180113473A1 (en) 2003-03-20 2018-04-26 Agjunction Llc Gnss and optical guidance and machine control
EP1840690A2 (de) * 2006-03-30 2007-10-03 CLAAS Selbstfahrende Erntemaschinen GmbH Verfahren zur Erstellung eines Routenplans für landwirtschaftliche Maschinensysteme
EP2368419A1 (de) * 2010-03-23 2011-09-28 CLAAS Agrosystems GmbH & Co. KG Verfahren zur Erkennung einer Struktur auf einem Feld, Verfahren zum Lenken eines landwirtschaftlichen Fahrzeugs und ein landwirtschaftliches Fahrzeug
DE102011078290A1 (de) * 2011-06-29 2013-01-03 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassifizieren eines Umgebungsbereiches eines Fahrzeuges
DE102016209437A1 (de) * 2016-05-31 2017-11-30 Deere & Company Selbsttätiges Lenksystem zur Führung eines landwirtschaftlichen Fahrzeugs über ein Feld und entsprechendes Verfahren

Also Published As

Publication number Publication date
DE102019201912A1 (de) 2020-08-20

Similar Documents

Publication Publication Date Title
DE102016115371A1 (de) Verfahren und vorrichtung zur meidung von rückwärtigem querverkehr
WO2020164834A1 (de) Trajektoriebestimmung für landmaschinen unter verwendung von rasterkarten
WO2020182564A1 (de) Vision-basiertes lenkungsassistenzsystem für landfahrzeuge
DE102020107484A1 (de) Verfahren und vorrichtung zur bestätigung einer radarerfassung
DE102014212216A1 (de) Verfahren und Fahrerassistenzsystem zur Erfassung eines Fahrzeugumfel-des
DE102011078290A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines Umgebungsbereiches eines Fahrzeuges
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
EP3875908B1 (de) Navigieren eines fahrzeugs und virtuelle spurführungsvorrichtung
EP3887915B1 (de) Vorrichtung zum lokalisieren einer landmaschine basierend auf sensordaten und bildsegmentierung
DE102019201297A1 (de) Autonomer Betrieb eines Fahrzeugs innerhalb eines sicheren Arbeitsbereichs
DE102019206901A1 (de) Landwirtschaftliche Umfelderkennung zur Kollisionsvermeidung mit Hilfe einer Drohne
DE102019205474A1 (de) Objekterkennung im Umfeld eines Fahrzeugs unter Verwendung einer primären Sensoreinrichtung und einer sekundären Sensoreinrichtung
DE102019201912A1 (de) Steuerung einer Landmaschine basierend auf Detektion eines Grenzverlaufs auf landwirtschaftlichen Nutzflächen
WO2024132370A1 (de) Verfahren und ortungsgerät zum orten von funketiketten sowie verfahren und anordnung zum konfigurieren des ortungsgeräts
DE102019204661A1 (de) Lokalisierung und Kartenerstellung für ein Offroad-Fahrzeug
WO2020160863A1 (de) Vorrichtung zur routenplanung für eine landmaschine basierend auf sensordaten und bildsegmentierung
EP4155775A1 (de) Verfahren zur identifikation von objekten sowie landwirtschaftliche arbeitsmaschine
DE102019201909A1 (de) Ansteuerung von Landmaschinen basierend auf Sensorerfassung der Bodenfestigkeit und/oder Bodendichte
DE102019214796A1 (de) Objektdetektion im Umfeld einer Landmaschine mittels eines ultrabreitbandigen Radarsensors
EP4113392B1 (de) Verfahren zum prüfen der zuverlässigkeit einer ki-basierten objekt-detektion
DE102019201908A1 (de) Sensorbasierte Bewegungsbegrenzung von Landmaschinen
EP3996967B1 (de) Schienenerkennung mit lidar
WO2020164835A1 (de) Steuerung von landmaschinen basierend auf kombination aus abstandsensorik und kamera
DE102019205469A1 (de) Objekterkennung im Umfeld eines Fahrzeugs unter Verwendung einer primären Sensoreinrichtung und einer sekundären Sensoreinrichtung
WO2020164832A1 (de) Rfid-basierte bewegungsbegrenzung von landmaschinen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20700811

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20700811

Country of ref document: EP

Kind code of ref document: A1