WO2024083335A1 - Verfahren für den betrieb einer selbstfahrenden landwirtschaftlichen arbeitsmaschine - Google Patents

Verfahren für den betrieb einer selbstfahrenden landwirtschaftlichen arbeitsmaschine Download PDF

Info

Publication number
WO2024083335A1
WO2024083335A1 PCT/EP2022/079238 EP2022079238W WO2024083335A1 WO 2024083335 A1 WO2024083335 A1 WO 2024083335A1 EP 2022079238 W EP2022079238 W EP 2022079238W WO 2024083335 A1 WO2024083335 A1 WO 2024083335A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
camera
vegetation
information
rows
Prior art date
Application number
PCT/EP2022/079238
Other languages
English (en)
French (fr)
Inventor
Bernhard PESCHAK
Hadi HEJAZIFAR
Original Assignee
Ideas Gmbh & Co Kg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ideas Gmbh & Co Kg filed Critical Ideas Gmbh & Co Kg
Priority to PCT/EP2022/079238 priority Critical patent/WO2024083335A1/de
Publication of WO2024083335A1 publication Critical patent/WO2024083335A1/de

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B79/00—Methods for working soil
    • A01B79/005—Precision agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation

Definitions

  • the present invention relates to a method for operating a self-propelled agricultural work machine with at least one working element and with a driver assistance system for generating control actions within the work machine, wherein a sensor arrangement is provided for generating environmental information, wherein the driver assistance system generates the control actions based on the environmental information, wherein the sensor arrangement has a camera-based sensor system and a laser-based sensor system, each of which generates sensor information about a predetermined, relevant environmental area of the work machine, wherein the sensor information of the camera-based sensor system is present as output camera images, wherein the driver assistance system has an image processing system for processing the output camera images, wherein the output camera images are processed by the image processing system and wherein a sensor fusion module is provided.
  • This system works well in even lighting and low weed infestation, but has problems in intense sunlight combined with dark shadows and heavy weed infestation.
  • the aim of the present invention is to provide a method that enables reliable operation even under adverse conditions.
  • the processed output camera images from the sensor fusion module are fused with the sensor information of the laser-based sensor system and in that the image processing system uses a vegetation index algorithm followed by a noise filter followed by an adaptive threshold algorithm so that the vegetation is separated from the ground.
  • the vegetation index algorithm is based on the colors of the plants (red or green).
  • the noise filter is used to suppress noise.
  • the adaptive threshold algorithm is necessary to ensure correct results even in different lighting conditions.
  • the adaptive threshold algorithm not only assigns a threshold value to the image, but also assigns different threshold values to different areas of the image that are adapted to the neighboring pixels/area. This ensures that even in an image in which light and shadow occur, appropriate threshold values are used in both the area with light and the area with shadow.
  • a further increase in the accuracy of the plant row determination can be achieved by using the geometric information that the plant rows have a certain orientation to each other to determine the detected plant rows. For example, it may be known that the plant rows are parallel to each other. With this information, it can be prescribed that the detected plant rows must also be parallel. Another way to use the information is that deviations of the detected plant rows from parallelism are taken into account in the cost function.
  • RGB information can be used to distinguish plants from weeds and thus filter out the weeds from the determination of the plant rows.
  • the fusion of the data from the camera system and the 3D laser scanner system is carried out by individually calculating the probabilities of the plant positions of the camera system and the 3D laser scanner system and then combining the probabilities.
  • the fusion of data from the camera system and the 3D laser scanner system can be done directly by combining point clusters based on the camera system and the 3D laser scanner system.
  • Fig. 1 shows a method according to the invention for operating an agricultural working machine
  • Fig. 2 shows the plant row recognition of the method according to the invention.
  • step 1 the environment is first captured using the camera system (image) and the laser system (3D laser data).
  • step 2 the image from the camera system is processed using image processing.
  • a vegetation index is determined, a single value calculated by transforming the observations from several spectral bands. It is used to enhance the presence of green or red vegetation features, thus helping to distinguish plants from the other objects present in the image.
  • This algorithm is based on the color distribution of the pixels, with high red and green components indicating vegetation.
  • a noise filtering algorithm is applied to remove or reduce the noise from the image.
  • the noise filtering algorithms reduce or remove the visibility of noise by smoothing the entire image areas near contrast boundaries.
  • the noise filter is followed by an adaptive thresholding algorithm. Thresholds are used to segment an image by setting all pixels whose intensity values are above a threshold to a foreground value and all remaining pixels to a background value. Adaptive thresholding changes the threshold dynamically across the image. In fact, a threshold must be calculated for each pixel in the image. This more sophisticated version of thresholding can account for changing lighting conditions that occur as a result of a strong illumination gradient or shadows.
  • a floor is assigned to the sensor data.
  • the floor in the image shown in step 4 of Fig. 1 consists of the black areas.
  • the laser data is fused with the black areas and geometric information is assigned to the black areas, which allows a compensation plane to be placed through the black areas.
  • step 5 the plant rows are recognized. This process is explained in detail in Fig. 2.
  • the detected rows of plants are shown on a display in step 6.
  • the detected rows of plants can be overlaid with the image from the camera system. This informs the driver about the status of the detected rows of plants.
  • step 7 a control signal for the steering control is generated based on the detected rows of plants, so that the rows of plants are at a certain distance from the vehicle or the vehicle drives exactly in the middle or offset from the middle between two neighboring rows of plants. If the answer is "no", the image processing is repeated from step 2 with different parameters, whereby the driver can manually correct the rows of plants if the detected rows of plants do not match reality and this information is taken into account for further evaluation. In particular, the vegetation index can be recalculated based on the input.
  • Fig. 2 Parts of this process are shown in more detail in Fig. 2.
  • the plants are selected from a camera image 1a using the vegetation index, the noise filter algorithm and the adaptive threshold algorithm, resulting in image 3.
  • a simple example of the noise filtering algorithm is an average filter, which is a simple sliding window that replaces the current value with the average of all pixel values in the window.
  • the window or kernel is usually a square, but can be any shape.
  • adaptive Gaussian threshold this is the weighted sum of the neighboring values, with the weighting done by a Gaussian window.
  • the ground is then determined to produce image 4.
  • the camera height h and the angle ⁇ of the camera can now be calculated in step 4c.
  • the vegetation that is further away from the ground than a threshold value can be neglected in a step 4d. This only gives the part of the vegetation close to the ground, and as can be seen from the comparison of the upper image 4d' (complete vegetation) and the lower image 4d'', the point clouds of the individual rows become significantly narrower.
  • the application of the threshold value also has the further advantage that the leaves cannot distort the detection of the rows of plants, for example due to wind.
  • step 5 straight lines are drawn through the point clouds of the individual rows, for which there are various possibilities (as shown in Figure 5' below).
  • RGB values can be assigned to the detected plants in the detected plant rows.
  • the new RGB values can be used to better separate the crops from any weeds that may be present.

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental Sciences (AREA)
  • Soil Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Guiding Agricultural Machines (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

Für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine mit mindestens einem Arbeitsorgan wird ein Fahrerassistenzsystem zum Erzeugen von Steueraktionen innerhalb der Arbeitsmaschine zur Verfügung gestellt, wobei eine Sensoranordnung zur Erzeugung von Umfeldinformationen vorgesehen ist und das Fahrerassistenzsystem die Steueraktionen basierend auf den Umfeldinformationen erzeugt. Die Sensoranordnung weist ein kamerabasiertes Sensorsystem und ein laserbasiertes Sensorsystem auf, die jeweils Sensorinformationen zu einem vorbestimmten, relevanten Umfeldbereich der Arbeitsmaschine erzeugen. Die Ausgangs-Kamerabilder werden von einem Bildverarbeitungssystem verarbeitet, wobei ein Sensorfusionsmodul vorgesehen ist, welches erfindungsgemäß die verarbeiteten Ausgangs-Kamerabilder mit den Sensorinformationen des laserbasierten Sensorsystems fusioniert. Das Bildverarbeitungssystem beinhaltet einen Vegetations-Index-Algorithmus gefolgt von einem Rauschfilter gefolgt von einem adaptiven Schwellenwert-Algorithmus, sodass die Vegetation vom Boden getrennt wird.

Description

VERFAHREN FÜR DEN BETRIEB EINER SELBSTFAHRENDEN LANDWIRTSCHAFTLICHEN ARBEITSMASCHINE Technisches Gebiet
Die vorliegende Erfindung betrifft ein Verfahren für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine mit mindestens einem Arbeitsorgan und mit einem Fahrerassistenzsystem zum Erzeugen von Steueraktionen innerhalb der Arbeitsmaschine, wobei eine Sensoranordnung zur Erzeugung von Umfeldinformationen vorgesehen ist, wobei das Fahrerassistenzsystem die Steueraktionen basierend auf den Umfeldinformationen erzeugt, wobei die Sensoranordnung ein kamerabasiertes Sensorsystem und ein laserbasiertes Sensorsystem aufweist, die jeweils Sensorinformationen zu einem vorbestimmten, relevanten Umfeldbereich der Arbeitsmaschine erzeugen, wobei die Sensorinformationen des kamerabasierten Sensorsystems als Ausgangs-Kamerabilder vorliegen, wobei das Fahrerassistenzsystem ein Bildverarbeitungssystem zur Verarbeitung der Ausgangs-Kamerabilder aufweist, wobei die Ausgangs-Kamerabilder von dem Bildverarbeitungssystem verarbeitet werden und wobei ein Sensorfusionsmodul vorgesehen ist.
Stand der Technik
Ein derartiges Verfahren für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine ist in EP 3466240 B offenbart. Hierbei werden eine Kamera und ein Laserscanner verwendet, um Umweltinformationen zu sammeln. Die Kamerabilder werden in Bildsegmente segmentiert, und mit einem Sensorfusionsmodul werden die Bildsegmente mit den Informationen des laserbasierten Systems fusioniert.
Dieses System funktioniert gut in gleichmäßiger Beleuchtung und bei niedrigem Unkrautbefall, hat aber Probleme bei intensivem Sonnenlicht und gleichzeitigen dunklen Schatten sowie bei starkem Unkrautbefall.
Darstellung der Erfindung
Ziel der vorliegenden Erfindung ist es, ein Verfahren bereitzustellen, das den zuverlässigen Betrieb auch unter widrigen Bedingungen ermöglicht.
Dies wird erfindungsgemäß dadurch erreicht, dass die verarbeiteten Ausgangs-Kamerabilder von dem Sensorfusionsmodul mit den Sensorinformationen des laserbasierten Sensorsystems fusioniert werden und dass das Bildverarbeitungssystem einen Vegetations-Index-Algorithmus gefolgt von einem Rauschfilter gefolgt von einem adaptiven Schwellenwert-Algorithmus verwendet, sodass die Vegetation vom Boden getrennt wird.
Der Vegetations-Index-Algorithmus basiert auf den Farben der Pflanzen (rot oder grün). Der Rauschfilter dient zur Unterdrückung von Rauschen. Der adaptive Schwellenwert-Algorithmus ist notwendig, um korrekte Ergebnisse auch bei verschiedenen Lichtverhältnissen sicher zu stellen. Durch den adaptiven Schwellenwert-Algorithmus wird dem Bild nicht nur ein Schwellenwert zugeordnet, sondern verschiedenen Bildbereichen werden unterschiedliche Schwellenwerte zugeordnet, die an die benachbarten Pixel/Bereich angepasst sind. So kann auch in einem Bild, in dem Licht und Schatten auftritt, sichergestellt werden, dass sowohl in dem Bereich mit Licht als auch in dem Bereich mit Schatten passende Schwellenwerte verwendet werden.
Es ist vorteilhaft, wenn das Sensorfusionsmodul dem Boden eine Ebene zuordnet. Ausgehend von dem Bild, auf das der Vegetations-Index-Algorithmus angewandt wurde, soll dem Bereich, der als Nicht-Vegetation erkannt wurde, eine Ebene zugeordnet werden. Dies wird erreicht, indem mittels Sensorfusion die Daten des Kamera- und die Daten des Lasersystems fusioniert werden. Nachdem die Daten fusioniert wurden, kann man den entsprechenden Nicht-Vegetationsbereichen eine Ebene zuordnen. Mathematisch kann das mit einem x‑y‑z‑Koordinatensystem über die Formel ax + by + cz + d = 0 erfolgen, wobei x, y und z die Koordinatenachsen sind und a, b, c und d Konstanten darstellen.
Um den Trieb der Pflanzen aus dem Boden zu finden, ist es möglich, dass die Schnittpunkte des Bodens mit der Vegetation ermittelt werden und der Teil der Vegetation, dessen Distanz zur Bodenebene einen Grenzwert überschreitet, ignoriert wird. Somit können also die Bereiche gefunden werden, aus denen Pflanzen aus dem Boden wachsen. Beispielsweise kann nur Vegetation berücksichtigt werden, die maximal 10 cm über dem Boden wächst. Dies ist hilfreich, da somit der Einfluss des Windes reduziert wird.
Eine weitere Erhöhung der Genauigkeit der Bestimmung der Pflanzenreihe kann erreicht werden, indem die geometrische Information verwendet wird, dass die Pflanzenreihen eine bestimmte Ausrichtung zueinander haben, um die erkannten Pflanzenreihen zu bestimmen. Es kann beispielsweise bekannt sein, dass die Pflanzenreihen parallel zueinander sind. Mit dieser Information kann vorgeschrieben werden, dass die erkannten Pflanzenreihen ebenfalls parallel sein müssen. Eine andere Möglichkeit, die Information zu verwenden, besteht darin, dass Abweichungen der erkannten Pflanzenreihen von der Parallelität in der Kostenfunktion berücksichtigt werden.
Eine andere Möglichkeit, die Genauigkeit zu erhöhen, besteht darin, dass die RGB-Werte der Vegetation berücksichtigt werden, um die Pflanzenreihen zu bestimmen. Die RGB-Informationen können verwendet werden, um Pflanzen von Unkraut zu unterscheiden und somit die Unkräuter aus der Bestimmung der Pflanzenreihen auszufiltern.
Wenn die erkannten Pflanzenreihen von den realen abweichen, ist es vorteilhaft, wenn eine Eingabevorrichtung vorgesehen ist, um die Anordnung der erkannten Pflanzenreihen zu korrigieren. Somit kann, selbst wenn das Erkennen der Pflanzenreihen fehlerhaft ist, sichergestellt werden, dass die landwirtschaftliche Arbeitsmaschine den richtigen Weg wählt, indem der Fahrer eingreift.
Vorzugsweise erfolgt die Fusionierung der Daten aus dem Kamerasystem und aus dem 3D-Laserscannersystem durch individuelle Berechnung der Wahrscheinlichkeiten der Pflanzenpositionen des Kamerasystems und des 3D-Laserscannersystems und anschließende Kombination der Wahrscheinlichkeiten.
Alternativ dazu kann die Fusionierung der Daten aus dem Kamerasystem und aus dem 3D-Laserscannersystem direkt erfolgen, indem Punktecluster basierend auf dem Kamerasystem und dem 3D-Lasersannersystem kombiniert werden.
Kurze Beschreibung der Zeichnungen
An Hand der beiliegenden Zeichnungen wird die vorliegende Erfindung näher erläutert. Es zeigt:
Fig. 1 ein erfindungsgemäßes Verfahren für den Betrieb einer landwirtschaftlichen Arbeitsmaschine; und Fig. 2 die Pflanzenreihenerkennung des erfindungsgemäßen Verfahrens.
Bester Weg zur Ausführung der Erfindung
Gemäß Fig. 1 wird zunächst im Schritt 1 die Umgebung mit dem Kamerasystem (Bild) und dem Lasersystem (3D Laser-Daten) erfasst.
Danach wird im Schritt 2 das Bild des Kamerasystems mittels Bildbearbeitung bearbeitet. Zunächst wird ein Vegetationsindex bestimmt, ein einzelner Wert, der durch Transformation der Beobachtungen aus mehreren Spektralbändern berechnet wird. Er wird verwendet, um das Vorhandensein von grünen oder roten Vegetationsmerkmalen zu verstärken und so dazu beizutragen, Pflanzen von den anderen im Bild vorhandenen Objekten zu unterscheiden. Dieser Algorithmus basiert auf der Farbverteilung der Pixel, wobei hohe Rot- und Grünanteile Vegetation anzeigen.
Dann wird ein Rauschfilteralgorithmus zum Entfernen oder Reduzieren des Rauschens aus dem Bild angewendet. Die Rauschfilteralgorithmen reduzieren oder entfernen die Sichtbarkeit von Rauschen, indem sie die gesamten Bildbereiche in der Nähe von Kontrastgrenzen glätten. Dem Rauschfilter folgt ein adaptiver Schwellenwertalgorithmus. Schwellenwerte werden verwendet, um ein Bild zu segmentieren, indem alle Pixel, deren Intensitätswerte über einem Schwellenwert liegen, auf einen Vordergrundwert und alle verbleibenden Pixel auf einen Hintergrundwert gesetzt werden. Die adaptive Schwellenwertbildung ändert den Schwellenwert dynamisch über das Bild. Tatsächlich muss für jedes Pixel im Bild ein Schwellenwert berechnet werden. Diese anspruchsvollere Version der Schwellenwertbildung kann wechselnden Lichtverhältnissen Rechnung tragen, die als Ergebnis eines starken Beleuchtungsgradienten oder von Schatten auftreten.
Somit wird sichergestellt, dass das System die Pflanzen korrekt erkennt, selbst wenn eine große Variation von Lichtverhältnissen auf dem Bild vorhanden ist. Das Ergebnis ist in Fig. 1 dargestellt und mit dem Bezugszeichen 3 bezeichnet.
Nun wird den Sensordaten ein Boden zugeordnet. Der Boden in dem in Schritt 4 von Fig. 1 gezeigten Bild besteht aus den schwarzen Flächen. Die Laserdaten werden mit den schwarzen Flächen fusioniert, und so werden den schwarzen Flächen geometrische Informationen zugeordnet, wodurch man eine Ausgleichsebene durch die schwarzen Flächen legen kann.
Danach werden im Schritt 5 die Pflanzenreihen erkannt. Dieser Vorgang ist ausführlich in Fig. 2 erläutert.
Die erkannten Pflanzenreihen werden in einem Schritt 6 auf einem Display dargestellt. Um dem Fahrer visuelles Feedback über die Pflanzenreihenerkennung zur Verfügung zu stellen, können die erkannten Pflanzenreihen mit dem Bild des Kamerasystems überlagert werden. Somit ist der Fahrer über den Zustand der erkannten Pflanzenreihen informiert.
Der Fahrer beantwortet eine Frage "korrekt" mit "ja" oder "nein", wobei "ja" automatisch angenommen wird, wenn der Fahrer nichts eingibt. Ist die Antwort "ja", wird im Schritt 7 auf Grund der erkannten Pflanzenreihen ein Stellsignal für die Lenkungsregelung generiert, sodass die Pflanzenreihen in einem bestimmten Abstand zum Fahrzeug liegen bzw. das Fahrzeug genau in der Mitte oder versetzt zur Mitte zwischen zwei benachbarten Pflanzenreihen fährt. Ist die Antwort "nein", wird die Bildverarbeitung ab Schritt 2 mit anderen Parametern wiederholt, wobei der Fahrer in dem Fall, dass die erkannten Pflanzenreihen nicht mit der Realität übereinstimmen, die Pflanzenreihen manuell korrigieren kann und diese Information für die weitere Auswertung berücksichtigt wird. Insbesondere kann der Vegetationsindex auf Grund der Eingabe neu berechnet werden.
In Fig. 2 sind Teile dieses Verfahrens ausführlicher dargestellt. Wie bereits oben erläutert, werden aus einem Kamerabild 1a mittels des Vegetationsindex, des Rauschfilteralgorithmus und des adaptiven Schwellenwertalgorithmus die Pflanzen selektiert, sodass sich das Bild 3 ergibt.
Ein einfaches Beispiel für den Vegetationsindex-Algorithmus ist wie folgt:
r=R/(R+B+G), g=G/(R+B+G), b=B/(R+B+G)
R…Rotanteil, B…Blauanteil, G…Grünanteil, r, b, g…normierte Rot-, Grün-, und Blauanteile. Man bestimmt also die normierten Rot-, Grün-, und Blauanteile.
Ein einfaches Beispiel für den Rauschfilter-Algorithmus ist ein Mittelwertfilter, das ist ein einfaches Schiebefenster, das den aktuellen Wert durch den Durchschnitt aller Pixelwerte im Fenster (window) ersetzt. Das Fenster oder der Kernel ist in der Regel ein Quadrat, kann aber jede Form haben.
Ein einfaches Beispiel für den adaptiven Schwellenwert-Algorithmus ist der adaptive Gauß'sche Schwellenwert: das ist die gewichtete Summe der benachbarten Werte, wobei die Gewichtung durch ein Gauß‘sches Fenster erfolgt.
Danach wird der Boden ermittelt, sodass sich das Bild 4 ergibt. Die schwarzen Flächen, die den Boden repräsentieren, werden nun im Schritt 4b mit den Laserdaten, die eine 3D-Punktwolke 4a darstellen, fusioniert, sodass eine Gleichung ax + by + cz + d = 0 (bzw. ax + by + cz = -d) für die Bodenebene aufgestellt werden kann.
Basierend auf der Bodenebene kann nun in einem Schritt 4c die Kamerahöhe h und der Winkel α der Kamera berechnet werden.
Basierend aufgrund der Höhe h und des Winkels α der Kamera sowie der Bodenebene kann in einem Schritt 4d die Vegetation, die weiter als einen Schwellenwert vom Boden entfernt ist, vernachlässigt werden. Somit erhält man nur den bodennahen Teil der Vegetation, und wie man auf Grund des Vergleichs des oberen Bildes 4d' (vollständige Vegetation) und des unteren Bildes 4d'' sieht, werden die Punktwolken der einzelnen Reihen deutlich schmäler. Die Anwendung des Schwellenwertes hat auch den weiteren Vorteil, dass die Blätter nicht beispielsweise aufgrund von Wind die Erkennung der Pflanzenreihen verfälschen können.
Danach werden in einem Schritt 5 Gerade durch die Punktewolken der einzelnen Reihen gelegt, wofür sich (wie im unteren Bild 5' dargestellt) verschiedene Möglichkeiten ergeben.
Aufgrund des a priori-Wissens, dass (in diesem Fall) die Pflanzenreihen in der Realität parallel sind, kann man nur parallele Linien als erkannte Pflanzenreihen akzeptieren und somit die Genauigkeit weiter steigern, wie man aus dem oberen Bild 5'' erkennt. Die Verzerrung durch die Zentralprojektion wird dabei selbstverständlich berücksichtigt, d.h. die erkannten Linien müssen einander im Fluchtpunkt schneiden.
Nachdem man diese Schritte durchgeführt hat, kann man in einem Schritt 5a einen neuen Bereich definieren (basierend auf den erkannten Pflanzenreihen) und die Schritte 2-5 nochmals durchlaufen, sodass sich ein iterativer Prozess ergibt. Hierbei können den erkannten Pflanzen der erkannten Pflanzenreihen RGB-Werte zugeordnet werden. Mit den neuen RGB-Werten kann man die Nutzpflanzen noch besser von eventuell vorhandenem Unkraut trennen.

Claims (8)

  1. Verfahren für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine mit mindestens einem Arbeitsorgan und mit einem Fahrerassistenzsystem zum Erzeugen von Steueraktionen innerhalb der Arbeitsmaschine, wobei eine Sensoranordnung zur Erzeugung von Umfeldinformationen vorgesehen ist, wobei das Fahrerassistenzsystem die Steueraktionen basierend auf den Umfeldinformationen erzeugt, wobei die Sensoranordnung ein kamerabasiertes Sensorsystem und ein laserbasiertes Sensorsystem aufweist, die jeweils Sensorinformationen zu einem vorbestimmten, relevanten Umfeldbereich der Arbeitsmaschine erzeugen, wobei die Sensorinformationen des kamerabasierten Sensorsystems als Ausgangs-Kamerabilder vorliegen, wobei das Fahrerassistenzsystem ein Bildverarbeitungssystem zur Verarbeitung der Ausgangs-Kamerabilder aufweist, wobei die Ausgangs-Kamerabilder von dem Bildverarbeitungssystem verarbeitet werden und wobei ein Sensorfusionsmodul vorgesehen ist, dadurch gekennzeichnet, dass die verarbeiteten Ausgangs-Kamerabilder von dem Sensorfusionsmodul mit den Sensorinformationen des laserbasierten Sensorsystems fusioniert werden und dass das Bildverarbeitungssystem einen Vegetations-Index-Algorithmus gefolgt von einem Rauschfilter gefolgt von einem adaptiven Schwellenwert-Algorithmus verwendet, sodass die Vegetation vom Boden getrennt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Sensorfusionsmodul dem Boden eine Ebene zuordnet.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Schnittpunkte des Bodens mit der Vegetation ermittelt werden und der Teil der Vegetation, dessen Distanz zur Bodenebene einen Grenzwert überschreitet, ignoriert wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die geometrische Information verwendet wird, dass die Pflanzenreihen eine bestimmte Ausrichtung zueinander haben, um die erkannten Pflanzenreihen zu bestimmen.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die RGB-Werte der Vegetation berücksichtigt werden, um die Pflanzenreihen zu bestimmen.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass eine Eingabevorrichtung vorgesehen ist, um die Anordnung der erkannten Pflanzenreihen zu korrigieren.
  7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Fusionierung der Daten aus dem Kamerasystem und aus dem 3D-Laserscannersystem durch individuelle Berechnung der Wahrscheinlichkeiten der Pflanzenpositionen des Kamerasystems und des 3D-Laserscannersystems und anschließende Kombination der Wahrscheinlichkeiten erfolgt.
  8. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Fusionierung der Daten aus dem Kamerasystem und aus dem 3D-Laserscannersystem direkt erfolgt, indem Punktecluster basierend auf dem Kamerasystem und dem 3D-Lasersannersystem kombiniert werden.
PCT/EP2022/079238 2022-10-20 2022-10-20 Verfahren für den betrieb einer selbstfahrenden landwirtschaftlichen arbeitsmaschine WO2024083335A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/EP2022/079238 WO2024083335A1 (de) 2022-10-20 2022-10-20 Verfahren für den betrieb einer selbstfahrenden landwirtschaftlichen arbeitsmaschine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2022/079238 WO2024083335A1 (de) 2022-10-20 2022-10-20 Verfahren für den betrieb einer selbstfahrenden landwirtschaftlichen arbeitsmaschine

Publications (1)

Publication Number Publication Date
WO2024083335A1 true WO2024083335A1 (de) 2024-04-25

Family

ID=84359258

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/079238 WO2024083335A1 (de) 2022-10-20 2022-10-20 Verfahren für den betrieb einer selbstfahrenden landwirtschaftlichen arbeitsmaschine

Country Status (1)

Country Link
WO (1) WO2024083335A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3466240A1 (de) 2017-09-29 2019-04-10 CLAAS E-Systems KGaA mbH & Co KG Verfahren für den betrieb einer selbstfahrenden landwirtschaftlichen arbeitsmaschine
US20200029489A1 (en) * 2018-07-26 2020-01-30 Bear Flag Robotics, Inc. Vehicle Controllers For Agricultural And Industrial Applications

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3466240A1 (de) 2017-09-29 2019-04-10 CLAAS E-Systems KGaA mbH & Co KG Verfahren für den betrieb einer selbstfahrenden landwirtschaftlichen arbeitsmaschine
US20200029489A1 (en) * 2018-07-26 2020-01-30 Bear Flag Robotics, Inc. Vehicle Controllers For Agricultural And Industrial Applications

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHAUDHARY VIDHU: "Adaptive thresholding - Coding Ninjas", 18 August 2022 (2022-08-18), pages 1 - 5, XP093048219, Retrieved from the Internet <URL:https://www.codingninjas.com/codestudio/library/adaptive-thresholding> [retrieved on 20230520] *

Similar Documents

Publication Publication Date Title
EP3299996B1 (de) Landwirtschaftliche arbeitsmaschinen mit bildverarbeitungssystem
EP1529428B1 (de) Verfahren und Lenksystem zum selbstständigen Lenken einer landwirtschaftlichen Maschine
DE10314071B3 (de) Verfahren zur qualitativen Beurteilung eines Materials mit mindestens einem Erkennungsmerkmal
DE102016118227A1 (de) Bildanlysesystem für landwirtschaftliche Arbeitsmaschinen
DE102019211642A1 (de) Verfahren zum Identifizieren von Beikräutern innerhalb einer definierten Pflanzenreihe einer landwirtschaftlichen Fläche
EP3291172A1 (de) Verfahren zur ermittlung von ergebnisbilddaten
DE102019213779A1 (de) Verfahren zum Ausbringen eines Spritzmittels auf eine landwirtschaftliche Fläche
DE69813931T2 (de) Filterverfahren zur Fokussierung von Bildern
WO2023094111A1 (de) Verfahren zum identifizieren von beikräutern in einer pflanzenreihe einer landwirtschaftlichen fläche
WO2023110207A1 (de) Verfahren zum identifizieren von beikräutern in einer pflanzenreihe einer landwirtschaftlichen fläche
WO2024083335A1 (de) Verfahren für den betrieb einer selbstfahrenden landwirtschaftlichen arbeitsmaschine
AT521779B1 (de) Verfahren und Bodenbearbeitungsgerät zum Striegeln
EP4064819B1 (de) Verfahren zum bearbeiten von pflanzen auf einem feld, zum generieren von trainingsdaten und zum trainieren eines neuronalen netzes
AT16504U2 (de) Verfahren und Bodenbearbeitungsgerät zum Striegeln
DE102019201977A1 (de) Verfahren zum Ermitteln eines Zustandes einer Feldfrucht-Bepflanzung und landwirtschaftliches Fahrzeug
DE102020215415A1 (de) Verfahren und Vorrichtung zum Detektieren einer Störpflanzenabbildung in einem Kamerarohbild und Bildverarbeitungseinrichtung
EP0651264B1 (de) Verfahren zur automatischen Detektion von festen oder beweglichen Objekten in natürlicher Umgebung einer Echtzeitbildfolge
EP4064818B1 (de) Verfahren zum bearbeiten von pflanzen auf einem feld
DE102019201983A1 (de) Verfahren zum Ermitteln eines Zustandes einer Feldfrucht-Bepflanzung und landwirtschaftliches Fahrzeug
DE102022120618A1 (de) Schwaderfassungsvorrichtung
DE102022115549A1 (de) Verfahren zur optimierten Konfiguration eines Kamerasystems zur Reihenerkennung in einem Feldbestand
DE102005041241A1 (de) Verfahren und System zum Betreiben eines Kamerasystems eines Fahrzeugs
DE102021200400A1 (de) Verfahren zur Erfassung von Pflanzen oder Pflanzenbestandteilen, Computerprogrammprodukt, Erfassungseinrichtung und landwirtschaftliches Fahrzeug
WO2023066562A1 (de) Verfahren zum identifizieren von beikräutern in einer pflanzenreihe einer landwirtschaftlichen fläche
DE102022212171A1 (de) Verfahren zum Klassifizieren von Pflanzen in und/oder zwischen Pflanzenreihen einer landwirtschaftlichen Fläche