WO2013068521A1 - Vorrichtung und verfahren zum mechanischen ausdünnen von blüten - Google Patents

Vorrichtung und verfahren zum mechanischen ausdünnen von blüten Download PDF

Info

Publication number
WO2013068521A1
WO2013068521A1 PCT/EP2012/072231 EP2012072231W WO2013068521A1 WO 2013068521 A1 WO2013068521 A1 WO 2013068521A1 EP 2012072231 W EP2012072231 W EP 2012072231W WO 2013068521 A1 WO2013068521 A1 WO 2013068521A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
density
masked
model
mechanical actuator
Prior art date
Application number
PCT/EP2012/072231
Other languages
English (en)
French (fr)
Inventor
Adrian Schischmanow
Martin Scheele
Original Assignee
Deutsches Zentrum für Luft- und Raumfahrt e.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsches Zentrum für Luft- und Raumfahrt e.V. filed Critical Deutsches Zentrum für Luft- und Raumfahrt e.V.
Publication of WO2013068521A1 publication Critical patent/WO2013068521A1/de

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G17/00—Cultivation of hops, vines, fruit trees, or like trees
    • A01G17/005—Cultivation methods

Definitions

  • the invention relates to a device and a method for the mechanical thinning of flowers, in particular of fruit trees.
  • the frame is driven by a drive device in a substantially uniformly oscillating movement, so that in addition to the rotational movement of the rotatable body, a substantially uniform reciprocating movement is transverse to the axis of rotation of the body executable.
  • Similar devices are known for example from DE 196 04 758 A1, DE 295 19 718 111 and DE 41 03 915 A1.
  • a disadvantage of the known devices that the drive speed of the actuator is set manually, so that the result of the thinning is significantly dependent on the experience and skill of the operator.
  • WO 2010/102840 A1 discloses a method for determining a disparity or stereo image of at least two stereoscopically recorded images.
  • the invention is based on the technical problem of providing a device and a method for the mechanical thinning of flowers, by means of which an actuator is automatically controlled improved.
  • the device for mechanical thinning of flowers comprises a mechanical actuator, at least one optical detector and an evaluation unit, wherein the evaluation unit comprises at least one receptacle of the optical detector determines a bloom density, wherein the mechanical actuator in
  • the actuator is preferably an actuator as described in DE 197 13 452 A1.
  • the optical detector is preferably a camera.
  • the camera is preferably a digital camera, which can be designed both as a panchromatic or spectrally selective color camera. However, it has been proven that frequently
  • the device comprises a
  • Position determining device wherein by means of the optical detectors or at least two images are recorded to produce a stereo image.
  • the use of disparity and stereo images can significantly increase the accuracy in determining the density of flowers.
  • Position determining device can, for example, all six outer
  • the position-determining device comprises, for example, a receiver of a GNSS system, for example a DGPS receiver, and an inertial measurement unit for determining the three translatory degrees of freedom.
  • the pitch angle of the optical detectors can be determined.
  • even only the translational degrees of freedom are determined, wherein the rotational changes are partly set to zero or determined from the changes in the translational position.
  • the optical detectors can be designed as a stereo camera pair, which have different viewing directions and preferably two at the same time
  • the cameras may be designed as color cameras or as panchromatic cameras, wherein both matrix and line scan cameras can be used. Furthermore, it is also possible to use a panchromatic camera and a camera with a spectral filter or two panchromatic and additionally a third Use camera with spectral filter. Finally, it is also conceivable to use only a single camera, wherein two temporally successively recorded
  • a stereo image is generated, which is possible for example by determining the optical flow.
  • the image content can be significantly reduced. It is exploited that the usually white flowers are very broadband, whereas the green leaves are narrow band in the green wavelength range. However, the filter should not be too narrow band, otherwise the assignment to the panchromatic image to produce the
  • a stereo image pair is preferably first rectified. Prerequisite for this is the knowledge of the relative outer orientation of the stereo camera system to each other at the time of recording.
  • the relative outer orientation of the stereo camera system is preferably in advance in
  • homologous points are determined from the rectified stereo image, from which a disparity image is then generated, for which purpose, for example, a method as described in WO 2010/102840 A1 is used.
  • the disparity or stereo image becomes an SD model, i. a depth map, calculated.
  • the 3D model coordinates are present in the metric camera coordinate system. The calculation of the parameters for
  • Actuator control is preferably carried out based on the 3D model coordinates.
  • the 3D model coordinates are converted into 3D coordinates of a higher-order world coordinate system.
  • this requires knowledge of all six degrees of outer orientation during image acquisition, i. There must be three rotations with inertial sensors and three
  • Position determination device does not determine all six degrees of freedom, the SD models are converted into 2D coordinates of a parent world coordinate system. This requires knowledge of at least four degrees of freedom (three translations and one rotation) of the outer orientation. For example, the three translations are determined using DGPS. From this, the direction of travel of the device or the tractor carrying it can be determined and from this the rotation about the Z-axis in
  • World coordinate system are calculated. As a priori information is then still required the camera tilt or determined the camera tilt by a tilt sensor.
  • areas are marked in the 3D model, which lie outside a predetermined distance range and / or belong to the horizon and / or the floor area, more preferably all three mentioned
  • Masking takes place. This allows the image content to be reduced to a tree row currently being edited.
  • the maximum distance to the camera is determined for each line in the 3D model.
  • the bottom is partially within the specified distance threshold range. Therefore, it is determined how homogeneous (ground) or heterogeneous (tree) are the individual lines of the depth map.
  • a heteroganity threshold When falling below a heteroganity threshold, the lower image area is masked to the current line.
  • Pixel gray values (coded spacing) of the depth map of each line generated.
  • the climbs in the Profile will be determined. Beginning at the bottom of the screen (line 0), a check is made as to whether a defined rise threshold is exceeded. At the first time
  • an image segmentation is carried out in a gray value image and / or in a color image by means of at least one feature extraction method.
  • Image segmentation is used to find pixels that represent flowers or parts of flowers.
  • One possible method is the evaluation of a gray value histogram. From the histogram of a gray value image, the gray value is determined, the foot or Knickrang. Turning point on the right side of the maximum value of the gray value distribution represents. For this purpose, a histogram is generated and smoothed from a gray scale image of the stereo image pair. The histogram is divided into segments and for each
  • Segment ascents determined. For example, the segment whose slope value is closest to a specified target value (e.g., next) is then determined
  • An alternative feature extraction method is a grayscale gradient method.
  • edges are determined in a gray value image with which flower areas can be delimited from their surroundings.
  • an edge image is generated from a gray value image of the stereo image pair, for example by means of a roberts filter.
  • a threshold is determined, below which pixels in the edge image are masked, ie the pixels are set to 0.
  • the equivalent pixels in the gray scale image are also masked, ie set to 0.
  • a histogram is generated and the Maximum value of the frequency and the standard deviation determined, whereby in the case of a classification both values enter into the classification.
  • a texture analysis is performed on a halftone image of the stereo image pair.
  • texture descriptors e.g. Homogeneity, energy, contrast, entropy and others derived.
  • the values are included in any subsequent classification.
  • alternative methods of texture analysis such as texture energy measures, run-length matrices or Markov random fields are used.
  • the methods for texture analysis can also be used cumulatively.
  • color values are determined as characteristics from an RGB image or alternatively from different spectra.
  • Grayscale images are converted into a gray scale image using a color camera.
  • a feature extraction method is sufficient.
  • several such methods are used, the most diverse
  • Combinations of the described feature extraction methods can be used. In this case, these are classified by a classification
  • a weighted average gray value is formed from the result of the histogram and edge analysis and is calculated over n
  • the goal is to reduce the segmented gray value image to the tree row currently to be treated by the actuator.
  • all pixels of the gray value image are masked (the value 0), whose equivalent pixels of the masked depth map also have the value 0.
  • segmented image preferably the masked segmented gray value image, fused. All pixels of the segmented, masked image receive their own uniform value in the merged image. All pixels of the masked depth map that are not already occupied by the segmented image also receive their own uniform value in the merged image.
  • a tree separation takes place in the merged image, for which a flower density determination is carried out.
  • segmented pixels (pixel value not equal to 0) in the equivalent section of the segmented Image calculated and put into proportion. This indicates an absolute flower density.
  • the pixel count (nonzero pixel value) may be calculated and the average formed.
  • the number of pixels is also calculated for each column and the average is formed, in which case the two mean values are compared. This represents an integral bloom density over the tree.
  • the average distance to the camera can be calculated.
  • a plane is laid through the depth map.
  • the plane describes a vertical tree shape and parallelism between tree row and camera / model coordinate system.
  • the parallelism between tree row and camera can be determined by calculating the angle of the camera trajectory and the tree row in the world coordinate system.
  • a spatial data fusion can be performed.
  • the journey trees are preferably taken several times by the camera system. Spatially, they are represented by the coordinates of the dividing lines generated during the separation. The model coordinates of these dividing lines are transferred to a world coordinate system (2D coordinates). This establishes the spatial relationship between the data recorded at different times. At a specified length, a straight line is laid through the 2D coordinates of the dividing lines. The order of the dividing lines on the line, i. their spatial relationship is determined. The dividing lines are
  • the device is assigned at least one illumination source and / or one optical shielding device.
  • the illumination source the device can also be used in the dark, wherein the shielding shields direct sunlight in the receiving area of the camera.
  • Fig. 1 is a schematic block diagram of a device for mechanical
  • FIG. 2 is a schematic flow diagram of a method for thinning out.
  • the device 1 for mechanical thinning of flowers comprises two cameras 2, which form a stereo camera pair, a position determining device 3, a
  • Evaluation unit 4 a control device 5, an actuator 6 and an optical image
  • Shielding device 7 The device 1 is preferably mounted on a tractor 8 and determines control variables to automatically drive the actuator 6 for thinning of flowers. Furthermore, the device 1 can also generate control variables for the tractor 8 itself in order to drive it automatically or to provide steering aids.
  • a first step S1 two images B1, B2 are taken by the cameras 2 and combined with position data X, Y, Z, oc, ⁇ , y of the position determination device 3.
  • the position determination device is, for example, a DGPS receiver with an inertial measurement unit.
  • a 3D model is created by means of the two images B1, B2.
  • non-relevant areas such as horizon, foreground, background and ground are masked.
  • image segmentation is carried out by means of feature extraction methods in a picture B1 or B2 or a gray scale image determined therefrom in a step S4 and also masked in a step S5 by means of the masked 3D model.
  • Step S6 a fusion of the masked 3D model with the masked segmented gray value image takes place.
  • Step S7 a bloom density and possibly other variables such as mean tree distance, etc. are determined and finally determined in a step S8 control variables for controlling the actuator 6 for thinning and additionally optionally control variables for the tractor 8 itself.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Botany (AREA)
  • Environmental Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung (1) zum mechanischen Ausdünnen von Blüten, insbesondere von Obstbäumen, umfassend einen mechanischen Aktor (6), wobei die Vorrichtung (1) mindestens einen optischen Detektor und eine Auswerteeinheit (4) umfasst, wobei die Auswerteeinheit (4) aus mindestens einer Aufnahme (B1, B2) des optischen Detektors eine Blütendichte ermittelt, wobei der mechanische Aktor (6) in Abhängigkeit der ermittelten Blütendichte angesteuert wird, wobei ein Verfahren zum mechanischen Ausdünnen von Blüten.

Description

Vorrichtung und Verfahren zum mechanischen Ausdünnen von Blüten
Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum mechanischen Ausdünnen von Blüten, insbesondere von Obstbäumen.
Aus der DE 197 13 452 A1 ist eine Vorrichtung zum Ausdünnen von Obstbäumen oder anderen mit Ästen und Zweigen versehenen Fruchtgehölzen durch Verringern der Anzahl von Blüten und/oder Fruchtansätzen bekannt, mit einem langgestreckten, um die
Längsachse drehbaren Körper und einer Vielzahl peitschenartigen Zinken aus einem flexiblen Material, die im Wesentlichen radial von dem langgestreckten Körper abstehen, wobei der drehbare Körper in einem Rahmen gehalten ist. Dabei ist der Rahmen über eine Antriebseinrichtung in einer im Wesentlichen gleichmäßig oszillierenden Bewegung angetrieben, so dass neben der Rotationsbewegung des drehbaren Körpers eine im Wesentlichen gleichmäßige Hin- und Herbewegung quer zur Drehachse des Körpers ausführbar ist. Ähnliche Vorrichtungen sind beispielsweise aus der DE 196 04 758 A1 , der DE 295 19 718 111 und der DE 41 03 915 A1 bekannt. Nachteilig an den bekannten Vorrichtungen ist, dass die Antriebsgeschwindigkeit des Aktors manuell eingestellt wird, so dass das Ergebnis des Ausdünnens maßgeblich von der Erfahrung und dem Geschick der Bedienperson abhängig ist.
Aus der WO 2010/102840 A1 ist ein Verfahren zur Bestimmung eines Disparitäts- bzw. Stereobildes von mindestens zwei stereoskopisch aufgenommenen Bildern bekannt.
Der Erfindung liegt das technische Problem zugrunde, eine Vorrichtung und ein Verfahren zum mechanischen Ausdünnen von Blüten zu schaffen, mittels derer automatisch ein Aktor verbessert angesteuert wird.
Die Lösung des technischen Problems ergibt sich durch die Gegenstände mit den
Merkmalen der Ansprüche 1 und 10. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Hierzu umfasst die Vorrichtung zum mechanischen Ausdünnen von Blüten, insbesondere von Obstbäumen, einen mechanischen Aktor, mindestens einen optischen Detektor und eine Auswerteeinheit, wobei die Auswerteeinheit aus mindestens einer Aufnahme des optischen Detektors eine Blütendichte ermittelt, wobei der mechanische Aktor in
Abhängigkeit der ermittelten Blütendichte angesteuert wird. Dies erlaubt eine
vollautomatische Bestimmung der Blütendichte und der daraus erfolgenden Ansteuerung des Aktors, so dass reproduzierbare Ausdünnergebnisse erzielbar sind. Der Aktor ist dabei vorzugsweise ein Aktor wie in der DE 197 13 452 A1 beschrieben. Der optische Detektor ist dabei vorzugsweise eine Kamera. Die Kamera ist dabei vorzugsweise eine digitale Kamera, die sowohl als panchromatische oder als spektralselektive Farb-Kamera ausgebildet sein kann. Allerdings hat es sich erwiesen, dass häufig die
Umgebungsbedingungen derart sind, dass eine zuverlässige Bestimmung der
Blütendichte aus einer Aufnahme sehr schwierig ist.
In einer bevorzugten Ausführungsform umfasst die Vorrichtung daher eine
Positionsbestimmungseinrichtung, wobei mittels des oder der optischen Detektoren mindestens zwei Aufnahmen zur Erzeugung eines Stereobildes aufgenommen werden. Durch die Verwendung von Disparitäts- bzw. Stereobildern lässt sich die Genauigkeit bei der Bestimmung der Blütendichte signifikant erhöhen. Die
Positionsbestimmungseinrichtung kann dabei beispielsweise alle sechs äußeren
Freiheitsgrade der Vorrichtung bestimmen (drei translatorische und drei rotatorische Freiheitsgrade). Hierzu umfasst die Positionsbestimmungseinrichtung beispielsweise einen Empfänger eines GNSS-Systems, beispielsweise einen DGPS-Empfänger, sowie eine Inertial Measurement Unit zur Bestimmung der drei translatorischen Freiheitsgrade.
Alternativ kann anstelle der Inertial Measurement Unit auch einfach der Nickwinkel der optischen Detektoren bestimmt werden. In einer besonders einfachen Ausführungsform werden sogar nur die translatorischen Freiheitsgrade bestimmt, wobei die rotatorischen Änderungen teils als Null gesetzt werden bzw. aus den Änderungen der translatorischen Position bestimmt werden.
Die optischen Detektoren können dabei als Stereo kamerapaar ausgebildet sein, die unterschiedliche Blickrichtungen aufweisen und vorzugsweise gleichzeitig zwei
Aufnahmen der gleichen Szene aus unterschiedlichen Blickrichtungen aufnehmen. Dabei können die Kameras als Farbkameras oder als panchromatische Kameras ausgebildet sein, wobei sowohl Matrix- als auch Zeilenkameras zur Anwendung kommen können. Weiterhin ist auch möglich, eine panchromatische Kamera und eine Kamera mit einem spektralen Filter zu verwenden oder zwei panchromatische und zusätzlich eine dritte Kamera mit Spektralfilter einzusetzen. Schließlich ist auch denkbar, nur eine einzige Kamera zu verwenden, wobei aus zwei zeitlich nacheinander aufgenommenen
Aufnahmen ein Stereobild erzeugt wird, was beispielsweise durch Ermittlung des optischen Flusses möglich ist. Durch die Verwendung der spektralen Filter lässt sich der Bildinhalt bereits erheblich reduzieren. Dabei wird ausgenutzt, dass die üblicherweise weißen Blüten sehr breitbandig sind, wohingegen die grünen Blätter schmalbandig im grünen Wellenlängenbereich liegen. Der Filter sollte jedoch nicht zu schmalbandig sein, da ansonsten die Zuordnung zu dem panchromatischen Bild zur Erzeugung des
Stereobildes erschwert sein kann. Bei Verwendung von Bandpassfiltern sollten diese daher eine Halbwertsbreite zwischen 30 - 100 nm aufweisen.
Zur Erzeugung eines Stereobildes bzw. Disparitätsbildes wird vorzugsweise zunächst ein Stereobildpaar rektifiziert. Voraussetzung dafür ist die Kenntnis der relativen äußeren Orientierung des Stereokamerasystems zueinander zum Aufnahmezeitpunkt. Die relative äußere Orientierung des Stereokamerasystems wird dabei vorzugsweise vorab im
Rahmen einer geometrischen Kalibrierung des Stereokamerasystems bestimmt.
Anschließend werden aus dem rektifizierten Stereobild homologe Punkte ermittelt, aus denen dann ein Disparitätsbild erzeugt wird, wozu beispielsweise ein Verfahren, wie in der WO 2010/102840 A1 beschrieben, zur Anwendung kommt.
In einer weiteren Ausführungsform wird aus dem Disparitäts- bzw. Stereobild ein SD- Modell, d.h. eine Tiefenkarte, berechnet. Dabei liegen die 3D-Modellkoordinaten im metrischen Kamerakoordinatensystem vor. Die Berechnung der Kenngrößen zur
Aktorsteuerung erfolgt dabei vorzugsweise auf Basis der 3D-Modellkoordinaten.
Um die Daten unterschiedlicher Aufnahmezeitpunkte und Kamerastandorte für die Aktorsteuerung oder die automatische Steuerung der Vorrichtung nutzbar zu machen, müssen diese in ein übergeordnetes Objekt- bzw. Weltkoordinatensystem, z.B. UTM, überführt und anschließend räumlich fusioniert werden.
In einer bevorzugten Ausführungsform werden die 3D-Modellkoordinaten in 3D- Koordinaten eines übergeordneten Weltkoordinatensystems überführt. Dies erfordert jedoch die Kenntnis aller sechs Freiheitsgrade der äußeren Orientierung während der Bildaufnahme, d.h. es müssen drei Rotationen mit Trägheitssensoren und drei
Translationen beispielsweise mit DGPS gemessen werden. In einer alternativen Ausführungsform, wo beispielsweise die
Positionsbestimmungseinrichtung nicht alle sechs Freiheitsgrade ermittelt, werden die SD- Modelle in 2D-Koordinaten eines übergeordneten Weltkoordinatensystems überführt. Dies erfordert die Kenntnis von mindestens vier Freiheitsgraden (drei Translationen und eine Rotation) der äußeren Orientierung. Hierzu werden beispielsweise die drei Translationen mittels DGPS ermittelt. Daraus kann die Fahrtrichtung der Vorrichtung bzw. des diese tragenden Traktors bestimmt werden und daraus die Rotation um die Z-Achse im
Weltkoordinatensystem berechnet werden. Als a priori Information wird dazu dann noch die Kameraneigung benötigt oder aber die Kameraneigung durch einen Neigungssensor ermittelt.
In einer weiteren Ausführungsform werden in dem 3D-Modell Bereiche markiert, die außerhalb eines vorgegebenen Abstandsbereichs liegen und/oder zum Horizont und/oder zum Bodenbereich gehören, wobei weiter vorzugsweise alle drei genannten
Maskierungen stattfinden. Hierdurch kann der Bildinhalt auf eine aktuell zu bearbeitende Baumreihe reduziert werden.
Zum Ausblenden des Horizonts wird für jede Zeile in dem 3D-Modell der maximale Abstandswert zur Kamera ermittelt. Bei Überschreiten eines festgelegten
Abstandsschwellwertes wird die gesamte Zeile maskiert, d.h. alle Pixel der Zeile erhalten den Wert 0. Hierdurch werden zwar einzelne Pixel, die eigentlich nicht zum Horizont gehören, mitmaskiert, jedoch hat sich dieser Fehler als vernachlässigbar erwiesen, wobei andererseits die Bildverarbeitung erheblich reduziert wird.
Durch die Maskierung von Pixeln, die au ßerhalb eines vorgegebenen Abstandsbereichs liegen, wird der Vorder- und der Hintergrund ausgeblendet. Alle Pixel, die au ßerhalb des festgelegten Abstandsschwellbereichs liegen, erhalten den Wert 0.
Aufgrund der üblicherweise schrägen Kamerablickrichtung befindet sich der Boden teilweise innerhalb des festgelegten Abstandsschwellbereiches. Daher wird ermittelt, wie homogen (Boden) bzw. heterogen (Baum) die einzelnen Zeilen der Tiefenkarte sind. Bei Unterschreiten einer Heteroganitätsschwelle wird der untere Bildbereich bis zur aktuellen Zeile maskiert. Dazu wird vorzugsweise ein Vertikalprofil durch Summation von
Pixelgrauwerten (kodierter Abstand) der Tiefenkarte jeder Zeile erzeugt. Die Anstiege im Profil werden bestimmt. Vom unteren Bildbereich (Zeile 0) beginnend wird überprüft, ob ein festgelegter Anstiegsschwellenwert überschritten wird. Beim erstmaligen
Überschreiten des Anstiegsschwellenwertes werden alle Zeilen von Zeile 0 bis zur aktuellen Zeile maskiert, d.h. alle Pixel der Zeile erhalten den Wert 0. Alternativ kann zum Auffinden des Bodenbereiches eine Ebene bestimmt werden, wobei alle Pixel, die einen bestimmten Abstandsschwellenbereich zur Ebene unterschreiten, maskiert werden (erhalten den Wert 0).
In einer weiteren Ausführungsform wird in einem Grauwertbild und/oder in einem Farbbild eine Bildsegmentierung mittels mindestens eines Merkmalsextraktionsverfahrens durchgeführt. Die Bildsegmentierung dient dem Auffinden von Pixeln, die Blüten bzw. Teile von Blüten abbilden.
Ein mögliches Verfahren ist die Auswertung eines Grauwerthistogramms. Aus dem Histrogramm eines Grauwertbildes wird der Grauwert bestimmt, der den Fuß- bzw. Knickbzw. Wendepunkt an der rechten Seite des Maximalwertes der Grauwertverteilung darstellt. Dazu wird aus einem Grauwertbild des Stereobildpaares ein Histrogramm erzeugt und geglättet. Das Histrogramm wird in Segmente unterteilt und für jedes
Segment Anstiege ermittelt. Es wird dann beispielsweise das Segment ermittelt, dessen Anstiegswert einem festgelegten Zielwert (z.B. am nächsten ist. Von diesem
Segment werden die Intervallgrenzen gemittelt, was dann den gesuchten Grauwert ergibt.
Weiterhin können vom linken und rechten Nachbarsegment die Anstiege berechnet und die Differenz gebildet werden. Werden die Ergebnisse mehrerer Verfahren einer
Klassifikation unterzogen, so gehen Grauwert und Differenz in die Klassifikation ein.
Ein alternatives Merkmalsextraktionsverfahren ist ein Grauwertgradientenverfahren. Dabei werden in einem Grauwertbild Kanten bestimmt, mit denen Blütenbereiche von ihrer Umgebung abgrenzbar sind. Hierzu wird beispielsweise aus einem Grauwertbild des Stereobildpaares ein Kantenbild erzeugt, beispielsweise mittels eines Robertsfilters.
Anhand des Mittelwertes und der Standardabweichung wird eine Schwelle bestimmt, bei deren Unterschreitung Pixel im Kantenbild maskiert werden, d.h. die Pixel auf 0 gesetzt werden. Die äquivalenten Pixel im Grauwertbild werden ebenfalls maskiert, d.h. auf 0 gesetzt. Aus dem maskierten Grauwertbild wird ein Histogramm erzeugt und der Maximalwert der Häufigkeit und die Standardabweichung bestimmt, wobei im Falle einer Klassifizierung beide Werte in die Klassifikation eingehen.
In einem weiteren alternativen Merkmalsextraktionsverfahren wird an einem Grauwertbild des Stereobildpaares eine Texturanalyse durchgeführt. In einer bevorzugten
Ausführungsform werden co-occurence bzw. Grauwerte-Matrizen berechnet. Daraus werden Texturdeskriptoren (Merkmale), z.B. Homogenität, Energie, Kontrast, Entropie u.a., abgeleitet. Die Werte gehen in eine gegebenenfalls nachfolgende Klassifikation ein. In einer alternativen Ausführungsform werden alternative Methoden der Texturanalyse wie beispielsweise Texturenergiemaße, Lauflängenmatrizen oder Markov-Zufallsfelder verwendet. Die Verfahren zur Texturanalyse können dabei selbstverständlich auch kumulativ zur Anwendung kommen.
In einem weiteren alternativen Merkmalsextraktionsverfahren werden aus einem RGB-Bild oder alternativ aus verschiedenen Spektren Farbwerte als Merkmale bestimmt.
Beispielsweise werden pixelbezogene statistische Werte (Mittelwert,
Standardabweichung) für jeden Kanal sowie Verhältnisse der Kombinationen R/G, R/B, G/B bzw. der jeweils verwendeten Spektren bestimmt.
Dabei sei angemerkt, dass das letzte Verfahren nur bei Verwendung von Farbkameras bzw. Schwarz-Weiß- Kameras mit spektralen Filtern Anwendung finden kann. Umgekehrt muss zur Anwendung der Merkmalsextraktionsverfahren unter Verwendung von
Grauwertbildern bei Verwendung einer Farbkamera das Farbbild in ein Grauwertbild umgewandelt werden.
Prinzipiell ist ein Merkmalsextraktionsverfahren ausreichend. Vorzugsweise kommen jedoch mehrere solcher Verfahren zur Anwendung, wobei die verschiedensten
Kombinationen der beschriebenen Merkmalsextraktionsverfahren zur Anwendung kommen können. In diesem Fall werden diese durch eine Klassifikation
zusammengeführt, beispielsweise mittels eines Bayes-Klassifikators, wobei durch die Klassifikation für jedes Pixel ermittelt wird, ob es eine Blüte oder Bestandteil einer Blüte ist. Auf dieser Basis wird das Grauwertbild maskiert, d.h. Pixel, deren Werte unterhalb eines Schwellbereichs liegen, erhalten den Wert 0. Vorzugsweise wird dazu das System angelernt. In einer alternativen Ausführungsform wird aus dem Ergebnis der Histrogramm- und Kantenanalyse ein gewichteter mittlerer Grauwert gebildet und über n
Aufnahmezeitpunkte gefiltert (beispielsweise mittels eines Medianfilters). Auf dieser Basis wird das Grauwertbild maskiert (Pixel, deren Werte unterhalb eines Schwellbereiches liegen, erhalten den Wert 0). Das System muss dabei nicht angelernt werden.
Analog zur Maskierung der Tiefenkarte ist das Ziel, das segmentierte Grauwertbild auf die aktuell vom Aktor zu behandelnde Baumreihe zu reduzieren. Dazu werden alle Pixel des Grauwertbildes maskiert (erhalten den Wert 0), deren äquivalente Pixel der maskierten Tiefenkarte ebenfalls den Wert 0 haben.
In einer weiteren Ausführungsform werden das maskierte 3D-Modell und das
segmentierte Bild, vorzugsweise das maskierte segmentierte Grauwertbild, fusioniert. Alle Pixel des segmentierten, maskierten Bildes erhalten in dem fusionierten Bild einen eigenen einheitlichen Wert. Alle Pixel der maskierten Tiefenkarte, die nicht bereits durch das segmentierte Bild belegt sind, erhalten in dem fusionierten Bild ebenfalls einen eigenen einheitlichen Wert.
In einer weiteren Ausführungsform erfolgt in dem fusionierten Bild eine Baumseparierung, für den eine Blütendichten-Ermittlung erfolgt. Zur Generierung baumbezogener
Blütendichten werden einerseits einzelne Bäume separiert. Allerdings ist die Separierung einzelner Bäume in einer Baumhecke anhand des 3D-Modells allein schwierig. Deshalb wird zusätzlich das segmentierte Bild verwendet. Aus der Kombination des 3D-Modells und der Segmentierung können geschlossene Baumhecken in Bereiche ähnlicher Blütendichten gegliedert werden. Die Trennung einzelner Bäume und gleichzeitig die Trennung von Baumbereichen mit wechselnden Blütendichten erfolgt anhand des fusionierten Bildes. Dazu wird ein Horizontalprofil durch spaltenweise Summierung der Pixelanzahl, deren Wert ungleich 0 ist, erstellt und lokale Minima berechnet. Die lokalen Minima markieren Trennlinien zwischen einerseits Bäumen und andererseits markieren diese signifikante Änderungen der Blütendichte innerhalb einer Baumhecke.
Dabei kann für jeden separierten Baumbereich die Anzahl der Pixel (Pixelwert ungleich 0) innerhalb des entsprechenden Abschnitts der Tiefenkarte und die Anzahl der
segmentierten Pixel (Pixelwert ungleich 0) im äquivalenten Abschnitt des segmentierten Bildes berechnet und ins Verhältnis gesetzt werden. Dies gibt eine absolute Blütendichte an.
Zusätzlich oder alternativ kann für jeden separierten Baumbereich für jede Spalte innerhalb des entsprechenden Abschnitts der Tiefenkarte die Pixelanzahl (Pixelwert ungleich 0) berechnet und der Mittelwert gebildet werden. Im äquivalenten Abschnitt des segmentierten Bildes wird ebenfalls für jede Spalte die Pixelanzahl berechnet und der Mittelwert gebildet, wobei dann die beiden Mittelwerte ins Verhältnis gesetzt werden. Dies stellt eine integrale Blütendichte über den Baum dar.
Weiter kann für jeden separierten Baumbereich innerhalb des entsprechenden Abschnitts der Tiefenkarte der mittlere Abstand zur Kamera berechnet werden.
In einer weiteren Ausführungsform wird eine Ebene durch die Tiefenkarte gelegt. Die Ebene beschreibt eine vertikale Baumform und Parallelität zwischen Baumreihe und Kamera-/Modellkoordinatensystem.
In einer alternativen Ausführungsform kann die Parallelität zwischen Baumreihe und Kamera durch Berechnung des Winkels der Kameratrajektorie und der Baumreihe im Weltkoordinatensystem bestimmt werden.
Weiter kann eine räumliche Datenfusion durchgeführt werden.
Während der Fahrt werden Bäume vorzugsweise mehrmals vom Kamerasystem aufgenommen. Räumlich werden sie durch die Koordinaten der Trennlinien repräsentiert, die während der Separierung generiert wurden. Die Modellkoordinaten dieser Trennlinien werden in ein Weltkoordinatensystem (2D-Koordinaten) überführt. Damit wird der räumliche Zusammenhang zwischen den Daten, die zu unterschiedlichen Zeitpunkten aufgenommen wurden, hergestellt. Auf einer festgelegten Länge wird eine Gerade durch die 2D-Koordinaten der Trennlinien gelegt. Die Reihenfolge der Trennlinien auf der Geraden, d.h. ihre räumliche Beziehung, wird bestimmt. Die Trennlinien sind
gleichzusetzen mit Baumgrenzen oder Grenzen verschiedener Blütendichten. Durch die Mehrfachabtastung wird ein Geradenabschnitt mehrfach durch Trennlinien belegt. Auf den Geradenabschnitten wird eine Mitteilung der Steuergrößen, die für einen Baum mehrfach berechnet wurden, durchgeführt. Dies stellt eine räumliche Datenfusion dar. In einer weiteren Ausführungsform ist der Vorrichtung mindestens eine Beleuchtungsquelle und/oder eine optische Abschirmeinrichtung zugeordnet. Mittels der Beleuchtungsquelle kann dabei die Vorrichtung auch bei Dunkelheit eingesetzt werden, wobei die Abschirmeinrichtung direkte Sonneneinstrahlung im Aufnahmebereich der Kamera abschirmt.
Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels näher erläutert. Die Fig. zeigen:
Fig. 1 ein schematisches Blockschaltbild einer Vorrichtung zum mechanischen
Ausdünnen von Blüten und
Fig. 2 ein schematisches Flussdiagramm eines Verfahrens zum Ausdünnen von
Blüten.
Die Vorrichtung 1 zum mechanischen Ausdünnen von Blüten umfasst zwei Kameras 2, die ein Stereokamerapaar bilden, eine Positionsbestimmungseinrichtung 3, eine
Auswerteeinheit 4, eine Steuereinrichtung 5, einen Aktor 6 sowie eine optische
Abschirmeinrichtung 7. Die Vorrichtung 1 ist vorzugsweise auf einem Traktor 8 montiert und ermittelt Steuergrößen, um den Aktor 6 automatisch zum Ausdünnen von Blüten anzusteuern. Weiter kann die Vorrichtung 1 auch Steuergrößen für den Traktor 8 selbst erzeugen, um diesen selbsttätig anzutreiben oder Lenkhilfen zur Verfügung zu stellen.
In einem ersten Schritt S1 werden zwei Bilder B1 , B2 durch die Kameras 2 aufgenommen und mit Positionsdaten X, Y, Z, oc, ß, y der Positionsbestimmungseinrichtung 3 verknüpft. Die Positionsbestimmungseinrichtung ist beispielsweise ein DGPS-Empfänger mit einer Inertial Measurement Unit. In einem weiteren Schritt S2 wird mittels der beiden Bilder B1 , B2 ein 3D-Modell erstellt. In einem nachfolgenden Schritt S3 werden nicht relevante Bereiche wie beispielsweise Horizont, Vordergrund, Hintergrund und Boden maskiert. Parallel wird in einem Bild B1 oder B2 oder einem daraus ermittelten Grauwertbild in einem Schritt S4 eine Bildsegmentierung mittels Merkmalsextraktionsverfahren durchgeführt und in einem Schritt S5 mittels des maskierten 3D-Modells ebenfalls maskiert. Anschließend erfolgt in einem weiteren Schritt S6 eine Fusion des maskierten 3D-Modells mit dem maskierten segmentierten Grauwertbild. In einem nachfolgenden Schritt S7 werden eine Blütendichte und gegebenenfalls weitere Größen wie mittlerer Baumabstand etc. bestimmt und schließlich in einem Schritt S8 Steuergrößen zur Ansteuerung des Aktors 6 zum Ausdünnen und zusätzlich gegebenenfalls Steuergrößen für den Traktor 8 selbst ermittelt.

Claims

Patentansprüche
1 . Vorrichtung (1 ) zum mechanischen Ausdünnen von Blüten, insbesondere von
Obstbäumen, umfassend einen mechanischen Aktor (6),
dadurch gekennzeichnet, dass
die Vorrichtung (1 ) mindestens einen optischen Detektor und eine Auswerteeinheit (4) umfasst, wobei die Auswerteeinheit (4) aus mindestens einer Aufnahme (B1 , B2) des optischen Detektors eine Blütendichte ermittelt, wobei der mechanische Aktor (6) in Abhängigkeit der ermittelten Blütendichte angesteuert wird.
2. Vorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass die Vorrichtung (1 ) eine Positionsbestimmungseinrichtung (3) umfasst, wobei mittels des oder der optischen Detektoren mindestens zwei Aufnahmen (B1 , B2) zur Erzeugung eines Stereobildes aufgenommen werden.
3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass aus dem Stereobild ein 3D-Modell berechnet wird.
4. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass die SD- Modellkoordinaten in 2D- oder 3D-Weltkoordinaten umgerechnet werden.
5. Vorrichtung nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass in dem SD- Modell Bereiche maskiert werden, die au ßerhalb eines vorgegebenen
Abstandsbereiches liegen und/oder zum Horizont und/oder zum Bodenbereich gehören.
6. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch
gekennzeichnet, dass in einem Grauwertbild und/oder in einem Farbbild eine Bildsegmentierung mittels mindestens eines Merkmalsextraktionsverfahrens durchgeführt wird.
7. Vorrichtung nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass das maskierte 3D-Modell und das segmentierte Bild fusioniert werden.
8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass in dem fusionierten Bild eine Baumseparierung erfolgt, für den eine Blütendichten-Ermittlung erfolgt.
9. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch
gekennzeichnet, dass der Vorrichtung (1 ) mindestens eine Beleuchtungsquelle und/oder eine optische Abschirmeinrichtung (7) zugeordnet ist.
10. Verfahren zum mechanischen Ausdünnen von Blüten, insbesondere von
Obstbäumen, mittels mindestens einem mechanischen Aktor (6),
dadurch gekennzeichnet, dass
mittels mindestens einem optischen Detektor mindestens eine Aufnahme (B1 , B2) erfolgt, wobei eine Auswerteeinheit (4) aus der mindestens einen Aufnahme (B1 , B2) eine Blütendichte ermittelt, wobei der mechanische Aktor (6) in Abhängigkeit der ermittelten Blütendichte angesteuert wird.
PCT/EP2012/072231 2011-11-10 2012-11-09 Vorrichtung und verfahren zum mechanischen ausdünnen von blüten WO2013068521A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011086091.6A DE102011086091B4 (de) 2011-11-10 2011-11-10 Vorrichtung und Verfahren zum mechanischen Ausdünnen von Blüten
DE102011086091.6 2011-11-10

Publications (1)

Publication Number Publication Date
WO2013068521A1 true WO2013068521A1 (de) 2013-05-16

Family

ID=47221342

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/072231 WO2013068521A1 (de) 2011-11-10 2012-11-09 Vorrichtung und verfahren zum mechanischen ausdünnen von blüten

Country Status (2)

Country Link
DE (1) DE102011086091B4 (de)
WO (1) WO2013068521A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104495823A (zh) * 2014-12-16 2015-04-08 中国科学院重庆绿色智能技术研究院 一种单层连续石墨烯薄膜卷材的制备方法及装置
CN109673304A (zh) * 2019-02-25 2019-04-26 河西学院 基于计算机双目视觉的电磁式苹果树智能疏花疏果器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014209405A1 (de) 2014-05-19 2015-12-03 Deutsches Zentrum für Luft- und Raumfahrt e.V. Vorrichtung und Verfahren zur automatisierten Erfassung von Bäumen
CN113099870B (zh) * 2021-04-28 2022-06-14 华南农业大学 自适应疏花机及疏花方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4519193A (en) * 1982-08-11 1985-05-28 Kubota, Ltd. Fruit harvesting apparatus with television camera and monitor
US4873644A (en) * 1987-09-16 1989-10-10 Kubota, Ltd. Guide system for a working machine having a product identifying system
DE4103915A1 (de) 1991-02-08 1992-08-13 Hermann Gessler Verfahren und vorrichtung zum ausduennen von obstbaeumen
DE29519718U1 (de) 1995-12-12 1997-04-10 Gessler, Hermann, 88048 Friedrichshafen Vorrichtung zum Ausdünnen von Obstbäumen
DE19604758A1 (de) 1996-02-09 1997-10-16 Hermann Gessler Vorrichtung zum Ausdünnen von Obstbäumen oder anderen mit Ästen und Zweigen versehenen Fruchtgehölzen
DE19713452A1 (de) 1997-04-01 1998-10-08 Hermann Gessler Vorrichtung zum Ausdünnen von Obstbäumen
WO2007088225A1 (es) * 2006-01-31 2007-08-09 Universidad Politécnica de Madrid Sistema de visión artificial para recolectar pequeños frutos cultivados en hileras
WO2010102840A1 (de) 2009-03-12 2010-09-16 Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR) Verfahren und vorrichtung zur reduktion des speicherbedarfs bei der bestimmung von disparitätswerten für mindestens zwei stereoskopisch aufgenommene bilder

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMI981694A1 (it) * 1998-07-22 2000-01-22 Bacchini Sandro Apparecchiatura di potatura automatizzata di piante arboree in parti colare viti e simili

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4519193A (en) * 1982-08-11 1985-05-28 Kubota, Ltd. Fruit harvesting apparatus with television camera and monitor
US4873644A (en) * 1987-09-16 1989-10-10 Kubota, Ltd. Guide system for a working machine having a product identifying system
DE4103915A1 (de) 1991-02-08 1992-08-13 Hermann Gessler Verfahren und vorrichtung zum ausduennen von obstbaeumen
DE29519718U1 (de) 1995-12-12 1997-04-10 Gessler, Hermann, 88048 Friedrichshafen Vorrichtung zum Ausdünnen von Obstbäumen
DE19604758A1 (de) 1996-02-09 1997-10-16 Hermann Gessler Vorrichtung zum Ausdünnen von Obstbäumen oder anderen mit Ästen und Zweigen versehenen Fruchtgehölzen
DE19713452A1 (de) 1997-04-01 1998-10-08 Hermann Gessler Vorrichtung zum Ausdünnen von Obstbäumen
WO2007088225A1 (es) * 2006-01-31 2007-08-09 Universidad Politécnica de Madrid Sistema de visión artificial para recolectar pequeños frutos cultivados en hileras
WO2010102840A1 (de) 2009-03-12 2010-09-16 Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR) Verfahren und vorrichtung zur reduktion des speicherbedarfs bei der bestimmung von disparitätswerten für mindestens zwei stereoskopisch aufgenommene bilder

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104495823A (zh) * 2014-12-16 2015-04-08 中国科学院重庆绿色智能技术研究院 一种单层连续石墨烯薄膜卷材的制备方法及装置
CN109673304A (zh) * 2019-02-25 2019-04-26 河西学院 基于计算机双目视觉的电磁式苹果树智能疏花疏果器

Also Published As

Publication number Publication date
DE102011086091A1 (de) 2013-05-16
DE102011086091B4 (de) 2016-12-08

Similar Documents

Publication Publication Date Title
EP3299996B1 (de) Landwirtschaftliche arbeitsmaschinen mit bildverarbeitungssystem
DE102009023896B4 (de) Vorrichtung und Verfahren zum Erfassen einer Pflanze
DE102011106050B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
EP3299995A1 (de) Bildanalysesystem für landwirtschaftliche arbeitsmaschinen
DE102013112171B4 (de) Außenumgebungserkennungsvorrichtung
DE69107267T2 (de) Verfahren und vorrichtung zur modifizierung einer zone sukzessiver bilder.
DE102011106052B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns
DE102013212495A1 (de) Verfahren und Vorrichtung zur Inspektion einer konturierten Fläche,insbesondere des Unterbodens eines Kraftfahrzeugs
EP3467432A1 (de) Verfahren zum betreiben einer vorrichtung zum erfassen der dreidimensionalen geometrie von objekten
DE102019211642A1 (de) Verfahren zum Identifizieren von Beikräutern innerhalb einer definierten Pflanzenreihe einer landwirtschaftlichen Fläche
DE112013004103T5 (de) Verfahren und Vorrichtung zum Erzeugen einer Disparitätskarte
DE102011086091B4 (de) Vorrichtung und Verfahren zum mechanischen Ausdünnen von Blüten
DE102014006717A1 (de) Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens
DE102013005489B4 (de) Verfahren und Vorrichtung zur automatischen Fehlerstellenerkennung bei biegeschlaffen Körpern
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
DE102012200930A1 (de) Vorrichtung und Verfahren zum Erfassen einer Pflanze vor einem Hintergrund
WO2016116291A1 (de) Verfahren und vorrichtung zur ermittlung der wirkung von wirkstoffen an nematoden und anderen organismen in wässrigen tests
WO2014184295A1 (de) Vorrichtung und verfahren zum parametrisieren einer pflanze
DE102019133515B3 (de) Verfahren und Vorrichtung zur Parallaxenbestimmung von Aufnahmen eines Multilinsen-Kamerasystems
EP3688660A1 (de) Verfahren zur erkennung eines blattrandes, verfahren zur gezielten behandlung von pflanzen mit einem blattbehandlungsmittel und verwendung eines eventbasierten bildsensors zur erkennung eines blattrandes
EP3146503B1 (de) Vorrichtung und verfahren zur automatisierten erfassung von bäumen
DE102020127797B4 (de) Sensorverfahren zum optischen Erfassen von Nutzungsobjekten zur Detektion eines Sicherheitsabstandes zwischen Objekten
DE102014112914A1 (de) Verfahren zum Segmentieren eines Bildes, Fahrerassistenzsystem und Kraftfahrzeug
WO2021105006A1 (de) Verfahren zum schätzen eines verlaufs von pflanzenreihen
EP3471056A1 (de) Verfahren zum eingrenzen von zu betrachtenden bildbereichen in bildern

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12790475

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12790475

Country of ref document: EP

Kind code of ref document: A1