WO2022253652A1

WO2022253652A1 - Flurförderzeug mit einer optischen überwachungseinrichtung

Info

Publication number: WO2022253652A1
Application number: PCT/EP2022/064124
Authority: WO
Inventors: Jérôme ROLINK; Hannes Bistry; Ralf Wetegrove; Florian Grabbe; Stefan Ahrens
Original assignee: Jungheinrich Aktiengesellschaft
Priority date: 2021-05-31
Filing date: 2022-05-24
Publication date: 2022-12-08
Also published as: EP4348175A1; DE102021114067A1

Abstract

Flurförderzeug mit einer optischen Überwachungseinrichtung, die mindestens einen Projektor und mindestens eine Kamera aufweist, wobei der Projektor ein Muster, bestehend aus einer Vielzahl von Musterelementen aussendet, dessen Abbild auf einem Gegenstand von der Kamera erfasst und ausgewertet wird, dadurch gekennzeichnet, dass das projizierte Muster derart orientiert ist, dass mehr Musterelemente mit horizontalen und vertikalen Kanten zusammentreffen als bei einer horizontalen oder vertikalen Orientierung des projizierten Musters.

Description

Flurförderzeug mit einer optischen Überwachungseinrichtung

Die vorliegende Erfindung betrifft ein Flurförderzeug mit einer optischen Überwachungseinrichtung. Flurförderzeuge mit optischen

Überwachungseinrichtungen können sowohl bei autonom fahrenden Fahrzeugen als auch bei manuell geführten Fahrzeugen eingesetzt werden. Die optische Überwachungseinrichtung kann eine Vielzahl von unterschiedlichen Aufgaben erfüllen, so beispielsweise die Positionierung des Fahrzeugs relativ zu einer Last oder zu einem Regal unterstützen oder ein Hindernis oder dergleichen erkennen. Für die optische Überwachungseinrichtung ist es wichtig, dass dreidimensionale Daten in zuverlässiger Form gewonnen werden können.

Zur Ermittlung von 3D-Daten mit nur einer Kamera kann ein bekanntes Muster auf das Zielobjekt projiziert werden. Das Muster kann aus Linien, Kreisen, Punkten oder sonstigen Musterelementen bestehen. Das Licht mit solchen Mustern wird auch als codiertes Licht bezeichnet. Durch die Höhenunterschiede auf dem Ziel objekt wird das projizierte Muster insbesondere an Kanten verformt. Anhand dieser Verzerrung kann auf Höhenunterschiede zurückgerechnet werden, wenn die Musterelemente dem Ursprungsmuster zugeordnet werden können. Bei Linien nutzt man beispielsweise ein barcode-ähnliches Prinzip, um die Eineindeutigkeit der projizierten Linie zu gewährleisten. Linien erlauben beispielsweise eine gute Kantenerkennung an dem Ziel objekt, da die Linien an den Kanten ihre Orientierung ändern. Bei der Verwendung von Punkten als Musterelemente können beispielsweise über Korrelationen zu benachbarten Punkten diese im Raum identifiziert werden. Je höher die Dichte der Informationen in dem projizierten Bild ist, desto genauer kann das Objekt in seiner Dreidimensionalität aufgelöst werden, wobei natürlich die Dichte der Informationen durch die optische Auflösung begrenzt ist. Wird eine zweite Kamera an einem bekannten Ort hinzugefügt, ergeben sich zwei weitere Vorteile. Einerseits kann die zweite Kamera aus einem anderen Blickwinkel verdeckte Linien erfassen, welche die erste Kamera nicht auswerten kann. Zum anderen können durch die stereoskopische Sicht auf das Objekt zusätzliche Informationen über dessen Dreidimensionalität gewonnen werden.

Der Erfindung liegt die Aufgabe zugrunde, ein Flurförderzeug mit einer optischen Überwachungseinrichtung bereitzustellen, das in einer Lagerumgebung mit einfachen Mitteln zuverlässig Objekte und Gegenstände erkennt.

Erfmdungsgemäß wird die Aufgabe durch ein Flurförderzeug mit den Merkmalen aus Anspruch 1 gelöst. Vorteilhafte Ausgestaltungen bilden die Gegenstände der Unteransprüche.

Das erfindungsgemäße Flurförderzeug ist mit einer Überwachungseinrichtung ausgestattet, die mindestens einen Projektor und mindestens eine Kamera aufweist. Der Projektor sendet ein Muster, bestehend aus einer Vielzahl von Musterelementen aus. Das Abbild des Musters auf einem Gegenstand wird von der mindestens einen Kamera erfasst und ausgewertet. Bevorzugt ist das Muster mit seinen Musterelementen derart orientiert, dass möglichst viele Musterelemente mit horizontalen und vertikalen Kanten Zusammentreffen. Das Zusammentreffen eines der Musterelemente mit einer horizontalen oder vertikalen Kante ergibt eine deutliche Veränderung in dem projizierten Musterelement, die gut von der Kamera ausgewertet werden kann. Die erfindungsgemäße Lösung zur Ausrichtung der optischen Überwachungseinrichtung beruht auf der Erkenntnis, dass Flurförderzeuge in ihrer Umgebung in der Regel mit vertikalen und horizontalen Kanten konfrontiert sind. Insofern ist es möglich, eine Orientierung für das projizierte Muster zu wählen, bei der viele Musterelemente mit horizontalen und vertikalen Kanten Zusammentreffen. Erfmdungsgemäß ist vorgesehen, dass mehr Musterelemente mit horizontalen und vertikalen Kanten Zusammentreffen als in einer regulären Orientierung, also einer horizontalen oder vertikalen Orientierung. Es wird also angestrebt, dass ein zumindest lokales Maximum für das Zusammentreffen der Musterelemente mit den Kanten erzielt werden kann, wenn keine reguläre Orientierung vorliegt. Die Erfindung beruht auf der Erkenntnis, dass in einer Lagerumgebung überwiegend vertikale und horizontale Kanten vorgesehen sind. Von daher ist es möglich, allgemein eine solche, von der regulären Orientierung abweichende Orientierung zu finden, bei der möglichst viele Musterelemente auf vertikale oder horizontale Kanten stoßen.

In einer bevorzugten Ausgestaltung weist die optische Überwachungseinrichtung zwei Kameras auf, die auf einen gemeinsamen Bildbereich gerichtet sind, in den das Muster projiziert wird. Die zwei Kameras erlauben einen stereoskopischen Blick auf den Gegenstand und auf das projizierte Muster auf dem Gegenstand.

In einer bevorzugten Ausgestaltung sind die beiden Kameras derart gegeneinander geneigt, dass Epipolarlinien geneigt zu vertikalen und/oder horizontalen Kanten in dem Bild verlaufen. Die Epipolarlinie ist die Linie, die in einer Bildebene zwischen dem Epipolarpol und dem entsprechenden Bildpunkt verläuft. Die Punkte auf einer Epipolarlinie entsprechen einer Reihe von Objektpunkten, die auf der entsprechenden anderen Bildebene nicht aufgelöst werden können, sondern auf einem Strahl liegen, der auf das Kamerazentrum der anderen Kamera verweist. Indem darauf geachtet wird, dass die Epipolarlinien geneigt zu vertikalen und/oder horizontalen Kanten in dem Bild verlaufen, wird sichergestellt, dass die Kante auch von beiden Kameras aufgenommen werden kann. Je nach Ausgestaltung können Epipolarlinien parallel angeordnet sein. Grundsätzlich funktioniert Stereoskopie auch ohne eine parallele Anordnung der Epipolarlinien, allerdings ist dann der betrachtete Bildbereich kleiner. In einer Umgebung, in der Flurförderzeuge eingesetzt werden, hat es sich als besonders vorteilhaft herausgestellt, für das Muster Linien als Musterelemente zu verwenden, die parallel zueinander verlaufen. Die Linien sind schräg in einem Winkel gegenüber der Horizontalen angeordnet und schneiden so sowohl jede horizontale als auch vertikale Linie.

Alternativ hat sich auch als vorteilhaft herausgestellt, als Musterelemente Pixelpunkte zu verwenden. Die Pixelpunkte sind untereinander codiert und die relative Positionsveränderung der Pixelpunkte zueinander kann erfasst werden.

Die vorstehende Erfindung wird nachfolgend an einem Ausführungsbeispiel näher erläutert. Es zeigen:

Figur 1 ein Flurförderzeug in der Ansicht von oben mit zwei Kameras und einem Projektor am Rücken des Gabelträgers,

Figur 2 ein Flurförderzeug in der Ansicht von oben mit zwei Kameras und einem Projektor benachbart zueinander an einer Seite des Gabelrückens angeordnet,

Figur 3 ein Flurförderzeug in der Ansicht von oben mit zwei Kameras und einem Projektor in den Gabelspitzen,

Figur 4 eine schematische Ansicht zur Verwendung von codiertem Licht mit zwei Kameras,

Figur 5 eine Prinzipansicht zur Detektion eines Streifens mit Hilfe einer Kamera, Figur 6 die Projektion auf einen Palettenträger mit Streifen und

Figur 7 die Rekonstruktion der Epipolarlinien bei eine Stereosicht.

Figur 1 zeigt ein Flurförderzeug 10 in einer schematischen Ansicht von oben. Das Flurförderzeug besitzt zwei Radarme 12, 14, zwischen denen ein Gabelträger 16 angeordnet ist. Der Gabelträger 16 besitzt eine Lastgabel 18, 20 sowie einen Gabelrücken 22. In dem dargestellten Ausführungsbeispiel wird der Gabelträger 16 zwischen den Radarmen in der Höhe verfahren. Die Kraft zum Heben und Senken des Gabelträgers 16 greift hierbei an der Gabelrückwand 22 an. Auf der Oberseite der Gabelrückwand 22 ist jeweils außenliegend eine Kamera 24, 26 angeordnet. Jede der Kameras 24, 26 besitzt ein Blickfeld 28 oder 30, das in der dargestellten Situation auf einen Gegenstand 32 gerichtet ist. Ein Projektor 36 mit seinem Projektionsfeld 38 ist mittig zwischen den Kameras 24, 26 angeordnet.

Figur 2 zeigt eine leicht abgewandelte Anordnung für Projektor und Kamera. Die Kameras 26‘, 24 ‘ sind an einer Seite des Gabelrückens 22 angeordnet. In dem dargestellten Ausführungsbeispiel ist der Projektor 36‘ zwischen den Kameras 24‘und 26‘ angeordnet. Der Projektor 36‘ kann auch an einem beliebigen anderen Punkt in der Gabelrückwand 22 angeordnet sein. Durch die benachbarte Anordnung der Kameras 24 ‘ und 26‘ ist der Blickwinkel beider Kameras auf den Gegenstand 32 ähnlich groß. Andererseits erlaubt die seitliche Anordnung beider Kameras einen Blick auf den Gegenstand 32, der nicht so schnell durch eine aufgenommene Last verdeckt werden kann. Insbesondere bei einem mittig angeordneten Projektor 36 besteht die Gefahr, dass eine zentral aufgenommene hohe Last diesen verdeckt.

Figur 3 zeigt eine Anordnung der Kameras 24“ und 26“ in der Lastarm spitze. Hierdurch wird verhindert, dass eine aufgenommene Last die Sicht der Kameras behindert. Zudem besteht der Vorteil, dass die Kameras 24“ und 26“ näher an das zu erfassende Objekt 32 herankommen. In dem dargestellten Ausführungsbeispiel ist der Projektor 36“ für das codierte Licht zusammen mit der Kamera an einem Gabelträger angebracht. Selbst verständlich kann der Projektor auch an einem anderen Ort angebracht werden, wenn beispielsweise nicht genügend Platz in einer Radarmspitze für Kamera und Projektor sein sollte.

Figur 4 zeigt eine schematische Ansicht zur Messung mit codiertem Licht. Der Projektor 36 projiziert ein Muster 38, das aus parallel verlaufenden Linien 40 besteht. Die Linien 40 aus dem Muster 38 treffen auch auf einen quaderförmigen Gegenstand 42. Die projizierten Linien 40 ändern ihren Verlauf auf dem quaderförmigen Gegenstand 42. Die beiden Kameras 24 und 26 nehmen ein Bild des projizierten Musters auf. Bei der in Figur 4 dargestellten Anordnung der Kameras unterscheiden sich die Bilder insofern, als dass der Gegenstand 42 von den Kameras abgewandte Seiten besitzt und zudem auch ein Teil des Untergrundes verdecken kann.

Figur 5 zeigt einen einzelnen Laser 44, der einen Streifen 46 auf einen Untergrund 48 projiziert. Ein Bild 50 wird von einer Kamera aufgezeichnet. Deutlich zu erkennen ist, dass der projizierte Streifen im Bild einen Absatz besitzt, der Informationen über den beschaffenen Untergrund 48 trägt. Das Licht des Lasers 44 wird als Lichtquelle über ein entsprechendes optisches Element zu einem Streifen verwendet. In dem dargestellten Beispiel ist der projizierende Laser 44 und das Bild der Kamera 50 in einem Gehäuse dargestellt. Dies ist eine mögliche Ausgestaltung, aber keineswegs erforderlich. Grundsätzlich können Projektor und Kamera unabhängig voneinander an dem Flurförderzeug montiert sein.

Figur 6 zeigt wie ein geneigtes Muster 38 auf einen Palettenträger 54 projiziert wird. Deutlich zu erkennen ist, dass der Palettenträger 54 überwiegend aus vertikalen und horizontalen Kanten besteht. Mit dem geneigten Muster 38 verläuft keine der in dem Muster enthaltenen Linien 40 entlang oder parallel zu einer vertikalen oder horizontalen Kante. Stets liegt ein Schnittpunkt zwischen projizierter Linie und Kante vor, der optisch ausgewertet, räumliche Informationen über den Palettenträger enthält.

Figur 7 zeigt ebenfalls einen Palettenträger 54, diesmal allerdings, die sich bei einer stereometrischen Sicht auf den Palettenträger ergebenden Epipolarlinien. Bei einer geneigten Anordnung der Kameras, relativ zu dem Palettenträger 54, verlaufen auch die Epipolarlinien 56 schräg geneigt.

Bezugszeichenliste

10 Flurförderzeug

12 Radarm

14 Radarm

16 Gabel träger

18 Lastgabel

20 Lastgabel

22 Gabelrückwand

24 Kamera

24 ‘ Kamera

24“ Kamera

26 Kamera

26 ‘ Kamera

26“ Kamera

28 Blickfeld

30 Blickfeld

32 Gegenstand

36 Projektor

36‘ Projektor

36“ Projektor

38 Muster

40 Linien

42 Quaderförmiger Gegenstand

44 Laser

46 Streifen

48 Untergrund

50 Bild

54 Palettenträger

56 Epipolarlinien

Claims

Ansprüche

1. Flurförderzeug (10) mit einer optischen Überwachungseinrichtung, die mindestens einen Projektor (36, 36', 36") und mindestens eine Kamera (24, 26) aufweist, wobei der Projektor (36) ein Muster (38), bestehend aus einer Vielzahl von Musterelementen aussendet, dessen Abbild auf einem Gegenstand (32) von der Kamera (24) erfasst und ausgewertet wird, dadurch gekennzeichnet, dass das projizierte Muster (38) derart orientiert ist, dass mehr Musterelemente mit horizontalen und vertikalen Kanten Zusammentreffen als bei einer horizontalen oder vertikalen Orientierung des projizierten Musters.

2. Flurförderzeug (10) nach Anspruch 1, dadurch gekennzeichnet, dass die Überwachungseinrichtung zwei Kameras (24, 26) aufweist, die auf einen gemeinsamen Bildbereich gerichtet sind, in den das Muster (38) projiziert wird.

3. Flurförderzeug (10) nach Anspruch 2, dadurch gekennzeichnet, dass die beiden Kameras (24) derart gegeneinander geneigt sind, dass die Epipolarlinien (56) geneigt zu vertikalen und/oder horizontalen Kanten in dem Bild (50) verlaufen.

4. Flurförderzeug (10) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Vielzahl von Musterelementen Linien (40) enthält, die unter einem schrägen Winkel verlaufen.

5. Flurförderzeug (10) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Muster (38) als Musterelemente Pixelpunkte enthält.