WO2024056205A1 - Method for detecting an object using a mobile system - Google Patents

Method for detecting an object using a mobile system Download PDF

Info

Publication number
WO2024056205A1
WO2024056205A1 PCT/EP2023/025369 EP2023025369W WO2024056205A1 WO 2024056205 A1 WO2024056205 A1 WO 2024056205A1 EP 2023025369 W EP2023025369 W EP 2023025369W WO 2024056205 A1 WO2024056205 A1 WO 2024056205A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sensor
mobile system
detected
assigned
Prior art date
Application number
PCT/EP2023/025369
Other languages
German (de)
French (fr)
Inventor
Quamrul Hasan Mallik
Patrick Betz
Maja Sliskovic
Original Assignee
Sew-Eurodrive Gmbh & Co. Kg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sew-Eurodrive Gmbh & Co. Kg filed Critical Sew-Eurodrive Gmbh & Co. Kg
Publication of WO2024056205A1 publication Critical patent/WO2024056205A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the invention relates to a method for detecting an object by a mobile system, in particular in a technical system, wherein the mobile system has at least one first sensor and at least one second sensor.
  • the technical system is in particular an industrial application, for example a production plant, an industrial hall or a logistics center.
  • the mobile system is, for example, an autonomous vehicle.
  • the mobile system is used, for example, to transport objects within the technical system. There are also other objects in the technical system.
  • the mobile system has a sensor, in particular a laser scanner, for detecting such objects and distances to such objects.
  • the mobile system has a first sensor, which is designed as a laser scanner, and a second sensor, which is designed as a monocular camera. By linking the data recorded by the two sensors, objects in the technical system are recognized.
  • Objects can be detected from images recorded by a camera.
  • Image pyramids are usually created and used for object detection.
  • An image pyramid is associated with an object and has multiple scale levels. Each scale level includes an object image of a different size. Each scale level shows the object at a different distance. To find the object in an image, all scaling levels of the pyramid must be processed, each comparing it to the object image at the scaling level. The comparison with the large number of object images is computationally intensive.
  • the invention is based on the object of developing a method for detecting an object using a mobile system.
  • a method for detecting an object by a mobile system in particular in a technical system, is proposed.
  • the mobile system has at least one first sensor, at least one second sensor and at least one image pyramid.
  • the at least one image pyramid is assigned to an object and contains several scaling levels, each of which includes an object image.
  • the first sensor several points of an object are detected, and distances to the detected points are determined, and a resulting distance to the detected points is determined.
  • the second sensor an image containing the object is recorded, and an image of the object is recognized in the recorded image.
  • At least one scaling level is selected from the at least one image pyramid, to which the resulting distance is assigned.
  • the object image of the at least one selected scaling level is compared with the image recognized in the captured image. If the object image matches the image, the object in the image is detected.
  • An object to which an image pyramid is assigned is, for example, a pallet, a forklift or a grid box.
  • the first sensor is designed as a laser scanner.
  • a laser scanner sends out a laser beam, detects a reflected laser beam and uses this to calculate a distance to a point on an object that reflects the laser beam.
  • Laser scanners are already present in well-known mobile systems, so there are no additional costs for installing the first sensor.
  • the second sensor is designed as a monocular camera.
  • a monocular camera is relatively inexpensive, robust and reliable.
  • the resulting distance to the detected points is determined as the arithmetic mean of the determined distances to the detected points.
  • the resulting distance therefore corresponds to a distance from the first sensor to a point in the middle of the object.
  • the resulting distance to the detected points is determined as the smallest of the determined distances to the detected points.
  • the resulting distance therefore corresponds to a distance between the first sensor and a side of the object facing the mobile system.
  • the scaling levels of the at least one image pyramid are discrete and each include an object image at exactly one resulting distance. According to an advantageous development of the invention, a range of resulting distances is assigned to each scaling level of the at least one image pyramid. This means that resulting distances that lie between two discrete scaling levels can also be processed.
  • the ranges of resulting distances which are assigned to adjacent scaling levels overlap. This allows minor errors and distortions to be compensated for when the image is captured.
  • the ranges of resulting distances which are assigned to adjacent scaling levels are separated from one another. This means that each resulting distance is assigned to exactly one scaling level. This further reduces the computing intensity for comparing the image with object images.
  • the mobile system has several image pyramids, each of which is assigned to an object. A hypothetical object is suggested from the detected points of the object and the distances to the detected points, and the image pyramid that is assigned to the hypothetical object is selected. At least one scaling level is selected from the selected image pyramid, to which the resulting distance is assigned.
  • Objects to which an image pyramid is assigned are, for example, a pallet, a forklift or a grid box. It is therefore possible to detect different types of objects. By suggesting the hypothetical object, a pre-selection is made. A comparison with all image pyramids is therefore not necessary. This reduces the computational intensity of comparing the image with object images.
  • the mobile system is designed as an autonomously driving vehicle which has a drive device, an electrical energy storage device for supplying the drive device and a control unit for controlling the drive device.
  • the drive device includes, for example, an electric motor, a gearbox and drive wheels.
  • the mobile system is in particular a driverless transport system for transporting objects within the technical system.
  • the mobile system has a position sensor for detecting a position of the mobile system, particularly within the technical system.
  • the sensor in question is, for example, a GPS receiver or a SLAM system. Recording the mobile system's own position, especially in the technical system, makes it possible to create a local map, which forms the basis for the autonomous driving of the mobile system.
  • a local map is created which has at least one detected object.
  • the local map forms the basis for the autonomous driving of the mobile system.
  • Figure 1 a schematic side view of a mobile system and an object in a technical system
  • Figure 2 a schematic top view of the mobile system and the object in the technical system
  • Figure 3 a picture with an image of the object
  • Figure 5 an overlay of the image with the recorded points.
  • Figure 1 shows a schematic side view of a mobile system 10 and an object 11 in a technical system.
  • the object 11 in this case is a pallet.
  • the technical system has additional objects 11 not shown here, for example additional pallets, forklifts and mesh boxes.
  • the technical system also has other mobile systems 10, not shown here, which are designed in the same way.
  • the mobile system 10 is designed as an autonomously driving vehicle and has a drive device, an electrical energy storage device for supplying the drive device and a control unit for controlling the drive device.
  • the mobile system 10 also has a position sensor for detecting a position of the mobile system 10 within the technical system.
  • the mobile system 10 also includes a communication device for wireless communication over a network.
  • the mobile system 10 in the present case has two first sensors 1, which are designed as laser scanners. Each of the first sensors 1 is used to detect objects 11 and to detect distances to detected objects 11. The first sensor 1 detects several points P of the object 11 and determines the distances to the detected points P.
  • the mobile system 10 has a second sensor 2, which is designed as a monocular camera. The second sensor 2 is used to record images on which objects 11 in particular are depicted.
  • the mobile system 10 is located on a level floor in the technical facility.
  • the first sensors 1, designed as laser scanners, are arranged on the mobile system 10 in such a way that the scanning planes of the first sensors 1 are aligned parallel to the floor.
  • the second sensor 2, designed as a monocular camera, is arranged on the mobile system 10 in such a way that the optical axis of the second sensor 2 is aligned parallel to the ground.
  • FIG 2 shows a schematic top view of the mobile system 10 and the object 11 in the technical system shown in Figure 1.
  • the mobile system 10 has an approximately rectangular cross section.
  • the first sensors 1, designed as laser scanners, are arranged at opposite corners of the mobile system 10.
  • the second sensor 2, designed as a monocular camera, is arranged on a front side of the mobile system 10.
  • the geometric arrangement of the first sensors 1 relative to the second sensor 2 on the mobile system 10 can be detected by calibration and is therefore known.
  • the geometric arrangement in question is constant and is therefore not changed dynamically.
  • a transformation of detected points P and distances to the detected points P into a recorded image can clearly be carried out.
  • the mobile system 10 also has several image pyramids. Each image pyramid is assigned to an object. Such objects are, for example, a pallet, a forklift or a wire mesh box. Each image pyramid contains multiple scaling levels. Each scaling level includes an object image. The object images of the scaling levels have different sizes. Each scaling level therefore shows the object at a different distance.
  • An image is recorded using the second sensor 2, where the captured image contains the object 11.
  • An image A of the object 11 is recognized in the captured image.
  • Figure 3 shows an image with the image A of the object 11 shown in Figure 1.
  • the object 11 is, as already mentioned, a pallet.
  • the image A corresponds to a perspective representation of the object 11.
  • FIG. 4 shows the detected points P of the object 11 shown in FIG. 1. From the distances of the mobile system 10 to the detected points P, a resulting distance of the mobile system 10 to the detected points P is determined.
  • the resulting distance to the detected points P is determined, for example, as the arithmetic mean of the determined distances to the detected points P. Alternatively, the resulting distance to the detected points P is determined as the smallest of the determined distances to the detected points P.
  • a hypothetical object is proposed from the detected points P of the object 11 and the distances of the mobile system 10 to the detected points P. Based on the position and orientation of the points P, a pallet is proposed as a hypothetical object.
  • the image pyramid that is assigned to the hypothetical object is now selected.
  • a scaling level is then selected from the selected image pyramid, to which the previously determined resulting distance is assigned.
  • the object image of the selected scaling level is then compared with the image A recognized in the captured image. If the object image matches image A, the object, in this case the pallet, is detected in the image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

The invention relates to a method for detecting an object using a mobile system (10), in particular in a technical system, wherein the mobile system (10) comprises at least one first sensor (1), at least one second sensor (2) and at least one image pyramid which is associated with an object and contains multiple scaling levels, each comprising an object image; wherein, by means of the first sensor (1), multiple points (P) of an object (11) are detected, and distances from the detected points (P) are determined, and a resulting distance from the detected points (P) is established; by means of the second sensor (2), an image containing the object (11) is captured, and a depiction (A) of the object (11) is identified in the captured image; at least one scaling level associated with the resulting distance is selected from the at least one image pyramid; the object image of the at least one selected scaling level is compared with the depiction (A) identified in the captured image; and the object is detected in the image if there is a match between the object image and the depiction (A).

Description

Verfahren zur Detektion eines Objekts durch ein mobiles System Method for detecting an object by a mobile system
Beschreibung: Description:
Die Erfindung betrifft ein Verfahren zur Detektion eines Objekts durch ein mobiles System, insbesondere in einer technischen Anlage, wobei das mobile System mindestens einen ersten Sensor und mindestens einen zweiten Sensor aufweist. The invention relates to a method for detecting an object by a mobile system, in particular in a technical system, wherein the mobile system has at least one first sensor and at least one second sensor.
Bei der technischen Anlage handelt es sich insbesondere um eine industrielle Anwendung, beispielsweise ein Produktionswerk, eine Industriehalle oder ein Logistikzentrum. Bei dem mobilen System handelt es sich beispielsweise um ein autonom fahrendes Fahrzeug. Das mobile System dient beispielsweise zum Transport von Gegenständen innerhalb der technischen Anlage. In der technischen Anlage befinden sich auch weitere Objekte. Das mobile System weist einen Sensor, insbesondere einen Laserscanner, zur Erfassung solcher Objekte und Entfernungen zu solchen Objekten auf. The technical system is in particular an industrial application, for example a production plant, an industrial hall or a logistics center. The mobile system is, for example, an autonomous vehicle. The mobile system is used, for example, to transport objects within the technical system. There are also other objects in the technical system. The mobile system has a sensor, in particular a laser scanner, for detecting such objects and distances to such objects.
Aus dem Dokument DE 102021 001 282 A1 sind ein mobiles System und ein Verfahren zum Betreiben des mobilen Systems in einer technischen Anlage bekannt. Das mobile System weist einen ersten Sensor, der als Laserscanner ausgebildet ist, und einen zweiten Sensor, der als monokulare Kamera ausgebildet ist, auf. Durch Verknüpfung der von den beiden Sensoren aufgenommenen Daten werden Objekte in der technischen Anlage erkannt. From the document DE 102021 001 282 A1 a mobile system and a method for operating the mobile system in a technical system are known. The mobile system has a first sensor, which is designed as a laser scanner, and a second sensor, which is designed as a monocular camera. By linking the data recorded by the two sensors, objects in the technical system are recognized.
Aus Bildern, die von einer Kamera aufgenommen werden, sind Objekte detektierbar. Für die Objektdetektion werden üblicherweise Bildpyramiden erstellt und verwendet. Eine Bildpyramide ist einem Objekt zugeordnet und weist mehrere Skalierungsstufen auf. Jede Skalierungsstufe umfasst ein Objektbild in einer anderen Größe. Jede Skalierungsstufe zeigt das Objekt in einer anderen Entfernung. Um das Objekt in einem Bild zu finden, müssen alle Skalierungsstufen der Pyramide verarbeitet werden, wobei jeweils ein Vergleich mit dem Objektbild der Skalierungsstufe durchgeführt wird. Der Vergleich mit der Vielzahl von Objektbildern ist rechenintensiv. Objects can be detected from images recorded by a camera. Image pyramids are usually created and used for object detection. An image pyramid is associated with an object and has multiple scale levels. Each scale level includes an object image of a different size. Each scale level shows the object at a different distance. To find the object in an image, all scaling levels of the pyramid must be processed, each comparing it to the object image at the scaling level. The comparison with the large number of object images is computationally intensive.
Aus dem Dokument von X. Zhao, P. Sun, Z. Xu, H. Min and H. Yu, "LIDAR and Camera Data for Object Detection in Autonomous Vehicle Applications" in IEEE Sensors Journal, vol. 20, no. 9, pp. 4901-4913, 1 May, 2020, doi: 10.1109/JSEN.2020.2966034 ist ein Verfahren zur Detektion von Objekten durch Fusion von 3D LDAR und Kameradaten bekannt. Dabei werden 3D LIDAR Daten genutzt um passende Object-Region-Proposals zu erzeugen, welche dann als Regions of Interest (ROI) einem Convolutional Neural Network (CNN) zur Objekterkennung zugeführt werden. From the paper by X. Zhao, P. Sun, Z. Xu, H. Min and H. Yu, "LIDAR and Camera Data for Object Detection in Autonomous Vehicle Applications" in IEEE Sensors Journal, vol. 20, no. 9, pp. 4901-4913, May 1, 2020, doi: 10.1109/JSEN.2020.2966034, a method for detecting objects by fusing 3D LDAR and camera data is known. Become there 3D LIDAR data is used to generate suitable object region proposals, which are then fed as regions of interest (ROI) to a convolutional neural network (CNN) for object recognition.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Detektion eines Objekts durch ein mobiles System weiterzubilden. The invention is based on the object of developing a method for detecting an object using a mobile system.
Die Aufgabe wird durch ein Verfahren zur Detektion eines Objekts durch ein mobiles System mit den in Anspruch 1 angegebenen Merkmalen gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand der Unteransprüche. The task is solved by a method for detecting an object by a mobile system with the features specified in claim 1. Advantageous refinements and further developments are the subject of the subclaims.
Es wird ein Verfahren zur Detektion eines Objekts durch ein mobiles System, insbesondere in einer technischen Anlage, vorgeschlagen. Dabei weist das mobile System mindestens einen ersten Sensor, mindestens einen zweiten Sensor und mindestens eine Bildpyramide auf. Die mindestens eine Bildpyramide ist einem Objekt zugeordnet und enthält mehrere Skalierungsstufen, welche jeweils ein Objektbild umfassen. Mittels des ersten Sensors werden mehrere Punkte eines Gegenstands erfasst, und Entfernungen zu den erfassten Punkten werden ermittelt, und eine resultierende Entfernung zu den erfassten Punkten wird bestimmt. Mittels des zweiten Sensors wird ein Bild, welches den Gegenstand enthält, aufgenommen, und in dem aufgenommenen Bild wird ein Abbild des Gegenstandes erkannt. Aus der mindestens einen Bildpyramide wird mindestens eine Skalierungsstufe ausgewählt, welcher die resultierende Entfernung zugeordnet ist. Das Objektbild der mindestens einen ausgewählten Skalierungsstufe wird mit dem in dem aufgenommenen Bild erkannten Abbild verglichen. Bei Übereinstimmung des Objektbildes mit dem Abbild wird das Objekt in dem Bild detektiert. A method for detecting an object by a mobile system, in particular in a technical system, is proposed. The mobile system has at least one first sensor, at least one second sensor and at least one image pyramid. The at least one image pyramid is assigned to an object and contains several scaling levels, each of which includes an object image. Using the first sensor, several points of an object are detected, and distances to the detected points are determined, and a resulting distance to the detected points is determined. Using the second sensor, an image containing the object is recorded, and an image of the object is recognized in the recorded image. At least one scaling level is selected from the at least one image pyramid, to which the resulting distance is assigned. The object image of the at least one selected scaling level is compared with the image recognized in the captured image. If the object image matches the image, the object in the image is detected.
Ein Objekt, welchem eine Bildpyramide zugeordnet ist, ist beispielsweise eine Palette, ein Gabelstapler oder eine Gitterbox. Um das Objekt in dem aufgenommenen Bild zu detektieren müssen bei Kenntnis der resultierenden Entfernung zu den erfassten Punkten des Gegenstands nicht alle Skalierungsstufen der Pyramide verarbeitet werden. Es ist ausreichend, lediglich das Objektbild einer einzigen Skalierungsstufe, welcher die resultierende Entfernung zugeordnet ist, mit dem in dem aufgenommenen Bild erkannten Abbild zu vergleichen. Gegebenenfalls ist es erforderlich, die Objektbilder einer geringen Anzahl von Skalierungsstufen, welchen die resultierende Entfernung zugeordnet ist, mit dem in dem aufgenommenen Bild erkannten Abbild zu vergleichen. Die Rechenintensität zum Vergleich des Abbilds mit Objektbildern ist dadurch vorteilhaft verringert. Gemäß einer bevorzugten Ausgestaltung der Erfindung ist der erste Sensor als Laserscanner ausgebildet. Ein Laserscanner sendet einen Laserstrahl aus, detektiert einen reflektierten Laserstrahl und berechnet daraus eine Entfernung zu einem Punkt eines Gegenstandes, der den Laserstrahl reflektiert. Laserscanner sind in bekannten mobilen Systemen bereits vorhanden, es fallen somit keine zusätzlichen Kosten für die Installation des ersten Sensors an. Gemäß einer bevorzugten Ausgestaltung der Erfindung ist der zweite Sensor als monokulare Kamera ausgebildet. Eine monokulare Kamera ist verhältnismäßig kostengünstig, robust und zuverlässig. An object to which an image pyramid is assigned is, for example, a pallet, a forklift or a grid box. In order to detect the object in the recorded image, not all scaling levels of the pyramid have to be processed if the resulting distance to the detected points of the object is known. It is sufficient to simply compare the object image of a single scaling level, to which the resulting distance is assigned, with the image recognized in the recorded image. It may be necessary to compare the object images of a small number of scaling levels, to which the resulting distance is assigned, with the image recognized in the recorded image. The computing intensity for comparing the image with object images is thereby advantageously reduced. According to a preferred embodiment of the invention, the first sensor is designed as a laser scanner. A laser scanner sends out a laser beam, detects a reflected laser beam and uses this to calculate a distance to a point on an object that reflects the laser beam. Laser scanners are already present in well-known mobile systems, so there are no additional costs for installing the first sensor. According to a preferred embodiment of the invention, the second sensor is designed as a monocular camera. A monocular camera is relatively inexpensive, robust and reliable.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird die resultierende Entfernung zu den erfassten Punkten als arithmetisches Mittel der ermittelten Entfernungen zu den erfassten Punkten bestimmt. Somit entspricht die resultierende Entfernung einem Abstand des ersten Sensors zu einer Stelle inmitten des Gegenstandes. According to an advantageous embodiment of the invention, the resulting distance to the detected points is determined as the arithmetic mean of the determined distances to the detected points. The resulting distance therefore corresponds to a distance from the first sensor to a point in the middle of the object.
Gemäß einer anderen vorteilhaften Ausgestaltung der Erfindung wird die resultierende Entfernung zu den erfassten Punkten als die kleinste der ermittelten Entfernungen zu den erfassten Punkten bestimmt. Somit entspricht die resultierende Entfernung einem Abstand des ersten Sensors zu einer dem mobilen System zugewandten Seite des Gegenstandes. According to another advantageous embodiment of the invention, the resulting distance to the detected points is determined as the smallest of the determined distances to the detected points. The resulting distance therefore corresponds to a distance between the first sensor and a side of the object facing the mobile system.
Die Skalierungsstufen der mindestens einen Bildpyramide sind diskret und umfassen jeweils ein Objektbild bei genau einer resultierenden Entfernung. Gemäß einer vorteilhaften Weiterbildung der Erfindung ist jeder Skalierungsstufe der mindestens einen Bildpyramide ein Bereich von resultierenden Entfernungen zugeordnet. Somit können auch resultierende Entfernungen, die zwischen zwei diskreten Skalierungsstufen liegen, verarbeitet werden. The scaling levels of the at least one image pyramid are discrete and each include an object image at exactly one resulting distance. According to an advantageous development of the invention, a range of resulting distances is assigned to each scaling level of the at least one image pyramid. This means that resulting distances that lie between two discrete scaling levels can also be processed.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung überlappen sich die Bereiche von resultierenden Entfernungen, welche benachbarten Skalierungsstufen zugeordnet sind. Dadurch sind geringe Fehler und Verzerrungen bei der Aufnahme des Bildes ausgleichbar. According to an advantageous embodiment of the invention, the ranges of resulting distances which are assigned to adjacent scaling levels overlap. This allows minor errors and distortions to be compensated for when the image is captured.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung sind die Bereiche von resultierenden Entfernungen, welche benachbarten Skalierungsstufen zugeordnet sind, voneinander getrennt. Dadurch ist jede resultierende Entfernung genau einer Skalierungsstufe zugeordnet. Dadurch wird die Rechenintensität zum Vergleich des Abbilds mit Objektbildern weiter verringert. Gemäß einer vorteilhaften Weiterbildung der Erfindung weist das mobile System mehrere Bildpyramiden auf, welche jeweils einem Objekt zugeordnet sind. Dabei wird aus den erfassten Punkten des Gegenstandes und den Entfernungen zu den erfassten Punkten ein hypothetisches Objekt vorgeschlagen, und diejenige Bildpyramide wird ausgewählt, welche dem hypothetischen Objekt zugeordnet ist. Aus der ausgewählten Bildpyramide wird mindestens eine Skalierungsstufe ausgewählt, welcher die resultierende Entfernung zugeordnet ist. According to an advantageous embodiment of the invention, the ranges of resulting distances which are assigned to adjacent scaling levels are separated from one another. This means that each resulting distance is assigned to exactly one scaling level. This further reduces the computing intensity for comparing the image with object images. According to an advantageous development of the invention, the mobile system has several image pyramids, each of which is assigned to an object. A hypothetical object is suggested from the detected points of the object and the distances to the detected points, and the image pyramid that is assigned to the hypothetical object is selected. At least one scaling level is selected from the selected image pyramid, to which the resulting distance is assigned.
Objekte, welchen jeweils eine Bildpyramide zugeordnet ist, sind beispielsweise eine Palette, ein Gabelstapler oder eine Gitterbox. Es ist somit möglich, verschiedenartige Objekte zu detektieren. Durch den Vorschlag des hypothetischen Objekts wird bereits eine Vorauswahl getroffen. Ein Vergleich mit allen Bildpyramiden ist daher nicht erforderlich. Dadurch wird die Rechenintensität zum Vergleich des Abbilds mit Objektbildern verringert. Objects to which an image pyramid is assigned are, for example, a pallet, a forklift or a grid box. It is therefore possible to detect different types of objects. By suggesting the hypothetical object, a pre-selection is made. A comparison with all image pyramids is therefore not necessary. This reduces the computational intensity of comparing the image with object images.
Gemäß einer bevorzugten Ausgestaltung der Erfindung ist das mobile System als autonom fahrendes Fahrzeug ausgebildet, welches eine Antriebseinrichtung, einen elektrischen Energiespeicher zur Versorgung der Antriebseinrichtung sowie eine Steuereinheit zur Steuerung der Antriebseinrichtung aufweist. Die Antriebseinrichtung umfasst beispielsweise einen Elektromotor, ein Getriebe und Antriebsräder. Bei dem mobilen System handelt es sich insbesondere um ein fahrerloses Transportsystem zum Transport von Gegenständen innerhalb der technischen Anlage. According to a preferred embodiment of the invention, the mobile system is designed as an autonomously driving vehicle which has a drive device, an electrical energy storage device for supplying the drive device and a control unit for controlling the drive device. The drive device includes, for example, an electric motor, a gearbox and drive wheels. The mobile system is in particular a driverless transport system for transporting objects within the technical system.
Gemäß einer vorteilhaften Weiterbildung der Erfindung weist das mobile System einen Positionssensor zur Erfassung einer Position des mobilen Systems insbesondere innerhalb der technischen Anlage auf. Bei dem besagten Sensor handelt es sich beispielsweis um einen GPS-Empfänger oder um ein SLAM-System. Die Erfassung der eigenen Position des mobilen Systems, insbesondere in der technischen Anlage, ermöglicht, eine lokale Karte zu erstellen, welche die Grundlage für das autonome Fahren des mobilen Systems bildet. According to an advantageous development of the invention, the mobile system has a position sensor for detecting a position of the mobile system, particularly within the technical system. The sensor in question is, for example, a GPS receiver or a SLAM system. Recording the mobile system's own position, especially in the technical system, makes it possible to create a local map, which forms the basis for the autonomous driving of the mobile system.
Gemäß einer vorteilhaften Weiterbildung der Erfindung wird eine lokale Karte erstellt, welche mindestens ein detektiertes Objekt aufweist. Die lokale Karte bildet die Grundlage für das autonome Fahren des mobilen Systems. According to an advantageous development of the invention, a local map is created which has at least one detected object. The local map forms the basis for the autonomous driving of the mobile system.
Die Erfindung ist nicht auf die Merkmalskombination der Ansprüche beschränkt. Für den Fachmann ergeben sich weitere sinnvolle Kombinationsmöglichkeiten von Ansprüchen und/oder einzelnen Anspruchsmerkmalen und/oder Merkmalen der Beschreibung und/oder der Figuren, insbesondere aus der Aufgabenstellung und/oder der sich durch Vergleich mit dem Stand der Technik stellenden Aufgabe. The invention is not limited to the combination of features of the claims. For the expert, there are further possible combinations of claims that make sense and/or individual claim features and/or features of the description and/or the figures, in particular from the task and/or the task posed by comparison with the prior art.
Die Erfindung wird nun anhand von Abbildungen näher erläutert. Die Erfindung ist nicht auf die in den Abbildungen dargestellten Ausführungsbeispiele beschränkt. Die Abbildungen stellen den Gegenstand der Erfindung nur schematisch dar. Es zeigen: The invention will now be explained in more detail using illustrations. The invention is not limited to the exemplary embodiments shown in the figures. The illustrations only represent the subject matter of the invention schematically. They show:
Figur 1 : eine schematische Seitenansicht eines mobilen Systems und eines Gegenstandes in einer technischen Anlage, Figure 1: a schematic side view of a mobile system and an object in a technical system,
Figur 2: eine schematische Draufsicht auf das mobile System und den Gegenstand in der technischen Anlage, Figure 2: a schematic top view of the mobile system and the object in the technical system,
Figur 3: ein Bild mit einem Abbild des Gegenstandes, Figure 3: a picture with an image of the object,
Figur 4: erfasste Punkte des Gegenstandes und Figure 4: recorded points of the object and
Figur 5: eine Überlagerung des Abbildes mit den erfassten Punkten. Figure 5: an overlay of the image with the recorded points.
Figur 1 zeigt eine schematische Seitenansicht eines mobilen Systems 10 und eines Gegenstandes 11 in einer technischen Anlage. Bei dem Gegenstand 11 handelt es sich vorliegend um eine Palette. Die technische Anlage weist weitere, hier nicht dargestellte, Gegenstände 11 auf, beispielsweise weitere Paletten, Gabelstapler sowie Gitterboxen. Auch weist die technische Anlage weitere, hier nicht dargestellte, mobile Systeme 10 auf, die gleichartig ausgestaltet sind. Figure 1 shows a schematic side view of a mobile system 10 and an object 11 in a technical system. The object 11 in this case is a pallet. The technical system has additional objects 11 not shown here, for example additional pallets, forklifts and mesh boxes. The technical system also has other mobile systems 10, not shown here, which are designed in the same way.
Das mobile System 10 ist als autonom fahrendes Fahrzeug ausgebildet und weist eine Antriebseinrichtung, einen elektrischen Energiespeicher zur Versorgung der Antriebseinrichtung sowie eine Steuereinheit zur Steuerung der Antriebseinrichtung auf. Das mobile System 10 weist ferner einen Positionssensor zur Erfassung einer Position des mobilen Systems 10 innerhalb der technischen Anlage auf. Das mobile System 10 weist auch eine Kommunikationsvorrichtung zur drahtlosen Kommunikation über ein Netzwerk auf. The mobile system 10 is designed as an autonomously driving vehicle and has a drive device, an electrical energy storage device for supplying the drive device and a control unit for controlling the drive device. The mobile system 10 also has a position sensor for detecting a position of the mobile system 10 within the technical system. The mobile system 10 also includes a communication device for wireless communication over a network.
Das mobile System 10 weist vorliegend zwei erste Sensoren 1 , welche als Laserscanner ausgebildet sind, auf. Jeder der ersten Sensoren 1 dient zur Erkennung von Gegenständen 11 sowie zur Erkennung von Entfernungen zu erkannten Gegenständen 11. Dabei erfasst der erste Sensor 1 mehrere Punkte P des Gegenstands 11 und ermittelt die Entfernungen zu den erfassten Punkten P. Das mobile System 10 weist vorliegend einen zweiten Sensor 2, welcher als monokulare Kamera ausgebildet ist, auf. Der zweite Sensor 2 dient zur Aufnahme von Bildern, auf welchen insbesondere Gegenstände 11 abgebildet sind. The mobile system 10 in the present case has two first sensors 1, which are designed as laser scanners. Each of the first sensors 1 is used to detect objects 11 and to detect distances to detected objects 11. The first sensor 1 detects several points P of the object 11 and determines the distances to the detected points P. In the present case, the mobile system 10 has a second sensor 2, which is designed as a monocular camera. The second sensor 2 is used to record images on which objects 11 in particular are depicted.
Das mobile System 10 befindet sich auf einem ebenen Boden in der technischen Anlage. Die als Laserscanner ausgebildeten ersten Sensoren 1 sind derart an dem mobilen System 10 angeordnet, dass die Scanebenen der ersten Sensoren 1 parallel zu dem Boden ausgerichtet sind. Der als monokulare Kamera ausgebildete zweite Sensor 2 ist derart an dem mobilen System 10 angeordnet, dass die optische Achse des zweiten Sensors 2 parallel zu dem Boden ausgerichtet ist. The mobile system 10 is located on a level floor in the technical facility. The first sensors 1, designed as laser scanners, are arranged on the mobile system 10 in such a way that the scanning planes of the first sensors 1 are aligned parallel to the floor. The second sensor 2, designed as a monocular camera, is arranged on the mobile system 10 in such a way that the optical axis of the second sensor 2 is aligned parallel to the ground.
Figur 2 zeigt eine schematische Draufsicht auf das mobile System 10 und den Gegenstand 11 in der in Figur 1 dargestellten technischen Anlage. Das mobile System 10 weist einen annähernd rechteckförmigen Querschnitt auf. Die als Laserscanner ausgebildeten ersten Sensoren 1 sind an gegenüberliegenden Ecken des mobilen Systems 10 angeordnet. Der als monokulare Kamera ausgebildete zweite Sensor 2 ist an einer Frontseite des mobilen Systems 10 angeordnet. Figure 2 shows a schematic top view of the mobile system 10 and the object 11 in the technical system shown in Figure 1. The mobile system 10 has an approximately rectangular cross section. The first sensors 1, designed as laser scanners, are arranged at opposite corners of the mobile system 10. The second sensor 2, designed as a monocular camera, is arranged on a front side of the mobile system 10.
Die geometrische Anordnung der ersten Sensoren 1 relativ zu dem zweiten Sensor 2 an dem mobilen System 10 ist mittels Kalibrierung erfassbar und somit bekannt. Die besagte geometrische Anordnung ist dabei konstant, wird also nicht dynamisch verändert. Durch Berücksichtigung der besagten geometrischen Anordnung ist eine Transformation von erfassten Punkten P und Entfernungen zu den erfassten Punkten P in ein aufgenommenes Bild eindeutig durchführbar. The geometric arrangement of the first sensors 1 relative to the second sensor 2 on the mobile system 10 can be detected by calibration and is therefore known. The geometric arrangement in question is constant and is therefore not changed dynamically. By taking into account the said geometric arrangement, a transformation of detected points P and distances to the detected points P into a recorded image can clearly be carried out.
Das mobile System 10 weist auch mehrere Bildpyramiden auf. Dabei ist jede Bildpyramide einem Objekt zugeordnet. Solche Objekte sind beispielsweise eine Palette, ein Gabelstapler oder eine Gitterbox. Jede Bildpyramide enthält mehrere Skalierungsstufen. Jede Skalierungsstufe umfasst ein Objektbild. Die Objektbilder der Skalierungsstufen weisen dabei verschiedene Größen auf. Jede Skalierungsstufe zeigt somit das Objekt in einer anderen Entfernung. The mobile system 10 also has several image pyramids. Each image pyramid is assigned to an object. Such objects are, for example, a pallet, a forklift or a wire mesh box. Each image pyramid contains multiple scaling levels. Each scaling level includes an object image. The object images of the scaling levels have different sizes. Each scaling level therefore shows the object at a different distance.
Nachfolgend wird das Verfahren zur Detektion eines Objekts durch das mobile System 10 in der technischen Anlage beschrieben. Mittels des zweiten Sensors 2 wird ein Bild aufgenommen, wobei das aufgenommene Bild den Gegenstand 11 enthält. In dem aufgenommenen Bild wird ein Abbild A des Gegenstandes 11 erkannt. The method for detecting an object by the mobile system 10 in the technical system is described below. An image is recorded using the second sensor 2, where the captured image contains the object 11. An image A of the object 11 is recognized in the captured image.
Figur 3 zeigt ein Bild mit dem Abbild A des in Figur 1 dargestellten Gegenstandes 11. Bei dem Gegenstand 11 handelt es sich vorliegend, wie bereits erwähnt, um eine Palette. Das Abbild A entspricht einer perspektivischen Darstellung des Gegenstands 11. Figure 3 shows an image with the image A of the object 11 shown in Figure 1. In the present case, the object 11 is, as already mentioned, a pallet. The image A corresponds to a perspective representation of the object 11.
Mittels des ersten Sensors 1 werden mehrere Punkte P des Gegenstands 11 erfasst. Auch werden Entfernungen des mobilen Systems 10 zu den erfassten Punkten P ermittelt. Using the first sensor 1, several points P of the object 11 are detected. Distances from the mobile system 10 to the detected points P are also determined.
Figur 4 zeigt die erfassten Punkte P des in Figur 1 dargestellten Gegenstandes 11. Aus den Entfernungen des mobilen Systems 10 zu den erfassten Punkten P wird eine resultierende Entfernung des mobilen Systems 10 zu den erfassten Punkten P bestimmt. 4 shows the detected points P of the object 11 shown in FIG. 1. From the distances of the mobile system 10 to the detected points P, a resulting distance of the mobile system 10 to the detected points P is determined.
Die resultierende Entfernung zu den erfassten Punkten P wird beispielsweise als arithmetisches Mittel der ermittelten Entfernungen zu den erfassten Punkten P bestimmt. Alternativ wird die resultierende Entfernung zu den erfassten Punkten P als die kleinste der ermittelten Entfernungen zu den erfassten Punkten P bestimmt. The resulting distance to the detected points P is determined, for example, as the arithmetic mean of the determined distances to the detected points P. Alternatively, the resulting distance to the detected points P is determined as the smallest of the determined distances to the detected points P.
Die erfassten Punkten P sowie die ermittelten Entfernungen zu den erfassten Punkten P werden anschließend in das von dem zweiten Sensor aufgenommene Bild transformiert. Dabei werden die erfassten Punkte P dem Abbild A überlagert. Figur 5 zeigt eine Überlagerung des in Figur 3 dargestellten Abbildes A mit den in Figur 4 dargestellten erfassten Punkten P. The detected points P and the determined distances to the detected points P are then transformed into the image recorded by the second sensor. The recorded points P are superimposed on the image A. Figure 5 shows a superposition of the image A shown in Figure 3 with the detected points P shown in Figure 4.
Aus den erfassten Punkten P des Gegenstandes 11 und den Entfernungen des mobilen Systems 10 zu den erfassten Punkten P wird ein hypothetisches Objekt vorgeschlagen. Anhand der Lage und der Ausrichtung der Punkte P wird vorliegend eine Palette als hypothetisches Objekt vorgeschlagen. A hypothetical object is proposed from the detected points P of the object 11 and the distances of the mobile system 10 to the detected points P. Based on the position and orientation of the points P, a pallet is proposed as a hypothetical object.
Aus den mehreren Bildpyramiden, die das mobile System 10 aufweist, wird nun diejenige Bildpyramide ausgewählt, welche dem hypothetischen Objekt, vorliegend also einer Palette, zugeordnet ist. Aus der ausgewählten Bildpyramide wird dann eine Skalierungsstufe ausgewählt, welcher die zuvor bestimmte resultierende Entfernung zugeordnet ist. Das Objektbild der ausgewählten Skalierungsstufe wird dann mit dem in dem aufgenommenen Bild erkannten Abbild A verglichen. Bei Übereinstimmung des Objektbildes mit dem Abbild A wird das Objekt, vorliegend die Palette, in dem Bild detektiert. From the several image pyramids that the mobile system 10 has, the image pyramid that is assigned to the hypothetical object, in this case a palette, is now selected. A scaling level is then selected from the selected image pyramid, to which the previously determined resulting distance is assigned. The object image of the selected scaling level is then compared with the image A recognized in the captured image. If the object image matches image A, the object, in this case the pallet, is detected in the image.
Bezugszeichenliste Reference symbol list
I erster Sensor 2 zweiter Sensor I first sensor 2 second sensor
10 Mobiles System 10 Mobile system
I I Gegenstand I I subject
A Abbild A image
P Punkt P point

Claims

Patentansprüche: Patent claims:
1. Verfahren zur Detektion eines Objekts durch ein mobiles System (10), insbesondere in einer technischen Anlage, wobei das mobile System (10) mindestens einen ersten Sensor (1), mindestens einen zweiten Sensor (2) und mindestens eine Bildpyramide, welche einem Objekt zugeordnet ist, und welche mehrere Skalierungsstufen enthält, welche jeweils ein Objektbild umfassen, aufweist; wobei mittels des ersten Sensors (1) mehrere Punkte (P) eines Gegenstands (11) erfasst werden, und Entfernungen zu den erfassten Punkten (P) ermittelt werden, und eine resultierende Entfernung zu den erfassten Punkten (P) bestimmt wird; mittels des zweiten Sensors (2) ein Bild, welches den Gegenstand (11) enthält, aufgenommen wird, und in dem aufgenommenen Bild ein Abbild (A) des Gegenstandes (11) erkannt wird; aus der mindestens einen Bildpyramide mindestens eine Skalierungsstufe ausgewählt wird, welcher die resultierende Entfernung zugeordnet ist; das Objektbild der mindestens einen ausgewählten Skalierungsstufe mit dem in dem aufgenommenen Bild erkannten Abbild (A) verglichen wird; und bei Übereinstimmung des Objektbildes mit dem Abbild (A) das Objekt in dem Bild detektiert wird. 1. Method for detecting an object by a mobile system (10), in particular in a technical system, wherein the mobile system (10) has at least a first sensor (1), at least a second sensor (2) and at least one image pyramid, which has a Object is assigned, and which contains several scaling levels, each of which includes an object image; wherein several points (P) of an object (11) are detected by means of the first sensor (1), and distances to the detected points (P) are determined, and a resulting distance to the detected points (P) is determined; an image containing the object (11) is recorded by means of the second sensor (2), and an image (A) of the object (11) is recognized in the recorded image; At least one scaling level is selected from the at least one image pyramid, to which the resulting distance is assigned; the object image of the at least one selected scaling level is compared with the image (A) recognized in the recorded image; and if the object image matches the image (A), the object in the image is detected.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass der erste Sensor (1) als Laserscanner ausgebildet ist, und/oder dass der zweite Sensor (2) als monokulare Kamera ausgebildet ist. 2. The method according to claim 1, characterized in that the first sensor (1) is designed as a laser scanner, and / or that the second sensor (2) is designed as a monocular camera.
3. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die resultierende Entfernung zu den erfassten Punkten (P) als arithmetisches Mittel der ermittelten Entfernungen zu den erfassten Punkten (P) bestimmt wird. 3. Method according to one of the preceding claims, characterized in that the resulting distance to the detected points (P) is determined as the arithmetic mean of the determined distances to the detected points (P).
4. Verfahren nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass die resultierende Entfernung zu den erfassten Punkten (P) als die kleinste der ermittelten Entfernungen zu den erfassten Punkten (P) bestimmt wird. 4. Method according to one of claims 1 to 2, characterized in that the resulting distance to the detected points (P) is determined as the smallest of the determined distances to the detected points (P).
5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass jeder Skalierungsstufe der mindestens einen Bildpyramide ein Bereich von resultierenden Entfernungen zugeordnet ist. 5. Method according to one of the preceding claims, characterized in that a range of resulting distances is assigned to each scaling level of the at least one image pyramid.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Bereiche von resultierenden Entfernungen, welche benachbarten Skalierungsstufen zugeordnet sind, sich überlappen. 6. The method according to claim 5, characterized in that the ranges of resulting distances which are assigned to adjacent scaling levels overlap.
7. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Bereiche von resultierenden Entfernungen, welche benachbarten Skalierungsstufen zugeordnet sind, voneinander getrennt sind. 7. The method according to claim 5, characterized in that the ranges of resulting distances which are assigned to adjacent scaling levels are separated from one another.
8. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das mobile System (10) mehrere Bildpyramiden aufweist, welche jeweils einem Objekt zugeordnet sind, wobei aus den erfassten Punkten (P) des Gegenstandes (11) und den Entfernungen zu den erfassten Punkten (P) ein hypothetisches Objekt vorgeschlagen wird; diejenige Bildpyramide ausgewählt wird, welche dem hypothetischen Objekt zugeordnet ist; aus der ausgewählten Bildpyramide mindestens eine Skalierungsstufe ausgewählt wird, welcher die resultierende Entfernung zugeordnet ist. 8. Method according to one of the preceding claims, characterized in that the mobile system (10) has a plurality of image pyramids, each of which is assigned to an object, consisting of the detected points (P) of the object (11) and the distances to the detected points (P) a hypothetical object is proposed; the image pyramid that is assigned to the hypothetical object is selected; At least one scaling level is selected from the selected image pyramid, to which the resulting distance is assigned.
9. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das mobile System (10) als autonom fahrendes Fahrzeug ausgebildet ist, welches eine Antriebseinrichtung, einen elektrischen Energiespeicher zur Versorgung der Antriebseinrichtung sowie eine Steuereinheit zur Steuerung der Antriebseinrichtung aufweist. 9. Method according to one of the preceding claims, characterized in that the mobile system (10) is designed as an autonomously driving vehicle which has a drive device, an electrical energy storage device for supplying the drive device and a control unit for controlling the drive device.
10. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine lokale Karte erstellt wird, welche mindestens ein detektiertes Objekt aufweist. 10. Method according to one of the preceding claims, characterized in that a local map is created which has at least one detected object.
PCT/EP2023/025369 2022-09-13 2023-08-07 Method for detecting an object using a mobile system WO2024056205A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022003372 2022-09-13
DE102022003372.0 2022-09-13

Publications (1)

Publication Number Publication Date
WO2024056205A1 true WO2024056205A1 (en) 2024-03-21

Family

ID=87571777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/025369 WO2024056205A1 (en) 2022-09-13 2023-08-07 Method for detecting an object using a mobile system

Country Status (2)

Country Link
DE (1) DE102023003260A1 (en)
WO (1) WO2024056205A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072665A (en) * 2005-09-06 2007-03-22 Fujitsu Ten Ltd Object discrimination device, object discrimination method and object discrimination program
US20080164985A1 (en) * 2007-01-10 2008-07-10 Omron Corporation Detection device, method and program thereof
US20130073194A1 (en) * 2011-09-15 2013-03-21 Clarion Co., Ltd. Vehicle systems, devices, and methods for recognizing external worlds
DE102021001282A1 (en) 2020-04-01 2021-10-07 Sew-Eurodrive Gmbh & Co Kg Mobile system and method for operating a mobile system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072665A (en) * 2005-09-06 2007-03-22 Fujitsu Ten Ltd Object discrimination device, object discrimination method and object discrimination program
US20080164985A1 (en) * 2007-01-10 2008-07-10 Omron Corporation Detection device, method and program thereof
US20130073194A1 (en) * 2011-09-15 2013-03-21 Clarion Co., Ltd. Vehicle systems, devices, and methods for recognizing external worlds
DE102021001282A1 (en) 2020-04-01 2021-10-07 Sew-Eurodrive Gmbh & Co Kg Mobile system and method for operating a mobile system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
X. ZHAOP. SUNZ. XUH. MINH. YU: "LIDAR and Camera Data for Object Detection in Autonomous Vehicle Applications", IEEE SENSORS JOURNAL, vol. 20, no. 9, 1 May 2020 (2020-05-01), pages 4901 - 4913, XP011781784, DOI: 10.1109/JSEN.2020.2966034

Also Published As

Publication number Publication date
DE102023003260A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
EP3497476B1 (en) Motor vehicle and method for a 360° detection of the surroundings
WO2004055548A1 (en) Method for detecting and tracking objects
EP2439487B1 (en) Volume measuring device for mobile objects
EP2275990B1 (en) 3D sensor
EP3053133B1 (en) Method and device for displaying a vehicle's environment and driver assistance system
EP2767925A2 (en) Method for the detection of objects in a warehouse and/or for spatial orientation in a warehouse
DE102011111440A1 (en) Method for representation of environment of vehicle, involves forming segments of same width from image points of equal distance in one of image planes, and modeling objects present outside free space in environment
WO2013178407A1 (en) Method and device for processing stereoscopic data
WO1996007959A1 (en) Process for determining the position of a landmark in the map of the environment of an automotive unit which dynamically determines its distance from the landmark
EP1419402B1 (en) Method for detecting and tracking objects
DE102017223160A1 (en) Method for detecting at least one object lying on a motor vehicle and control device and motor vehicle
EP4128017A1 (en) Mobile system and method for operating a mobile system
WO2022078799A1 (en) Detection method for detecting static objects
DE102020120887B4 (en) METHOD OF DETECTING A HANGING POSITION OF A SUPPORT BAR AND FLAT BED MACHINE TOOL
WO2024056205A1 (en) Method for detecting an object using a mobile system
DE102020211596A1 (en) Method for generating a trained neural convolution network with an invariant integration layer for classifying objects
DE102019219247A1 (en) Process for environment detection, data processing unit
WO2020160861A1 (en) Calibration of a sensor for a vehicle on the basis of object-side and image-side identification indices of a reference object
DE102019210129A1 (en) Method for checking a calibration of several sensors and a motor vehicle with several sensors
DE102019124498A1 (en) Method for compressing 3D point data in a 3D point cloud generated by means of a detection system of a vehicle
EP4249957A1 (en) Calibration of a combined sensor system for a vehicle
WO2024028003A1 (en) Monitoring the orientation of a laser scanner
WO2023151856A1 (en) Monitoring apparatus for a storage area, intralogistics arrangement having the monitoring apparatus, and monitoring method
DE202021004345U1 (en) Driverless transport vehicle
WO2023104767A1 (en) Method and device for detecting objects at an industrial workplace

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23754704

Country of ref document: EP

Kind code of ref document: A1