WO2022063654A1 - Verfahren zur objekterkennung, computerprogramm, speichermedium, objekterkennungseinrichtung und überwachungsanordnung - Google Patents

Verfahren zur objekterkennung, computerprogramm, speichermedium, objekterkennungseinrichtung und überwachungsanordnung Download PDF

Info

Publication number
WO2022063654A1
WO2022063654A1 PCT/EP2021/075365 EP2021075365W WO2022063654A1 WO 2022063654 A1 WO2022063654 A1 WO 2022063654A1 EP 2021075365 W EP2021075365 W EP 2021075365W WO 2022063654 A1 WO2022063654 A1 WO 2022063654A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
standardized
images
reference object
Prior art date
Application number
PCT/EP2021/075365
Other languages
English (en)
French (fr)
Inventor
Udo Schulz
Andreas Fladee
Kai Bohne
Camille MARBACH
Christoph Jochum
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2022063654A1 publication Critical patent/WO2022063654A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Definitions

  • the invention relates to a method for object recognition based on at least one camera image of a recording area.
  • a camera is used to record the images for processing.
  • the recorded images are analyzed by comparing and determining correlations, with recognition probabilities being determined, for example.
  • document EP 27 693 62 B1 which arguably represents the closest prior art, describes a computer-implemented method for finding corner sections of pallets, the method providing for determining the sections based on a group of pixels, horizontal and vertical cross-correlations.
  • the invention relates to a method for object recognition having the features of claim 1.
  • the invention also relates to a computer program having the features of claim 12, a storage medium having the features of claim 13, an object recognition device and a monitoring arrangement.
  • Preferred and/or advantageous configurations of the invention result from the dependent claims, the description and the attached figures.
  • a method for object recognition is proposed.
  • the method is designed in particular as a computer-implemented method or a hardware-based method.
  • the method includes and/or is based on machine learning and/or a neural network.
  • Object recognition is in particular the recognition and/or recognition, in particular the search for one or more reference objects in a recording area, in particular in a camera image of the recording area.
  • object recognition provides for the recognition of a reference object in camera images, in particular in different and/or different orientations, distances and/or positions.
  • object recognition is understood to mean, for example, object localization, classification and/or object tracking.
  • At least one camera image of a recording area is recorded by means of a camera, in particular by means of several cameras.
  • a plurality of partial images can be recorded from the recording area, with the partial images being and/or having been combined to form the camera image, for example.
  • the partial images are stitched into the camera image.
  • the camera image can be in the form of a color image, an infrared image or a black-and-white image.
  • the camera in particular a lens of the camera, has imaging parameters and/or defines imaging parameters of the camera.
  • the imaging parameters include lens errors, focal length, aperture and/or beam path parameters.
  • the camera image includes distortion and/or has distortion.
  • the distortion is barrel distortion.
  • the distortion is based and/or results in particular from the imaging parameters of the camera. In particular, the distortion leads to camera images that would have to be rectified using standard object recognition algorithms.
  • At least one reference image is provided, ascertained and/or determined from the standardized reference object, in particular from a plurality of standardized reference objects.
  • a standardized reference object is to be understood, for example, as a standardized object, for example with standardized and/or standardized dimensions, shape, material, color and/or appearance.
  • the reference object is in particular a three-dimensional object.
  • the reference image can also be provided, for example stored and/or provided in a memory.
  • the reference image shows and/or describes the standardized reference object, in particular how this would appear recorded with the imaging parameters, in particular the distortion and/or the camera.
  • the reference image describes, for example, a recording that is distorted, distorted, specifically barrel-shaped of the standardized reference object.
  • a large number of reference images can be provided, determined and/or ascertained, for example different views, distances and/or orientation of the standardized reference image.
  • the reference images are not rectified and/or distortion-free images and/or recordings of the standardized reference object.
  • Object recognition for example an object recognition algorithm
  • the object detection is based on the camera image and/or using at least one reference image.
  • the object recognition and/or the object recognition algorithm takes place using a neural network, a CNN (convolutional neural network) and/or an SVM (support vector machine).
  • Object recognition is understood to mean, in particular, the recognition of a standardized reference object and/or an object similar to the standardized reference object in the camera image, specifically in the recording area.
  • the object recognition includes, for example, object recognition, classification and/or localization. For example, a probability is determined and/or output, how likely it is that an object and/or an image section of the camera image is an object that corresponds to and/or is similar to the standardized reference object.
  • the object recognition can be designed to additionally and/or additionally recognize different types of objects, for example obstacles and/or dangers. It is particularly preferred that the object recognition is designed as a template matching. For example, the object recognition is designed and/or set up to recognize and/or classify a limited portfolio and/or quantity of objects and/or reference objects. For example, the object recognition is designed and/or set up for a limited and/or limited number of backgrounds, scenes and/or types of lighting.
  • the invention is based on the consideration that object recognition in recorded camera images is possible without transforming and/or rectifying them beforehand.
  • recordings and/or images of a standardized reference object with distortion are used as reference images.
  • distance determination and/or orientation determination can also be carried out, in particular for standardized reference objects.
  • the method is distinguished by an improved and increased recognition rate of objects, in particular standardized objects, in camera images. Furthermore, the method is particularly fast, in particular due to a reduction in computing power, processor power and/or data volumes, since the camera images do not have to be transformed. Instead, for example, the standardized reference object is transformed into the image plane of the camera.
  • the standardized reference object has a standardized shape, in particular standardized shape, a standardized dimension, in particular standardized dimension, and/or standardized tolerance deviations, in particular standardized tolerance deviations.
  • the standardized shape is a 3-dimensional appearance, such as square, circular, and/or more complex.
  • Standardized dimensions mean, for example, standardized lengths, widths, heights, recesses, holes and/or structural elements.
  • Tolerance deviations are, for example, permitted deviations in shape, dimensions and/or other parameters.
  • the at least one reference image and/or the plurality of reference images are formed, for example, as an image of such a standardized reference object recorded by the camera and the imaging parameters.
  • a plurality of images are recorded from the standardized reference object using the camera and the imaging parameters, for example for different distances, positions, orientations, attitudes, lighting and/or other geometric or optical parameters.
  • the images recorded in this way have a distortion that the camera images of the recording area also have.
  • the recorded images can be stored and/or called up as reference images in a storage medium, for example a computer.
  • the object recognition and/or the object recognition algorithm can access the reference images and/or recorded images of the standardized reference object. This embodiment is based on the consideration that by depositing recorded reference images particularly fast and low-calculation object recognition can be applied to the camera images.
  • the reference image, parts of the reference image or the reference images can form a transformation of an undistorted image and/or the reference image can be determined as a transformation of an undistorted image.
  • the transformation is, for example, a transformation of the undistorted image and/or standardized reference object in the image using the imaging parameters, for example in a transformation into the image plane of the camera.
  • applying the transform introduces the distortion into the undistorted image.
  • the undistorted image forms, for example, a recording of the standardized reference object, in particular with no and/or less distortion. This refinement is based on the consideration that, for example, different cameras with different imaging parameters and/or distortion can be used for object recognition, in which an undistorted image is transformed into reference images using the respective imaging parameters.
  • the reference image is based and/or determined from a reference object model.
  • the reference object model is, for example, a 3D model, in particular a CAD and/or dimensioned model, of the standardized reference object.
  • the reference object model is transformed into the image plane of the camera.
  • the reference object model is transformed into the reference image based on the imaging parameters. The distortions in the reference image that are typical for the camera are generated by the transformation of the reference object model.
  • standardized reference objects in particular standardized reference objects
  • the plurality of reference images form, for example, an image, an image, a recording with the camera and/or a transformation of the standardized reference object for different distances, orientations, positions, positions, lighting, surroundings and/or other optical or geometric parameters, in particular relative to the Camera.
  • the plurality of reference images can be deposited and/or stored, for example to reduce the computing power, alternatively and/or additionally determined by transformation and/or calculation.
  • the camera has a fisheye lens and/or forms the fisheye camera.
  • the distortion of the camera forms a fisheye distortion, for example, with the distortion of a fisheye camera forming a barrel distortion in particular.
  • the reference images form and/or describe a recording and/or an image of the standardized reference object with fish-eye distortion. This configuration is based on the consideration that fisheye lenses and/or fisheye cameras can image and record large areas, whereby instead of rectifying the recordings of the fisheye camera, the reference images form a fisheye recording or have fisheye distortion and are used for object recognition, in particular as a reference and/or as a Training data of a neural network are used.
  • the object recognition, the provision, determination and/or determination of the reference images are and/or are carried out by means of machine learning and/or using a neural network.
  • a CNN is used for object recognition and/or for determining, ascertaining and/or transforming the reference images.
  • the machine learning and/or the neural network is and/or can be trained based on the reference images.
  • the neural network uses, for example, fish-eye recordings of the standardized object and/or transformation of undistorted images as training data.
  • the neural network and/or the machine learning is trained and/or trainable using the Reference object model and the transformation of the reference object model using the imaging parameters and different positions, orientations and / or distances.
  • the standardized reference object forms a transport pallet and/or a workpiece carrier.
  • the reference object is designed as a Euro pallet, Euro pallet for short, in particular in accordance with DIN EN 13698.
  • the method is particularly designed to reliably, quickly and robustly identify transport pallets in recorded camera images.
  • the camera is arranged on a transport vehicle, for example.
  • the transport vehicle is designed, for example, as a low-floor vehicle, forklift and/or a vehicle for transporting the transport pallets.
  • the camera is particularly preferably arranged at a static location on the transport vehicle, for example on the vehicle frame, as a front camera or as a rear camera.
  • a dynamic, in particular non-static arrangement can be provided, for example, by arranging the camera on a fork. For example, part of a front area of the transport vehicle is recorded as the recording area.
  • the method provides that, for example, the position, the position, the distance and/or the orientation of the transport pallet relative to the camera, the transport vehicle and/or the forks is determined and/or determined as object recognition.
  • the front area of a forklift truck is recorded with a fisheye camera, with areas in front of the forklift truck or the camera being shown with fisheye distortion in the camera images.
  • the reference images describe transport pallets with the fisheye distortion.
  • the object recognition is used to determine the location, orientation, distance and/or position of the transport pallets relative to the forklift truck in the recorded camera images based on the reference images.
  • the transport vehicle is an autonomously driving vehicle, the object recognition and/or the method being used, for example, to support and/or carry out autonomous driving.
  • the transport vehicle preferably has at least one fork, in particular two forks.
  • the forks are designed to pick up an object, in particular to pick up, lift and/or transport the transport pallet.
  • the transport pallet preferably has at least one, in particular two or more, receiving openings, with the receiving openings being designed in particular to receive the fork arm(s) of the transport vehicle.
  • the method and/or the object recognition is designed to determine a location, position, distance and/or orientation between the receiving opening and the transport vehicle, in particular the fork or prongs, based on the object recognition.
  • the transport vehicle for example the forklift truck, and/or the fork tines are controlled, regulated, guided and/or a user is guided by means of the method to thread the fork tines into the receiving opening.
  • a relative position and/or the relative position between the fork tines and the receiving opening is determined by means of the object recognition, the forklift truck and/or the fork tines being threaded into the receiving opening based on this.
  • a further subject matter of the invention is a computer program for execution on a computer, an object recognition device and/or a camera.
  • the computer program is designed and/or set up to carry out the method and/or steps of the method when it is executed, in particular on the computer, the object recognition device and/or the camera.
  • a further object of the invention is a machine-readable storage medium, for example DVD or hard disk storage.
  • the computer program and/or a program code of the computer program is stored on the storage medium.
  • a further object of the invention is an object recognition device, for example a computer device and/or camera.
  • the object recognition device is designed to record and/or accept at least one camera image.
  • the camera image is designed in particular as described in the method and has distortion.
  • the object detection device is at least one standardized reference object and/or reference image provided, stored there and/or determinable by it.
  • the reference image is formed and/or obtainable as described for the method.
  • the object recognition device comprises an evaluation module, wherein the evaluation module is designed to apply object recognition to the camera image, with object recognition based on the at least one reference image, the camera image, recognizing, classifying and/or localizing an object, in particular a reference object.
  • the object recognition device is designed and/or set up to carry out the method as previously described.
  • a further object of the invention is a monitoring arrangement with the object recognition device.
  • the surveillance arrangement includes at least one camera for recording the camera image.
  • the monitoring arrangement preferably includes a storage device for storing and/or filing the reference image or images, the standardized reference object or the reference object model.
  • FIG. 1 schematic camera image for object recognition
  • FIG. 2 shows a schematic sequence of an exemplary embodiment of the method.
  • FIG. 1 shows an example of a camera image 1 recorded with a camera of a vehicle.
  • the vehicle is designed as a forklift truck and includes a fork with two fork arms 2.
  • the camera includes a fisheye lens, so that the camera image 1 has a distortion that is typical for fisheye cameras. Objects, and especially straight lines, appear, especially barrel-curved at the edges. For example, the edge 3 of the transition from floor 4 to wall 5 appears curved, although in reality it is not curved.
  • the camera image 1 shows a recording area 6 that forms a section of a warehouse.
  • the receiving area 6, or the storage hall includes a shelf 7 with several shelves 8.
  • the object recognition is applied to the camera images 1 without previously transforming and/or rectifying them.
  • the method is designed and/or set up to control the transport vehicle based on the object recognition for threading the forks 2 into the receiving openings 10 .
  • FIG. 2 schematically shows a sequence of the method for object recognition based on and/or in the camera image 1.
  • the evaluation module 11 is designed and/or set up to recognize, localize and/or classify a reference object 13 in the camera images 1 based on reference images 12 .
  • the reference images 12 show the reference object 13 in different orientations, distances from the camera or image plane and/or positions.
  • the reference images have a distortion that corresponds to the distortion of camera images 1, here fisheye distortion.
  • the reference objects 13 in the reference images 12 therefore appear curved and/or warped.
  • the evaluation module 11 can recognize, localize and/or classify the reference object.
  • the reference object 13 here forms a transport pallet 9 as shown in FIG.
  • the reference images 12 can be determined by a determination module 14, in particular based on a neural network.
  • a reference object model 15 is provided to the determination module 14 .
  • the reference object model 15 is a three-dimensional model, e.g. CAD model, of the Reference object 12.
  • the determination module 14 is provided with imaging parameters of the camera, in particular the imaging parameters 16 for distortion and/or a focal length. Based on the mapping parameters 16 and the reference object model 15, the reference images 12 are determined by the determination module 14, for example by calculating the mapping of the reference object model 15 using the mapping parameters 16.
  • the evaluation module 11 is designed to determine, based on the reference images, a probability 17 that a reference object 13, here a pallet 9, is present in the camera image 1. Furthermore, based on the camera image 1 and the reference images 12, a relative distance, a relative location and/or relative position between the pallet 9 and the vehicle, in particular the forks 2, can be determined. For example, by comparing which of the reference images 12 best reproduces the palette 9 contained in the camera image 1, it being possible to infer distance, position and/or orientation. Alternatively and/or additionally, based on the reference object model 15, the determination module can determine a reference image 12 that best reproduces the palette 9 of the camera image 1, with the distance, position and/or orientation then being determined based on the reference image 12 and the imaging parameters 16 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren zur Objekterkennung mit den Schritten: - Aufnehmen mindestens eines Kamerabildes (1) eines Aufnahmebereichs (6) mittels einer Kamera, wobei die Kamera Abbildungsparameter 16 aufweist, wobei das Kamerabild (1) eine auf den Abbildungsparametern (16) basierende Verzeichnung aufweist, - wobei von einem standardisierten Referenzobjekt (13) mindestens ein Referenzbild (12) bereitgestellt oder bestimmt wird, wobei das Referenzbild (12) das standardisierte Referenzobjekt (13) mit der auf den Abbildungsparametern 16 basierenden Verzeichnung umfasst und/oder beschreibt, - wobei basierend auf dem Referenzbild (12) auf das Kamerabild (1) eine Objekterkennung angewendet wird.

Description

Titel
Verfahren zur Objekterkennung, Computerprogramm, Speichermedium,
Objekterkennungseinrichtung und Überwachungsanordnung
Stand der Technik
Die Erfindung betrifft ein Verfahren zur Objekterkennung basierend auf mindestens einem Kamerabild eines Aufnahmebereiches.
Im Stand der Technik sind Verfahren zur Objekterkennung mittels Bildverarbeitung bekannt. Die Aufnahme der Bilder zur Verarbeitung erfolgt hierbei mit einer Kamera. Die aufgenommenen Bilder werden durch Vergleich und Bestimmung von Korrelationen analysiert, wobei beispielsweise Wiedererkennungswahrscheinlichkeiten ermittelt werden.
Beispielsweise beschreibt die Druckschrift EP 27 693 62 Bl, die wohl den nächstkommenden Stand der Technik bildet, eine computerimplementierte Methode zum Auffinden von Eckabschnitten von Paletten, wobei die Methode vorsieht, die Abschnitte basierend auf einer Gruppe von Pixeln, horizontaler und vertikaler Kreuzkorrelationen zu ermitteln.
Offenbarung der Erfindung
Die Erfindung betrifft ein Verfahren zur Objekterkennung mit den Merkmalen des Anspruchs 1. Ferner betrifft die Erfindung ein Computerprogramm mit den Merkmalen des Anspruchs 12, ein Speichermedium mit den Merkmalen des Anspruchs 13, eine Objekterkennungseinrichtung und eine Überwachungsanordnung. Bevorzugte und/oder vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren.
Es wird ein Verfahren zur Objekterkennung vorgeschlagen. Das Verfahren ist insbesondere als ein computerimplementiertes Verfahren oder ein hardwarebasiertes Verfahren ausgebildet. Das Verfahren umfasst und/oder basiert auf maschinellem Lernen und/oder einem neuronalen Netz. Als Objekterkennung wird insbesondere die Erkennung und/oder Wiedererkennung, insbesondere die Suche, eines oder mehrerer Referenzobjekte in einem Aufnahmebereich, insbesondere in einem Kamerabild des Aufnahmebereichs verstanden. Beispielsweise sieht die Objekterkennung die Erkennung eines Referenzobjekts in Kamerabildern vor, insbesondere in verschiedenen und/oder unterschiedlichen Orientierungen, Abständen und/oder Positionen. Insbesondere ist als Objekterkennung beispielsweise eine Objektlokalisierung, Klassifizierung und/oder Objektverfolgung zu verstehen.
Mittels einer Kamera, im Speziellen mittels mehrerer Kameras, wird mindestens ein Kamerabild eines Aufnahmebereichs aufgenommen. Insbesondere können von dem Aufnahmebereich mehrere Teilbilder aufgenommen werden, wobei die Teilbilder beispielsweise zu dem Kamerabild zusammengefügt werden und/oder worden sind. Beispielsweise werden die Teilbilder zu dem Kamerabild gestitcht. Das Kamerabild kann als ein Farbbild, als ein Infrarotbild oder als ein schwarzweiß Bild ausgebildet sein. Die Kamera, insbesondere ein Objektiv der Kamera, weist Abbildungsparameter auf und/oder legt Abbildungsparameter der Kamera fest. Beispielsweise umfassen die Abbildungsparameter Linsenfehler, Brennweite, Blenden- und/oder Strahlengangparameter. Das Kamerabild umfasst eine Verzeichnung und/oder weist eine Verzeichnung auf. Insbesondere ist die Verzeichnung eine tonnenförmige Verzeichnung. Die Verzeichnung basiert und/oder resultiert insbesondere aus den Abbildungsparametern der Kamera. Insbesondere führt die Verzeichnung zu Kamerabildern welche zu üblichen Objekterkennungsalgorithmen rektifiziert werden müssten.
Von dem standardisierten Referenzobjekt, im Speziellen von mehreren standardisierten Referenzobjekten, wird mindestens ein Referenzbild bereitgestellt, ermittelt, und/oder bestimmt. Als standardisiertes Referenzobjekt ist beispielsweise ein genormtes Objekt zu verstehen, beispielsweise mit standardisierter und/oder genormte Abmessung, Form, Material, Farbe und/oder Erscheinung. Das Referenzobjekt ist insbesondere ein dreidimensionales Objekt. Das Referenzbild kann ferner bereitgestellt sein, beispielsweise in einem Speicher abgelegt und/oder bereitgestellt sein. Das Referenzbild zeigt und/oder beschreibt das standardisierte Referenzobjekt, insbesondere wie dieses mit den Abbildungsparametern, im Speziellen der Verzeichnung, und/oder der Kamera, aufgenommen, erscheinen würde. Das Referenzbild beschreibt beispielsweise eine verzeichnete, verzerrte, im Speziellen tonnenförmig verzeichnete Aufnahme des standardisierten Referenzobjekts. Im Speziellen können eine Vielzahl an Referenzbildern bereitgestellt sein, bestimmt und/oder ermittelt werden, beispielsweise unterschiedliche Ansichten, Abstände und/oder Orientierung des standardisierten Referenzbilds. Insbesondere sind die Referenzbilder keine rektifizierten und/oder verzeichnungsfreie Bilder und/oder Aufnahmen des standardisierten Referenzobjekts.
Auf das Kamerabild wird eine Objekterkennung angewendet, beispielsweise ein Objekterkennungsalgorithmus. Die Objekterkennung erfolgt im Kamerabild basierend und/oder unter Verwendung mindestens eines Referenzbildes. Beispielsweise erfolgt die Objekterkennung und/oder der Objekterkennungsalgorithmus unter Verwendung eines neuronalen Netzes, eines CNN (Convolutional Neural Network) und/oder einer SVM (Support vector machine). Als Objekterkennung wird insbesondere die Erkennung eines standardisierten Referenzobjekts und/oder eines dem standardisierten Referenzobjekt ähnlichen Objektes im Kamerabild, im Speziellen im Aufnahmebereich, verstanden. Die Objekterkennung umfasst beispielsweise eine Objekterkennung, Klassifizierung und/oder Lokalisierung. Beispielsweise wird eine Wahrscheinlichkeit bestimmt und/oder ausgegeben werden, wie Wahrscheinlich es sich bei einem Objekt und/oder einen Bildabschnitt des Kamerabildes um ein dem standardisierten Referenzobjekt entsprechendes und/oder ähnliches Objekt handelt. Ferner kann die Objekterkennung ausgebildet sein, andersartige Objekte zusätzlich und/oder ergänzend zu erkennen, beispielsweise Hindernisse und/oder Gefahren. Besonders bevorzugt ist es, dass die Objekterkennung als ein Template Matching ausgebildet ist. Beispielsweise ist die Objekterkennung ausgebildet und oder eingerichtet, ein begrenztes Portfolio und/oder Menge von Objekten und/oder Referenzobjekten zu erkennen und/oder zu klassifizieren. Beispielsweise ist die Objekterkennung für eine begrenzte und/oder eingeschränkte Zahl an Hintergründen, Szenen und/oder Beleuchtungsarten ausgebildet und/oder eingerichtet.
Die Erfindung basiert auf der Überlegung, dass eine Objekterkennung in verzeichneten Kamerabildern möglich ist, ohne diese vorher zu transformieren und/oder zu rektifizieren. Insbesondere dadurch, dass als Referenzbilder Aufnahmen und/oder Bilder eines standardisierten Referenzobjekts mit Verzeichnung verwendet werden. Durch die Verwendung von standardisierten, insbesondere genormten, Referenzobjekten kann ferner eine leistungsfähige Lokalisation, Abstandsbestimmung und/oder Orientierungsbestimmung erfolgen.
Das Verfahren zeichnet sich durch eine verbesserte und gesteigerte Erkennungsrate von Objekten, insbesondere standardisierten Objekten, in Kamerabildern aus. Ferner ist das Verfahren besonders schnell, insbesondere durch eine Reduzierung von Rechenleistung, Prozessorleistung und/oder Datenmengen, da keine Transformation der Kamerabilder durchgeführt werden muss. Stattdessen wird beispielsweise das standardisierte Referenzobjekt in die Bildebene der Kamera transformiert.
Besonders bevorzugt ist es, dass das standardisierte Referenzobjekt eine standardisierte Form, insbesondere genormte Form, eine standardisierte Abmessung, insbesondere genormte Abmessung, und/oder standardisierte Toleranzabweichungen, insbesondere genormte Toleranzabweichungen aufweist. Beispielsweise ist die standardisierte Form eine 3-dimensionale Erscheinungsform, beispielsweise quadratisch, rund und/oder komplexer. Als standardisierte Abmessungen werden beispielsweise standardisierte Längen, Breiten, Höhen, Ausnehmungen, Löcher, und/oder Konstruktionselemente verstanden. Toleranzabweichungen sind beispielsweise erlaubte Abweichungen der Form, der Abmessung und/oder anderweitige Parameter. Das mindestens eine Referenzbild und/oder die Mehrzahl an Referenzbildern sind beispielsweise als ein der Kamera und den Abbildungsparametern aufgenommenes Bild eines solchen standardisierten Referenzobjektes ausgebildet. Beispielsweise werden von dem standardisierten Referenzobjekt eine Mehrzahl an Bildern mit der Kamera und den Abbildungsparametern aufgenommen, beispielsweise für unterschiedliche Abstände, Positionen, Orientierungen, Lagen, Beleuchtungen und/oder anderweitige geometrische oder optische Parameter. Die so aufgenommenen Bilder weisen eine Verzeichnung auf, die auch die Kamerabilder des Aufnahmebereiches aufweisen. Die aufgenommenen Bilder können als Referenzbilder in einem Speichermedium, beispielsweise einem Computer, hinterlegt, gespeichert und/oder abrufbar sein. Insbesondere kann die Objekterkennung und/oder der Objekterkennungsalgorithmus auf die Referenzbilder und/oder aufgenommenen Bilder des standardisierten Referenzobjektes zugreifen. Dieser Ausgestaltung liegt die Überlegung zu Grunde, dass durch die Hinterlegung von verzeichneten Referenzbildern eine besonders schnelle und rechenarmer Objekterkennung auf die Kamerabilder angewendet werden kann.
Alternativ und/oder ergänzend kann das Referenzbild, Teile des Referenzbildes oder die Referenzbilder eine Transformation eines unverzeichneten Bildes bilden und/oder das Referenzbild kann als Transformation eines unverzeichneten Bildes ermittelt werden. Die Transformation ist beispielsweise eine Transformation des unverzeichneten Bildes und/oder standardisierten Referenzobjektes im Bild, unter Anwendung der Abbildungsparameter, beispielsweise in eine Transformation in die Bildebene der Kamera. Die Anwendung der Transformation führt beispielsweise die Verzeichnung in das unverzeichnete Bild ein. Das unverzeichnete Bild bildet beispielsweise eine Aufnahme des standardisierten Referenzobjektes, insbesondere mit keiner und/oder weniger Verzeichnung. Diese Ausgestaltung liegt die Überlegung zugrunde, dass beispielsweise unterschiedliche Kameras mit unterschiedlichen Abbildungsparametern und/oder Verzeichnung zur Objekterkennung verwendet werden können, in dem ein unverzeichnetes Bild unter Anwendung der jeweiligen Abbildungsparameter zu Referenzbildern transformiert wird.
Eine Ausgestaltung der Erfindung sieht vor, dass das Referenzbild basiert und/oder ermittelt wird aus einem Referenzobjektmodell. Das Referenzobjektmodell ist beispielsweise ein 3-D Modell, insbesondere CAD und/oder bemaßtes Modell, des standardisierten Referenzobjektes. Zur Bestimmung des Referenzbildes wird beispielsweise das Referenzobjektmodell in die Bildebene der Kamera transformiert. Insbesondere wird das Referenzobjektmodell basierend auf den Abbildungsparametern zu dem Referenzbild transformiert. Durch die Transformation des Referenzobjektmodells werden die für die Kamera typischen Verzeichnungen im Referenzbild erzeugt. Dieser Ausgestaltung liegt die Überlegung zu Grunde, dass standardisierte Referenzobjekte, insbesondere genormte Referenzobjekte, als 3-D Modell, CAD Modell bzw. im Allgemeinen als Referenzobjektmodell, hinterlegt werden können und in beliebigen Orientierungen, Abständen, Lagen und/oder Positionen unter Kenntnis der Abbildungsparameter transformiert werden können und so basierend auf einem einzigen Modell eine Vielzahl an Referenzbildern generiert werden können Optional ist es vorgesehen, dass eine Mehrzahl an Referenzbildern, insbesondere eines gleichen Referenzobjekts, zur Objekterkennung bereitgestellt sind, ermittelt werden und/oder angewendet werden. Die Mehrzahl an Referenzbildern bilden beispielsweise eine Abbildung, ein Bild, eine Aufnahme mit der Kamera und/oder eine Transformation des standardisierten Referenzobjektes für unterschiedliche Abstände, Orientierungen, Positionen, lagen, Beleuchtungen, Umgebungen und/oder weiteren optischen oder geometrischen Parameter, insbesondere relativ zur Kamera. Die Mehrzahl an Referenzbildern kann hinterlegt und/oder gespeichert sein, beispielsweise zur Reduzierung der Rechenleistung, alternativ und/oder ergänzend durch Transformation und/oder Berechnung ermittelt werden.
Besonders bevorzugt ist es, dass die Kamera ein Fischaugenobjektiv aufweist und/oder der Fischaugenkamera bildet. Die Verzeichnung der Kamera bildet beispielsweise eine Fischaugenverzeichnung, wobei die Verzeichnung einer Fischaugenkamera insbesondere eine tonnenförmige Verzeichnung bildet. Die Referenzbilder bilden und/oder beschreiben eine Aufnahme und/oder ein Bild des standardisierten Referenzobjektes mit einer Fischaugenverzeichnung. Dieser Ausgestaltung liegt die Überlegung zu Grunde, dass Fischaugenobjektive und/oder Fischaugenkameras große Bereiche abbilden und aufnehmen können, wobei statt die Aufnahmen der Fischaugenkamera zu rektifizieren, die Referenzbilder einer Fischaugenaufnahme bilden bzw. Fischaugenverzeichnung aufweisen und zur Objekterkennung, insbesondere als Referenz und/oder als Trainingsdaten eines neuronalen Netzes, herangezogen werden.
Im Speziellen ist es vorgesehen, dass die Objekterkennung, die Bereitstellung, Bestimmung und/oder Ermittlung der Referenzbilder mittels maschinellen Lernen und/oder unter Verwendung eines neuronalen Netzes ausgeführt werden und/oder erfolgen. Insbesondere wird zu Objekterkennung und/oder zur Bestimmung, Ermittlung und/oder Transformation der Referenzbilder ein CNN verwendet. Insbesondere ist das maschinelle Lernen und/oder das neuronalen Netz basierend auf den Referenzbildern trainiert und/oder trainierbar. Das neuronale Netz verwendet beispielsweise als Trainingsdaten Fischaugenaufnahmen des standardisierten Objektes und/oder Transformation von unverzeichneten Bilder. Im Speziellen ist das neuronalen Netz und/oder das maschinellen Lernen trainiert und/oder trainierbar unter Verwendung des Referenzobjektmodells und der Transformation des Referenzobjektmodells unter Verwendung der Abbildungsparameter und unterschiedlichen Positionen, Orientierungen und/oder Abständen.
Besonders bevorzugt ist es, dass das standardisierte Referenzobjekt eine Transportpalette und/oder einen Werkstückträger bildet. Im Speziellen ist das Referenzobjekt als eine Europoolpalette, kurz Europalette, insbesondere gemäß DIN EN 13698 ausgebildet. Das Verfahren ist hierbei insbesondere ausgebildet Transportpaletten in verzeichneten Kamerabildern sicher, schnell und robust zu erkennen.
Die Kamera ist beispielsweise an einem Transportfahrzeug angeordnet. Das Transportfahrzeug ist beispielsweise als ein Niederflurfahrzeuge, Gabelstapler und/oder ein Fahrzeug zum Transport der Transportpaletten ausgebildet. Besonders bevorzugt ist die Kamera an einem statischen Ort des Transportfahrzeugs angeordnet, beispielsweise am Fahrzeugrahmen, als Frontkamera oder als Rückkamera. Eine dynamische, insbesondere nicht statische Anordnung, kann beispielsweise durch Anordnung der Kamera an einem Gabelzinken vorgesehen sein. Als Aufnahmebereich wird beispielsweise ein Teil eines Frontbereichs des Transportfahrzeugs aufgenommen. Das Verfahren sieht vor, das als Objekterkennung beispielsweise die Lage, die Position, der Abstand und/oder die Orientierung der Transportpalette relativ zur Kamera, dem Transportfahrzeug und/oder dem Gabelzinken ermittelt und/oder bestimmt wird. Beispielsweise wird hierzu der Frontbereich eines Gabelstaplers mit einer Fischaugenkamera aufgenommen, wobei Bereiche vor dem Gabelstapler bzw. der Kamera mit einer Fischaugenverzeichnung in den Kamerabildern dargestellt sind. Die Referenzbilder beschreiben beispielsweise Transportpaletten mit der Fischaugenverzeichnung. Durch die Objekterkennung wird in den verzeichneten Kamerabildern basierend auf den Referenzbildern die Lage, Orientierung der Abstand und/oder die Position der Transportpaletten relativ zum Gabelstapler ermittelt. Im Speziellen ist das Transportfahrzeug ein autonom fahrendes Fahrzeug, wobei die Objekterkennung und/oder das Verfahren beispielsweise zu Unterstützung und/oder Ausführung des autonomen Fahrens eingesetzt wird. Vorzugsweise weist das Transportfahrzeug mindestens einen Gabelzinken, im Speziellen zwei Gabelzinken auf. Die Gabelzinken sind zur Aufnahme eines Objekts, insbesondere zur Aufnahme, dem Heben und/oder Transport der Transportpalette ausgebildet. Die Transportpalette weist vorzugsweise mindestens eine, insbesondere zwei oder mehrere Aufnahmeöffnungen auf, wobei die Aufnahmeöffnungen insbesondere ausgebildet sind den oder die Gabelzinken des Transportfahrzeugs auf zu nehmen. Das Verfahren und/oder die Objekterkennung ist ausgebildet, basierend auf der Objekterkennung eine Lage, Position, Abstand und/oder Orientierung zwischen Aufnahmeöffnung und Transportfahrzeug, im Speziellen dem oder den Gabelzinken, zu bestimmen. Insbesondere wird mittels dem Verfahren das Transportfahrzeug, beispielsweise der Gabelstapler, und/oder der Gabelzinken angesteuert, geregelt, geführt und/oder ein Benutzer geleitet zum Einfädeln des Gabelzinken in die Aufnahmeöffnung. Beispielsweise wird mittels der Objekterkennung eine Relativposition und/der Relativlage zwischen Gabelzinken und Aufnahmeöffnung bestimmt, wobei basierend darauf der Gabelstapler und/oder der Gabelzinken in die Aufnahmeöffnung eingefädelt wird.
Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm zur Ausführung auf einem Computer, einer Objekterkennungseinrichtung und/oder einer Kamera. Das Computerprogramm ist ausgebildet und/oder eingerichtet, bei Ausführung, insbesondere auf dem Computer, der Objekterkennungseinrichtung und/oder der Kamera, das Verfahren und/oder Schritte des Verfahrens durchzuführen.
Einen weiteren Gegenstand der Erfindung bildet ein maschinenlesbares Speichermedium, beispielsweise DVD oder Festplattenspeicher. Auf dem Speichermedium ist das Computerprogramm und/oder ein Programmcode des Computerprogramms gespeichert.
Einen weiteren Gegenstand der Erfindung bildet eine Objekterkennungseinrichtung, beispielsweise eine Computereinrichtung und/oder Kamera. Die Objekterkennungseinrichtung ist ausgebildet, mindestens ein Kamerabild aufzunehmen und/oder zu übernehmen. Das Kamerabild ist insbesondere wie im Verfahren beschrieben ausgebildet und weist eine Verzeichnung auf. Der Objekterkennungseinrichtung ist mindestens ein standardisiertes Referenzobjekt und/oder Referenzbild bereitgestellt, dort gespeichert und/oder von dieser bestimmbar. Das Referenzbild ist ausgebildet und/oder erhältlich wie für das Verfahren beschrieben. Die Objekterkennungseinrichtung umfasst ein Auswertemodul, wobei das Auswertemodul ausgebildet ist, eine Objekterkennung auf das Kamerabild anzuwenden, wobei mittels der Objekterkennung basierend auf dem mindestens einen Referenzbild, dem Kamerabild ein Objekt, insbesondere Referenzobjekt, erkannt, klassifiziert und/oder lokalisiert wird. Die Objekterkennungseinrichtung ist ausgebildet und/oder eingerichtet das Verfahren wie vorher beschrieben auszuführen.
Einen weiteren Gegenstand der Erfindung bildet eine Überwachungsanordnung mit der Objekterkennungseinrichtung. Die Überwachungsanordnung umfasst mindestens eine Kamera zur Aufnahme des Kamerabildes. Ferner umfasst die Überwachungsanordnung vorzugsweise eine Speichereinrichtung zum Speichern und/oder hinterlegen des oder der Referenzbilder, des standardisierten Referenzobjektes oder des Referenzobjektmodells.
Weitere Ausgestaltungen und/oder Vorteile ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:
Figur 1 schematisches Kamerabild zur Objekterkennung;
Figur 2 schematischer Ablauf eines Ausführungsbeispiels des Verfahrens.
Figur 1 zeigt beispielhaft ein Kamerabild 1 aufgenommen mit einer Kamera eines Fahrzeugs. Das Fahrzeug ist als ein Gabelstapler ausgebildet und umfasst eine Gabel mit zwei Gabelzinken 2. Die Kamera umfasst ein Fischaugenobjektiv, sodass das Kamerabild 1 eine für Fischaugenkameras übliche Verzeichnung aufweist. Gegenstände und insbesondere gerade Linien erscheinen, vor allem an den Rändern tonnenförmig gekrümmt. Beispielsweise erscheint die Kante 3 des Übergangs Boden 4 zu Wand 5 gebogen, obwohl diese in der Realität ungekrümmt ist. Auch die in Realität geraden Gabelzinken 2 erscheinen im Kamerabild 1 aufgrund der Verzeichnung gekrümmt. Das Kamerabild 1 zeigt einen Aufnahmebereich 6, der einen Abschnitt einer Lagerhalle bildet. Der Aufnahmebereich 6, bzw. die Lagerhalle, umfasst ein Regal 7 mit mehreren Regalböden 8. Auf dem untersten und dem obersten Regalboden 8 befindet sich jeweils eine Transportpalette 9 mit Öffnungen 10 zur Aufnahme der Gabelzinken 2. Bedingt durch die Verzeichnung erscheint auch die an sich genormte bzw. standardisierte Transportpalette 9 gekrümmt. Für übliche Objekterkennungen müsste das Kamerabild rektifiziert werden, sodass das Regal 7, die Gabelzinken 2 und die Transportpalette 9 gerade bzw. real aussieht. Gemäß dem Verfahren wird die Objekterkennung auf die Kamerabilder 1 angewendet, ohne diese vorher zur transformieren und/oder zu rektifizieren. Insbesondere ist das Verfahren ausgebildet und/oder eingerichtet, das Transportfahrzeug basierend auf der Objekterkennung zum Einfädeln der Gabelzinken 2 in die Aufnahmeöffnungen 10 anzusteuern.
Figur 2 zeigt schematisch einen Ablauf des Verfahrens zur Objekterkennung basierend auf und/oder in dem Kamerabild 1. Das Kamerabild 1, insbesondere wie in Figur 1, weißt eine Verzeichnung auf und wird einem Auswertemodul 11 bereitgestellt. Das Auswertemodul 11 ist ausgebildet und/oder eingerichtet, basierend auf Referenzbilder 12 in den Kamerabilder 1 ein Referenzobjekt 13 zu erkennen, zu lokalisieren und/oder zu klassifizieren.
Die Referenzbilder 12 zeigen das Referenzobjekt 13 in unterschiedlichen Orientierungen, Abständen zur Kamera bzw. Bildebene und/oder Positionen. Die Referenzbilder weisen eine Verzeichnung auf, die im der Verzeichnung der Kamerabilder 1 entspricht, hier eine Fischaugenverzeichnung. Die Referenzobjekte 13 in den Referenzbildern 12 erscheinen daher gekrümmt und/oder verzogen. Das Auswertemodul 11 kann basierend auf den Referenzbildern 12 bzw. den verzeichneten Referenzobjekten 13 in den Referenzbildern 12 in den Kamerabildern 1 das Referenzobjekt erkennen, lokalisieren und/oder klassifizieren. Das Referenzobjekt 13 bildet hier eine Transportpalette 9 wie in Figur 1 gezeigt.
Die Referenzbilder 12 können von einem Bestimmungsmodul 14, insbesondere basierend auf einem neuronalen Netz, bestimmt werden. Dem Bestimmungsmodul 14 ist ein Referenzobjektmodell 15 bereitgestellt. Das Referenzobjektmodell 15 ist ein dreidimensionales Modell, z.B. CAD-Modell, des Referenzobjekts 12. Ferner sind dem Bestimmungsmodul 14 Abbildungsparameter der Kamera bereitgestellt, insbesondere die Abbildungsparameter 16 die zur Verzeichnung und/oder eine Brennweite. Basierend auf den Abbildungsparametern 16 und dem Referenzobjektmodell 15 werden die Referenzbilder 12 vom Bestimmungsmodul 14 ermittelt, beispielsweise durch Berechnung der Abbildung des Referenzobjektmodells 15 unter Anwendung der Abbildungsparameter 16.
Das Auswertemodul 11 ist ausgebildet, basierend auf den Referenzbildern eine Wahrscheinlichkeit 17 zu ermitteln, dass in dem Kamerabild 1 ein Referenzobjekt 13, hier eine Palette 9, vorliegt. Ferner kann basierend auf dem Kamerabild 1 und den Referenzbildern 12 ein Relativabstand, eine Relativlage und/oder Relativposition zwischen Palette 9 und Fahrzeug, insbesondere Gabelzinken 2, zu bestimmen. Beispielsweise durch vergleichen, welches der Referenzbilder 12 die in dem Kamerabild 1 umfasste Palette 9 am besten wiedergibt, wobei so auf Abstand, Lage und/oder Orientierung geschlossen werden kann. Alternativ und/oder ergänzend kann basierend auf dem Referenzobjektmodell 15 vom Bestimmungsmodul ein Referenzbild 12 ermittelt werden, dass am besten die Palette 9 des Kamerabilds 1 wiedergibt, wobei basierend auf dem Referenzbild 12 und den Abbildungsparametern 16 dann Abstand, Lage und/oder Orientierung bestimmt werden.

Claims

Ansprüche
1. Verfahren zur Objekterkennung mit den Schritten:
Aufnehmen mindestens eines Kamerabildes (1) eines Aufnahmebereichs (6) mittels einer Kamera, wobei die Kamera Abbildungsparameter (16) aufweist, wobei das Kamerabild (1) eine auf den Abbildungsparametern (16) basierende Verzeichnung aufweist, wobei von einem standardisierten Referenzobjekt (13) mindestens ein Referenzbild (12) bereitgestellt oder bestimmt wird, wobei das Referenzbild (12) das standardisierte Referenzobjekt (13) mit der auf den Abbildungsparametern (16) basierenden Verzeichnung umfasst und/oder beschreibt, wobei basierend auf dem Referenzbild (12) auf das Kamerabild (1) eine Objekterkennung angewendet wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das standardisierte Referenzobjekt (13) eine standardisierte Form, eine standardisierte Abmessung und/oder Toleranzabweichungen aufweist, wobei das mindestens eine Referenzbild (12) ein mit den Abbildungsparametern (16) der Kamera aufgenommenes Bild des standardisierten Referenzobjekts (13) bildet.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das standardisierte Referenzobjekt (13) eine standardisierte Form, eine standardisierte Abmessung und/oder Toleranzabweichungen aufweist, wobei das mindestens eine Referenzbild (12) eine auf den Abbildungsparametern (16) basierende Transformation eines unverzeichneten Bildes des standardisierten Referenzobjekts (13) bildet.
4. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass basierend auf einem Referenzobjektmodell (15) des standardisierten Referenzobjekts (13) das mindestens eine Referenzbild (12) durch auf den Abbildungsparametern (16) basierende Transformation des Referenzobjektmodells (15) bestimmt wird. Verfahren nach einem der vorherigen Ansprüche, gekennzeichnet durch eine Mehrzahl an Referenzbildern (12), wobei die Referenzbilder (12) auf den Abbildungsparametern (16) basierende Abbildungen, Bilder und/oder Transformationen des standardisierten Referenzobjekts (13) in unterschiedliche Abstände, Positionen, Orientierungen und/oder Lagen bilden. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Kamera ein Fischaugenobjektiv aufweist, wobei die Verzeichnung eine Fischaugenverzeichnung bildet. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das standardisierte Referenzobjekt (13) mindestens eine Aufnahmeöffnung (10) aufweist, wobei mittels der Objekterkennung eine Position, Lage und/oder Orientierung der Aufnahmeöffnung (10) eines erkannten Referenzobjekts (9, 13) bestimmt wird. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Objekterkennung und/oder Bestimmung der Referenzbilder (12) mittels maschinellem Lernen und/oder eines neuronalen Netzes erfolgt. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das standardisierte Referenzobjekt (13) eine Transportpalette (9) beschreibt. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Kamera an einem Transportfahrzeug zum Transport der Transportpalette (9) angeordnet ist, wobei basierend auf der Objekterkennung eine Lage, eine Position, einen Abstand und/oder eine Orientierung der Transportpalette (9) relativ zum Transportfahrzeug bestimmt wird. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass das Transportfahrzeug mindestens einen Gabelzinken (2) aufweist, wobei die Transportpalette (9) mindestens eine Aufnahmeöffnung (10) zur Aufnahme - 14 - des mindestens einen Gabelzinken (2) aufweist, wobei basierend auf der Objekterkennung eine Lage, Position, Abstand und/oder Orientierung der Aufnahmeöffnung (10) relativ zum Transportfahrzeug und/oder Gabelzinken (2) ermittelt wird, wobei basierend auf der Objekterkennung ein Einfädeln des Gabelzinken (2) in die Aufnahmeöffnung (10) geführt, geleitet, gesteuert und/oder geregelt wird. Computerprogramm, wobei das Computerprogramm ausgebildet und/oder eingerichtet ist, bei Ausführung des Computerprogramms das Verfahren nach einem der vorherigen Ansprüche durchzuführen. Speichermedium wobei auf dem Speichermedium das Computerprogramm nach Anspruch 12 gespeichert ist. Objekterkennungseinrichtung, wobei der Objekterkennungseinrichtung mindestens ein Kamerabild (1) eines Aufnahmebereichs (6) bereitgestellt ist, mit einem Auswertemodul (11), wobei dem Auswertemodul (11) mindestens ein Referenzbild (12) und/oder ein Referenzobjektmodell (15) zu Bestimmung des Referenzbildes (12) bereitgestellt ist, wobei das Referenzbild (12) und das Kamerabild (1) eine Verzeichnung aufweisen, wobei das Auswertemodul (11) ausgebildet ist, basierend auf dem Referenzbild (12) eine Objekterkennung des Referenzobjekts auf das Kamerabild (1) anzuwenden. Überwachungsanordnung mit der Objekterkennungseinrichtung nach Anspruch 14 und mindestens einer Kamera zur Aufnahme des Kamerabildes (1).
PCT/EP2021/075365 2020-09-23 2021-09-15 Verfahren zur objekterkennung, computerprogramm, speichermedium, objekterkennungseinrichtung und überwachungsanordnung WO2022063654A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020211892.2A DE102020211892A1 (de) 2020-09-23 2020-09-23 Verfahren zur Objekterkennung, Computerprogramm, Speichermedium, Objekterkennungseinrichtung und Überwachungsanordnung
DE102020211892.2 2020-09-23

Publications (1)

Publication Number Publication Date
WO2022063654A1 true WO2022063654A1 (de) 2022-03-31

Family

ID=77924371

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/075365 WO2022063654A1 (de) 2020-09-23 2021-09-15 Verfahren zur objekterkennung, computerprogramm, speichermedium, objekterkennungseinrichtung und überwachungsanordnung

Country Status (2)

Country Link
DE (1) DE102020211892A1 (de)
WO (1) WO2022063654A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022124066A1 (de) 2022-09-20 2024-03-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Erstellung von Trainingsdatensätzen für eine auf künstlicher Intelligenz basierende Bildverarbeitung, Computerprogrammprodukt sowie Fahrzeug
DE102022124064A1 (de) 2022-09-20 2024-03-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Erstellung eines Trainingsdatensatzes für ein maschinelles Lernverfahren unter Verwendung eines Roboters, Computerprogrammprodukt sowie Fahrzeug

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202012004864U1 (de) * 2012-05-16 2012-12-10 Fusionsystems Gmbh Automatische Erkennung und Lokalisierung von Transportpaletten durch Datenfusion der Sensordaten eines Laserscanners und einer bildgebenden Kamera (Palettensensor)
EP2769362B1 (de) 2011-10-19 2018-09-05 Crown Equipment Corporation Identifizierung und auswahl von objekten, die paletten in einer bildszene entsprechen können
DE102018205964A1 (de) * 2018-04-19 2019-10-24 Zf Friedrichshafen Ag Verfahren und Steuergerät zum Navigieren eines autonomen Flurförderfahrzeugs

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019202076A1 (de) 2019-02-15 2020-08-20 Indyon Gmbh Gabelstapler und system mit gabelstapler zur identifikation einer ware

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2769362B1 (de) 2011-10-19 2018-09-05 Crown Equipment Corporation Identifizierung und auswahl von objekten, die paletten in einer bildszene entsprechen können
DE202012004864U1 (de) * 2012-05-16 2012-12-10 Fusionsystems Gmbh Automatische Erkennung und Lokalisierung von Transportpaletten durch Datenfusion der Sensordaten eines Laserscanners und einer bildgebenden Kamera (Palettensensor)
DE102018205964A1 (de) * 2018-04-19 2019-10-24 Zf Friedrichshafen Ag Verfahren und Steuergerät zum Navigieren eines autonomen Flurförderfahrzeugs

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BELOSHAPKO A ET AL: "Industrial Fisheye Image Segmentation Using Neural Networks", 29 June 2019, ADVANCES IN DATABASES AND INFORMATION SYSTEMS; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER INTERNATIONAL PUBLISHING, CHAM, PAGE(S) 678 - 690, ISBN: 978-3-319-10403-4, XP047512336 *
KAI WANG ET AL: "Synthetic Data Generation and Adaption for Object Detection in Smart Vending Machines", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 28 April 2019 (2019-04-28), XP081268121 *

Also Published As

Publication number Publication date
DE102020211892A1 (de) 2022-03-24

Similar Documents

Publication Publication Date Title
DE112017002154B4 (de) Mobiler Roboter und Steuerverfahren für einen mobilen Roboter
WO2022063654A1 (de) Verfahren zur objekterkennung, computerprogramm, speichermedium, objekterkennungseinrichtung und überwachungsanordnung
DE102009016705B4 (de) System und Verfahren zur visuellen Erkennung
Forssén et al. Informed visual search: Combining attention and object recognition
DE102015015194A1 (de) Bildverarbeitungsvorrichtung und -verfahren und Programm
DE102015103022A1 (de) Verfahren und Vorrichtung zum Erkennen eines bekannten Objekts in einem Sehfeld eines dreidimensionalen Maschinensichtsystems
KR101318812B1 (ko) 에지의 방향 성분을 검출하는 영상 필터링 방법 및 이를 이용한 영상 인식 방법
CN111738995B (zh) 一种基于rgbd图像的目标检测方法、装置及计算机设备
DE112009000949T5 (de) Detektion eines freien Fahrpfads für ein Fahrzeug
DE102014016072A1 (de) Vorrichtung und Verfahren zum Aufheben eines willkürlich aufgestapelten Gegenstands mittels eines Roboters
Ali et al. Visual tree detection for autonomous navigation in forest environment
Qiao et al. Data augmentation for deep learning based cattle segmentation in precision livestock farming
Lin et al. Development of navigation system for tea field machine using semantic segmentation
EP3211611A1 (de) Verfahren zum rechnergestützten leer-erkennen eines transportbehälters und vorrichtung zum rechnergestützten leer-erkennen eines transportbehälters
Song et al. Object tracking with 3D LIDAR via multi-task sparse learning
DE112017002156T5 (de) Beweglicher roboter, system für mehrere bewegliche roboter, und kartenlernverfahren für bewegliche roboter
DE112020004872T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
DE112019006132T5 (de) Verfahren, system und vorrichtung zur hilfsetikett-erkennung und -zuordnung
DE102020103575B4 (de) Merkmalspunktdetektionsvorrichtung und -verfahren zur Detektion von Merkmalspunkten in Bilddaten
BE1029791B1 (de) System und verfahren zum detektieren der kalibrierung eines 3d- sensors
Varga et al. Improved autonomous load handling with stereo cameras
DE102019120022A1 (de) Flurförderzeug mit einer Objekterkennung
DE102019115224A1 (de) System und verfahren zum auffinden und klassifizieren von linien in einem bild mittels eines schichtsystems
WO2020160861A1 (de) Kalibrierung eines sensors für ein fahrzeug basierend auf objektseitigen und bildseitigen identifikationsindizes eines referenzobjektes
DE112019004975T5 (de) Verfahren, system und vorrichtung zur bestimmung einer trägerstrukturtiefe

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21778001

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21778001

Country of ref document: EP

Kind code of ref document: A1