WO2020104263A1 - Verfahren, steuergerät, system und computerprogramm zur bestimmung von charakteristischen objektpunkten eines zielobjektes sowie verfahren zum kameragestützten positionieren eines motorbetriebenen fahrzeugs - Google Patents

Verfahren, steuergerät, system und computerprogramm zur bestimmung von charakteristischen objektpunkten eines zielobjektes sowie verfahren zum kameragestützten positionieren eines motorbetriebenen fahrzeugs

Info

Publication number
WO2020104263A1
WO2020104263A1 PCT/EP2019/081116 EP2019081116W WO2020104263A1 WO 2020104263 A1 WO2020104263 A1 WO 2020104263A1 EP 2019081116 W EP2019081116 W EP 2019081116W WO 2020104263 A1 WO2020104263 A1 WO 2020104263A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
target object
vehicle
positioning
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2019/081116
Other languages
English (en)
French (fr)
Inventor
Martin Rapus
Christian Herzog
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of WO2020104263A1 publication Critical patent/WO2020104263A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the invention relates to a method for determining characteristic object points of a target object, which are suitable for camera-assisted positioning of a motor-driven vehicle on the target object, a system for determining characteristic object points of a target object, a control device for the system, a method for camera-based positioning of a motor vehicle and a computer program with program code to perform the steps of one of the methods.
  • the object is achieved by a method for determining characteristic object points of a target object, which are suitable for camera-supported positioning of a motor-driven vehicle on the target object, with the following steps:
  • the processing unit determining characteristic object points of the target object in the images of the image data set;
  • the object is further achieved by a method for camera-assisted positioning of a motor-driven vehicle in relation to a target object, the characteristic object points of which were determined by means of the method according to the invention, with the following steps:
  • a control device for a system for determining characteristic object points of a target object and / or for camera-assisted positioning of a motor-driven vehicle in relation to a target object also solves the task, the control device being designed to carry out a method according to the invention.
  • the object is achieved by a system for determining characteristic object points of a target object and / or for camera-supported positioning of a motor-operated vehicle in relation to a target object, with a vehicle, at least one camera attached to the vehicle and a control device according to the invention.
  • the at least one camera can be provided at the rear of the vehicle in order to enable rearward positioning.
  • the object is further achieved by a computer program with program code which is adapted to carry out the steps of a method according to the invention if the Computer program is executed on a computer or a corresponding computing unit, in particular on a computing unit of a control device according to the invention of a system according to the invention.
  • the computing unit can be a processing unit and / or an evaluation unit.
  • the image data contain images that the camera would also record when the vehicle was automatically positioned.
  • the characteristic object points can thus be determined on the basis of the same images that will also be available to a system when the vehicle is positioned at least partially autonomously.
  • the processing unit can automatically and easily determine characteristic object points that can always be identified in the image and are easy to identify.
  • Position data of the target object are preferably created, in particular by the processing unit, the position data comprising the position of the characteristic object points on the target object, in particular the relative position of the characteristic object points to one another on the target object.
  • the characteristic object points can be easily reproduced using the location data.
  • the processing unit is provided with a model, in particular a 3D model, of the target object, the processing unit marking the characteristic object points in the model, as a result of which the characteristic object points are clearly marked.
  • the processing unit can determine the two-dimensional coordinates of the characteristic object points in at least one of the images of the image data.
  • the processing unit preferably uses the two-dimensional coordinates of the characteristic object points to determine the three-dimensional coordinates of the characteristic object points in the 3D model, as a result of which the characteristic object points are marked precisely in the model.
  • the camera-based sample positioning maneuver is carried out virtually by a simulation unit, the model being provided with a model, in particular a 3D model, of the target object, the simulation unit based on the 3D model of the target object during the execution of the trial positioning maneuver generates two-dimensional images which correspond to the images taken by a camera on the vehicle during the implementation of the trial positioning maneuver. In this way, development costs can be saved since no driving maneuvers with real vehicles and target objects have to be carried out.
  • the or another camera-assisted trial positioning maneuver is carried out by means of a physical camera and the target object or a replica of the target object, the camera being guided during the trial positioning maneuver in such a way that the images taken by the camera during the execution of the positioning maneuver are the same Correspond to images of a camera on the vehicle.
  • the camera can generate the image data. In this way, dynamics of the trial positioning maneuver can be recorded particularly precisely.
  • the camera is attached to the vehicle, with the test positioning maneuver being carried out with the vehicle, in particular with the camera being calibrated with respect to its position and orientation relative to the vehicle. This makes it easy to deduce the position of the vehicle from the images from the camera.
  • the image data can have time stamps of the images which indicate the temporal position of the respective image in the trial positioning maneuver, the time stamps being taken into account when determining the characteristic object points of the target object.
  • the determination of the characteristic object points can be further improved by carrying out a plurality of camera-assisted trial positioning maneuvers, in particular where at least one of the camera-assisted trial positioning maneuvers is a successful trial positioning maneuver and / or at least one of the camera-assisted trial positioning maneuvers is an unsuccessful trial positioning maneuver.
  • the processing unit can comprise a machine learning module, in particular an artificial neural network, which is set up to determine the characteristic object points of the target object on the basis of at least one of the images of the image data set.
  • the position and / or the orientation of the vehicle can be determined using the evaluation unit, in particular a machine learning module.
  • the evaluation unit in particular a machine learning module.
  • FIG. 1 a shows a system according to the invention for determining characteristic object points of a target object schematically in a bird's eye view in a first position during a positioning maneuver
  • FIG. 1b shows a schematic two-dimensional image which corresponds to the image taken by a camera on the vehicle of the system according to FIG. 1a at the time shown in FIG. 1a,
  • FIG. 2a shows the system according to FIG. 1a in a second position during the positioning maneuver
  • FIG. 2b shows a two-dimensional image similar to the image in FIG. 1b at the time of the situation in FIG. 2a
  • FIG. 3a shows the system according to FIG. 1a in a third position during the positioning maneuver
  • FIG. 3b shows a two-dimensional image similar to the images in FIGS. 1b and 2b at the time of the situation in FIG. 3a
  • FIG. 4 shows a flowchart of a method according to the invention for determining characteristic object points of a target object and a subsequent method according to the invention for camera-assisted positioning of a vehicle on the target object, and
  • Figure 5 schematically shows a second embodiment of a system according to the invention.
  • FIG. 1 schematically shows a motor-driven vehicle 10 that is to be positioned opposite a target object 12.
  • the vehicle 10 is a car or a truck and the target object 12 is a trailer or, as in the exemplary embodiment shown, a swap body that is to be driven under.
  • the swap body comprises a container 26 which stands on supports 28 (FIG. 1 b).
  • the vehicle 10 has a camera 14, which is preferably provided on the rear 16 of the vehicle 10.
  • the camera 14 is firmly positioned and calibrated on the vehicle 10, so that the viewing angle of the camera 14 depends on the position and location of the vehicle 10.
  • FIG. 1 b The image recorded by the camera 14 in the situation shown in FIG. 1 a is shown in FIG. 1 b.
  • the vehicle also has a control unit 18, which includes a processing unit 20.
  • the processing unit 20 can in turn have a machine learning module 21, for example an artificial neural network.
  • a database 22 can be provided in the control unit 18, in which 3D models of the target object 12, in particular CAD models, are stored.
  • the processing unit 20 has access to the database 22 and thus to the 3D models.
  • the database 22 is present outside the control device 18, for example on a server in a network or on the Internet, the processing unit 20 being provided with at least the 3D model of the corresponding target object 12, for example via a network connection.
  • the vehicle 10, the camera 14 and the control unit 18 form a system 23 with which characteristic object points 30 of the target object 12 can be determined.
  • control device 18 and / or the processing unit 20 are provided outside the vehicle 10.
  • the image data or the images are transmitted to the control unit by cable, data carrier or wirelessly.
  • a test positioning maneuver is carried out with the vehicle 10, in which the vehicle 10 is moved toward the target object 12.
  • the vehicle 10 approaches the target object 12 successively, as can be seen in FIGS. 1 a, 2a and 3a, which represent three different positions during a trial positioning maneuver.
  • the target object 12 can also be a replica of a target object in order to save costs.
  • FIGS. 3a and 3b it can be clearly seen that the vehicle 10 is correctly aligned with the target object 12 and can now underpass the swap body by further resetting.
  • the trial positioning maneuver shown in FIGS. 1 a to 3a is thus successful.
  • Figures 1 b, 2b and 3b show the two-dimensional image that the camera 14 of the vehicle 10 in the situation of Figure 1 a, 2a and 3a takes (step S1).
  • the images are taken by the camera 14 at regular intervals or continuously and transmitted to the control unit 18.
  • the swap body i. H. the target object 12 in the image of the camera 14 is taking up more and more space, the contact points 24 at which the container 26 is connected to the supports 28 are always in the image.
  • the individual images are two-dimensional and are combined by the control unit 18 into image data, provided that this has not yet been done by the camera 14.
  • the two-dimensional images are, of course, those images which were recorded while a trial positioning maneuver was being carried out.
  • the camera imprints the images with a time stamp that indicates the time at which the image was taken or the chronological sequence of the images.
  • the time stamps can also be transmitted to the control unit 18 separately from the images.
  • the image data are transferred from the control unit 18 or the camera 14 to the processing unit 20 (step S2).
  • the processing unit 20 comprises a machine learning module 21, which has an artificial neural network, for example.
  • the artificial neural network is set up or trained to recognize characteristic object points 30 on the target object 12.
  • “Characteristic object points” 30 are parts or sections of the target object 12 that can be clearly identified from as many different angles of view of the target object 12 and that are in the field of view of the camera 14 in as many situations as possible during a positioning maneuver.
  • the contact points 24 are suitable as such distinctive points and thus as characteristic object points 30.
  • the processing unit 20 uses as many of the two-dimensional images of the image data as possible.
  • the time stamp of each image can also be taken into account. (Step S3)
  • a next step S4 the processing unit 20 determines the two-dimensional coordinates of the recognized characteristic object points 30 in the images of the image data.
  • step S5 which can also be carried out earlier, the processing unit 20 loads or receives a 3D model, e.g. B. a CAD model of the target object 12 from the database 22nd
  • the processing unit determines the three-dimensional coordinates of the characteristic object points 30 on the 3D model of the device in step S6 Target 12.
  • the processing unit 20 has automatically determined the relative position of the characteristic object points 30 on the target object 12.
  • the processing unit 20 can now mark the characteristic object points 30 in the 3D model of the target object 12 (step S7), whereby position data of the target object 12 are created.
  • the location data can now be used to perform camera-assisted positioning of the vehicle 10 on the target object 12 at least partially autonomously.
  • image data from several sample positioning maneuvers can be used.
  • a second trial positioning maneuver is indicated with dashed lines.
  • the vehicle 10 is not correctly aligned towards the target object 12 at the end, so that this second trial positioning maneuver is unsuccessful.
  • unsuccessful trial positioning maneuvers also provide important information and information, so that the image data of this trial positioning maneuver are used to determine the characteristic object points 30.
  • the vehicle 10 With the aid of the determined position data and characteristic object points 30, the vehicle 10 can be positioned with the aid of a camera in relation to the target object 12.
  • the vehicle 10 can be positioned with the aid of a camera in relation to the target object 12.
  • FIGS. 1 to 3 since the same situations exist.
  • the camera 14 takes pictures of the target object 12 continuously or at regular intervals (step P1).
  • a machine learning module such as an artificial neural network
  • the evaluation unit 32 has access to the previously determined position data of the target object 12, i.e. in this exemplary embodiment, a 3D model of the target object 12, in which the characteristic object points 30 are marked. The evaluation unit 32 therefore knows the relative position of the characteristic object points 30.
  • the evaluation unit 32 can determine the position and the orientation of the vehicle 10 relative to the target object 12 (step P3).
  • the control unit 18 can then at least partially autonomously position the vehicle 10 and thus position it relative to the target object 12 (step P4) until the vehicle 10 is correctly positioned.
  • the position and the orientation of the vehicle 10 with respect to the target object 12 can also take place by means of the machine learning module 21 or the artificial neural network.
  • the control unit 18, the processing unit 20 and the evaluation unit 32 comprise a computer program that has program code.
  • the program code is written in such a way that it causes the control unit 18, the processing unit 20 or the evaluation unit 32 to carry out the steps of the described methods when it is executed on the control unit 18, the processing unit 20 or the evaluation unit 32.
  • FIG. 5 shows a second embodiment of the system 23, which can carry out a second embodiment of the method for determining the characteristic object points 30.
  • the system 23 and the method essentially correspond to the system 23 and the method of the first embodiment, so that only the differences are discussed below. Identical and functionally identical parts are provided with the same reference numerals.
  • no physical test positioning maneuvers are carried out with a vehicle 10 on a target object 12.
  • the 3D models of the target object 12 and possibly the vehicle 10 of a simulation unit 34 are provided.
  • a sample positioning maneuver is simulated by means of the simulation unit 34, in which a predetermined path of the vehicle 10 to the target object 12 is simulated.
  • the simulation unit 34 generates images at various positions during the simulated test positioning maneuver, which correspond, for example, to the images of FIGS. 1b, 2b and 3b.
  • the simulation unit 34 thus generates images which correspond to the images which have been or are being recorded by a camera 14 on a vehicle 10 during the execution of a (trial) positioning maneuver.
  • a motor vehicle is shown as vehicle 10.
  • the process can also be applied to other vehicles, such as construction equipment or ships.
  • the motor-driven vehicle 10 is designed as a ship that is to cross a pier passage and dock at a landing stage, the “target object” 12 is generally defined in this case as a port including an entrance.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Ein Verfahren zur Bestimmung von charakteristischen Objektpunkten (30) eines Zielobjekts (12), die zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs (10) an dem Zielobjekt (12) geeignet sind, hat die folgenden Schritten: - Durchführen eines kameragestützten Probepositioniermanövers; Erzeugen von Bilddaten, die mehrere zweidimensionale Bilder enthalten, die den von einer Kamera (14) am Fahrzeug (10) aufgenommenen Bildern während der Durchführung des Probepositioniermanövers entsprechen; - Zuführen der Bilddaten zu einer Verarbeitungseinheit (20); - Bestimmen von charakteristischen Objektpunkten (30) des Zielobjekts (12) in den Bildern des Bilddatensatzes durch die Verarbeitungseinheit (20). Ferner ist ein Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs, ein Steuergerät sowie ein System zur Bestimmung von charakteristischen Objektpunkten sowie ein Computerprogramm hierzu gezeigt.

Description

Verfahren, Steuergerät, System und Com puterproq ramm zur Bestimmung von charakteristi schen Obiektpunkten eines Zielobiektes sowie Verfahren zum kameraqestützten Positionie ren eines motorbetriebenen Fahrzeugs
Die Erfindung betrifft ein Verfahren zur Bestimmung von charakteristischen Objektpunkten eines Zielobjektes, die zum kameragestützten Positionieren eines motorbetriebenen Fahr zeugs an dem Zielobjekt geeignet sind, ein System zur Bestimmung von charakteristischen Objektpunkten eines Zielobjektes, ein Steuergerät für das System, ein Verfahren zum kame ragestützten Positionieren eines motorbetriebenen Fahrzeugs sowie ein Computerprogramm mit Programmcode, um die Schritte eines der Verfahren durchzuführen.
Um Fahrzeuge wenigstens teilweise automatisch gegenüber einem Zielobjekt positionieren zu können, beispielsweise um einen Lkw gegenüber einem Anhänger oder einer Wechsel brücke zu positionieren, ist es bisher notwendig, das Zielobjekt für die Positionierungsproze dur extra zu präparieren, um charakteristische Objektpunkte des Zielobjektes für das Fahr zeug zu markieren. Beispielsweise müssen ein Sensor, Markierungen, Mustertafeln oder Ähnliches an dem Zielobjekt angebracht werden, um die Position und die Ausrichtung des Zielobjektes gegenüber dem Fahrzeug automatisch erfassen zu können.
Auch bei Verfahren, bei denen die Markierung der charakteristischen Objektpunkte digital in einem Modell erfolgt, müssen diese charakteristischen Objektpunkte manuell gefunden und markiert werden. Dies stellt einen großen Aufwand dar, da es eine Vielzahl von Zielobjekten gibt, die mit charakteristischen Objektpunkten versehen werden müssen.
Es ist daher Aufgabe der Erfindung, ein Verfahren, ein Steuergerät sowie ein System bereit zustellen, die die charakteristischen Objektpunkte eines Zielobjekts automatisch bestimmen und markieren können.
Die Aufgabe wird gelöst durch ein Verfahren zur Bestimmung von charakteristischen Objekt punkten eines Zielobjekts, die zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs an dem Zielobjekt geeignet sind, mit den folgenden Schritten:
Durchführen eines kameragestützten Probepositioniermanövers;
Erzeugen von Bilddaten, die mehrere zweidimensionale Bilder enthal ten, die den von einer Kamera am Fahrzeug aufgenommenen Bildern wäh rend der Durchführung des Probepositioniermanövers entsprechen;
Zuführen der Bilddaten zu einer Verarbeitungseinheit; Bestimmen von charakteristischen Objektpunkten des Zielobjekts in den Bildern des Bilddatensatzes durch die Verarbeitungseinheit;
Ferner wird die Aufgabe gelöst durch ein Verfahren zum kameragestützten Positionieren ei nes motorbetriebenen Fahrzeugs in Bezug zu einem Zielobjekt, dessen charakteristischen Objektpunkte mittels des erfindungsgemäßen Verfahrens ermittelt wurden, mit den folgenden Schritten:
Aufnehmen eines Bilds des Zielobjekts mittels wenigstens einer am Fahrzeug angebrachten Kamera;
Ermitteln von Positionen charakteristischer Objektpunkte des Zielob jekts auf dem durch die Kamera aufgenommenen Bild des Zielobjekts mittels einer Auswerteeinheit;
Vergleichen der ermittelten Positionen der charakteristischen Objekt punkte mit Lagedaten, die eine relative Lage der charakteristischen Objekt punkte zueinander auf dem Zielobjekt umfassen;
Ermitteln einer Position und/oder einer Orientierung des motorbetriebe nen Fahrzeugs relativ zum Zielobjekt basierend auf dem Ergebnis des Ver gleichs; und
Positionieren des motorbetriebenen Fahrzeugs in Bezug zum Zielob jekt basierend auf der ermittelten Position und/oder der ermittelten Orientie rung wenigstens teilweise autonom.
Auch ein Steuergerät für ein System zur Bestimmung von charakteristischen Objektpunkten eines Zielobjekts und/oder zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs in Bezug zu einem Zielobjekt löst die Aufgabe, wobei das Steuergerät dazu aus gebildet ist, ein erfindungsgemäßes Verfahren durchzuführen.
Ferner wird die Aufgabe gelöst durch ein System zur Bestimmung von charakteristischen Objektpunkten eines Zielobjekts und/oder zum kameragestützten Positionieren eines motor betriebenen Fahrzeugs in Bezug zu einem Zielobjekt, mit einem Fahrzeug, wenigstens einer an dem Fahrzeug angebrachten Kamera und einem erfindungsgemäßen Steuergerät.
Die wenigstens eine Kamera kann am Heck des Fahrzeugs vorgesehen sein, um ein rück wärtiges Positionieren zu ermöglichen.
Die Aufgabe wird ferner gelöst durch ein Computerprogramm mit Programmcode, der dazu angepasst ist, die Schritte eines erfindungsgemäßen Verfahren durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausge führt wird, insbesondere auf einer Recheneinheit eines erfindungsgemäßen Steuergeräts ei nes erfindungsgemäßen Systems. Die Recheneinheit kann eine Verarbeitungseinheit und/o der eine Auswerteeinheit sein.
Dadurch, dass ein Probepositioniermanöver durchgeführt und Bilder während des Probepo sitioniermanövers erzeugt werden, enthalten die Bilddaten Bilder, die die Kamera auch beim automatischen Positionieren des Fahrzeugs aufnehmen würde. Somit können die charakte ristischen Objektpunkte anhand der gleichen Bilder ermittelt werden, die einem System auch beim zumindest teilautonomen Positionieren des Fahrzeugs zur Verfügung stehen werden. Die Bestimmung von charakteristischen Objektpunkten, die stets im Bild und gut zu identifi zieren sind, ist dadurch einfach und effizient durch die Verarbeitungseinheit automatisch möglich.
Vorzugsweise werden Lagedaten des Zielobjekts erstellt, insbesondere von der Verarbei tungseinheit, wobei die Lagedaten die Lage der charakteristischen Objektpunkte auf dem Zielobjekt umfassen, insbesondere die relative Lage der charakteristischen Objektpunkte zu einander auf dem Zielobjekt. Durch die Lagedaten können die charakteristischen Objekt punkte einfach vervielfältigt werden.
Beispielsweise wird der Verarbeitungseinheit ein Modell, insbesondere ein 3D-Modell, des Zielobjekts bereitgestellt, wobei die Verarbeitungseinheit die charakteristischen Objektpunkte im Modell markiert, wodurch eine eindeutige Markierung der charakteristischen Objektpunkte erreicht wird.
Zur besseren Identifikation der charakteristischen Objektpunkte, kann die Verarbeitungsein heit die zweidimensionalen Koordinaten der charakteristischen Objektpunkte in zumindest einem der Bilder der Bilddaten ermitteln.
Vorzugsweise bestimmt die Verarbeitungseinheit anhand der zweidimensionalen Koordina ten der charakteristischen Objektpunkte die dreidimensionalen Koordinaten der charakteristi schen Objektpunkte im 3D-Modell, wodurch die charakteristischen Objektpunkte präzise im Modell markiert werden.
In einer Ausführungsform der Erfindung wird das kameragestützte Probepositioniermanöver von einer Simulationseinheit virtuell durchgeführt, wobei der Simulationseinheit ein Modell, insbesondere ein 3D-Modell des Zielobjekts bereitgestellt wird, wobei die Simulationseinheit anhand des 3D-Modells des Zielobjekts während der Durchführung des Probepositionierma növers zweidimensionale Bilder erzeugt, die den von einer Kamera am Fahrzeug aufgenom menen Bildern während der Durchführung des Probepositioniermanövers entsprechen. Auf diese Weise können Entwicklungskosten gespart werden, da keine Fahrmanöver mit echten Fahrzeugen und Zielobjekten durchgeführt werden müssen.
Alternativ oder zusätzlich wird das oder ein weiteres kameragestütztes Probepositionierma növer mittels einer physischen Kamera und dem Zielobjekt oder einem Nachbau des Zielob jekts durchgeführt, wobei die Kamera während des Probepositioniermanövers derart geführt wird, dass die von der Kamera während der Durchführung des Positioniermanövers aufge nommenen Bilder den Bildern einer Kamera am Fahrzeug entsprechen. Die Kamera kann die Bilddaten erzeugen. Auf diese Weise können Dynamiken des Probepositioniermanövers besonders präzise erfasst werden.
Beispielsweise wird die Kamera am Fahrzeug befestigt, wobei das Probepositioniermanöver mit dem Fahrzeug durchgeführt wird, insbesondere wobei die Kamera hinsichtlich ihrer Posi tion und Orientierung relativ zum Fahrzeug kalibriert wird. Dadurch lässt sich auf einfache Weise von den Bildern der Kamera auf die Position des Fahrzeugs schließen.
Um die Präzision der Bestimmung der charakteristischen Objektpunkte weiter zu verbessern, können die Bilddaten Zeitstempel der Bilder aufweisen, die die zeitliche Lage des jeweiligen Bildes im Probepositioniermanöver angeben, wobei die Zeitstempel bei der Bestimmung der charakteristischen Objektpunkte des Zielobjekts berücksichtigt werden.
Die Bestimmung der charakteristischen Objektpunkte kann dadurch weiter verbessert wer den, dass mehrere kameragestützte Probepositioniermanöver durchgeführt werden, insbe sondere wobei wenigstens eines der kameragestützten Probepositioniermanöver ein erfolg reiches Probepositioniermanöver und/oder wenigstens eines der kameragestützten Probepo sitioniermanöver ein erfolgloses Probepositioniermanöver ist.
Zur effizienten und genauen Bestimmung der charakteristischen Objektpunkte kann die Ver arbeitungseinheit ein Maschinenlernmodul, insbesondere ein künstliches neuronales Netz werk umfassen, das dazu eingerichtet ist, die charakteristischen Objektpunkte des Zielob jekts anhand wenigstens eines der Bilder des Bilddatensatzes zu bestimmen.
Zum Beispiel können die Position und/oder die Orientierung des Fahrzeugs mittels der Aus werteeinheit, insbesondere eines Maschinenlernmoduls ermittelt werden. Merkmale, die im Zusammenhang mit dem Verfahren beschrieben sind, sind selbstverständ lich auch Merkmale des Systems und der Steuereinheit, und umgekehrt.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschrei bung sowie aus den beigefügten Zeichnungen, auf die Bezug genommen wird. In den Zeich nungen zeigen:
Figur 1 a ein erfindungsgemäßes System zur Bestimmung von charakteristi schen Objektpunkten eines Zielobjektes schematisch in Vogelperspektive in einer ersten Position während eines Positioniermanövers,
Figur 1 b ein schematisches zweidimensionales Bild, das dem Bild entspricht, das von einer Kamera am Fahrzeug des Systems nach Figur 1 a zum in Figur 1 a ge zeigten Zeitpunkt aufgenommen wurde,
Figur 2a das System nach Figur 1 a in einer zweiten Position während des Po sitioniermanövers,
Figur 2b ein zweidimensionales Bild ähnlich dem Bild der Figur 1 b zum Zeit punkt der Situation der Figur 2a,
Figur 3a das System nach Figur 1 a in einer dritten Position während des Posi tioniermanövers,
Figur 3b ein zweidimensionales Bild ähnlich den Bildern der Figuren 1 b und 2b zum Zeitpunkt der Situation der Figur 3a,
Figur 4 ein Flussdiagramm eines erfindungsgemäßen Verfahren zur Bestim mung von charakteristischen Objektpunkten eines Zielobjekts sowie ein daran an schließendes erfindungsgemäßes Verfahren zur kameragestützten Positionierung ei nes Fahrzeugs am Zielobjekt, und
Figur 5 schematisch eine zweite Ausführungsform eines erfindungsgemäßen Systems.
In Figur 1 ist schematisch ein motorbetriebenes Fahrzeug 10 gezeigt, das gegenüber einem Zielobjekt 12 positioniert werden soll. Beispielsweise handelt es sich bei dem Fahrzeug 10 um einen Pkw oder einen Lkw und bei dem Zielobjekt 12 um einen Anhänger oder, wie im gezeigten Ausführungsbeispiel, um eine Wechselbrücke, die unterfahren werden soll. Die Wechselbrücke umfasst einen Container 26, der auf Stützen 28 steht (Fig. 1 b).
Das Fahrzeug 10 weist eine Kamera 14 auf, die vorzugsweise am Heck 16 des Fahrzeugs 10 vorgesehen ist. Die Kamera 14 ist fest am Fahrzeug 10 positioniert und kalibriert, sodass der Blickwinkel der Kamera 14 von der Position und Lage des Fahrzeugs 10 abhängt. Durch die Kalibrierung ist die Lage des Blickfelds der Kamera 14, d. h. das Koordinatensystem der Bilder der Kamera 14, zum Koordinatensystem des Fahrzeugs 10 bekannt.
Das von der Kamera 14 in der in Figur 1 a gezeigten Situation aufgenommene Bild ist in Figur 1 b dargestellt.
Das Fahrzeug weist zudem ein Steuergerät 18 auf, das eine Verarbeitungseinheit 20 um fasst.
Die Verarbeitungseinheit 20 kann wiederum ein Maschinenlernmodul 21 , beispielsweise ein künstliches neuronales Netzwerk haben.
Im Steuergerät 18 kann eine Datenbank 22 vorgesehen sein, in der 3D-Modelle des Zielob jektes 12, insbesondere CAD-Modelle, hinterlegt sind.
Die Verarbeitungseinheit 20 hat Zugriff auf die Datenbank 22 und damit auf die 3D-Modelle.
Denkbar ist selbstverständlich auch, dass die Datenbank 22 außerhalb des Steuergerä tes 18, beispielsweise auf einem Server in einem Netzwerk oder im Internet vorhanden ist, wobei der Verarbeitungseinheit 20 beispielsweise über eine Netzwerkverbindung wenigstens das 3D-Modell des entsprechenden Zielobjektes 12 zur Verfügung gestellt wird.
Das Fahrzeug 10, die Kamera 14 und das Steuergerät 18 bilden ein System 23 mit dem cha rakteristische Objektpunkte 30 des Zielobjektes 12 bestimmt werden können.
Denkbar ist auch, dass das Steuergerät 18 und/oder die Verarbeitungseinheit 20 außerhalb des Fahrzeugs 10 vorgesehen sind. In diesem Fall werden die Bilddaten bzw. die Bilder per Kabel, Datenträger oder kabellos an das Steuergerät übertragen. Zur Durchführung des Verfahrens (siehe Figur 4) wird mit dem Fahrzeug 10 ein Probepositi oniermanöver durchgeführt, bei dem das Fahrzeug 10 an das Zielobjekt 12 herangefahren wird. Dabei nähert sich das Fahrzeug 10 dem Zielobjekt 12 sukzessive an, wie in den Figu ren 1 a, 2a und 3a zu erkennen ist, die drei verschiedene Positionen während eines Probepo sitioniermanövers darstellen. Bei dem Zielobjekt 12 kann es sich auch um den Nachbau ei nes Zielobjektes handeln, um Kosten zu sparen.
In Figur 3a bzw. 3b ist gut zu erkennen, dass das Fahrzeug 10 korrekt gegenüber dem Ziel objekt 12 ausgerichtet ist und nun durch weiteres Zurücksetzen die Wechselbrücke unterfah ren kann. Das in den Figuren 1 a bis 3a gezeigte Probepositioniermanöver ist somit erfolg reich.
Die Figuren 1 b, 2b und 3b zeigen das zweidimensionale Bild, das die Kamera 14 des Fahr zeugs 10 in der Situation der Figur 1 a, 2a bzw. 3a aufnimmt (Schritt S1 ).
Die Bilder werden von der Kamera 14 in regelmäßigen Abständen oder kontinuierlich aufge nommen und an das Steuergerät 18 übermittelt.
Gut zu erkennen ist, dass die Wechselbrücke, d. h. das Zielobjekt 12 im Bild der Kamera 14 immer mehr Platz einnimmt und größer wird, wobei stets die Kontaktpunkte 24 im Bild sind, an denen der Container 26 mit den Stützen 28 verbunden ist.
Die einzelnen Bilder sind dabei zweidimensional und werden vom Steuergerät 18 zu Bildda ten zusammengefasst, sofern dies noch nicht von der Kamera 14 geschehen ist.
Da die Bilder von der Kamera 14 am Fahrzeug 10 aufgenommen wurden, sind die zweidi mensionalen Bilder selbstverständlich solche Bilder, die während der Durchführung eines Probepositioniermanövers aufgenommen wurden.
Die Bilder werden von der Kamera mit einem Zeitstempel versehen, der den Aufnahmezeit punkt des entsprechenden Bildes oder die zeitliche Abfolge der Bilder zueinander angibt. Die Zeitstempel können auch separat von den Bildern an das Steuergerät 18 übertragen werden.
Die Bilddaten werden vom Steuergerät 18 bzw. der Kamera 14 an die Verarbeitungsein heit 20 übergeben (Schritt S2). Die Verarbeitungseinheit 20 umfasst ein Maschinenlernmo dul 21 , das beispielsweise ein künstliches neuronales Netzwerk hat. Das künstliche neuronale Netzwerk ist dazu eingerichtet bzw. dazu trainiert, charakteristi sche Objektpunkte 30 am Zielobjekt 12 zu erkennen.
„Charakteristische Objektpunkte“ 30 sind dabei solche Teile oder Abschnitte des Zielobjek tes 12, die aus möglichst vielen verschiedenen Blickwinkeln auf das Zielobjekt 12 eindeutig zu identifizieren sind und die in möglichst vielen Situationen während eines Positioniermanö vers im Blickfeld der Kamera 14 sind.
Im gezeigten Ausführungsbeispiel eignen sich als solche markanten Punkte und damit als charakteristische Objektpunkte 30 die Kontaktpunkte 24.
Zur Bestimmung der charakteristischen Objektpunkte 30 werden von der Verarbeitungsein heit 20 möglichst viele der zweidimensionalen Bilder der Bilddaten herangezogen. Dabei kann auch der Zeitstempel jedes Bildes berücksichtigt werden. (Schritt S3)
Die Verarbeitungseinheit 20 bestimmt in einem nächsten Schritt S4 die zweidimensionalen Koordinaten der erkannten charakteristischen Objektpunkte 30 in den Bildern der Bilddaten.
In Schritt S5, der auch bereits früher durchgeführt werden kann, lädt oder erhält die Verarbei tungseinheit 20 ein 3D-Modell, z. B. ein CAD-Modell des Zielobjektes 12 aus der Daten bank 22.
Durch den Vergleich der verschiedenen Bilder der Bilddaten, die zu unterschiedlichen Zeiten aufgenommen wurden, und/oder durch Vergleich mit dem 3D-Modell des Zielobjektes 12, bestimmt die Verarbeitungseinheit in Schritt S6 die dreidimensionalen Koordinaten der cha rakteristischen Objektpunkte 30 auf dem 3D-Modell des Zielobjektes 12.
Auf diese Weise hat die Verarbeitungseinheit 20 die relative Lage der charakteristischen Ob jektpunkte 30 auf dem Zielobjekt 12 automatisch bestimmt.
Die Verarbeitungseinheit 20 kann nun die charakteristischen Objektpunkte 30 in dem 3D-Mo- dell des Zielobjektes 12 markieren (Schritt S7), wodurch Lagedaten des Zielobjektes 12 er stellt werden. Die Lagedaten können nun verwendet werden, um kameragestütztes Positio nieren des Fahrzeugs 10 am Zielobjekt 12 zumindest teilweise autonom durchzuführen. Um die Ergebnisse der Bestimmung der charakteristischen Objektpunkte 30 zu erhöhen, können Bilddaten aus mehreren Probepositioniermanövern verwendet werden.
In den Figuren 1 a bis 3a ist mit gestrichelten Linien ein zweites Probepositioniermanöver an gedeutet. Wie in Figur 3b zu erkennen ist, ist das Fahrzeug 10 zum Ende hin nicht korrekt gegenüber dem Zielobjekt 12 ausgerichtet, sodass dieses zweite Probepositioniermanöver erfolglos ist. Jedoch liefern auch solche erfolglosen Probepositioniermanöver wichtige Hin weise und Informationen, sodass die Bilddaten dieses Probepositioniermanövers zur Bestim mung der charakteristischen Objektpunkte 30 herangezogen werden.
Mithilfe der ermittelten Lagedaten und charakteristischen Objektpunkte 30 kann das Fahr zeug 10 kameragestützt in Bezug zum Zielobjekt 12 positioniert werden. Zur Erläuterung wird wieder auf die Figuren 1 bis 3 verwiesen, da die gleichen Situationen vorliegen.
Während der Positionierung nimmt die Kamera 14 kontinuierlich oder in regelmäßigen Ab ständen Bilder des Zielobjektes 12 auf (Schritt P1 ).
Eine Auswerteeinheit 32 des Steuergeräts 18, die gleichzeitig die Verarbeitungseinheit 20 sein kann, ermittelt in den aufgenommenen Bildern die Position, d. h. die 2D-Koordinaten, der charakteristischen Objektpunkte 30 des Zielobjektes 12. Dies kann ebenfalls durch ein Maschinenlernmodul, wie einem künstlichen neuronalen Netzwerk geschehen (Schritt P2).
Die Auswerteeinheit 32 hat Zugriff auf die zuvor bestimmten Lagedaten des Zielobjektes 12, d.h. in diesem Ausführungsbeispiel einem 3D-Modell des Zielobjektes 12, in dem die charak teristischen Objektpunkte 30 markiert sind. Daher sind der Auswerteeinheit 32 die relative Lage der charakteristischen Objektpunkte 30 bekannt.
Durch einen Vergleich der aus dem Bild ermittelten Koordinaten der charakteristischen Ob jektpunkte 30 und der bekannten Lage der charakteristischen Objektpunkte 30 aus den La gedaten, kann die Auswerteeinheit 32 die Position und die Orientierung des Fahrzeugs 10 relativ zum Zielobjekt 12 ermitteln (Schritt P3).
Anschließend kann das Steuergerät 18 das Fahrzeug 10 wenigstens teilweise autonom be wegen und so relativ zum Zielobjekt 12 positionieren (Schritt P4), bis das Fahrzeug 10 kor rekt positioniert ist. Die Position und die Orientierung des Fahrzeugs 10 gegenüber dem Zielobjekt 12 kann auch mittels des Maschinenlernmoduls 21 bzw. des künstlichen neuronalen Netzwerks erfolgen.
Das Steuergerät 18, die Verarbeitungseinheit 20 bzw. die Auswerteeinheit 32 umfassten ein Computerprogramm, das Programmcode hat. Der Programmcode ist so geschrieben, dass er das Steuergerät 18, die Verarbeitungseinheit 20 bzw. die Auswerteeinheit 32 dazu veran lasst, die Schritte der beschriebenen Verfahren durchführt, wenn er auf dem Steuergerät 18, der Verarbeitungseinheit 20 bzw. der Auswerteeinheit 32 ausgeführt wird.
In Figur 5 ist eine zweite Ausführungsform des Systems 23 dargestellt, das eine zweite Aus führungsform des Verfahrens zur Bestimmung der charakteristischen Objektpunkte 30 durch führen kann. Das System 23 und das Verfahren entsprechen dabei im Wesentlichen dem System 23 und dem Verfahren der ersten Ausführungsform, sodass im Folgenden lediglich auf die Unterschiede eingegangen wird. Gleiche und funktionsgleiche Teile sind mit densel ben Bezugszeichen versehen.
In dieser zweiten Ausführungsform werden keine physischen Probepositioniermanöver mit einem Fahrzeug 10 an einem Zielobjekt 12 durchgeführt. Vielmehr werden die 3D-Modelle des Zielobjektes 12 und gegebenenfalls des Fahrzeugs 10 einer Simulationseinheit 34 be reitgestellt. Mittels der Simulationseinheit 34 wird ein Probepositioniermanöver simuliert, in dem ein vorgegebener Weg des Fahrzeugs 10 zum Zielobjekt 12 nachgestellt wird.
Die Simulationseinheit 34 erzeugt Bilder an verschiedenen Positionen während des simulier ten Probepositioniermanövers, die beispielsweise den Bildern der Figuren 1 b, 2b und 3b ent sprechen. Die Simulationseinheit 34 erzeugt somit Bilder, die den Bildern entsprechen, die von einer Kamera 14 auf einem Fahrzeug 10 während der Durchführung eines (Probe-) Posi tioniermanövers aufgenommen worden sind bzw. aufgenommen werden.
Diese Bilder werden als Bilddaten an die Verarbeitungseinheit 20 weitergegeben und wie zu vor beschrieben weiterverarbeitet. Die Simulationseinheit 34 und die Verarbeitungseinheit 20 bilden somit das System 23.
In den gezeigten Ausführungsbeispielen ist ein Kraftfahrzeug als Fahrzeug 10 gezeigt.
Selbstverständlich lässt sich das Verfahren auch auf andere Fahrzeuge, wie Baugeräte oder Schiffe übertragen. Falls das motorbetriebene Fahrzeug 10 als Schiff ausgebildet ist, das eine Molendurchfahrt durchqueren und an einer Anlegestelle anlegen soll, ist in diesem Fall das„Zielobjekt“ 12 all gemein als Hafen inklusive Einfahrt definiert.
Bezuqszeichen Fahrzeug
Zielobjekt
Kamera
Heck
Steuergerät
Verarbeitungseinheit
Maschinenlernmodul
Datenbank
System
Kontaktpunkt
Container
Stütze
charakteristische Objektpunkte
Auswerteeinheit
Simulationseinheit

Claims

Patentansprüche
1. Verfahren zur Bestimmung von charakteristischen Objektpunkten (30) eines Zielob jekts (12), die zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs (10) an dem Zielobjekt (12) geeignet sind, mit den folgenden Schritten:
Durchführen eines kameragestützten Probepositioniermanövers;
Erzeugen von Bilddaten, die mehrere zweidimensionale Bilder enthalten, die den von einer Kamera (14) am Fahrzeug (10) aufgenommenen Bildern während der Durchführung des Probepositioniermanövers entsprechen;
Zuführen der Bilddaten zu einer Verarbeitungseinheit (20);
Bestimmen von charakteristischen Objektpunkten (30) des Zielobjekts (12) in den Bildern des Bilddatensatzes durch die Verarbeitungseinheit (20).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass Lagedaten des Zielobjekts (12) erstellt werden, insbesondere von der Verarbeitungseinheit (20), wobei die Lagedaten die Lage der charakteristischen Objektpunkte (30) auf dem Zielobjekt (12) umfassen, insbeson dere die relative Lage der charakteristischen Objektpunkte (30) zueinander auf dem Zielobjekt (12).
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Verarbeitungs einheit (20) ein Modell, insbesondere ein 3D-Modell, des Zielobjekts (12) bereitgestellt wird, wobei die Verarbeitungseinheit (20) die charakteristischen Objektpunkte (30) im Modell mar kiert.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verarbeitungseinheit (20) die zweidimensionalen Koordinaten der charakteristischen Objektpunkte (30) in zumindest einem der Bilder der Bilddaten ermittelt.
5. Verfahren nach Anspruch 3 und 4, dadurch gekennzeichnet, dass die Verarbeitungs einheit (20) anhand der zweidimensionalen Koordinaten der charakteristischen Objektpunkte (30) die dreidimensionalen Koordinaten der charakteristischen Objektpunkte (30) im 3D-Mo- dell bestimmt.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das kameragestützte Probepositioniermanöver von einer Simulationseinheit (34) virtuell durchgeführt wird, wobei der Simulationseinheit (34) ein Modell, insbesondere ein 3D-Modell des Zielobjekts (12) bereitgestellt wird, wobei die Simulationseinheit (34) anhand des 3D-Mo- dells des Zielobjekts (12) während der Durchführung des Probepositioniermanövers zweidi mensionale Bilder erzeugt, die den von einer Kamera (14) am Fahrzeug (10) aufgenommenen Bildern während der Durchführung des Probepositioniermanövers entsprechen.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das kameragestützte Probepositioniermanöver mittels einer physischen Kamera (14) und dem Zielobjekt (12) oder einem Nachbau des Zielobjekts (12) durchgeführt wird, wobei die Kamera (14) während des Probepositioniermanövers derart geführt wird, dass die von der Kamera (14) während der Durchführung des Positioniermanövers aufgenommenen Bilder den Bildern einer Kamera (14) am Fahrzeug (10) entsprechen, insbesondere wobei die Kamera (14) die Bildda ten erzeugt.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Kamera (14) am Fahr zeug (10) befestigt wird, wobei das Probepositioniermanöver mit dem Fahrzeug (10) durchge führt wird, insbesondere wobei die Kamera (14) hinsichtlich ihrer Position und Orientierung relativ zum Fahrzeug (10) kalibriert wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilddaten Zeitstempel der Bilder aufweisen, die die zeitliche Lage des jeweiligen Bildes im Probepositioniermanöver angeben, wobei die Zeitstempel bei der Bestimmung der charakte ristischen Objektpunkte (30) des Zielobjekts (12) berücksichtigt werden.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mehrere kameragestützte Probepositioniermanöver durchgeführt werden, insbesondere wo bei wenigstens eines der kameragestützten Probepositioniermanöver ein erfolgreiches Probe positioniermanöver und/oder wenigstens eines der kameragestützten Probepositioniermanö ver ein erfolgloses Probepositioniermanöver ist.
1 1 . Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verarbeitungseinheit (20) ein Maschinenlernmodul (21 ), insbesondere ein künstliches neu ronales Netzwerk umfasst, das dazu eingerichtet ist, die charakteristischen Objektpunkte (30) des Zielobjekts (12) anhand wenigstens eines der Bilder des Bilddatensatzes zu bestimmen.
12. Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs (10) in Bezug zu einem Zielobjekt (12), dessen charakteristischen Objektpunkte (30) mittels eines Verfahren gemäß einem der vorhergehenden Ansprüche ermittelt wurden, mit den fol genden Schritten:
Aufnehmen eines Bilds des Zielobjekts (12) mittels wenigstens einer am Fahr zeug (10) angebrachten Kamera (14);
Ermitteln von Positionen der charakteristischen Objektpunkte (30) des Zielob jekts (12) auf dem durch die Kamera (14) aufgenommenen Bild des Zielobjekts (12) mittels einer Auswerteeinheit (32);
Vergleichen der ermittelten Positionen der charakteristischen Objektpunkte (30) mit Lagedaten, die eine relative Lage der charakteristischen Objektpunkte (30) zueinander auf dem Zielobjekt (12) umfassen;
Ermitteln einer Position und/oder einer Orientierung des motorbetriebenen Fahrzeugs (10) relativ zum Zielobjekt (12) basierend auf dem Ergebnis des Ver gleichs; und
Positionieren des motorbetriebenen Fahrzeuges (10) in Bezug zum Zielobjekt (12) basierend auf der ermittelten Position und/oder der ermittelten Orientierung wenigstens teilweise autonom.
13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass die Position und/oder die Orientierung des Fahrzeugs (10) mittels der Auswerteeinheit (32), insbesondere eines Maschi nenlernmoduls ermittelt wird.
14. Steuergerät (18) für ein System (23) zur Bestimmung von charakteristischen Objektpunk ten (30) eines Zielobjekts (12) und/oder zum kameragestützten Positionieren eines motorbe triebenen Fahrzeugs (10) in Bezug zu einem Zielobjekt (12), wobei das Steuergerät (18) dazu ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 13 durchzuführen.
15. System (23) zur Bestimmung von charakteristischen Objektpunkten (30) eines Zielobjekts (12) und/oder zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs (10) in Bezug zu einem Zielobjekt (12), mit einem Fahrzeug (10), wenigstens einer an dem Fahrzeug (10) angebrachten Kamera (14) und einem Steuergerät (18) nach Anspruch 14.
16. System (23) nach Anspruch 15, dadurch gekennzeichnet, dass die wenigstens eine Ka mera (14) an einem Heck des Fahrzeugs (10) angebracht ist.
17. Computerprogramm mit Programmcode, um die Schritte eines Verfahrens nach einem der Ansprüche 1 bis 13 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird, insbesondere auf einer Recheneinheit eines Steuergeräts (18) eines Systems (23) nach Anspruch 14.
PCT/EP2019/081116 2018-11-20 2019-11-13 Verfahren, steuergerät, system und computerprogramm zur bestimmung von charakteristischen objektpunkten eines zielobjektes sowie verfahren zum kameragestützten positionieren eines motorbetriebenen fahrzeugs Ceased WO2020104263A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018219829.2A DE102018219829A1 (de) 2018-11-20 2018-11-20 Verfahren, Steuergerät, System und Computerprogramm zur Bestimmung von charakteristi-schen Objektpunkten eines Zielobjektes sowie Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs
DE102018219829.2 2018-11-20

Publications (1)

Publication Number Publication Date
WO2020104263A1 true WO2020104263A1 (de) 2020-05-28

Family

ID=68583375

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/081116 Ceased WO2020104263A1 (de) 2018-11-20 2019-11-13 Verfahren, steuergerät, system und computerprogramm zur bestimmung von charakteristischen objektpunkten eines zielobjektes sowie verfahren zum kameragestützten positionieren eines motorbetriebenen fahrzeugs

Country Status (2)

Country Link
DE (1) DE102018219829A1 (de)
WO (1) WO2020104263A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021201525A1 (de) * 2021-02-17 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
US12428023B2 (en) 2023-01-12 2025-09-30 Ford Global Technologies, Llc System for a vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180251153A1 (en) * 2017-03-03 2018-09-06 Continental Automotive Systems, Inc. Autonomous Trailer Hitching Using Neural Network
WO2018192984A1 (en) * 2017-04-19 2018-10-25 Robert Bosch Gmbh Methods and systems for aligning a vehicle with a trailer
DE102018110092A1 (de) * 2017-04-28 2018-10-31 GM Global Technology Operations LLC System und verfahren zum ermitteln eines ausgangspunkts einer führungslinie zur befestigung eines anhängers an einer in einer ladefläche eines fahrzeugs montierten anhängerkupplung
WO2018210990A1 (en) * 2017-05-18 2018-11-22 Cnh Industrial Italia S.P.A. System and method for automatic connection between a tractor and an implement

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180251153A1 (en) * 2017-03-03 2018-09-06 Continental Automotive Systems, Inc. Autonomous Trailer Hitching Using Neural Network
WO2018192984A1 (en) * 2017-04-19 2018-10-25 Robert Bosch Gmbh Methods and systems for aligning a vehicle with a trailer
DE102018110092A1 (de) * 2017-04-28 2018-10-31 GM Global Technology Operations LLC System und verfahren zum ermitteln eines ausgangspunkts einer führungslinie zur befestigung eines anhängers an einer in einer ladefläche eines fahrzeugs montierten anhängerkupplung
WO2018210990A1 (en) * 2017-05-18 2018-11-22 Cnh Industrial Italia S.P.A. System and method for automatic connection between a tractor and an implement

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ATOUM YOUSEF ET AL: "Monocular Video-Based Trailer Coupler Detection Using Multiplexer Convolutional Neural Network", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), IEEE, 22 October 2017 (2017-10-22), pages 5478 - 5486, XP033283427, DOI: 10.1109/ICCV.2017.584 *

Also Published As

Publication number Publication date
DE102018219829A1 (de) 2020-05-20

Similar Documents

Publication Publication Date Title
DE102020211636A1 (de) Verfahren und Vorrichtung zum Bereitstellen von Daten zum Erstellen einer digitalen Karte
DE102019002269A1 (de) Verfahren zum Ermitteln einer Orientierung eines Fahrzeugs relativ zu einem Kraftfahrzeug
DE102019132996A1 (de) Schätzen einer dreidimensionalen Position eines Objekts
EP3444780A1 (de) Verfahren zum registrieren von wenigstens zwei verschiedenen 3d-modellen
DE102021133089A1 (de) Vorrichtung zur Ermittlung einer Topographie einer Fahrzeugumgebung, Fahrzeug und Verfahren
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
DE102018120966A1 (de) Verfahren zum Erkennen eines Teils eines Anhängers sowie Anhängererfassungssystem für ein Zugfahrzeug
DE102018219829A1 (de) Verfahren, Steuergerät, System und Computerprogramm zur Bestimmung von charakteristi-schen Objektpunkten eines Zielobjektes sowie Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs
DE102019219734B4 (de) Verfahren zum Betreiben eines Auswertungssystems für Messdaten aus mehreren Domänen
DE102018128184B4 (de) Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Erzeugung eines gelabelten Bildes
EP1756748B1 (de) Verfahren zur klassifizierung eines objekts mit einer stereokamera
EP4004491B1 (de) Verfahren zur lokalisierung eines fahrzeugs
DE102018217219B4 (de) Verfahren zum Ermitteln einer dreidimensionalen Position eines Objekts
DE102022112622A1 (de) Verfahren und Prozessorschaltung zum Ermitteln von Trainingsdatensätzen für ein Modell des Maschinellen Lernens einer automatisierten Fahrfunktion sowie Speichermedium für die Prozessorschaltung
DE102011075335A1 (de) Verfahren zur rechnergestützten Lageschätzung eines Objekts
DE102005005242A1 (de) Verfahren und Vorrichtung zum Bestimmen eines Kameraoffsets
DE102021002011A1 (de) Verfahren zur Annotation von Daten einer Umgebungserfassung
DE102021100940A1 (de) Rekonstruieren der Umgebung eines Umfeldsensorsystems
DE102022133569B4 (de) Verfahren zum Erzeugen von Datengruppen zur Nutzung in einem Training mit Augmented Reality oder mit Mixed Reality
DE102019129101A1 (de) Verfahren und System zum Schätzen eines Begrenzungsrahmens, der ein Zielfahrzeug einschließt
DE102018208604A1 (de) Ermitteln eines Aufnahmeverhaltens einer Aufnahmeeinheit
DE102024206262A1 (de) Gerät und Verfahren zum Trainieren eines Fahrspurdetektors
DE102022213931A1 (de) Abwandeln von Bildern mit Steuerung des Informationsgehalts
DE102024209933A1 (de) Training eines neuronalen Netzwerks für das simultane Ermitteln von semantischer Information und Tiefeninformation
DE102023209462A1 (de) Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines KI-basierten Verhaltensplaners für ein zumindest teilautomatisiertes Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19805209

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19805209

Country of ref document: EP

Kind code of ref document: A1