WO2018172240A1 - Verfahren und auswertevorrichtung zum erfassen einer umgebung eines fahrzeugs und fahrzeug - Google Patents

Verfahren und auswertevorrichtung zum erfassen einer umgebung eines fahrzeugs und fahrzeug Download PDF

Info

Publication number
WO2018172240A1
WO2018172240A1 PCT/EP2018/056803 EP2018056803W WO2018172240A1 WO 2018172240 A1 WO2018172240 A1 WO 2018172240A1 EP 2018056803 W EP2018056803 W EP 2018056803W WO 2018172240 A1 WO2018172240 A1 WO 2018172240A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
sensor
data
odometry
images
Prior art date
Application number
PCT/EP2018/056803
Other languages
English (en)
French (fr)
Inventor
Zdenek Kasl
Jan Svab
Original Assignee
Valeo Schalter Und Sensoren Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter Und Sensoren Gmbh filed Critical Valeo Schalter Und Sensoren Gmbh
Publication of WO2018172240A1 publication Critical patent/WO2018172240A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the present invention relates to the field of vehicle technology, in particular the invention relates to a method and an evaluation device for detecting an environment of a vehicle. Furthermore, the invention relates to a driver assistance system that is equipped with the evaluation device according to the invention, and a vehicle that is equipped with the evaluation device according to the invention.
  • GPS Global Positioning System
  • optical system the environment of the vehicle closer.
  • obstacles or other events which could have an influence on the direction of travel of the vehicle, are taken into account in the vehicle guidance in order to prevent collisions or other damage.
  • Transformation matrix is then applied to the first image or scan.
  • the second image or second scan can be determined by determining the Mahalanobis distance for the "Center of gravity" or for the
  • the aim of the present invention is to propose a possibility to detect the environment of a vehicle in a simple manner.
  • This object is achieved by a method according to claim 1. Furthermore, this object is achieved with an evaluation device according to claim 10, with a
  • the present invention proposes a method for detecting an environment of a vehicle.
  • the method comprises providing at least one sensor for detecting the environment of the vehicle. Furthermore, in the method, a capture of a first image with the sensor and a capture of a second image with the sensor are provided temporally after the detection of the first image. Furthermore, the method comprises determining static and dynamic areas within the first and second images by comparing the two images. It is further provided that when comparing the two images position data of the vehicle are included, which are provided by at least one odometry sensor of the vehicle that provides odometry data.
  • the present invention proposes a method of being able to drive a vehicle in an environment improved by taking image data from the environment and these are charged exclusively with data of a vehicle sensor group.
  • image recordings of, for example, a camera are used, wherein the camera can be installed in or on the vehicle.
  • a 3D map database and information from a vehicle sensor group may also be used, the vehicle sensor group having at least one odometry sensor providing odometry data.
  • a relative position of the vehicle is determined prior to performing the proposed method based on GPS data, wherein an estimate using the vehicle sensor group is also used.
  • it is possible to distinguish between static and dynamic portions of the environment at the lowest level. This is achieved, for example, by comparing two temporally successive images, for example as successive laser scans.
  • static objects and moving objects in the examined environment of a vehicle are determined.
  • the known can be used to evaluate individual points on the images.
  • the "Iterative Closest Point” method allows overlapping point clouds to be matched to each other by aligning the point clouds in advance, and for the point clouds, coordinate transformations are determined so that the distances between the point clouds are minimized
  • Point cloud determines the next point (closest point) from the other point cloud The sum of the squares of the distances is determined by fitting
  • the peculiarity over the methods used so far on the basis of the "Iterative Closest Point" method in the present invention is that the proposed method and the proposed device can operate autonomously without external data being used outside the vehicle
  • An odometry sensor is a sensor on or in the vehicle understood to determine the position and / or orientation of the vehicle
  • typical odometry sensors are wheel sensors that can count wheel revolutions between two measurement times, so that odometry data can be obtained by moving one or more tires on the vehicle, which the wheel sensor as Odometrie-Sen sor.
  • Component requirements are reduced by deliberately not accessing external data sources, such as GPS data, outside the vehicle.
  • the at least one odometry sensor provides angle data.
  • Angular data is to be understood as meaning data that is present, for example, due to rotational movements of at least one vehicle wheel.
  • the at least one odometry sensor provides position data. This means that a position of the vehicle with the odometry sensor can be detected. For example, this can be achieved by using a odometry sensor at two different times measured data are obtained and then compared.
  • the position data are evaluated together with the angle data. Accordingly, it can be provided that two different types of data, including two
  • different odometry sensors can be recorded, are offset against each other, for example, to be able to take into account a direction of travel of the vehicle.
  • the method further comprises detecting a movement of the vehicle, wherein due to this movement, a compensation of the movement of the vehicle is performed before the two images are compared. Accordingly, the vehicle movement is taken into account in the evaluation, by comparing these before
  • the vehicle movement is compensated or deducted before the comparison of recorded images is performed.
  • matching is done iteratively using, for example, an ICP algorithm.
  • the scanned images are compared by estimating angular and / or positional differences based on sensor data originating from the vehicle, particularly a vehicle sensor set, here at least one odometry sensor and not GPS -Dates.
  • Transformation matrix a transformation vector and a Rotationsmatix is used. This is done, for example, based on the previously known procedure according to the "Iterative Closest Poinf" method.
  • the transformation matrix is determined based on odometry data
  • Translation vector is determined based on data relating to a speed and a direction of travel of the vehicle and the rotation matrix is determined based on a yaw rate of the vehicle. Accordingly, different
  • the yaw rate of the vehicle denotes the angular velocity of the rotation of a vehicle about a vertical axis.
  • the yaw rate is a suitable measure for the function of a stability system of land vehicles.
  • the yaw moment of inertia which can likewise be taken into account as a further parameter in the method according to the invention, describes the moment of inertia about the axis.
  • GPS data may be used to locate the vehicle, but not for determining the environment of the vehicle based solely on sensor image data and odometry data.
  • the object of the invention is further achieved with an evaluation device for detecting the environment of a vehicle.
  • the evaluation device has a Receiving unit and a processing unit. It is provided that data of at least one sensor of the vehicle can be received by the receiving unit. It is further provided that the receiving unit and the processing unit in
  • Processing unit are forwarded.
  • static and dynamic ranges of at least two recorded images of a sensor of the vehicle can be determined by comparing the two images with the processing unit. It is further provided that, in comparing the two images, the processing unit incorporates position data of the vehicle provided by the at least one odometry sensor of the vehicle providing odometry data.
  • the sensor can be designed as a distance sensor, in particular as an optical distance sensor, as a camera, in particular a front camera, which can be embodied for example as a laser camera, as a LIDAR system, as a RADAR system or as an ultrasound system.
  • the connections to the data-providing devices may be wired, for example, designed as a field bus, as well as wirelessly executed, for example via a wireless radio link. Accordingly, the
  • Receiving unit have at least one radio interface.
  • a driver assistance system with such an evaluation unit is also provided. In particular, so that the above-mentioned method can be performed.
  • a vehicle which has an evaluation unit according to the invention or a corresponding driver assistance system, in particular for carrying out the proposed method.
  • the vehicle is preferably a ground-based vehicle, such as a motor vehicle or robot.
  • the vehicle may be, for example, a passenger car or a truck.
  • FIG. 1 shows an embodiment of a vehicle which is equipped with odometry sensors and can perform the method according to the invention
  • Fig. 2 shows an embodiment of a method according to the invention.
  • Fig. 1 shows a vehicle 10 with an installed optical sensor 1 1 in the form of a camera that can detect the environment or the environment of the vehicle 10 by means of optical radiation, here with laser beams 12.
  • the camera 1 1 can detect the surroundings in front of the vehicle 10 while the vehicle 10 is moving in a direction of travel 13 in the forward direction of the vehicle 10.
  • Vehicle 10 has a plurality of odometry sensors 14. In the present
  • each wheel of the vehicle has an odometry sensor 14, which can provide odometry data via a transmission connection 15 to an evaluation device 16.
  • camera data of the camera 11 are provided via a further transmission connection 17 of the evaluation device 16.
  • the evaluation device 16 For receiving the odometry data and the camera data, the evaluation device 16 has a
  • Receiving unit 18, which forwards the received data to a processing unit 19 can evaluate the received data and make the evaluation results available to the vehicle 10.
  • the evaluation device 16 is installed in the vehicle 10.
  • Evaluation devices 16 are used outside of the vehicle 10, which are installed for example in a service center and can communicate with the vehicle via a wireless connection, for example via a wireless Internet connection to the vehicle information.
  • Fig. 2 shows an embodiment of the method 20 according to the invention
  • the method 20 begins with an initial situation 21 in which a request is started in order to detect the surroundings of the vehicle 10.
  • This request can for example be initiated manually by the driver of the vehicle or be requested by a control device, which is for example part of a navigation system or part of a device for autonomous driving of the vehicle 10.
  • the method first collects data relating to the acquisition of image data and the acquisition of odometry data.
  • the acquisition of the data is symbolically characterized by the method steps 22 and 23.
  • the data acquisitions 22, 23 can take place at the same time or in chronological succession, whereby the order of the method steps 22, 23 can also be reversed in time.
  • at least two images or scans of the surroundings are taken with an optical sensor 11, as shown in FIG.
  • odometry data are acquired in method step 23. These can originate, for example, from odometry sensors to vehicle tires, as shown in FIG. 1.
  • determined dynamic areas within the first and second image For example, if identical objects are detected at the same location of the image, they may be static objects in the vicinity of the vehicle, such as trees or houses. However, if different areas in the two images are different, then they are more likely to be moving objects, then one
  • the method 20 with the steps 21 - 25 can be repeated as often as desired, so that the navigation device is continuously informed of the driving situation of the vehicle over the determined environment and can intervene accordingly.

Abstract

Die vorliegende Erfindung schlägt ein Verfahren und eine Auswertevorrichtung (16) zum Erfassen einer Umgebung eines Fahrzeugs (10) vor. Ferner betrifft die vorliegende Erfindung ein Fahrzeug. Das Verfahren weist ein Bereitstellen mindestens eines Sensors (11) zum Erfassen der Umgebung des Fahrzeugs (10) auf. Ferner wird bei dem Verfahren ein Erfassen eines ersten Bildes mit dem Sensor (11) und ein Erfassen eines zweiten Bildes mit dem Sensor (11) zeitlich nach dem Erfassen des ersten Bildes vorgesehen. Weiterhin weist das Verfahren ein Ermitteln von statischen und dynamischen Bereichen innerhalb des ersten und des zweiten Bildes durch Vergleichen der beiden Bilder auf. Ferner ist vorgesehen, dass bei dem Vergleichen der beiden Bilder Positionsdaten des Fahrzeuges (10) einbezogen werden, die von mindestens einem Sensor (14) des Fahrzeugs (10) bereitgestellt werden, wobei der Sensor ein Odometrie-Sensor ist, der Odometrie-Daten bereitstellt.

Description

Verfahren und Auswertevorrichtung zum Erfassen einer Umgebung eines Fahrzeugs und
Fahrzeug
Die vorliegende Erfindung betrifft das Gebiet der Fahrzeugtechnik, insbesondere betrifft die Erfindung ein Verfahren und eine Auswertevorrichtung zum Erfassen einer Umgebung eines Fahrzeugs. Ferner betrifft die Erfindung ein Fahrerassistenzsystem, das mit der erfindungsgemäßen Auswertevorrichtung ausgestattet ist, und ein Fahrzeug, das mit der erfindungsgemäßen Auswertevorrichtung ausgestattet ist.
Es werden derzeit Systeme verwendet, um Fahrzeuge in einer Umgebung zu orten bzw. zu lokalisieren, um ausgehend von dieser Information das Fahrzeug zu navigieren oder zu steuern. Hierzu wird beispielsweise das Fahrzeug anhand von GPS-Daten (GPS = Global Positioning System) lokalisiert und zusätzlich mit Hilfe von optischen System die Umgebung des Fahrzeugs näher ermittelt. Hierbei ist es möglich, dass Hindernisse oder sonstige Ereignisse, die auf die Fahrtrichtung des Fahrzeuges einen Einfluss haben könnten, bei der Fahrzeugführung in Betracht gezogen werden, um Kollisionen oder andere Schäden zu verhindern.
In der Veröffentlichung„Probabilistic Scheme for Laser Based Motion detection" von Roman Katz, Juan Nieto, Eduardo Nebot, 2006, wird eine Methode zur Unterscheidung von statischen und sich bewegenden Objekten auf Basis von Bildpunkten bzw.
Scanpunkten vorgeschlagen. Hierbei werden zunächst zu unterschiedlichen Zeitpunkten gemessene Bilder bzw. Scans übereinandergelegt. Mittels einer Vorgehensweise nach dem sogenannten„Iterative Closest Poinf'-Algorithmus (ICP-Algorithmus) wird iterativ eine Transformationsmatrix berechnet, die die Drehung und die Translation der Punkte zwischen den aufgenommenen Bildern bzw. Scans repräsentiert. Die
Transformationsmatrix wird anschließend auf das erste Bild bzw. den ersten Scan angewendet. Durch Vergleich mit dem zweiten Bild bzw. zweiten Scan kann mittels Bestimmung der Mahalanobis-Distanz für das„Center of gravity" bzw. für den
Schwerpunkt für jeden korrespondierenden Bereich bzw. für jedes korrespondierende Cluster bestimmt werden, ob das Cluster bzw. der analysierte Bereich innerhalb des Bildes statisch oder dynamisch ist. Hierbei ist unter der Mahalanobis-Distanz ein
Distanzmaß zwischen Punkten in einem mehrdimensionalen Vektorraum zu verstehen. Auf der Basis dieser Clustererkennung wird auf ein sich bewegendes Objekt oder auf ein statisches Objekt geschlossen. Nachteilig bei dem bisher verwendeten Verfahren zur Aufnahme von Bilddaten in der Umgebung eines Fahrzeuges ist, dass es ressourcen-intensiv ist, insbesondere sind die Anforderungen an die Hardware bzw. die technischen Einheiten zur Bereitstellung der erforderlichen Daten hoch.
Ziel der vorliegenden Erfindung ist es, eine Möglichkeit vorzuschlagen, um die Umgebung eines Fahrzeugs auf einfache Weise zu erfassen.
Diese Aufgabe wird mit einem Verfahren gemäß dem Anspruch 1 gelöst. Ferner wird diese Aufgabe mit einer Auswertevorrichtung gemäß Anspruch 10, mit einem
Fahrerassistenzsystem gemäß Anspruch 1 1 und mit einem Fahrzeug gemäß Anspruch 12 gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den
Unteransprüchen.
Die vorliegende Erfindung schlägt ein Verfahren zum Erfassen einer Umgebung eines Fahrzeugs vor. Das Verfahren weist ein Bereitstellen mindestens eines Sensors zum Erfassen der Umgebung des Fahrzeugs auf. Ferner werden bei dem Verfahren ein Erfassen eines ersten Bildes mit dem Sensor und ein Erfassen eines zweiten Bildes mit dem Sensor zeitlich nach dem Erfassen des ersten Bildes vorgesehen. Weiterhin weist das Verfahren ein Ermitteln von statischen und dynamischen Bereichen innerhalb des ersten und des zweiten Bildes durch Vergleichen der beiden Bilder auf. Ferner ist vorgesehen, dass bei dem Vergleichen der beiden Bilder Positionsdaten des Fahrzeuges einbezogen werden, die von mindestens einem Odometrie-Sensor des Fahrzeugs bereitgestellt werden, der Odometrie-Daten bereitstellt.
Die vorliegende Erfindung schlägt ein Verfahren vor, um ein Fahrzeug in einer Umgebung verbessert fahren zu können, indem Bilddaten aus der Umgebung aufgenommen werden und diese ausschließlich mit Daten einer Fahrzeug-Sensor-Gruppe verrechnet werden. Hierzu werden Bild-Aufnahmen von beispielsweise einer Kamera verwendet, wobei die Kamera im oder an dem Fahrzeug installiert sein kann. Es können ferner eine 3D-Karten- Datenbank und Informationen von einer Fahrzeug-Sensor-Gruppe verwendet werden, wobei die Fahrzeug-Sensor-Gruppe mindestens einen Odometrie-Sensor aufweist, der Odometrie-Daten bereitstellt. Hierbei wird vor dem Durchführen des vorgeschlagenen Verfahrens auf der Grundlage von GPS-Daten eine relative Position des Fahrzeugs bestimmt, wobei auch eine Schätzung mit Hilfe der Fahrzeug-Sensor-Gruppe verwendet wird. Mit der vorgeschlagenen Vorgehensweise ist es möglich, zwischen statischen und dynamischen Anteilen der Umgebung auf der niedrigsten Ebene zu unterscheiden. Dies wird erreicht, indem beispielsweise zwei zeitlich aufeinanderfolgende Bilder verglichen werden, beispielsweise als aufeinanderfolgende Laser-Scans.
Es werden demnach anhand von gewonnenen Daten basierend auf mindestens zwei Scans bzw. zwei aufgenommenen Bildern statische Objekte und sich bewegende Objekte in der untersuchten Umgebung eines Fahrzeuges ermittelt. Hierbei kann das bekannte verwendet werden, um einzelne Punkte auf den Bildern auszuwerten. Das„Iterative Closest Point"- Verfahren ermöglicht, überlappende Punktwolken aneinander anzupassen. Dazu werden die Punktwolken bereits vorab genähert zueinander ausgerichtet. Für die Punktwolken werden Koordinatentransformationen so bestimmt, dass die Abstände zwischen den Punktwolken minimiert werden. Dazu wird für jeden Punkt aus der einen Punktwolke der jeweils nächste Punkt (closest point) aus der anderen Punktwolke bestimmt. Die Summe der Quadrate der Abstände wird durch Anpassung von
Transformationsparameter minimiert. Dieser Vorgang geschieht iterativ so lange, bis das Optimum gefunden ist. Das Berechnungsverfahren bzw. der Algorithmus kann vor allem zur relativen Orientierung (Registrierung) von Punktwolken verwendet werden, womit aus mehreren Punktwolken ein Gesamtmodell erzeugt werden kann. Die Einzelpunktwolken können dabei z.B. durch Laser-Scanning erzeugt werden.
Die Besonderheit gegenüber den bisher verwendeten Methoden auf der Grundlage des „Iterative Closest Point"- Verfahren ist bei der vorliegenden Erfindung, dass das vorgeschlagene Verfahren und die vorgeschlagene Vorrichtung autark arbeiten kann, ohne dass externe Daten außerhalb des Fahrzeuges verwendet werden. Demnach werden lediglich ein Sensor zur Erzeugung von Bildern der Umgebung und mindestens ein Odometrie-Sensor verwendet, um Daten aus der Umgebung des Fahrzeuges zu erfassen. Unter einem Odometrie-Sensor wird ein Sensor am oder im Fahrzeug verstanden, der zur Ermittlung der Position und/oder Orientierung des Fahrzeugs geeignet ist und für den Zweck der Ermittlung der Umgebung verwendet werden kann. Typische Odometrie-Sensoren sind Radsensoren, bei denen Radumdrehungen zwischen zwei Messzeitpunkten gezählt werden können. Auf diese Weise können durch eine Bewegung eines oder mehrerer Reifen am Fahrzeug Odometrie-Daten gewonnen werden, welche der Radsensor als Odometrie-Sensor bereitstellt.
Mit der vorliegenden Erfindung kann die Genauigkeit der bisher bekannten Methoden beibehalten werden, beispielsweise, wie diese unter Verwendung des ICP-Algorithmus erreicht wird, jedoch werden gleichzeitig die Hardwareanforderungen bzw.
Komponentenanforderungen reduziert, indem bewusst nicht auf externe Datenquellen, wie GPS-Daten, außerhalb des Fahrzeugs zugegriffen wird.
In einem vorteilhaften Ausführungsbeispiel kann vorgesehen werden, dass der mindestens eine Odometrie-Sensor Winkeldaten bereitstellt. Unter Winkeldaten sind Daten zu verstehen, die beispielsweise aufgrund von Rotationsbewegungen mindestens eines Fahrzeugrades vorhanden sind.
In einem bevorzugten Ausführungsbeispiel kann vorgesehen werden, dass der mindestens eine Odometrie-Sensor Positionsdaten bereitstellt. Dies bedeutet, dass eine Position des Fahrzeugs mit dem Odometrie-Sensor erfassbar ist. Beispielsweise kann dies erreicht werden, indem anhand eines Odometrie-Sensors zu zwei verschiedenen Zeitpunkten Messdaten gewonnen werden und diese dann verglichen werden.
Ferner kann in einem bevorzugten Ausführungsbeispiel vorgesehen werden, dass die Positionsdaten mit den Winkeldaten gemeinsam ausgewertet werden. Demnach kann vorgesehen werden, dass zwei verschiedene Datenarten, die auch von zwei
unterschiedlichen Odometrie-Sensoren aufgenommen werden können, miteinander verrechnet werden, um beispielsweise eine Fahrtrichtung des Fahrzeugs berücksichtigen zu können.
In einem weiteren bevorzugten Ausführungsbeispiel kann vorgesehen werden, dass das Verfahren ferner ein Feststellen einer Bewegung des Fahrzeugs aufweist, wobei aufgrund dieser Bewegung eine Kompensation der Bewegung des Fahrzeugs durchgeführt wird, bevor die beiden Bilder verglichen werden. Demnach wird die Fahrzeugbewegung bei der Auswertung berücksichtigt, indem diese vor einem Vergleichen der beiden
aufgenommenen Bilder herausgerechnet wird. Dies hat den Vorteil, dass danach auf einfache Weise die beiden zeitlich hintereinander aufgenommenen Bilder übereinander gelegt werden können und Unterschiede leicht erfassbar sind. Aus diesen Unterschieden können Punktwolken gebildet werden, die auf einen dynamischen Bereich im
aufgenommenen Bild und auf einen statischen Bereich im aufgenommenen Bild hinweisen.
Wenn sich das Fahrzeug während des Aufnahmevorgangs der beiden zeitlich
aufgenommen Bilder, bzw. des Scanvorgangs bewegt, ist es vorteilhaft, wenn die Fahrzeugbewegung kompensiert bzw. herausgerechnet wird, bevor der Vergleich von aufgenommenen Bildern durchgeführt wird. Gewöhnlich wird das Matching bzw. die Anpassung iterativ durchgeführt, indem beispielsweise ein ICP-Algorithmus verwendet wird. Bei der vorliegenden Erfindung werden die gescannten Bilder verglichen, indem Winkel- und/oder Positionsdifferenzen auf der Grundlage von Sensordaten geschätzt werden, die aus dem Fahrzeug stammen, insbesondere von einer Fahrzeug-Sensor- Gruppe, hier mindestens einem Odometrie-Sensor und nicht aus GPS-Daten.
In einer weiteren bevorzugten Ausführungsform kann vorgesehen werden, dass bei dem Verfahren für die Ermittlung von statischen und dynamischen Bereichen eine
Transformationsmatrix, ein Transformationsvektor und eine Rotationsmatix verwendet wird. Dies geschieht beispielsweise in Anlehnung an die vorbekannte Vorgehensweise nach dem„Iterative Closest Poinf'-Verfahren.
Im Hinblick auf die Anwendung im Fahrzeugbereich kann vorgesehen werden, dass die Transformationsmatrix basierend auf Odometrie-Daten bestimmt wird, der
Translationsvektor basierend auf Daten in Bezug auf einer Geschwindigkeit und eine Fahrtrichtung des Fahrzeuges bestimmt wird und die Rotationsmatrix basierend auf einer Gierrate des Fahrzeuges bestimmt wird. Demnach werden unterschiedliche
Fahrzeugparameter bei der Ermittlung der statischen und dynamischen Bereiche verwendet. Dies hat den Vorteil, dass möglichst viele charakteristische Parameter der vorhandenen Fahrsituation mit in die Auswertung zur Erfassung der Fahrzeugumgebung einbezogen werden. Die Gierrate des Fahrzeugs (auch Giergeschwindigkeit) bezeichnet die Winkelgeschwindigkeit der Drehung eines Fahrzeuges um eine Hochachse.
Zusammen mit den Raddrehzahlen und der Querbeschleunigung ist die Gierrate eine geeignete Messgröße für die Funktion eines Stabilitätssystems von Landfahrzeugen. Das Gierträgheitsmoment, der ebenfalls bei dem erfindungsgemäßen Verfahren als weiterer Parameter berücksichtigt werden kann, beschreibt das Trägheitsmoment um die Achse.
In einem weiteren Ausführungsbeispiel des Verfahrens wird vorteilhafterweise
vorgesehen, dass die Ermittlung von statischen und dynamischen Bereichen ohne eine Verwendung von GPS-Daten durchgeführt wird. Dies bedeutet, dass möglicherweise für die Lokalisierung des Fahrzeuges GPS-Daten verwendet werden, nicht jedoch für die Ermittlung der Umgebung des Fahrzeuges, die lediglich auf Bilddaten eines Sensors und auf Odometrie-Daten beruht.
Die Aufgabe der Erfindung wird ferner mit einer Auswertevorrichtung zum Erfassen der Umgebung eines Fahrzeugs gelöst. Hierzu weist die Auswertevorrichtung eine Empfangseinheit und eine Verarbeitungseinheit auf. Hierbei ist vorgesehen, dass mit der Empfangseinheit Daten mindestens eines Sensors des Fahrzeugs empfangbar sind. Ferner ist vorgesehen, dass die Empfangseinheit und die Verarbeitungseinheit in
Wirkverbindung stehen und empfangene Daten von der Empfangseinheit an die
Verarbeitungseinheit weiterleitbar sind. Hierbei sind mit der Verarbeitungseinheit statische und dynamische Bereiche von mindestens zwei aufgenommenen Bildern eines Sensors des Fahrzeugs durch Vergleichen der beiden Bilder ermittelbar. Ferner ist vorgesehen, dass die Verarbeitungseinheit bei dem Vergleichen der beiden Bilder Positionsdaten des Fahrzeuges einbezieht, die von dem mindestens einen Odometrie-Sensor des Fahrzeugs bereitgestellt werden, der Odometrie-Daten bereitstellt.
Die erfindungsgemäße Auswertevorrichtung ist vorteilhafterweise innerhalb des
Fahrzeugs installiert und kann mit der Empfangseinheit sowohl Odometrie-Daten wie auch Bilddaten eines installierten Sensors empfangen. Der Sensor kann hierbei als Abstandssensor, insbesondere als optischer Abstandssensor, ausgebildet sein, als Kamera, insbesondere einer Frontkamera, die beispielsweise als Laser-Kamera ausgeführt sein kann, als LIDAR-System, als RADAR-System oder als Ultraschall- System. Die Verbindungen zu den datengebenden Einrichtungen können drahtgebunden, beispielsweise als Feldbus ausgeführt sein, wie auch drahtlos ausgeführt sein, beispielsweise über eine drahtlose Funkverbindung. Dementsprechend kann die
Empfangseinheit mindestens eine Funkschnittstelle aufweisen.
Es wird auch ein Fahrerassistenzsystem mit einer solchen Auswerteinheit bereitgestellt. Insbesondere kann damit das oben genannte Verfahren ausgeführt werden.
Ferner wird erfindungsgemäß ein Fahrzeug vorgeschlagen, das eine erfindungsgemäße Auswerteinheit oder ein entsprechendes Fahrerassistenzsystem insbesondere zur Ausführung des vorgeschlagenen Verfahrens aufweist. Das Fahrzeug ist vorzugsweise ein bodengebundenes Fahrzeug, wie ein Kraftfahrzeug oder Roboter. Das Fahrzeug kann beispielsweise ein Personenkraftfahrzeug oder ein Lastkraftfahrzeug sein.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen
Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte
Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Die vorliegende Erfindung wird nun anhand der beigefügten Zeichnungen näher erläutert, in denen zeigen:
Fig. 1 ein Ausführungsbeispiel eines Fahrzeugs, das mit Odometrie-Sensoren ausgerüstet ist und das erfindungsgemäße Verfahren durchführen kann; und
Fig. 2 ein Ausführungsbeispiel für ein erfindungsgemäßes Verfahren.
Die nachfolgend näher geschilderten Ausführungsbeilspiele stellen bevorzugte
Ausführungsformen der vorliegenden Erfindung dar.
Fig. 1 zeigt ein Fahrzeug 10 mit einem installierten optischen Sensor 1 1 in Form einer Kamera, die mit Hilfe von optischen Strahlen, hier mit Laserstrahlen 12 das Umfeld oder die Umgebung des Fahrzeugs 10 erfassen kann. Insbesondere kann die Kamera 1 1 die Umgebung vor dem Fahrzeug 10 erfassen, während sich das Fahrzeug 10 in eine Fahrtrichtung 13 in Vorwärtsrichtung des Fahrzeugs 10 bewegt. Ferner weist das
Fahrzeug 10 eine Vielzahl von Odometrie-Sensoren 14 auf. Im vorliegenden
Ausführungsbeispiel weist jedes Rad des Fahrzeugs einen Odometrie-Sensor 14 auf, der Odometrie-Daten über eine Übertragungsverbindung 15 an eine Auswertevorrichtung 16 bereitstellen kann. Ferner werden Kameradaten der Kamera 1 1 über eine weitere Übertragungsverbindung 17 der Auswertevorrichtung 16 bereitgestellt. Zum Empfang der Odometrie-Daten und der Kamera-Daten weist die Auswertevorrichtung 16 eine
Empfangseinheit 18, die die empfangenen Daten an eine Verarbeitungseinheit 19 weiterleitet. Die Verarbeitungseinheit 19 kann die empfangenen Daten auswerten und die Auswerteergebnisse dem Fahrzeug 10 zur Verfügung stellen. Vorteilhafterweise ist die Auswertevorrichtung 16 in dem Fahrzeug 10 installiert. Alternativ können jedoch auch Auswertevorrichtungen 16 außerhalb des Fahrzeugs 10 verwendet werden, die beispielsweise in einer Service-Zentrale installiert sind und die mit dem Fahrzeug über eine drahtlose Verbindung, beispielsweise über eine WLAN-Internet-Anbindung mit dem Fahrzeug Informationen austauschen können.
Fig. 2 zeigt ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens 20 zur
Erfassung einer Umgebung eines Fahrzeugs 10, wie es beispielsweise in Fig. 1 dargestellt ist. Das Verfahren 20 beginnt mit einer Ausgangssituation 21 , in der eine Anfrage gestartet wird, um die Umgebung des Fahrzeugs 10 zu erfassen. Diese Anfrage kann beispielsweise manuell von dem Fahrer des Fahrzeuges eingeleitet werden oder durch eine Steuerungseinrichtung angefragt werden, die beispielsweise Teil eines Navigationssystems oder Teil einer Vorrichtung zum autonomen Fahren des Fahrzeuges 10 ist.
Bei dem Verfahren werden zunächst Daten erfasst, die sich auf die Erfassung von Bilddaten und auf die Erfassung von Odometrie-Daten beziehen. Hierbei ist die Erfassung der Daten symbolisch durch die Verfahrensschritte 22 und 23 gekennzeichnet. Hierbei können die Datenerfassungen 22, 23 zeitgleich oder zeitlich hintereinander geschehen, wobei die Reihenfolge der Verfahrensschritte 22,23 zeitlich auch umgekehrt sein kann. Demnach werden im Verfahrensschritt 22 mindestens zwei Bilder bzw. Scans der Umgebung mit einem optischen Sensor 1 1 aufgenommen, wie in Fig. 1 dargestellt ist. Ferner werden in dem Verfahrensschritt 23 Odometrie-Daten erfasst. Diese können beispielsweise von Odometrie-Sensoren an Fahrzeugreifen stammen, wie in Fig. 1 dargestellt ist.
In einem weiteren Verfahrensschritt 24 werden die gewonnenen Daten aus den
Verfahrensschritten 22, 23 verarbeitet. Hierzu werden zunächst die beiden
aufgenommenen Bilder verglichen. Durch den Vergleich werden statische und
dynamische Bereiche innerhalb des ersten und des zweiten Bildes ermittelt. Werden beispielsweise identische Objekte an gleicher Stelle des Bildes festgestellt, so kann es sich um statische Objekte in der Umgebung des Fahrzeuges handeln, wie beispielsweise Bäume oder Häuser. Unterscheiden sich jedoch verschiedene Bereiche in den beiden Bildern, so handelt es sich eher um sich bewegende Objekte, die dann einen
dynamischen Bereich eines Bildes kennzeichnen. Bei dem Vergleich der beiden Bilder sollte auch berücksichtigt werden, dass sich das Fahrzeug möglicherweise bereits selbst in dem Zeitraum von der Aufnahme des ersten Bildes zur Aufnahme des zweiten Bildes bewegt hat. Diese Bewegung kann auf einfache Weise mit der Auswerteeinrichtung herausgerechnet werden, so dass tatsächlich nur statische und dynamische Bereiche der Umgebung erkannt werden. Durch die Verwendung von Odometrie-Sensoren am
Fahrzeug ist es leicht möglich sehr genau die Umgebung zu erfassen, ohne dass die Auswertevorrichtung weitere Daten von außerhalb des Fahrzeugs 10 benötigt.
Nach Abschluss der Auswertung in Verfahrensschritt 24 wird das Ergebnis der
Auswertung dem Fahrzeug 10 zur weiteren Verwendung bereitgestellt, beispielsweise die Navigationseinrichtung, die die Anfrage einer Erfassung der Umgebung des Fahrzeugs gestartet hatte. Das Verfahren 20 mit den Schritten 21 - 25 kann beliebig oft wiederholt werden, so dass die Navigationseinrichtung zeitlich kontinuierlich über die Fahrsituation des Fahrzeuges über die ermittelte Umgebung informiert ist und entsprechend eingreifen kann.

Claims

Patentansprüche
1 . Verfahren zum Erfassen einer Umgebung eines Fahrzeugs (10), aufweisend
Bereitstellen mindestens eines Sensors (1 1 ) zum Erfassen der Umgebung des Fahrzeugs (10);
Erfassen eines ersten Bildes mit dem Sensor (1 1 );
Erfassen eines zweiten Bildes mit dem Sensor (1 1 ) zeitlich nach dem Erfassen des ersten Bildes;
Ermitteln von statischen und dynamischen Bereichen innerhalb des ersten und des zweiten Bildes durch Vergleichen der beiden Bilder;
dadurch gekennzeichnet, dass
bei dem Vergleichen der beiden Bilder Positionsdaten des Fahrzeuges (10) einbezogen werden, die von mindestens einem Odometrie-Sensor (14) des Fahrzeugs (10) bereitgestellt werden, der Odometrie-Daten bereitstellt.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass
der mindestens eine Odometrie-Sensor (14) Winkeldaten bereitstellt.
3. Verfahren nach Anspruch 1 oder Anspruch 2, dadurch gekennzeichnet, dass
der mindestens eine Odometrie-Sensor (14) Positionsdaten bereitstellt.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass
die Positionsdaten mit den Winkeldaten gemeinsam ausgewertet werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass
ferner das Verfahren ein Feststellen einer Bewegung des Fahrzeugs (10) aufweist, wobei aufgrund dieser Bewegung eine Kompensation der Bewegung des
Fahrzeugs (10) durchgeführt wird, bevor die beiden Bilder verglichen werden.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass
für die Ermittlung von statischen und dynamischen Bereichen eine Transformationsmatrix, ein Transformationsvektor und eine Rotationsmatrix verwendet wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass
die Transformationsmatrix basierend auf Odometrie-Daten bestimmt wird, der Translationsvektor basierend auf Daten in Bezug auf einer Geschwindigkeit und eine Fahrtrichtung des Fahrzeuges bestimmt wird, und die Rotationsmatrix basierend auf einer Gierrate des Fahrzeuges (10) bestimmt wird.
8. Verfahren nach einem der Ansprüche 1 bis 7,
dadurch gekennzeichnet, dass die Ermittlung von statischen und dynamischen Bereichen ohne eine Verwendung von GPS-Daten durchgeführt wird.
9. Verfahren nach einem der Ansprüche 1 -8,
dadurch gekennzeichnet, dass als Sensor (1 1 ) zum Erfassen der Umgebung des Fahrzeugs (10) ein Abstandssensor, insbesondere ein optischer Abstandssensor (1 1 ), vorgesehen ist.
10. Auswertevorrichtung (16) zum Erfassen der Umgebung eines Fahrzeugs (10) aufweisend
eine Empfangseinheit (18) und eine Verarbeitungseinheit (19),
wobei mit der Empfangseinheit (18) Daten mindestens eines Sensors des
Fahrzeugs (10) empfangbar sind;
wobei die Empfangseinheit (18) und die Verarbeitungseinheit (19) in
Wirkverbindung stehen und empfangene Daten von der Empfangseinheit (18) an die Verarbeitungseinheit (19) weiterleitbar sind;
wobei mit der Verarbeitungseinheit (19) statische und dynamische Bereiche von mindestens zwei aufgenommenen Bildern eines Sensors (1 1 ) des Fahrzeugs (10) durch Vergleichen der beiden Bilder ermittelbar sind;
dadurch gekennzeichnet, dass
die Verarbeitungseinheit (19) bei dem Vergleichen der beiden Bilder Positionsdaten des Fahrzeuges (10) einbezieht, die von dem mindestens einen Odometrie-Sensor (14) des Fahrzeugs (10) bereitgestellt werden, der Odometrie-Daten bereitstellt.
1 1 . Fahrerassistenzsystem mit einer Auswerteinheit nach Anspruch 10, insbesondere zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 9.
12. Fahrzeug aufweisend eine Auswerteinheit nach Anspruch 10 oder ein
Fahrerassistenzsystem nach Anspruch 1 1 insbesondere zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 9.
PCT/EP2018/056803 2017-03-20 2018-03-19 Verfahren und auswertevorrichtung zum erfassen einer umgebung eines fahrzeugs und fahrzeug WO2018172240A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017105879.6 2017-03-20
DE102017105879.6A DE102017105879A1 (de) 2017-03-20 2017-03-20 Verfahren und Auswertevorrichtung zum Erfassen einer Umgebung eines Fahrzeugs und Fahrzeug

Publications (1)

Publication Number Publication Date
WO2018172240A1 true WO2018172240A1 (de) 2018-09-27

Family

ID=61763960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/056803 WO2018172240A1 (de) 2017-03-20 2018-03-19 Verfahren und auswertevorrichtung zum erfassen einer umgebung eines fahrzeugs und fahrzeug

Country Status (2)

Country Link
DE (1) DE102017105879A1 (de)
WO (1) WO2018172240A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111673729A (zh) * 2019-03-11 2020-09-18 本田技研工业株式会社 路径决定方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019001002A1 (de) 2019-02-11 2019-08-01 Daimler Ag Verfahren zum Bestimmen einer Rollbewegung eines Kraftfahrzeugs mittels eines Fahrerassistenzsystems sowie Fahrerassistenzsystems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015205088A1 (de) * 2015-03-20 2016-09-22 Kuka Roboter Gmbh Online-Kalibrierungsprüfung während des Betreibens eines autonomen Fahrzeugs

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014114221A1 (de) 2014-09-30 2016-03-31 Valeo Schalter Und Sensoren Gmbh Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015205088A1 (de) * 2015-03-20 2016-09-22 Kuka Roboter Gmbh Online-Kalibrierungsprüfung während des Betreibens eines autonomen Fahrzeugs

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANG CANSEN ET AL: "Static-Map and Dynamic Object Reconstruction in Outdoor Scenes Using 3-D Motion Segmentation", IEEE ROBOTICS AND AUTOMATION LETTERS, IEEE, vol. 1, no. 1, 1 January 2016 (2016-01-01), pages 324 - 331, XP011598375, DOI: 10.1109/LRA.2016.2517207 *
ROMAN KATZ; JUAN NIETO; EDUARDO NEBOT, PROBABILISTIC SCHEME FOR LASER BASED MOTION DETECTION, 2006

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111673729A (zh) * 2019-03-11 2020-09-18 本田技研工业株式会社 路径决定方法

Also Published As

Publication number Publication date
DE102017105879A1 (de) 2018-09-20

Similar Documents

Publication Publication Date Title
DE102018116108B4 (de) Kalibrierungsprüfverfahren für den betrieb von autonomen fahrzeugen sowie fahrzeug mit einer steuerung zur ausführung des verfahrens
DE102004010197B4 (de) Verfahren zur Funktionskontrolle einer Positionsermittlungs- oder Umgebungserfassungseinrichtung eines Fahrzeugs oder zur Kontrolle einer digitalen Karte
EP1797534B1 (de) Verfahren für die erfassung einer optischen struktur
DE102015205088B4 (de) Verfahren zum Ermitteln eines Kalibrierungsparameters eines Fahrzeuges sowie Fahrzeug hierzu
EP3292423A1 (de) Diagnoseverfahren für einen sichtsensor eines fahrzeugs und fahrzeug mit einem sichtsensor
EP2189349A2 (de) Verfahren und Vorrichtung zur Kompensation eines Rollwinkels
DE102016003261A1 (de) Verfahren zur Selbstlokalisierung eines Fahrzeugs in einer Fahrzeugumgebung
DE102020007772A1 (de) Verfahren zur In-Betrieb-Kalibrierung eines Lidars und Fahrzeug
WO2020127053A1 (de) Bordeigenes visuelles ermitteln kinematischer messgrössen eines schienenfahrzeugs
DE102017002637A1 (de) Verfahren zur Ermittlung der Eigenbewegung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs
DE102018215753A1 (de) Vorrichtung und Verfahren zum Ermitteln einer Trajektorie eines Fahrzeugs
DE102008025773A1 (de) Verfahren zur Schätzung eines Orts- und Bewegungszustands eines beobachteten Objekts
WO2018172240A1 (de) Verfahren und auswertevorrichtung zum erfassen einer umgebung eines fahrzeugs und fahrzeug
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
DE102019207448A1 (de) Simultane Lokalisierung und Kartenerstellung in 2D unter Verwendung eines 3D-Scanners
EP2736017A2 (de) Verfahren zur Ermittlung der Bewegung eines Kraftfahrzeugs
DE102016009756A1 (de) Verfahren zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs sowie Sensorsystem
EP4148386A1 (de) Ermittlung einer absoluten initialposition eines fahrzeugs
DE102017217063A1 (de) Erkennungssystem, Arbeitsverfahren und Trainingsverfahren zum Erzeugen eines 3D-Modells mit Referenzdaten
DE102016223526A1 (de) Verfahren und Vorrichtung zum Bestimmen einer ersten hochgenauen Position eines Fahrzeugs
DE102020006160A1 (de) Verfahren zur Lageerkennung eines Objekts mittels eines Lageerfassungssystems, Verfahren zum Bearbeiten eines Objekts sowie Lageerfassungssystem
DE102019121522A1 (de) Raddiagnose
DE102015101190A1 (de) Verfahren zum Bestimmen eines Bildtiefenwerts abhängig von einem Bildbereich, Kamerasystem und Kraftfahrzeug
DE102019212279B3 (de) Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
DE102019128686A1 (de) Verfahren und Vorrichtung zur Ermittlung von Bewegungsinformation in Bezug auf ein Objekt

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18712851

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18712851

Country of ref document: EP

Kind code of ref document: A1