WO2017206999A1 - Verfahren zur auswertung von bilddaten einer fahrzeugkamera - Google Patents

Verfahren zur auswertung von bilddaten einer fahrzeugkamera Download PDF

Info

Publication number
WO2017206999A1
WO2017206999A1 PCT/DE2017/200044 DE2017200044W WO2017206999A1 WO 2017206999 A1 WO2017206999 A1 WO 2017206999A1 DE 2017200044 W DE2017200044 W DE 2017200044W WO 2017206999 A1 WO2017206999 A1 WO 2017206999A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle camera
movement
threshold
feature
image
Prior art date
Application number
PCT/DE2017/200044
Other languages
English (en)
French (fr)
Inventor
Martin BUCZKO
Volker Willert
Tim Kaczmarek
Original Assignee
Continental Teves Ag & Co. Ohg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Teves Ag & Co. Ohg filed Critical Continental Teves Ag & Co. Ohg
Priority to US16/301,937 priority Critical patent/US10762643B2/en
Priority to DE112017000822.0T priority patent/DE112017000822A5/de
Publication of WO2017206999A1 publication Critical patent/WO2017206999A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method and a device for evaluating image data of a vehicle camera and can be used in particular for the reconstruction of the movement of the vehicle camera in the context of a camera-based driver assistance system.
  • Visual Odometry allows the calculation of the motion of a camera system from a sequence of images. In the case of a stereo system, the rotation around all three axes, as well as the translation along the axes and thus the motion in all six degrees of freedom can be reconstructed. This information can be used to estimate the current driving conditions for various driver assistance systems, such as ABS, ESP, cruise control or Wank tilt control serve.
  • driver assistance systems such as ABS, ESP, cruise control or Wank tilt control serve.
  • sensors For self-localization of vehicles, a combination of different sensors is used today. These include, for example, yaw rate sensors, acceleration sensors, odometry and GPS systems.
  • WO 2013/037840 A1 shows a method for determining position data of a vehicle.
  • Vehicle dynamics data of the vehicle are measured.
  • Position data of the vehicle is measured with an environment sensor which stores the position data based on detected at least one distance from a standing opposite the vehicle stationary object.
  • position data of the vehicle is determined based on the vehicle dynamics data and the position data.
  • an environment sensor here a vehicle camera can be used.
  • WO 2010/099789 A1 shows a method for the automatic recognition of a driving maneuver of a motor vehicle, in particular an overtaking maneuver or an evasive maneuver.
  • data of the vehicle sensor system and a lane detection based on data of a video sensor system can be fused in an odometry.
  • Odometry makes it possible to estimate the position, speed and orientation of the vehicle on the road as well as other parameters. These estimates can be provided to a maneuver recognition, other situation analysis algorithms or for control tasks.
  • the information from a camera-based self-motion estimation can be used as input for dead reckoning approaches to estimate the trajectory and position (location) of one's own vehicle.
  • one's own position can be estimated continuously taking into account a starting position and the subsequent course of the movement and speed (translation and rotation).
  • the information for each time step can still be combined and used for trajectory reconstruction or vehicle localization, for example as a source of information for risk assessments, vehicle planning, Car2X information interchange and even autonomous driving.
  • This data can be used, for example, to supplement an existing GPS system and to support it in critical situations.
  • visual odometry can provide considerable support, since unlike GPS receivers, it does not rely on external signals.
  • systems for visual odometry can be distinguished in the time window of their calculation.
  • additional information from further backward time steps can be used.
  • SLAM Simultaneous Localization and Mapping
  • Bundle Adjustment aims to improve the self-motion estimation by re-optimizing the triangulated space points.
  • a particular challenge for camera-based systems is situations with an insufficient number of correspondences of static scene points, strongly changing light conditions and low brightness, an unstructured environment with homogeneous, non-textured surfaces or an unsuitably low frame rate. Scenarios with higher speed such as on highways or highways bring several of these problems, making them one of the most challenging situations. Above all, the lack of, or the much smaller number of suitable features (correspondences) at close range makes it difficult to estimate the proper motion.
  • outliers are a core element of any visual odometry.
  • Different methods of outlier identifier are known. Pure flow-based approaches are based on the assumption that the optical flow follows patterns that are due to the vehicle's own motion. Furthermore, model-based approaches exist that explicitly restrict the flow due to a specific motion model. Many known methods use approaches based on reproductive errors.
  • Visual odometry based on stereo image sequences with ransac-based outlier rejection scheme IEEE Intelligent Vehicles Symposium, 2010, the calculation of a feature-related reprojection error for eliminating outliers, which is compared with a constant threshold.
  • a minimum number of randomly selected correspondences is usually used at each iteration to form a motion hypothesis.
  • a value is then calculated that describes whether the feature supports the motion hypothesis.
  • the non-assistive features are discarded as outliers. Otherwise, a minimum number of correspondences will be randomly selected again.
  • a first aspect of the invention relates to the reconstruction of the movement in all six degrees of freedom (6-DOF movement) of vehicles by means of a vehicle camera as a stand-alone system, or to expand the sensor cluster. Since the vehicle camera for driver assistance applications is usually permanently installed in the vehicle, the movement of the vehicle camera corresponds to the movement of the vehicle.
  • a preferred embodiment of a vehicle camera is a stereo camera.
  • a second aspect of the invention therefore relates to a method suitable for high-speed scenarios.
  • Image correspondence is the correspondence of a feature in a first image to the same feature in a second image.
  • a feature may be an image patch, an edge, a corner, or an object.
  • First and second picture can be shot at the same time by the same mono- camera or by two camera modules from a stereo camera at the same time.
  • the respective image position is of interest, in the case of successive images also the time that has elapsed between the two images.
  • Image correspondences can be evaluated by a so-called reprojection error.
  • the reprojection error indicates the difference between the measured flux and the flux calculated from the motion hypothesis. If a feature's reprojection error exceeds a threshold, that feature is removed as an "outlier" from the final measurement used to estimate the vehicle's own motion.
  • Another aspect of the invention relates to the finding that a constant threshold for the Reproj tion error for outlier elimination is not effective.
  • Another aspect of the invention is the recognition that the Reproj etationscons depends on the image coordinate of the correspondence considered relative to the main image point and the depth of the considered measuring point. These dependencies, apart from a deterioration of the estimate, can lead to a complete collapse of the estimate, since the influence by the coordinates / depth leads to a higher reprojection error than in the case of an incorrect correspondence with "favorable" coordinate / depth.
  • Another aspect of the invention is based on a thorough analysis of the causes (see Section I), which now allows to introduce a novel criterion which, in the case of pure translation, makes the estimation much more robust and increases the accuracy.
  • this criterion can continue to be used in scenarios with rotation, if there is knowledge about them.
  • the rotationally induced flow is simply compensated in the measured flow. In overland and freeway scenarios, however, this is not necessary due to the low rotation in the cases studied.
  • An inventive method for image evaluation of image data of a vehicle camera comprises the following steps:
  • steps b) to g) are part of an iteration step or in other words an iteration step comprises steps b) to g).
  • step c) in particular, the extraction of a (complete) set of corresponding features is provided, and in step e), the associated extraction error is then preferably determined for each feature extracted.
  • steps f) and g) are to be understood such that the threshold is not the same for all features extracted in an iteration step.
  • steps f) and g) are to be understood such that the threshold is not the same for all features extracted in an iteration step.
  • the threshold value is selected individually for each individual correspondence, for example by scaling with the optical flow of the relevant feature (see below). In this respect, the threshold can be referred to as variable within an iteration step.
  • a translation with a predefined speed can be used as an assumption of the motion of the vehicle camera or "initial motion hypothesis.”
  • data from other sensors in the vehicle can provide an initial motion hypothesis.
  • schemes such as RANSAC and MASOR
  • the new type of thresholding is quickly applicable and increases the robustness of the outlier detection.
  • a threshold for an extracted feature is applied in step f), which depends on a parameter (ie a quantifiable property) of the extracted feature.
  • a threshold value is formed individually for each feature extracted.
  • the threshold depends on the flux measured from the feature extracted in the first and second image (ie practically the displacement of the same feature in the first image compared to the second image).
  • a constant threshold value is applied to the Reproj tion error to ensure the numerical robustness. For larger, however, another, especially varying threshold.
  • the threshold is proportional to the measured flux of the extracted feature. This is the same as normalizing the commonly used repro- duction error with the measured optical flux and using a constant threshold. Clearly, this change in correspondences with a large optical flux also allows a larger error, which forces the use of close correspondences more than the reprojection error.
  • a rotational component of the motion can be compensated for by the threshold being proportional to the flux after the compensation of the rotary component.
  • the threshold comprises a constant factor and a variable component, wherein the constant factor can be predetermined taking into account physical properties of the vehicle camera.
  • the movement of the vehicle camera taking into account that in the current iteration step is not an outlier reconstructed eliminated features.
  • Reconstructing may mean, in particular, that now a new motion hypothesis is calculated or that the previous motion hypothesis is refined.
  • step h The movement of the vehicle camera reconstructed in step h) is preferably adopted for the following iteration step as a movement hypothesis for step d).
  • step a) can also be carried out in the following iteration step.
  • the threshold or its constant factor with increasing iteration is reduced until a desired accuracy is achieved.
  • the method can be used at high translational movement speeds of the vehicle camera or of the vehicle, with high speeds preferably being greater than or equal to 30 km / h, in particular greater than or equal to 50 km / h.
  • the reconstructed vehicle camera movement is used for self-localization.
  • the reconstructed vehicle camera movement is used for determining the float angle of the vehicle in which the vehicle camera is arranged.
  • the reconstructed vehicle camera movement is used to determine the wheel diameter of the vehicle in which the vehicle camera is arranged.
  • the distance traveled results from the recon- construction and by means of a wheel speed value (eg from the vehicle sensor cluster), the wheel diameter can be approximated.
  • a calibration of the vehicle camera can advantageously take place by a comparison of the reconstructed vehicle camera movement with the movement of the vehicle determined from other sensors.
  • the vehicle camera is preferably a stereo camera.
  • the vehicle camera may be another camera, as long as their data allow the reconstruction of a depth image, in particular TOF (time of flight, time-of-flight) cameras such as HiRes Flashlidar, but also from mono image data, a 3D scene reconstruction is possible - at least approximately , on the assumption of a flat background, see eg Kitt et al. Monocular Visual Odometry using a Planar Road Model to Solve Scale Ambiguity, in Proc. of the European Conference on Mobile Robots, ⁇ rebro, Sweden, September 2011.
  • TOF time of flight, time-of-flight
  • the invention further relates to a device having a processor, which is designed to carry out a method according to the invention, for example as part of a control device for the vehicle camera or a Auswer- teelektronik.
  • the processor may include a microcontroller or processor, a Digital Signal Processor (DSP), an Application Specific Integrated Circuit (ASIC), a Field Programmable Gate Array (FPGA), and the like, as well as software to perform the appropriate control or programming. Include evaluation steps.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the present invention may thus be implemented in digital electronic circuits, computer hardware, firmware or software.
  • Fig. 1 schematically as a feature in real space. from one
  • An outlier can be determined as follows.
  • the reliability of measurements has two aspects:
  • the accuracy of the correspondence is limited by the image resolution. Even if the correspondence of a feature is unambiguous in the right and in the left image, the smaller the distance of the corresponding features, ie their disparity, the less accurate the pose change can be determined.
  • the resolution of the reconstructed depth is reduced quadratically with the distance.
  • the pose change of the camera between the times t-1 and t is obtained from the translation vector T and the rotation matrix R (the camera movement).
  • the movement of the camera corresponds to the movement of the vehicle. I. How can an outlier be defined?
  • Fig. 1 illustrates schematically these relationships. A feature in real space at the time of one
  • the vehicle camera is a stereo camera (shown as two adjacent parallelograms, each symbolizing a camera module), which generates a pair of images consisting of a left and a right image at a recording time. This is a way to determine the depth of the feature by means of triangulation or by determining the disparity. The disparity results from the displacement of the corresponding feature
  • a method according to the invention is not limited to the stereo camera as a vehicle camera, since other cameras also enable the reconstruction of a depth image, in particular TOF cameras such as HiRes Flashlidar, but also from mono image data a 3D scene reconstruction is possible, at least approximately.
  • the camera then changes its pose by translation and rotation (camera movement). At time t, the camera forms the
  • Movement of the camera can now be virtually moved the camera in space and calculated taking into account the imaging characteristic of the camera, where the feature in the next picture
  • the image co-ordinates are extracted by a feature detector
  • the outliers - are discarded. Typically, this is done by selecting only the features with trusted ones
  • the trustworthiness of a measurement has two aspects. Firstly, in stereovision only unambiguous correspondences should be taken into account, eg those that are not affected by the aperture problem. Because the depth is at stereo vision
  • each feature meets the epipolar condition, so the features may only be projections of static points in the scene. Since it can not be guaranteed that the measurements are all trustworthy, and because the optimal pose change is not is known, a good hypothesis must be found and
  • the reprojection error according to equation (2) is investigated in two ways: on the one hand, it is to be used as a criterion for eliminating outliers and, on the other hand, the reprojection error is intended to improve the hypothesis of the pose change, if the inlier are taken into account.
  • the reprojection error is intended to improve the hypothesis of the pose change, if the inlier are taken into account.
  • paint motion estimation can be defined
  • the rotation matrix is approximately equal to the unit matrix
  • a reasonable threshold for assessing the quality of a feature can not be a constant value, but must consider the depth and length of the image coordinates to make a meaningful statement about the quality of a feature.
  • the second approximation is based on the assumption that the depth is much larger than the longitudinal motion
  • a rotational component of the motion hypothesis can be compensated by normalizing the reflection error with the flux after the compensation of the rotational component.
  • a standardized repro- duction error In the case of such a standardized repro- duction error
  • the described outlier detection can not only be used for high-speed scenarios (with the assumption of freedom of rotation). This significantly expands the scenarios in which the process leads to improvements.
  • FIG. 3 shows the comparison of the rear projection error or RE
  • the optical flow for the left and right images between times t-1 and t is refined using the Bouguet Lucas-Kanade method, Pyramidal Implementation of the Affine Lucas Canada feature tracker description of the algorithm, 2001, Intel Corp. 5.
  • the final feature set with a start number for the initialization is achieved by a left-right
  • Consistency check at time t for all other optical flow estimates (which is a variant of circular matching, proposed in Geiger et al., Stereoscan: Dense 3d reconstruction in real-time, in Intelligent Vehicles Symposium, 2011).
  • the pose estimation is initialized with the estimate of the last frame
  • the threshold thus, it applies to the normalized reprojection error and is an example of a constant factor of the threshold, which can be specified taking into account the physical properties of the vehicle camera.
  • the first condition requires a sufficiently large optical flow, otherwise a normalization of the reprojection error is not impossible (unstable). A small optical flux occurs especially in far distant features.
  • the second criterion intervenes, which then requires that the non-normalized reprojection error be below a low constant threshold lies. So as long as at least one criterion is met, the feature is considered inlier.
  • the thresholds are during the iterations
  • Fig. 5 shows the results of a comparison of the measurement results of laser scanner systems with an embodiment of the invention. Although the measurement accuracy of the camera-based system is inferior to the total of the laser scanner. However, careful outlier elimination at speeds above 70 km / h provides the best measurement results.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bildauswertung von Bilddaten einer Fahrzeugkamera umfassend die folgenden Schritte: a) Aufnahme eines ersten Bildes mittels der Fahrzeugkamera, b) Aufnahme eines darauffolgenden zweiten Bildes mittels der Fahrzeugkamera c) Extraktion von mehreren korrespondierenden Merkmalen im ersten und zweiten Bild, d) Annahme einer Bewegung der Fahrzeugkamera (Bewegungshypothese) zwischen der Aufnahme des ersten und zweiten Bildes e) Bestimmung eines Reprojektionsfehlers eines extrahierten Merkmals, wobei der Reprojektionsfehler den Unterschied zwischen dem aus dem im ersten und zweiten Bild extrahierten Merkmal gemessenen Fluss und dem aus der Bewegungshypothese berechneten Fluss angibt, f) Ermittlung von Ausreißern, wobei ein extrahiertes Merkmal als Ausreißer ermittelt wird, wenn der Reprojektionsfehler dieses Merkmals eine Schwelle erreicht oder überschreitet, g) wobei die Schwelle innerhalb eines Iterationsschrittes nicht konstant ist, d.h. dass die Schwelle nicht für alle in einem Iterationsschritt extrahierten Merkmale dieselbe ist. Zumindest die Schritte b) bis g) sind hierbei Bestandteil eines Iterationsschrittes. Das erfindungsgemäße Verfahren bietet eine verbesserte Möglichkeit der Ausreißererkennung und –eliminierung zur Schätzung der Bewegung der Fahrzeugkamera.

Description

Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Auswertung von Bilddaten einer Fahrzeugkamera und kann ins- besondere zur Rekonstruktion der Bewegung der Fahrzeugkamera im Rahmen eines kamerabasierten Fahrerassistenzsystems eingesetzt werden .
Visuelle Odometrie erlaubt die Berechnung der Bewegung eines Kamerasystems aus einer Sequenz von Bildern. Im Fall eines Stereosystems kann die Rotation um alle drei Achsen, sowie die Translation entlang der Achsen und somit die Bewegung in allen sechs Freiheitsgraden rekonstruiert werden. Diese Information kann zur Schätzung der aktuellen Fahrzustände für verschiedenste Fahrerassistenzsysteme wie z.B. ABS, ESP, Tempomat oder Wankneigungskontrolle dienen.
Zur Eigenlokalisierung von Fahrzeugen wird heute ein Verbund verschiedener Sensoren verwendet. Diese beinhalten bei- spielsweise Drehratensensoren, Beschleunigungssensoren, Odo- metrie und GPS-Systeme.
Um die Genauigkeit der eigenen Positionsbestimmung - aber besonders auch die Verfügbarkeit - in kritischen Szenarien wie Häuserschluchten oder Tunnelszenarien zu erhöhen, sind kame- rabasierte Eigenbewegungsschätzungen als alternatives Sen- sorkonzept von großer Wichtigkeit, um das bisherige Sensor- konzept mit einer zusätzlichen und unabhängigen Sensorquelle zu erweitern .
WO 2013/037840 AI zeigt ein Verfahren zum Bestimmen von Lagedaten eines Fahrzeuges. Fahrdynamikdaten des Fahrzeuges werden ge- messen. Positionsdaten des Fahrzeuges werden mit einem Um- feldsensor gemessen, der die Positionsdaten basierend auf wenigstens einem Abstand zu einem gegenüber dem Fahrzeug an- geordneten stillstehenden Objekt erfasst. Schließlich werden Lagedaten des Fahrzeugs basierend auf den Fahrdynamikdaten und den Positionsdaten bestimmt. Als Umfeldsensor kann hierbei eine Fahrzeugkamera verwendet werden.
WO 2010/099789 AI zeigt ein Verfahren zur automatischen Erkennung eines Fahrmanövers eines Kraftfahrzeugs, insbesondere eines Überholmanövers oder eines Ausweichmanövers. Dabei können in einer Odometrie Daten der Fahrzeugsensorik und einer auf Daten einer Videosensorik basierten Fahrstreifenerkennung fusioniert werden. Die Odometrie erlaubt, Position, Geschwindigkeit und Orientierung des Fahrzeugs auf der Fahrbahn sowie weitere Zustandsgrössen zu schätzen. Diese Schätzgrössen können einer Manövererkennung, anderen Situationsanalyse-Algorithmen oder für Regelungsaufgaben zur Verfügung gestellt werden.
Desweiteren kann die Information aus einer kamerabasierten Eigenbewegungsschätzung als Input für Koppelnavigations- (Dead Reckoning-) Ansätze verwendet werden, um die Trajektorie und Position (Lokalisierung) des eigenen Fahrzeugs zu schätzen. Bei derartigen Ansätzen kann die eigene Lage laufend geschätzt werden unter Berücksichtigung einer Ausgangsposition und dem an- schließenden Verlauf der Bewegung und Geschwindigkeit (Translation und Rotation) .
Aufgrund der hohen erreichbaren Genauigkeit können die In- formationen für jeden Zeitschritt weiterhin kombiniert und zur Traj ektorienrekonstruktion bzw. Fahrzeuglokalisierung -beispielsweise als Informationsquelle für Risikobewertungen, Traj ektorienplanung, Car2X-Informationsaustausch bis hin zum autonomen Fahren- verwendet werden. Diese Daten können bei- spielsweise genutzt werden, um ein bestehendes GPS-System zu ergänzen und in kritischen Situationen zu unterstützen. Die Notwendigkeit zeigen beispielsweise Untersuchungen, nach denen in Hong Kong oder Calgary die GPS-Verfügbarkeit lediglich 30% beträgt. Für Baustellenszenarien, welche Häuserschluchten sehr ähneln, wurde sogar ein Wert von nur 10% Verfügbarkeit ermittelt.
Gerade in diesen Szenarien kann die visuelle Odometrie eine erhebliche Unterstützung leisten, da sie im Gegensatz zu GPS-Receivern nicht auf externe Signale angewiesen ist. Un- terschieden werden können Systeme zur visuellen Odometrie beispielsweise im Zeitfenster ihrer Berechnung. Neben der Berechnung von Bewegungen zwischen zwei aufeinanderfolgenden Zeitschritten kann zusätzliche Information aus weiter zu- rückliegenden Zeitschritten verwendet werden. Hierbei kann man zwischen Simultaneous Localization and Mapping (SLAM) und Bündle Adjustment unterscheiden. Während beim SLAM neben der Eigen- bewegung auch eine Kartierung durchgeführt wird, hat das Bündle Adjustment die Verbesserung der Eigenbewegungsschätzung durch das Nachoptimieren der triangulierten Raumpunkte zum Ziel. Eine Herausforderung für kamerabasierte Systeme stellen ins- besondere Situationen mit einer unzureichenden Anzahl an Korrespondenzen von statischen Szenenpunkten, sich stark än- dernden Lichtverhältnissen und geringer Helligkeit, einer unstrukturierten Umgebung mit homogenen, nicht texturierten Oberflächen oder einer ungeeignet niedrigen Bildrate dar. Szenarien mit höherer Geschwindigkeit, wie beispielsweise auf Autobahnen oder Landstraßen bringen mehrere dieser Probleme mit sich, was sie zu einer der herausforderndsten Situationen macht. Vor allem das Fehlen von, bzw. die deutlich geringere Zahl an geeigneten Merkmalen (Korrespondenzen) im Nahbereich erschwert die Schätzung der Eigenbewegung.
Die Erkennung von Ausreißern ist ein Kernelement jeglicher visueller Odometrie. Verschiedene Verfahren zur Ausreißerer- kennung sind bekannt. Rein flussbasierte Ansätze beruhen auf der Annahme, dass der optische Fluss Mustern folgt, die durch die Eigenbewegung des Fahrzeugs bedingt sind. Weiterhin existieren modellbasierte Ansätze, die den Fluss aufgrund eines bestimmten Bewegungsmodells explizit beschränken. Viele bekannte Verfahren verwenden Ansätze, die auf sich auf Reproj ektionsfehler stützen.
B. Kitt et al . zeigen beispielsweise in der Veröffentlichung Visual odometry based on stereo image sequences with ransac-based outlier rejection scheme, IEEE Intelligent Vehicles Symposium, 2010, die Berechnung eines merkmalsbezogenen Reproj ektions- fehlers zur Eliminierung von Ausreißern, der mit einem konstanten Schwellwert verglichen wird. Bei RANSAC Verfahren üblicherweise bei jeder Iteration eine minimale Anzahl an zufällig ausgewählten Korrespondenzen verwendet wird, um eine Bewegungshypothese zu bilden. Für jedes Merkmal wird anschließend ein Wert berechnet, der beschreibt, ob das Merkmal die Bewegungshypothese unterstützt. Wenn die Be- wegungshypothese eine hinreichende Unterstützung durch die Merkmale erreicht, werden die nicht-unterstützenden Merkmale als Ausreißer verworfen. Andernfalls wird erneut eine minimale Anzahl an Korrespondenzen zufällig ausgewählt. Alternative Verfahren können als „MASOR" Verfahren zusammen- gefasst werden (MAximum Subset Outlier Removal) . Hier wird die maximale Anzahl von Merkmalen genommen, um die Bewegungshy- pothese zu berechnen. Diese Bewegungshypothese und ein nach- folgender Schritt der Ausreißereliminierung werden in einem iterativen Schema wiederholt. Dann wird ein Unterstützungswert für jedes Merkmal berechnet. Anstatt die Bewegungshypothese zu bewerten, wird nun der Unterstützungswert als Maß für die Qualität eines Merkmals interpretiert, da die Hypothese als gute Schätzung betrachtet wird. Nicht-unterstützende Merkmale werden verworfen und die folgende Iteration startet mit den ver- bleibenden Merkmalen. Diese Verfahren werden so lange widerholt, bis ein Beendigungskriterium erfüllt ist. Es ist eine Aufgabe der vorliegenden Erfindung, eine verbesserte Ausreißererkennung für eine Bewegungschätzung mittels einer Fahrzeugkamera anzugeben.
Ein erster Aspekt der Erfindung betrifft die Rekonstruktion der Bewegung in allen sechs Freiheitsgraden ( 6-DOF-Bewegung von engl. Degrees Of Freedom) von Fahrzeugen mittels einer Fahr- zeugkamera als eigenständiges System, oder um das Sensorcluster zu erweitern. Da die Fahrzeugkamera für Fahrerassistenzan- wendungen in aller Regel im Fahrzeug fest eingebaut ist, entspricht die Bewegung der Fahrzeugkamera der Bewegung des Fahrzeugs. Eine bevorzugte Ausführung einer Fahrzeugkamera stellt eine Stereokamera dar.
Die grundlegende Methodik der visuellen Odometrie stammt aus der mobilen Robotik. Hier werden im Allgemeinen deutlich niedrigere Translationsgeschwindigkeiten erreicht, als im Automotive- bereich. Aufgrund der deutlich höheren Geschwindigkeiten beim Fahrzeug entstehen bei den bisherigen System deutliche Fehler bei Hochgeschwindigkeitsszenarien (Landstraße, Autobahn) . Ein zweiter Aspekt der Erfindung betrifft daher ein für Hochge- schwindigkeitsszenarien geeignetes Verfahren zu präsentieren.
Zur Schätzung der Bewegung sind zeitliche und räumliche Bildkorrespondenzen notwendig, welche Fehler enthalten (z.B. bewegte Objekte, Fehler durch Aliasing ... ) . Als Bildkorres- pondenz wird die Entsprechung eines Merkmals in einem ersten Bild zu demselben Merkmal in einem zweiten Bild bezeichnet. Ein Merkmal kann insbesondere ein Bildausschnitt (bzw. Patch), eine Kante, eine Ecke oder ein Objekt sein. Erstes und zweites Bild können von derselben Monokamera zu unterschiedlichen Zeiten aufgenommen werden oder von zwei Kameramodulen einer Stereo- kamera zum selben Zeitpunkt. In der Regel ist bei der Kor- respondenz eines Merkmals in zwei Bildern die jeweilige Bildposition (Bildkoordinaten) von Interesse, bei zeitlich nacheinander aufgenommenen Bildern auch die Zeit, die zwischen beiden Aufnahmen vergangen ist.
Bildkorrespondenzen können durch einen sogenannten Reprojek- tionsfehler bewertet werden. Der Reproj ektionsfehler gibt den Unterschied an zwischen dem gemessenen Fluss und dem aus der Bewegungshypothese berechneten Fluss an. Wenn der Reproj ek- tionsfehler eines Merkmals einen Grenzwert überschreitet, wird dieses Merkmal als „Ausreißer" aus der finalen Messung entfernt, welche zur Schätzung der Fahrzeugeigenbewegung verwendet wird.
Ein weiterer Aspekt der Erfindung betrifft die Erkenntnis, dass ein konstanter Schwellwert für den Reproj ektionsfehler zur Ausreißereliminierung nicht zielführend ist. Ein weiterer Aspekt der Erfindung liegt in der Erkenntnis, dass der Reproj ektionsfehler abhängt von der Bildkoordinate der betrachteten Korrespondenz relativ zum Bildhauptpunkt sowie von der Tiefe des betrachteten Messpunkts. Diese Abhängigkeiten können neben einer Verschlechterung der Schätzung zu einem kompletten Zusammenbruch der Schätzung führen, da der Einfluss durch die Koordinaten/Tiefe zu einem höherem Reproj ektionsfehler führt, als bei einer fehlerhaften Korrespondenz mit "günstiger" Koordinate/Tiefe . Ein weiterer Aspekt der Erfindung basiert auf einer sorgfältigen Analyse der Ursachen (siehe Abschnitt I . ) , die nun ermöglicht ein neuartiges Kriterium einzuführen, welches bei reiner Translation die Schätzung deutlich robuster macht und die Genauigkeit erhöht. Gemäß einem weiteren Aspekt der Erfindung kann dieses Kriterium weiterhin auch in Szenarien mit Rotation verwendet werden, wenn Kenntnis über diese vorliegt. Hierzu wird der rotatorisch induzierte Fluss einfach im gemessenen Fluss kompensiert. In Überland- und Autobahnszenarien ist dies jedoch aufgrund der geringen Rotation in den untersuchten Fällen nicht notwendig.
Somit entsteht ein kamerabasiertes Gesamtkonzept, welches die Eigenlokalisierung von Fahrzeugen mit hoher Genauigkeit durchführt und in einem deutlich weiteren Geschwindigkeits- bereich zu besseren Ergebnissen führt.
Ein erfindungsgemäßes Verfahren zur Bildauswertung von Bilddaten einer Fahrzeugkamera umfasst die folgenden Schritte:
a) Aufnahme eines ersten Bildes mittels der Fahrzeugkamera, b) Aufnahme eines darauffolgenden zweiten Bildes mittels der Fahrzeugkamera
c) Extraktion von mehreren korrespondierenden Merkmalen im ersten und zweiten Bild,
d) Annahme einer Bewegung der Fahrzeugkamera (Bewegungshy- pothese) zwischen der Aufnahme des ersten und zweiten Bildes e) Bestimmung eines Reproj ektionsfehlers eines extrahierten Merkmals, wobei der Reproj ektionsfehler den Unterschied zwischen dem aus dem im ersten und zweiten Bild extrahierten Merkmal gemessenen Fluss und dem aus der Bewegungshypothese berechneten Fluss angibt,
f) Ermittlung von Ausreißern, wobei ein extrahiertes Merkmal als Ausreißer ermittelt wird, wenn der Reproj ektionsfehler dieses Merkmals eine Schwelle erreicht oder überschreitet, g) wobei die Schwelle innerhalb eines Iterationsschrittes nicht konstant ist.
Zumindest die Schritte b) bis g) sind hierbei Bestandteil eines Iterationsschrittes oder mit anderen Worten umfasst ein Ite- rationsschritt die Schritte b) bis g) . In Schritt c) ist insbesondere die Extraktion eines (voll- ständigen) Satzes von korrespondierenden Merkmalen vorgesehen und in Schritt e) wird dann vorzugsweise für jedes extrahierte Merkmal der zugehörige Extraktionsfehler bestimmt. Die Schritte f) und g) sind insbesondere so zu verstehen, dass die Schwelle nicht für alle in einem Iterationsschritt extrahierten Merkmale dieselbe ist. Innerhalb eines Iterationsschrittes werden vorzugsweise alle extrahierten korrespondierenden Merkmale bewertet. Der Schwellwert wird für jede einzelne Korrespondenz individuell gewählt, beispielsweise durch eine Skalierung mit dem optischen Fluss des betreffenden Merkmals (s. unten) . Insofern kann die Schwelle innerhalb eines Iterationsschrittes als variabel bezeichnet werden.
Im ersten Iterationsschritt kann beispielsweise eine Translation mit einer vorgegebenen Geschwindigkeit als Annahme der Bewegung der Fahrzeugkamera bzw. „initiale Bewegungshypothese" verwendet werden. Alternativ können Daten anderer Sensoren im Fahrzeug eine initiale Bewegungshypothese liefern. Das erfindungsgemäße Verfahren bietet eine verbesserte Mög- lichkeit der Ausreißererkennung, die für Schemata wie RANSAC und MASOR bekannt ist. Bei bekannten Verfahren, die den Repro- j ektionsfehler ermitteln, ist die neue Art der Schwellenbildung schnell anwendbar und erhöht die Robustheit der Ausreißerer- kennung.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird in Schritt f) eine Schwelle für ein extrahiertes Merkmal angewandt, die abhängt von einem Parameter (also einer quantifizierbaren Eigenschaft) des extrahierten Merkmals. Dadurch wird für jedes extrahierte Merkmal individuell ein Schwellwert gebildet.
Bevorzugt hängt die Schwelle ab von dem aus dem im ersten und zweiten Bild extrahierten Merkmal gemessenen Fluss (also praktisch der Verschiebung desselben Merkmals im ersten Bild verglichen mit dem zweitem Bild) . Vorteilhaft kann z.B. eine Fallunterscheidung getroffen werden, wobei für sehr kleine Flüsse, die unterhalb eines Minimalwerts liegen, zum Sicher- stellen der numerischen Robustheit ein konstanter Schwellwert auf den Reproj ektionsfehler angewandt wird. Bei größeren dagegen eine andere, insbesondere variierende Schwelle.
Besonders bevorzugt ist die Schwelle proportional zum gemessenen Fluss des extrahierten Merkmals. Das ist dasselbe wie wenn der üblicherweise verwendete Reproj ektionsfehler mit dem gemessenen optischen Fluss normiert wird und ein konstanter Schwellwert verwendet wird. Anschaulich erlaubt diese Veränderung Kor- respondenzen mit großem optischem Fluss auch einen größeren Fehler, was die Verwendung naher Korrespondenzen stärker forciert als der Reproj ektionsfehler .
Mathematisch wird sowohl die Abhängigkeit des Fehlers von der Koordinate relativ zum Bildhauptpunkt eliminiert, als auch die Abhängigkeit der Tiefe im relevanten Bereich nahezu komplett kompensiert. Hierdurch wird der Zusammenbruch auf weit entfernte Korrespondenzen verhindert, welcher die Auflösung der Trans- lationsschätzung deutlich herabsetzt bzw. sogar verhindert. In vorteilhafter Weise kann eine rotatorische Komponente der Bewegung kompensiert werden, indem die Schwelle proportional zum Fluss nach der Kompensation der rotatorischen Komponente ist.
Vorteilhaft umfasst die Schwelle einen konstanten Faktor und einen variablen Anteil, wobei der konstante Faktor unter Be- rücksichtigung von physikalischen Eigenschaften der Fahr- zeugkamera vorgegeben werden kann.
Gemäß einer bevorzugten Ausführungsform wird in einem weiteren Schritt h) die Bewegung der Fahrzeugkamera unter Berücksich- tigung der im aktuellen Iterationsschritt nicht als Ausreißer eliminierten Merkmale rekonstruiert. Es werden mit anderen Worten nur die Inlier zu Bewegungsrekonstruktion verwendet. Rekonstruieren kann hierbei insbesondere bedeuten, dass nun eine neue Bewegungshypothese berechnet oder dass die bisherige Bewegungshypothese verfeinert wird.
Vorzugsweise wird die in Schritt h) rekonstruierte Bewegung der Fahrzeugkamera für den folgenden Iterationsschritt als Bewe- gungshypothese für Schritt d) übernommen.
Bei einem folgenden Iterationsschritt kann das bisherige zweite Bild als neues erstes Bild verwendet werden. Alternativ kann auch Schritt a) im folgenden Iterationsschritt durchgeführt werden.
Bevorzugt wird die Schwelle bzw. deren konstanter Faktor mit fortschreitender Iteration so lange herabgesetzt, bis eine gewünschte Genauigkeit erzielt ist.
In vorteilhafter Weise kann das Verfahren bei hohen transla- torischen Bewegungsgeschwindigkeiten der Fahrzeugkamera bzw. des Fahrzeugs zum Einsatz kommen, wobei hohe Geschwindigkeiten vorzugsweise größer oder gleich 30 km/h, insbesondere größer oder gleich 50 km/h sind.
Bevorzugt wird die rekonstruierte Fahrzeugkamerabewegung zur Eigenlokalisierung hinzugezogen.
Vorteilhaft wird die rekonstruierte Fahrzeugkamerabewegung zur Bestimmung des Schwimmwinkels des Fahrzeugs, in dem die Fahrzeugkamera angeordnet ist, verwendet.
Gemäß einer bevorzugten Ausführungsform wird die rekonstruierte Fahrzeugkamerabewegung zur Bestimmung des Raddurchmessers des Fahrzeugs, in dem die Fahrzeugkamera angeordnet ist, verwendet. Hierbei ergibt sich die zurückgelegte Strecke aus der Rekon- struktion und mittels eines Raddrehzahlwerts (z.B. aus dem Fahrzeugsensorcluster) kann der Raddurchmesser näherungsweise bestimmt werden. Vorteilhaft kann eine Kalibrierung der Fahrzeugkamera erfolgen durch einen Vergleich der rekonstruierten Fahrzeugkamerabe- wegung mit der aus anderen Sensoren ermittelten Bewegung des Fahrzeugs . Bevorzugt ist die Fahrzeugkamera eine Stereokamera. Alternativ kann die Fahrzeugkamera auch eine andere Kamera sein, solange deren Daten die Rekonstruktion eines Tiefenbildes ermöglichen, insbesondere TOF (time of flight, Laufzeit-messende) -Kameras wie z.B. HiRes Flashlidar, aber auch aus Monobilddaten ist eine 3D-Szenenrekonstruktion möglich - zumindest näherungsweise, über die Annahme eines ebenen Untergrunds, siehe z.B. Kitt et al . Monocular Visual Odometry using a Planar Road Model to Solve Scale Ambiguity, in Proc. of the European Conference on Mobile Robots, Örebro, Schweden, September 2011.
Die Erfindung betrifft weiterhin eine Vorrichtung mit einem Prozessor, welcher zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist, beispielsweise als Bestandteil eines Steuergeräts für die Fahrzeugkamera bzw. einer Auswer- teelektronik . Der Prozessor kann insbesondere einen Mikro- controller oder -prozessor, einen Digital Signal Processor (DSP) , einen ASIC (Application Specific Integrated Circuit) , einen FPGA (Field Programmable Gate Array) und dergleichen mehr sowie Software zur Durchführung der entsprechenden Steuerungs- bzw. Auswertungsschritte umfassen.
Die vorliegende Erfindung kann somit in digitalen elektronischen Schaltkreisen, Computer-Hardware, Firmware oder Software im- plementiert sein. Durch die Anwendung eines erfindungsgemäßen Verfahrens konnten wir die Ergebnisse der konkurrierenden kamerabasierten Algo- rithmen ab etwa 65 km/h in ihrer Qualität überbieten. Selbst die Ergebnisse von Laserscannern unterliegen unserer Methode. Die erreichte Genauigkeitsverbesserung bei sehr geringem zusätz- lichem Rechenaufwand führt zu verbesserten Produkten zur Fahrzeuglokalisierung und Schätzung des Fahrzustands.
Im Folgenden werden Ausführungsbeispiele der Erfindung näher erläutert und teilweise anhand von Figuren illustriert.
Es zeigen
Fig. 1 schematisch wie ein Merkmal im realen Raum . von einer
Figure imgf000014_0001
bewegten Fahrzeugkamera abgebildet wird,
Fig. 2 die Abhängigkeit des Reproj ektionsfehlers vom Fehler der Geschwindigkeitsschätzung für unterschiedliche fehlerfreie Merkmalstiefen,
Fig. 3 einen Vergleich von Reproj ektionsfehler und dem Verhältnis von Reproj ektionsfehler zu optischem Fluss für Merkmale mit unterschiedlicher Tiefe,
Fig. 4 einen Vergleich der Messergebnisse eines Ausführungs- beispiels der Erfindung und der zwei besten kamerabasierten Algorithmen im KITTI Benchmark (Stand 11.01.2016), und
Fig. 5 einen Vergleich der Messergebnisse der drei besten auf Stereokamera und Laser Scanner basierten Systeme im KITTI Benchmark mit einem Ausführungsbeispiel der Erfindung.
Einen Ausreißer (engl, outlier) kann man folgendermaßen be- stimmen .
Das Hauptproblem der visuellen Odometrie besteht darin, aus allen extrahierten Merkmalen, die geeigneten Merkmale (=Inlier) von den Ausreißern, also nicht geeigneten Merkmalen (Outlier) , zu unterscheiden. Üblicherweise werden hierzu nur Merkmale mit verlässlicher Messung und über die Definition eines Kriteriums, wie gut diese Messungen zu einer Hypothese einer geschätzten Bewegung passen.
Die Verlässlichkeit von Messungen hat zwei Aspekte:
Erstens die Verlässlichkeit der Bestimmung von Merkmalskor- respondenzen für die Disparitätsberechnung. Eindeutigkeit einer Korrespondenz von Merkmalen im rechten und linken Bild.
Zweitens wird die Genauigkeit der Korrespondenzen begrenzt durch die Bildauflösung. Selbst wenn die Korrespondenz eines Merkmals im rechten und im linken Bild eindeutig ist, kann die Po- senänderung („pose change") umso ungenauer bestimmt werden, je kleiner die Entfernung der korrespondierenden Merkmale, also ihre Disparität ist.
Letzten Endes reduziert sich die Auflösung der rekonstruierten Tiefe quadratisch mit der Entfernung.
Somit könnte man Merkmale im Nahbereich mit hochkonfidenten Korrespondenzwerten als geeignete Merkmale wählen.
Die Posenänderung der Kamera zwischen den Zeitpunkten t-1 und t ergibt sich für aus dem Translationsvektor T und der Rotati- onsmatrix R (der Kamerabewegung) .
Da die Kamera für Fahrerassistenzanwendungen in der Regel im Fahrzeug fest eingebaut ist, entspricht die Bewegung der Kamera der Bewegung des Fahrzeugs. I . Wie kann ein Ausreißer definiert werden?
Ausgangspunkt ist die klassische Schätzfunktion der kleinsten quadratischen Abweichung:
Figure imgf000015_0001
wobei die Normen als Reproj ektionsfehler bezeichnet werden
Figure imgf000016_0001
für ein Merkmal mit dem Index i zur Zeit t innerhalb des Satzes von Merkmalen Das Koordinatenpaar
Figure imgf000016_0003
Figure imgf000016_0002
wird angegeben in homogenen normalisierten Bildkoordinaten fü alle 3D-Punkte
Figure imgf000016_0005
mit den Kamerakoordi-
Figure imgf000016_0004
naten Die Posenänderung der Kamera zwi
Figure imgf000016_0006
schen den Zeitpunkten
Figure imgf000016_0007
ist gegeben durch den 3D
Translationsvektor und die Rotationsmatrix
Figure imgf000016_0008
wobei der Raum der Rotationsmatrit zen angegeben wird
Figure imgf000016_0009
mit und π bezeichnet die
Figure imgf000016_0010
Standard Planarproj ektion
Figure imgf000016_0011
Fig. 1 veranschaulicht schematisch diese Zusammenhänge. Ein Merkmal im realen Raum wird zum Zeitpunkt von einer
Figure imgf000016_0012
Fahrzeugkamera abgebildet, wobei sich die Bildkoordinate
für dieses Merkmal ergibt. In Fig. 1 ist die Fahrzeugkamera eine Stereokamera (dargestellt als zwei benachbarte Parallelogramme, die jeweils ein Kameramodul symbolisieren), die zu einem Aufnahmezeitpunkt jeweils ein Bildpaar bestehend aus einem linken und einem rechten Bild erzeugt. Dies ist eine Möglichkeit, um die Tiefe des Merkmals mittels Triangulation bzw. über die Bestimmung der Disparität zu ermitteln. Die Disparität ergibt sich aus der Verschiebung des korrespondierenden Merkmals
Figure imgf000016_0014
im linken und rechten Bild.
Ein erfindungsgemäßes Verfahren ist jedoch nicht auf die Stereokamera als Fahrzeugkamera beschränkt, da auch andere Kameras die Rekonstruktion eines Tiefenbildes ermöglichen, insbesondere TOF-Kameras wie z.B. HiRes Flashlidar, aber auch aus Monobilddaten ist eine 3D-Szenenrekonstruktion möglich, zu- mindest näherungsweise. Die Projektion beispielsweise des Raumpunktes relativ zur
Figure imgf000017_0004
linken Kamera auf das linke Bild ist in Fig. 1 durch die
Figure imgf000017_0005
gestrichelte Linie angedeutet.
Die Kamera ändert anschließend ihre Pose durch Translation und Rotation (Kamerabewegung) . Zum Zeitpunkt t bildet die Kamera das
Merkmal an der Bildkoordinate ab. Mittels der Hypothese der
Figure imgf000017_0001
Bewegung der Kamera kann nun virtuell die Kamera im Raum bewegt werden und unter Berücksichtigung der Abbildungseigenschaft der Kamera berechnet werden, wo das Merkmal im nächsten Bild
Figure imgf000017_0006
abgebildet wird (Projektion) . Die Abweichung dieser Position von der tatsächlichen Bildkoordinate (durchgezogene Linie)
Figure imgf000017_0002
entspricht dem Reproj ektionsfehler
Figure imgf000017_0007
Der klassischen Vorgehensweise bei visueller Odometrie folgend, wird angenommen, dass für jeden Punkt die Tiefe ge-
Figure imgf000017_0011
Figure imgf000017_0012
messen wird durch einen Stereovision-Algorithmus, die Bild- koordmaten werden durch einen Merkmalsdetektor extrahiert
Figure imgf000017_0008
und die korrespondierenden Bildkoordinaten im nächsten Frame
Figure imgf000017_0003
werden durch einen optischen Fluss Algorithmus gemessen. Um die optimale Schätzung der Posenänderung über eine Mini-
Figure imgf000017_0009
mierung der Vorgabe gemäß Gleichung (1) mittels einem iterativen Gradientenabnahmeverfahren (z.B. Gauss-Newton oder Leven- berg-Marquardt Verfahren) zu finden, muss eine initiale Schätzung der Posenänderung vorgegeben werden.
Hierbei trifft man auf das Hauptproblem der visuellen Odometrie: Aus dem Satz aller extrahierten Merkmale müssen passende Merkmale
- die „Inlier" - gefunden und alle anderen Merkmale des Satzes
- die Ausreißer - verworfen werden. Üblicherweise erfolgt die durch die Auswahl nur der Merkmale mit vertrauenswürdigen
Messungen und durch die Definition eines Kriteriums
Figure imgf000017_0010
wie gut diese Messungen mit einer Hypothese der geschätzten Posenänderung
Figure imgf000018_0001
übereinstimmen.
Die Vertrauenswürdigkeit einer Messung hat zwei Aspekte. Erstens dürfen bei Stereovision nur unzweideutige Korrespondenzen berücksichtigt werden, z.B. solche, die nicht vom Aperturproblem betroffen sind. Denn die Tiefe wird bei Stereovision
Figure imgf000018_0002
aus der Disparität rekonstruiert, wobei eine Stereokamera mit
Figure imgf000018_0003
einer festen bekannten Basislänge b verwendet wird. Und sowohl die Disparität als auch die Paare basieren auf einer
Figure imgf000018_0004
Figure imgf000018_0005
Korrespondenzsuche.
Zweitens ist die Genauigkeit dieser Korrespondenzen durch die Auflösung der Bilder limitiert. Also selbst wenn die Korres- pondenzen unzweideutig sind, wird die Schätzung der Posenän- derung umso ungenauer, e kleiner die Abstände und
Figure imgf000018_0006
werden. Das liegt daran, dass die Verhältnisse
Figure imgf000018_0010
Figure imgf000018_0007
und zwischen den Abständen und der limi-
Figure imgf000018_0009
Figure imgf000018_0008
tierten Bildauflösung
Figure imgf000018_0011
mit kleineren Entfernungen kleiner werden und daher das Signal-zu-Auflösungsverhältnis abnimmt. Insbesondere für die Genauigkeit der rekonstruierten Tiefe ist dies entscheidend, da die Tiefe
Figure imgf000018_0012
Figure imgf000018_0013
quadratisch mit dem Abstand abnimmt.
Bis hierher erscheint es einfach die passenden Merkmale her- auszufinden. Man wähle nahe Merkmale mit einem großen optischen Fluss aus, die auf Korrespondenzschätzungen mit hoher Konfidenz basieren. Zusätzlich muss für eine optimale Schätzung
Figure imgf000018_0014
jedes Merkmal die Epipolarbedingung erfüllen, somit dürfen die Merkmale nur Projektionen von statischen Punkten in der Szene sein . Da nicht garantiert werden kann, dass die Messungen alle vertrauenswürdig sind, und da die optimale Posenänderung nicht bekannt ist, muss eine gute Hypothese gefunden werden und
Figure imgf000019_0002
ein sinnvolles Kriterium, um so viele geeignete Merkmale wie möglich zu behalten.
Man ist in einem Henne und Ei Problem gefangen. Um es zu lösen, wird der Reproj ektionsfehler gemäß Gleichung (2) in zwei Wegen näher untersucht: einerseits soll er als Kriterium zur Aus- reißereliminierung verwendet werden und andererseits soll der Reproj ektionsfehler die Hypothese der Posenänderung verbessern, wenn die Inlier berücksichtigt werden. Um beide Unteraufgaben in einem alternierenden Schema zu kombinieren, soll nun heraus- gefunden werden, wie der Reproj ektionsfehler für beide Un- teraufgaben derart verwendet werden kann, dass so viele Inlier wie möglich behalten werden können, was auch zu einer genaueren Schätzung der Posenänderung führt.
Um ein gutes Kriterium zur Ausreißereliminierung zu finden, untersuchen wir die Abhängigkeit des Reproj ektionsfehlers bei Messwerten unter der Annahme von fehlerfreien Messungen einer ungenauen Hypothese der Posenän-
Figure imgf000019_0003
Figure imgf000019_0004
derung. Um die Hypothese der Posenänderung zu verbessern, nehmen wir fehlerbehaftete Messungen an und versuchen die
Figure imgf000019_0001
Verbesserung der iterativen Schätzung der Posenänderung
Figure imgf000019_0005
zu maximieren, indem wiederum das Wissen über die Abhängigkeit des Reproj ektionsfehlers verwendet wird. Wie aus Shi und Tomasi, Good features to track, in IEEE Conference on Computer Vision and Pattern Recognition, Proceedings, 1994, bekannt ist, treten hohe Fehler in der Translationsschätzung auf bei großen longitudinalen Posenänderungen entlang der optischen Achse. Die Translationsschätzungen werden besonders schlecht bei weit entfernten Merkmalen, siehe Persson et al . , Robust Stereo visual odometry from monocular techniques, in IEEE Intelligent Vehicles Symposium, 2015. Um einen ersten Eindruck der Kon- Sequenzen dieser Sensitivität in solchen Fahrszenarien zu erhalten, zeigt Fig. 2 die Abhängigkeit des Reproj ektionsfehlers in Pixeln [px] für eine fehlerbehaftete Transla-
Figure imgf000020_0001
tionsschätzung in z-Richtung mit 100km/h
Figure imgf000020_0004
Figure imgf000020_0005
aufgetragen über den relativen Fehler der Geschwindigkeits- schätzung im Intervall von [-10%, 10%] für drei un-
Figure imgf000020_0007
terschiedliche (fehlerfreie) Merkmalstiefen
Figure imgf000020_0006
von 10, 50 und 100 Metern. Fig. 2 zeigt deutlich, dass der Reproj ektionsfehler linear zunimmt mit zunehmendem Translationsfehler.
Aber die Empfindlichkeit des Reproj ektionsfehlers (Steigung der Geraden) nimmt mit zunehmender Entfernung (bzw. Tiefe) der Merkmale ab.
Mit einem konstanten Schwellwert zur Eliminierung von Ausreißern würden daher naheliegende Merkmale (mit geringer Tiefe) sehr schnell verworfen. Daraus ergibt sich jedoch insgesamt eine schlechtere Schätzung der Translation, da bei weiter entfernten Merkmalen, die nicht so schnell als Ausreißer verworfen werden, das Signal-zu-Rausch-Verhältnis schlechter wird und diese Merkmale nicht mehr sinnvoll verwertet werden können.
A. Der Reproj ektionsfehler in Hochgeschwindigkeitsszenarien
Für fehlerfreie Messungen und eine optimale Bewe-
Figure imgf000020_0002
gungsschätzung ist der Reproj ektionsfehler (2) gleich
Figure imgf000020_0008
Null, da gilt:
Figure imgf000020_0003
Um eine geeignete Schwelle zur Ausreißereliminierung zu finden, muss ein Bewegungsfehlerbereich zusätzlich zur opti-
Figure imgf000020_0010
malen Bewegungsschätzung definiert werden
Figure imgf000020_0009
um den Reproj ektionsfehlerbereich bei fehlerbehafteter
Figure imgf000021_0002
Bewegung und fehlerfreien Messungen zu finden. Das ergibt folgende Abhängigkeit des Reproj ektionsfehlers
Figure imgf000021_0003
Nun können für Hochgeschwindigkeitsszenarien sehr kleine Rotationen angenommen werden
1. Hochgeschwindigkeitsnäherung
Figure imgf000021_0004
demnach ist die Rotationsmatrix ungefähr gleich der Ein- heitsmatrix und
longitudinale Bewegungen sind sehr viel größer als horizontale Bewegungen, also sind die translatorischen Komponenten ungefähr gleich Null:
2. Hochgeschwindigkeitsnäherung
Figure imgf000021_0005
Durch Anwenden der Näherungen (5) und (6) erhält man eine Näherung der Sensitivität des Reproj ektionsfehlers (4) bei hohen Ge- schwindigkeiten für eine fehlerbehaftete Bewegungshypothese, die lautet
Figure imgf000021_0001
Die Empfindlichkeit des Reproj ektionsfehlers skaliert mit dem
Absolutwert der Bildkoordinate und wird von der Merk-
Figure imgf000021_0006
malstiefe gedämpft. Das bedeutet, dass eine inkorrekte
Figure imgf000021_0007
Bewegungshypothese mit einem fixen Fehlerbereich
Figure imgf000022_0001
Figure imgf000022_0003
eine abweichende Sensitivität erzeugt, die von der Position
Figure imgf000022_0002
des Merkmals abhängt.
Somit eliminieren Verfahren, die auf der Ausreißereliminierung mittels eines konstanten Schwellwerts für den Reproj ektions- fehler basieren, nahe Merkmale, obwohl die Messungen fehlerfrei sind (oder fehlerbehaftet im selben Maße wie weit entfernte Merkmale) .
Das führt zum Zusammenbruch der Ausreißereliminierung in Hochgeschwindigkeitsszenarien für Verfahren mit einem kon- stanten Schwellwert für den Reproj ektionsfehler .
Da nahe Merkmale mit hohen Absolutwerten ihrer Korrespondenzen während der Ausreißereliminierung verloren werden, wird die Sensitivität des Reproj ektionsfehlers gegenüber der Vor- wärtstranslation verloren, wie aus Fig. 2 ersichtlich ist.
Dies resultiert wiederum in einer verschlechterten Schätzung der Translation, weil das Signal-zu-Auflösungsverhältnis kleiner wird und nicht mehr verwertet werden kann. Abschließend ist festzuhalten, dass eine sinnvolle Schwelle zur Beurteilung der Qualität eines Merkmals kein konstanter Wert sein kann, sondern die Tiefe und die Länge der Bildkoordinaten berücksichtigen muss, um eine bedeutende Aussage über die Qualität eines Merkmals zu machen .
B. Nahezu invariantes Kriterium zur Ausreißereliminierung
Um die Abhängigkeit des Reproj ektionsfehlers von der Merk- malsposition zu reduzieren, können wir entweder eine positi- onsangepasste Schwelle zur Ausreißereliminierung verwenden oder den Reproj ektionsfehler normieren mit der Koordinate
Figure imgf000022_0004
skaliert und der Tiefe als Dämpfung. Da die Auflösung der
Figure imgf000022_0005
gemessenen Tiefenwerte mit der Entfernung abnimmt und die Tiefenmessungen allgemein fehlerbehaftet sind, wollen wir diese nicht einbeziehen, um die Tiefendämpfung des Reproj ektions- fehlers zu kompensieren. Stattdessen verwenden wir die Ab- hängigkeit des Absolutwerts des optischen Flusses von der Tiefe und verwenden die Messungen des optischen Flusses zur Normierung des Reproj ektionsfehlers wie folgt:
Der fehlerfreie Absolutwert des opitschen Flusses eines Merkmals, der von einer fehlerfreien geraden Vorwärtsbewegung induziert wird, lautet unter den Annahmen (5) und (6)
Figure imgf000023_0006
Figure imgf000023_0002
Durch das Verwenden des Absolutwertes des aktuellen optischen Flusses als Normierung der Sensitivität des Reproj ektions- fehlers, erhalte wir
Figure imgf000023_0001
Hierbei ergibt sich die zweite Näherung aus der Annahme, dass die Tiefe viel größer als die longitudinale Bewegung ist
Figure imgf000023_0003
Aus diesem Grund skaliert der normierte Reproj ektionsfehler nicht länger mit dem Absolutwert der Bildkoordinaten und hängt fast nicht von der Entfernung bei entfernten Merkmalen ab.
Daher wenden wir folgende Fallunterscheidung
Figure imgf000023_0004
bedeutet falls; ,elsex bedeutet anderfalls) an unter Verwendung einer Schwelle
Figure imgf000023_0005
auf den normierten Reproj ektionsfehler, um jedes Merkmal als Mitglied des aktuellen Merkmalssatzes zu kenn- zeichnen :
Figure imgf000024_0002
Dieses Kriterium (als Bestandteil eines Ausreißereliminie- rungsschemas wie nachfolgend erklärt wird) erweist sich als sehr geeignet zur Ausreißereliminierung, insbesondere in Hochge- schwindigkeitsszenarien, weil es nahezu unabhängig ist von den 3D-Positionen der Merkmale.
Eine rotatorische Komponente der Bewegungshypothese kann kompensiert werden, indem der Reproj ektionsfehler normiert wird mit dem Fluss nach der Kompensation der rotatorischen Komponente. Beim derart normierten Reproj ektionsfehler
wird eine externe Rotationsschätzung
Figure imgf000024_0003
dazu
Figure imgf000024_0001
verwendet, die gemessenen Bildpunkte rechts im Nenner so zu transformieren, dass die Rotation des Fahrzeugs in der Kor- respondenz ausgeglichen wird. Dadurch bleibt nur der Fluss durch die Translation übrig. Das heißt, wir transformieren jedes Szenario auf die Situation "rotationsfrei", was ja bislang die Annahme für die Anwendbarkeit des Fehlermaßes gemäß Gleichung (12) war.
Das gleiche setzen wir für die Berechnung des Reprojekti-
Figure imgf000024_0004
onsfehlers konstant ein (optimieren also nur noch nach
Figure imgf000024_0005
Damit lässt sich die beschriebene Ausreißererkennung nicht nur für Hochgeschwindigkeitsszenarien (mit der Annahme der Rota- tionsfreiheit) verwenden. Dies erweitert die Szenarien deutlich, in denen das Verfahren zu Verbesserungen führt.
Die Indizes t und t- 1 stehen hier für den Zeitpunkt der Schätzung, n für das betrachtete Merkmal . Fig. 3 zeigt den Vergleich des Rückprojektionsfehlers bzw. RE
Figure imgf000025_0001
in Pixeln (oben) und des normalisierten Rückprojektionsfehlers bzw.
Figure imgf000025_0002
NRE (unten) für eine Auswahl unterschiedlicher Merkmale, einen Fehler der geschätzten Tiefe
Figure imgf000025_0004
Figure imgf000025_0003
in Metern von 10% aufweist (Mitte) , bei einer simulierten Vorwärtsbewegung von 100 km/h. Die Tiefen der Merkmale
Figure imgf000025_0005
beginnen bei 3 m für das erste Merkmal und reichen bis 100
Figure imgf000025_0006
Der Rückprojektionsfehler (Fig. 3
Figure imgf000025_0008
Figure imgf000025_0007
oben) erlaubt keine zielführende Trennung von Ausreißern und Inliern, da er mit dem Absolutwert der Koordinate von Merkmalen skaliert. Dagegen ermöglicht der normalisierte Rückprojekti- onsfehler
Figure imgf000025_0009
(Fig. 3 unten) eine klare Unterscheidung der Ausreißer, da der normalisierte Rückprojektionsfehler dieser Merkmale etwa um einen Faktor zwei größer ist als der fehlerfreien Merkmale.
C. Hypothesenverbesserung anhand des Satzes von Inliern
Eine Frage bleibt offen: Da der normierte Reprojektionsfehler (11) die Ausreißereliminierung verbessert, ist er auch geeignet, um eine verbesserte Hypothese des least-square Problems in Gleichung (1) zu erhalten? Unter der Annahme von fehlerbehafteten
Messungen und beim Versuch Gleichung (1) zu mini
Figure imgf000025_0010
mieren um eine bessere Schätzung der Posenänderung zu
Figure imgf000025_0011
erhalten, sollten nun die Merkmale, deren Messungen eine hohe Auflösung aufweisen, mehr zur Schätzung beitragen als Merkmale mit geringer Auflösung. Das kann umgesetzt werden mit einer Erweiterung von (1) auf ein gewichtetes least-squares Problem, das eine Abnahme der Gewichte für entfernte Merkmale und eine Zunahme der Gewichte für große optische Fluss Amplituden verwirklicht. Betrachtet man die Näherung des Reprojektions- fehlers in Gleichung (8) für große longitudinale Geschwin- digkeiten, erfolgt diese Gewichtung intrinsisch durch den Reproj ektionsfehlers selbst, während der normierte Reprojek- tionsfehler die Merkmale mehr oder weniger gleich gewichten würde. Somit ist zur Verbesserung der Bewegungshypothese auf der Basis der aktuellen Saztes von Inliern der (nicht-normierte) Reproj ektionsfehler bereits bestens geeignet.
Stufenweise abwechselndes Schema zur Ausreißerelimi- nierung und Posenverbesserung
Um ein iteratives Optimierungsschema, das sorgfältig abwechselt zwischen einer schrittweisen Ausreißereliminierung und einer Verbesserung der Posenänderung, zu verwirklichen, benötigen wir einen geeigneten Satz mit einer vernünftigen Anzahl an Merkmalen, mit dem wir starten. Ein geeignetes Merkmal hat unzweideutige zeitliche und stereoskopische Korrespondenzmessungen, um so viele verlässliche optische Fluss und Tiefenschätzungen wie möglich zu bekommen.
A. Initialisierung pro Frame Unser Ausgangsmerkmalssatz für jedes Stereobildpaar wird wie folgt erstellt, wobei nur Standardfunktionen (z.B. der OpenCV Bibliothek) zum Einsatz kommen:
Wir beginnen mit der Merkmalsauswahl nach der Methode von Shi und
Tomasi . Für jedes Merkmal wird die Disparität
Figure imgf000026_0001
zum Zeitpunkt t-l berechnet unter Verwendung von SAD-basiertem Block-matching . Zur Initialisierung des optischen Flusses, triangulieren wir die Position jedes Merkmals im dreidimen- sionalen Raum zur Zeit t-l und reprojezieren die Merkmale auf den aktuellen Frame zur Zeit t mit einer konstanten Drehrate und Geschwindigkeitsmodell basierend auf der zuletzt geschätzten Posenänderung (welches eine Variante eines Bewegungsmodell mit prädiktivem Tracking durch Matchen ist, vorgeschlagen in Persson et al . ( s . oben) .
Danach wird der optische Fluss für das linke und rechte Bild zwischen den Zeitpunkten t-l und t verfeinert mit dem Lucas-Kanade Verfahren nach Bouguet, Pyramidal Implementation of the affine lucas kanade feature tracker description of the algorithm, 2001, Intel Corp. 5. Der finale Merkmalssatz mit einer Startnummer für die Initialisierung wird erreicht durch eine links-rechts
Konsistenzprüfung zur Zeit t für alle übrigen optischen Fluss Schätzungen (welches eine Variante des circular matchings ist, vorgeschlagen in Geiger et al . , Stereoscan: Dense 3d reconstruction in real-time, in Intelligent Vehicles Symposium, 2011) .
B. Alternierende Iteration basierend auf MAximum Subset of Outlier Removal
Wir iterieren über p abwechselnd zwischen a) einer Posenver- besserung unter Festhalten des aktuellen Satzes an Inliern und b) Ausreißereliminierung unter Festhalten der aktuellen Pose
Figure imgf000027_0002
a) Posenverbesserung beginnt mit bei der ersten Iteration
Figure imgf000027_0004
p = 0. Die Posenschätzung wird initialisiert mit der Schätzung des letzten Frames Im Folgenden wird der
Figure imgf000027_0003
Index t der Einfachheit halber we elassen:
Figure imgf000027_0001
b) zur Ausreißereliminierung wenden wir unser kombiniertes Kriterium zur Fallunterscheidung an, welches wir als ROCC bezeichnen (Robust Outlier Criterion for Camera-based Odometry) :
Figure imgf000028_0001
Der Schwellwert
Figure imgf000028_0002
gilt also für den normierten Reprojek- tionsfehler und ist ein Beispiel eines konstanten Faktor der Schwelle, der unter Berücksichtigung von physikalischen Ei- genschaften der Fahrzeugkamera vorgegeben werden kann. Die erste Bedingung erfordert einen hinreichend großen optischen Fluss, ansonsten ist eine Normierung des Reproj ektionsfehlers nicht nicht möglich (instabil) . Ein kleiner optischer Fluss tritt insbesondere bei weit entfernten Merkmalen auf. Hier greift das zweite Kriterium alternativ ein, was dann erfordert, dass der nichtnormierte Reproj ektionsfehler unterhalb eines niedrigen konstanten Schwellwerts
Figure imgf000028_0003
liegt. Solange also mindestens ein Kriterium erfüllt ist, gilt das Merkmal als Inlier.
Die Schwellen werden während der Iterationen
Figure imgf000028_0004
von grob zu fein herabgesenkt.
Wenn die Anzahl der Merkmalssätze Np sich nicht mehr ändert, ist eine minimale Anzahl an Merkmalen Nmin oder eine maximale Anzahl von Iterationen pmax erreicht. Wir beenden unser robustes Posenschätzungsschema und führen einen letzten Optimierungs- durchlauf mit den übriggebliebenen Merkmalen (Inliern) durch. Dieser Durchlauf wird initialisiert mit der Rotation und Translationsrichtung aus openCVs Standard least median of Squares 2D-2D Fünfpunktverfahren .
III . Auswertung und Ergebnisse aus Vergleichsmessungen Die Auswertung basiert auf dem KITTI Benchmark
Geiger et al . Are we
Figure imgf000029_0001
ready for Autonomous Driving? The KITTI Vision Benchmark Suite, Conference on Computer Vision and Pattern Recognition (CVPR) , 2012), welches Stadt-, Überland und Autobahnszenarien bereitstellt. Zu den im Folgenden als Vergleichsmessungen angegebenen Verfahren (SOFT, cv4xvl-sc, V-LOAM, LOAM und DEMO) sind nähere Informationen erhältlich unter bzw .
Figure imgf000029_0002
unter ,Odometryx auf der KITTI Website.
Um die Leistungsfähigkeit eines Ausführungsbeispiels der Er- findung in Hochgeschwindigkeitsszenarien auszuwerten, wird zunächst ein Vergleich mit bekannten Algorithmen der visuellen Odometrie ohne zusätzliche Sensordaten für unterschiedliche Geschwindigkeiten v in km/h durchgeführt: Unser Verfahren war am 11.01.2016 das erstplatzierte rein kamerabasierte Verfahren mit einem Gesamtfehler von 0,98%. Das SOFT-Verfahren („Multi Frame Tracking SOFT" in Fig. 4) erzielte das zweitbeste Gesamtergebnis des KITTI Benchmarks mit einem Translationsfehler TE von 1,03%. Die Autoren verwenden ein Merkmals-Tracking auf der Basis mehrerer Bilder .
Mit einem Fehler von 1,09% zeigt der Algorithmus cv4xvl-sc („BA, cv4xvl-sc" in Fig. 4) eine geringfügig schlechtere Qualität. Hierbei verwenden die Autoren Bündle Adjustment, um die Be- wegungsschätzung zu verbessern.
Im Gegensatz zu diesen beiden Algorithmen, verwenden wir die Historie eines Merkmals nicht, sondern stützen uns nur auf die Frame-to-Frame-Information der Merkmale. Wie in Fig. 4 dar- gestellt führt dies zu einem nahezu konstanten Fehler zu- sätzlichen Fehler gegenüber den beiden bekannten Methoden. Trotz des Verlusts der Präzision infolge der Nichtnutzung der Historie der Merkmale für unser neues Schema zur Ausreißereliminierung (ROCC) zu einem geringeren Fehler ab Geschwindigkeit von etwa 65 km/h . Dies zeigt, dass die Anwendung unseres neuen Fehlermaßes selbst einem vergleichsweise unpräzisen System das Übertreffen der herkömmlichen Verfahren ermöglicht. Eine Erweiterung mittels Bündle Adjustment zur weiteren Qualitätssteigerung unseres Verfahrens ist daher möglich.
Um die Leistungsfähigkeit in Hochgeschwindigkeitsszenarien zu unterstreichen, vergleichen wir unsere Ergebnisse mit Verfahren, die zusätzlich Informationen eines hochgenauen Laserscanners berücksichtigen: Mit einem Fehler von 0,88% und 1,14% erzielen die Verfahren LOAM und DEMO eine sehr hohe Rekonstruktions- qualität. Die bestplatzierte Methode V-LOAM erzielt sogar einen Gesamtfehler von 0,75%.
Fig. 5 zeigt die Ergebnisse eines Vergleichs der Messergebnisse von Laser Scanner Systemen mit einem Ausführungsbeispiel der Erfindung. Zwar ist die Messgenauigkeit des Kamerabasierten Systems der der Laserscanner insgesamt unterlegen. Jedoch liefert die sorgfältige Ausreißer-Eliminierung bei Geschwin- digkeiten ab 70 km/h die besten Messergebnisse.
Bei Geschwindigkeiten von 70 km/h und mehr bietet unsere Ausgestaltung somit die besten Ergebnisse aller Kamera- und Laserscannersystemen nach dem Stand der Technik im KIT I -Benchmark.

Claims

1. Verfahren zur Bildauswertung von Bilddaten einer Fahr- zeugkamera umfassend die folgenden Schritte, wobei zu- mindest die Schritte b) bis g) Bestandteil eines Ite- rationsschrittes sind:
a) Aufnahme eines ersten Bildes mittels der Fahrzeug- kamera,
b) Aufnahme eines darauffolgenden zweiten Bildes mittels der Fahrzeugkamera
c) Extraktion von mehreren korrespondierenden Merkmalen im ersten und zweiten Bild,
d) Annahme einer Bewegung der Fahrzeugkamera (Bewe- gungshypothese) zwischen der Aufnahme des ersten und zweiten Bildes
e) Bestimmung eines Reproj ektionsfehlers eines extra- hierten Merkmals, wobei der Reproj ektionsfehler den Unterschied zwischen dem aus dem im ersten und zweiten Bild extrahierten Merkmal gemessenen Fluss und dem aus der Bewegungshypothese berechneten Fluss angibt, f) Ermittlung von Ausreißern, wobei ein extrahiertes Merkmal als Ausreißer ermittelt wird, wenn der Re- proj ektionsfehler dieses Merkmals eine Schwelle er- reicht oder überschreitet,
g) wobei die Schwelle innerhalb eines Iterationsschrittes nicht konstant ist, d.h. dass die Schwelle nicht für alle in einem Iterationsschritt extrahierten Merkmale dieselbe ist.
2. Verfahren nach Anspruch 1, wobei die Schwelle abhängt von mindestens einem Parameter der extrahierten Merkmale.
3. Verfahren nach Anspruch 2, wobei die Schwelle abhängt von dem aus dem im ersten und zweiten Bild extrahierten korrespondierenden Merkmal gemessenen Fluss.
4. Verfahren nach Anspruch 3 , wobei die Schwelle proportional zu dem aus dem im ersten und zweiten Bild extrahierten Merkmal gemessenen Fluss ist.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Schwelle einen konstanten Faktor und einen variablen Anteil umfasst, wobei der konstante Faktor unter Be- rücksichtigung von physikalischen Eigenschaften der Fahrzeugkamera vorgegeben werden kann.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei in einem weiteren Schritt
h) die Bewegung der Fahrzeugkamera unter Berücksichtigung der im aktuellen Iterationsschritt nicht als Ausreißer eliminierten Merkmale rekonstruiert wird.
7. Verfahren nach Anspruch 6, wobei in einem folgenden Iterationsschritt als Bewegungshypothese für Schritt d) die im letzten Iterationsschritt in Schritt h) rekon- struierte Bewegung der Fahrzeugkamera verwendet wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Schwelle oder der konstante Faktor der Schwelle bei der folgenden Iteration abgesenkt wird.
9. Verfahren nach einem der Ansprüche 6 bis 8, wobei das Verfahren bei hohen translatorischen Bewegungsge- schwindigkeiten der Fahrzeugkamera zum Einsatz kommt, wobei hohe Geschwindigkeiten vorzugsweise größer oder gleich 30 km/h, insbesondere größer oder gleich 50 km/h sind.
10. Verfahren nach einem der Ansprüche 6 bis 9, wobei die rekonstruierte Fahrzeugkamerabewegung zur Eigenlokali- sierung hinzugezogen wird.
11. Verfahren nach einem der Ansprüche 6 bis 10, wobei die rekonstruierte Fahrzeugkamerabewegung zur Bestimmung des Schwimmwinkels des Fahrzeugs, in dem die Fahrzeugkamera angeordnet ist, verwendet wird.
12. Verfahren nach einem der Ansprüche 6 bis 11, wobei die rekonstruierte Fahrzeugkamerabewegung zur Bestimmung des Raddurchmessers des Fahrzeugs, in dem die Fahrzeugkamera angeordnet ist, verwendet wird.
13. Verfahren nach einem der Ansprüche 6 bis 12, wobei eine Kalibrierung der Fahrzeugkamera erfolgt durch einen Vergleich der rekonstruierten Fahrzeugkamerabewegung mit der aus anderen Sensoren ermittelten Bewegung des Fahrzeugs .
14. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Fahrzeugkamera eine Stereokamera ist .
15. Vorrichtung umfassend einen Prozessor zur Bildauswertung von Bilddaten einer Fahrzeugkamera, wobei der Prozessor zur Durchführung der folgenden Schritte ausgebildet ist: a) Aufnahme eines ersten Bildes mittels der Fahrzeug- kamera,
b) Aufnahme eines darauffolgenden zweiten Bildes mittels der Fahrzeugkamera c) Extraktion von mehreren korrespondierenden Merkmalen im ersten und zweiten Bild,
d) Annahme einer Bewegung der Fahrzeugkamera (Bewe- gungshypothese) zwischen der Aufnahme des ersten und zweiten Bildes
e) Bestimmung eines Reprojektionsfehlers eines extra- hierten Merkmals, wobei der Reprojektionsfehler den Unterschied zwischen dem aus dem im ersten und zweiten Bild extrahierten Merkmal gemessenen Fluss und dem aus der Bewegungshypothese berechneten Fluss angibt,
f) Ermittlung von Ausreißern, wobei ein extrahiertes Merkmal als Ausreißer ermittelt wird, wenn der Repro- jektionsfehler dieses Merkmals eine Schwelle erreicht oder überschreitet,
g) wobei die Schwelle innerhalb eines Iterations- schrittes nicht konstant ist, d.h. dass die Schwelle nicht für alle in einem Iterationsschritt extrahierten Merkmale dieselbe ist.
PCT/DE2017/200044 2016-06-01 2017-05-22 Verfahren zur auswertung von bilddaten einer fahrzeugkamera WO2017206999A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/301,937 US10762643B2 (en) 2016-06-01 2017-05-22 Method for evaluating image data of a vehicle camera
DE112017000822.0T DE112017000822A5 (de) 2016-06-01 2017-05-22 Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016209625.7 2016-06-01
DE102016209625.7A DE102016209625A1 (de) 2016-06-01 2016-06-01 Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera

Publications (1)

Publication Number Publication Date
WO2017206999A1 true WO2017206999A1 (de) 2017-12-07

Family

ID=59312932

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2017/200044 WO2017206999A1 (de) 2016-06-01 2017-05-22 Verfahren zur auswertung von bilddaten einer fahrzeugkamera

Country Status (3)

Country Link
US (1) US10762643B2 (de)
DE (2) DE102016209625A1 (de)
WO (1) WO2017206999A1 (de)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993802A (zh) * 2019-04-03 2019-07-09 浙江工业大学 一种城市环境中的混合相机标定方法
DE102018204451A1 (de) 2018-03-22 2019-09-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
DE102018207779A1 (de) * 2018-05-17 2019-11-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum näherungsweisen Ermitteln des Schwimmwinkels oder der Schräglaufsteifigkeit an einer Achse eines Fahrzeugs
DE102019209321A1 (de) 2018-06-28 2020-01-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Auswertung von Bilddaten einer Fahrzeugmonokamera
CN112193008A (zh) * 2019-07-08 2021-01-08 现代自动车株式会社 用于电子控制悬架的道路表面信息校正方法和系统
US11460851B2 (en) 2019-05-24 2022-10-04 Ford Global Technologies, Llc Eccentricity image fusion
US11521494B2 (en) 2019-06-11 2022-12-06 Ford Global Technologies, Llc Vehicle eccentricity mapping
US11662741B2 (en) 2019-06-28 2023-05-30 Ford Global Technologies, Llc Vehicle visual odometry
US11783707B2 (en) 2018-10-09 2023-10-10 Ford Global Technologies, Llc Vehicle path planning
US12046047B2 (en) 2021-12-07 2024-07-23 Ford Global Technologies, Llc Object detection

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10764561B1 (en) 2016-04-04 2020-09-01 Compound Eye Inc Passive stereo depth sensing
KR102627453B1 (ko) 2018-10-17 2024-01-19 삼성전자주식회사 위치 추정 장치 및 방법
US10916035B1 (en) * 2018-11-30 2021-02-09 Zoox, Inc. Camera calibration using dense depth maps
US11555903B1 (en) 2018-11-30 2023-01-17 Zoox, Inc. Sensor calibration using dense depth maps
WO2021108626A1 (en) 2019-11-27 2021-06-03 Compound Eye Inc. System and method for correspondence map determination
US11270467B2 (en) 2020-01-21 2022-03-08 Compound Eye, Inc. System and method for camera calibration
US11069071B1 (en) * 2020-01-21 2021-07-20 Compound Eye, Inc. System and method for egomotion estimation
US11987236B2 (en) * 2020-08-31 2024-05-21 Nec Corporation Monocular 3D object localization from temporal aggregation
US11899469B2 (en) * 2021-08-24 2024-02-13 Honeywell International Inc. Method and system of integrity monitoring for visual odometry
DE102022132204A1 (de) 2022-12-05 2024-06-06 Connaught Electronics Ltd. Erzeugen oder Aktualisieren einer digitalen Repräsentation einer Trajektorie, Selbstlokalisierung eines Ego-Fahrzeugs und wenigstens teilweise automatisches Führen eines Ego-Fahrzeugs

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010099789A1 (de) 2009-03-04 2010-09-10 Continental Teves Ag & Co. Ohg Verfahren zur automatischen erkennung eines fahrmanövers eines kraftfahrzeugs und ein dieses verfahren umfassendes fahrerassistenzsystem
WO2013037840A1 (de) 2011-09-12 2013-03-21 Continental Teves Ag & Co. Ohg Verfahren zum bestimmen von lagedaten eines fahrzeuges

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10162362B2 (en) * 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
CN111108342B (zh) * 2016-12-30 2023-08-15 辉达公司 用于高清地图创建的视觉测程法和成对对准

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010099789A1 (de) 2009-03-04 2010-09-10 Continental Teves Ag & Co. Ohg Verfahren zur automatischen erkennung eines fahrmanövers eines kraftfahrzeugs und ein dieses verfahren umfassendes fahrerassistenzsystem
WO2013037840A1 (de) 2011-09-12 2013-03-21 Continental Teves Ag & Co. Ohg Verfahren zum bestimmen von lagedaten eines fahrzeuges

Non-Patent Citations (13)

* Cited by examiner, † Cited by third party
Title
"Autonome mobile Systeme 2005 : 19. Fachgespräch Stuttgart, 8./9. Dezember 2005", 2006, SPRINGER VERLAG, BERLIN, DE, ISBN: 978-3-540-30291-9, article NIKO SÜNDERHAUF ET AL: "Visual Odometry Using Sparse Bundle Adjustment on an Autonomous Outdoor Vehicle", pages: 157 - 163, XP055400242, DOI: 10.1007/3-540-30292-1_20 *
B. KITT ET AL.: "zeigen beispielsweise in der Veröffentlichung Visual odometry based on stereo image sequences with ransac-based outlier rejection scheme", IEEE INTELLIGENT VEHICLES SYMPOSIUM, 2010
BUCZKO MARTIN ET AL: "Flow-decoupled normalized reprojection error for visual odometry", 2016 IEEE 19TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC), IEEE, November 2016 (2016-11-01), pages 1161 - 1167, XP033028486, DOI: 10.1109/ITSC.2016.7795703 *
BUCZKO MARTIN ET AL: "How to distinguish inliers from outliers in visual odometry for high-speed automotive applications", 2016 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), IEEE, 19 June 2016 (2016-06-19), pages 478 - 483, XP032939007, DOI: 10.1109/IVS.2016.7535429 *
BUCZKO MARTIN ET AL: "Monocular Outlier Detection for Visual Odometry", 2017 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), IEEE, 11 June 2017 (2017-06-11), pages 739 - 745, XP033133836, DOI: 10.1109/IVS.2017.7995805 *
GEIGER ET AL.: "Are we ready for Autonomous Driving?", THE KITTI VISION BENCHMARK SUITE, CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR, 2012
GEIGER ET AL.: "Stereoscan: Dense 3d reconstruction in real-time", INTELLIGENT VEHICLES SYMPOSIUM, 2011
GEORG KLEIN ET AL: "Parallel Tracking and Mapping for Small AR Workspaces", MIXED AND AUGMENTED REALITY, 2007. ISMAR 2007. 6TH IEEE AND ACM INTERNATIONAL SYMPOSIUM ON, IEEE, PISCATAWAY, NJ, USA, 13 November 2007 (2007-11-13), pages 1 - 10, XP058089591, ISBN: 978-1-4244-1749-0, DOI: 10.1109/ISMAR.2007.4538852 *
GEORG KLEIN: "PTAM-GPL/Tracker.cc at master . Oxford-PTAM/PTAM-GPL . GitHub", HTTP://WWW.ROBOTS.OX.AC.UK/~GK/PUBLICATIONS/KLEINMURRAY2007ISMAR.PDF, 24 October 2013 (2013-10-24), http://www.robots.ox.ac.uk/~gk/PTAM/, XP055400528, Retrieved from the Internet <URL:https://github.com/Oxford-PTAM/PTAM-GPL/blob/master/Src/Tracker.cc> [retrieved on 20170823] *
HERNÁN BADINO ET AL: "A Head-Wearable Short-Baseline Stereo System for the Simultaneous Estimation of Structure and Motion", IAPR CONFERENCE ON MACHINE VISION APPLICATIONS (MVA), June 2011 (2011-06-01), XP055400250, Retrieved from the Internet <URL:http://ri.cmu.edu/pub_files/2011/6/badino_mva11.pdf> [retrieved on 20170822] *
KITT ET AL.: "Monocular Visual Odometry using a Planar Road Model to Solve Scale Ambiguity", PROC. OF THE EUROPEAN CONFERENCE ON MOBILE ROBOTS, ÖREBRO, SCHWEDEN, September 2011 (2011-09-01)
PERSSON ET AL.: "Robust stereo visual odometry from monocular techniques", IEEE INTELLIGENT VEHICLES SYMPOSIUM, 2015
SHI; TOMASI: "Good features to track", IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, PROCEEDINGS, 1994

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018204451A1 (de) 2018-03-22 2019-09-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
US10554951B2 (en) 2018-03-22 2020-02-04 Conti Temic Microelectronic Gmbh Method and apparatus for the autocalibration of a vehicle camera system
DE102018207779A1 (de) * 2018-05-17 2019-11-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum näherungsweisen Ermitteln des Schwimmwinkels oder der Schräglaufsteifigkeit an einer Achse eines Fahrzeugs
DE102019209321A1 (de) 2018-06-28 2020-01-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Auswertung von Bilddaten einer Fahrzeugmonokamera
US11783707B2 (en) 2018-10-09 2023-10-10 Ford Global Technologies, Llc Vehicle path planning
CN109993802A (zh) * 2019-04-03 2019-07-09 浙江工业大学 一种城市环境中的混合相机标定方法
CN109993802B (zh) * 2019-04-03 2020-12-25 浙江工业大学 一种城市环境中的混合相机标定方法
US11460851B2 (en) 2019-05-24 2022-10-04 Ford Global Technologies, Llc Eccentricity image fusion
US11521494B2 (en) 2019-06-11 2022-12-06 Ford Global Technologies, Llc Vehicle eccentricity mapping
US11662741B2 (en) 2019-06-28 2023-05-30 Ford Global Technologies, Llc Vehicle visual odometry
CN112193008A (zh) * 2019-07-08 2021-01-08 现代自动车株式会社 用于电子控制悬架的道路表面信息校正方法和系统
CN112193008B (zh) * 2019-07-08 2024-04-05 现代自动车株式会社 用于电子控制悬架的道路表面信息校正方法和系统
US12046047B2 (en) 2021-12-07 2024-07-23 Ford Global Technologies, Llc Object detection

Also Published As

Publication number Publication date
DE102016209625A1 (de) 2017-12-07
US20190311485A1 (en) 2019-10-10
DE112017000822A5 (de) 2018-11-15
US10762643B2 (en) 2020-09-01

Similar Documents

Publication Publication Date Title
WO2017206999A1 (de) Verfahren zur auswertung von bilddaten einer fahrzeugkamera
EP0541567B1 (de) Verfahren zur analyse zeitlicher folgen digitaler bilder
EP1531343B1 (de) Verfahren zur Verfolgung von Objekten
EP1589484B1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
EP2043045B1 (de) Verfahren zur Objektverfolgung
DE69231812T2 (de) Verfahren zur bestimmung von fuehlerbewegung und szenenstruktur und bildverarbeitungssystem dafuer
DE102014209137B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
EP3980968B1 (de) Detektion, 3d-rekonstruktion und nachverfolgung von mehreren relativ zueinander bewegten starren objekten
DE102016117710A1 (de) Radar-sicht-fusion zur abschätzung der geschwindigkeit eines zielobjektes
DE102016104729A1 (de) Verfahren zur extrinsischen Kalibrierung einer Kamera, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102005008131A1 (de) Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen
DE112019001542T5 (de) Positionsschätzvorrichtung
DE102014201271A1 (de) Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
DE112016006213T5 (de) System und Verfahren zum Fusionieren von Ausgängen von Sensoren, die unterschiedliche Auflösungen aufweisen
DE102012009577A1 (de) Verfahren zur Kalibrierung und Verfahren zur Justierung von Einzelbildkameras einer Kameraanordnung
DE102015115786A1 (de) Doppler-basierte Segmentierung und optischer Fluss in Radarbildern
WO2011020713A1 (de) Verfahren und steuergerät zur bestimmung einer bewegungsinformation eines objekts
DE102013001867A1 (de) Verfahren zur Ermittlung einer Fahrzeugorientierung und/oder einer korrigierten Fahrzeugposition eines Kraftfahrzeugs und Kraftfahrzeug
DE102020109598A1 (de) System und Verfahren zum Verfolgen eines angekoppelten Fahrzeugs
DE102004001572B4 (de) Laufzeit-Kalibrierungsverfahren
DE102014202639A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Fahrzeugbewegung eines Fahrzeugs
DE102021214040B3 (de) Dynamische Autokalibrierung eines Fahrzeugkamerasystems hinter einer Scheibe
DE102010009620A1 (de) Verfahren und Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld
EP2339531B1 (de) Verfahren und Vorrichtung zur adaptiven Filterung von dreidimensionalen Bilddaten

Legal Events

Date Code Title Description
REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112017000822

Country of ref document: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17737467

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17737467

Country of ref document: EP

Kind code of ref document: A1