WO2015173092A1 - Verfahren und vorrichtung zur kalibrierung eines kamerasystems eines kraftfahrzeugs - Google Patents

Verfahren und vorrichtung zur kalibrierung eines kamerasystems eines kraftfahrzeugs Download PDF

Info

Publication number
WO2015173092A1
WO2015173092A1 PCT/EP2015/059991 EP2015059991W WO2015173092A1 WO 2015173092 A1 WO2015173092 A1 WO 2015173092A1 EP 2015059991 W EP2015059991 W EP 2015059991W WO 2015173092 A1 WO2015173092 A1 WO 2015173092A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
optical flow
determined
image
determining
Prior art date
Application number
PCT/EP2015/059991
Other languages
English (en)
French (fr)
Inventor
Marco JÄHNISCH
Manuel SIEBENEICHER
Alexander Fietz
Andreas Haja
Daniel Liebehenschel
Christoph Söhnel
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Priority to CN201580025056.5A priority Critical patent/CN106462968B/zh
Publication of WO2015173092A1 publication Critical patent/WO2015173092A1/de
Priority to US15/350,406 priority patent/US10424081B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Definitions

  • the invention relates to a method for calibrating a camera system of a
  • intersections are tracked with a particle filter over time and the imagewise resulting vanishing points are stabilized by RANSAC filtering.
  • RANSAC filtering To determine the roll angle from the horizon, the time course of the
  • Vanishing point evaluated Once a certain number of vanishing points have been determined in left and right turns, the horizon is determined by principal component analysis from a subset of all previously calculated vanishing points. By comparing the speed changes and the yaw angle, it is determined whether the vehicle is moving uniformly straight ahead and therefore the pitch and yaw angles can be determined above whether cornering is being performed. The height is determined separately in this procedure. However, the system is very computationally expensive, especially by the
  • the method is based on the technique of visual motion estimation.
  • a first method determines the vehicle motion between two adjacent images, and a second method considers the point correspondences between six images, but more specifically, the second method is significantly more computationally expensive.
  • To determine the orientation angles the camera movement is subdivided into the "straight-line motion" and "maneuver” classes. The pitch and yaw angle is estimated during the straight-line movement, the roll angle during the maneuver.
  • Document EP 2 131 598 A2 relates to a stereo camera system and to a method for determining at least one calibration error of a stereo camera system.
  • an image sequence with images with images of a detection area in front of a vehicle during a journey of the vehicle along a roadway is respectively recorded.
  • the images of the image sequences corresponding image data are generated.
  • the generated image data are processed, wherein the course of at least one roadway edge of the roadway is determined.
  • Lane at least one calibration error is determined.
  • the known systems are to calculate the position of all three angles of the camera orientation and the camera height above ground computationally intensive often with insufficient accuracy, especially in bad weather conditions and short driving distance with little cornering.
  • the invention is therefore based on the object of specifying a method and a device for calibrating a camera system of a motor vehicle, which allow a faster calibration of the camera system.
  • the calibration parameters include the rotation angle pitch angle, yaw angle and roll angle and the height of the camera above the roadway, the determination of the rotation angle from the determination of the vanishing point of a first optical flow between a first and a second camera image and the determination of the height of Camera of a second optical flow between a first and a second consecutive camera image.
  • a regular grid is placed over the first camera image to determine the first optical flow
  • the second camera image correspondences of the regular grid are searched and the first optical flow is determined from the movement of the grid on the camera images.
  • the optical flux between each two images is determined by a regular grid is placed over the first image and the raster points of this grid are searched for example by means of the Lucas-Kanade method in the second image.
  • the distances of the screen dots can be parameterized. In this way, scalability of the optical flow calculation can be achieved. The smaller the distance between the halftone dots, the longer the calculation takes, but this gives a more accurate vanishing point estimate.
  • Camera images are calculated and the epipoles form the basis of the vanishing point estimate.
  • the determination of the epipoles can be done by calculating the optical flow based fundamental matrix.
  • the vanishing point is determined for the pitch angle and yaw angle determination from the two epipoles of the two camera images, if the distance of the epipole is within a first predetermined interval.
  • the determination of the pitch angle and the yaw angle takes place during a straight ahead, so that the two epipoles are close to each other. From the two epipoles, for example, the mean is formed, which then enters as the current vanishing point in the estimation of pitch and yaw angle.
  • the determined vanishing points are preferably stored over time and a time-stable vanishing point for determining the pitch angle and yaw angle is determined from the set of vanishing points determined.
  • a storage interval can be specified, which moves with the current time. In this way, old vanishing points can be discarded.
  • the number of determined vanishing points that are necessary for estimating the time-stable vanishing point can be determined via the storage interval.
  • Roll angle determination used when the distance of the epipole is within a second predetermined interval, wherein from the position of the epipoles in the respective camera image, a roll angle is estimated.
  • a roll angle is estimated.
  • the two epipoles are "far apart", the vehicle is cornering and a current roll angle can be determined.
  • the two predetermined intervals are disjoint.
  • the determined roll angles are collected over time and in
  • predetermined groups as a function of the yaw rate of the motor vehicle divided.
  • the expiry time and the number and definition of the groups can be parameterized.
  • an average group roll angle is formed for each predetermined group of stored roll angles when the number of measurements in each group is one
  • the final roll angle used for calibration may be formed as an average of the mean group roll angles over the groups.
  • a rectangle is placed in plan view whose position is determined in the second image, wherein the second optical flow is formed by the movement of the rectangle in the two images the rectangle movement is calculated the height of the camera.
  • the rectangle can be parameterized with the parameters height and width of the rectangle.
  • a temporal histogram of the detected heights of the camera is created for a plurality of first and second camera images is derived with the achievement of a minimum number of measurements from the histogram of an estimated height.
  • Using a histogram improves the elevation estimation, as the detected motion of the rectangle is heavily noise-locked.
  • the inventive device for calibrating a camera system of a
  • Motor vehicle which is set up and designed to carry out the method explained above, comprises:
  • a device for determining vanishing points from the first optical flow a device for determining the angles of rotation from determined vanishing points, a device for determining a second optical flow between a first and a second consecutive camera image, and
  • a regular grid is placed over the first camera image, in the second camera image correspondences of the regular grid are searched for and the first optical flux is determined from the movement of the grid over the camera images.
  • the device for determining the vanishing point on the basis of the determined first optical flow calculates the epipoles in both camera images and uses the epipoles for vanishing point estimation.
  • a rectangle is placed in plan view, which is determined in the second image, wherein the second optical flow is formed by the movement of the rectangle in the two images the rectangle movement is calculated the height of the camera.
  • the means for determining the camera height creates a temporal histogram of the measured heights of the camera for a plurality of first and second camera images, and derives an estimated height upon reaching a minimum number of measurements from the histogram.
  • the method according to the invention or the corresponding device is able to determine the yawing and pitching angles after a short driving distance when driving straight ahead, as well as after a short journey with at least one left and one right turn. Furthermore, the camera height above ground is determined in parallel, so that a calibration of the camera takes place at a significantly shorter convergence time.
  • the described method or device works in any environment. The environment must have only a minimum of structure that can be detected by the camera, and allow at least one steering maneuver of the vehicle.
  • no elaborate feature extraction is performed and the explained approach is constructed so that it can be implemented suitable for ECUs.
  • Fig. 3 is a schematic representation of the height estimation.
  • Fig. 1 shows the world coordinate system (O, X, Y, Z) with the zero point O and the
  • Pitch angle ⁇ , yaw angle ⁇ and roll angle ⁇ are shown.
  • the parameters height of the camera above the roadway, pitch angle ⁇ , yaw angle ⁇ and roll angle ⁇ must be determined.
  • the world coordinate system (O, X, Y, Z) and the camera coordinate system (C, X c , Y c , Z c ) may differ in position and orientation from each other.
  • the difference in orientation is indicated by a rotation about the respective axis, the camera K rotating about three axes X c , Yc, Z c and each rotation by a corresponding one
  • Rotation matrix R Nick , R G i er and R RoN can be described in the usual way.
  • the complete rotation matrix R is a sequential embodiment of each
  • Rotation matrices and is formed as follows:
  • R RROII RNick Rüie and corresponds to a rotation about the Y-axis, followed by a rotation around the X-axis and finally around the Z-axis.
  • C (C x , C y , C z ) T , which is the zero point of
  • Transformation matrix are formed, the world coordinate system in the
  • yaw angle ⁇ and pitch angle ⁇ can be determined from the complete rotation matrix R during a rectilinear movement, since the roll angle ⁇ is zero in the case of a linear movement. For a determination of the roll angle ⁇ is sufficient
  • Vanishing point is not, but the roll angle ⁇ from the course of the vanishing point can be determined during cornering, as the vanishing point changes its position proportional to the roll angle ⁇ . Details of the theoretical fundamentals can be found, for example, in the aforementioned master thesis by M. Siebeneicher.
  • a determination of the orientation or rotation angle therefore requires the most accurate possible determination of the vanishing points used and their movement, whose
  • Determination in turn depends on an optimal determination of the optical flow.
  • FIG. 2 is a schematic representation of the calibration system KP for determining the above-mentioned calibration parameters of the camera of a motor vehicle, wherein at the beginning a brief overview of the components of the calibration system KP takes place and subsequently the individual components are explained in detail.
  • Input variables of the calibration system KP are the recorded camera images B1 and B2 as well as the ego data ED of the vehicle.
  • general vehicle data such as, for example, tachometer values, steering angles, odometry data and position data, as well as acceleration data, will be the yaw angle and pitch rates.
  • the list is not to be considered as complete.
  • the ego data can be supportive for the calibration system in order to identify, for example, driving conditions that are particularly favorable for the calibration process.
  • the calibration of the vehicle camera with the aid of the calibration system KP is based on the determination of the optical flow within the images of the camera.
  • motion vectors are determined via the image with the aid of features of the camera images B1, B2 in the first optical flow module 01 of the calibration system KP, the motion vectors being determined based on a grid arranged uniformly over the first image.
  • an estimate of the vanishing point based on geometric properties is carried out in the vanishing point module FP.
  • the vanishing point estimate of the vanishing point module FP is used in a subsequent angle determination module WB for determining the three angles of rotation, wherein the angle determination module WB has the interconnected modules yaw angle determination GW, roll angle determination RW and pitch angle determination NW.
  • a second optical flux module the determination of motion vectors of a greatly simplified optical flow in a plan view of an image section of the road ahead of the vehicle takes place. From the determined motion vectors of the road characteristics as well as ego data and the determined pitch angle ⁇ , the height of the camera above the roadway in the height estimation module HS can be estimated.
  • the determination of the first optical flux 01 takes place in each case between two images B1, B2 of the camera. It is not a dense flow field determined, but it is a
  • the fundamental matrix of the epipolar geometry is calculated. This provides the respective epipole in both images B1, B2 considered.
  • the two epipoles When traveling straight ahead, the two epipoles must be very close to each other, whereby the distance can be parameterized. It is the mean of the two epipoles formed that forms the current vanishing point and is passed to the pitch and yaw angle estimation.
  • the determination of the mean values of pitch and yaw angles is much more difficult to impossible, since more and stronger outliers must be taken into account.
  • the two epipoles of the images B1, B2 must be further apart. If this condition is fulfilled, then the two epipoles are passed on to the roll angle estimation RW.
  • This procedure can be carried out in comparison to known methods with much less running time and in fewer steps.
  • the vanishing points determined in the vanishing point estimate are collected over time, discarding old vanishing points.
  • a time-stable vanishing point is estimated from the set of highly dynamic vanishing points using, for example, the well-known RANSAC algorithm. This time-stable vanishing point is used to determine the pitch angle ⁇ and the yaw angle ⁇ in the corresponding modules NW, GW.
  • the epipoles collected during cornering are used directly to determine a possible roll angle via their position in the image.
  • These highly dynamic roll angles are collected over time and divided into groups, whereby the decay time, number and groups can be parameterized.
  • Preferably four groups are used, namely: high yaw rate to the left,
  • Range for fast cornering left: 8 7s ⁇ ⁇ ⁇ 457s (high yaw rate left)
  • Range for fast cornering right: -8 7s> ⁇ > -457s (high yaw rate right)
  • a very simplified optical flow is determined.
  • a plan view is calculated from an image section directly in front of the vehicle, wherein the image section can be parameterized.
  • a rectangle is placed in the first image, which must be found again by means of block matching in the second image, taking into account the parameters height and width of the rectangle. The movement of the rectangle in the picture forms the optical flow.
  • Template box width relative to TopView width approx. 0.9
  • Template box width relative to template box width approximately 0.4
  • the template box is positioned in the TopView image of the first frame in such a way that the upper edge of the template box is at the center of the upper edge of the image, ie left and right will have about 5 borders compared to the top view width.
  • the movement of the rectangle in the image determined in the first step is converted directly into a real movement of the vehicle, whereby the value is strongly underlaid by noise. Therefore, a histogram is constructed over time with the lowest and highest values of the histogram as well as the number of bins. Again, the measurements can expire with their age. If there is a minimum number of measurements in the histogram, then the N adjacent bins containing most of the measurements are searched. Subsequently, the median is formed over these bins. The result is then the estimated height.
  • FIG. 3 is based on a simple hole camera model and the height determination is discussed here on the basis of the movement of the middle pixel. If the vehicle (not shown) moves rectilinearly at a known current speed v and if the pitch angle ⁇ of the camera is known, the camera height h relative to the roadway F can be determined with the aid of the optical flow. The optical flow provides the velocity v P at which the pixel moves in the center of the camera.
  • FIG. 3 shows the geometry for determining the camera height h and represents two different times t and t + 1, to which the projected center of the image in the camera plane k (t) and K (t +.) Shown schematically at the times t and t + 1 1), the camera having the focal length f.
  • the values for the distance traveled v, the pitch angle ⁇ of the camera, the focal length f of the camera and the velocity v P of the center pixel in the image are known. From the obvious relationship

Abstract

Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs Bei einem Verfahren und einer Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs, wobei die Kalibrierparameter die Drehwinkel Nickwinkel, Gierwinkel und Rollwinkel sowie die Höhe der Kamera über der Fahrbahn umfassen, erfolgt die Bestimmung der Drehwinkel aus der Ermittlung des Fluchtpunktes aus einem ersten optischen Fluss zwischen einem ersten und einem zweiten aufeinanderfolgenden Kamerabild und die Bestimmung der Höhe der Kamera aus einem zweiten optischen Fluss zwischen einem ersten und einem zweiten aufeinanderfolgenden Kamerabild. Dabei wird zur Bestimmung des ersten optischen Flusses ein regelmäßiges Raster über das erste Kamerabild gelegt, im zweiten Kamerabild werden Korrespondenzen des regelmäßigen Rasters gesucht und der erste optische Flusswird aus der der Bewegung des Rasters über den Kamerabildern bestimmt.

Description

Beschreibung
Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
Die Erfindung betrifft ein Verfahren zur Kalibrierung eines Kamerasystems eines
Kraftfahrzeugs gemäß dem Oberbegriff des Anspruchs 1 sowie eine entsprechende
Vorrichtung gemäß dem Oberbegriff des Anspruchs 1 1 .
Heutige Kraftfahrzeuge mit Fahrerassistenzsystemen sind mit einer Vielzahl von Sensoren ausgestattet, wobei viele Fahrerassistenzsysteme auf die Daten von Kameras angewiesen sind. Um ein zuverlässiges Arbeiten der FAS zu gewährleisten, müssen diese Kameras kalibriert werden. Dazu wird, nach Stand der Technik, eine aufwendige statische Kalibrierung im Werk durchgeführt. Für die Einsparung der statischen Kalibrierung wird ein robustes Online-Kalibriersystem benötigt, das nach einer kurzen Fahrstrecke geeignete
Kalibrierergebnisse wie die drei Orientierungswinkel der Kamera und deren Höhe über Grund zur Verfügung stellt.
In M. Siebeneicher: "Eine automatische Kalibrierung beliebiger Kameras in Fahrzeugen auf Grundlage von optischem Fluss und Fluchtpunktbestimmung", Masterarbeit, Freie Universität Berlin 2008, wird ein Verfahren erläutert, das die Orientierungswinkel der Kamera bestimmt, indem der optische Fluss auf Basis der Bewegung von prägnanten Merkmalspunkten ausgewertet und der Fluchtpunkt des optischen Flusses ermittelt wird. Zur Ermittlung des Fluchtpunktes werden die Bewegungsvektoren der Merkmalspunkte miteinander
geschnitten, wobei die Schnittpunkte theoretisch mit dem Fluchtpunkt übereinstimmen sollten, was aber aufgrund von Messungenauigkeiten nur näherungsweise der Fall ist, so dass das Maximum aller Schnittpunkte als Fluchtpunkt genommen wird. Um
Messungenauigkeiten zu verringern werden die Schnittpunkte über die Zeit mit einem Partikelfilter verfolgt und die sich bildweise daraus ergebenen Fluchtpunkte über eine RANSAC-Filterung stabilisiert. Zur Bestimmung des Rollwinkels aus dem Horizont wird der zeitliche Verlauf des
Fluchtpunktes ausgewertet. Sobald eine bestimmte Anzahl an Fluchtpunkten in Links- und Rechtskurvenfahrten ermittelt wurden, wird der Horizont mittels Hauptkomponentenanalyse aus einer Teilmenge aller bis dahin berechneten Fluchtpunkte bestimmt. Durch Vergleich der Geschwindigkeitsänderungen und des Gierwinkels wird ermittelt, ob sich das Fahrzeug gleichmäßig geradeaus bewegt und daher der Nick- und Gierwinkel bestimmt werden kann, ober ob eine Kurvenfahrt durchgeführt wird. Die Höhe wird in diesem Verfahren separat bestimmt. Allerdings ist das System sehr rechenaufwändig, insbesondere durch die
Merkmalsbestimmung und der aufwändigen Filterung des Fluchtpunktes.
Das in J. Platonov et al: "Vollautomatische Kamera-zu-Fahrzeug-Kalibrierung", ATZ elektronik 2012, S. 120-123, vorgestellte Verfahren beschreibt eine Technik zur rein bildbasierten Bestimmung der Kameraorientierung ohne eine Bestimmung der Kamerahöhe. Dabei beruht das Verfahren auf der Technik der visuellen Bewegungsschätzung. Ein erstes Verfahren bestimmt die Fahrzeugbewegung zwischen zwei benachbarten Bildern und ein zweite Verfahren betrachtet die Punktkorrespondenzen zwischen sechs Bildern, wobei das zweite Verfahren genauer jedoch auch wesentlich rechenaufwändiger ist. Zur Bestimmung der Orientierungswinkel wird die Kamerabewegung in die Klassen "Geradlinige Bewegung" und "Manöver" unterteilt. Der Nick- und Gierwinkel wird während der geradlinigen Bewegung geschätzt, der Rollwinkel während des Manövers.
In E. Tapia et al: "A Note on Calibration of Video Cameras for Autonomous Vehicles with Optical Flow", Fachbereich Mathematik und Informatik, Serie B Informatik, Freie Universität Berlin, Februar 2013, wird ein Verfahren vorgestellt, dass nur auf Basis von Kamerabildern die Orientierung der Kamera und mit Zuhilfenahme der Fahrzeuggeschwindigkeit die Kamerahöhe bestimmt. Auf eine nicht näher beschriebene Weise wird der optische Fluss bestimmt und gezeigt, dass sich bei einer Geradeausfahrt die Flussvektoren im Fluchtpunkt schneiden. Zur Bestimmung des Horizonts wird die Bodenebene ermittelt, wobei mit Hilfe des Fluchtpunktes und des Horizontes sich die drei Eulerwinkel bestimmen lassen. Zur Bestimmung der Kamerahöhe fährt das Fahrzeug vorwärts, wobei die Kameraorientierung bekannt ist und die Kamera auf die Fahrbahn schaut, so dass sich die Fahrbahn im
Kamerabild abbildet. Start- und Endpunkt eines Flussvektors im Bild werden in das
Weltkoordinatensystem zurückprojiziert. Mit diesen Informationen unter Berücksichtigung der Fahrzeuggeschwindigkeit sowie der Fahrdauer kann die Kamerahöhe berechnet werden. Die Druckschrift EP 2 131 598 A2 betrifft ein Stereokamerasystem sowie ein Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems. Mit Hilfe von mindestens zwei einzelnen Kameras des Stereokamerasystems wird jeweils eine Bildfolge mit Bildern mit Abbildungen eines Erfassungsbereichs vor einem Fahrzeug bei einer Fahrt des Fahrzeugs entlang einer Fahrbahn aufgenommen. Dabei werden den Bildern der Bildfolgen entsprechende Bilddaten erzeugt. Die erzeugten Bilddaten werden verarbeitet, wobei der Verlauf mindestens eines Fahrbahnrandes der Fahrbahn ermittelt wird.
Ausgehend von dem ermittelten Verlauf des mindestens einen Fahrbahnrandes der
Fahrbahn wird mindestens ein Kalibrierfehler ermittelt.
Die bekannten Systeme sind zur Bestimmung der Lage alle drei Winkel der Kameraorientierung sowie die Kamerahöhe über Grund rechenintensiv bei oftmals nicht ausreichender Genauigkeit insbesondere bei schlechten Witterungsbedingungen sowie bei kurzer Fahrtstrecke mit wenigen Kurvenfahrten.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs anzugeben, die eine schnellere Kalibrierung des Kamerasystems ermöglichen.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 1 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.
Bei dem erfindungsgemäßen Verfahren zur Kalibrierung eines Kamerasystems eines
Kraftfahrzeugs, wobei die Kalibrierparameter die Drehwinkel Nickwinkel, Gierwinkel und Rollwinkel sowie die Höhe der Kamera über der Fahrbahn umfassen, erfolgt die Bestimmung der Drehwinkel aus der Ermittlung des Fluchtpunktes aus einem ersten optischen Fluss zwischen einem ersten und einem zweiten Kamerabild und die Bestimmung der Höhe der Kamera aus einem zweiten optischen Fluss zwischen einem ersten und einem zweiten aufeinanderfolgenden Kamerabild. Dabei wird zur Bestimmung des ersten optischen Flusses ein regelmäßiges Raster über das erste Kamerabild gelegt, im zweiten Kamerabild werden Korrespondenzen des regelmäßigen Rasters gesucht und der erste optische Fluss wird aus der Bewegung des Rasters über den Kamerabildern bestimmt. Es wird also der optische Fluss jeweils zwischen zwei Bildern bestimmt, indem ein regelmäßiges Raster über das erste Bild gelegt wird und die Rasterpunkte dieses Raster werden beispielsweise mittels des Lucas-Kanade-Verfahrens im zweiten Bild gesucht.
Vorzugsweise sind die Abstände der Rasterpunkte parametrierbar. Auf diese Weise kann eine Skalierbarkeit der Berechnung des optischen Flusses erreicht werden. Je kleiner der Abstand zwischen den Rasterpunkten ist, umso länger dauert die Berechnung, allerdings ergibt sich auf diese Weise eine genauere Fluchtpunktschätzung.
Auf Basis des ermittelten ersten optischen Flusses werden die Epipole in beiden
Kamerabilder errechnet und die Epipole bilden die Basis der Fluchtpunktschätzung. Die Ermittlung der Epipole kann über eine Berechnung der auf dem optischen Fluss basierenden Fundamentalmatrix erfolgen.
Weiter bevorzugt wird zur Nickwinkel und Gierwinkelbestimmung aus den beiden Epipolen der beiden Kamerabildern der Fluchtpunkt bestimmt, wenn der Abstand der Epipole innerhalb eines ersten vorgegebenen Intervalls liegt. Die Bestimmung des Nickwinkels und des Gierwinkels erfolgt während einer Geradeausfahrt, so dass die beiden Epipole nahe beieinander liegen. Aus den beiden Epipolen wird beispielsweise der Mittelwert gebildet, der dann als aktueller Fluchtpunkt in die Schätzung von Nick- und Gierwinkel eingeht.
Vorzugsweise werden die ermittelten Fluchtpunkte über die Zeit gespeichert und es wird aus der Menge der ermittelten Fluchtpunkte ein zeitstabiler Fluchtpunkt zu Bestimmung von Nickwinkel und Gierwinkel ermittelt. Dabei kann ein Speicherintervall vorgegeben werden, das sich mit der aktuellen Zeit mit bewegt. Auf diese Weise können alte Fluchtpunkte verworfen werden. Ferner kann über das Speicherintervall die Anzahl der zur Schätzung des zeitstabilen Fluchtpunktes notwendigen ermittelten Fluchtpunkte festgelegt werden.
Weiter bevorzugt werden die ermittelten Epipole zweier Kamerabilder zur
Rollwinkelbestimmung verwendet, wenn der Abstand der Epipole innerhalb eines zweiten vorgegebenen Intervalls liegt, wobei aus der Lage der Epipole im jeweiligen Kamerabild ein Rollwinkel geschätzt wird. Mit anderen Worten, liegen die beiden Epipole "weit" auseinander, so befindet sich das Fahrzeug in einer Kurvenfahrt und es kann ein aktueller Rollwinkel bestimmt werden. Zur Unterscheidung für welche Drehwinkel die aktuellen Epipole verwendet werden, sind die beiden vorgegebenen Intervalle disjunkt. Vorzugsweise werden die ermittelten Rollwinkel über die Zeit gesammelt und in
vorgegebenen Gruppen als Funktion der Gierrate des Kraftfahrzeugs eingeteilt. Dabei ist vorzugsweise die Verfallszeit sowie die Anzahl und Definition der Gruppen parametrierbar.
Weiter bevorzugte wird pro vorgegebener Gruppe gespeicherten Rollwinkel ein mittlerer Gruppenrollwinkel gebildet, wenn die Anzahl der Messungen in jeder Gruppe eine
Mindestanzahl erreicht hat. Der zur Kalibrierung verwendete endgültige Rollwinkel kann beispielsweise als Durchschnitt der mittleren Gruppenrollwinkeln über die Gruppen gebildet werden.
Vorzugsweise wird zur Bestimmung des zweiten optischen Flusses in einem Ausschnitt eines ersten Bildes der Fahrbahn vor dem Kraftfahrzeug in Draufsicht ein Rechteck platziert, dessen Position im zweiten Bild ermittelt wird, wobei der zweite optischen Fluss durch die Bewegung des Rechtecks in den beiden Bilder gebildet und aus der Rechteckbewegung die Höhe der Kamera berechnet wird. Auf diese Weise wird ein stark vereinfachter zweiter optischer Fluss bestimmt, wobei das Auffinden des Rechtecks im zweiten Bild mittels Blockmatching erfolgen kann, so dass die Bewegung des Rechtecks und damit der zweite optische Fluss bestimmt werden kann. Das Rechteck ist parametrierbar mit den Parametern Höhe und Breite des Rechtecks.
Weiter bevorzugt wird ein zeitliches Histogramm der ermittelten Höhen der Kamera für eine Vielzahl von ersten und zweiten Kamerabildern erstellt wird mit dem Erreichen einer Mindestanzahl von Messungen aus dem Histogramm eine geschätzt Höhe abgeleitet. Durch die Verwendung eines Histogramms wird die Höhenschätzung verbessert, da die ermittelte Bewegung des Rechtecks stark mit Rauschen unterlegt ist.
Die erfindungsgemäße Vorrichtung zur Kalibrierung eines Kamerasystems eines
Kraftfahrzeugs, welche zur Durchführung des im Vorangegangenen erläuterten Verfahrens eingerichtet und ausgelegt ist, umfasst:
eine Einrichtung zur Bestimmung eines ersten optischen Flusses zwischen einem ersten und einem zweiten aufeinanderfolgenden Kamerabild,
eine Einrichtung zur Bestimmung von Fluchtpunkten aus dem ersten optischen Fluss, eine Einrichtung zur Bestimmung der Drehwinkel aus ermittelten Fluchtpunkten, eine Einrichtung zur Bestimmung eines zweiten optischen Flusses zwischen einem ersten und einem zweiten aufeinanderfolgenden Kamerabild, und
eine Einrichtung zur Bestimmung der Höhe der Kamera aus einem zweiten optischen Fluss, wobei
zur Bestimmung des ersten optischen Flusses ein regelmäßiges Raster über das erste Kamerabild gelegt wird, im zweiten Kamerabild Korrespondenzen des regelmäßigen Rasters gesucht werden und der erste optische Fluss aus der der Bewegung des Raster über den Kamerabilder bestimmt wird.
Weiter bevorzugt errechnet die Einrichtung zur Bestimmung des Fluchtpunktes auf Basis des ermittelten ersten optischen Flusses die Epipole in beiden Kamerabildern und verwendet die Epipole zur Fluchtpunktschätzung.
Vorzugsweise wird zur Bestimmung des zweiten optischen Flusses in einem Ausschnitt eines ersten Bildes der Fahrbahn vor dem Kraftfahrzeug in Draufsicht ein Rechteck platziert, welches im zweiten Bild ermittelt wird, wobei der zweite optischen Fluss durch die Bewegung des Rechtecks in den beiden Bilder gebildet wird und aus der Rechteckbewegung die Höhe der Kamera berechnet wird.
Weiter bevorzugt erstellt die Einrichtung zur Bestimmung der Kamerahöhe ein zeitliches Histogramm der gemessenen Höhen der Kamera für eine Vielzahl von ersten und zweiten Kamerabildern und leitet mit dem Erreichen einer Mindestanzahl von Messungen aus dem Histogramm eine geschätzte Höhe ab.
Vorteilhafterweise ist das erfindungsgemäße Verfahren bzw. die entsprechende Vorrichtung in der Lage nach kurzer Fahrstrecke bei Geradeausfahrt die Gier- und Nickwinkel sowie nach kurzer Fahrtstrecke mit mindestens einer Link- und einer Rechtskurve den Rollwinkel robust zu bestimmen. Ferner wird parallel dazu die Kamerahöhe über Grund bestimmt, so dass eine Kalibrierung der Kamera bei einer signifikant kürzeren Konvergenzzeit erfolgt. Dabei bestehen keine Abhängigkeiten zu vorgegebenen Markierungen, Strukturen oder Formen, mit anderen Worten, das beschriebene Verfahren bzw. die Vorrichtung funktioniert in beliebiger Umgebung. Die Umgebung muss nur ein Mindestmaß an Struktur aufweisen, die von der Kamera erfasst werden kann, sowie mindestens ein Lenkmanöver des Fahrzeuges erlauben. Darüber hinaus wird keine aufwändige Merkmalsextraktion durchgeführt und der erläuterte Lösungsansatz ist so aufgebaut, dass er sich steuergerätetauglich implementieren lässt.
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt
Fig. 1 die Koordinatensysteme zur Definition der extrinsischen Kameraparameter,
Fig. 2 den Aufbau des Kalibriesystems in schematischer Darstellung, und
Fig. 3 eine schematische Darstellung der Höhenschätzung.
Fig. 1 zeigt das Weltkoordinatensystem (O, X, Y, Z) mit den Nullpunkt O und den
Raumachsen X, Y und Z, in dem sich das Kraftfahrzeug bewegt, und das Koordinatensystem (C, Xc, Yc, Zc) der Kamera K, die in Fig. 1 schematisch dargestellt ist, mit dem Nullpunkt C und den Achsen Xc, Yc und Zc. Dabei kann das Kamerakoordinatensystem (C, Xc, Yc, Zc) gegenüber dem Weltkoordinatensystem (O, X, Y, Z) des Fahrzeugs verschoben und um die drei Achsen Xc, Yc und Zc verdreht sein. Die möglichen Drehwinkel sind in Fig. 1 als
Nickwinkel Θ, Gierwinkel φ und Rollwinkel ψ dargestellt. Zur Kalibrierung der Kamera eines Kraftfahrzeugs müssen, wie bereits erwähnt, die Parameter Höhe der Kamera über der Fahrbahn, Nickwinkel Θ, Gierwinkel φ und Rollwinkel ψ bestimmt werden.
Das Weltkoordinatensystem (O, X, Y, Z) und das Kamerakoordinatensystem (C, Xc, Yc, Zc) können sich in Position und Orientierung voneinander unterscheiden. Der Unterschied in der Orientierung wird durch eine Rotation um die jeweilige Achse angegeben, wobei die Kamera K um drei Achsen Xc, Yc, Zc rotieren und jede Rotation durch eine entsprechende
Rotationsmatrix RNick, RGier und RRoN in üblicher weise beschrieben werden kann. Die vollständige Rotationsmatrix R ist eine Hintereinanderausführung der einzelnen
Rotationsmatrizen und wird wie folgt gebildet:
R = RROII RNick Rüie und entspricht einer Rotation um die Y-Achse, gefolgt von einer Rotation um die X-Achse und abschließend um die Z-Achse. Zusammen mit dem Translationsvektor C = (Cx, Cy, CZ)T, der den Nullpunkt des
Kamerakoordinatensystems im Weltkoordinatensystem beschreibt und den Unterschied der Positionen der beiden Koordinatensysteme angibt, kann die einheitliche
Transformationsmatrix gebildet werden, die das Weltkoordinatensystem in das
Kamerakoordinatensystem überführt.
Mittels des Fluchtpunktes lassen sich Gierwinkel Θ und Nickwinkel φ aus der vollständigen Rotationsmatrix R bei einer geradlinigen Bewegung bestimmen, da der Rollwinkel ψ bei einer geradlinigen Bewegung Null ist. Für eine Bestimmung des Rollwinkels ψ reicht ein
Fluchtpunkt nicht aus, allerdings kann der Rollwinkel ψ aus dem Verlauf des Fluchtpunktes während einer Kurvenfahrt bestimmt werden, da der Fluchtpunkt seine Position proportional zum Rollwinkel ψ verändert. Details der theoretischen Grundlagen können beispielsweise der oben genannten Masterarbeit von M. Siebeneicher entnommen werden.
Eine Bestimmung der Orientierungs- oder Drehwinkel setzt daher eine möglichst genaue Bestimmung der verwendeten Fluchtpunkte und deren Bewegung voraus, deren
Bestimmung wiederum von einer optimale Bestimmung des optischen Flusses abhängt.
Fig. 2 ist eine schematische Darstellung des Kalibriersystems KP zur Bestimmung der oben genannten Kalibrierparameter der Kamera eines Kraftfahrzeugs, wobei zu Beginn eine kurze Übersicht über die Komponenten des Kalibriersystem KP erfolgt und nachfolgend die einzelnen Komponenten im Detail erläutert werden.
Eingangsgrößen des Kalibriersystems KP sind die aufgenommenen Kamerabilder B1 und B2 sowie die Egodaten ED des Fahrzeugs. Dabei werden unter Egodaten des Fahrzeugs allgemeine Fahrzeugdaten wie beispielsweise Tachometerwerte, Lenkeinschlagswinkel, Odometriedaten und Positionsdaten, sowie Daten über die Beschleunigung den Gierwinkel und Nickraten sein. Die Aufzählung ist nicht als vollständig zu betrachten. Dabei können die Egodaten unterstützend für das Kalibriersystem sein, um beispielsweise Fahrzustände zu identifizieren, die für den Kalibriervorgang besonders günstig sind. Die Kalibrierung der Fahrzeugkamera mit Hilfe des Kalibriersystems KP basiert auf der Bestimmung des optischen Flusses innerhalb der Bilder der Kamera. Dazu werden mit Hilfe von Merkmalen der Kamerabilder B1 , B2 im ersten optischen Flussmodul 01 des Kalibriersystem KP Bewegungsvektoren über das Bild bestimmt, wobei die Bewegungsvektoren basierend auf einem gleichmäßig über dem ersten Bild angeordneten Raster bestimmt werden.
Basierend auf den im ersten optischen Flussmodul 01 ermittelten Bewegungsvektoren erfolgt im Fluchtpunktmodul FP eine Schätzung des Fluchtpunktes anhand geometrischer Eigenschaften. Die Fluchtpunktschätzung des Fluchtpunktmoduls FP wird in einem nachfolgenden Winkelbestimmungsmodul WB zur Bestimmung der drei Drehwinkel eingesetzt, wobei das Winkelbestimmungsmodul WB die untereinander verbundenen Module Gierwinkelbestimmung GW, Rollwinkelbestimmung RW und Nickwinkelbestimmung NW aufweist.
Separat erfolgt in einem zweiten optischen Flussmodul die Bestimmung von Bewegungsvektoren eines stark vereinfachten optischen Flusses in einer Draufsicht eines Bildausschnitts der Fahrbahn vor dem Fahrzeug. Aus den ermittelten Bewegungsvektoren der Fahrbahnmerkmale sowie Egodaten und dem ermittelten Nickwinkel Θ kann die Höhe der Kamera über der Fahrbahn in dem Höhenschätzungsmodul HS geschätzt werden.
Im Folgenden werden die Details der einzelnen Komponenten näher erläutert:
ERSTER OPTISCHER FLUSS:
Die Bestimmung des ersten optischen Flusses 01 erfolgt jeweils zwischen zwei Bildern B1 , B2 der Kamera. Dabei wird kein dichtes Flussfeld bestimmt, sondern es wird ein
regelmäßiges Raster über das erste Bild B1 gelegt. Mittels beispielsweise des bekannten Lucas-Kanade-Verfahrens werden Korrespondenzen zu dem Raster im zweiten Bild B2 gesucht. Dabei können die Abstände der Rasterpunkte parametriert werden, wodurch die Berechnung des optischen Flusses sehr skalierbar ist. Mit anderen Worten, umso kleiner der Abstand der Rasterpunkte, umso großer ist zwar die Laufzeit der Berechnung, allerdings erhöht sich die Genauigkeit der darauf aufbauenden Fluchtpunktschätzung. Ein weiter Vorteil des Rasteransatzes gegenüber einer merkmalsbasierten Flussbestimmung liegt darin, dass auffällige Merkmale meist an den Konturen sich bewegender Objekte gefunden werden und diese fremdbewegten Objekte dann den Fluchtpunkt verzerren.
FLUCHTPUNKTSCHÄTZUNG:
Auf Basis des optischen Flusses wird die Fundamentalmatrix der Epipolargeometrie berechnet. Diese liefert jeweils den jeweiligen Epipol in beiden betrachteten Bildern B1 , B2. Bei einer Geradeausfahrt müssen sich die beiden Epipole sehr nah beieinander befinden, wobei der Abstand parametrierbar ist. Es wird der Mittelwert der beiden Epipole gebildet, der den aktuellen Fluchtpunkt bildet und an die Nick- und Gierwinkelschätzung weitergegeben wird .
Dabei gelten folgende Bedingungen für den Abstand "sehr nah beieinander" der beiden Epipole für die Nick- und Gierwinkelbestimmung: minimaler X-Abstand der Pixel relativ zur Bildbreite = 0,
maximaler X-Abstand der Pixel relativ zur Bildbreite = ca. 0,02,
minimaler Y-Abstand der Pixel relativ zur Bildhöhe = 0,
maximaler Y-Abstand der Pixel relativ zur Bildhöhe = ca. 0,01.
Ist der Abstand der Epipole größer als die oben genannten maximalen Abstände, so ist die Bestimmung der Mittelwerte von Nick- und Gierwinkel wesentlich schwieriger bis unmöglich, da mehr und stärkere Ausreißer berücksichtigt werden müssen.
Befindet sich das Fahrzeug in einer Kurvenfahrt, dann müssen sich die beiden Epipole der Bilder B1 , B2 weiter auseinander befinden. Ist diese Bedingung erfüllt, dann werden die beiden Epipole an die Rollwinkelschätzung RW weitergegeben. Für die Rollwinkelbestimmung müssen die Abstände der Epipole die folgenden Bedingungen erfüllen: minimaler X-Abstand der Pixel relativ zur Bildbreite = ca. 0,02
maximaler X-Abstand der Pixel relativ zur Bildbreite = ca. 0,1
minimaler Y-Abstand der Pixel relativ zur Bildhöhe = 0,01
maximaler Y-Abstand der Pixel relativ zur Bildhöhe = ca. 0,05
Dieses Vorgehen ist im Vergleich zu bekannten Verfahren mit wesentlich weniger Laufzeit und in weniger Schritten durchführbar.
WINKELBESTIMMUNG:
BESTIMMUNG VON NICKWINKEL UND GIERWINKEL.
Die in der Fluchtpunktschätzung bestimmten Fluchtpunkte werden über die Zeit gesammelt, wobei alte Fluchtpunkte verworfen werden. Dabei ist die Anzahl und Verfallszeit
parametrierbar. Liegen genügend Fluchtpunkte vor, wird ein zeitstabiler Fluchtpunkt mittels beispielsweise dem bekannten RANSAC-Algorithmus aus der Menge hochdynamischer Fluchtpunkte geschätzt. Dieser zeitstabile Fluchtpunkt wird zur Bestimmung des Nickwinkels Θ und des Gierwinkels ψ in den entsprechenden Modulen NW, GW verwendet.
ROLLWINKELSCHÄTZUNG
Die in der Kurvenfahrt gesammelten Epipole werden direkt genutzt, um über ihre Lage im Bild einen möglichen Rollwinkel zu bestimmen. Diese hochdynamischen Rollwinkel werden über die Zeit gesammelt und in Gruppen eingeteilt, wobei die Verfallszeit, Anzahl und Gruppen parametrierbar sind. Vorzugsweise werden vier Gruppen verwendet, nämlich: hohe Gierrate nach links,
mittlere Gierrate nach links,
hohe Gierrate nach rechts, und
mittlere Gierrate nach rechts. Dabei haben sich die unten angegebenen Bereiche der Gierrate α zur Definition der vier oben genannten Gruppen bewährt:
Bereich für langsame Kurvenfahrten links: 0 7s <= α < 87s (mittlere Gierrate links) Bereich für schnelle Kurvenfahrten links: 8 7s <= α < 457s (hohe Gierrate links) Bereich für langsame Kurvenfahrten rechts 0 7s >= α > -87s (mittlere Gierrate rechts) Bereich für schnelle Kurvenfahrten rechts: -8 7s >= α > -457s (hohe Gierrrate rechts)
In jeder Gruppe muss sich eine Mindestanzahl an Messungen befinden. Ist dies der Fall, wird für jede Gruppe der Mittelwert berechnet und anschließend über diese vier Mittelwerte noch einmal der Durchschnitt gebildet. Dieser Durchschnitt wird zur Bestimmung des Rollwinkel RW verwendet.
HÖHENSCHÄTZUNG
In der Standardimplementierung wird ein sehr vereinfachter optischer Fluss bestimmt. Im ersten Schritt wird eine Draufsicht aus einem Bildausschnitt direkt vor dem Fahrzeug berechnet, wobei der Bildausschnitt parametrierbar ist. Innerhalb dieses Ausschnittes wird ersten Bild ein Rechteck platziert, welches mittels Blockmatching im zweiten Bild wieder gefunden werden muss unter Berücksichtigung der Parameter Höhe und Breite des Rechteckes. Die Bewegung des Rechteckes im Bild bildet den optischen Fluss.
Für das als Template-Box bezeichnete Rechteck gelten in der Standardimplementierung d' folgenden Randbedingungen:
Template-Box-Breite relativ zur TopView-Breite = ca. 0,9
Template-Box-Breite relativ zur Template-Box-Breite = ca. 0,4
Die Template-Box wird im TopView-Bild der ersten Frames so positioniert, dass die obere Kante der Template-Box mittig am oberen Bildrand liegt, d.h. links und rechts bleiben ca. 5 Rand im Vergleich zur Top-View-Breite. HÖHENBESTIMMUNG
Die im ersten Schritt ermittelte Bewegung des Rechteckes im Bild wird direkt in eine reale Bewegung des Fahrzeuges umgerechnet, wobei der Wert jedoch stark von Rauschen unterlegt ist. Daher wird über die Zeit ein Histogramm aufgebaut mit den Paramatern niedrigster und höchster Wert der Histogramms sowie Anzahl der Bins. Auch hier können die Messungen mit ihrem Alter verfallen. Ist eine Mindestanzahl an Messungen im Histogramm vorhanden, so werden die N benachbarten Bins gesucht, die die meisten Messungen enthalten. Anschließend wird der Median über diese Bins gebildet. Das Ergebnis ist dann die geschätzte Höhe.
Das prinzipielle Vorgehen zur Bestimmung der Höhe wird anhand der Fig. 3 erläutert, wobei der Fig. 3 ein einfaches Lochkameramodell zugrunde liegt und die Höhenbestimmung hier anhand der Bewegung des mittleren Pixels diskutiert wird. Bewegt sich das Fahrzeug (nicht dargestellt) geradlinig bei einer bekannten aktuellen Geschwindigkeit v und ist der Nickwinkel Θ der Kamera bekannt, so kann mit Hilfe des optischen Flusses die Kamerahöhe h relativ zur Fahrbahn F bestimmt werden. Der optische Fluss liefert die Geschwindigkeit vP, mit der sich der Pixel in der Bildmitte der Kamera bewegt. Fig. 3 zeigt die Geometrie zur Bestimmung der Kamerahöhe h und stellt zwei unterschiedliche Zeitpunkte t und t+1 dar, zu denen der projizierte Bildmittelpunkt in der schematisch zu den Zeitpunkten t und t+1 dargestellten Kamerabildebene k(t) und K(t+1 ) betrachtet wird, wobei die Kamera die Brennweite f besitzt. Bekannt sind die Werte für den zurückgelegten Weg v, den Nickwinkel Θ der Kamera, die Brennweite f der Kamera sowie die Geschwindigkeit vP des Mittenpixel im Bild. Aus der offensichtlichen Beziehung
f kann durch die Anwendung einfacher Trigonometrie aus den bekannten Größen die Höhe h zu
Figure imgf000015_0001
bestimmt werden. Bezugszeichenliste
0 Nullpunkt Weltsystem
X X-Achse
Y Y-Achse
z Z-Achse
c Nullpunkt Kamerasystem = Translationsvektor
Cx X-Komponente Translationsvektor
CY Y-Komponente Translationsvektor
Cz Z-Komponente Translationsvektor
Xc X-Achse Kamera
Yc Y-Achse Kamera
Zc Z-Achse Kamera
Θ Nickwinkel
Φ Gierwinkel
Ψ Rollwinkel
KP Bestimmung Kalibrierparameter
ED Ego-Daten
B2 Kamerabild 1
B1 Kamerabild 2
01 Optischer Fluss 1
02 Optischer Fluss 2
FP Fluchtpunktschätzung
WB Winkelbestimmung
GW Gierwinkelbestimmung RW Rollwinkelbestimmung
NW Nickwinkelbestimmung
Hs Höhen Schätzung
F Fahrbahn
h Höhe der Kamera über der Fahrbahn v Fahrzeuggeschwindigkeit
vP Pixelgeschwindigkeit
f Brennweite
K(t) Bildebene der Kamera zum Zeitpunkt t
K(t+1 ) Bildebene der Kamera zum Zeitpunkt t+1 v' Hilfsgröße
f Hilfsgröße

Claims

Patentansprüche
1 . Verfahren zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs, wobei die
Kalibrierparameter die Drehwinkel Nickwinkel, Gierwinkel und Rollwinkel sowie die Höhe der Kamera über der Fahrbahn umfassen, wobei die Bestimmung der Drehwinkel aus der Ermittlung des Fluchtpunktes aus einem ersten optischen Fluss zwischen einem ersten und einem zweiten Kamerabild abgeleitet werden und die Bestimmung der Höhe der Kamera aus einem zweiten optischen Fluss zwischen einem ersten und einem zweiten Kamerabild angeleitet wird,
dadurch gekennzeichnet, dass
zur Bestimmung des ersten optischen Flusses ein regelmäßiges Raster über das erste Kamerabild gelegt wird, im zweiten Kamerabild Korrespondenzen des regelmäßigen Rasters gesucht werden und der erste optische Fluss aus der Bewegung des Rasters über den Kamerabildern bestimmt wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Abstände der
Rasterpunkte parametrierbar sind.
3. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass auf Basis des ermittelten ersten optischen Flusses die Epipole in beiden
Kamerabildern errechnet und die Epipole zur Fluchtpunktschätzung verwendet werden.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass zur Nickwinkel und
Gierwinkelbestimmung aus den beiden Epipolen der beiden Kamerabildern der Fluchtpunkt bestimmt wird, wenn der Abstand der Epipole innerhalb eines ersten vorgegebene Intervalls liegt.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die ermittelten
Fluchtpunkte für ein vorgegebenes Zeitintervall gesammelt werden und aus der Menge der ermittelten Fluchtpunkte ein zeitstabiler Fluchtpunkt zu Bestimmung von Nickwinkel und Gierwinkel ermittelt wird.
6. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die beiden Epipole zweier Kamerabilder zur Rollwinkelbestimmung verwendet werden, wenn der Abstand der Epipole innerhalb eines zweiten vorgegebenen Intervalls liegt, wobei aus der Lage der Epipole im jeweiligen Kamerabild ein Rollwinkel geschätzt wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die ermittelten Rollwinkel über die Zeit gesammelt und in vorgegebenen Gruppen als Funktion der Gierrate des Kraftfahrzeugs eingeteilt werden.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass pro Gruppe der
gespeicherten Rollwinkel eine mittlerer Gruppenrollwinkel gebildet wird, wenn die Anzahl der Messungen in jeder Gruppe eine Mindestanzahl erreicht, wobei der endgültige Rollwinkel aus den mittleren Gruppenrollwinkel der Gruppen gebildet wird.
9. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass zur Bestimmung des zweiten optischen Flusses in einem Ausschnitt eines ersten Bildes der Fahrbahn vor dem Kraftfahrzeug Draufsicht ein Rechteck plaziert wird, welches im zweiten Bild ermittelt wird, wobei der zweite optischen Fluss durch die Bewegung des Rechtecks in den beiden Bilder gebildet wird und aus der
Rechteckbewegung die Höhe der Kamera berechnet wird.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass ein zeitliches
Histogramm der gemessenen Höhen der Kamera für eine Vielzahl von ersten und zweiten Kamerabildern erstellt wird und mit dem Erreichen einer Mindestanzahl von Messungen aus dem Histogramm eine Höhenschätzung abgeleitet wird.
1 1. Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs, welche zur Durchführung des Verfahrens nach einem der vorangegangenen Ansprüche eingerichtet und ausgelegt ist, mit
einer Einrichtung zur Bestimmung eines ersten optischen Flusses zwischen einem ersten und einem zweiten aufeinanderfolgenden Kamerabildern,
einer Einrichtung zur Bestimmung von Fluchtpunkten aus dem ersten optischen Fluss, einer Einrichtung zur Bestimmung der Drehwinkel aus den ermittelten Fluchtpunkten, einer Einrichtung zur Bestimmung eines zweiten optischen Flusses zwischen einem ersten und einem zweiten aufeinanderfolgenden Kamerabilder, und einer Einrichtung zur Bestimmung der Höhe der Kamera aus einem zweiten optischen Fluss,
dadurch gekennzeichnet, dass
zur Bestimmung des ersten optischen Flusses ein regelmäßiges Raster über das erste Kamerabild gelegt wird, im zweiten Kamerabild Korrespondenzen des regelmäßigen Rasters gesucht werden und der erste optische Fluss aus der Bewegung des Rasters über den Kamerabildern bestimmt wird.
12. Vorrichtung nach Anspruch 1 1 , dadurch gekennzeichnet, dass die Einrichtung zur Bestimmung des Fluchtpunktes auf Basis des ermittelten ersten optischen Flusses die Epipole in beiden Kamerabildern errechnet und die Epipole zur Fluchtpunktschätzung verwendet.
13. Vorrichtung nach Anspruch 1 1 oder 12, dadurch gekennzeichnet, dass zur
Bestimmung des zweiten optischen Flusses in einem Ausschnitt eines ersten Bildes der Fahrbahn vor dem Kraftfahrzeug in Draufsicht ein Rechteck platziert wird, welches im zweiten Bild ermittelt wird, wobei der zweite optischen Fluss durch die Bewegung des Rechtecks in den beiden Bilder gebildet und aus der Rechteckbewegung die Höhe der Kamera berechnet wird.
14. Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass die Einrichtung zur Bestimmung der Kamerahöhe ein zeitliches Histogramm der ermittelten Höhen der Kamera für eine Vielzahl von ersten und zweiten Kamerabildern erstellt und mit dem Erreichen eines Mindestanzahl von Messungen aus dem Histogramm eine
Höhenschätzung ableitet.
PCT/EP2015/059991 2014-05-14 2015-05-06 Verfahren und vorrichtung zur kalibrierung eines kamerasystems eines kraftfahrzeugs WO2015173092A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201580025056.5A CN106462968B (zh) 2014-05-14 2015-05-06 用于校准机动车的摄影机系统的方法和装置
US15/350,406 US10424081B2 (en) 2014-05-14 2016-11-14 Method and apparatus for calibrating a camera system of a motor vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014209137.3 2014-05-14
DE102014209137.3A DE102014209137B4 (de) 2014-05-14 2014-05-14 Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/350,406 Continuation US10424081B2 (en) 2014-05-14 2016-11-14 Method and apparatus for calibrating a camera system of a motor vehicle

Publications (1)

Publication Number Publication Date
WO2015173092A1 true WO2015173092A1 (de) 2015-11-19

Family

ID=53180729

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2015/059991 WO2015173092A1 (de) 2014-05-14 2015-05-06 Verfahren und vorrichtung zur kalibrierung eines kamerasystems eines kraftfahrzeugs

Country Status (4)

Country Link
US (1) US10424081B2 (de)
CN (1) CN106462968B (de)
DE (1) DE102014209137B4 (de)
WO (1) WO2015173092A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017219513A (ja) * 2016-06-10 2017-12-14 トヨタ自動車株式会社 車両の運転支援装置
CN108450058A (zh) * 2015-12-28 2018-08-24 英特尔公司 实时自动车载相机校准

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3007150A1 (de) * 2014-10-07 2016-04-13 Autoliv Development AB Spurwechselerkennung
ITUB20151802A1 (it) * 2015-07-01 2017-01-01 Magneti Marelli Spa Sistema a bordo veicolo e procedimento perfezionati per il rilevamento di oggetti in un ambiente circostante un veicolo.
US10339390B2 (en) * 2016-02-23 2019-07-02 Semiconductor Components Industries, Llc Methods and apparatus for an imaging system
US10257501B2 (en) 2016-04-06 2019-04-09 Facebook, Inc. Efficient canvas view generation from intermediate views
IT201600094414A1 (it) 2016-09-20 2018-03-20 St Microelectronics Srl Un procedimento per rilevare un veicolo in sorpasso, relativo sistema di elaborazione, sistema di rilevazione di un veicolo in sorpasso e veicolo
IT201600094858A1 (it) 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
US10229534B2 (en) * 2017-01-10 2019-03-12 Ditto Technologies, Inc. Modeling of a user's face
EP3435333B1 (de) * 2017-07-26 2020-01-29 Aptiv Technologies Limited Verfahren zur bestimmung des rollwinkels einer fahrzeugmontierten kamera
US20200082561A1 (en) * 2018-09-10 2020-03-12 Mapbox, Inc. Mapping objects detected in images to geographic positions
US11282225B2 (en) 2018-09-10 2022-03-22 Mapbox, Inc. Calibration for vision in navigation systems
US10984521B2 (en) 2018-11-20 2021-04-20 Bnsf Railway Company Systems and methods for determining defects in physical objects
US11423527B2 (en) 2018-11-20 2022-08-23 Bnsf Railway Company System and method for minimizing lost vehicle axel motion and filtering erroneous electrical signals
US11508055B2 (en) * 2018-11-20 2022-11-22 Bnsf Railway Company Systems and methods for calibrating image capturing modules
US11010641B2 (en) 2019-03-14 2021-05-18 Mapbox, Inc. Low power consumption deep neural network for simultaneous object detection and semantic segmentation in images on a mobile computing device
CN110718068B (zh) * 2019-09-27 2020-12-08 华中科技大学 一种道路监控摄像机安装角度估计方法
US11270466B2 (en) * 2020-03-12 2022-03-08 Bnsf Railway Company Systems and methods for calibrating image capturing modules
CN114347064B (zh) * 2022-01-31 2022-09-20 深圳市云鼠科技开发有限公司 基于光流的机器人碰撞检测方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2131598A2 (de) 2008-06-05 2009-12-09 Hella KGaA Hueck & Co. Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
EP2618305A1 (de) * 2012-01-20 2013-07-24 ESG Elektroniksystem- und Logistik-GmbH Verfahren und Vorrichtung zur Online-Kalibrierung von Fahrzeug-Kameras

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4933864A (en) * 1988-10-04 1990-06-12 Transitions Research Corporation Mobile robot navigation employing ceiling light fixtures
US5051906A (en) * 1989-06-07 1991-09-24 Transitions Research Corporation Mobile robot navigation employing retroreflective ceiling features
DE4332612C2 (de) * 1992-09-25 1996-02-22 Yazaki Corp Außenansichts-Überwachungsverfahren für Kraftfahrzeuge
US6535114B1 (en) 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
JP3986360B2 (ja) 2002-05-14 2007-10-03 松下電器産業株式会社 カメラ校正装置
DE10305993B4 (de) 2003-02-12 2006-01-05 Deutsches Zentrum für Luft- und Raumfahrt e.V. Vermessungsverfahren zur Flug- und Fahrzeugführung
EP1637836A1 (de) 2003-05-29 2006-03-22 Olympus Corporation Einrichtung und verfahren zur unterstützung einer stereokamera,einrichtung und verfahren zur kalibrationsdetektion und stereokamerasystem
DE102004001572B4 (de) 2004-01-12 2008-11-13 Daimler Ag Laufzeit-Kalibrierungsverfahren
DE102005013920B4 (de) * 2004-03-26 2007-12-13 Mitsubishi Jidosha Kogyo K.K. Frontsicht-Überwachungsvorrichtung
DE102004048400A1 (de) 2004-10-01 2006-04-06 Robert Bosch Gmbh Verfahren für die Erfassung einer optischen Struktur
DE102005001429A1 (de) 2005-01-12 2006-07-20 Robert Bosch Gmbh Verfahren für die Bildlagekorrektur eines Monitorbilds
DE102008008619A1 (de) 2008-02-12 2008-07-31 Daimler Ag Verfahren zur Kalibrierung eines Stereokamerasystems
KR101188588B1 (ko) * 2008-03-27 2012-10-08 주식회사 만도 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
US8373763B2 (en) * 2008-05-22 2013-02-12 GM Global Technology Operations LLC Self calibration of extrinsic camera parameters for a vehicle camera
WO2010109730A1 (ja) * 2009-03-26 2010-09-30 アイシン精機株式会社 カメラ校正装置
US8494225B2 (en) * 2010-02-19 2013-07-23 Julian L. Center Navigation method and aparatus
JP4979840B2 (ja) 2010-07-27 2012-07-18 パナソニック株式会社 移動体検出装置および移動体検出方法
WO2012083415A1 (en) * 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
WO2012139636A1 (en) * 2011-04-13 2012-10-18 Connaught Electronics Limited Online vehicle camera calibration based on road surface texture tracking and geometric properties
US9357208B2 (en) * 2011-04-25 2016-05-31 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
KR101249791B1 (ko) * 2011-05-23 2013-04-03 아진산업(주) 차량 어라운드 뷰 영상 생성 방법
EP2662828B1 (de) * 2012-05-11 2020-05-06 Veoneer Sweden AB Sichtsystem und -verfahren für ein Kraftfahrzeug
US8988524B2 (en) * 2013-03-11 2015-03-24 The United States Of America As Represented By The Secretary Of The Army Apparatus and method for estimating and using a predicted vehicle speed in an indirect vision driving task
FR3014553A1 (fr) * 2013-12-11 2015-06-12 Parrot Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2131598A2 (de) 2008-06-05 2009-12-09 Hella KGaA Hueck & Co. Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
EP2618305A1 (de) * 2012-01-20 2013-07-24 ESG Elektroniksystem- und Logistik-GmbH Verfahren und Vorrichtung zur Online-Kalibrierung von Fahrzeug-Kameras

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
E. TAPIA ET AL.: "A Note on Calibration of Video Cameras for Autonomous Vehicles with Optical Flow", FACHBEREICH MATHEMATIK UND INFORMATIK, SERIE B INFORMATIK, February 2013 (2013-02-01)
ERNESTO TAPIA ET AL: "A Note on Calibration of Video Cameras for Autonomous Vehicles with Optical Flow", February 2013 (2013-02-01), Berlin, pages 1 - 4, XP055204795, Retrieved from the Internet <URL:http://www.mi.fu-berlin.de/inf/groups/ag-ki/publications/B-13-02/TR-Ernesto.pdf> [retrieved on 20150727] *
GONZALO R. RODRÍGUEZ-CANOSA ET AL: "A Real-Time Method to Detect and Track Moving Objects (DATMO) from Unmanned Aerial Vehicles (UAVs) Using a Single Camera", REMOTE SENSING, vol. 4, no. 12, 20 April 2012 (2012-04-20), pages 1090 - 1111, XP055204829, DOI: 10.3390/rs4041090 *
J. PLATONOV ET AL.: "Vollautomatische Kamera-zu-Fahrzeug-Kalibrierung", ATZ ELEKTRONIK, 2012, pages 120 - 123
KITT B ET AL: "Block-matching based optical flow estimation with reduced search space based on geometric constraints", INTELLIGENT TRANSPORTATION SYSTEMS (ITSC), 2010 13TH INTERNATIONAL IEEE CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 19 September 2010 (2010-09-19), pages 1104 - 1109, XP031792710, ISBN: 978-1-4244-7657-2 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108450058A (zh) * 2015-12-28 2018-08-24 英特尔公司 实时自动车载相机校准
JP2017219513A (ja) * 2016-06-10 2017-12-14 トヨタ自動車株式会社 車両の運転支援装置

Also Published As

Publication number Publication date
DE102014209137B4 (de) 2023-02-02
CN106462968B (zh) 2019-12-13
CN106462968A (zh) 2017-02-22
US10424081B2 (en) 2019-09-24
DE102014209137A1 (de) 2015-11-19
US20170061623A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
WO2015173092A1 (de) Verfahren und vorrichtung zur kalibrierung eines kamerasystems eines kraftfahrzeugs
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
EP2618305B1 (de) Verfahren und Vorrichtung zur Online-Kalibrierung von Fahrzeug-Kameras
DE102018116111A1 (de) Ein einheitliches tiefes faltendes neuronales Netzwerk für die Abschätzung von Freiraum, die Abschätzung der Objekterkennung und die der Objektstellung
DE112013004103B4 (de) Verfahren und Vorrichtung zum Erzeugen einer Disparitätskarte
DE202017007675U1 (de) Computerprogrammprodukt mit einem Computerprogramm zur Verarbeitung von visuellen Daten einer Straßenoberfläche
DE102009005861A1 (de) Fahrzeugumgebungs-Erkennungssystem
DE112017001841T5 (de) Vorrichtung zum erfassen eines montagewinkels für eine fahrzeuginterne kamera, vorrichtung zum kalibrieren eines montagewinkels, und verfahren zur erfassung eines montagewinkels
EP3308361B1 (de) Verfahren zur erzeugung eines virtuellen bildes einer fahrzeugumgebung
DE102017109445A1 (de) Kalibration einer Fahrzeug-Kameraeinrichtung in Fahrzeuglängsrichtung oder Fahrzeugquerrichtung
EP2562681B1 (de) Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem
DE102017211395A1 (de) Verfahren zur Unterstützung eines Ankuppelvorgangs sowie Unterstützungssystem
DE102018123393A1 (de) Erkennung von Parkflächen
DE102014114221A1 (de) Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
EP3815044B1 (de) Verfahren zu einer sensor- und speicherbasierten darstellung einer umgebung, anzeigevorrichtung und fahrzeug mit der anzeigevorrichtung
EP2736017A2 (de) Verfahren zur Ermittlung der Bewegung eines Kraftfahrzeugs
DE102015104065A1 (de) Verfahren zum Bestimmen einer Position eines Objekts in einem dreidimensionalen Weltkoordinatensystem, Computerprogrammprodukt, Kamerasystem und Kraftfahrzeug
WO2014009406A1 (de) VERFAHREN UND VORRICHTUNG ZUM BERECHNEN EINER VERÄNDERUNG EINES ABBILDUNGSMAßSTABS EINES OBJEKTS
EP1352363B1 (de) Verfahren und vorrichtung zum kompensieren einer dejustage einer bilderzeugungsvorrichtung
DE102017115587A1 (de) Verfahren zum Bestimmen einer räumlichen Unsicherheit in Bildern eines Umgebungsbereiches eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102019218479A1 (de) Verfahren und Vorrichtung zur Klassifikation von Objekten auf einer Fahrbahn in einem Umfeld eines Fahrzeugs
WO2019162327A2 (de) Verfahren zur ermittlung einer entfernung zwischen einem kraftfahrzeug und einem objekt
DE102022003366A1 (de) Verfahren und Vorrichtung zum Bestimmen der Entfernung von einem Fahrzeug zu einem Fahrzeug zu einem Objekt mittels einer Monokularkamera
EP2192550A1 (de) Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern
DE102014219418B4 (de) Verfahren zur Stereorektifizierung von Stereokamerabildern und Fahrerassistenzsystem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15722691

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 15722691

Country of ref document: EP

Kind code of ref document: A1