Verfahren zur Ableitung von Umfeldinformationen aus der Erkennung rückwärtiger Lichter vorausfahrender Fahrzeuge Die Erfindung betrifft ein Verfahren zur Ableitung von Umfeldinformationen aus der Erkennung rückwärtiger Lichter vorausfahrender Fahrzeuge nach dem Oberbegriff von Anspruch 1. Die Umfeldinformationen können insbesondere Fahrerassis¬ tenzsystemen zur Verfügung gestellt werden. A method for deriving contextual information from the detection rear lights of preceding vehicles The invention relates to a method for deriving contextual information from the detection rear lights of preceding vehicles according to the preamble of claim 1. The environment information may driver assistance ¬ assistance systems are provided in particular.
Unter rückwärtigen Fahrzeuglichtern oder Leuchten werden im Rahmen der Erfindung u.a. folgende am Fahrzeug verbauten Leuchten verstanden: Rückfahrlicht, Rücklicht, Bremslicht und Nebelschlußleuchte. Under rear vehicle lights or lights are in the context of the invention u.a. understood the following installed on the vehicle lights: reversing light, taillight, brake light and rear fog light.
Die Erkennung rückwärtiger Lichter vorausfahrender Fahrzeuge ist nicht Gegenstand der Erfindung. Insbesondere Fahrer¬ assistenzfunktionen zur automatischen Lichtsteuerung von Abblend-/Fernlicht benutzen die Information über die er- kannten rückwärtigen Fahrzeuglichter zur Steuerung des Fernlichtes, um eine Blendung von Fahrern vorausfahrender Fahrzeuge zu verhindern. Ein Beispiel dieser Fahrerassis¬ tenzfunktion ist in EP 2057583 Bl gezeigt. Ein anderes Beispiel ist die Erkennung der Aktivierung von Bremsleuchten. Die EP 1851681 Bl zeigt ein Verfahren zur Erkennung der Aktivierung von Bremsleuchten vorausfahrender
Fahrzeuge, bei der ein vorausfahrendes Fahrzeug mit einem Bildsensor erfasst wird und bei erkanntem Aufleuchten der Bremsleuchten ein Signal ausgegeben wird, dass in einer Warnvorrichtung und/oder in einem Fahrerassistenzsystem um- gesetzt werden kann. The detection of rear lights of vehicles in front is not the subject of the invention. In particular, drivers ¬ assistant functions for automatic light control of low / high beams use the information on the rec- ognized rear vehicle lights to control the high beams to prevent blinding of drivers of vehicles traveling ahead. An example of these driver assistance ¬ tenzfunktion shown 2057583 Bl in EP. Another example is the detection of the activation of brake lights. EP 1851681 B1 shows a method for detecting the activation of brake lamps ahead Vehicles in which a preceding vehicle is detected with an image sensor and when the brake lights are lit, a signal is output that can be converted in a warning device and / or in a driver assistance system.
Aus der Erkennung einer Aktivierung von Bremsleuchten wird geschlossen, dass das vorausfahrende Fahrzeug einen Brems¬ vorgang durchführt. Aufgabe der Erfindung ist es aus erkannten rückwärtigen Fahrzeuglichtern zusätzliche oder bessere Informationen über das Fahrzeugumfeld für verschiedenste Fahrerassistenz¬ funktionen bereitzustellen. Diese Aufgabe ist erfindungsgemäß gelöst durch eine Analyse von Position und Bewegung von rückwärtigen Lichtern vorausfahrender Fahrzeuge, die in einer Bilderfolge ermittelt und getrackt d.h. verfolgt, werden. Die Bilderfolge wird mit einer Kamera aufgenommen, die das vordere Umfeld des Fahr- zeugs erfasst. Aus dieser Analyse werden die gewünschten Umfeldinformationen abgeleitet. From the detection of an activation of brake lights is concluded that the preceding vehicle performs a braking ¬ process. The object of the invention is to provide additional or better information about the vehicle environment for a wide variety of driver assistance functions from detected rear vehicle lights . This object is achieved according to the invention by an analysis of the position and movement of rear lights of preceding vehicles, which are determined in an image sequence and tracked ie tracked. The image sequence is recorded with a camera that captures the front of the vehicle. From this analysis, the desired environmental information is derived.
Der Erfindung liegt die Überlegung zugrunde, dass Informa¬ tionen aus dem Verhalten vorausfahrender Fahrzeuge abgelei- tet werden können. Vorausfahrende Fahrzeuge werden anhand ihrer rückwärtig angebrachten Leuchten erkannt. Lichtinformationen, die z.B. ein Fernlichtassistenzsystem zur Verfügung stellen kann, können also zur Ableitung weiterer Umfeldinformationen verwendet werden.
Rückwärtige Lichter gestatten durch ihre Position und Bewegung implizit Rückschlüsse auf das Fahrzeugverhalten. Das Fahrzeugverhalten wiederum lässt implizit Rückschlüsse auf das Umfeld zu. Unter der Annahme, dass die rückwärtigen Lichter zu einem vorausfahrenden Fahrzeug gehören, können eine Reihe von Annahmen getroffen werden. The invention is based on the consideration that Informa ¬ tions can these data imply from the behavior of preceding vehicles. Vehicles driving ahead are recognized by their rear-mounted lights. Light information, which can provide eg a high-beam assistance system, can thus be used to derive further surroundings information. Rear lights allow by their position and movement implicit conclusions on the behavior of the vehicle. In turn, vehicle behavior implicitly allows conclusions to be drawn about the environment. Assuming that the rear lights belong to a preceding vehicle, a number of assumptions can be made.
Dazu zählen u.a.: These include, among others:
- das vorausfahrende Fahrzeug befindet sich in der Regel auf derselben Fahrbahn - The vehicle in front is usually on the same lane
das vorausfahrende Fahrzeug kann sich nicht beliebig, sondern nur physikalisch sinnvoll verhalten the vehicle in front can not behave arbitrarily, but only physically sensible
- die Höhe der Rücklichter über der Fahrbahn ist in einem eingeschränkten Wertebereich. - The height of the taillights above the carriageway is in a restricted range.
Ein weiteres Charakteristikum ist, dass diese Informationen sich auf voraus liegende Streckenabschnitte beziehen und somit eine Vorausschau ermöglichen. Another characteristic is that this information relates to sections of the route ahead, thus enabling a foresight.
Grundsätzlich können einzelne rückwärtige Lichter analysiert werden. Hierbei wäre jedoch zu berücksichtigen, dass Zweiräder weniger physikalischen Zwängen unterliegen als Fahrzeuge mit drei oder mehr Rädern. Basically, individual rear lights can be analyzed. However, it should be noted that two-wheeled vehicles are subject to less physical constraints than vehicles with three or more wheels.
Alternativ können nur Lichterpaare analysiert werden, die einem Fahrzeug zugeordnet werden können. Für letztere ist die Annahme plausibel, dass die Verbindungslinie der beiden rückwärtigen Lichter im Wesentlichen parallel zur Fahrbahnoberfläche ist. Alternatively, only pairs of lights that can be assigned to a vehicle can be analyzed. For the latter, the assumption is plausible that the connecting line of the two rear lights is substantially parallel to the road surface.
Die Erfindung bietet die folgenden technischen Vorteile: Aus rückwärtigen Lichtern vorausfahrender Fahrzeuge abgeleitete Informationen sind robust und können insbesondere bei Dunkelheit oder schlechten Sichtverhältnissen zuverläs-
sig ermittelt werden. Beispielsweise kann eine kameraba¬ sierte Spurerkennung bei solchen Verhältnissen nicht oder nur eingeschränkt funktionieren, falls Fahrbahnmarkierungen nicht mehr gut zu sehen sind. Bei schlechten Sichtverhält- nissen oder Dunkelheit sind jedoch rückwärtige Lichter von vorausfahrenden Fahrzeugen aktiviert und können erkannt werden, woraus auch die Lage der künftigen Fahrspur abgeschätzt werden kann. The invention offers the following technical advantages: Information derived from the rear lights of vehicles in front is robust and can be relied upon in particular in the dark or in poor visibility conditions. sig be determined. For example, a kameraba ¬ catalyzed lane detection may be prohibited or restricted work in such conditions, if lane markings are no longer good to see. In poor visibility or darkness, however, rear lights from vehicles in front are activated and can be detected, from which the position of the future traffic lane can be estimated.
Werte zu ermittelten und getrackten rückwärtigen Lichter stehen z.B. durch einen im Fahrzeug verbauten Fernlichtassistenten bereits zur Verfügung. Values for detected and tracked rear lights are e.g. by a built-in high-beam assistants already available.
Durch die Verwendung der Licht-Informationen kann in hohem Maße a priori Wissen verwendet werden. By using the light information, a priori knowledge can be widely used.
Die abgeleiteten Informationen beziehen sich auf Gescheh- nisse oder Streckenabschnitte, die noch vor dem Fahrzeug liegen . The derived information relates to incidents or sections of track that are still in front of the vehicle.
Die Erfindung betrifft ferner eine Vorrichtung umfassend eine Kamera und Mittel zur Ableitung von Umfeldinformationen aus der Erkennung rückwärtiger Lichter vorausfahrender Fahrzeuge. The invention further relates to a device comprising a camera and means for deriving environmental information from the detection of rear lights of vehicles ahead.
Weitere vorteilhafte Ausgestaltungen der Erfindung finden sich in den Unteransprüchen und den beschriebenen Ausfüh- rungsbeispielen . Further advantageous embodiments of the invention can be found in the subclaims and the exemplary embodiments described.
Nachfolgend wird die Erfindung anhand von Ausführungsbei¬ spielen erläutert.
Folgende Umfeldinformationen können zusätzlich gewonnen werden : The invention will be explained with reference to Ausführungsbei ¬ play. The following environment information can also be obtained:
a) Aus einer lateralen Bewegung (spezielles Bewegungsmus¬ ter) eines oder mehrerer Lichterpaare kann eine (scharfe) Kurve der Fahrbahn abgeleitet werden. a) From a lateral movement (special Bewegungsmus ¬ ter) of one or more pairs of lights, a (sharp) curve of the road can be derived.
Folgendes Bewegungsmuster ist erkennbar: Die Lichter vorausfahrender Fahrzeuge bewegen sich auf geraden Streckenabschnitten wenig im Bild. Durchfährt das vorausfahrende Fahrzeug allerdings eine Kurve während das Fahrzeug mit der Kamera sich noch in dem geraden Streckensbschnitt befindet, so bewegen sich die Lichter des vorausfahrenden Fahrzeugs beschleunigt zur Seite. Schon mit einem vorausfahrenden Fahrzeug kann man auf eine Kurve schließen. Gibt es mehrere vorausfahrende Fahrzeuge stützen diese die Hypothese und erhöhen die Genauigkeit der Schätzung der Entfernung zur Kurve . The following movement pattern is recognizable: The lights of vehicles ahead do not move very well on straight stretches. However, if the vehicle in front traverses a curve while the vehicle with the camera is still in the straight section of the line, the lights of the vehicle ahead accelerate to the side. Already with a vehicle in front you can close on a curve. If there are several vehicles in front, these support the hypothesis and increase the accuracy of estimating the distance to the curve.
b) Aus einer lateralen Bewegung (spezielles Bewegungsmus¬ ter, s. Fall a) ) eines oder mehrerer Lichterpaare kann ein Abbiegevorgang abgeleitet werden. Zur Unterscheidung von Fall a) kann hierzu eine Information über einen aktivierten Blinker verwendet werden. b) (From a lateral movement special Bewegungsmus ¬ ter s. Case a)) of one or more pairs of lights can be derived a turning maneuver. To distinguish from case a), information about an activated turn signal can be used for this purpose.
c) Aus einer vertikalen Bewegung eines oder mehrerer Lichterpaare können Bodenwellen, Fahrbahnanstiege oder - ab¬ stiege abgeleitet werden. c) From a vertical movement of one or more pairs of lights can be bumps, road increases or - are derived from ¬ stairs.
d) Aus der Dichte von Rücklichtern kann dichter Verkehr oder Stau abgeleitet werden. d) Dense traffic or traffic jams can be derived from the density of taillights.
e) Im Kolonnenverkehr kann aus dem gehäuften Auftreten von plötzlichen Helligkeitsanstiegen eine Bremsphase abgeleitet werden .
f) Aus erkannten Nebelschlussleuchten eines vorausfahrenden Fahrzeugs können Nebel oder extrem schlechte Sichtverhält¬ nisse abgeleitet werden. Dann kann beispielsweise eine aus der Bewegung der erkannten Nebelschlussleuchten abgeschätz- te Lage der künftigen Fahrspur zur Unterstützung der Querführung des Fahrzeugs verwendet werden (speziell bei Auto¬ bahnen) . e) In column traffic, a brake phase can be derived from the increased occurrence of sudden increases in brightness. f) From recognized rear fog lights of a preceding vehicle mist or extremely poor visibility behaves ¬ nit can be derived. Then, for example, a abgeschätz- te from the movement of the detected position of the rear fog lamps future lane to assist the lateral guidance of the vehicle used (especially in car ¬ tracks).
g) Aus einer plötzliche Zunahme der Helligkeit der roten rückwärtigen Leuchten kann ein Bremsmanöver des Vordermanns abgeleitet werden. g) From a sudden increase in the brightness of the red rear lights, a braking maneuver of the vehicle ahead can be derived.
Die abgeleiteten Umfeldinformationen können beispielsweise genutzt werden von den folgenden Fahrerassistenzfunktionen: a) Warnung vor scharfen Kurven (aus lateraler Bewegung) b) Kurvenlicht (aus lateraler Bewegung) The derived environment information can, for example, be used by the following driver assistance functions: a) Warning of sharp curves (from lateral movement) b) Bending light (from lateral movement)
c) Fahrbahnverlaufsempfehlung (aus lateraler Bewegung) d) Überholassistent (aus lateraler und vertikaler Bewegung, nicht empfehlenswert bei erkannten Nebelschlussleuchten) e) Konditionierung des Fahrwerks bei Bodenwellen (aus vertikaler Bewegung) c) Lane progression recommendation (from lateral movement) d) Ride-over assistant (from lateral and vertical movement, not recommended for detected rear fog lamps) e) Conditioning of the undercarriage for bumps (from vertical movement)
f) Unterstützung der Verkehrsleitung (aus Dichte) f) support of traffic management (of density)
g) Vorkonditionierung der Bremsen bei drohender Kollision h) Auffahrwarnung bei drohender Kollision g) Pre-conditioning of the brakes in the event of a collision h) Collision warning in the event of a collision
i) PreCrash Informationen i) PreCrash information
j) Notbremsassitent j) emergency brake assistant
k) Notlenkassistent
k) Emergency steering assistant