WO2020187917A1 - Detektion von fehlfunktionen der schaltzustandserkennung von lichtsignalanlagen - Google Patents

Detektion von fehlfunktionen der schaltzustandserkennung von lichtsignalanlagen Download PDF

Info

Publication number
WO2020187917A1
WO2020187917A1 PCT/EP2020/057305 EP2020057305W WO2020187917A1 WO 2020187917 A1 WO2020187917 A1 WO 2020187917A1 EP 2020057305 W EP2020057305 W EP 2020057305W WO 2020187917 A1 WO2020187917 A1 WO 2020187917A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
light signal
switching state
signal system
measurement data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2020/057305
Other languages
English (en)
French (fr)
Inventor
Markus Gressmann
Robert Lutz
Frank Lindner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Mercedes Benz Group AG
Original Assignee
Robert Bosch GmbH
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH, Daimler AG filed Critical Robert Bosch GmbH
Priority to CN202080022220.8A priority Critical patent/CN113924602B/zh
Publication of WO2020187917A1 publication Critical patent/WO2020187917A1/de
Anticipated expiration legal-status Critical
Priority to US17/479,264 priority patent/US12462681B2/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals

Definitions

  • the invention relates to a method for checking the plausibility of the functionality of a camera arrangement with at least two cameras for determining a switching state of a light signal system by a control device and a
  • the invention also relates to a control device
  • driver assistance functions are known that can recognize a switching state of traffic lights or light signal systems.
  • the respective activated signal generators and their color are recognized by evaluating camera measurement data.
  • Reliable detection of the switching status of light signal systems is a safety-relevant function, particularly in the case of vehicles that are operated automatically. There are therefore particularly high demands on the reliability of the components, such as the recognizing camera and the evaluating control device.
  • sensors are usually used redundantly. However, this increases the costs for the camera arrangement. Furthermore, a more powerful control device is required to evaluate two cameras at the same time. This increases the costs, the required installation space and the energy requirements of the camera arrangement.
  • a method for checking the plausibility of the functionality of a camera arrangement by a control device has at least two cameras for determining a switching state of a light signal system.
  • a first switching state of the light signal system is determined based on measurement data from a first camera.
  • a second switching state of the light signal system is determined based on measurement data from at least one second camera.
  • the first switching state can also be determined using measurement data from the at least one second camera and the second switching state using measurement data from the first camera of the camera arrangement.
  • the first switching state and the second switching state are then used to ensure that the camera arrangement is functional
  • a control device for evaluating measurement data from at least two cameras of a camera arrangement is provided, the control device being set up to carry out the method.
  • a vehicle with at least one camera arrangement has at least two cameras for recognizing switching states of light signal systems and can be connected to a control device.
  • a computer program is provided.
  • the computer program comprises commands which, when the computer program is executed by a control device, cause the control device to execute the method.
  • a machine-readable storage medium is provided on which the computer program is stored.
  • the vehicle can preferably be assisted, partially automated, highly automated and / or fully automated or driverless according to the BASt definition.
  • the vehicle can have a vehicle control which can access the surroundings sensors and the actuators for steering, accelerating and braking the vehicle.
  • the camera arrangement can be used to recognize switching states of traffic lights or light signal systems.
  • the first camera and the at least one further camera can also be used for functions other than traffic light detection, such as a general one
  • the switching states of the light signal system determined based on measurement data from the respective camera can be compared with one another. It can be checked whether the results are logically and technically meaningful. If, for example, discrepancies are detected by the control device, a malfunction of the camera arrangement and / or the evaluation of the measurement data can be assumed.
  • the cameras can preferably have other scanning areas so that the switching states of light signal systems are determined by the different cameras at different times and by the control device
  • the focal lengths of the cameras can be different, as a result of which, for example, the first camera has a larger scanning angle and a smaller replaceable range than the at least one second camera.
  • the at least two cameras can belong to different assistance systems in the vehicle and can already be installed in the vehicle.
  • the light signal system can have one or more signal transmitters which indicate at least one switching state of the light signal system.
  • Signal transmitters can be activated constantly or activated flashing.
  • the at least two cameras can determine properties such as color, position in the light signal system, absolute position, shape, light duration and the like of the activated signal transmitter and assign a switching state of the light signal system.
  • the method enables the redundant use of identical or very similar cameras with the same or very similar installation position and
  • the method can be designed to be robust against all types of randomly occurring errors and malfunctions.
  • the first switching state and / or the second switching state of the light signal system are determined by determining a
  • the housing of the traffic light system can thus be determined by an image evaluation algorithm.
  • the color of the signal transmitter and the position of the respective signal transmitter within the light signal system can provide information about the switching state.
  • the top signal transmitter inside the housing can mean “red” or "stop” and the bottom signal transmitter in the housing can mean “green” or "drive”.
  • the two signal transmitters can be checked for plausibility against one another. Due to of the common housing, the signaling devices can be assigned to a traffic light system.
  • the shape of the activated signal generator can also be the shape of the activated signal generator.
  • a bar-shaped, round or cross-shaped signal transmitter can be recognized and assigned to a switching state.
  • Signal transmitters can be detected by their shape and assigned to a switching state.
  • the first switching state and the second switching state can be the same or different. Since the second switching state is detected by the second camera with a time delay, the light signal system can have changed its switching state in the meantime, as a result of which different signal transmitters are activated.
  • the malfunction is the
  • Camera arrangement recognized when the same positions and different colors of the at least one signal transmitter are determined based on the measurement data of the first camera and the second camera.
  • the malfunction can be detected by at least one camera when the
  • a malfunction can also be detected if both cameras detect the same traffic light at the same time, the detected color of the activated one
  • Light signal generator is however different.
  • the cameras recognize the same traffic light if the traffic light can be measured simultaneously in the field of view of both cameras.
  • the position of the light signal transmitter is not relevant for the detection of a malfunction.
  • the malfunction is the
  • Camera arrangement recognized when different positions and the same colors of the at least one signal transmitter are determined based on the measurement data of the first camera and the second camera. In this case, a discrepancy in the determination of measurement data from a camera or in the evaluation of the measurement data can be determined in an analogous manner.
  • this function can be deactivated and the vehicle can be put into a safe state by the control unit or put into a manually controllable state.
  • the position of the at least one signal transmitter is relative to the light signal system or relative to the
  • the localization or the determination of the position of an activated signal transmitter can be carried out in a technically particularly simple manner if the position is set in relation to the position or shape of the light signal system.
  • the activated signal transmitters can be positioned absolutely within the scanning area or relative to the camera arrangement.
  • the position of the signal transmitter within the housing of the traffic light system can also be disadvantageous in the dark or
  • Visibility conditions are determined and assessed.
  • the respective signaling devices must be assigned to a common traffic light system.
  • the position can have specific coordinates or can be specified as a relative position specification, such as “above”, “in the middle”, “below”.
  • the position of the at least one signal transmitter and the corresponding color of the respective signal transmitter of the light signal system are received from a database by the control device.
  • a database can be designed, for example, as a precise map for highly automated driving.
  • the first camera is a long-range camera and the at least one second camera is a
  • the measurement data from the second camera are recorded at a later point in time than the measurement data from the first camera.
  • the light signal system can be detected in advance by the long-range camera and a switching state can be calculated by the control device on the basis of the measurement data.
  • Light signal system increasingly out of the scanning range of the long-range camera and can be detected by the close-range camera, for example, from a distance of 70 m between the vehicle and the light signal system.
  • the light signal system can be detected one after the other by the cameras.
  • the computational effort in evaluating the measurement data by the control device can be reduced, since no redundant arrangement of the cameras is necessary for each measurement area.
  • the switching status of the traffic light system can be recognized at an early stage, which increases comfort and safety in road traffic.
  • the camera arrangement is moved relative to the light signal system, the position of the at least one signal transmitter of the light signal system being tracked relative to the camera arrangement based on the measurement data from the first camera.
  • the traffic light system can thus move in the determined, time-changing measurement data.
  • the measurement data can preferably be designed as moving images or video data.
  • the detected signal transmitter can be in
  • a light signal system arranged on the side edge of the road and detected by the first camera will move in the measurement data towards a lateral boundary of the scanning area when the camera arrangement approaches.
  • the movement of the light signal system in the measurement data takes place until the signal transmitter is outside the scanning area and can therefore no longer be detected by the first camera.
  • This movement of the light signal system and in particular of the at least one detected signal transmitter through the scanning area can be followed or tracked by the control device.
  • the arrangement of the at least two cameras of the camera arrangement with respect to one another is known in advance, which increases the precision of the plausibility check and the reliability of the traffic light detection.
  • Plausibility check of the functionality of the camera arrangement at least one signal and / or at least one control command generated and sent by the control device.
  • Control commands can be generated when the camera arrangement has been positively checked for plausibility and is therefore working correctly or when a malfunction of the camera arrangement is detected by the control device.
  • the at least one signal can be transmitted to a teleoperator or an external server unit, for example.
  • the signal can be in the form of an error message or a warning.
  • the at least one control command can be used to generate a
  • steering commands, braking commands, acceleration commands and the like can be generated by the control device and transmitted to the vehicle controller.
  • the vehicle can generate steering commands, braking commands, acceleration commands and the like.
  • Camera arrangement can be placed in a safe state.
  • an automated driving mode can be deactivated due to the malfunction of the camera arrangement, so that the vehicle can still be operated manually.
  • Fig. 1 is a schematic plan view of a vehicle with a
  • Fig. 2 is a schematic plan view of the vehicle with the
  • Camera arrangement in which the light signal system is arranged in the scanning range of a close-range camera.
  • FIG. 1 shows a schematic plan view of a vehicle 1 with a camera arrangement 2.
  • a light signal system 4 is arranged in the scanning area A1 of a long-range camera 6 and can thus be controlled by the
  • Long-range camera 6 can be detected.
  • the light signal system 4 can be detected on the basis of an image evaluation of the long-range camera 6 by a control device 8 of the vehicle 1.
  • the long-range camera 6 is designed as the first camera 6 of the camera arrangement 2.
  • the long-range camera 6 has a lens (not shown) with a long focal length, as a result of which the usable or evaluable by the control unit 8 scanning area A1 has a relatively small scanning angle of 20 °, for example, and a long range of 200 m, for example.
  • the camera arrangement 2 has a second camera 10.
  • the second camera 10 is designed as a close-range camera 10 and has a short focal length.
  • the close-range camera 10 can have a Have scanning area A2 with a larger scanning angle compared to the first camera 6 of, for example, 50 ° or higher.
  • the usable range of the second camera 10 can be up to 80 m, for example.
  • the first camera 6 and the second camera 10 are arranged in a front region of the vehicle 1 in parallel or next to one another and can scan an area ahead of the vehicle 1.
  • the control device 8 is connected to the first camera 6 and the second camera 10 to conduct data and can thus receive, store and evaluate the measurement data.
  • the usable range or the usable scanning angle of the cameras 6, 10 can be defined, for example, by a focal plane and optics or the lens of the cameras 6, 10.
  • Scanning area A1, A2 can, for example, be scanned sharply and with high contrast and thus analyzed by the control unit with a high level of quality.
  • a signal generator 12 was the
  • the detected signal transmitter 12 is an activated or switched-on signal transmitter which has a red color.
  • a “red” switching state can thus be assigned to the traffic signal system 4 by the control device 8.
  • the light signal system 4 has a yellow and a green signal transmitter 14, which are deactivated in the situation shown.
  • the signal generators 12, 14 of the light signal system 4 are in a housing 5 of the light signal system 4
  • the signal generators 12, 14 of the light signal system 4 are designed as LED lamps.
  • the signal transmitter 12 can be assigned a red color in the situation shown.
  • the position of the Signal generator 12 can be determined by control unit 8. The position corresponds to an upper or highest position relative to the traffic signal system 4.
  • FIG. 2 shows a schematic plan view of the vehicle 1 with the camera arrangement 2, in which the light signal system 4 is arranged in the scanning area A2 of the close-range camera 10.
  • the long-range camera 6 can no longer perceive the light signal system 4, for example, since the
  • the light signal system 4 is located at a distance of about 70 m from the vehicle 1 outside the scanning area A1 of the long-range camera 6.
  • FIG. 1 and FIG. 2 serve in particular to illustrate the
  • the situation shown in FIG. 2 is a few seconds, for example 5 seconds, later than the situation shown in FIG.
  • Traffic light system 4 illustrates. Since the vehicle's own movement is known, the stationary traffic light system can be “tracked” and thus clearly assigned between the point in time in FIG. 1 and FIG.
  • the light signal system 4 is also in the "red" switching state. Thus, by evaluating the measurement data from the close-range camera 10, only the activated signal transmitter 12 can be determined and the red color and the topmost position within the light signal system 4 can be assigned to it.
  • the control device 8 can use the measurement data from the first camera 6 and the position and color of the signal transmitter 12 determined using the measurement data from the second camera 10 to determine that the color and the position match at different times.
  • the result of the traffic light detection, the switching status "red”, is plausible and a malfunction can be excluded.
  • the lowest signal transmitter 14 is activated and captured by the second camera 10. This allows the control unit to have both a different position and a different color of the
  • the control device 8 can detect a discrepancy in the detection of the switching state of the light signal system 4. There is a malfunction here, so that this function of the vehicle 1 is deactivated, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

Offenbart ist ein Verfahren zum Plausibilisieren einer Funktionsfähigkeit einer Kameraanordnung mit mindestens zwei Kameras zum Ermitteln eines Schaltzustands einer Lichtsignalanlage durch ein Steuergerät, wobei ein erster Schaltzustand der Lichtsignalanlage basierend auf Messdaten einer ersten Kamera ermittelt wird, ein zweiter Schaltzustand der Lichtsignalanlage basierend auf Messdaten von mindestens einer zweiten Kamera ermittelt wird, und der erste Schaltzustand und der zweite Schaltzustand dazu eingesetzt werden eine Funktionsfähigkeit der Kameraanordnung zu plausibilisieren. Hierbei können, aber müssen die Schaltzustände nicht gleichzeitig von beiden Kameras zur Plausibilisierung erkannt werden, sondern können auch zeitversetzt erkannt werden, beispielsweise da die Lichtsignalanlage mittlerweile aus dem Sichtbereich der einen Kamera gewandert ist. Des Weiteren sind ein Steuergerät, ein Fahrzeug, ein Computerprogramm sowie ein maschinenlesbares Speichermedium offenbart.

Description

Beschreibung
Titel
Detektion von Fehlfunktionen der Schaltzustandserkennung von
Lichtsignalanlagen
Die Erfindung betrifft ein Verfahren zum Plausibilisieren einer Funktionsfähigkeit einer Kameraanordnung mit mindestens zwei Kameras zum Ermitteln eines Schaltzustands einer Lichtsignalanlage durch ein Steuergerät sowie ein
Fahrzeug. Des Weiteren betrifft die Erfindung ein Steuergerät, ein
Computerprogramm sowie ein maschinenlesbares Speichermedium.
Stand der Technik
Im Bereich von Fahrzeugen sind Fahrassistenzfunktionen bekannt, die einen Schaltzustand von Ampeln bzw. Lichtsignalanlagen erkennen können. Es werden dabei die jeweiligen aktivierten Signalgeber und ihre Farbe durch Auswerten von Kamera-Messdaten erkannt.
Insbesondere bei automatisiert betriebenen Fahrzeugen ist eine zuverlässige Erkennung des Schaltzustands von Lichtsignalanlagen eine sicherheitsrelevante Funktion. Es gelten somit besonders hohe Anforderungen an die Zuverlässigkeit der Komponenten, wie beispielsweise der erkennenden Kamera und des auswertenden Steuergeräts.
Zum Erhöhen der Zuverlässigkeit einer Ampel-Erkennung werden Sensoren üblicherweise redundant eingesetzt. Hierdurch steigen jedoch die Kosten für die Kameraanordnung. Des Weiteren ist ein leistungsfähigeres Steuergerät zum gleichzeitigen Auswerten von zwei Kameras notwendig. Dadurch steigen die Kosten, der benötigte Bauraum und der Energiebedarf der Kameraanordnung.
Offenbarung der Erfindung Die der Erfindung zugrunde liegende Aufgabe kann darin gesehen werden, ein Verfahren und ein Steuergerät zum Erhöhen einer Zuverlässigkeit einer
Kameraanordnung vorzuschlagen.
Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
Nach einem Aspekt der Erfindung wird ein Verfahren zum Plausibilisieren einer Funktionsfähigkeit einer Kameraanordnung durch ein Steuergerät bereitgestellt. Die Kameraanordnung weist mindestens zwei Kameras zum Ermitteln eines Schaltzustands einer Lichtsignalanlage auf.
In einem Schritt wird ein erster Schaltzustand der Lichtsignalanlage basierend auf Messdaten einer ersten Kamera ermittelt.
Es wird in einem weiteren Schritt ein zweiter Schaltzustand der Lichtsignalanlage basierend auf Messdaten von mindestens einer zweiten Kamera ermittelt.
Alternativ kann auch der erste Schaltzustand anhand von Messdaten der mindestens einen zweiten Kamera und der zweite Schaltzustand anhand von Messdaten der ersten Kamera der Kameraanordnung ermittelt werden.
Anschließend werden der erste Schaltzustand und der zweite Schaltzustand dazu eingesetzt, eine Funktionsfähigkeit der Kameraanordnung zu
plausibilisieren.
Nach einem weiteren Aspekt der Erfindung wird ein Steuergerät zum Auswerten von Messdaten von mindestens zwei Kameras einer Kameraanordnung bereitgestellt, wobei das Steuergerät dazu eingerichtet ist, das Verfahren auszuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Fahrzeug mit mindestens einer Kameraanordnung bereitgestellt. Die Kameraanordnung weist mindestens zwei Kameras zum Erkennen von Schaltzuständen von Lichtsignalanlagen auf und ist mit einem Steuergerät verbindbar. Darüber hinaus wird nach einem Aspekt der Erfindung ein Computerprogramm bereitgestellt. Das Computerprogramm umfasst Befehle, die bei der Ausführung des Computerprogramms durch ein Steuergerät das Steuergerät dazu veranlassen das Verfahren auszuführen. Gemäß einem weiteren Aspekt der Erfindung wird ein maschinenlesbares Speichermedium bereitgestellt, auf welchem das Computerprogramm gespeichert ist.
Das Fahrzeug kann vorzugsweise gemäß der BASt Definition assistiert, teilautomatisiert, hochautomatisiert und/oder vollautomatisiert bzw. fahrerlos betreibbar sein. Hierfür kann das Fahrzeug eine Fahrzeugsteuerung aufweisen, welche auf die Umfeldsensorik und die Aktuatoren zum Lenken, Beschleunigen und Abbremsen des Fahrzeugs zugreifen kann.
Die Kameraanordnung kann zum Erkennen von Schaltzuständen von Ampeln bzw. Lichtsignalanlagen eingesetzt werden. Die erste Kamera und die mindestens eine weitere Kamera können auch für andere Funktionen als die Ampelerkennung einsetzbar sein, wie beispielsweise eine generelle
Umfelderkennung.
Hierbei können die basierend auf Messdaten der jeweiligen Kamera ermittelten Schaltzustände der Lichtsignalanlage miteinander verglichen werden. Dabei kann geprüft werden, ob die Ergebnisse logisch und technisch sinnvoll sind. Werden beispielsweise Unstimmigkeiten durch das Steuergerät festgestellt, so kann von einer Fehlfunktion der Kameraanordnung und/oder der Auswertung der Messdaten ausgegangen werden.
Die Kameras können vorzugsweise andere Abtastbereiche aufweisen, sodass die Schaltzustände von Lichtsignalanlagen von den unterschiedlichen Kameras zu unterschiedlichen Zeitpunkten ermittelt und durch das Steuergerät
ausgewertet werden. Beispielsweise können die Brennweiten der Kameras unterschiedlich sein, wodurch beispielsweise die erste Kamera einen größeren Abtastwinkel und eine geringere ersetzbare Reichweite als die mindestens eine zweite Kamera aufweist. Die mindestens zwei Kameras können zu unterschiedlichen Assistenzsystemen des Fahrzeugs gehören und bereits im Fahrzeug verbaut sein.
Die Lichtsignalanlage kann eine oder mehrere Signalgeber aufweisen, die mindestens einen Schaltzustand der Lichtsignalanlage anzeigen. Die
Signalgeber können konstant aktiviert oder blinkend aktiviert werden. Durch die mindestens zwei Kameras können Eigenschaft, wie beispielsweise Farbe, Position in der Lichtsignalanlage, absolute Position, Form, Leuchtdauer und dergleichen der aktivierten Signalgeber ermittelt und ein Schaltzustand der Lichtsignalanlage zugeordnet werden.
Durch das Verfahren kann der redundante Einsatz identischer oder sehr ähnlicher Kameras mit gleicher oder sehr ähnlicher Einbauposition und
Eigenschaften (Sichtbereich und Auflösung) entfallen und somit Kosten, Ressourcen- und Bauraumbedarf für die Ampelerkennung gesenkt werden.
Durch die Plausibilisierung kann das Verfahren gegen alle Arten von zufällig auftretenden Fehlern und Fehlfunktionen robust ausgeführt sein.
Nach einer Ausführungsform werden der erste Schaltzustand und/oder der zweite Schaltzustand der Lichtsignalanlage durch Ermitteln einer
Signalgeberposition innerhalb eines Lichtsignalgebergehäuses, einer
Signalgeberfarbe und/oder einer Signalgeberform festgestellt.
Es kann somit das Gehäuse der Lichtsignalanlage durch einen Algorithmus der Bildauswertung ermittelt werden. Innerhalb des Gehäuses bzw. der Erstreckung der Lichtsignalanlage können die Farbe der Signalgeber und die Position der jeweiligen Signalgeber innerhalb der Lichtsignalanlage Aufschluss über den Schaltzustand liefern. Beispielsweise kann der oberste Signalgeber innerhalb des Gehäuses„rot“ bzw.„stopp“ bedeuten und der unterste Signalgeber im Gehäuse„grün“ bzw.„fahren“ bedeuten.
Falls mindestens eine Kamera beispielsweise den unteren Signalgeber als aktiv detektiert und anschließend der oberste Signalgeber als aktiviert detektiert wird, können die beiden Signalgeber gegeneinander plausibilisiert werden. Aufgrund des gemeinsamen Gehäuses können die Signalgeber einer Lichtsignalanlage zugeordnet werden.
Bei öffentlichen Verkehrsmitteln, wie beispielsweise Straßenbahnen, Bussen und dergleichen kann die Form des aktivierten Signalgebers ebenfalls den
Schaltzustand der Lichtsignalanlage definieren. Beispielsweise kann ein balkenförmiger, runder oder kreuzförmiger Signalgeber erkannt und einem Schaltzustand zugeordnet werden. Des Weiteren können pfeilförmige
Signalgeber über ihre Form detektiert und einem Schaltzustand zugeordnet werden.
Der erste Schaltzustand und der zweite Schaltzustand können gleich oder unterschiedlich sein. Da der zweite Schaltzustand von der zweiten Kamera mit einer zeitlichen Verzögerung detektiert wird, kann die Lichtsignalanlage in der Zwischenzeit den Schaltzustand gewechselt haben, wodurch unterschiedliche Signalgeber aktiv geschaltet sind.
Dabei ist ein Ergebnis der Auswertung logisch bzw. plausibel, wenn
beispielsweise die Auswertung der Messergebnisse der Kameras zu
unterschiedlichen Zeiten dieselbe Position und dieselbe Farbe ermitteln.
Gemäß einer weiteren Ausführungsform wird die Fehlfunktion der
Kameraanordnung erkannt, wenn anhand der Messdaten der ersten Kamera und der zweiten Kamera gleiche Positionen und unterschiedliche Farben des mindestens einen Signalgebers ermittelt werden. Beispielsweise kann die Fehlfunktion von mindestens einer Kamera detektiert werden, wenn die
Zuordnung oder die Erkennung der Farbe der Signalgeber innerhalb einer Lichtsignalanlage bzw. des Gehäuses der Lichtsignalanlage zwischen den Kameras voneinander abweicht.
Des Weiteren kann eine Fehlfunktion erkannt werden, wenn beide Kameras gleichzeitig dieselbe Ampel erkennen, die erkannte Farbe der aktivierten
Lichtsignalgeber jedoch unterschiedlich ist. Die Kameras erkennen dieselbe Ampel, wenn die Ampel gleichzeitig im Sichtbereich beider Kameras messbar ist. Hierbei ist die Position des Lichtsignalgebers nicht relevant für die Erkennung einer Fehlfunktion. Nach einer weiteren Ausführungsform wird die Fehlfunktion der
Kameraanordnung erkannt, wenn anhand der Messdaten der ersten Kamera und der zweiten Kamera unterschiedliche Positionen und gleiche Farben des mindestens einen Signalgebers ermittelt werden. Hierbei kann analog eine Unstimmigkeit bei der Ermittlung von Messdaten von einer Kamera oder bei der Auswertung der Messdaten eine Unstimmigkeit ermittelt werden.
In den genannten Fällen liegt mit hoher Wahrscheinlichkeit eine Fehlfunktion der Ampelerkennung bzw. der eingesetzten Kameraanordnung. Zum Erhöhen der Sicherheit im Straßenverkehr, kann diese Funktion deaktiviert und das Fahrzeug durch das Steuergerät in einen sicheren Zustand überführt oder in einen manuell steuerbaren Zustand versetzt werden.
Nach einem weiteren Ausführungsbeispiel wird die Position des mindestens einen Signalgebers relativ zur Lichtsignalanlage oder relativ zur
Kameraanordnung ermittelt. Die Lokalisierung bzw. die Ermittlung der Position eines aktivierten Signalgebers kann technisch besonders einfach erfolgen, wenn die Position in Relation zur Position oder Form der Lichtsignalanlage gesetzt wird.
Alternativ oder zusätzlich kann eine absolute Positionierung der aktivierten Signalgeber innerhalb des Abtastbereichs oder relativ zur Kameraanordnung durchgeführt werden. Hierdurch kann die Position der Signalgeber innerhalb des Gehäuses der Lichtsignalanlage auch bei Dunkelheit oder nachteiligen
Sichtverhältnissen ermittelt und beurteilt werden. Hierbei müssen die jeweiligen Signalgeber einer gemeinsamen Lichtsignalanlage zugeordnet sein.
Beispielsweise kann die Position konkrete Koordinaten aufweisen oder als relative Positionsangabe, wie„oben“,„mittig“,„unten“, angegeben werden.
Gemäß einem weiteren Ausführungsbeispiel werden die Position des mindestens einen Signalgebers und der entsprechenden Farbe des jeweiligen Signalgebers der Lichtsignalanlage aus einer Datenbank von dem Steuergerät empfangen. Hierdurch können die jeweiligen möglichen Positionen der Signalgeber der Datenbank entnommen werden. Eine derartige Datenbank kann beispielsweise als eine präzise Karte für hochautomatisiertes Fahren ausgestaltet sein.
Nach einem weiteren Ausführungsbeispiel sind die erste Kamera als eine Fernbereichskamera und die mindestens eine zweite Kamera als eine
Nahbereichskamera ausgeführt. Dabei werden die Messdaten der zweiten Kamera zu einem späteren Zeitpunkt aufgezeichnet als die Messdaten der ersten Kamera.
Hierdurch kann im Vorfeld die Lichtsignalanlage durch die Fernbereichskamera detektiert und ein Schaltzustand anhand der Messdaten durch das Steuergerät berechnet werden.
Bewegt sich das Fahrzeug auf die Lichtsignalanlage zu, so gelangt die
Lichtsignalanlage zunehmend aus dem Abtastbereich der Fernbereichskamera und kann beispielsweise ab einem Abstand von 70 m zwischen dem Fahrzeug und der Lichtsignalanlage von der Nahbereichskamera detektiert werden.
Durch eine derartige Kameraanordnung kann die Lichtsignalanlage nacheinander von den Kameras detektiert werden. Der Rechenaufwand bei der Auswertung der Messdaten durch das Steuergerät kann verringert werden, da keine redundante Anordnung der Kameras für jeden Messbereich notwendig ist. Des Weiteren kann durch den Einsatz einer Fernbereichskamera der Schaltzustand der Lichtsignalanlage frühzeitig erkannt werden, wodurch der Komfort und die Sicherheit im Straßenverkehr erhöht wird.
Gemäß einem weiteren Ausführungsbeispiel wird die Kameraanordnung relativ zur Lichtsignalanlage bewegt, wobei der mindestens eine Signalgeber der Lichtsignalanlage anhand der Messdaten der ersten Kamera in seiner Position relativ zur Kameraanordnung verfolgt wird.
Der im Abtastbereich der ersten Kamera erkannten Signalgeber der
Lichtsignalanlage kann sich somit in den ermittelten sich zeitlich verändernden Messdaten bewegen. Die Messdaten können vorzugsweise als bewegte Bilder bzw. Videodaten ausgestaltet sein. Bei einer über dem Verkehrsgeschehen angeordneten Lichtsignalanlage kann der detektierte Signalgeber sich in
Richtung eines oberen Bereichs der Bilder bewegen.
Eine am seitlichen Fahrbahnrand angeordnete und durch die erste Kamera detektierte Lichtsignalanlage wird sich in den Messdaten bei einer Annäherung der Kameraanordnung in Richtung einer seitlichen Grenze des Abtastbereichs bewegen.
Die Bewegung der Lichtsignalanlage in den Messdaten erfolgt solange, bis der Signalgeber außerhalb des Abtastbereichs ist und somit nicht mehr von der ersten Kamera detektiert werden kann.
Diese Bewegung der Lichtsignalanlage und insbesondere des mindestens einen detektierten Signalgebers durch den Abtastbereich kann durch das Steuergerät verfolgt bzw. getrackt werden. Die Anordnung der mindestens zwei Kameras der Kameraanordnung zueinander ist im Vorfeld bekannt, wodurch die Präzision der Plausibilisierung und die Zuverlässigkeit der Ampelerkennung gesteigert werden.
Nach einem weiteren Ausführungsbeispiel werden basierend auf einer
Plausibilisierung der Funktionsfähigkeit der Kameraanordnung mindestens ein Signal und/oder mindestens ein Steuerbefehl durch das Steuergerät erzeugt und versendet. Das mindestens eine Signal und/oder der mindestens eine
Steuerbefehl können erzeugt werden, wenn die Kameraanordnung positiv plausibilisiert wurde und somit fehlerfrei arbeitet oder wenn eine Fehlfunktion der Kameraanordnung durch das Steuergerät detektiert wird. Insbesondere kann das mindestens eine Signal beispielsweise an einen Teleoperator oder eine externe Servereinheit übermittelt werden. Das Signal kann in Form einer Fehlermeldung oder einer Warnung ausgeführt sein.
Der mindestens eine Steuerbefehl kann dazu eingesetzt werden, eine
Fahrzeugsteuerung des Fahrzeugs zu betreiben oder zu beeinflussen. Hierzu können beispielsweise Lenkbefehle, Bremsbefehle, Beschleunigungsbefehle und dergleichen durch das Steuergerät generiert und an die Fahrzeugsteuerung übermittelt werden. Beispielsweise kann das Fahrzeug bei einer erkannten Fehlfunktion der
Kameraanordnung in einen sicheren Zustand versetzt werden. Alternativ oder zusätzlich kann ein automatisierter Fahrmodus aufgrund der Fehlfunktion der Kameraanordnung deaktiviert werden, sodass das Fahrzeug manuell weiterhin betreibbar bleibt.
Im Folgenden werden anhand von stark vereinfachten schematischen
Darstellungen bevorzugte Ausführungsbeispiele der Erfindung näher erläutert. Hierbei zeigen
Fig. 1 eine schematische Draufsicht auf ein Fahrzeug mit einer
Kameraanordnung, bei der eine Lichtsignalanlage im Abtastbereich einer Fernbereichskamera angeordnet ist, und
Fig. 2 eine schematische Draufsicht auf das Fahrzeug mit der
Kameraanordnung, bei der die Lichtsignalanlage im Abtastbereich einer Nahbereichskamera angeordnet ist.
In der Figur 1 ist eine schematische Draufsicht auf ein Fahrzeug 1 mit einer Kameraanordnung 2 dargestellt. Eine Lichtsignalanlage 4 ist im Abtastbereich A1 einer Fernbereichskamera 6 angeordnet und kann somit von der
Fernbereichskamera 6 detektiert werden.
Insbesondere kann die Lichtsignalanlage 4 anhand einer Bildauswertung der Fernbereichskamera 6 durch ein Steuergerät 8 des Fahrzeugs 1 detektiert werden. Die Fernbereichskamera 6 ist als erste Kamera 6 der Kameraanordnung 2 ausgestaltet.
Die Fernbereichskamera 6 weist ein nicht dargestelltes Objektiv mit einer hohen Brennweite auf, wodurch der nutzbare bzw. durch das Steuergerät 8 auswertbare Abtastbereich A1 einen relativ geringen Abtastwinkel von beispielsweise 20° und eine hohe Reichweite von beispielsweise 200 m aufweist.
Des Weiteren weist die Kameraanordnung 2 eine zweite Kamera 10 auf. Die zweite Kamera 10 ist als eine Nahbereichskamera 10 ausgeführt und weist eine geringe Brennweite auf. Somit kann die Nahbereichskamera 10 einen Abtastbereich A2 mit einem größeren Abtastwinkel gegenüber der ersten Kamera 6 von beispielsweise 50° oder höher aufweisen. Die nutzbare Reichweite der zweiten Kamera 10 kann beispielsweise bis zu 80 m betragen.
Die erste Kamera 6 und die zweite Kamera 10 sind in einem Frontbereich des Fahrzeugs 1 parallel bzw. nebeneinander angeordnet und können ein dem Fahrzeug 1 vorausliegendes Umfeld abtasten.
Das Steuergerät 8 ist datenleitend mit der ersten Kamera 6 und der zweiten Kamera 10 verbunden und kann die Messdaten somit empfangen, speichern und auswerten.
Die nutzbare Reichweite bzw. der nutzbare Abtastwinkel der Kameras 6, 10 kann beispielsweise durch eine Schärfeebene und eine Optik bzw. das Objektiv der Kameras 6, 10 definiert sein. Die Messdaten von Objekten in diesem
Abtastbereich A1 , A2 können beispielsweise scharf und kontrastreich abgetastet und somit mit einer höhen Güte durch das Steuergerät analysiert werden.
Gemäß dem Ausführungsbeispiel wurde ein Signalgeber 12 der
Lichtsignalanlage 4 von der ersten Kamera 6 detektiert. Dabei ist der detektierte Signalgeber 12 ein aktivierter bzw. eingeschalteter Signalgeber, welcher eine rote Farbe aufweist. Durch das Steuergerät 8 kann somit ein Schaltzustand„rot“ der Lichtsignalanlage 4 zugeordnet werden.
Die Lichtsignalanlage 4 weist einen gelben und einen grünen Signalgeber 14 auf, welche in der dargestellten Situation deaktiviert sind. Die Signalgeber 12, 14 der Lichtsignalanlage 4 sind in einem Gehäuse 5 der Lichtsignalanlage 4
angeordnet.
Die Signalgeber 12, 14 der Lichtsignalanlage 4 sind als LED-Leuchtmittel ausgeführt.
Durch die Auswertung der Messdaten der ersten Kamera 6 kann in der dargestellten Situation dem Signalgeber 12 eine rote Farbe zuordnet werden.
Des Weiteren kann durch ein Auswerten der Messdaten die Position des Signalgebers 12 durch das Steuergerät 8 ermittelt werden. Die Position entspricht relativ zur Lichtsignalanlage 4 einer oberen bzw. höchsten Position.
Die Figur 2 zeigt eine schematische Draufsicht auf das Fahrzeug 1 mit der Kameraanordnung 2, bei der die Lichtsignalanlage 4 im Abtastbereich A2 der Nahbereichskamera 10 angeordnet ist. Dabei kann die Fernbereichskamera 6 die Lichtsignalanlage 4 beispielsweise nicht mehr wahrnehmen, da die
Lichtsignalanlage 4 in einem Abstand von ca. 70 m vom Fahrzeug 1 entfernt außerhalb des Abtastbereichs A1 der Fernbereichskamera 6 liegt.
Die Figur 1 und die Figur 2 dienen insbesondere zum Verdeutlichen des
Verfahrens gemäß einer Ausführungsform zum Erkennen von Fehlfunktionen der Kameraanordnung 2 mit den mindestens zwei Kameras 6, 10 zum Ermitteln eines Schaltzustands der Lichtsignalanlage 4 durch das Steuergerät 8.
Insbesondere ist die in Figur 2 dargestellte Situation um einige Sekunden, beispielsweise 5 Sekunden, später als die in Figur 1 dargestellte Situation.
Hierdurch wird die Bewegung des Fahrzeugs 1 in Richtung der
Lichtsignalanlage 4 veranschaulicht. Da die Eigenbewegung des Fahrzeugs bekannt ist, kann die ortsfeste Lichtsignalanlage .getrackt“ werden und so eindeutig zwischen dem Zeitpunkt in Figur 1 und Figur 2 zugeordnet werden.
Die Lichtsignalanlage 4 befindet sich hierbei ebenfalls im Schaltzustand„rot“. Somit kann durch ein Auswerten der Messdaten der Nahbereichskamera 10 ebenfalls nur der aktivierte Signalgeber 12 ermittelt und ihm die rote Farbe sowie die oberste Position innerhalb der Lichtsignalanlage 4 zugeordnet werden.
Das Steuergerät 8 kann anhand der Messdaten der ersten Kamera 6 und anhand der Messdaten der zweiten Kamera 10 ermittelten Position und Farbe des Signalgebers 12 feststellen, dass die Farbe und die Position zu unterschiedlichen Zeitpunkten übereinstimmen. Somit ist das Ergebnis der Ampelerkennung, der Schaltzustand„rot“, plausibel und eine Fehlfunktion kann ausgeschlossen werden.
Erfolgt im Abtastbereich A2 der zweiten Kamera 10 eine Umschaltung von einer roten Farbe auf eine grüne Farbe, so wird der unterste Signalgeber 14 aktiviert und von der zweiten Kamera 10 erfasst. Hierdurch kann das Steuergerät sowohl eine unterschiedliche Position als auch eine unterschiedliche Farbe der
Signalgeber 12, 14 aus den Messdaten der Kameras 6, 10 ermitteln. Folglich kann ebenfalls von einer korrekten Funktionsweise der Kameraanordnung 2 ausgegangen werden.
Bei einer Übereinstimmung der Farbe und bei einer unterschiedlichen erkannten Position der Signalgeber 12, 14 der Lichtsignalanlage 4 kann hingegen von dem Steuergerät 8 eine Unstimmigkeit bei der Erkennung des Schaltzustands der Lichtsignalanlage 4 festgestellt werden. Hierbei liegt eine Fehlfunktion vor, sodass diese Funktion des Fahrzeugs 1 beispielsweise deaktiviert wird.
Bezugszeichenliste
1 Fahrzeug
2 Kameraanordnung
4 Lichtsignalanlage
5 Gehäuse der Lichtsignalanlage
6 erste Kamera
8 Steuergerät
10 zweite Kamera
12 aktivierter Signalgeber
14 deaktivierter Signalgeber
A1 Abtastbereich der ersten Kamera
A2 Abtastbereich der zweiten Kamera

Claims

Ansprüche
1. Verfahren zum Plausibilisieren einer Funktionsfähigkeit einer
Kameraanordnung (2) mit mindestens zwei Kameras (6, 10) zum Ermitteln eines Schaltzustands einer Lichtsignalanlage (4) durch ein Steuergerät (8), wobei
ein erster Schaltzustand der Lichtsignalanlage (4) basierend auf
Messdaten einer ersten Kamera (6) ermittelt wird,
ein zweiter Schaltzustand der Lichtsignalanlage (4) basierend auf
Messdaten von mindestens einer zweiten Kamera (10) ermittelt wird, und
der erste Schaltzustand und der zweite Schaltzustand dazu eingesetzt werden eine Funktionsfähigkeit der Kameraanordnung (2) zu plausibilisieren.
2. Verfahren nach Anspruch 1 , wobei der erste Schaltzustand und/oder der zweite Schaltzustand der Lichtsignalanlage (4) durch Ermitteln einer
Signalgeberposition innerhalb eines Gehäuses (5) der Lichtsignalanlage (4), einer Signalgeberfarbe und/oder einer Signalgeberform festgestellt werden.
3. Verfahren nach Anspruch 2, wobei die Fehlfunktion der
Kameraanordnung (2) erkannt wird, wenn anhand der Messdaten der ersten Kamera (6) und der zweiten Kamera (10) unterschiedliche Farben des mindestens einen Signalgebers (12, 14) ermittelt werden und/oder wenn anhand der Messdaten der ersten Kamera (6) und der zweiten Kamera (10) gleiche Positionen und unterschiedliche Farben des mindestens einen Signalgebers (12, 14) ermittelt werden.
4. Verfahren nach Anspruch 2 oder 3, wobei die Fehlfunktion der
Kameraanordnung (2) erkannt wird, wenn anhand der Messdaten der ersten Kamera (6) und der zweiten Kamera (10) unterschiedliche Positionen und gleiche Farben des mindestens einen Signalgebers (12, 14) ermittelt werden.
5. Verfahren nach einem der Ansprüche 2 bis 4, wobei die Position des mindestens einen Signalgebers (12, 14) relativ zur Lichtsignalanlage (4) oder relativ zur Kameraanordnung (2) ermittelt wird.
6. Verfahren nach einem der Ansprüche 2 bis 5, wobei die Position des
mindestens einen Signalgebers (12, 14) und der entsprechenden Farbe des jeweiligen Signalgebers (12, 14) der Lichtsignalanlage (4) aus einer
Datenbank von dem Steuergerät (8) empfangen werden.
7. Verfahren nach einem der Ansprüche 1 bis 6, wobei die erste Kamera (6) als eine Fernbereichskamera und die mindestens eine zweite Kamera (10) als eine Nahbereichskamera ausgeführt sind.
8. Verfahren nach einem der Ansprüche 1 bis 7, wobei die
Kameraanordnung (2) relativ zur Lichtsignalanlage (4) bewegt wird, wobei der mindestens eine Signalgeber (12, 14) der Lichtsignalanlage (4) anhand der Messdaten der ersten Kamera (6) in seiner Position relativ zur
Kameraanordnung (2) verfolgt wird.
9. Verfahren nach einem der Ansprüche 1 bis 8, wobei basierend auf einer Plausibilisierung der Funktionsfähigkeit der Kameraanordnung (2)
mindestens ein Signal und/oder mindestens ein Steuerbefehl durch das Steuergerät (8) erzeugt und versendet werden.
10. Steuergerät (8) zum Auswerten von Messdaten von mindestens zwei
Kameras (6, 10) einer Kameraanordnung (2), wobei das Steuergerät (8) dazu eingerichtet ist, das Verfahren gemäß einem der vorhergehenden Ansprüche auszuführen.
11. Fahrzeug (1) mit mindestens einer Kameraanordnung (2), wobei die
Kameraanordnung (2) mindestens zwei Kameras (6, 10) zum Erkennen von Schaltzuständen von Lichtsignalanlagen (4) aufweist und mit einem
Steuergerät (8) gemäß Anspruch 10 verbindbar ist.
12. Computerprogramm, umfassend Befehle, die bei der Ausführung des
Computerprogramms durch ein Steuergerät (8) diesen veranlassen, ein Verfahren gemäß einem der Ansprüche 1 bis 9 auszuführen.
13. Maschinenlesbares Speichermedium, auf welchem das Computerprogramm gemäß Anspruch 12 gespeichert ist.
PCT/EP2020/057305 2019-03-18 2020-03-17 Detektion von fehlfunktionen der schaltzustandserkennung von lichtsignalanlagen Ceased WO2020187917A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080022220.8A CN113924602B (zh) 2019-03-18 2020-03-17 光信号系统切换状态识别的功能错误检测
US17/479,264 US12462681B2 (en) 2019-03-18 2021-09-20 Detection of malfunctions of the switching state detection of light signal systems

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019106844.4 2019-03-18
DE102019106844.4A DE102019106844B4 (de) 2019-03-18 2019-03-18 Detektion von Fehlfunktionen der Schaltzustandserkennung von Lichtsignalanlagen

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/479,264 Continuation US12462681B2 (en) 2019-03-18 2021-09-20 Detection of malfunctions of the switching state detection of light signal systems

Publications (1)

Publication Number Publication Date
WO2020187917A1 true WO2020187917A1 (de) 2020-09-24

Family

ID=69846124

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/057305 Ceased WO2020187917A1 (de) 2019-03-18 2020-03-17 Detektion von fehlfunktionen der schaltzustandserkennung von lichtsignalanlagen

Country Status (4)

Country Link
US (1) US12462681B2 (de)
CN (1) CN113924602B (de)
DE (1) DE102019106844B4 (de)
WO (1) WO2020187917A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022200746A1 (de) 2022-01-24 2023-07-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Ermittlung eines Signalzustandes einer Lichtsignalanlage

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012023867A1 (de) * 2012-12-06 2014-06-12 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verkehrsampelerkennung
US20150210275A1 (en) * 2014-01-30 2015-07-30 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signal details
DE102015224112A1 (de) * 2015-12-02 2017-06-08 Bayerische Motoren Werke Aktiengesellschaft System zur Beeinflussung von Fahrzeugsystemen durch Berücksichtigung relevanter Signalgeber

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006010295B4 (de) 2006-03-07 2022-06-30 Conti Temic Microelectronic Gmbh Kamerasystem mit zumindest zwei Bildaufnehmern
US8620032B2 (en) 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
DE102012108863A1 (de) 2012-09-20 2014-05-28 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung eines Ampelzustands mittels einer Kamera
DE102012025270A1 (de) 2012-12-21 2013-08-01 Daimler Ag Kamerasystem für einen Kraftwagen und Verfahren zum Mischen von zumindest zwei Bildsequenzen
US10179543B2 (en) * 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
DE102013102207A1 (de) 2013-03-06 2014-09-11 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
US8988509B1 (en) * 2014-03-20 2015-03-24 Gopro, Inc. Auto-alignment of image sensors in a multi-camera system
JP2016053748A (ja) * 2014-09-02 2016-04-14 株式会社デンソー 運転支援装置および運転支援方法
DE102014014778A1 (de) 2014-10-04 2015-04-02 Daimler Ag Kamera und Fahrzeug mit einer Kamera
DE102014224795A1 (de) * 2014-12-03 2016-06-09 Conti Temic Microelectronic Gmbh Verfahren und System zum Darstellen einer Fahrzeugumgebung eines Kraftfahrzeuges auf einer im Kraftfahrzeug angeordneten Anzeigevorrichtung
JP6552064B2 (ja) * 2017-03-31 2019-07-31 株式会社Ｓｕｂａｒｕ 車両の走行制御システム
CN109120916B (zh) * 2017-06-22 2020-06-05 杭州海康威视数字技术股份有限公司 摄像机故障检测方法、装置及计算机设备
US11520345B2 (en) * 2019-02-05 2022-12-06 Nvidia Corporation Path perception diversity and redundancy in autonomous machine applications
US11854212B2 (en) * 2020-02-26 2023-12-26 Motional Ad Llc Traffic light detection system for vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012023867A1 (de) * 2012-12-06 2014-06-12 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verkehrsampelerkennung
US20150210275A1 (en) * 2014-01-30 2015-07-30 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signal details
DE102015224112A1 (de) * 2015-12-02 2017-06-08 Bayerische Motoren Werke Aktiengesellschaft System zur Beeinflussung von Fahrzeugsystemen durch Berücksichtigung relevanter Signalgeber

Also Published As

Publication number Publication date
US20220004786A1 (en) 2022-01-06
DE102019106844B4 (de) 2024-07-25
CN113924602A (zh) 2022-01-11
DE102019106844A1 (de) 2020-09-24
US12462681B2 (en) 2025-11-04
CN113924602B (zh) 2025-09-16

Similar Documents

Publication Publication Date Title
DE102007025373B3 (de) Visuelle Überwachung mit Entfernungsbestimmung und Plausibilitätsprüfung anhand von Bildgrößen
EP3329462B1 (de) Verfahren zum identifizieren eines objekts in einem umgebungsbereich eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
EP2793045B1 (de) Verfahren zur Überprüfung eines Umfelderfassungssystems eines Fahrzeugs
DE102016219455B4 (de) Verfahren und aktive Infrastruktur zur Überprüfung einer Umfelderfassung eines Kraftfahrzeugs
DE102019008316A1 (de) Verfahren zur Objekterkennung und Abstandsbestimmung
EP2867093B1 (de) Verfahren und system zur informationsnutzung
EP2544936A1 (de) Verfahren zur bestimmung einer fahrzeugaufbaubewegung
DE102017206123A1 (de) Verfahren und Vorrichtung zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung
DE102018101686B3 (de) Verfahren zur Erkennung von Pixelelementzuständen eines Matrixscheinwerfers eines Matrixscheinwerfersystems
EP3727936A1 (de) Verfahren zum erkennen von zumindest einem an einem kraftfahrzeug anliegenden objekt sowie steuervorrichtung und kraftfahrzeug
DE102010049216A1 (de) Verfahren zum Betrieb einer an einem Fahrzeug angeordneten Kamera
EP4352538A1 (de) Verfahren und vorrichtung zur detektion einer dekalibrierung eines sensors zur erfassung der umgebung eines fahrzeugs
DE102015223500B4 (de) Verfahren und Vorrichtung zur Prüfung der Funktionalität einer außenseitigen Lichteinrichtung eines Fahrzeugs
WO2020187917A1 (de) Detektion von fehlfunktionen der schaltzustandserkennung von lichtsignalanlagen
DE102018006503A1 (de) Digitale Karte
DE102014008100A1 (de) Fahrzeug mit einer Vorrichtung zur Unterstützung eines Fahrers beim Führen des Fahrzeugs
DE102017007958A1 (de) Fahrerassistenzsystem für ein Fahrzeug und Fahrzeug mit einem solchen Fahrerassistenzsystem
DE102016003116A1 (de) Verfahren zum Betreiben eines Fahrwerks eines Kraftfahrzeugs
EP4046955A1 (de) Verfahren zur kollisionsfreien bewegung eines krans
EP4074026A1 (de) System zur überwachung der umgebung eines kraftfahrzeuges
WO2018033274A1 (de) Verfahren und vorrichtung zur hinderniserkennung durch landmarken
EP2131308A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines in mindestens einem Bild einer Abbildung eines Bereichs vor einem Fahrzeug detektierten Objekts
DE102020117870B4 (de) Fahrzeug
EP3399379B1 (de) Sensoranordnung
DE102022204776B3 (de) Verfahren zum Lokalisieren eines Fahrzeuges innerhalb eines SAR-Bildes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20712320

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20712320

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 202080022220.8

Country of ref document: CN