Verkehrsmittel mit einer 3D-Entfernungsbildkamera und Verfahren zu dessen Betrieb
Die vorliegende Erfindung betrifft ein Verkehrsmittel mit einer 3D-Entfernungsbildkamera und ein Verfahren zum Aufbau und Betreiben der 3D-Entfemungsbildkamera in Verkehrsmitteln, insbesondere Kraftfahrzeugen, beispielsweise zur Fahrregelung und für sicherheitsrelevante Reaktionen des Verkehrsmittels.
Insbesondere ist das erfindungsgemäße Verfahren bzw. die erfindungsgemäße Vorrichtung geeignet zur Anwendung in Kraftfahrzeugen als Bremsassistent, Schadensreduzierungssystem, Closing Velocity-Sensorik, vorzugsweise als Aufprallerkennung im Frontbereich, der Seite und/oder am Heck, Unfallvermeidung, Fußgängerschutz, Stop-and-Go- bzw. Stauassistent,
Einparkhilfe, beispielsweise Parklückenvermessung, Parkassistent und/oder autonomes Einparken. Weiterhin kann die Erfindung vorteilhaft eingesetzt werden zur Totwinkeluberwachung, als Spurverlassungswamsystem, Spurwechselassistent, insbesondere mit Totwinkeluberwachung und/oder Spurlageerkennung, Spurhalteassistent, Überschlags- und/oder Nickwinkelerkennung. Femer kann mit Vorteil ein Einsatz der Erfindung bei Night Vision, zur Straßenzustandserkennung, als Türstopper, zur Verkehrszeichenerkennung, als Lichtsensor, Wettersensor, Befahrbarkeitssensor und/oder zur Andockhilfe oder Rückfahrhilfe vorgesehen sein.
Bei den unterschiedlichen Einsatzmöglichkeiten der Erfindung müssen jeweils die nachfolgenden wesentlichen Anforderungen bzw. Zwecke zumindest teilweise erfüllt sein. Beim Bremsassistent soll die Vorkonditionierung des Bremssystems bei Erkennung einer Gefahrensituation zur Reduzierung der Systemreaktionszeit erfolgen, z.B. durch Aufbau des Bremsdruckes im hydraulischen System und/oder Anlegen der Bremsbeläge.
Beim Schadensreduzierungssystem soll der Eingriff des Systems bei Erkennung einer nicht mehr abwendbaren Kollision erfolgen. Beispielsweise die Abbremsung des Fahrzeugs zur Re- duzierung des Schadens und der Verletzungsgefahr und/oder die Aktivierung von Rückhaltesystemen. Desweiteren kann der Beladungszustand des Fahrzeuges und die Fahrbahnbeschaffenheit für die Klassifizierung einer nicht mehr abwendbaren Kollision herangezogen werden so dass sich der Reaktions- bzw. Eingriffszeitpunkt des Systems dynamisch anpasst.
Bei der Closing Velocity-Sensorik soll die Front-, Seiten- oder Heckaufprallerkennung, insbe- sondere die Messung der Annäherungsgeschwindigkeit und des Auftreffzeitpunktes eines Objektes zur Einleitung geeigneter Schutzmaßnahmen und/oder Anpassung von Crashparametern zur genaueren Klassifizierung des möglichen Unfallgeschehens und/oder Konditionierung der vorhandenen Sicherheitssysteme und/oder Betätigung der reversiblen Rückhaltesysteme erfolgen.
Bei Systemen zur Unfallvermeidung ist die Nutzung der 3D-lnformation der Umgebung gewollt, um durch Eingriffe in die Längs und Querregelung des Fahrzeugs Unfälle durch Abbremsen oder durch Ausweichmanöver möglichst zu vermeiden oder in ihren Auswirkungen zu reduzieren. Beim Fußgängerschutz soll die Detektion drohender Kollisionen mit Fußgängern erfolgen, um Maßnahmen zur Vermeidung schwerwiegender Verletzungen zu treffen. Ferner vorzugsweise auch eine Detektion zum Schutz aller schwächeren Verkehrsteilnehmer erfolgen, wie z.B. Radfahrer oder Motorradfahrer.
Beim Einsatz als Stop-and-Go- bzw. Stauassistent soll ein PMD-basierender S&G-Stauassistent dazu dienen, den Fahrer speziell in einem Verkehrsstau zu entlasten. Er soll ferner einen möglichst automatischen Folgebetrieb im niedrigsten Geschwindigkeitsbereich ermöglichen.
Bei Nutzung der Erfindung als Einparkhilfe liegt der Zweck in der Parklückenvermessung, insbesondere der Vermessung der Länge, Breite und gegebenenfallsfalls Höhe einer Parklücke und Meldung einer potentiellen Einparkmöglichkeit an den Fahrer. Beim Parkassistent erfolgt die Vermessung der Parklücke und der eigenen Relativposition, um dem Fahrer eine Empfehlung für einen optimalen Einparkvorgang zu geben. Beim autonomen Einparken erfolgt ein selbständiges Einparken des Fahrzeuges durch eine entsprechende Sensorik in Verbindung mit einer Längs- und Querregelung des Fahrzeuges.
Bei der Totwinkeluberwachung ist die Anzeige von Fahrzeugen im toten Winkel bei Erkennen einer Spurwechselabsicht erforderlich (ISO/TC204/WG14/PWI14.5 Side Obstacle).
Beim Spurverlassungswamsystem wird ein System zum Erkennen eines unbeabsichtigten Ver- lassens der Fahrspur benötigt. Beispielsweise durch Vermessung der Ablage bzw. des Versatzes des Fahrzeuges zur Fahrspur und nachfolgender Warnung (akustisch, haptisch, kinesta- tisch) an den Fahrer gemäß Vorschriften (ISO/TC204/WG14/NP17361 - Lane Departure War- ning System).
Als Einsatz als Spurwechselassistent soll die Totwinkeluberwachung und/oder Spurlageerkennung durch Überwachung des toten Winkels und des rückwärtigen Annäherungsbereiches zur Unterstützung des Fahrers beim Spurwechsel erfolgen. Die Spurwechselabsicht wird mit Hilfe der Spurlageerkennung ermittelt und/oder gegebenenfalls aus einer Blinkerbetätigung. Beim Spurhalteassistent wird ein System zur aktiven Unterstützung des Fahrers bei der Spurhaltung mit moderatem Lenkeingriff benötigt.
Bei der Überschlagserkennung soll die Berechnung der Lage des Fahrzeugs aus der Topographie der Umgebung und damit Erkennung oder Prognostizierung eines Überschlages erfolgen.
Bei der Nickwinkelerkennung soll der Nickwinkel zur Fahrwerksregulierung, Lichtweitenregulie- rung oder zur Beurteilung der Justierung des Sensors selbst ermittelt werden.
Bei der Night Vision ist ein Erkennen von relevanten Objekten, insbesondere von Hindernissen in der Fahrspur im Dunkeln erforderlich, unter Umständen verbunden mit einer Warnfunktion.
Bei der Straßenzustandserkennungsoll eine Erkennung von Bodenunebenheiten, Schwellen möglich sein, insbesondere auch in Tempo-30-Zonen. Beim Einsatz als Türstopper soll eine Erkennung von Objekten im Öffnungsbereich von Türen, Heckklappen, Laderampen etc. erfolgen, um deren Bewegungsbereich zu begrenzen und daraus resultierende Beschädigungen zu vermeiden.
Bei der Verkehrszeichenerkennung soll eine verbesserte Detektion von Verkehrszeichen durch die Unterscheidung von Hintergrund und/oder die Erkennung von Fahrbahnmarkierungen oder -begrenzungen (z.B. Pylonen) möglich sein, insbesondere in Baustellenbereichen.
Beim Lichtsensor soll die Nutzung der Umgebungsinformation zur Beurteilung der Beleuchtungsanforderungen, z.B. aufgrund einer Beurteilung der Gefahrensituation, insbesondere bei Erkennung von Tunneleingängen, Parkhäusern etc. erfolgen.
Beim Einsatz der Erfindung als Wettersensor soll die gleichzeitige Erkennung der Beleuch- tungssituation und evtl. vorhandener Niederschläge erfolgen. Die Klassifikation der Niederschläge nach Regen, Hagel oder Schnee aufgrund der Größe, Flugbahn etc. soll ebenso möglich sein wie die Abschätzung der Seitenwindverhältnisse aufgrund der Flugbahn der Niederschläge.
Als Befahrbarkeitssensor soll die Erkennung und Beurteilung der Befahrbarkeit eines Umgebungsabschnittes auf Basis der 3D- Information erfolgen, insbesondere die Beurteilung der Durchfahrtsmöglichkeit nach Breite oder Höhe. Weiter soll eine Beurteilung der Bodenunebenheiten im Vergleich mit der vorhandenen Bodenfreiheit des Fahrzeugs möglich sein.
Der Einsatz der Erfindung als Andockhilfe soll ein genaues Anhalten an Servicestationen, z.B. zur automatischen Betankung, Drive-In-Restaurants und für gewerbliche Fahrzeuge an Laderampen ermöglichen. Schließlich sollen das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung optional auch als Rückfahrhilfe zur Unterstützung des Fahrers bei Rückwärtsfahrt, zur Erkennung von Objekten bzw. Hindernissen und zur Warnung bzw. Eingriff in die Fahrzeugregelung einsetzbar sein.
Aus dem Stand der Technik ist es bereits bekannt, dass die Detektion von Objekten im Umfeld von Verkehrsmitteln, insbesondere Kraftfahrzeugen, mit Hilfe von Radar, Lidar, Laserscannern, Triangulationssystemen, Ultraschall oder 2D-Kameras erfolgen kann. Einzig mit Hilfe von Stereokameras ist es derzeit möglich, hochaufgelöste Entfernungsbilder in Echtzeit zu gewinnen. 3D-Kameras, die nach dem Laserlaufzeit-Verfahren arbeiten, befinden sich derzeit noch im Entwicklungsstadium. Sie werden zwar vereinzelt in Industrieanwendungen eingesetzt, haben bisher aber noch keine Verwendung in der Fahrzeugtechnik gefunden.
Derartige 3D-Kamerasysteme sind beispielsweise auf Basis photoempfindlicher Elemente denkbar, bei denen durch eine Beleuchtungsquelle, bspw. eine Infrarot-Quelle modulierte Lichtwellen emittiert und die Reflexionen aus dem Umfeld erfasst werden, wobei durch Autokorrelation zwischen ausgesendeter und empfangener Welle die Entfernung zu Objekten im Umfeld und damit die Entfernungsinformation erforderlichenfalls pixelgenau abgeleitet werden kann. Diese Sensoren sind als PMD aus der WO98/10255 grundsätzlich bekannt.
Die anderen aufgeführten Verfahren haben den Nachteil, dass sie entweder nicht echtzeitfähig sind oder aber nur die Entfernungsprofile einzelner Schnittebenen im Raum wiedergeben können, so dass nicht die komplette, beobachtete Szene als 3D-lnformation zur Verfügung steht. Die Folge davon ist eine mangelnde Robustheit der Objektdetektion bzw. der Entfernungsinformation. Im Hinblick auf Sicherheitsanwendungen ist dies nicht tolerierbar, so dass nach besseren Lösungen gesucht werden muss. Insbesondere Anwendungen, die den fließenden Verkehr beobachten und auswerten, sind auf eine robuste Objektdetektion angewiesen. Es muss auf Basis der Sensorinformation unterschieden werden können, welche Art von Objekt sich im Um- feld des eigenen Kfz befindet, um entsprechende Maßnahmen zur Vermeidung von Kollisionen treffen zu können.
Existierende Systeme zur Darstellung der Funktion nutzen in der Regel Daten von gewöhnlichen Kameras die einen Bildverarbeitungsalgorithmus durchlaufen haben und/oder Daten von ent- fernungsmessenden Systemen. Für sicherheitsrelevante Funktionen wird es notwendig sein, nicht nur die relative Lage von Objekten im Raum bestimmen zu können, d.h. die Entfernung und Richtung zum Fahrzeug. Es wird ebenso nötig sein, zur Beurteilung der Relevanz eine Objektklassifizierung vornehmen zu können. Während die relative Lage im Raum von entfer- nungsmessenden Sensoriken erfasst wird, erhält man die Objektklassifikation aus der Bildauswertung von Kamerasystemen, die die dazu notwendige laterale Auflösung bieten. Für eine In- terpretation der Daten wird es im Anschluß allerdings notwendig, die Ergebnisse der beiden Sensorsysteme zu fusionieren. Diese Datenfusion stellt einen beträchtlichen Mehraufwand und ein gewisses Restrisiko in der Auswertung dar.
Beim Spurverlassungswarnsystem oder Spurhalteassistent sind beispielsweise Systeme, die vor dem unbeabsichtigten Verlassen der Fahrspur warnen, bereits im Gebrauch. Sie nutzen die Bildinformation einer Kamera um den Strassenverlauf zu erfassen und zu verfolgen. Zur Ermittlung der Spurlage wurden auch schon Infrarot-Scanner entwickelt, die den seitlichen Bereich neben dem Fahrzeug nach weißen Linien abtasten.
Gemeinsam ist diesen Systemen dass sie ausschließlich auf die weiße Fahrbahnmarkierung reagieren. Sollte diese aus Altersgründen einen schlechten Kontrast aufweisen oder gar nicht vorhanden sein, würde die Verfügbarkeit derartiger Systeme deutlich eingeschränkt. Sind die Markierungen aufgrund von Verschmutzungen bzw. wetterbedingt (Wasser/Schnee) verdeckt oder gar nicht vorhanden, wird die Verfügbarkeit derartiger Systeme deutlich eingeschränkt.
Bei der Night Vision werden bisher Infrarotkameras (2D) zur Verbesserung der Darstellung, d.h. des Kontrastes des vom Fahrer in der Nacht beobachteten Bildes genutzt.
Es ist die Aufgabe der vorliegenden Erfindung, die obigen Nachteile zu vermeiden und ein geeignetes Verkehrsmittel bzw. Verfahren zu schaffen. Zur Lösung der Aufgabe wird erfindungsgemäß vorgeschlagen, zur Gewinnung von Informationen über das Umfeld des Verkehrsmittels eine oder mehrere 3D-Kameras am Verkehrsmittel, insbesondere Fahrzeug, anzubringen bzw. durch ein Verkehrsmittel mit einer oder mehreren von derartigen 3D-Kameras. Die Kamera ist dabei insbesondere als 3D-Entfemungsbildkamera ausgebildet. Weiterbildungen und besondere Einsatzmöglichkeiten der Erfindung sind in der nachfolgenden Beschreibung aufgeführt.
Die Erfindung hat viele Vorteile. Beispielsweise ist der Schritt der oben beschriebenen Datenfusion bei den Daten einer 3D-Entfemungsbildkamera nicht mehr notwendig. Die Zuordnung der Entfernungs- und der Bilddaten existiert bereits für jedes Pixel.
Maßgeblich für den Großteil der angeführten Applikationen sind die Fähigkeiten des 3D-Sensors bzw. der Kamera, die Detektion von Objekten wesentlich zu verbessern durch die Abhebung vom Hintergrund in der 3D Sicht. Ferner kann man die Klassifikation deutlich zu verbessern durch die erhöhte Anzahl und Qualität der Merkmale, die dafür zur Verfügung stehen. Es wird möglich sein, die Befahrbarkeit der Umgebung zu beurteilen aufgrund der Bodenverhältnisse. Oder von zur Verfügung stehenden Durchfahrtsmöglichkeiten entsprechend ihrer Breite und Höhe. Dies wird möglich, da mit einem 3D-Sensor eine wesentlich höhere Genauigkeit bei der Bestimmung der Position und Ausdehnung von Objekten erreichbar ist. Es wird erfindungsgemäß möglich, kleinere Objekte aufzulösen und getrennt zu detektieren, laterale Geschwindigkeitsmessungen mit erhöhter Genauigkeit durchzuführen und sie damit in die Beurteilung der Gesamtsituation mit einzubeziehen, z.B. bei Ausweichmöglichkeiten, drohenden Kollisionen etc. Grundsätzlich können die genannten Applikationen aber natürlich unter Inkaufnahme der beschriebenen Nachteile grundsätzlich auch mit einer konventionellen 2D-Kamera oder einem herkömmlichen 3D-System mittels Stereokamera oder Kamera und Entfernungsmessern realisiert werden.
Die Einbauorte bzw. Erfassungsbereiche der Kamera in dem Verkehrsmittel sollen dabei insbe- sondere an die zu lösenden Wahrnehmungsaufgaben angepasst sein. In der nachfolgenden Tabelle sind bevorzugte Einbauorte bzw. Erfassungsbereiche der 3D-Kameras für die verschiedenen Einsatzgebiete der vorliegenden Erfindung beispielhaft anhand eines Kraftfahrzeuges dargestellt. In Klammern gesetzte Nummern geben dabei weniger wichtige, aber dennoch mögliche Bereiche bzw. Einbauorte an.
In Fig. 1 sind die entsprechenden Erfassungsbereiche und damit bevorzugten Einbauorte der 3D-Kameras in einem Kraftfahrzeug gemäß der obigen Tabelle dargestellt.
Die 3D-Kamera zeichnet sich dadurch aus, dass sie sowohl ein Grauwertbild liefert als auch ein Entfernungsbild. Mit Hilfe einer 3D-Kamera wird die benötigte Robustheit der Entfernungsmessung und Objektdetektion erreicht.
Das Gesichtsfeld der Kamera kann mit geeigneten Optiken der Aufgabenstellung angepasst werden. Gleichermaßen lässt sich die Auflösung der Kamera über die Anzahl und Verteilung der Pixel des verwendeten 3D-Bildaufnehmers anpassen, so dass eine angemessene Aufnahme von Voxelinformation der beobachteten Szene ermöglicht wird.
Für spezielle Aufgabenstellungen, die eine Beobachtung der Fahrbahn erfordern, kann die 3D- Kamera auch senkrecht oder nahezu senkrecht nach unten ausgerichtet sein.
Wesentlicher Vorteil einer 3D-Kamera im Vergleich zu anderen Systemen ist die Eigenschaft der Pixel des Bildaufnehmers, sowohl die Entfernungsinformation als auch die zum selben Pixel gehörende Grauwertinformation simultan oder nahezu simultan bereitstellen zu können.
Dies ermöglicht eine Szenenauswertung, die auf zwei voneinander unabhängigen Bildinformationen beruht. Beide Bildinformationen können erst einmal unabhängig voneinander verarbeitet werden (dies betrifft beispielsweise die Verfahren zur Filterung, der Kantendetektion sowie der Mustererkennung), Danach lässt sich in einem weiteren Plausibilisierungschritt, der Datenfusion, die Robustheit der Objekterkennung wesentlich steigern.
Die von der Kamera gewonnenen Daten werden in einer Bildauswerteeinheit weiterverarbeitet. Entfernungsdaten, Grauwertdaten, Farbdaten und Objektdaten werden für Eingriffe in das Fahrzeug (Bremse, Lenkung, Gas, Getriebe, Sicherheitssysteme etc.) verwendet.
Maßgeblich für den Großteil der angeführten Applikationen sind die Fähigkeiten des 3D-Sensors die Detektion von Objekten wesentlich zu verbessern durch die Abhebung vom Hintergrund in der 3D Sicht, die Klassifikation deutlich zu verbessern durch die erhöhte Anzahl und Qualität der Merkmale die dafür zur Verfügung stehen, d.h. eine Merkmalsextraktion und Objektdetektion anhand der 3D-Bilddaten vorzunehmen. Es wird insbesondere möglich sein, die Befahrbarkeit der Umgebung zu beurteilen aufgrund des Straßenzustandes oder von zur Verfügung stehen- den Durchfahrtsmöglichkeiten entsprechen ihrer Breite und Höhe. Dies wird möglich, da mit einem 3D-Sensor eine wesentlich höhere Genauigkeit bei der Bestimmung der Position und Ausdehnung von Objekten erreichbar ist. Darüber hinaus können Objektschwerpunkte aus den 3D-Daten gebildet werden.
Es wird möglich, kleinere Objekte aufzulösen und getrennt zu detektieren, laterale Geschwindig- keitsmessungen mit erhöhter Genauigkeit durchzuführen und sie damit in die Beurteilung der Gesamtsituation mit einzubeziehen, z.B. bei der Beurteilung von Ausweichmöglichkeiten, drohenden Kollisionen etc. Mit der feineren Auflösung wird eine Extraktion von „Minimum Distance" Informationen aus den 3D-Bildern als Steuergröße für die Fahrzeugeingriffe möglich. Auf Basis der 3D-Bilddaten, gestützt durch die entsprechende, mit deckungsgleichen Pixeln ermittelte Grauwertinformation, kann eine Freiraumanalyse durchgeführt werden. Eine Bewegungsdetekti- on kann auf Basis der 3D-Bilder mehrachsig in allen Raumrichtungen ausgeführt werden.
Grundsätzlich können die genannten Applikationen aber natürlich unter Inkaufnahme der beschriebenen Nachteile grundsätzlich auch mit einer konventionellen 2D-Kamera oder einem herkömmlichen 3D-System mittels Stereokamera oder Kamera und Entfernungsmessern reali- siert werden.
Beim Fußgängerschutzerfolgt erfolgt beispielsweise die Nutzung der 3D-lnformation zur Verbesserung der Klassifikation, der Abschätzung von Größe und Gewicht, der Position und des Bewegungsvektors und zur Unterscheidung von Tieren.
Bei Stop-and-Go bzw. beim Stauassistenten erfolgt eine wesentliche Verbesserung der Positi- onsbestimmung und des Bewegungsvektors, der Ausdehnung, von Durchfahrtsbreiten und Höhen, Differenzierung von kleineren Objekten, Erfassung der genauen Oberfläche von vorausfah-
renden Fahrzeugen, insbesondere bei herausragenden Gegenständen wie Stangen oder hoch liegenden LKW's, die Zuordnung von Hindernissen oder Fahrzeugen zur Fahrspur durch gleichzeitige Detektion der Fahrbahnmarkierungen, Unterscheidung von relevanten Objekten (Fußgänger) von nicht relevanten Objekten (Tieren), Erkennung und Korrektur des Nickwinkelein- flusses zur Vermeidung von Fehlreaktionen
Bei der Einparkhilfe, also insbesondere der Parklückenvermessung, dem Parkassistenten und/oder dem autonomen Einparken kann die Nutzung der 3D- Information für eine umfassendere Beurteilung erfolgen, z.B. nicht nur gemäß der Länge, sondern auch der Breite und Höhe der Parklücke. Außerdem besteht die Möglichkeit der Erkennung von kleineren Hindernissen. Bei der Totwinkeluberwachung erfolgt eine Erkennung von relevanten Objekten. Ihre Klassifizierung sowie die Bestimmung der Position und des Bewegungsvektors ist wesentlich präziser möglich als mit einer 2D-Sensorik.
Beim Spurverlassungswamsystem liegt die Idee darin, die zusätzliche 3D-lnformation zu nutzen, um den Fahrbahnverlauf zu detektieren oder auf Plausibilität zu überprüfen. Entsprechend nutz- bare Daten könnten z.B. Leitplanken darstellen, Leitpfosten, Fahrbahnränder wie Randsteine, Bewuchs, Böschungen, Gräben oder die Ebenheit bzw. Beschaffenheit der Fahrbahn selbst. So lässt sich durch eine Auswertung der Topographie der Fahrzeugumgebung unter Umständen schon auf den einzig möglichen Verlauf der Fahrbahn schließen. Die 3D-lnformation bereits einer einzigen Zeile ermöglicht über die Zeit die Erstellung eines „Höhenprofils". Unter der An- nähme, dass die Fahrbahn eben ist, der Rand hingegen versenkt (Straßengraben) oder erhöht (z.B. Leitplanken, Pfosten, Bewuchs), kann die Fahrbahn erkannt werden. Nutzung von speziellen Fahrbahnmarkierungen bzw. Begrenzungen, insbesondere in Baustellenbereichen (Pylone).
Für den Einsatz der Erfindung beim Spurwechselassistenten gelten die oben zur Totwinkeluberwachung und/oder dem Spurverlassungswamsystem getroffenen Aussagen.
Beim Spurhalteassistent kann auf der Basis derselben Informationen wie beim Spurverlassungswamsystem das Fahrzeug aktiv in der Spur quergeführt werden. Dies lässt sich erweitern auf Durchfahrtssituationen, wo dem Fahrer eine aktive Führungsunterstützung geboten werden kann, z.B. zwischen Mauern in engen Durchfahrten, in Garagen oder in Mautstationen, um das Fahrzeug automatisch durchzuführen bzw. vor zu engen Passagen zu warnen.
Bei der Nickwinkelerkennung ermöglicht ein 3D-Bildsensor die Bestimmung der Distanz zwischen Sensor und Fahrbahn auf dem Sehstrahl. Dabei wird das Dreieck aus Sensor-Höhe, Sehstrahl und Fahrbahn zur Winkelberechnung verwendet. Diese Bestimmung wird vorzugsweise im Nahbereich durchgeführt, wo Fahrbahnneigungen noch wenig Einfluß auf den resultieren- den Winkel haben.
Damit lassen sich Fehlreaktionen bekannter Systeme auf vertikale Strassenkrümmungen oder hoch liegende Hindernisse (Brücken) ausschließen.
Bei der Night Vision stellt die 3D-lnformation ein wichtiges Hilfsmittes zur Beurteilung der Relevanz eines Objektes dar. Der Sensor ist damit selbst in der Lage, die Relevanz und die damit verbundene Gefahr abzuschätzen und eine angemessene Warnstrategie einzuleiten.
Die besonderen Vorteile der Erfindung liegen in der Bereitstellung einer robusten Szeneninformation. Die 2D-Bildinformation wird simultan mit der 3D-Szeneninformation gewonnen. Dadurch wir der Aufwand an Nachverarbeitung und Auswertung minimiert und die Szenendaten stehen in Echtzeit zur Verfügung. Durch die Verwendung einer 3D-Kamera wird die Klassifikation von Objekten innerhalb der Szene auch auf Basis von Entfernungsinformation möglich. Bisherige Systemansätze auf Basis von Radar, Lidar oder Ultraschall vermögen dies nicht zu leisten.
Der Einsatz einer 3D-Kamera kann für verschiedene Entfemungsbereiche erfolgen. Bildausschnitte können durch Verwendung von Zoom-Objektiven den jeweiligen Erfordernissen ange- passt werden. Somit sind auch variable Gesichtsfelder bei der Objektdetektion möglich.
Empfindlichkeit und Auflösung können den Erfordernissen in unterschiedlichen Gesichtsfeldern angepasst werden durch eine entsprechend gewählte Pixelarchitektur.
Im Gegensatz zu Stereoansätzen ist es mit 3D-Entfernungsbildka-meras möglich, zwischen wahren und scheinbaren Objekten zu unterscheiden. Scheinbare Objekte sind z.B. Straßenmar- kierungen, Reflektoren auf der Straße u.a.. Sie werden z.B. von Bildverarbeitungsalgorithmen als Objekte detektiert, obwohl es sich nicht um räumlich ausgedehnte Objekte handelt. Entfernungsbildkameras sind in der Lage, dies einfach zu erkennen.
Beim Spurverlassungswamsystem besteht der Vorteil der Umgebungserfassung mittels einer 3D-Entfernungsbildkamera nicht nur im wesentlich verringerten Aufwand in der Datenauswer- tung, sondern vor allem in der stark erhöhten lateralen Auflösung in der Entfernungsmessung.
Diese gestattet es, die Umgebung im Rechner deutlich feiner zu modellieren, kleinere Lücken zu entdecken um Objekte zu unterscheiden, die laterale Lage und evtl. Geschwindigkeit genauer zu erfassen, die Ausdehnung der Objekte genauer vermessen zu können und/oder eine Durchfahrtsmöglichkeit zu erkennen. Redundanz bei Kombination mit konventioneller 2D-Grauwert Kamera ist beispielsweise erforderlich für Sicherheitssysteme. Außerdem ergibt sich eine höhere Verfügbarkeit, auch wenn keine Markierungen sichtbar sind.
Für den Spurhalteassistent gelten diese Vorteile entsprechend. Der Spurhalteassistent kann ferner das Fahrzeug auch durch Baustellenbereiche leiten, wenn die entsprechenden Leitobjekte z.B. die Pylonen erkannt werden. Mit den 3D-Entfernungsbildkameras erhält man bei der Überschlagserkennung nicht nur eine unabhängige Sensorik zur Bestimmung der eigenen Lage und damit zur Ergänzung der Nei- gungssensorik, sondern eine bestehende Überschlagsgefahr lässt sich vielmehr schon prädiktiv erfassen, z.B. beim Verlassen der Fahrbahn über eine Böschung oder beim Fahren über einen Abhang, wenn Trägheitssensoren noch lange nicht ansprechen. Man gewinnt damit einen Zeit- vorteil zum Betätigen reversibler Rückhaltesysteme gegenüber der bisher verwendeten Sensorik.
Bei der Nickwinkelerkennung erfolgt mit Vorteil eine Einsparung konventioneller dedizierter Nick- winkel-Sensorik.
Bei der Night Vision ermöglicht es die Intelligenz des Sensors, d.h. die Vorbeurteilung oder Klassifikation des Hindernisses verbunden mit einer entsprechenden Warnstrategie, den Fahrer maßgeblich zu entlasten, bzw. ihn angemessen auf ein auftauchendes Hindernis vorzubereiten. Gegebenfalls können die Informationen an ein vorhandenes Sicherheitsystem z.B. das Rückhaltesystem oder die Bremsenkonditionierung weitergeleitet werden.
Bei der Straßenzustandserkennung kann bei Klassifikation von Bodenunebenheiten, z.B. bei Schwellen in Tempo 30 Zonen, die Geschwindigkeit automatisch angepasst werden. Dadurch können Beschädigungen des Fahrzeugs, z.B. durch Schlaglöcher o.a., vermieden werden. Fig. 2 zeigt dazu ein entsprechendes Struktogramm, wie aus den Graubilddaten und Entfernungsdaten jeweils Muster extrahiert, beide Muster miteinander plausibilisiert, aus der zeitlichen Abfolge der Daten Objekte verifiziert und über eine Entscheidungsmatrix geeignete Maßnahmen eingeleitet, bspw. das Fahrwerk oder die Geschwindigkeit angepasst und ggfs. eine Warnung an den Fahrer ausgegeben werden.
Beim Türstopper dient die Erfindungsgemäße 3D-Kamera bzw. das erfindungsgemäße Verfahren zur Vermeidung von Beschädigungen am Fahrzeug oder von Verletzungen. Speziell häufige Auffahrunfälfe von Radfahrern auf sich öffnende Türen ließen sich damit vermeiden, gegebenenfalls in Verbindung mit einer Totwinkeluberwachung Beim Lichtsensor erfolgt die Nutzung der Umgebungsinformation zur Beurteilung der Beleuchtungsanforderungen, z.B. aufgrund einer Beurteilung der Gefahrensituation, insbesondere bei Erkennung von Tunneleingängen, Parkhäusern etc.
Anstelle von 3D-Kameras werden gegenwärtig Radar-, Lidar- oder Triangulationssysteme eingesetzt. Zwar kann mit diesen Systemen prinzipiell auch eine vollständige 3D-Szene erfasst werden, doch wird hierfür eine Abtastvorrichtung benötigt, mit der die Strahlkeulen über die Szene hinweggeführt werden müssen. Eine Echtzeitfähigkeit ist mit Scansystemen nur sehr schwer zu erzielen. Dies gilt auch für Laserscanner.