WO2015149799A1 - Stereokamerasystem - Google Patents

Stereokamerasystem Download PDF

Info

Publication number
WO2015149799A1
WO2015149799A1 PCT/DE2015/200210 DE2015200210W WO2015149799A1 WO 2015149799 A1 WO2015149799 A1 WO 2015149799A1 DE 2015200210 W DE2015200210 W DE 2015200210W WO 2015149799 A1 WO2015149799 A1 WO 2015149799A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
mono
camera
stereo
monocamera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2015/200210
Other languages
English (en)
French (fr)
Inventor
Ralph GREWE
Stefan Hegemann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of WO2015149799A1 publication Critical patent/WO2015149799A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Definitions

  • the invention relates to a stereo camera system for a vehicle.
  • Modern vehicles in particular motor vehicles are equipped with driver assistance systems whose sensors are often designed as cameras. With such cameras, it is lent possible to perform on the basis of the acquired image data, a Erken ⁇ drying and classification of objects in the vehicle environment.
  • mono- and Ste ⁇ reoarrasysteme as environmental sensors for Augustassistenzsyste ⁇ me, especially for security systems are known.
  • the disadvantage of a mono camera is that a distance measurement to OBJEK ⁇ th can only be limited.
  • One way a decision ⁇ fernung estimate is based on model assumptions, such as. Ei ⁇ ner average vehicle width.
  • Another possible ⁇ ness to remove estimate provides the so-called method Structure-From-Motion, which attempts to close reference to Be ⁇ movements in the image to the removal of objects and position relative to the mono camera. Therefore, the knowledge of the movement of the camera for this ⁇ Me technique will be required.
  • An improvement of the range estimates is achieved by means of the stereo camera systems typically include two op ⁇ diagram modules that are each composed of a lens and an image sensor, and are integrated in a common housing ⁇ Ge. By finding corresponding points in the images of the two image sensors and using the known baseline (distance between the two image sensors) of triangulation, the distance of the points be ⁇ true may be using.
  • a location determination ⁇ device for a motor vehicle which, inter alia, has a designed as a stereo camera optical Sensorein ⁇ unit.
  • This stereo camera system consists of two monocamera modules which are integrated in the sensor unit as a stereo camera module and are structurally connected via a web.
  • a formed as an image processing module electronic arithmetic unit is connected on the one hand via a data line with the Ste ⁇ reoskimodul and on the other via a data line to a data bus of the vehicle.
  • AI discloses a Stereoka ⁇ merasystem with a first mono camera and a second mono camera for a motor vehicle from DE 10 2004 061 998, in which the two
  • Cameras work together as a stereo camera. Also in this be ⁇ known stereo camera system, the image data of the two mono camera each on signal lines of a processing ⁇ unit are supplied to the processes this image data and displays, for example. Driver assistance functions for a night vision support, a traffic sign recognition and object recognition are available.
  • This stereo camera system for a vehicle includes OF INVENTION ⁇ dung according to:
  • a first monocamera with an optical system, an image sensor and an image evaluation unit, which is designed for image evaluation of the image data generated by the image sensor using a monochrome camera algorithm,
  • a second monocamera having an optical system, an image sensor and an image evaluation unit, which is designed for image evaluation of the image data generated by the image sensor using a monocamera algorithm, and
  • Stereoverbausensemother which is connected to the image sensor of the first mono camera and the image sensor of the second mono camera for transmitting the image data and which is designed to ste ⁇ reoskopischen image evaluation of the image data of the first and second mono camera using a stereo image algo- rithm.
  • Such mono camera algorithms include, for example, the detection of whether ⁇ projects, such as road markings and traffic signs, etc., the model-based detection and tracking of vehicles, and a mono-scene reconstruction for detecting the vehicle surroundings see static.
  • Stereoreausstratician one based on the principle of stereo recording environment is made possible, which can be made highly accurate stereo data for use in driver assistance systems, particularly in security systems available in Nor ⁇ mal réelle the stereo camera system.
  • stereo evaluation is no longer possible, but mono information, which of course is less accurate, is still available for emergency operation to disposal. The reliability is thus increased over known stereo camera systems.
  • Environmental sensors radar and / or lidar sensors
  • de ⁇ sensor signals a defective mono camera can be identified with de ⁇ sensor signals a defective mono camera.
  • the stereo functionality would be dispensed with and instead an emergency operation be maintained using the ver ⁇ lasting mono camera.
  • the Stereomorausense is designed to diagnose the function of the ers ⁇ th and second mono camera using at least one diagnosis program.
  • This allows for the use of a defective identification ⁇ He monocamera the resources of the stereo image evaluation ⁇ to isolate the run to failure of the mono camera error by loading such a diagnostic program from the Stereosometimesausncetician and out ⁇ leads is.
  • the same algo ⁇ rithms can as the mono camera algorithms are executed and are compared with those the results of mono cameras, the example.
  • Algorithms for detecting defective image sensors (imagers) or defective optics of monocameras can also be loaded and executed as diagnostic programs.
  • the first monocamera has a power supply device and the second monocamera has a power supply device. sen.
  • the reliability is increased are for the two mono cameras separate power supplies ⁇ before.
  • sondere with defective vehicle networks for example due to a cable break due to the separate Bussys ⁇ systems for the two mono cameras, the reliability.
  • a committeeas ⁇ sistenzsystem which is connected to the Stereosometimesaustician ⁇ unit via a bus system.
  • a driver assistance system highly automated functions are realized for which high demands are placed on the coverage, the confidence and the accuracy, in particular a high reliability is expected, which can be met with the stereo camera system according to the invention.
  • the ers ⁇ te and second mono camera is connected via a separate low-speed data bus to the driver assistance system for carrying out an emergency operation.
  • a fallback level for the notbe ⁇ drive is realized in which the data of the intact mono camera on such a low-speed data bus, for example.
  • a CAN bus of the driver assistance system are supplied for evaluation.
  • Such emergency operation can optionally be performed with a redu ⁇ ed amount of data so that the image data due to their high frame rate can not be transmitted.
  • only the object data from OBJEK ⁇ th as lane markings, road signs, etc. are transmitted.
  • FIG. 1 shows a block diagram of a stereo camera system according to the invention.
  • the for a vehicle (not shown in Figure 1) vorgese ⁇ hene stereo camera system 1 of the invention according to Figure 1 includes fully three components 2, 3 and 4 which are each formed as a module from ⁇ . These components are a first mono camera 2, a second mono camera 3 and a Stereosometimesausagonist ⁇ unit 4, wherein the first mono camera 2 via a high-speed data bus 5.1 and the second mono camera 2 are connected via a further high-speed data bus 5.2 to the Stereobildausense. 4
  • the evaluation results of the Stereobildauseptmaschinetician 4 ⁇ he testified to be supplied via a data bus a driver assistance system 6, are realized with the highly automated functions.
  • High-speed data bus 5 which is shown in FIG. smiles is shown, which includes the data bus Zvi ⁇ Stereomorausbuztician rule 4 and belongs to the driver assistance system ⁇ . 6
  • These two monocameras 2 and 3 are self-sufficient in their functions as camera and therefore each comprise an optics 2.1 and 3.1, an image sensor (imager) 2.2 and 3.2, a Schmauswer ⁇ teech 2.3 and 3.3 and a data bus interface 2.5 and 3.5. That of the image sensors 2.2 and 3.2 of the environment of
  • Vehicle generated image data are both thessenausagonist ⁇ unit 2.3 or 3.3 and the data bus interface 2.5 or 3.5 supplied.
  • the image data of the monocameras 2 and 3 are evaluated by their image evaluation units 2.3 and 3.3 by means of a monocamera algorithm, and the evaluation result is likewise forwarded to the data bus interface 2.5 or 3.5.
  • High-speed data bus 5.1 or 5 given.
  • Wei ⁇ se and the image data of the image sensor 3.2 of the second mono camera 3 as well as the evaluation result of the Schmaus ⁇ evaluation unit 3.3 via the data bus interface 3.5 on the WEI direct high-speed data bus 5.2 or the common high-speed data bus 5 are given.
  • the stereo image evaluation unit 4 is used for stereoscopic image analysis of the two high-speed data buses 5.1 and 5.2 or over the common high-speed data bus 5 ⁇ supplied image data of the two monocameras 2 and 3 by means of egg ⁇ nes stereo image algorithm. This provides high-precision stereo data using the stereo image algorithm be evaluated.
  • the evaluation results generated by the stereo image evaluation unit 4 are supplied to the driver assistance system 6 via a data bus or via the common high-speed data bus 5, with which highly-automated functions are realized.
  • This essentially three components having on ⁇ construction of the stereo camera system 1 according to the invention is the off ⁇ falling safety significantly increased, because one of the Auswer ⁇ teikien event of a failure of one of the mono cameras 2 or 3, for example. Due to a defective Mic rocontrollers or a defective memory 2.3 or 3.3, no stereo-evaluation is more mög ⁇ lich but are still the mono information intact Mo nostroke 2 or 3 for an emergency operation available.
  • each of the two monocameras 2 and 3 has its own power supply device 2.4 or 3.4, so that this also increases the reliability. Because if one of the two power supply devices 2.4 or 3.4, the other mono camera with the non-defective power supply device ⁇ intact.
  • the two high-speed data buses 5.1 and 5.2 respectively represent separate bus systems for the first and second monocamera 2 and 3 in order to increase the reliability in the event of a defective data bus network of the vehicle, for example due to a cable break.
  • high-speed data buses 5.1 and 5.2 for example, an Ethernet or a Flexray data bus are used.
  • the stereo camera system 1 can be classified as unreliable. If there are present more data sources in the vehicle, eg., A digital map or other cameras (topview) camera or environment sensors (radar and / or lidar sensors) may be a defective Monoka ⁇ ra 2 or 3 are identified with their sensor signals. In such a case, the stereo functionality would be eliminated and instead an emergency operation with the help of the remaining monocamera 2 or 3 maintained.
  • the Stereomorausense 4 may be used for the diagnosis of function ⁇ on the first and second mono camera 2 and 3 using a diagnostics program. This makes possible by such a diagnostic program is loaded from the Stereoscopewer ⁇ teech 4 and performed 4 to use in the detection of a defective mono camera 2 or 3, the Res ⁇ resources of Stereomorauseptome to isolate the failure of the mono camera 2 or 3 out error.
  • a diagnostic Pro ⁇ gram the same algorithms as the Monostroke- algorithms can be run and with which the mono cameras are compared 2 and 3, the results, the example.
  • the first and second Monoka ⁇ ra is executed 2 and 3 respectively as a module, and therefore comprises a housing 2.6 and 3.6.
  • the stereo ⁇ image evaluation unit 4 can be integrated into the housing 2.6 or 3.6 of the first or the second mono camera 2 or the second
  • the stereo camera system according to the invention comprises two functionally independent mono cameras 2 and 3.
  • the Darge ⁇ presented stereo camera system 1 can also be more than two mono ⁇ cameras together with a Stereomanausnce turned ⁇ sets.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Stereokamerasystem (1) für ein Fahrzeug. Dieses erfindungsgemäße Stereokamerasystem (1) umfasst eine erste Monokamera (2) mit einer Optik (2.1), einem Bildsensor (2.2) und einer Bildauswerteeinheit (2.3), welche zur Bildauswertung der von dem Bildsensor (2.2) erzeugten Bilddaten unter Verwendung eines Monokamera-Algorithmus ausgebildet ist, des weiteren eine zweiten Monokamera (3) mit einer Optik (3.1), einem Bildsensor (3.2) und einer Bildauswerteeinheit (3.3), welche zur Bildauswertung der von dem Bildsensor erzeugten Bilddaten unter Verwendung eines Monokamera-Algorithmus ausgebildet ist, und schließlich eine Stereobildauswerteeinheit (4), die mit dem Bildsensor (2.1) der ersten Monokamera (2) und dem Bildsensor (3.1) der zweiten Monokamera (3) zur Übertragung der Bilddaten verbunden ist und die zur stereoskopischen Bildauswertung der Bilddaten der ersten und zweiten Monokamera (2, 3) unter Verwendung eines Stereokamera-Algorithmus ausgebildet ist.

Description

Stereokamerasystem
Die Erfindung betrifft ein Stereokamerasystem für ein Fahr- zeug.
Moderne Fahrzeuge, insbesondere Kraftfahrzeuge werden mit Fahrerassistenzsystemen ausgestattet, deren Sensorik oftmals als Kameras ausgebildet sind. Mit solchen Kameras ist es mög- lieh, auf der Basis der aufgenommenen Bilddaten eine Erken¬ nung und Klassifizierung von Objekten der Fahrzeugumgebung durchzuführen. Aus dem Stand der Technik sind Mono- und Ste¬ reokamerasysteme als Umfeldsensoren für Fahrerassistenzsyste¬ me, insbesondere für Sicherheitssysteme bekannt. Der Nachteil einer Monokamera ist, dass eine Entfernungsmessung zu Objek¬ ten nur eingeschränkt möglich ist. Eine Möglichkeit eine Ent¬ fernung zu schätzen beruht auf Modellannahmen, wie bspw. ei¬ ner durchschnittlichen Fahrzeugbreite. Eine weitere Möglich¬ keit zur Entfernungsschätzung liefert die sogenannte Methode Structure-From-Motion, bei der versucht wird, anhand von Be¬ wegungen im Bild auf die Entfernung der Objekte und Position relativ zur Monokamera zu schließen. Daher ist für diese Me¬ thode die Kenntnis der Eigenbewegung der Kamera erforderlich. Eine Verbesserung der Entfernungsschätzungen wird mit Hilfe von Stereokamerasystemen erreicht, die üblicherweise zwei op¬ tische Module umfassen, die jeweils aus einem Objektiv und einem Bildsensor aufgebaut sind und in einem gemeinsamen Ge¬ häuse integriert sind. Durch das Auffinden korrespondierender Punkte in den Bildern der beiden Bildsensoren und mit Hilfe der bekannten Basislinie (Abstand der beiden Bildsensoren) kann mithilfe von Triangulation die Entfernung der Punkte be¬ stimmt werden. Aus der DE 10 2011 082 218 AI ist eine Standortbestimmungs¬ einrichtung für ein Kraftfahrzeug bekannt, die unter anderem eine als Stereokamerasystem ausgebildete optische Sensorein¬ heit aufweist. Dieses Stereokamerasystem besteht aus zwei Mo- nokameramodulen, die in der Sensoreinheit als Stereokameramo¬ dul integriert und über einen Steg baulich verbunden sind. Ein als Bildverarbeitungsmodul ausgebildetes elektronisches Rechenwerk ist zum einen über eine Datenleitung mit dem Ste¬ reokameramodul und zum anderen über eine Datenleitung an ei- nen Datenbus des Fahrzeugs angebunden.
Bei diesem bekannten Stereokamerasystem besteht die Gefahr, dass bei Auftreten eines Defektes, bspw. in einer der beiden Monokameras oder in dem elektronischen Rechenwerk ein voll- ständiger Ausfall auftreten kann. Die Ausfallsicherheit mit diesem bekannten Stereokamerasystem ist daher äußerst gering.
Des Weiteren ist aus der DE 10 2004 061 998 AI ein Stereoka¬ merasystem mit einer ersten Monokamera und einer zweiten Mo- nokamera für ein Kraftfahrzeug bekannt, bei dem die beiden
Kameras als Stereokamera zusammenwirken. Auch bei diesem be¬ kannten Stereokamerasystem werden die Bilddaten der beiden Monokamera jeweils über Signalleitungen einer Verarbeitungs¬ einheit zugeführt, die diese Bilddaten verarbeitet und bspw. Fahrerassistenzfunktionen für eine Nachtsichtunterstützung, eine Verkehrszeichenerkennung und eine Objekterkennung zur Verfügung stellt.
Auch bei diesem bekannten Stereokamerasystem besteht die Ge- fahr eines totalen Ausfalls bei Auftreten eines Defektes in einer der Monokamera oder in der Verarbeitungseinheit. Daher ist es Aufgabe der Erfindung ein Stereokamerasystem für Fahrzeuge bereitzustellen, welches eine hohe Ausfallsicher¬ heit aufweist, so dass eine hohe Verfügbarkeit trotz Auftre¬ ten von Fehlern innerhalb des Stereokamerasystems erreicht wird.
Die Aufgabe wird gelöst durch ein Stereokamerasystem mit den Merkmalen des Patentanspruchs 1. Dieses Stereokamerasystem für ein Fahrzeug umfasst erfin¬ dungsgemäß :
- eine erste Monokamera mit einer Optik, einem Bildsensor und einer Bildauswerteeinheit, welche zur Bildauswertung der von dem Bildsensor erzeugten Bilddaten unter Verwendung eines Mo- nokamera-Algorithmus ausgebildet ist,
- eine zweiten Monokamera mit einer Optik, einem Bildsensor und einer Bildauswerteeinheit, welche zur Bildauswertung der von dem Bildsensor erzeugten Bilddaten unter Verwendung eines Monokamera-Algorithmus ausgebildet ist, und
- eine Stereobildauswerteeinheit, die mit dem Bildsensor der ersten Monokamera und dem Bildsensor der zweiten Monokamera zur Übertragung der Bilddaten verbunden ist und die zur ste¬ reoskopischen Bildauswertung der Bilddaten der ersten und zweiten Monokamera unter Verwendung eines Stereobild-Algo- rithmus ausgebildet ist.
Mit diesem erfindungsgemäßen Stereokamerasystem wird neben einer verbesserten Erfassungsleistung eine deutliche Erhöhung der Ausfallsicherheit ermöglicht. Dies wird zum einen dadurch erreicht, dass zwei in ihrer Funktion vollständig autarke Mo- nokameras vorgesehen sind und zum anderen die Bilddaten die¬ ser beiden Monokameras mittels einer Stereobildauswerteein¬ heit einer stereoskopischen Bildauswertung unterzogen werden. Durch diese erfindungsgemäße Aufteilung des Stereokamerasys¬ tems in drei Komponenten, nämlich zwei Monokameras und einer Stereobildauswerteeinheit kann bei Ausfall eines dieser Kom¬ ponenten eine Mono-Notfunktion aufrecht erhalten werden, in- folgedessen sich die Verfügbarkeit des Gesamtsystems erhöht.
Damit liegen die von den beiden Monokameras erfassten
Umfeldinformationen doppelt vor und können von den jeweils zugehörigen Bildauswerteeinheiten mittels der in diesen in- stallierten Monokamera-Algorithmen ausgewertet werden. Solche Monokamera-Algorithmen umfassen bspw. die Erkennung von Ob¬ jekten, wie Fahrbahnmarkierungen und Verkehrszeichen usw., die modellbasierte Detektion und das Tracking von Fahrzeugen sowie eine Mono-Szenenrekonstruktion zur Erfassung des stati- sehen Fahrzeugumfelds.
Mit der Stereobildauswerteeinheit wird eine auf dem Stereo- Prinzip basierende Umwelterfassung ermöglicht, womit im Nor¬ malbetrieb des Stereokamerasystems hochgenaue Stereo-Daten für die Verwendung in Fahrerassistenzsystemen, insbesondere in Sicherheitssystemen zur Verfügung gestellt werden können.
Bei Ausfall bspw. einer der beiden Monokameras aufgrund bspw. eines defekten MikroControllers der Bildauswerteeinheit, ei- nes defekten Speichers oder einer defekten Energieversorgung ist keine Stereo-Auswertung mehr möglich, allerdings stehen noch Mono-Informationen, die natürlich weniger genau sind, für einen Notbetrieb zur Verfügung. Die Ausfallsicherheit ist damit gegenüber bekannten Stereokamerasystemen erhöht.
Dadurch dass die von den beiden Monokameras in Form von Bild¬ daten gelieferten Umfeldinformationen doppelt vorliegen, zum Beispiel in Form von Fahrstreifenmarkierungen oder Verkehrs- zeichen, lässt sich eine gegenseitige Überwachung der Monoka- meras durchführen. Es ist damit möglich ein Maß für eine festgestellte Abweichung zu bestimmen, so dass bei einer Überschreitung einer bestimmten Schwelle durch dieses Maß das Stereokamerasystem als unzuverlässig eingestuft werden kann. Falls noch weitere Datenquellen vorliegen, bspw. eine digita¬ le Karte oder weitere Kameras (Topview-Kamera) oder
Umfeldsensoren (Radar- und/oder Lidar-Sensoren) kann mit de¬ ren Sensorsignalen eine defekte Monokamera identifiziert wer- den. In einem solchen Fall würde die Stereo-Funktionalität entfallen und stattdessen ein Notbetrieb mit Hilfe der ver¬ bleibenden Monokamera aufrecht erhalten werden.
Nach einer vorteilhaften Ausgestaltung der Erfindung ist die Stereobildauswerteeinheit zur Diagnose der Funktion der ers¬ ten und zweiten Monokamera unter Verwendung wenigstens eines Diagnose-Programmes ausgebildet. Dies ermöglicht bei der Er¬ kennung einer defekten Monokamera die Ressourcen der Stereo¬ bildauswerteeinheit zur Isolation des zum Ausfall der Monoka- mera geführten Fehlers zu nutzen, indem ein solches Diagnose- Programm von der Stereobildauswerteeinheit geladen und ausge¬ führt wird. Als Diagnose-Programm können die gleichen Algo¬ rithmen wie die Monokamera-Algorithmen ausgeführt werden und die Ergebnisse mit denen der Monokameras verglichen werden, umso bspw. einen defekten MikroController oder defekte Spei¬ cher (RAM) der Bildauswerteeinheit zu erkennen. Als Diagnose- Programme können auch Algorithmen zum Erkennen von defekten Bildsensoren (Imager) oder defekten Optiken der Monokameras geladen und ausgeführt werden.
Weiterhin ist es vorteilhaft, wenn weiterbildungsgemäß die erste Monokamera eine Energieversorgungseinrichtung und die zweite Monokamera eine Energieversorgungseinrichtung aufwei- sen. Damit liegen für die beiden Monokameras getrennte Strom¬ versorgungen vor, wodurch ebenso die Ausfallsicherheit erhöht wird . Des Weiteren ist es auch vorteilhaft, wenn weiterbildungsge¬ mäß die erste und zweite Monokamera jeweils über einen eige¬ nen Highspeed-Datenbus mit der Stereobildauswerteeinheit ver¬ bunden ist. Auch hiermit wird aufgrund der getrennten Bussys¬ teme für die beiden Monokameras die Ausfallsicherheit, insbe- sondere bei defekten Fahrzeugnetzen, zum Beispiel aufgrund eines Kabelbruches erhöht. Insbesondere bietet es sich an, einen teuren Highspeed-Datenbus, wie bspw. Ethernet oder Flexray einzusetzen. Ferner bietet es sich weiterbildungsgemäß an, ein Fahreras¬ sistenzsystem vorzusehen, welches mit der Stereobildauswerte¬ einheit über ein Bussystem verbunden ist. Mit einem solchen Fahrerassistenzsystem werden hoch automatisierte Funktionen realisiert, für die hinsichtlich des Erfassungsbereichs, der Konfidenz und der Genauigkeit hohe Ansprüche gestellt werden, insbesondere eine hohe Ausfallsicherheit erwartet wird, die mit dem erfindungsgemäßen Stereokamerasystem erfüllt werden kann . Vorzugsweise ist zur Durchführung eines Notbetriebes die ers¬ te und zweite Monokamera jeweils über einen eigenen Lowspeed- Datenbus mit dem Fahrerassistenzsystem verbunden. So wird bei Ausfall einer Monokamera eine Rückfallebene für den Notbe¬ trieb realisiert, bei dem die Daten der intakten Monokamera über einen solchen Lowspeed-Datenbus , bspw. einem CAN-Bus der Fahrerassistenzsystem zur Auswertung zugeführt werden. Ein solcher Notbetrieb kann gegebenenfalls nur mit einer redu¬ zierten Datenmenge durchgeführt werden, so dass die Bilddaten aufgrund ihrer hohen Bildrate nicht mehr übertragen werden können. In diesem Fall werden nur die Objektdaten von Objek¬ ten, wie Spurmarkierungen, Verkehrszeichen usw. übertragen. Schließlich ist es gemäß einer letzten vorteilhaften Ausge¬ staltung der Erfindung vorgesehen, dass die erste und zweite Monokamera jeweils als Modul mit einem Gehäuse ausgebildet sind, wobei die Stereobildauswerteeinheit in dem Gehäuse der ersten oder der zweiten Monokamera integriert ist. Damit kann das erfindungsgemäße Stereokamerasystem kostengünstig herge¬ stellt werden.
Die Erfindung wird nachfolgend unter Bezugnahme auf die ein¬ zige beigefügte Figur näher erläutert. Diese Figur 1 zeigt ein Blockschaltbild eines erfindungsgemäßen Stereokamerasys¬ tems .
Das für ein Fahrzeug (in Figur 1 nicht dargestellt) vorgese¬ hene erfindungsgemäße Stereokamerasystem 1 gemäß Figur 1 um- fasst drei Komponenten 2, 3 und 4, die jeweils als Modul aus¬ gebildet sind. Diese Komponenten sind eine erste Monokamera 2, eine zweite Monokamera 3 und eine Stereobildauswerteein¬ heit 4, wobei die erste Monokamera 2 über einen Highspeed- Datenbus 5.1 und die zweite Monokamera 2 über einen weiteren Highspeed-Datenbus 5.2 mit der Stereobildauswerteeinheit 4 verbunden sind. Die von der Stereobildauswerteeinheit 4 er¬ zeugten Auswerteergebnisse werden über einen Datenbus einem Fahrerassistenzsystem 6 zugeführt, mit dem hochautomatisierte Funktionen realisiert werden.
Alternativ ist es auch möglich, den Datenaustausch zwischen den Komponenten 2, 3, 4 und 6 über einen gemeinsamen
Highspeed-Datenbus 5 zu realisieren, der in Figur 1 gestri- chelt dargestellt ist, zu dem auch die Datenbusleitung zwi¬ schen Stereobildauswerteeinheit 4 und dem Fahrerassistenzsys¬ tem 6 gehört . Diese beiden Monokameras 2 und 3 sind in ihren Funktionen als Kamera autark und umfassen daher jeweils eine Optik 2.1 und 3.1, einen Bildsensor (Imager) 2.2 und 3.2, eine Bildauswer¬ teeinheit 2.3 und 3.3 und ein Datenbus-Interface 2.5 und 3.5. Die von den Bildsensoren 2.2 und 3.2 von der Umgebung des
Fahrzeugs erzeugten Bilddaten werden sowohl der Bildauswerte¬ einheit 2.3 bzw. 3.3 als auch dem Datenbus-Interface 2.5 bzw. 3.5 zugeführt. Die Bilddaten der Monokameras 2 und 3 werden von deren Bildauswerteeinheiten 2.3 und 3.3 mittels eines Mo- nokamera-Algorithmus ausgewertet und das Auswerteergebnis ebenso an das Datenbus-Interface 2.5 bzw. 3.5 weitergeleitet.
Damit werden die Bilddaten des Bildsensors 2.2 der ersten Mo¬ nokamera 2 als auch das Auswerteergebnis von deren Bildaus- werteeinheit 2.3 über das Datenbus-Interface 2.5 auf den
Highspeed-Datenbus 5.1 bzw. 5 gegeben. In entsprechender Wei¬ se werden auch die Bilddaten des Bildsensors 3.2 der zweiten Monokamera 3 als auch das Auswerteergebnis von deren Bildaus¬ werteeinheit 3.3 über das Datenbus-Interface 3.5 auf den wei- teren Highspeed-Datenbus 5.2 oder den gemeinsamen Highspeed- Datenbus 5 gegeben.
Die Stereobildauswerteeinheit 4 dient zur stereoskopischen Bildauswertung der über die beiden Highspeed-Datenbusse 5.1 und 5.2 oder über den gemeinsamen Highspeed-Datenbus 5 zuge¬ führten Bilddaten der beiden Monokameras 2 und 3 mittels ei¬ nes Stereobild-Algorithmus. Damit stehen hochgenaue Stereo- Daten zur Verfügung, die mittels des Stereobild-Algorithmus ausgewertet werden. Die von der Stereobildauswerteeinheit 4 erzeugten Auswerteergebnisse werden dem Fahrerassistenzsystem 6 über einen Datenbus bzw. über den gemeinsamen Highspeed- Datenbus 5 zugeführt, mit dem hochautomatisierte Funktionen realisiert werden.
Mit diesem im Wesentlichen drei Komponenten aufweisenden Auf¬ bau des erfindungsgemäßen Stereokamerasystems 1 wird die Aus¬ fallsicherheit wesentlich erhöht, da bei einem Ausfall eines der Monokameras 2 oder 3, bspw. aufgrund eines defekten Mik- rocontrollers oder eines defekten Speichers einer der Auswer¬ teeinheiten 2.3 oder 3.3, keine Stereo-Auswertung mehr mög¬ lich ist, jedoch noch die Mono-Informationen der intakten Mo- nokamera 2 oder 3 für einen Notbetrieb zur Verfügung stehen.
Ferner weist jede der beiden Monokameras 2 und 3 eine eigene Energieversorgungseinrichtung 2.4 bzw. 3.4 auf, so dass auch hierdurch die Ausfallsicherheit erhöht wird. Denn bei Ausfall einer der beiden Energieversorgungseinrichtungen 2.4 oder 3.4 bleibt die andere Monokamera mit der nichtdefekten Energie¬ versorgungseinrichtung intakt.
Die beiden Highspeed-Datenbusse 5.1 und 5.2 stellen jeweils für die erste und zweite Monokamera 2 und 3 getrennte Bussys- teme dar, um auch hierdurch die Ausfallsicherheit bei einem defekten Datenbus-Netz des Fahrzeugs, bspw. aufgrund eines Kabelbruches zu erhöhen. Für solche Highspeed-Datenbusse 5.1 und 5.2 werden bspw. ein Ethernet- oder ein Flexray-Datenbus eingesetzt .
Für den Notbetrieb mit nur einer intakten Monokamera 2 oder 3, bei Ausfall der Stereobildauswerteeinheit 4 oder bei Aus¬ fall eines der Highspeed-Datenbusse 5.1, 5.2 oder 5 ist je- weils ein eigener Lowspeed-Datenbus 8.1 bzw. 8.2 für die ers¬ te bzw. zweite Monokamera 2 bzw. 3 vorgesehen, so dass die Bilddaten des Bildsensors 2.2 der ersten Monokamera 2 über den zugehörigen Lowspeed-Datenbus 8.1 direkt dem Fahrerassis- tenzsystem 6 und die Bilddaten des Bildsensors 3.2 der zwei¬ ten Monokamera 3 über den zugehörigen Lowspeed-Datenbus 8.2 ebenso direktem Fahrerassistenzsystem 6 zugeführt werden kön¬ nen. Es kann jedoch sein, dass im Notbetrieb die Bilddaten aufgrund der zu hohen Datenrate nicht über den Lowspeed- Datenbus 8.1 oder 8.2 übertragen werden können, so dass in einem solchen Fall zumindest die Objektdaten von Objekten, wie bspw. Spurdaten, Verkehrszeichen usw. übertragen werden.
Dadurch dass die von den beiden Monokameras 2 und 3 in Form von Bilddaten gelieferten Umfeldinformationen doppelt vorlie¬ gen, zum Beispiel in Form von Fahrstreifenmarkierungen oder Verkehrszeichen, lässt sich eine gegenseitige Überwachung der Monokameras 2 und 3 durchführen. Es ist damit möglich ein Maß für eine festgestellte Abweichung zu bestimmen, so dass bei einer Überschreitung einer bestimmten Schwelle durch dieses Maß das Stereokamerasystem 1 als unzuverlässig eingestuft werden kann. Falls noch in dem Fahrzeug weitere Datenquellen vorliegen, bspw. eine digitale Karte oder weitere Kameras (Topview-Kamera) oder Umfeldsensoren (Radar- und/oder Lidar- Sensoren) kann mit deren Sensorsignalen eine defekte Monoka¬ mera 2 oder 3 identifiziert werden. In einem solchen Fall würde die Stereo-Funktionalität entfallen und stattdessen ein Notbetrieb mit Hilfe der verbleibenden Monokamera 2 oder 3 aufrecht erhalten werden.
Die Stereobildauswerteeinheit 4 kann zur Diagnose der Funkti¬ on der ersten und zweiten Monokamera 2 und 3 unter Verwendung eines Diagnose-Programmes verwendet werden. Dies ermöglicht bei der Erkennung einer defekten Monokamera 2 oder 3 die Res¬ sourcen der Stereobildauswerteeinheit 4 zur Isolation des zum Ausfall der Monokamera 2 oder 3 geführten Fehlers zu nutzen, indem ein solches Diagnose-Programm von der Stereobildauswer¬ teeinheit 4 geladen und ausgeführt wird. Als Diagnose-Pro¬ gramm können die gleichen Algorithmen wie die Monokamera- Algorithmen ausgeführt werden und die Ergebnisse mit denen der Monokameras 2 und 3 verglichen werden, umso bspw. defekte MikroController oder defekte Speicher (RAM) der Bildauswerte¬ einheit 2.3 oder 3.3 zu erkennen. Als Diagnose-Programme kön¬ nen auch Algorithmen zum Erkennen von defekten Bildsensoren (Imager) oder defekten Optiken der Monokameras 2 oder 3 gela¬ den und ausgeführt werden.
Wie oben bereits ausgeführt, ist die erste und zweite Monoka¬ mera 2 und 3 jeweils als Modul ausgeführt und umfasst daher ein Gehäuse 2.6 bzw. 3.6. Aus Kostengründen kann die Stereo¬ bildauswerteeinheit 4 in dem Gehäuse 2.6 oder 3.6 der ersten oder der zweiten Monokamera 2 oder 2 integriert werden.
In dem oben beschriebenen Ausführungsbeispiel gemäß Figur 1 umfasst das erfindungsgemäße Stereokamerasystem zwei in ihrer Funktion autarke Monokameras 2 und 3. Entsprechend dem darge¬ stellten Stereokamerasystem 1 können auch mehr als zwei Mono¬ kameras zusammen mit einer Stereobildauswerteeinheit einge¬ setzt werden. Bezugs zeichen
1 Stereokamerasystem
2 erste Monokamera
2.1 Optik der ersten Monokamera 2
2.2 Bildsensor (Imager) der ersten Monokamera 2
2.3 Bildauswerteeinheit der ersten Monokamera 2
2.4 Energieversorgungseinrichtung der ersten Monokamera
2
2.5 Datenbus-Interface der ersten Monokamera 2
2.6 Gehäuse der ersten Monokamera 2
3 zweite Monokamera
3.1 Optik der zweiten Monokamera 3
3.2 Bildsensor (Imager) der zweiten Monokamera 3
3.3 Bildauswerteeinheit der zweiten Monokamera 3
3.4 Energieversorgungseinrichtung der zweiten Monokame¬ ra 3
3.5 Datenbus-Interface der zweiten Monokamera 3
3.6 Gehäuse der zweiten Monokamera 3
4 Stereobildauswerteeinheit
5 Highspeed-Datenbus
5.1 Highspeed-Datenbus der ersten Monokamera 2
5.2 Highspeed-Datenbus der zweiten Monokamera 3
6 Fahrerassistenzsystem
7 Bussystem
8.1 Lowspeed-Datenbus der ersten Monokamera 2
8.2 Lowspeed-Datenbus der zweiten Monokamera 3

Claims

Patentansprüche
Stereokamerasystem (1) für ein Fahrzeug, umfassend:
- eine erste Monokamera (2) mit einer Optik (2.1), einem Bildsensor (2.2) und einer Bildauswerteeinheit (2.3), wel¬ che zur Bildauswertung der von dem Bildsensor (2.2) er¬ zeugten Bilddaten unter Verwendung eines Monokamera- Algorithmus ausgebildet ist,
- eine zweiten Monokamera (3) mit einer Optik (3.1), einem Bildsensor (3.2) und einer Bildauswerteeinheit (3.3), wel¬ che zur Bildauswertung der von dem Bildsensor erzeugten Bilddaten unter Verwendung eines Monokamera-Algorithmus ausgebildet ist, und
- eine Stereobildauswerteeinheit (4), die mit dem Bildsen¬ sor (2.1) der ersten Monokamera (2) und dem Bildsensor
(3.1) der zweiten Monokamera (3) zur Übertragung der Bild¬ daten verbunden ist und die zur stereoskopischen Bildaus¬ wertung der Bilddaten der ersten und zweiten Monokamera
(2, 3) unter Verwendung eines Stereokamera-Algorithmus ausgebildet ist.
Stereokamerasystem (1) nach Anspruch 1, dadurch gekenn¬ zeichnet, dass die Stereobildauswerteeinheit (4) zur Diag¬ nose der Funktion der ersten und zweiten Monokamera (2, 3) unter Verwendung wenigstens eines Diagnose-Programmes aus¬ gebildet ist.
Stereokamerasystem (1) nach Anspruch 1 oder 2, dadurch ge¬ kennzeichnet, dass die erste Monokamera (2) eine Energie¬ versorgungseinrichtung (2.4) und die zweite Monokamera (3) eine Energieversorgungseinrichtung (3.4) aufweisen. Stereokamerasystem (1) nach einem der vorhergehenden An¬ sprüche, dadurch gekennzeichnet, dass die erste und zweite Monokamera (2, 3) jeweils über einen eigenen Highspeed- Datenbus (5.1, 5.2) mit der Stereobildauswerteeinheit (4) verbunden ist.
Stereokamerasystem (1) nach einem der vorhergehenden An¬ sprüche, dadurch gekennzeichnet, dass ein Fahrerassistenz¬ system (6) vorgesehen ist, welches mit der Stereobildaus¬ werteeinheit (4) über ein Bussystem (7) verbunden ist.
Stereokamerasystem (1) nach Anspruch 5, dadurch gekenn¬ zeichnet, dass zur Durchführung eines Notbetriebes die erste und zweite Monokamera (2, 3) jeweils über einen ei¬ genen Lowspeed-Datenbus (8.1, 8.2) mit dem Fahrerassis¬ tenzsystem (6) verbunden ist.
Stereokamerasystem (1) nach einem der vorhergehenden An¬ sprüche, dadurch gekennzeichnet, dass die erste und zweite Monokamera (2, 3) jeweils als Modul mit einem Gehäuse (2.6, 3.6) ausgebildet sind, wobei die Stereobildauswerte¬ einheit (6) in dem Gehäuse (2.6, 3.6) der ersten oder der zweiten Monokamera (2, 3) integriert ist.
PCT/DE2015/200210 2014-04-02 2015-03-27 Stereokamerasystem Ceased WO2015149799A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014206227.6A DE102014206227A1 (de) 2014-04-02 2014-04-02 Stereokamerasystem
DE102014206227.6 2014-04-02

Publications (1)

Publication Number Publication Date
WO2015149799A1 true WO2015149799A1 (de) 2015-10-08

Family

ID=52991400

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2015/200210 Ceased WO2015149799A1 (de) 2014-04-02 2015-03-27 Stereokamerasystem

Country Status (2)

Country Link
DE (1) DE102014206227A1 (de)
WO (1) WO2015149799A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195292B2 (en) 2016-08-24 2021-12-07 Sony Corporation Information processing apparatus and method, vehicle, and information processing system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016205471A1 (de) 2016-04-01 2017-05-04 Conti Temic Microelectronic Gmbh Stereokameravorrichtung sowie ein Verfahren zum Betrieb der Stereokameravorrichtung
DE102018211268A1 (de) 2018-07-09 2020-01-09 Conti Temic Microelectronic Gmbh Stereokameravorrichtung sowie Verfahren zum Betrieb der Stereokameravorrichtung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177964A (ja) * 1997-12-09 1999-07-02 Omron Corp 画像処理方法およびその装置
JP2002032746A (ja) * 2000-07-17 2002-01-31 Omron Corp 画像処理装置および画像処理方法
DE102004061998A1 (de) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
DE102011082218A1 (de) 2010-09-23 2012-03-29 Continental Teves Ag & Co. Ohg Standortbestimmungseinrichtung in einem Kraftfahrzeug und Informationsfusionsverfahren

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004001572B4 (de) * 2004-01-12 2008-11-13 Daimler Ag Laufzeit-Kalibrierungsverfahren
DE102006010295B4 (de) * 2006-03-07 2022-06-30 Conti Temic Microelectronic Gmbh Kamerasystem mit zumindest zwei Bildaufnehmern
DE102011101246A1 (de) * 2011-05-11 2012-11-15 Conti Temic Microelectronic Gmbh Redudante objektdetektion für fahrerassistenzsysteme
DE102012214720A1 (de) * 2012-06-26 2014-01-02 Robert Bosch Gmbh Objekterkennungssystem und Verfahren zu seinem Betrieb

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177964A (ja) * 1997-12-09 1999-07-02 Omron Corp 画像処理方法およびその装置
JP2002032746A (ja) * 2000-07-17 2002-01-31 Omron Corp 画像処理装置および画像処理方法
DE102004061998A1 (de) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
DE102011082218A1 (de) 2010-09-23 2012-03-29 Continental Teves Ag & Co. Ohg Standortbestimmungseinrichtung in einem Kraftfahrzeug und Informationsfusionsverfahren

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195292B2 (en) 2016-08-24 2021-12-07 Sony Corporation Information processing apparatus and method, vehicle, and information processing system

Also Published As

Publication number Publication date
DE102014206227A1 (de) 2015-10-08

Similar Documents

Publication Publication Date Title
DE102016218277B4 (de) Verfahren zur Funktionsprüfung eines Fahrassistenzsystems sowie Kontrolleinheit und Referenzeinrichtung für ein Fahrassistenzsystem
DE102019205008B3 (de) System zur Rückwärtigen Kollisionsvermeidung
DE102008013366B4 (de) Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme
WO2020200792A1 (de) Verfahren zur überprüfung eines umfelderfassungssensors eines fahrzeugs und verfahren zum betrieb eines fahrzeugs
EP4007891B1 (de) Verfahren und vorrichtung zur lokalisierung eines fahrzeugs in einer umgebung
DE102015210881B4 (de) Verfahren und Vorrichtung zur Bestimmung von Position und/oder Orientierung eines Fahrzeugs
DE102020206755A1 (de) Redundanzinformationen für objektschnittstelle für hoch und vollautomatisiertes fahren
EP3904833B1 (de) Vorrichtung und verfahren zur auswertung von signalen von umfelderfassungssensoren für eine trajektorienregelung und/oder -steuerung eines automatisiert betreibbaren fahrzeuges
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102022123398A1 (de) Automatische Detektion eines Lidar-zu-Fahrzeug-Ausrichtungszustands unter Verwendung von Lokalisierungsdaten
DE102021206297A1 (de) Verfahren und System zum Betreiben eines wenigstens teilweise automatisierten Fahrzeugs
WO2005081200A2 (de) Erfassungsvorrichtung für ein kraftfahrzeug
DE102017214531A1 (de) Verfahren und Vorrichtung zum Betreiben eines Kraftfahrzeugs in einem automatisierten Fahrbetrieb sowie Kraftfahrzeug
DE102019107279A1 (de) Verfahren und Vorrichtung zum Erkennen eines Verkehrsrechtsverstoßes durch Unterschreiten eines zulässigen Abstands zwischen einem Folgefahrzeug und einem Führungsfahrzeug
DE102018005969A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
WO2022069088A1 (de) Kartenplausibilitätsprüfungsverfahren
DE102013019264B4 (de) Steuergerät und Verfahren zum Bereitstellen von Sensordaten
DE102015217771A1 (de) Vorrichtung und Verfahren zum Überwachen einer Sensorfunktion für ein Kraftfahrzeug
DE112022003481T5 (de) Fahrzeugvorrichtung und fahrzeugsteuerungsverfahren
DE102020201837A1 (de) LiDAR-Anordnung, LiDAR-System, Fahrzeug und Verfahren
WO2015149799A1 (de) Stereokamerasystem
DE102020215885A1 (de) Verfahren und system zur erkennung und mitigation von störungen
DE102023002044B3 (de) Verfahren zu einer modellbasierten Fusion verschiedener Sensormodalitäten
DE102019127322A1 (de) Verfahren zur Erfassung von Objekten in einer Fahrzeugumgebung, Vorrichtung zur Datenverarbeitung, Computerprogrammprodukt und computerlesbarer Datenträger
DE102021213525B4 (de) Verfahren zum Abschätzen einer Messungenauigkeit eines Umfelderfassungssensors

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15717408

Country of ref document: EP

Kind code of ref document: A1

WD Withdrawal of designations after international publication

Designated state(s): DE

122 Ep: pct application non-entry in european phase

Ref document number: 15717408

Country of ref document: EP

Kind code of ref document: A1