WO2009086970A1 - Verfahren und vorrichtung zur bilderfassung für kraftfahrzeuge - Google Patents

Verfahren und vorrichtung zur bilderfassung für kraftfahrzeuge Download PDF

Info

Publication number
WO2009086970A1
WO2009086970A1 PCT/EP2008/065264 EP2008065264W WO2009086970A1 WO 2009086970 A1 WO2009086970 A1 WO 2009086970A1 EP 2008065264 W EP2008065264 W EP 2008065264W WO 2009086970 A1 WO2009086970 A1 WO 2009086970A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
exposure parameters
image acquisition
pixels
acquisition method
Prior art date
Application number
PCT/EP2008/065264
Other languages
English (en)
French (fr)
Inventor
Karsten Haug
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to EP08870334A priority Critical patent/EP2229770A1/de
Priority to US12/735,240 priority patent/US20110007162A1/en
Publication of WO2009086970A1 publication Critical patent/WO2009086970A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions

Definitions

  • the invention relates to a method and a device for image acquisition for motor vehicles, wherein in particular an integrated image sensor in a camera is used.
  • driver assistance systems such as night vision systems or lane assistance systems are increasingly being used more recently, in which cameras are used for environmental observation.
  • the automotive environment proves to be a particularly demanding environment for the use of such cameras, which may be formed, for example, using a CMOS or CCD image sensor.
  • CMOS or CCD image sensor For example, when driving into a tunnel during the day or even in an urban environment, the lighting conditions change extremely dynamically.
  • a high demand must be placed on the depth of field of the systems used in order to be able to offer the driver as comprehensive information as possible about the situation at different distances.
  • in the field of view of the camera are usually both very fast moving objects as well as almost static areas.
  • German Offenlegungsschrift DE 10 2004 047 476 A1 discloses a device and a method for setting a camera, in which or in which the exposure parameters for a camera are based on selected image areas are set, for example, depending on the position of the horizon. In this case, for example, the gain and / or the offset and / or the integration time or the aperture can be used as exposure parameters of the camera.
  • DE 103 18 499 A1 describes a method and a device for setting an image sensor in which the parameters of an image sensor are also set on the basis of selected regions of a recorded image.
  • German Offenlegungsschrift DE 103 01 898 A1 describes a method in which the optimum characteristic of the illumination sensitivity for the pixels of an image sensor is determined from the histogram of the gray values of at least one image; In this case, said characteristic curve is selected in such a way that it at least approximately coincides with the optimum characteristic curve.
  • the definition of the characteristic as well as examples can be found in the cited document.
  • a disadvantage of the described devices or methods of the prior art is that none of the mentioned devices or none of the mentioned methods does justice to the fact that the conditions across the picture can be extremely different in different areas of the picture.
  • the problem of so-called motion blur is not adequately solved in the prior art.
  • the above problem of motion blur is based essentially on the fact that dark image areas are exposed so long that the information contained in them can still be resolved.
  • moving objects are blurred, so that due to the self-movement of the vehicle both stationary objects such as traffic signs or other self-moving objects, such as crossing vehicles or pedestrians, only distorted in the camera image are recognizable. Since the above-mentioned prior art adjusts the exposure parameters for the entire image in each case, the areas in which the aforementioned, highly relevant objects are present are generally insufficiently displayed.
  • An advantage of the invention is that the exposure parameters of the image sensor can be adjusted for each image area so that each part of the resulting image is captured under optimal shooting conditions. This is achieved by adjusting the exposure parameters of at least one pixel of the image sensor during the acquisition of the image by means of an image sensor with pixels arranged in rows and columns in such a way that different exposure parameters can be set for at least two of the pixels at the same time. This allows, for example, an optimized combination of a lane departure warning function with traffic sign recognition. This is due to the fact that even in dark scenes, the track of the vehicle can be well resolved, since in the image areas corresponding to the track can be used with maximum exposure times.
  • a set of exposure parameters may contain, for example, the parameters of an exposure characteristic known from the documents cited above or the exposure time.
  • the exposure characteristic can show a monotonous linear, sectionally linear or logarithmic course.
  • the data provided by an assistance system in particular an ACC (Adaptive Cruise Control) or navigation system, can be used to set the exposure parameters.
  • An advantage of the described method is that different exposure parameters can be set in each case for the pixels of at least two contiguous regions of a row or column of the image; in extreme cases, even for each pixel of a row or column, a separate set of exposure parameters can be set.
  • the procedure described can be used to statically or dynamically overload a correction matrix for the previously known exposure control for the entire image, ie the use of a uniform exposure parameter set for the entire image, in order to reduce the aforementioned problem of motion blur.
  • the correction matrix allows an increase or a weakening of the exposure parameters in a certain range. This results in shorter maximum exposure times in a weakened area, whereas in a raised area it results in longer exposure times.
  • the pixels for an image output unit or a driver assistance system are output via a data interface, the recorded intensity values can be converted into gray values, taking into account the exposure parameters or the selected characteristic curve, so that even bright pixels are output equally bright despite the different exposure parameters.
  • the aforementioned correction matrix can, as already indicated, be static or dynamic.
  • the image is divided into two regions, of which the first comprises the upper half of the image and the middle region of the lower half of the image, and the second region is formed by the remaining parts of the image.
  • the exposure parameters are selected in such a way that shorter exposure times result in the second range than in the first range.
  • the said first region is typically the region of the horizon and the track in which dynamic, moving objects with high contrasts are to be expected less than in the second named region, which typically defines the roadway edge in the includes closer environment of the vehicle, in which usually traffic signs, pedestrians or even crossing vehicles are expected.
  • Optical flow is a vector field in image processing and in optical measurement technology, which indicates the 2 D direction of motion and velocity for each pixel of an image sequence. The optical flow can thus be understood as the velocity vectors of visible objects projected onto the image plane.
  • a picture with reduced resolution can be used in order to keep the amount of data to be evaluated low for the determination of the optical flow and to enable a fast signal processing;
  • the advantage here is that a scene-dependent adaptation of the exposure parameters is possible.
  • the image acquisition device for the application of the method described above shows an image sensor with a plurality of pixels and a control unit for setting the exposure parameters of at least one of the pixels.
  • the control unit is suitable for setting different exposure parameters for at least two of the pixels at the same time.
  • Figure 1 shows an exemplary, divided into two areas camera image
  • FIG. 2 shows a flowchart for clarifying the method according to the invention. Description of exemplary embodiments
  • FIG. 1 shows an exemplary camera image taken with the image recording device according to the invention, which is subdivided into the hatched first region 1 and the second region 2.
  • the first area 1 of the image comprises those areas in which less rapidly moving objects are to be expected, ie in particular the central area of the lane with the lane 4 and the upper half of the image with the horizon line 5.
  • the second area 2 comprises the surrounding areas of the lane with the traffic sign 3.
  • a separate set of exposure parameters is set.
  • a set of exposure parameters is used for area 2, which leads to shorter exposure times being used in area 2 than in area 1.
  • the typically well-illuminated and fast-moving objects in area 2 are imaged in the area 2 with a relation to the area 1 considerably reduced motion blur, so that in total for the observer, d. H. the driver, an optimized picture results.
  • the optimization consists in particular in the fact that in area 1 due to the possible longer exposure times even darker objects can still be detected with sufficient precision and presented to the user.
  • the information content of the image acquired by the image acquisition device and displayed to the driver or evaluated for an assistance function is considerably increased, which leads to an improvement in traffic safety as a result.
  • FIG. 2 shows by way of example a flowchart of the method according to the invention.
  • those image areas are determined which are suitable for determining the optical flow.
  • those image areas are then defined for which a uniform exposure parameter set is used on the basis of the conditions which are similar there can.
  • the corresponding exposure parameters are calculated and set in a further step for the selected image areas.
  • the image is taken and a recalculation of the pixels to be output is made to absolute brightnesses on the basis of the set exposure parameters, whereupon the image data thus generated are transferred to a driver assistance system for display to the driver or for further processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Bilderfassungsverfahren für Kraftfahrzeuge, wobei mittels eines Bildsensors ein Bild der Umgebung des Fahrzeuges durch Pixel eines Bildsensors erfasst wird und wobei Belichtungsparameter mindestens eines Pixels des Bildsensors eingestellt werden. Dabei werden zum selben Zeitpunkt für mindestens zwei der Pixel unterschiedliche Belichtungsparameter eingestellt. Weiterhin betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.

Description

Beschreibung
Titel
Verfahren und Vorrichtung zur Bilderfassung für Kraftfahrzeuge
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bilderfassung für Kraftfahrzeuge, wobei insbesondere ein in einer Kamera integrierter Bildsensor verwendet wird.
Stand der Technik
Zur Unterstützung der Fahrer von Kraftfahrzeugen kommen in jüngerer Zeit vermehrt Fahrerassistenzsysteme wie beispielsweise Nachtsichtsysteme oder Spurassistenzsysteme zum Einsatz, in denen Kameras zur Umgebungsbeobachtung verwendet werden. Dabei erweist sich das automobile Umfeld als besonders anspruchsvolle Umgebung für den Einsatz derartiger Kameras, die beispielsweise unter Verwendung eines CMOS oder CCD-Bildsensors gebildet sein können. So ändern sich beispielsweise bei einer Einfahrt in einen Tunnel bei Tag oder auch im städtischen Umfeld die Belichtungsverhältnisse ausgesprochen dynamisch. Ferner ist an die Schärfentiefe der verwendeten Systeme eine hohe Anforderung zu stellen, um dem Fahrer eine möglichst umfassende Information über die Situation in unterschiedlichen Entfernungen bieten zu können. Darüber hinaus befinden sich im Sichtfeld der Kamera in der Regel sowohl ausgesprochen schnell bewegte Objekte als auch nahezu statische Bereiche.
Um diesen Anforderungen gerecht werden zu können, wurden in der Vergangenheit verschiedene Lösungen vorgeschlagen. So ist beispielsweise in der deutschen Offenlegungs- schrift DE 10 2004 047 476 Al eine Vorrichtung und ein Verfahren zur Einstellung einer Kamera offenbart, bei der bzw. bei dem die Belichtungsparameter für eine Kamera anhand ausgewählter Bildbereiche beispielsweise in Abhängigkeit der Lage des Horizonts eingestellt werden. Dabei können als Belichtungsparameter der Kamera beispielsweise der Gain und/oder der Offset und/oder die Integrationszeit bzw. die Blende verwendet werden. Daneben ist in der deutschen Offenlegungsschrift DE 103 18 499 Al ein Verfahren bzw. eine Vorrichtung zur Einstellung eines Bildsensors beschrieben, bei dem ebenfalls die genannten Parameter eines Bildsensors anhand ausgewählter Bereiche eines aufgenommenen Bildes eingestellt werden.
Die deutsche Offenlegungsschrift DE 103 01 898 Al beschreibt ein Verfahren, bei dem die optimale Kennlinie der Beleuchtungsempfindlichkeit für die Pixel eines Bildsensors aus dem Histogramm der Grauwerte wenigstens eines Bildes ermittelt wird; dabei wird die genannte Kennlinie in der Weise gewählt, dass sie zumindest annähernd mit der optimalen Kennlinie übereinstimmt. Die Definition der Kennlinie sowie Beispiele hierzu finden sich in der genannten Schrift.
Nachteilig an den beschriebenen Vorrichtungen bzw. Verfahren aus dem Stand der Technik ist jedoch, dass keine der genannten Vorrichtungen bzw. keines der genannten Verfahren der Tatsache gerecht wird, dass die Bedingungen über das Bild hinweg in verschiedenen Bereichen des Bildes extrem unterschiedlich ausfallen können. Insbesondere das Problem der sogenannten Bewegungsunschärfe ist im Stand der Technik nur unzureichend gelöst. Die genannte Problematik der Bewegungsunschärfe beruht im wesentlichen darauf, dass dunkle Bildbereiche so lange belichtet werden, dass die in ihnen enthaltene Information noch aufgelöst werden kann. Dies führt jedoch dazu, dass durch die erforderliche lange Belichtungszeit bewegte Objekte unscharf abgebildet werden, so dass aufgrund der Eigenbewe- gung des Fahrzeugs sowohl stehende Objekte wie beispielsweise Verkehrsschilder oder auch andere selbst bewegte Objekte, wie beispielsweise querende Fahrzeuge oder Fußgänger, nur verzerrt im Kamerabild erkennbar sind. Da der oben genannte Stand der Technik die Belichtungsparameter jeweils für das gesamte Bild einstellt, werden die Bereiche, in denen die genannten, hochrelevanten Objekte vorhanden sind, in der Regel nur unzureichend dar- gestellt. Vorteile der Erfindung
Ein Vorteil der Erfindung besteht darin, dass die Belichtungsparameter des Bildsensors für jeden Bildbereich angepasst gewählt werden können, so dass jeder Teil des entstehenden Bildes unter optimalen Aufnahmebedingungen erfasst wird. Dies wird dadurch erreicht, dass während der Aufnahme des Bildes mittels eines Bildsensors mit beispielsweise in Zeilen und Spalten angeordneten Pixeln die Belichtungsparameter mindestens eines Pixels des Bildsensors in der Weise eingestellt werden, dass zum selben Zeitpunkt für mindestens zwei der Pixel unterschiedliche Belichtungsparameter eingestellt werden können. Dies ermöglicht beispielsweise eine optimierte Kombination einer Lane-Departure-Warning- Funktion mit einer Verkehrszeichenerkennung. Dies beruht darauf, dass auch in dunklen Szenen die Spur des Fahrzeugs gut aufgelöst werden kann, da in den der Spur entsprechenden Bildbereichen mit maximalen Belichtungszeiten gearbeitet werden kann. Umgekehrt ermöglicht es die Erfindung, Verkehrszeichen, die insbesondere in einer geringen Entfernung aufgrund der Beleuchtung durch die Fahrzeugscheinwerfer über eine erhebliche Helligkeit verfügen, scharf abgebildet werden können, da die Belichtungszeit in denjenigen Bildbereichen, in denen die Verkehrszeichen zu erwarten sind (typischerweise in den Randbereichen der Spur), die Belichtungszeit reduziert werden kann. Dabei kann ein Satz von Belichtungsparametern beispielsweise die aus den oben zitierten Schriften bekannten Parameter einer Belichtungskennlinie bzw. die Belichtungszeit enthalten. Die Belichtungskennlinie kann dabei einen mo- notonen linearen, abschnittsweise linearen oder logarithmischen Verlauf zeigen. Darüber hinaus können zur Einstellung der Belichtungsparameter die von einem Assistenzsystem, insbesondere einem ACC- (Adaptive Cruise Control)oder Navigationssystem bereitgestellte Daten verwendet werden.
Vorteilhaft an dem geschilderten Verfahren ist, dass für die Pixel mindestens zweier zusammenhängender Bereiche einer Zeile bzw. Spalte des Bildes jeweils unterschiedliche Belichtungsparameter eingestellt werden können; im Extremfall kann sogar für jeden Pixel einer Zeile bzw. Spalte ein eigener Satz von Belichtungsparametern eingestellt werden. Die beschriebene Vorgehensweise kann genutzt werden, um der bisher bekannten Belichtungsregelung für das gesamte Bild, d. h. die Verwendung eines einheitlichen Belichtungsparametersatzes für das gesamte Bild, statisch oder dynamisch eine Korrekturmatrix zu überladen, um die genannte Problematik der Bewegungsunschärfe zu reduzieren. Die Korrek- turmatrix erlaubt dabei eine Anhebung oder auch eine Abschwächung der Belichtungsparameter in einem bestimmten Bereich. Dies führt zu kürzeren maximalen Belichtungszeiten in einem abgeschwächten Bereich, wohingegen sie in einem angehobenen Bereich zu längeren Belichtungszeiten führt. Bei der Ausgabe der Pixel für eine Bildausgabeeinheit oder ein Fahrerassistenzsystem über eine Datenschnittstelle können die aufgenommenen Intensi- tätswerte unter Berücksichtigung der Belichtungsparameter bzw. der gewählten Kennlinie in Grauwerte umgewandelt werden, so dass trotz der unterschiedlichen Belichtungsparameter gleich helle Pixel auch gleich hell ausgegeben werden.
Die genannte Korrekturmatrix kann dabei, wie bereits angedeutet, statisch oder dynamisch sein. Im statischen Fall wird beispielsweise das Bild in zwei Bereich eingeteilt, von denen der erste die obere Bildhälfte und den mittleren Bereich der unteren Bildhälfte umfasst, und der zweite Bereich durch die verbleibenden Teile des Bildes gebildet wird. Dabei werden die Belichtungsparameter in der Weise gewählt, dass sich im zweiten Bereich kürzere Belichtungszeiten ergeben als im ersten Bereich. Dies ist insbesondere deswegen vorteilhaft, da es sich bei dem genannten ersten Bereich typischerweise um den Bereich des Horizonts und der Spur handelt, in dem dynamische, bewegte Objekte mit starken Kontrasten weniger zu erwarten sind als im zweiten genannten Bereich, der typischerweise den Fahrbahnrand in der näheren Umgebung des Fahrzeuges umfasst, in dem üblicherweise Verkehrszeichen, Fußgänger oder auch querende Fahrzeuge zu erwarten sind. Aufgrund der verkürzten Belich- tungszeit in dem genannten zweiten Bereich ist es möglich, die schnell bewegten Objekte in der näheren Fahrzeugumgebung dennoch scharf abzubilden; dies vor allem auch deswegen, weil diese Objekte üblicherweise vom Lichtkegel des Fahrzeugscheinwerfers erfasst oder zumindest gestreift werden und damit eine kürzere Belichtungszeit möglich wird.
In einer Alternative der Erfindung ist es ebenso möglich, eine sogenannte dynamische Korrekturmatrix zu verwenden. Hierzu werden die Belichtungsparameter für die einzelnen Bild- bereiche unter Verwendung der Bildinformationen selbst festgelegt und zyklisch angepasst. Dabei kann insbesondere der sogenannte optische Fluss zur Bestimmung der Belichtungsparameter für einen bestimmten Bildbereich herangezogen werden. Als Optischer Fluss wird in der Bildverarbeitung und in der optischen Messtechnik ein Vektorfeld bezeichnet, das die 2 D- Bewegungsrichtung und -Geschwindigkeit für jeden Bildpunkt einer Bildsequenz angibt. Der Optische Fluss kann somit als die auf die Bildebene projizierten Geschwindigkeitsvektoren von sichtbaren Objekten verstanden werden. Hierzu kann insbesondere ein Bild mit reduzierter Auflösung verwendet werden, um die auszuwertende Datenmenge für die Bestimmung des optischen Flusses gering zu halten und eine schnelle Signalverarbeitung zu er- möglichen; dabei kann auf Basis des gemessenen optischen Flusses in mindestens zwei zusammenhängenden Bereichen jeweils mit demselben Satz von Belichtungsparametern gearbeitet werden. Vorteilhaft hierbei ist es, dass eine szenenabhängige Anpassung der Belichtungsparameter möglich wird.
Die erfindungsgemäße Bilderfassungsvorrichtung zur Anwendung des vorstehend beschriebenen Verfahrens zeigt einen Bildsensor mit einer Mehrzahl von Pixeln sowie eine Steuereinheit zur Einstellung der Belichtungsparameter mindestens eines der Pixel. Dabei ist die Steuereinheit geeignet, zum selben Zeitpunkt für mindestens zwei der Pixel unterschiedliche Belichtungsparameter einzustellen.
Kurzbeschreibung der Zeichnung
Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausführungsformen näher erläutert.
Es zeigen:
Figur 1 ein exemplarisches, in zwei Bereiche unterteiltes Kamerabild;
Figur 2 ein Ablaufdiagramm zur Verdeutlichung des erfindungsgemäßen Verfahrens. Beschreibung von Ausführungsbeispielen
Figur 1 zeigt ein exemplarisches, mit der erfindungsgemäßen Bildaufnahmevorrichtung aufgenommenes Kamerabild, das in den schraffiert dargestellten ersten Bereich 1 und den zweiten Bereich 2 unterteilt ist. Dabei umfasst der erste Bereich 1 des Bildes diejenigen Be- reiche, in denen mit weniger schnell bewegten Objekten zu rechnen ist, also insbesondere den zentralen Bereich der Spur mit der Fahrbahn 4 sowie die obere Bildhälfte mit der Horizontlinie 5. Der zweite Bereich 2 umfasst die dem Fahrzeug näherliegenden Umgebungsbereiche der Spur mit dem Verkehrszeichen 3. Für jeden der beiden Bereiche 1 und 2 wird ein eigener Satz von Belichtungsparametern eingestellt. Dabei wird für den Bereich 2 ein Satz von Belichtungsparametern verwendet, der dazu führt, dass im Bereich 2 kürzere Belichtungszeiten zur Anwendung kommen als im Bereich 1. Dies führt dazu, dass die typischerweise gut ausgeleuchteten und schnell bewegten Objekte im Bereich 2 trotz der geschilderten hohen Dynamik in dem Bereich 2 mit einer gegenüber dem Bereich 1 erheblich reduzierten Bewegungsunschärfe abgebildet werden, so dass sich insgesamt für den Beobachter, d. h. dem Fahrzeugführer, ein optimiertes Bild ergibt. Die Optimierung besteht dabei insbesondere darin, dass im Bereich 1 aufgrund der dort möglichen längeren Belichtungszeiten auch dunklere Objekte noch mit einer ausreichenden Präzision erfasst und dem Benutzer dargestellt werden können. Dadurch wird der Informationsgehalt des von der Bilderfassungsvorrichtung erfassten und dem Fahrer dargestellten oder für eine Assistenzfunktion ausgewerte- ten Bildes erheblich erhöht, was im Ergebnis zu einer Verbesserung der Verkehrssicherheit führt.
Figur 2 zeigt in der Art eines Ablaufdiagramms exemplarisch das erfindungsgemäße Verfahren. Dabei werden in einem ersten Verfahrensschritt diejenigen Bildbereiche ermittelt, die zur Bestimmung des optischen Flusses geeignet sind. Hierfür kommen insbesondere solche Bildbereiche in Frage, in denen charakteristische Texturen vorhanden sind.
In einem zweiten Schritt werden dann diejenigen Bildbereiche festgelegt, für die aufgrund der dort ähnlichen Gegebenheiten ein einheitlicher Belichtungsparametersatz verwendet werden kann.
In einem nachfolgenden Schritt werden die entsprechenden Belichtungsparameter berechnet und in einem weiteren Schritt für die ausgewählten Bildbereiche eingestellt.
Nachfolgend wird das Bild aufgenommen und es wird eine Rückrechnung der auszugebenden Pixel auf absolute Helligkeiten auf Basis der eingestellten Belichtungsparameter vorgenommen, worauf die so erzeugten Bilddaten an ein Fahrerassistenzsystem zur Darstellung für den Fahrer oder zur weiteren Verarbeitung übergeben werden.
Danach kehrt das Verfahren zu Schritt 1 zurück.

Claims

Patentansprüche
1. Bilderfassungsverfahren für Kraftfahrzeuge, wobei mittels eines Bildsensors ein Bild der Umgebung des Fahrzeuges durch Pixel eines Bildsensors erfasst wird und wobei Belichtungsparameter mindestens eines Pixels des Bildsensors eingestellt werden, da- durch gekennzeichnet, dass zum selben Zeitpunkt für mindestens zwei der Pixel unterschiedliche Belichtungsparameter eingestellt werden.
2. Bilderfassungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Pixel in Zeilen oder Spalten angeordnet sind und für die Pixel mindestens zweier zusammen- hängender Bereiche einer Zeile bzw. Spalte jeweils unterschiedliche Belichtungsparameter eingestellt werden.
3. Bilderfassungsverfahren nach Anspruch 2 , dadurch gekennzeichnet, dass für jeden Pixel ein eigener Satz von Belichtungsparametern eingestellt wird.
4. Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Belichtungsparameter die Belichtungszeit verwendet wird.
5. Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekenn- zeichnet, dass als Belichtungsparameter die Belichtungskennlinie verwendet wird.
6. Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Bild in zwei Bereiche (1, 2) eingeteilt wird, von denen der erste Bereich (1) die obere Bildhälfte und den mittleren Bereich der unteren Bildhälfte umfasst und der zweite Bereich (2) durch die verbleibenden Teile des Bildes gebildet wird und die Belichtungsparameter in der Weise gewählt werden, dass sich im zweiten Bereich (2) kürzere Belichtungszeiten ergeben als im ersten Bereich (1).
7. Bilderfassungsverfahren nach einem der vorangehenden Ansprüche 1-5, dadurch gekennzeichnet, dass die Belichtungsparameter aus Bildinformationen gewonnen und zyklisch angepasst werden.
8. Bilderfassungsverfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Belichtungsparameter für mindestens einen Bildbereich unter Verwendung des gemessenen optischen Flusses in diesem Bildbereich ermittelt werden.
9. Bilderfassungsverfahren nach Anspruch 8, dadurch gekennzeichnet, dass zur Ermittlung der Belichtungsparameter unter Verwendung des optischen Flusses ein Bild mit reduzierter Auflösung verwendet wird.
10. Bilderfassungsverfahren nach einem der Ansprüche 8 oder 9, dadurch gekennzeichnet, dass mindestens eine Bildzeile auf Basis des gemessenen optischen Flusses in mindestens zwei zusammenhängende Bereiche mit jeweils dem selben Satz von Belichtungsparametern unterteilt wird.
11. Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Einstellung der Belichtungsparameter von einem Assistenzsystem, insbesondere einem ACC- oder Navigationssystem bereitgestellte Daten verwendet werden.
12. Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass bei der Ausgabe der aufgenommenen Pixel für eine Bildausgabeeinheit oder ein Fahrerassistenzsystem über eine Datenschnittstelle die aufgenommenen Intensitätswerte unter Berücksichtigung der Belichtungsparameter in der Weise in Grauwerte umgewandelt werden, dass trotz der unterschiedlichen Belichtungsparameter gleich helle Pixel gleich hell ausgegeben werden.
13. Bilderfassungsvorrichtung zur Erfassung eines Bildes aus der Umgebung eines Fahrzeuges, mit einem Bildsensor mit einer Mehrzahl von Pixeln und einer Steuereinheit zur Einstellung von Belichtungsparametern mindestens eines der Pixel, dadurch gekennzeichnet, dass die Steuereinheit geeignet ist, zum selben Zeitpunkt für mindestens zwei der Pixel unterschiedliche Belichtungsparameter einzustellen.
14. Bilderfassungsvorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass die Steuereinheit geeignet ist, das Verfahren nach einem der Ansprüche 1 bis 12 auszuführen.
PCT/EP2008/065264 2008-01-10 2008-11-11 Verfahren und vorrichtung zur bilderfassung für kraftfahrzeuge WO2009086970A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP08870334A EP2229770A1 (de) 2008-01-10 2008-11-11 Verfahren und vorrichtung zur bilderfassung für kraftfahrzeuge
US12/735,240 US20110007162A1 (en) 2008-01-10 2008-11-11 Method and device for image detection for motor vehicles

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008003800.8 2008-01-10
DE102008003800A DE102008003800A1 (de) 2008-01-10 2008-01-10 Verfahren und Vorrichtung zur Bilderfassung für Kraftfahrzeuge

Publications (1)

Publication Number Publication Date
WO2009086970A1 true WO2009086970A1 (de) 2009-07-16

Family

ID=40386338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/065264 WO2009086970A1 (de) 2008-01-10 2008-11-11 Verfahren und vorrichtung zur bilderfassung für kraftfahrzeuge

Country Status (4)

Country Link
US (1) US20110007162A1 (de)
EP (1) EP2229770A1 (de)
DE (1) DE102008003800A1 (de)
WO (1) WO2009086970A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017010567A1 (de) * 2017-10-16 2019-04-18 Thomas Jurkschat Filtersystem für eine kamera

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5622648B2 (ja) * 2011-04-14 2014-11-12 日立オートモティブシステムズ株式会社 画像処理装置
US9165196B2 (en) * 2012-11-16 2015-10-20 Intel Corporation Augmenting ADAS features of a vehicle with image processing support in on-board vehicle platform
US10258462B2 (en) * 2012-12-26 2019-04-16 Rainbow Medical Ltd. Accommodative intraocular lens
CN105555204B (zh) * 2013-05-21 2018-07-10 V-波有限责任公司 用于递送减小左房压力的装置的设备
WO2017043067A1 (ja) * 2015-09-11 2017-03-16 富士フイルム株式会社 走行支援装置及び走行支援装置による走行支援方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4332612A1 (de) * 1992-09-25 1994-04-07 Yazaki Corp Außenansichts-Überwachungsverfahren für Kraftfahrzeuge
WO1999033684A2 (en) * 1997-12-31 1999-07-08 Gentex Corporation Vehicle vision system
EP1361543A2 (de) * 2002-05-09 2003-11-12 Matsushita Electric Industrial Co., Ltd. Ermitteln einer Objektbewegung aus der Analyse des optischen Flusses
WO2006067005A1 (de) * 2004-12-20 2006-06-29 Robert Bosch Gmbh Vorrichtung und verfahren zur beeinflussung des auf einen bildsensor auftreffenden lichts
JP2007184814A (ja) * 2006-01-10 2007-07-19 Seiko Epson Corp 撮像素子及び撮像装置
DE102006028624A1 (de) * 2006-03-31 2007-10-04 Daimlerchrysler Ag Belichtungsadaptiver Bildsensor
WO2007134473A1 (de) * 2006-05-22 2007-11-29 Waeny Martin Bildaufnehmer mit lokaler adaptiver belichtungsregelung

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
DE10301898A1 (de) * 2003-01-17 2004-08-05 Robert Bosch Gmbh Verfahren zur Einstellung eines Bildsensors
DE10318499B4 (de) 2003-04-24 2007-12-20 Robert Bosch Gmbh Verfahren und Vorrichtung zur Einstellung eines Bildsensors
DE102004047476B4 (de) 2004-09-30 2014-05-08 Robert Bosch Gmbh Vorrichtung und Verfahren zur Einstellung einer Kamera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4332612A1 (de) * 1992-09-25 1994-04-07 Yazaki Corp Außenansichts-Überwachungsverfahren für Kraftfahrzeuge
WO1999033684A2 (en) * 1997-12-31 1999-07-08 Gentex Corporation Vehicle vision system
EP1361543A2 (de) * 2002-05-09 2003-11-12 Matsushita Electric Industrial Co., Ltd. Ermitteln einer Objektbewegung aus der Analyse des optischen Flusses
WO2006067005A1 (de) * 2004-12-20 2006-06-29 Robert Bosch Gmbh Vorrichtung und verfahren zur beeinflussung des auf einen bildsensor auftreffenden lichts
JP2007184814A (ja) * 2006-01-10 2007-07-19 Seiko Epson Corp 撮像素子及び撮像装置
DE102006028624A1 (de) * 2006-03-31 2007-10-04 Daimlerchrysler Ag Belichtungsadaptiver Bildsensor
WO2007134473A1 (de) * 2006-05-22 2007-11-29 Waeny Martin Bildaufnehmer mit lokaler adaptiver belichtungsregelung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAREK LULE ET AL: "Design and Fabrication of a High-Dynamic-Range Image Sensor in TFA Technology", IEEE JOURNAL OF SOLID-STATE CIRCUITS, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 34, no. 5, 1 May 1999 (1999-05-01), XP011061001, ISSN: 0018-9200 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017010567A1 (de) * 2017-10-16 2019-04-18 Thomas Jurkschat Filtersystem für eine kamera

Also Published As

Publication number Publication date
US20110007162A1 (en) 2011-01-13
DE102008003800A1 (de) 2009-07-16
EP2229770A1 (de) 2010-09-22

Similar Documents

Publication Publication Date Title
EP2384295B1 (de) Kameraanordnung und verfahren zur erfassung einer fahrzeugumgebung
EP1303768B1 (de) Verfahren zur sichtweitenbestimmung
DE10301469A1 (de) Infrarotbildverarbeitungsvorrichtung
DE102004060402A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Fahrzeuggeschwindigkeit
EP3488607B1 (de) Kameravorrichtung zur aufnahme eines umgebungsbereichs eines eigenen fahrzeugs sowie verfahren zur bereitstellung einer fahrerassistenzfunktion
DE102005055350A1 (de) Verfahren zur Steuerung der Gesichtsfeldgröße eines Videosystems und Videosystem für ein Kraftfahrzeug
DE19860676A1 (de) Visualisierungseinrichtung für die von wenigstens einem Scheinwerfer eines Fahrzeugs bewirkte Beleuchtung vor dem Fahrzeug
WO2009086970A1 (de) Verfahren und vorrichtung zur bilderfassung für kraftfahrzeuge
DE102013022076A1 (de) Verfahren zum Bestimmen einer Breite eines Zielfahrzeugs mittels eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP3046076A1 (de) Verfahren zum Kalibrieren einer Bilderfassungseinrichtung
DE10146786B4 (de) Einrichtung zur automatischen Schaltung von Beleuchtungseinrichtungen eines Fahrzeugs
DE102007025147A1 (de) System zur Spurverlassenswarnung und/oder Spurhaltefunktion
DE102008026876A1 (de) Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
DE102008054041B3 (de) Verfahren zur kombinierten Ausgabe eines Bildes und einer ein Verkehrszeichen betreffenden Information, sowie Kraftfahrzeug hierfür
DE102020125232A1 (de) Verfahren zur Farbkorrektur für ein Kamerasystem sowie ein Kamerasystem
DE102006037600A1 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
EP2562685B1 (de) Verfahren und Vorrichtung zur Klassifizierung eines sich in einem Vorfeld eines Fahrzeugs befindlichen Lichtobjekts
DE102014209863A1 (de) Verfahren und Vorrichtung zum Betreiben einer Stereokamera für ein Fahrzeug sowie Stereokamera für ein Fahrzeug
DE102008050456B4 (de) Verfahren und Vorrichtung zur Fahrspurerkennung
DE10318499B4 (de) Verfahren und Vorrichtung zur Einstellung eines Bildsensors
DE102008062154B4 (de) Steuerung eines Kamera-Systems eines Kraftfahrzeugs und Fahrerassistenzsystem
DE102022129805B3 (de) Verfahren zum Darstellen von symbolischen Fahrbahnmarkierungen auf einer Anzeigeeinheit eines Fahrzeugs sowie Anzeigesystem für ein Fahrzeug
DE102005000775B4 (de) Verfahren zur Überwachung eines Objektraumes von einem Kraftfahrzeug aus
DE102022116317A1 (de) Verfahren zur Detektion einer Verschmutzung auf einer Kamera eines Fahrzeugs, Kamera und Fahrerassistenzsystem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08870334

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008870334

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12735240

Country of ref document: US