WO2018114181A1 - Verfahren und vorrichtung zum auswerten eines bildes und bereitstellen der auswertung für ein fahrassistenzsystem eines fahrzeugs - Google Patents

Verfahren und vorrichtung zum auswerten eines bildes und bereitstellen der auswertung für ein fahrassistenzsystem eines fahrzeugs Download PDF

Info

Publication number
WO2018114181A1
WO2018114181A1 PCT/EP2017/080033 EP2017080033W WO2018114181A1 WO 2018114181 A1 WO2018114181 A1 WO 2018114181A1 EP 2017080033 W EP2017080033 W EP 2017080033W WO 2018114181 A1 WO2018114181 A1 WO 2018114181A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
evaluation
evaluating
assistance system
Prior art date
Application number
PCT/EP2017/080033
Other languages
English (en)
French (fr)
Inventor
Tobias Stumber
Steffen Brueggert
Matthias Wacker
Matthias Kirschner
Caroline Gerardon
Omar Alaa El-Din
Alvaro Marcos-Ramiro
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to US16/470,795 priority Critical patent/US11113549B2/en
Priority to JP2019552338A priority patent/JP2020513638A/ja
Priority to EP17821788.1A priority patent/EP3559856A1/de
Priority to CN201780079718.6A priority patent/CN110100248A/zh
Publication of WO2018114181A1 publication Critical patent/WO2018114181A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain

Definitions

  • the present invention relates to a method and a first device for
  • the present invention relates to a system for evaluating an image and providing the evaluation for a driver assistance system.
  • the inventive method for evaluating an image and providing the evaluation for a driving assistance system of a vehicle comprises a step of capturing the image, a step of determining an operating state of the image
  • Image evaluation method which is selected depending on the operating state of the vehicle of at least two possible image evaluation methods and a step of providing the evaluation of the image as data values for the driving assistance system.
  • the operating state of the vehicle may include a movement state of the vehicle, such as a speed and / or an acceleration and / or a yaw and / or pitch and / or roll angle.
  • the operating state an ambient condition of the vehicle, such as daytime and / or weather-related lighting conditions and / or a - in particular country-specific - location and / or
  • Traffic infrastructure characteristics state of the traffic route and / or type of
  • Traffic route [highway, country road, dirt road, etc.] and / or width of the
  • the driver assistance system of the vehicle an assistance system for lateral and / or steering control and / or a
  • assistance systems There are also other assistance systems that are not listed, possible.
  • the image represents an environment of the vehicle and the data values represent a description of at least one object in that environment.
  • This shows a particularly security-relevant advantages, since just objects in the environment of
  • Vehicle such as other road users (vehicles, pedestrians, etc.) and / or animals and / or traffic signs and / or in particular not permanently existing objects (lost objects, construction sites, etc.) have a significant impact on a safe operation of the vehicle, which is improved by the description of these objects.
  • the image is captured as at least one field, wherein the at least one field comprises a subset of image characteristics of the image.
  • the at least one field comprises a subset of image characteristics of the image.
  • Image properties are, for example, hues (red, green, blue, etc.) and / or
  • Gray values and / or structural values - in particular gradient values - of features contained in the image means that the subset has at least one image property less than the number of all
  • Image properties of the image is captured as at least two partial images, each of the at least two partial images comprising a different subset of image characteristics.
  • the evaluations of the at least two partial images can be mutually plausible.
  • a subset of the at least two subsets comprises gray values and a second of the at least two subsets comprises a color value.
  • the operating state of the vehicle includes at least one of the following states: speed of the vehicle, weather conditions in the vehicle
  • the evaluation is carried out by means of the at least one image evaluation method in such a way that the at least one image evaluation method comprises a first evaluation step and a second evaluation step, wherein at least one feature is classified by means of the first evaluation step by means of the subset of image properties in the at least one partial image and by means of second Ausensesch Ritts starting from the at least one classified feature the at least one object is determined.
  • the at least one object is a traffic sign and / or a
  • Pedestrian and / or another vehicle and / or animal are Pedestrian and / or another vehicle and / or animal.
  • the device according to the invention for evaluating an image and providing the evaluation for a driving assistance system of a vehicle comprises first means for acquiring the image, second means for determining an operating state of the image Vehicle, third means for evaluating the image by means of at least one
  • Image evaluation method which is selected depending on the operating state of the vehicle of at least two possible image evaluation methods and fourth means for providing the evaluation of the image as data values for the driving assistance system.
  • the first means and / or the second means and / or the third means and / or the fourth means are adapted to a method according to at least one of the method claims.
  • the system according to the invention for operating a vehicle comprises
  • Driver assistance system in particular a control unit, which is adapted to a driving assistance function according to at least one of the examples mentioned here
  • Figure 1 purely by way of example the device according to the invention
  • Figure 2 purely by way of example a vehicle comprising the device according to the invention and the system according to the invention.
  • FIG. 1 shows a device 1 10 for evaluating 330 an image and providing 340 the evaluation for a driving assistance system 140 of a vehicle 100 with first means 1 1 1 for capturing 310 the image and second means 1 12 for determining 320 an operating state of the vehicle 100 includes third funds 1 13 to
  • the first means 1 1 1 for detecting 310 an image are designed such that they can receive an image in the form of data values, for example from a camera system 130, and process accordingly. These include the first means 1 1 1, for example, a processor, memory and a storage device with appropriate programs.
  • the first means 1 1 1 are designed such that the image is detected as at least one partial image, wherein the at least one partial image comprises a subset of image properties of the image. This is done, for example, by detecting the image by means of a plurality of input channels, each input channel being adapted to capture a particular image characteristic of the image, and only passing the image characteristics of an input channel to the third means 13. Additionally and optionally, the first means 1 1 1 are designed to detect the image and / or the at least one partial image in such a way that the image and / or the at least one partial image is divided into image regions upon detection 310.
  • a single grid has a predetermined size and this size, for example, depends on the operating condition of the vehicle.
  • a grid has a size of 2 x 2 pixels, or 4 x 4 pixels.
  • a first input channel is designed, for example, to detect gray values with 8 to 16 bits and / or a second input channel is designed to detect and / or input the colors red and / or green and / or blue with 8 or 12 or 16 bits third Input channel is designed to detect gradient values.
  • each input channel corresponds to a filter which is designed to be a predetermined one
  • the image properties are thereby assigned, for example, to an image area of the image and / or the at least one subimage when capturing 310.
  • Gradient values are detected, for example, in that the image comprises an object-for example a round shape-with a specific color and / or gray-scale progression, and the slope of this curve-based on a predefined value
  • Coordinate system - is detected in a certain image area of the image by assigning the slope as a value to exactly this image area.
  • the first means 1 1 1 are designed such that the image is detected as at least two partial images, wherein each of the at least two partial images comprises a different subset of image properties. This is done, for example, by capturing the image by means of at least two input channels, each of the at least two input channels being opposite each other
  • Input channel is designed to capture a different image property.
  • the acquisition of the image properties by means of the input channels takes place, for example, by detecting the acquired image properties as data values, wherein the image properties are assigned to a specific image area of the image, and these data values are forwarded to the third means 13 and evaluated by the third means 13 can.
  • the second means 1 12 are designed to determine an operating state of the vehicle 100. This is done, for example, by the second means 1 12 being connected to a first sensor system 150, which comprises at least one sensor, wherein the first sensor system is designed to determine at least one movement state of the vehicle 100. Furthermore, the second means 1 12 is connected, for example, to a second sensor system 160, wherein the second sensor system is configured to detect an ambient condition of the vehicle 100.
  • the second sensor system 160 includes, for example, a camera and / or a radar sensor and / or an ultrasound sensor and / or a lidar sensor.
  • the second sensor system 160 includes, for example, a transmitting and / or receiving unit, which is designed for radio data connection of weather data and / or lighting conditions (dark, light, etc.) in the vicinity of the
  • Vehicle 100 to request and / or receive.
  • Receiving unit may also be designed such that they for transmitting and / or receiving to an already existing unit - for example, a
  • the second sensor system 160 includes
  • an environmental condition of the vehicle 100 is detected, for example, as - in brief - dark, by means of the
  • Navigation system is detected, which is located directly in front of the vehicle 100 in the direction of travel.
  • the second means 1 12 and / or the first sensor system 150 and / or the second sensor system 160 are designed for this purpose, for example by means of a processor, main memory and a memory device, which corresponding
  • Determination software includes the operating state of the vehicle 100, such as
  • a movement state and / or an environment state in the form of data values to capture and these data values to the third means 13 1
  • the third means 1 13 are adapted to the image and / or the at least one partial image by means of at least one image evaluation method, which depends on the operating state of the vehicle 100 of at least two possible
  • Image evaluation method is selected to evaluate.
  • the selection is made in such a way that predefined profiles are assigned to a specific operating state, which in turn are suitable for this operating state
  • Image evaluation methods include. For example, an image evaluation method is suitable at a speed of the vehicle up to a predetermined one
  • Another image evaluation method is suitable since, for example, it evaluates less details overall but also all the relevant details even at higher speeds.
  • One Another image evaluation method is suitable, for example, to evaluate the image and / or the at least one partial image by evaluating colors. If an ambient condition of the vehicle by means of the second means 1 12 determined as dark, now another image evaluation method is applied, which evaluates gray tones, for example, because the image and / or the at least one field - due to the dark environment - according to predetermined criteria too few color values include.
  • the evaluation 330 takes place by means of the at least one image evaluation method such that the at least one image evaluation method comprises a first evaluation step and a second evaluation step, wherein at least one feature is classified by means of the first evaluation step by means of the subset of image properties in the at least one partial image and by means of the second
  • Ausensesch Ritts starting from the at least one classified feature that at least one object is determined.
  • the first evaluation step comprises, for example, the following first partial steps (all partial steps of the first and / or second evaluation step are carried out in such a way that corresponding processing of data values takes place by means of suitable software, including the image and / or the at least one partial image and / or represented by the first means 1 1 1 edited versions thereof, without this being explicitly mentioned at each step):
  • a cell comprises at least one image area, wherein a plurality of image areas can also be linked to one cell;
  • results of the aggregation are stored as internal intermediate images by storing all cells.
  • the cells are stored by means of the first set of functions, and one or more features are classified. For example, if the at least one object in the vicinity of the vehicle 100 is a traffic sign, the following features are classified: closed and round, outside red and inside white, inside the white area are black symbols.
  • the classification is carried out, for example, by means of at least one of the following methods:
  • ACF cell a cell evaluated according to this method is called an ACF cell
  • the second evaluation step comprises, for example, the following substeps:
  • each of the levels evaluates each cell and / or each image area according to predetermined criteria in more detail than the level before. If all stages have been evaluated, there is a possible object at the current position in the picture and / or in at least one sub-picture, ie in the current cell and / or in the current image area.
  • Image areas is known whether a possible object is present or not.
  • Example will be based on the first
  • Evaluation step exemplary features mentioned, - according to the German StVO - recognized a traffic sign, which a
  • Speed limit indication represented After carrying out the first and / or second evaluation steps, data values which represent the evaluation of the image are forwarded to the fourth means 14.
  • the forwarded data values now represent, for example, the information that in the surroundings of the vehicle 100 there is a speed limit with a certain maximum speed.
  • the fourth means 1 14 are designed to provide the evaluation of the image as data values for the driver assistance system 140.
  • the fourth means comprise, for example, a processor, main memory and a memory device and are designed to rewrite and / or modify the data values received from the third means 13 in such a way that they can be processed by the driving assistance system 140, for example the data format, depending on the corresponding driver assistance system 140, is adjusted.
  • FIG. 2 shows a vehicle 100, which comprises a system 120 for operating the vehicle 100. This comprises a camera system 130 for capturing at least one image, a device 110 for evaluating 330 the at least one image and providing 340 the evaluation for a driving assistance system 140 of the vehicle 100 and the driving assistance system 140 for executing a driving assistance function for operating the vehicle 100.
  • the camera system 130 includes, for example, a monocamera and / or a stereo camera and / or both, and is configured to capture images of an environment of the vehicle 100.
  • the camera system 130 can be arranged such that a recording of the environment in any direction, starting from the vehicle 100, is possible.
  • the camera system 130 includes a plurality of cameras (mono and / or stereo cameras) such that an image of the environment comprising more than one direction from the vehicle (front, back, left, right) is included.
  • the camera system 130 is further configured to forward a captured image in the form of data values to the device 110 for evaluating 330 the image and providing 340 the evaluation for a driving assistance system 140.
  • the device 110 for evaluating 330 the image and providing 340 the evaluation for a driving assistance system 140 of the vehicle 100 is designed to capture the image in the form of data values, an evaluation of the image, depending on one Operating state of the vehicle 100, perform and the evaluation, which
  • the determining 320 of the operating state of the vehicle 100 takes place, for example, by means of a first sensor system 150, which comprises at least one sensor, wherein the first sensor system is designed to at least one
  • the determination 320 of the operating state takes place, for example, by means of a second sensor system, which is designed to detect an ambient state of the vehicle 100.
  • the second sensor system 160 includes, for example, a camera and / or a radar sensor and / or an ultrasound sensor and / or a lidar sensor.
  • the second sensor system 160 is configured such that it does not include its own sensors, but instead accesses sensors already included in the vehicle 100 that do not belong to the system 120. This may likewise be, for example, a camera and / or a radar sensor and / or an ultrasound sensor and / or a lidar sensor. In a further embodiment, the second sensor system 160 additionally or optionally includes a transmitting and / or receiving unit, which is designed to per
  • the system 120 further includes a driver assistance system 120 configured to receive data values representing information about at least one object in the environment of the object.
  • the driver assistance system 140 is further configured to operate the vehicle 100 depending on these data values.
  • the driver assistance system 140 is configured in such a way that the vehicle 100 does not operate directly, but rather drives already existing control units in the vehicle 100.
  • FIG. 3 shows an embodiment of the inventive method 300 for evaluating an image and providing the evaluation for a driving assistance system 140 of a vehicle 100 in the form of a flowchart.
  • step 310 an image captured by, for example, a camera system 130 is captured.
  • step 320 an operating condition of the vehicle 100 is determined.
  • the two steps 310 and 320 can also take place in the reverse order of succession, the sequence depending, for example, on the design of the device 110 and / or on a presetting made, for example, by a manufacturer or an operator of the vehicle 100. If step 320 is first carried out, the first means 1 1 1 for capturing the image may, for example, be embodied such that the capturing 310 of the image already takes place depending on the operating state of the vehicle 100.
  • step 330 the image is evaluated.
  • step 340 the evaluation of the image as data values for the

Abstract

Verfahren (300) und Vorrichtung (110) zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem (140) eines Fahrzeugs (100) mit einem Schritt des Erfassens (310) des Bildes, einem Schritt des Bestimmens (320) eines Betriebszustands des Fahrzeugs (100), einem Schritt des Auswertens (330) des Bildes mittels wenigstens einem Bildauswerteverfahren, welches abhängig von dem Betriebszustand des Fahrzeugs (100) von wenigstens zwei möglichen Bildauswerteverfahren ausgewählt wird und einem Schritt des Bereitstellens (340) der Auswertung des Bildes als Datenwerte für das Fahrassistenzsystem (140).

Description

Beschreibung
Titel
Verfahren und Vorrichtung zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsvstem eines Fahrzeugs
Die vorliegende Erfindung betrifft ein Verfahren sowie eine erste Vorrichtung zum
Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem eines Fahrzeugs, wobei die Auswertung abhängig von einem Betriebszustand des Fahrzeugs erfolgt. Weiterhin betrifft die vorliegende Erfindung ein System zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem.
Offenbarung der Erfindung
Das erfindungsgemäße Verfahren zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem eines Fahrzeugs umfasst einen Schritt des Erfassens des Bildes, einen Schritt des Bestimmens eines Betriebszustands des
Fahrzeugs, einen Schritt des Auswertens des Bildes mittels wenigstens einem
Bildauswerteverfahren, welches abhängig von dem Betriebszustand des Fahrzeugs von wenigstens zwei möglichen Bildauswerteverfahren ausgewählt wird und einen Schritt des Bereitstellens der Auswertung des Bildes als Datenwerte für das Fahrassistenzsystem.
Dies hat den Vorteil, dass aufgrund der gezielten Auswahl wenigstens eines
Bildauswerteverfahrens, welches abhängig von dem Betriebszustand des Fahrzeugs von wenigstens zwei möglichen Bildauswerteverfahren ausgewählt wird, die Auswertung des Bildes sehr schnell und effizient durchgeführt wird, da nicht alle Bildauswerteverfahren in einer beliebigen Reihenfolge durchgeführt werden.
Dies ist besonders vorteilhaft, wenn es sich bei dem Fahrzeug um ein teil-, hoch- oder vollautomatisiertes Fahrzeug handelt, da hier die Fahrassistenzsysteme von einer schnellen und effizient durchgeführten Auswertung eines Bildes besonders abhängig sind, um ein sicheres Betreiben des Fahrzeugs zu gewährleisten, wobei im Rahmen des erfindungsgemäßen Verfahrens unter einem Fahrzeug sowohl ein automatisiertes Fahrzeug als auch ein manuell betriebenes Fahrzeug oder ein per Funkverbindung gesteuertes Fahrzeug verstanden werden kann. Im Rahmen des erfindungsgemäßen Verfahrens kann der Betriebszustand des Fahrzeugs einen Bewegungszustand des Fahrzeugs, wie beispielsweise eine Geschwindigkeit und/oder eine Beschleunigung und/oder einen Gier- und/oder Nick- und/oder Rollwinkel umfassen. Weiterhin kann der Betriebszustand einen Umgebungszustand des Fahrzeugs, wie beispielsweise tageszeit- und/oder wetterbedingte Lichtverhältnisse und/oder einen - insbesondere länderspezifischen - Aufenthaltsort und/oder
Verkehrsinfrastrukturmerkmale (Zustand des Verkehrsweges und/oder Typ des
Verkehrsweges [Autobahn, Landstraße, Feldweg, etc.] und/oder Breite des
Verkehrsweges) umfassen. Im Rahmen des erfindungsgemäßen Verfahrens kann das Fahrassistenzsystem des Fahrzeugs ein Assistenzsystem zur Quer- und/oder Lenksteuerung und/oder ein
Assistenzsystem zur Navigation und/oder - insbesondere hochgenauen - Lokalisierung des Fahrzeugs und/oder ein Assistenzsystem zur Informationsbereitstellung - beispielsweise für einen Betreiber des Fahrzeugs - und/oder ein Assistenzsystem zur - insbesondere sicherheitsbedingten - Überwachung des Fahrzeugs und/oder der Insassen des Fahrzeugs sein. Es sind ebenfalls weitere Assistenzsysteme, die nicht aufgezählt werden, möglich.
Vorzugsweise repräsentiert das Bild eine Umgebung des Fahrzeugs und die Datenwerte eine Beschreibung wenigstens eines Objekts in dieser Umgebung. Hierin zeigen sich ein besonders sicherheitsrelevante Vorteile, da gerade Objekte in der Umgebung des
Fahrzeugs, wie beispielsweise andere Verkehrsteilnehmer (Fahrzeuge, Fußgänger, etc.) und/oder Tiere und/oder Verkehrszeichen und/oder insbesondere nicht dauerhaft vorhandene Objekte (verlorene Gegenstände, Baustellen, etc.) einen erheblichen Einfluss auf ein sicheres Betreiben des Fahrzeugs haben, welches durch die Beschreibung dieser Objekte verbessert wird.
Vorzugsweise wird das Bild als wenigstens ein Teilbild erfasst, wobei das wenigstens eine Teilbild eine Untermenge an Bildeigenschaften des Bildes umfasst. Hierin zeigt sich der Vorteil, dass das Auswerten des wenigstens einen Teilbildes schneller erfolgt, als die Auswertung des vollständigen Bildes, da in den meisten Fällen die von dem wenigstens einen Teilbild umfassten Informationen ausreichen, um das wenigstens eine Objekt in der Umgebung des Fahrzeugs zu beschreiben.
Bildeigenschaften sind beispielsweise Farbtöne (Rot, Grün, Blau, etc.) und/oder
Grauwerte und/oder Strukturwerte - insbesondere Gradientenwerte - von im Bild enthaltenen Merkmalen. Eine Untermenge an Bildeigenschaften bedeutet, dass die Untermenge wenigstens eine Bildeigenschaft weniger als die Anzahl aller
Bildeigenschaften des Bildes umfasst. Vorzugsweise wird das Bild als wenigstens zwei Teilbilder erfasst, wobei jedes der wenigstens zwei Teilbilder eine unterschiedliche Teilmenge an Bildeigenschaften umfasst. Hierin zeigt sich der Vorteile, dass das Auswerten der wenigstens zwei Teilbilder schneller erfolgt, als die Auswertung des vollständigen Bildes, wobei sich die wenigstens zwei Teilbilder derart ergänzen können, dass das wenigstens eine Objekt schneller und/oder genauer beschrieben wird. Zudem können sich die Auswertungen der wenigstens zwei Teilbilder gegenseitig plausibilisieren. Beispielsweise umfasst eine Teilmenge der wenigstens zwei Teilmengen Grauwerte und eine zweite der wenigstens zwei Teilmengen einen Farbwert. Vorzugsweise umfasst der Betriebszustand des Fahrzeugs wenigstens einen der folgenden Zustände: Geschwindigkeit des Fahrzeugs, Wetterverhältnisse in der
Umgebung des Fahrzeugs, Lichtverhältnisse in der Umgebung des Fahrzeugs.
Vorzugsweise erfolgt das Auswerten mittels dem wenigstens einen Bildauswerteverfahren derart, dass das wenigstens eine Bildauswerteverfahren einen ersten Auswertesch ritt und einen zweiten Auswertesch ritt umfasst, wobei mittels des ersten Auswerteschritts mittels der Untermenge an Bildeigenschaften in dem wenigstens einen Teilbild wenigstens ein Merkmal klassifiziert wird und mittels des zweiten Auswertesch ritts ausgehend von dem wenigstens einen klassifizierten Merkmal das wenigstens eine Objekt bestimmt wird.
Vorzugsweise ist das wenigstens eine Objekt ein Verkehrszeichen und/oder ein
Fußgänger und/oder ein anderes Fahrzeug und/oder ein Tier.
Die erfindungsgemäße Vorrichtung zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem eines Fahrzeugs umfasst erste Mittel zum Erfassen des Bildes, zweite Mittel zum Bestimmen eines Betriebszustands des Fahrzeugs, dritte Mittel zum Auswerten des Bildes mittels wenigstens einem
Bildauswerteverfahren, welches abhängig von dem Betriebszustand des Fahrzeugs von wenigstens zwei möglichen Bildauswerteverfahren ausgewählt wird und vierte Mittel zum Bereitstellen der Auswertung des Bildes als Datenwerte für das Fahrassistenzsystem.
Vorzugsweise sind die ersten Mittel und/oder die zweiten Mittel und/oder die dritten Mittel und/oder die vierten Mittel dazu ausgebildet, ein Verfahren gemäß wenigstens einem der Verfahrensansprüche. Das erfindungsgemäße System zum Betreiben eines Fahrzeugs umfasst ein
Kamerasystem zum Aufnehmen wenigstens eines Bildes, eine Vorrichtung gemäß einem der Vorrichtungsansprüche und ein Fahrassistenzsystem zum Ausführen einer
Fahrassistenzfunktion. Im Rahmen des erfindungsgemäßen Systems handelt es sich bei dem
Fahrassistenzsystem insbesondere um ein Steuergerät, welches dazu ausgebildet ist eine Fahrassistenzfunktion gemäß wenigstens einem der hier genannten Beispiele
auszuführen. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben und in der Beschreibung aufgeführt.
Zeichnungen Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in den nachfolgenden Beschreibungen näher erläutert. Es zeigen:
Figur 1 rein beispielhaft die erfindungsgemäße Vorrichtung; Figur 2 rein beispielhaft ein Fahrzeug, welches die erfindungsgemäße Vorrichtung sowie das erfindungsgemäße System umfasst; und
Figur 3 rein beispielhaft ein Ausführungsbeispiel in Form eines Ablaufdiagramms. Ausführungsformen der Erfindung
Figur 1 zeigt eine Vorrichtung 1 10 zum Auswerten 330 eines Bildes und Bereitstellen 340 der Auswertung für ein Fahrassistenzsystem 140 eines Fahrzeugs 100 mit ersten Mittel 1 1 1 zum Erfassen 310 des Bildes und zweiten Mittel 1 12 zum Bestimmen 320 eines Betriebszustands des Fahrzeugs 100. Sie umfasst weiterhin dritte Mittel 1 13 zum
Auswerten 330 des Bildes mittels wenigstens einem Bildauswerteverfahren, welches abhängig von dem Betriebszustand des Fahrzeugs 100 von wenigstens zwei möglichen Bildauswerteverfahren ausgewählt wird und vierte Mittel 1 14 zum Bereitstellen 340 der Auswertung des Bildes als Datenwerte für das Fahrassistenzsystem 140.
Die ersten Mittel 1 1 1 zum Erfassen 310 eines Bildes sind dabei derart ausgebildet, das diese ein Bild in Form von Datenwerten, beispielsweise von einem Kamerasystem 130, empfangen und entsprechend verarbeiten können. Dazu umfassen die ersten Mittel 1 1 1 , beispielsweise einen Prozessor, Arbeitsspeicher und eine Speichervorrichtung mit entsprechenden Programmen.
In einer Ausführungsform sind die ersten Mittel 1 1 1 derart ausgebildet, dass das Bild als wenigstens ein Teilbild erfasst wird, wobei das wenigstens eine Teilbild eine Untermenge an Bildeigenschaften des Bildes umfasst. Dies erfolgt beispielsweise indem das Bild mittels mehrerer Eingangskanäle erfasst wird, wobei jeder Eingangskanal dazu ausgebildet ist, eine bestimmte Bildeigenschaft des Bildes zu erfassen, und nur die Bildeigenschaften eines Eingangskanals an die dritten Mittel 1 13 weitergeleitet werden. Zusätzlich und optional sind die ersten Mittel 1 1 1 ausgebildet, das Bild und/oder das wenigstens eine Teilbild derart zu erfassen, dass das Bild und/oder das wenigstens eine Teilbild beim Erfassen 310 in Bildbereiche aufgeteilt wird. Dies erfolgt beispielsweise mittels einer Rasterung des Bildes, wobei ein einzelnes Raster eine vorgegebene Größe besitzt und diese Größe beispielsweise von dem Betriebszustand des Fahrzeugs abhängt. Ein Raster hat beispielsweise eine Größe von 2 x 2 Pixel, oder 4 x 4 Pixel.
Grundsätzlich sind viele verschiedene Größen und Formen (Quadrate, Rechtecke, etc.) denkbar, die eine sinnvolle Rasterung ermöglichen.
Ein erster Eingangskanal ist beispielsweise dazu ausgebildet, Grauwerte mit 8 bis 16 Bit zu erfassen und/oder ein zweiter Eingangskanal ist dazu ausgebildet, die Farben Rot und/oder Grün und/oder Blau mit 8 oder 12 oder 16 Bit zu erfassen und/oder ein dritter Eingangskanal ist dazu ausgebildet, Gradientenwerte zu erfassen. Somit entspricht jeder Eingangskanal einem Filter, welcher dazu ausgebildet ist eine vorgegebene
Bildeigenschaft herauszufiltern. Die Bildeigenschaften werden dabei beim Erfassen 310 beispielsweise einem Bildbereich des Bildes und/oder des wenigstens einen Teilbildes zugeordnet.
Gradientenwerte werden beispielsweise erfasst, indem das Bild ein Objekt - beispielsweise eine runde Form - mit einem bestimmten Färb- und/oder Grauwertverlauf umfasst und die Steigung dieses Verlauf - bezogen auf ein vorgegebenes
Koordinatensystem - in einem bestimmten Bildbereich des Bildes erfasst wird, indem genau diesem Bildbereich die Steigung als Wert zugeordnet wird.
In einer weiteren Ausführungsform sind die ersten Mittel 1 1 1 derart ausgebildet, dass das Bild als wenigstens zwei Teilbilder erfasst wird, wobei jedes der wenigstens zwei Teilbilder eine unterschiedliche Teilmenge an Bildeigenschaften umfasst. Dies erfolgt beispielsweise, indem das Bild mittels wenigstens zwei Eingangskanälen erfasst wird, wobei jeder der wenigstens zwei Eingangskanäle gegenüber jedem anderen
Eingangskanal dazu ausgebildet ist, eine andere Bildeigenschaft zu erfassen. Das Erfassen der Bildeigenschaften mittels der Eingangskanäle erfolgt beispielsweise, indem die erfassten Bildeigenschaften als Datenwerte derart erfasst werden, wobei die Bildeigenschaften einem bestimmten Bildbereich des Bildes zugeordnet werden, dass diese Datenwerte an die dritten Mittel 1 13 weitergeleitet und mittels der dritten Mittel 1 13 ausgewertet werden können.
Die zweiten Mittel 1 12 sind dazu ausgebildet, einen Betriebszustand des Fahrzeugs 100 zu bestimmen. Dies erfolgt beispielsweise, indem die zweiten Mittel 1 12 mit einem ersten Sensorsystem 150, welches wenigstens einen Sensor umfasst, verbunden ist, wobei das erste Sensorsystem dazu ausgebildet ist, wenigstens einen Bewegungszustand des Fahrzeugs 100 zu bestimmen. Weiterhin sind die zweiten Mittel 1 12 beispielsweise mit einem zweiten Sensorsystem 160 verbunden ist, wobei das zweite Sensorsystem dazu ausgebildet ist, einen Umgebungszustand des Fahrzeugs 100 zu erfassen. Dazu umfasst das zweite Sensorsystem 160 beispielsweise eine Kamera und/oder einen Radarsensor und/oder einen Ultraschallsensor und/oder einen Lidarsensor. ln einer weiteren Ausführungsform umfasst das zweite Sensorsystem 160 beispielsweise eine Sende- und/oder Empfangseinheit, welche dazu ausgebildet ist per Funkverbindung Wetterdaten und/oder Lichtverhältnisse (dunkel, hell, etc.) in der Umgebung des
Fahrzeugs 100 anzufordern und/oder zu empfangen. Die Sende- und/oder
Empfangseinheit kann auch derart ausgebildet sein, dass sie zum Senden und/oder Empfangen auf eine bereits bestehende Einheit - beispielsweise auf ein
Navigationssystem und/oder per Bluetooth mittels Smartphone, welches sich im Fahrzeug 100 befindet - zugreift. In einer weiteren Ausführungsform umfasst das zweite Sensorsystem 160 ein
Navigationssystem oder ist derart ausgebildet, auf ein bereits vorhandenes
Navigationssystem im Fahrzeug 100 zuzugreifen. Dabei wird ein Umgebungszustand des Fahrzeugs 100 beispielsweise als - in Kürze - dunkel erfasst, indem mittels des
Navigationssystems ein Tunnel erkannt wird, welcher sich unmittelbar in Fahrtrichtung vor dem Fahrzeug 100 befindet.
Weiterhin sind die zweiten Mittel 1 12 und/oder das erste Sensorsystem 150 und/oder das zweite Sensorsystem 160 dazu ausgebildet, beispielsweise mittels einem Prozessor, Arbeitsspeicher und einer Speichervorrichtung, welche entsprechende
Bestimmungssoftware umfasst, den Betriebszustand des Fahrzeugs 100, wie
beispielsweise einen Bewegungszustand und/oder einen Umgebungszustand, in Form von Datenwerten zu erfassen und diese Datenwerte an die dritten Mittel 1 13
weiterzuleiten. Die dritten Mittel 1 13 sind dazu ausgebildet, das Bild und/oder das wenigstens eine Teilbild mittels wenigstens einem Bildauswerteverfahren, welches abhängig von dem Betriebszustand des Fahrzeugs 100 von wenigstens zwei möglichen
Bildauswerteverfahren ausgewählt wird, auszuwerten. Dabei erfolgt die Auswahl beispielsweise derart, dass einem bestimmten Betriebszustand vorgegebene Profile zugeordnet sind, die wiederum zu diesem Betriebszustand passende
Bildauswerteverfahren umfassen. Beispielsweise ist ein Bildauswerteverfahren geeignet bei einer Geschwindigkeit des Fahrzeugs bis zu einer vorgegebenen
Maximalgeschwindigkeit das Bild und/oder das wenigstens eine Teilbild schnell und korrekt auszuwerten. Über der vorgegebenen Maximalgeschwindigkeit eignet sich ein anderes Bildauswerteverfahren, da dieses beispielsweise weniger Details insgesamt, dafür aber alle relevante Details auch bei höheren Geschwindigkeiten auswertet. Ein weiteres Bildauswerteverfahren ist beispielsweise geeignet, das Bild und/oder das wenigstens eine Teilbild auszuwerten, indem Farben ausgewertet werden. Wird ein Umgebungszustand des Fahrzeugs mittels der zweiten Mittel 1 12 als dunkel bestimmt, wird nun ein anderes Bildauswerteverfahren angewendet, welches beispielsweise Grautöne auswertet, da das Bild und/oder das wenigstens eine Teilbild - bedingt durch die dunkle Umgebung - nach vorgegebenen Kriterien zu wenig Farbwerte umfassen.
In einer Ausführungsform erfolgt das Auswerten 330 mittels dem wenigstens einen Bildauswerteverfahren derart, dass das wenigstens eine Bildauswerteverfahren einen ersten Auswertesch ritt und einen zweiten Auswertesch ritt umfasst, wobei mittels des ersten Auswerteschritts mittels der Untermenge an Bildeigenschaften in dem wenigstens einen Teilbild wenigstens ein Merkmal klassifiziert wird und mittels des zweiten
Auswertesch ritts ausgehend von dem wenigstens einen klassifizierten Merkmal das wenigstens eine Objekt bestimmt wird.
Der erste Auswerteschritt umfasst beispielsweise folgende erste Teilschritte (dabei werden alle Teilschritte - des ersten und/oder zweiten Auswerteschritts - derart ausgeführt, dass mittels geeigneter Software ein entsprechendes Verarbeiten von Datenwerten erfolgt, welche das Bild und/oder das wenigstens eine Teilbild und/oder bereits mittels der ersten Mittel 1 1 1 bearbeitete Versionen davon repräsentieren, ohne dass dies bei jedem Schritt explizit erwähnt wird):
- Aus den Eingangskanälen werden Zellen aufgebaut. Hierbei werden die einzelnen Werte (Farbwerte, Grauwerte, Gradientenwerte, etc.) der Eingangskanäle, welche innerhalb eines Bildbereichs vorliegen, aggregiert und - falls mehrerer Werte innerhalb eines Bildbereichs umfasst werden - ein Mittelwert daraus gebildet und das Ergebnis einer Zelle zugeordnet. Eine Zelle umfasst dabei wenigstens einen Bildbereich, wobei auch mehrere Bildbereiche zu einer Zelle verknüpft werden können;
- Die Ergebnisse der Aggregation werden als interne Zwischenbilder abgelegt, indem alle Zellen abgespeichert werden; und
- Ausgehend von den internen Zwischenbildern werden mittels des ersten Satzes von Funktionen, die abgespeicherten Zellen ausgewertet und ein oder mehrere Merkmale klassifiziert. Beispielsweise werden - falls es sich bei dem wenigstens einen Objekt in der Umgebung des Fahrzeugs 100 um ein Verkehrszeichen handelt - folgende Merkmale klassifiziert: geschlossene und runde Form, außen rot und innen weiß, innerhalb des weißen Bereichs befinden sich schwarze Symbole.
Die Klassifikation erfolgt beispielsweise mittels wenigstens einer der folgenden Methoden:
- ACF (Aggregate Channel Features): einfacher Zugriff auf eine der Zellen und
Abgleich mit hinterlegten Merkmalen (beispielsweise auf der Speichervorrichtung der dritten Mittel 1 13); eine entsprechend dieser Methode ausgewertete Zelle wird als ACF-Zelle bezeichnet;
- FCF (Filter Channel Features): Linearkombination verschiedener ACF-Zellen aus dem gleichen Eingangskanal oder aus unterschiedlichen Eingangskanälen;
- CBF (Checkerboard Features): gewichtete Linearkombination aus verschiedenen ACF-Zellen aus dem gleichen Eingangskanal oder aus unterschiedlichen
Eingangskanälen; und
- SeSi (Seif Similiarity Features): Dopplung der Zugriffe aller vorab genannten
Methoden (ACF, FCF, CBF) an zwei verschiedenen Positionen und (gewichtete)
Linearkombination der Ergebnisse.
Der zweite Auswertesch ritt umfasst beispielsweise folgende Teilschritte:
- Die im zuvor ausgeführten ersten Auswertesch ritt klassifizierten Merkmale werden miteinander verknüpft.
- Die Verknüpfung der klassifizierten Merkmale wird bezogen auf Bildbereiche
und/oder Zellen stufenweise ausgewertet, wobei nach jeder Auswertestufe nach vorgegeben Kriterien entschieden wird, ob die stufenweise Auswertung mit einer weiteren Stufe abgebrochen oder fortgeführt wird. Jede der Stufen wertet dabei jede Zelle und/oder jeden Bildbereich nach vorgegebenen Kriterien detaillierter aus, als die Stufe zuvor. Wenn alle Stufen Auswertung durchlaufen sind, befindet sich an der aktuellen Position im Bild und/oder im wenigstens einen Teilbild - also in der aktuellen Zelle und/oder im aktuellen Bildbereich ein mögliches Objekt.
- Der vorangegangene Teilschritt wird wiederholt, bis für alle Zellen und/oder
Bildbereiche bekannt ist, ob ein mögliches Objekt vorliegt oder nicht.
- Mittels Abgleich mit bereits hinterlegten Texturinformationen, werden die
möglichen Objekte bestimmt. Beispielswerde anhand der im ersten
Auswerteschritt beispielshaft genannten Merkmalen, - entsprechend der deutschen StVO - ein Verkehrszeichen erkannt, welches eine
Geschwindigkeitsbegrenzungsangabe repräsentiert. Nach Ausführen des ersten und/oder zweiten Auswertesch ritts werden Datenwerte, welche die Auswertung des Bildes repräsentieren, an die vierten Mittel 1 14 weitergeleitet. Dabei repräsentieren die weitergeleiteten Datenwerte nun beispielsweise die Information, dass in der Umgebung des Fahrzeugs 100 eine Geschwindigkeitsbegrenzung mit einer bestimmten Maximalgeschwindigkeit gilt.
Die vierte Mittel 1 14 sind dazu ausgebildet, die Auswertung des Bildes als Datenwerte für das Fahrassistenzsystem 140, bereitzustellen. Dazu umfassen die vierten Mittel beispielsweise einen Prozessor, Arbeitsspeicher und eine Speichervorrichtung und sind dazu ausgebildet die von den dritten Mitteln 1 13 empfangenen Datenwerte derart umzuschreiben und/oder zu verändern, dass diese von dem Fahrassistenzsystem 140 verarbeitet werden können, wobei dazu beispielsweise das Datenformat, abhängig von dem entsprechenden Fahrassistenzsystem 140, angepasst wird. Figur 2 zeigt ein Fahrzeug 100, welches ein System 120 zum Betreiben des Fahrzeugs 100 umfasst. Dieses umfasst ein Kamerasystem 130 zum Aufnehmen wenigstens eines Bildes, eine Vorrichtung 1 10 zum Auswerten 330 des wenigstens einen Bildes und Bereitstellen 340 der Auswertung für ein Fahrassistenzsystem 140 des Fahrzeugs 100 und das Fahrassistenzsystem 140 zum Ausführen einer Fahrassistenzfunktion zum Betreiben des Fahrzeugs 100. Das Kamerasystem 130 umfasst beispielsweise eine Monokamera und/oder eine Stereokamera und/oder beides und ist dazu ausgebildet, Bilder einer Umgebung des Fahrzeugs 100 aufzunehmen. Das Kamerasystem 130 kann dabei derart angeordnet sein, dass eine Aufnahme der Umgebung in jede beliebige Blickrichtung, ausgehend vom Fahrzeug 100, möglich ist.
In einer Ausführungsform umfasst das Kamerasystem 130 mehrere Kamera (Mono- und/oder Stereokameras) derart, dass eine Aufnahme der Umgebung, welche mehr als eine Richtung ausgehend vom Fahrzeug (vorne, hinten, links, rechts), umfasst. Das Kamerasystem 130 ist weiterhin dazu ausgebildet, ein aufgenommenes Bild in Form von Datenwerten an die Vorrichtung 1 10 zum Auswerten 330 des Bildes und Bereitstellen 340 der Auswertung für ein Fahrassistenzsystem 140 weiterzuleiten.
Die Vorrichtung 1 10 zum Auswerten 330 des Bildes und Bereitstellen 340 der Auswertung für ein Fahrassistenzsystem 140 des Fahrzeugs 100, ist dazu ausgebildet das Bild in Form von Datenwerten zu erfassen, eine Auswertung des Bildes, abhängig von einem Betriebszustand des Fahrzeugs 100, durchzuführen und die Auswertung, welche
Informationen zu wenigstens einem Objekt in der Umgebung des Objekts repräsentiert, an das Fahrassistenzsystem 140 weiterzuleiten. Das Bestimmen 320 des Betriebszustands des Fahrzeugs 100 erfolgt beispielsweise mittels eines ersten Sensorsystems 150, welches wenigstens einen Sensor umfasst, wobei das erste Sensorsystem dazu ausgebildet ist, wenigstens einen
Bewegungszustand des Fahrzeugs 100 zu bestimmen. Weiterhin erfolgt das Bestimmen 320 des Betriebszustands beispielsweise mittels eines zweiten Sensorsystems, welches dazu ausgebildet ist, einen Umgebungszustand des Fahrzeugs 100 zu erfassen. Dazu umfasst das zweite Sensorsystem 160 beispielsweise eine Kamera und/oder einen Radarsensor und/oder einen Ultraschallsensor und/oder einen Lidarsensor.
In einer weiteren Ausführungsform ist das zweite Sensorsystem 160 derart ausgebildet, dass keine eigenen Sensoren umfasst werden, sondern auf bereits vom Fahrzeug 100 umfasste Sensoren, welche nicht zum System 120 gehören, zugegriffen wird. Hierbei kann es sich ebenfalls beispielsweise um eine Kamera und/oder einen Radarsensor und/oder einen Ultraschallsensor und/oder einen Lidarsensor handeln. In einer weiteren Ausführungsform umfasst das zweite Sensorsystem 160 zusätzlich oder optional eine Sende- und/oder Empfangseinheit, welche dazu ausgebildet ist per
Funkverbindung Wetterdaten und/oder Lichtverhältnisse (dunkel, hell, etc.) in der Umgebung des Fahrzeugs 100 anzufordern und/oder zu empfangen. Das System 120 umfasst weiterhin ein Fahrassistenzsystem 120, welches dazu ausgebildet ist, Datenwerte, welche Informationen zu wenigstens einem Objekt in der Umgebung des Objekts repräsentieren, zu empfangen. Das Fahrassistenzsystem 140 ist weiterhin dazu ausgebildet, abhängig von diesen Datenwerten, das Fahrzeug 100 zu betreiben. In einer weiteren Ausführungsform ist das Fahrassistenzsystem 140 derart ausgebildet, dass Fahrzeug 100 nicht direkt zu betreiben, sondern bereits vorhandene Steuergeräte im Fahrzeug 100 anzusteuern.
Figur 3 zeigt ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens 300 zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem 140 eines Fahrzeugs 100 in Form eines Ablaufdiagramms. ln Schritt 310 wird ein Bild, welches beispielsweise mittels eines Kamerasystems 130 aufgenommen wurde, erfasst.
In Schritt 320 wird ein Betriebszustand des Fahrzeugs 100 bestimmt.
Die beiden Schritte 310 und 320 können auch in umgekehrter Reigenfolge erfolgen, wobei die Reihenfolge beispielsweise von der Ausgestaltung der Vorrichtung 1 10 und/oder von einer Voreinstellung, welche beispielsweise von einem Hersteller oder einem Betreiber des Fahrzeugs 100 vorgenommen wird, abhängt. Erfolgt zuerst Schritt 320, können die ersten Mittel 1 1 1 zum Erfassen des Bildes beispielsweise derart ausgebildet sein, dass bereits das Erfassen 310 des Bildes abhängig von dem Betriebszustand des Fahrzeugs 100 erfolgt.
In Schritt 330 wird das Bild ausgewertet.
In Schritt 340 wird die Auswertung des Bildes als Datenwerte für das
Fahrassistenzsystem 140bereitgestellt.

Claims

Ansprüche
1 . Verfahren (300) zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem (140) eines Fahrzeugs (100) mit folgenden Schritten:
- Erfassen (310) des Bildes;
- Bestimmen (320) eines Betriebszustands des Fahrzeugs (100);
- Auswerten (330) des Bildes mittels wenigstens einem
Bildauswerteverfahren,
o welches abhängig von dem Betriebszustand des Fahrzeugs (100) von wenigstens zwei möglichen Bildauswerteverfahren ausgewählt wird; und
- Bereitstellen (340) der Auswertung des Bildes als Datenwerte für das
Fahrassistenzsystem (140).
2. Verfahren (300) nach Anspruch 1 , dadurch gekennzeichnet, dass
· das Bild eine Umgebung des Fahrzeugs (100) repräsentiert und
• die Datenwerte eine Beschreibung wenigstens eines Objekts in dieser Umgebung repräsentieren.
3. Verfahren (300) nach Anspruch 1 , dadurch gekennzeichnet, dass
· das Bild als wenigstens ein Teilbild erfasst wird,
o wobei das wenigstens eine Teilbild eine Untermenge an
Bildeigenschaften des Bildes umfasst.
4. Verfahren (300) nach Anspruch 3, dadurch gekennzeichnet, dass
· das Bild als wenigstens zwei Teilbilder erfasst wird,
o wobei jedes der wenigstens zwei Teilbilder eine unterschiedliche Teilmenge an Bildeigenschaften umfasst.
5. Verfahren (300) nach Anspruch 1 , dadurch gekennzeichnet, dass
• der Betriebszustand des Fahrzeugs (100) wenigstens einen der folgenden Zustände umfasst: Geschwindigkeit des Fahrzeugs (100),
Wetterverhältnisse in der Umgebung des Fahrzeugs (100),
Lichtverhältnisse in der Umgebung des Fahrzeugs (100).
Verfahren (300) nach Anspruch 1 , dadurch gekennzeichnet, dass
• das Auswerten (330) mittels dem wenigstens einen Bildauswerteverfahren derart erfolgt, dass das wenigstens eine Bildauswerteverfahren einen ersten Auswertesch ritt und einen zweiten Auswertesch ritt umfasst,
o wobei mittels des ersten Auswerteschritts mittels der Untermenge an Bildeigenschaften in dem wenigstens einen Teilbild wenigstens ein Merkmal klassifiziert wird und
o mittels des zweiten Auswerteschritts ausgehend von dem
wenigstens einen klassifizierten Merkmal das wenigstens eine Objekt bestimmt wird.
Verfahren (300) nach Anspruch 2, dadurch gekennzeichnet, dass
• das wenigstens eine Objekt ein Verkehrszeichen und/oder ein Fußgänger und/oder ein anderes Fahrzeug und/oder ein Tier ist.
Vorrichtung (1 10) zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem (140) eines Fahrzeugs (100) mit folgenden Mitteln:
- Erste Mittel (1 1 1 ) zum Erfassen (310) des Bildes;
- Zweite Mittel (1 12) zum Bestimmen (320) eines Betriebszustands des Fahrzeugs (100);
- Dritte Mittel (1 13) zum Auswerten (330) des Bildes mittels wenigstens einem Bildauswerteverfahren,
o welches abhängig von dem Betriebszustand des Fahrzeugs (100) von wenigstens zwei möglichen Bildauswerteverfahren ausgewählt wird; und
- Vierte Mittel (1 14) zum Bereitstellen (340) der Auswertung des Bildes als Datenwerte für das Fahrassistenzsystem (140).
9. Vorrichtung (1 10) nach Anspruch 8, dadurch gekennzeichnet, dass
• die ersten Mittel (1 1 1 ) und/oder die zweiten Mittel (1 12) und/oder die dritten Mittel (1 13) und/oder die vierten Mittel (1 14) dazu ausgebildet sind, ein Verfahren (300) gemäß wenigstens einem der Verfahrensansprüche 1 bis 7 auszuführen.
10. System (120) zum Betreiben eines Fahrzeugs (100), umfassend:
- ein Kamerasystem (130) zum Aufnehmen wenigstens eines Bildes;
- eine Vorrichtung (1 10) gemäß wenigstens einem der Vorrichtungsansprüche; und
- Fahrassistenzsystem (140) zum Ausführen einer Fahrassistenzfunktion.
PCT/EP2017/080033 2016-12-21 2017-11-22 Verfahren und vorrichtung zum auswerten eines bildes und bereitstellen der auswertung für ein fahrassistenzsystem eines fahrzeugs WO2018114181A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/470,795 US11113549B2 (en) 2016-12-21 2017-11-22 Method and device for analyzing an image and providing the analysis for a driving assistance system of a vehicle
JP2019552338A JP2020513638A (ja) 2016-12-21 2017-11-22 画像を評価し、評価を車両のドライブアシストシステムに対し提供するための方法および装置
EP17821788.1A EP3559856A1 (de) 2016-12-21 2017-11-22 Verfahren und vorrichtung zum auswerten eines bildes und bereitstellen der auswertung für ein fahrassistenzsystem eines fahrzeugs
CN201780079718.6A CN110100248A (zh) 2016-12-21 2017-11-22 用于分析处理图像并且给车辆的驾驶辅助系统提供分析处理的方法和设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016225876.1A DE102016225876A1 (de) 2016-12-21 2016-12-21 Verfahren und Vorrichtung zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem eines Fahrzeugs
DE102016225876.1 2016-12-21

Publications (1)

Publication Number Publication Date
WO2018114181A1 true WO2018114181A1 (de) 2018-06-28

Family

ID=60813793

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/080033 WO2018114181A1 (de) 2016-12-21 2017-11-22 Verfahren und vorrichtung zum auswerten eines bildes und bereitstellen der auswertung für ein fahrassistenzsystem eines fahrzeugs

Country Status (6)

Country Link
US (1) US11113549B2 (de)
EP (1) EP3559856A1 (de)
JP (1) JP2020513638A (de)
CN (1) CN110100248A (de)
DE (1) DE102016225876A1 (de)
WO (1) WO2018114181A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005115820A1 (de) * 2004-05-25 2005-12-08 Siemens Aktiengesellschaft Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge
WO2011154978A2 (en) * 2010-06-10 2011-12-15 Tata Consultancy Services Limited An illumination invariant and robust apparatus and method for detecting and recognizing various traffic signs

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329762A (ja) * 2006-06-08 2007-12-20 Fujitsu Ten Ltd 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置、および車両制御装置
JP2010224670A (ja) * 2009-03-19 2010-10-07 Honda Motor Co Ltd 車両の周辺監視装置
JP5708689B2 (ja) * 2013-03-13 2015-04-30 株式会社デンソー 物体検出装置
CN104008377A (zh) * 2014-06-07 2014-08-27 北京联合大学 基于时空关联的地面交通标志实时检测识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005115820A1 (de) * 2004-05-25 2005-12-08 Siemens Aktiengesellschaft Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge
WO2011154978A2 (en) * 2010-06-10 2011-12-15 Tata Consultancy Services Limited An illumination invariant and robust apparatus and method for detecting and recognizing various traffic signs

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAZELHOFF LYKELE ET AL: "Exploiting street-level panoramic images for large-scale automated surveying of traffic signs", MACHINE VISION AND APPLICATIONS, SPRINGER VERLAG, DE, vol. 25, no. 7, 31 July 2014 (2014-07-31), pages 1893 - 1911, XP035393381, ISSN: 0932-8092, [retrieved on 20140731], DOI: 10.1007/S00138-014-0628-Z *
RABIA MALIK ET AL: "Road Sign Detection and Recognition using Colour Segmentation, Shape Analysis and Template Matching", MACHINE LEARNING AND CYBERNETICS, 2007 INTERNATIONAL CONFERENCE ON, IEEE, PI, 1 August 2007 (2007-08-01), pages 3556 - 3560, XP031154428, ISBN: 978-1-4244-0972-3 *

Also Published As

Publication number Publication date
US11113549B2 (en) 2021-09-07
CN110100248A (zh) 2019-08-06
DE102016225876A1 (de) 2018-06-21
US20200089975A1 (en) 2020-03-19
JP2020513638A (ja) 2020-05-14
EP3559856A1 (de) 2019-10-30

Similar Documents

Publication Publication Date Title
EP2394234B1 (de) Verfahren und vorrichtung zum ermitteln einer geltenden fahrspurmarkierung
WO2018177484A1 (de) Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs
WO2008145543A1 (de) Verfahren und vorrichtung zur erkennung von verkehrsrelevanten informationen
DE102009025545A1 (de) Verfahren und Vorrichtung zum Erkennen von Bremslichtsystemen
DE102006005512A1 (de) System und Verfahren zur Messung der Entfernung eines vorausfahrenden Fahrzeugs
DE102016210534A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
DE102017106152A1 (de) Ermitteln einer Winkelstellung eines Anhängers mit optimierter Vorlage
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
DE102019214558A1 (de) Projektionsinformations-erkennungsvorrichtung auf basis eines künstlichen neuronalen netzwerks und verfahren derselben
WO2020020654A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems mit zwei erfassungseinrichtungen
DE112018005749T5 (de) Fahrbahnmarkierungsbestimmungsvorrichtung zum automatisierten Fahren
DE102016104044A1 (de) Verfahren zum Erkennen einer Ablagerung auf einem optischen Element einer Kamera durch einen Merkmalsraum und eine Hyperebene, sowie Kamerasystem und Kraftfahrzeug
WO2009086970A1 (de) Verfahren und vorrichtung zur bilderfassung für kraftfahrzeuge
DE102008036219A1 (de) Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs
DE102016101149A1 (de) Verfahren zum Erkennen von Rauch in einem Umgebungsbereich eines Kraftfahrzeugs mit Hilfe einer Kamera des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102015006569A1 (de) Verfahren zur bildbasierten Erkennung des Straßentyps
DE102020125232A1 (de) Verfahren zur Farbkorrektur für ein Kamerasystem sowie ein Kamerasystem
DE102020211971A1 (de) Fahrzeugtrajektorienvorhersage unter verwendung von strassentopologie und verkehrsteilnehmer-objektzuständen
DE102014007565A1 (de) Verfahren zum Ermitteln einer jeweiligen Grenze zumindest eines Objekts, Sensorvorrichtung, Fahrerassistenzeinrichtung und Kraftfahrzeug
DE102014213270A1 (de) Verfahren und Vorrichtung zum Überwachen eines zum Öffnen einer Klappe eines Fahrzeugs erforderlichen Raums
DE102018132627A1 (de) Verfahren zum Erfassen einer Umgebung eines Kraftfahrzeugs mittels zeitlicher Fusion von Bildern durch ein künstliches neuronales Netz; Steuereinheit, Fahrerassistenzsystem; Computerprogrammprodukt
WO2018114181A1 (de) Verfahren und vorrichtung zum auswerten eines bildes und bereitstellen der auswertung für ein fahrassistenzsystem eines fahrzeugs
DE102018207923A1 (de) Verbessertes Training eines Klassifikators
DE102007021579A1 (de) Verfahren und Vorrichtung zur Klassifikation mindestens eines Verkehrszeichens
DE102018215136B4 (de) Verfahren zum Auswählen eines Bildausschnitts eines Sensors

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17821788

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019552338

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017821788

Country of ref document: EP

Effective date: 20190722