WO2007131470A1 - Vorrichtung und verfahren zum bestimmen eines freiraums vor einem fahrzeug - Google Patents

Vorrichtung und verfahren zum bestimmen eines freiraums vor einem fahrzeug Download PDF

Info

Publication number
WO2007131470A1
WO2007131470A1 PCT/DE2007/000788 DE2007000788W WO2007131470A1 WO 2007131470 A1 WO2007131470 A1 WO 2007131470A1 DE 2007000788 W DE2007000788 W DE 2007000788W WO 2007131470 A1 WO2007131470 A1 WO 2007131470A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
edges
movement
pattern recognition
Prior art date
Application number
PCT/DE2007/000788
Other languages
English (en)
French (fr)
Inventor
Thomas Fechner
Original Assignee
Adc Automotive Distance Control Systems Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adc Automotive Distance Control Systems Gmbh filed Critical Adc Automotive Distance Control Systems Gmbh
Priority to DE112007000332T priority Critical patent/DE112007000332A5/de
Priority to EP07722345A priority patent/EP2021975A1/de
Publication of WO2007131470A1 publication Critical patent/WO2007131470A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the invention relates to a device for determining a free space in front of a vehicle according to claim 1 and a method for determining a free space in front of a vehicle according to claim 15.
  • radar or lidar systems Due to their installation location in the front of the vehicle, in particular in the radiator grille or headlight, however, radar or lidar systems, for example, have only limited ability to monitor a space directly in front of the vehicle. It is therefore preferable to have a sensor system mounted behind a windshield, for example a camera system that can detect a much wider space in front of the vehicle.
  • a sensor system mounted behind a windshield, for example a camera system that can detect a much wider space in front of the vehicle.
  • stereobased camera systems are known which allow three-dimensional detection of obstacles.
  • the expense of such stereo cameras is costly and requires a relatively large amount of space in the windshield in the vehicle, as two cameras must be placed in this area.
  • the object of the present invention is therefore to provide a device and a method for determining a free space in front of a vehicle which have improved properties over the prior art.
  • An essential idea of the invention is that with a single imaging sensor, an image is taken in front of the vehicle and the edges are analyzed therein, which are contained for example by boundary lines of shadows or lane markings in the image (image edges).
  • image edges which give an indication of obstacles in front of the vehicle
  • the free space in front of the vehicle can then be regarded as the space which, starting from a lower edge of the image, corresponds to a picture edge-free area.
  • the area in front of the vehicle is regarded as a free space in which no image edge-causing objects are contained.
  • two images of a region to be monitored can be successively recorded in front of the vehicle, these two images compared with one another, and the different elements in these two images can be imaged by movement edges in a differential image. Following this, a pattern recognition on this
  • Movement edges are applied to determine whether moving objects in a monitored area in front of the vehicle. If only a few movement edges are detected, it can be assumed that no object is located in front of the vehicle, since, as a result of the entry of this object into the area in front of the vehicle, a movement edge for this object would arise in the difference image in a period between the two images. Furthermore, since only one imaging sensor is used by the inventive approach, a more cost-effective implementation than, for example, a stereo camera system is possible. In addition, a smaller space is sufficient for arranging such a sensor in the vehicle.
  • the present invention relates in one embodiment to an apparatus for determining a clearance in front of a vehicle, comprising:
  • an imaging sensor configured to capture an image of an observation area in front of the vehicle
  • an image processing unit configured to process the captured image to obtain a processing image in which image edges in the image are marked
  • a pattern recognition unit which is designed to determine, as a free space in front of the vehicle, that part of the observation area which corresponds to an image edge-free area of the image area
  • Processing image starting from a lower edge of the image corresponds to the image.
  • the image processing unit may be designed to provide lane markings and / or a lane marker
  • the apparatus for determining a clearance in front of the vehicle may include the imaging sensor configured to acquire the image at a first time and a second image of an observation area in front of the vehicle at a second time after the first time ;
  • the image processing unit is adapted to obtain, by forming a difference of image data of the image and image data of the second image, a difference image having moving edges defined by differing image dot values of the image data of the image versus the image data of the second image;
  • a pattern recognition unit which is designed to determine as free space in front of the vehicle that part of the observation area corresponding to a moving edge-free area of the difference image, starting from a lower image edge of the difference image.
  • the image processing unit may be configured to apply a threshold value to pixel values of the difference image, such that in the difference image only motion edges are included whose pixel values are above the threshold value.
  • a threshold value to pixel values of the difference image, such that in the difference image only motion edges are included whose pixel values are above the threshold value.
  • a pattern recognition unit may be configured to analyze a direction of movement of the edges and, in determining the clearance in front of the vehicle, weight those movement edges that move into the observation area more than movement edges that move out of the observation area, the stronger weights being in the Observation range moving observation edge is carried out in such a way that with respect to this moving into the range of motion observation edge a safety distance is provided in the free space to be determined in front of the vehicle. This ensures that objects that move into the observed area are treated as particularly vulnerable to collision.
  • the imaging sensor may be configured in a further embodiment of the present invention to capture the image and the second image during a stoppage of the vehicle. Especially shortly before restarting it is important to reliably detect possible objects in the approach area in front of a vehicle. Furthermore, by means of this function, the driver can additionally be visually assisted, for example, in a traffic situation which is psychologically often regarded as monotone. At the same time, the evaluation of images in the stationary state of the vehicle can be significantly facilitated since, due to the generally small changes from image to image, the image processing requires fewer resources in the form of computing power.
  • the pattern recognition unit may be configured to signal, if not at least one, of blocking the launch of the vehicle Free space of a predefined size was detected in front of the vehicle. This ensures that no rear-end collision is caused if the distance to a preceding vehicle is too short. It is also possible to ensure that there is no starting up of persons who may have stepped on the road during a waiting of the vehicles and walked between the vehicles.
  • the pattern recognition unit may also be designed to signal a blocking of the startup of the vehicle if an object having a predefined minimum size was detected in a predefined area in front of the vehicle. This allows the approach to be blocked especially when large objects, such as people, are detected in the area in front of the vehicle. However, if smaller objects are detected in front of the vehicle, such as garbage or newspapers, a start of the vehicle can still be done without a risk to the vehicle or a person is to be feared.
  • the pattern recognition unit can be designed to perform a geometric calculation of the free space in front of the vehicle from the determined values of the differential image by the distance d point to the imaging sensor from the installation height h of the imaging sensor in the vehicle, the sensor pitch angle a Image line y of the point whose distance is to be determined, the pixel size ⁇ and the focal length f is determined according to the following formula:
  • the imaging sensor may be configured to operate after the second time
  • the image processing unit may be configured to store the first and second images and the further images and to take from the second image and further images further difference images with corresponding movement edges. This makes it possible to continuously monitor the free space in front of the vehicle during standstill.
  • the pattern recognition unit may be configured to detect intrusion of an object into a vacant space in front of a stationary vehicle by comparing the movement edges in different difference images.
  • a movement of an object can be detected.
  • a distinction is made between movements into the observation area and movements out of the observation area. Moving out of the observation room, e.g. due to an approaching vehicle should not block the own restart if possible.
  • a movement into the observation area can be classified as relevant for collision and, for example, as a result, an automatic restart can be blocked.
  • the pattern recognition unit can be realized by integrating the edge pixels into a profile in columns. If peaks are detected in this profile which are above a certain threshold value, for example, a flag is set, signaling that something has moved into the observation area
  • the pattern recognition unit can be designed to track a movement of an object, which penetrates into the space to be kept clear in front of the vehicle, from a plurality of differential images in this space to be kept free. This provides the ability to estimate whether the object will soon leave the area in front of the vehicle, so that already preparatory measures can be taken to restart.
  • the imaging sensor may be a camera. This allows besides the
  • the device may comprise a further imaging sensor and the pattern recognition unit may be designed to check the image data of the first or second image with image data of the further imaging sensor for plausibility. This ensures that an error in the imaging sensor can be detected easily and quickly, and a risk to property or persons due to an unwanted re-start of the vehicle can be avoided.
  • a method for determining a clearance in front of a vehicle comprising the steps of:
  • a method for determining a clearance in front of a vehicle which has the following steps:
  • Pixel values of the image data of the first image are defined relative to the image data of the second image
  • the pattern recognition unit can be realized by integrating the edge pixels into a profile in columns.
  • Fig. 1 is a representation of the possible use of a
  • Fig. 2 is an illustration of detection of moving edges in an image
  • Fig. 3 is an illustration of the geometric calculation of the actual clearance in front of the vehicle from the in the
  • Fig. 1 shows a representation of the possible use of an embodiment of the present invention.
  • a vehicle 10 is shown that, for example, in a traffic jam behind a
  • Truck 12 is located.
  • the vehicle 10 is equipped with an embodiment of the device 14 according to the invention.
  • the exemplary embodiment of the device 14 illustrated in FIG. 1 comprises an imaging sensor 16, which may be, for example, an optical camera, an ultrasound sensor, a radar sensor or a lidar sensor. Furthermore, the device 14 comprises an image processing unit 18 and a pattern recognition unit 20 coupled to the image processing unit 18 Imaging sensor 16 may be arranged in the region of the windshield of the vehicle 10. This results in an observation area 22, which is considerably larger due to the increased arrangement of the imaging sensor 16, than is possible with an assembly of the sensor, for example in the front, in particular radiator area of a motor vehicle.
  • an object 24 can be detected, for example, a person who has run between the vehicle 10 and the truck 12 during the traffic jam.
  • the imaging sensor 16 takes this a first image in which the object 24 is not yet between the vehicle 10 and the truck 12. Thereafter, a second image is taken, in which the object 24 is already between the vehicle 10 and the truck 12.
  • the first and second images are then compared with each other by producing a difference image from the first and second images.
  • the differences caused by the object 24 in the second image in this case lead to movement edges in the difference image that result from the presence of the object 24 in the observation area 22.
  • a distance is now measured between the lowest movement edge caused by the object 24 and a lower edge of the difference image, which makes it possible to draw conclusions about the position of the object 24 in the observation area 22 or a conclusion about a distance of the object 24 from the vehicle 10.
  • the lower edge of the difference image or the first and second image corresponds to the front position of the vehicle 10.
  • Fig. 2 shows an illustration of the detection of image edges by way of example with reference to two images.
  • an image of a camera is shown, which is shown as the vehicle with the device according to the invention on a street behind a
  • Truck 12 is located.
  • an empty lane except for the lane markings, does not contain any strong (BiId) edges.
  • Shadow edges stand out from the road in their contrast and suggest objects or obstacles on the road (or at least directly next to it). 2 shows how image edges in the (static) evaluation of a single image can be determined and marked.
  • the area in front of the vehicle was analyzed by the lane markings and the image edges of the shadow path behind the lorry in such a way that no movement edges in front of the vehicle were detected in area 30 and that this area 30 is considered as a free space in front of the vehicle can be.
  • the side strips are detected by edge detection in an edge region of the road and evaluated as a limit to the free space in front of the vehicle.
  • the edge detection clearly shows that there is no object between the vehicle and the truck. This also allows the use of the invention for tracking. If the distance to the preceding truck does not change during the journey, there is no moving image edge in the moving image, so that there is no change in the distance to the truck and thus no restriction of the free space in front of the vehicle.
  • FIG. 3 shows how a geometric calculation of the free space in front of the vehicle is carried out from the determined values of the differential image, which was generated from images taken by a camera mounted behind the rearview mirror on the windshield of a motor vehicle.
  • Fig. 3 shows a way of determining the distance of a point d to the camera or the imaging sensor. The distance is determined from the camera installation height h in the vehicle, the camera pitch angle a, the image line y of the point whose distance is to be determined, the pixel size ⁇ and the camera focal length f according to the formula
  • an exemplary method which realizes an automatic free space determination by means of a monocular camera, for example for the restart of a stopped vehicle. It is envisaged that an automatic restart only occurs if a free space in front of the vehicle is dimensioned so that it is greater than a previously defined as sufficiently large free space and is stored in the sensor system or the associated evaluation unit. If this can not be verified by one or more sensor systems (camera, ultrasound, radar, lidar, etc.), an active intervention, for example by the vehicle driver, is necessary for the journey to continue.
  • the vehicle is equipped with at least one sensor system, with associated evaluation unit and a storage device.
  • information about moving objects in the detection range of the sensor or sensors are stored in the detection range of the vehicle from standstill.
  • moving objects are tracked during standstill to obtain further information about, for example, the relative velocity or to predict probable behavior of the object (lateral movement, object moving toward or away from the vehicle).
  • the method selects objects that enter the free space in front of the vehicle after standstill. Before a return, it is checked if this Objects are still in front of the vehicle or have already left this area again.
  • a criterion as to whether an active intervention, for example of the vehicle driver, is provided for the continuation of the journey or an automatic restart is made, depending on the fact that one of the previously described selected objects is still in the predetermined free space.
  • Other criteria may be, for example, the object properties (size, relative speed, human, object, vehicle, etc.).
  • a method of detecting moving objects with a camera could be as follows:
  • a difference image is calculated from two successive images. The result is a picture with moving edges.
  • a threshold value is applied to the difference image so that only strong motion edges remain.
  • the free space is calculated, for example, starting from the lower edge of the image, the next stored movement edges are determined. The resulting contour limits the free space.
  • the method according to an embodiment can also proceed as follows, as shown in more detail in FIG. 4: 1.
  • a difference image is calculated from two successive images T1 and T1 + dt.
  • the result is a (difference) image with motion edges.
  • a threshold value is applied to the difference image so that only strong motion edges remain.
  • the movement edges are integrated on a column-by-column basis so that an edge profile is created.
  • a free space flag is set that indicates movement into the free space
  • restarting may be blocked if the clearance flag is set and restarting is not enabled until it is certain that there is no object in front of the vehicle. This can be done by resetting the flag when the object moves out of the observation area and, by an evaluation of this, moving out of the observation area moving edges

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung (14) zum Bestimmen eines Freiraums vor einem Fahrzeug (10), umfassend: -einen bildgebenden Sensor (16), der ausgebildet ist, um ein Bild eines Beobachtungsbereichs (22) vor dem Fahrzeug (10) aufzunehmen; -eine Bildverarbeitungseinheit (18), die ausgebildet ist, um das aufgenommene Bild zu verarbeiten, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und -eine Mustererkennungseinheit (20), die ausgebildet ist, um als Freiraum vor dem Fahrzeug (10) denjenigen Teil des Beobachtungsbereichs (22) zu bestimmen, der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.

Description

Vorrichtung und Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug
Die Erfindung betrifft eine Vorrichtung zum Bestimmen eines Freiraums vor einem Fahrzeug gemäß Anspruch 1 und ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug gemäß Anspruch 15.
Zukünftige Fahrerassistenzsysteme für Stop&Go-Unterstützung und Systeme zum führerlosen Betreiben von Transport-Fahrzeugen wie beispielsweise U- Bahnen, Züge oder Schwebebahnen werden ein vollautomatisches Wiederanfahren realisieren. Dazu muss der Anfahrtsraum direkt vor dem Fahrzeug (Kraftfahrzeug, U-Bahn, Zug) von dem Wiederanfahren nach einem Stop, beispielsweise in einem Stau, ein vorausfahrendes Fahrzeug wartet vor einer Ampel oder ein Halt der U-Bahn in einer Station, überwacht werden. Für ein sicheres Wideranfahren ist es wichtig, zu erkennen, ob der Anfahrtsraum frei ist und sich in der Zwischenzeit keine Personen oder andere Objekte in den Raum vor dem Fahrzeug hineinbewegt haben. Dies kann zum Beispiel mit den üblichen Strahlsensoren wie Radar-, Lidar-, Ultraschall-Systemen umgesetzt werden. Auf Grund ihres Einbauorts in der Fahrzeugfront, insbesondere im Kühlergrill oder Scheinwerfer, sind aber zum Beispiel Radaroder Lidar-Systeme nur begrenzt in der Lage, einen Raum unmittelbar vor dem Fahrzeug zu überwachen. Vorzuziehen ist daher ein hinter einer Windschutzscheibe angebrachtes Sensorsystem, zum Beispiel ein Kamerasystem, das einen sehr viel breiteren Raum vor dem Fahrzeug erfassen kann. Es sind zum Beispiel stereobasierte Kamerasysteme bekannt, die eine dreidimensionale Erkennung von Hindernissen erlauben. Der Aufwand für derartige Stereokameras ist allerdings kostenintensiv und erfordert relativ viel Bauraum im Bereich der Windschutzscheibe im Fahrzeug, da zwei Kameras in diesen Bereich angeordnet werden müssen.
Aufgabe der vorliegenden Erfindung ist es daher, eine Vorrichtung und ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug zu schaffen, welche verbesserte Eigenschaften gegenüber dem Stand der Technik haben.
Diese Aufgabe wird durch eine Vorrichtung zum Bestimmen eines Freiraums vor einem Fahrzeug mit den Merkmalen nach Anspruch 1 und ein entsprechendes Verfahren mit den Merkmalen nach Anspruch 17 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Ein wesentlicher Gedanke der Erfindung besteht nun darin, dass mit einem einzigen bildgebenden Sensor ein Bild vor dem Fahrzeug aufgenommen wird und die Kanten darin analysiert werden, die beispielsweise durch Begrenzungslinien von Schatten oder Fahrbahnmarkierungen in dem Bild enthalten sind (Bildkanten). Durch Auswertung dieser Bildkanten, die einen Rückschluss auf Hindernisse vor dem Fahrzeug geben, kann dann der Freiraum vor dem Fahrzeug als derjenige Raum gewertet werden, der ausgehend von einem unteren Rand des Bildes einem Bildkanten-freien Bereich entspricht. Die bedeutet, dass derjenige Bereich vor dem Fahrzeug als Freiraum betrachtet wird, in dem keine Bildkanten-verursachtenden Objekte enthalten sind. Diese Bewertung des Freiraumes vor dem Fahrzeug funktioniert sowohl bei stehendem Fahrzeug (z.B. im Stau oder vor dem Anfahren) als auch bei fahrendem Fahrzeug und bietet daher die Möglichkeit, ' in nahezu allen im Straßenverkehr auftretenden Situationen ein Objekt vor dem Fahrzeug zu erkennen.
Außerdem können auch nacheinander zwei Bilder von einem zu überwachenden Bereich vor dem Fahrzeug aufgenommen, diese beiden Bilder miteinander verglichen und die unterschiedlichen Elemente in diesen beiden Bildern durch Bewegungskanten in einem Differenzbild abgebildet werden. Hieran anschließend kann eine Mustererkennung auf diese
Bewegungskanten angewendet werden, um festzustellen, ob sich in einem überwachten Bereich vor dem Fahrzeug Objekte hineinbewegen. Werden nur wenige Bewegungskanten festgestellt, so kann davon ausgegangen werden, dass sich kein Objekt vor dem Fahrzeug befindet, da durch den Eintritt dieses Objekts in den Bereich vor dem Fahrzeug in einem Zeitraum zwischen den beiden Bildern eine Bewegungskante für dieses Objekt im Differenzbild entstehen würde. Da weiterhin durch den erfindungsgemäßen Ansatz lediglich ein bildgebender Sensor verwendet wird, ist eine kostengünstigere Implementierung als beispielsweise ein Stereokamerasystem möglich. Außerdem reicht ein geringerer Bauraum zur Anordnung eines solchen Sensors im Fahrzeug aus.
Die vorliegende Erfindung betrifft gemäß einer Ausführungsform eine Vorrichtung zum Bestimmen eines Freiraums vor einem Fahrzeug, umfassend:
- einen bildgebenden Sensor, der ausgebildet ist, um ein Bild eines Beobachtungsbereichs vor dem Fahrzeug aufzunehmen; - eine Bildverarbeitungseinheit, die ausgebildet ist, um das aufgenommene Bild zu verarbeiten, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und
- eine Mustererkennungseinheit, die ausgebildet ist, um als Freiraum vor dem Fahrzeug denjenigen Teil des Beobachtungsbereichs zu bestimmen, der einem Bildkanten-freien Bereich des
Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.
Bei einer weiteren Ausführungsform kann die Bildverarbeitungseinheit ausgebildet sein, um Fahrbahnmarkierungen und/oder einen
Schattenverlauf zu erkennen und als Bildkante in dem Bild zu markieren. Dies bietet den Vorteil, dass hierdurch eine spezielle Anpassung an typische Fahrsituationen erfolgen kann, so dass zum Beispiel schon häufig auftretende Kantenverläufe auf der Fahrbahn in der Bildverarbeitungseinheit vorprogrammiert und somit die Auswertung erleichtert werden kann. Alternativ oder zusätzlich kann auch eine Mindestlänge von Schatten-bedingten Kanten vorgesehen sein, so dass schon vorab eine Einschätzung der Größe des entsprechenden Objekts abgeschätzt werden kann.
Auch kann in einer Ausführungsform die Vorrichtung zum Bestimmen eines Freiraums vor dem Fahrzeug - den bildgebenden Sensor umfassen, der ausgebildet ist, um zu einem ersten Zeitpunkt das Bild und zu einem nach dem ersten Zeitpunkt liegenden zweiten Zeitpunkt ein zweites Bild eines Beobachtungsbereichs vor dem Fahrzeug aufzunehmen;
- die Bildverarbeitungseinheit ausgebildet ist, um durch Bilden einer Differenz von Bilddaten des Bildes und Bilddaten des zweiten Bildes ein Differenzbild zu erhalten, welches Bewegungskanten aufweist, die durch sich unterscheidende Bild punktwerte der Bilddaten des Bildes gegenüber den Bilddaten des zweiten Bildes definiert sind; und
- eine Mustererkennungseinheit, die ausgebildet ist, um als Freiraum vor dem Fahrzeug denjenigen Teil des Beobachtungsbereichs zu bestimmen, der einem Bewegungskanten-freien Bereich des Differenzbildes ausgehend von einem unteren Bildrand des Differenzbildes entspricht.
Dies ermöglicht nicht nur bei Einzelbildern ein Hindernis vor dem Fahrzeug zu erkennen und damit eine deutliche Flexibilisierung des Einsatzszenarios zu bieten. Insbesondere kann die Sicherheit eines fahrenden Fahrzeugs deutlich erhöht werden, wenn dieser dynamische Aspekt der Hinderniserkennung mitberücksichtigt wird.
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann die Bildverarbeitungseinheit ausgebildet sein, um einen Schwellenwert auf Bildpunktwerte des Differenzbildes anzuwenden, derart, dass in dem Differenzbild nur Bewegungskanten enthalten sind, deren Bildpunktwerte über dem Schwellenwert liegen. Dies bietet den Vorteil, dass geringfügige Störungen in dem Differenzbild bei der Mustererkennung nicht berücksichtigt werden und damit eine Mustererkennung deutlich störungsfreier arbeitet. In einer weiteren Ausführungsform wird die Bewegungsrichtung der Kanten analysiert. Kanten, die sich in den beobachteten Bereich hineinbewegen werden stärker gewichtet als Kanten, die sich aus dem beobachteten Bereich hinausbewegen. Mit anderen Worten ausgedrückt kann die
Mustererkennungseinheit ausgebildet sein, um eine Bewegungsrichtung der Kanten zu analysieren und um beim Bestimmen des Freiraums vor dem Fahrzeug diejenigen Bewegungskanten, die sich in den Beobachtungsbereich hineinbewegen stärker zu gewichten als Bewegungskanten, die sich aus dem Beobachtungsbereich hinausbewegen, wobei das stärkere Gewichten der sich in den Beobachtungsbereich hineinbewegenden Beobachtungskanten derart erfolgt, dass bezüglich dieser sich in den Bewegungsbereich hineinbewegenden Beobachtungskanten ein Sicherheitsabstand in dem zu bestimmenden Freiraum vor dem Fahrzeug vorgesehen wird. Damit wird sichergestellt, dass Objekte, die sich in den beobachteten Bereich hineinbewegen als besonders kollisionsgefährdet behandelt werden.
Der bildgebende Sensor kann in einer weiteren Ausbildungsform der vorliegenden Erfindung ausgebildet sein, um das Bild und das zweite Bild während einem Stillstand des Fahrzeugs aufzunehmen. Insbesondere kurz vorm Wiederanfahren ist es wichtig, mögliche Objekte im Anfahrtsraum vor einem Fahrzeug sicher zu erkennen. Weiterhin kann durch diese Funktion der Fahrer bei einer psychologisch oftmals als monoton betrachteten Verkehrssituation zusätzlich beispielsweise visuell unterstützt werden kann. Zugleich kann die Auswertung von Bildern im stehenden Zustand des Fahrzeugs deutlich erleichtert werden, da aufgrund der in der Regel geringen Änderungen von Bild zu Bild die Bildverarbeitung weniger Ressourcen in Form von Rechenleistung beansprucht.
In einer weiteren Ausführungsform der vorliegenden Erfindung kann die Mustererkennungseinheit ausgebildet sein, um ein Blockieren des Anfahrens des Fahrzeugs zu signalisieren, wenn nicht mindestens ein Freiraum von einer vordefinierten Größe vor dem Fahrzeug erkannt wurde. Hierdurch Iässt sich sicherstellen, dass kein Auffahrunfall bei einem zu geringen Abstand zu einem vorausfahrenden Fahrzeug verursacht wird. Auch kann sichergestellt werden, dass kein Anfahren von Personen erfolgt, die möglicherweise während einem Warten der Fahrzeuge auf die Fahrbahn getreten und zwischen die Fahrzeuge gelaufen sind.
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann die Mustererkennungseinheit auch ausgebildet sein, um ein Blockieren des Anfahrens des Fahrzeugs zu signalisieren, wenn ein Objekt mit einer vordefinierten Mindestgröße in einem vordefinierten Bereich vor dem Fahrzeug erkannt wurde. Dies ermöglicht, dass das Anfahren vor allem dann blockiert wird, wenn große Objekte, wie beispielsweise Personen, in dem Bereich vor dem Fahrzeug erkannt werden. Werden dagegen kleinere Objekte vor dem Fahrzeug erkannt, wie beispielsweise Müll oder Zeitungen, kann ein Anfahren des Fahrzeugs trotzdem erfolgen, ohne dass eine Gefahr für das Fahrzeug oder eine Person zu befürchten ist.
Die Mustererkennungseinheit kann gemäß einer Ausführungsform der Erfindung ausgebildet sein, eine geometrische Berechnung des Freiraums vor dem Fahrzeug aus den ermittelten Werten des Differenzbildes durchzuführen, indem der Abstand d Punktes zum bildgebenden Sensor aus der Einbauhöhe h des bildgebenden Sensors im Fahrzeug, dem Sensornickwinkel a, der Bildzeile y des Punktes, dessen Abstand bestimmt werden soll, der Pixelgröße η sowie der Brennweite f gemäß der folgenden Formel bestimmt wird:
7 1 -t - tzna „ d = h m\l t = y -f m t + tana J
In einer weiteren Ausführungsform der vorliegenden Erfindung kann der bildgebende Sensor ausgebildet sein, um nach dem zweiten Zeitpunkt weitere Bilder aufzunehmen, und die Bildverarbeitungseinheit kann ferner ausgebildet sein, um das erste und zweite Bild sowie die weiteren Bilder zu speichern und um aus dem zweiten Bild und weiteren Bildern weitere Differenzbilder mit entsprechenden Bewegungskanten aufzunehmen. Hierdurch bietet sich die Möglichkeit, während dem Stillstand den Freiraum vor dem Fahrzeug kontinuierlich zu überwachen.
Auch kann die Mustererkennungseinheit gemäß einer weiteren Ausführungsform der vorliegenden Erfindung ausgebildet sein, um ein Eindringen eines Objektes in einen freizuhaltenden Raum vor einem stehenden Fahrzeug durch einen Vergleich der Bewegungskanten in unterschiedlichen Differenzbildern zu erkennen. Hierdurch kann nicht nur der statische Zustand vor dem Fahrzeug durch Auswertung eines einzigen Differenzbildes erfolgen, sondern auch eine Bewegung eines Objektes erkannt werden. Hierbei wird beispielsweise unterschieden zwischen Bewegungen in den Beobachtungsraum hinein und Bewegungen aus dem Beobachtungsraum hinaus. Eine Bewegung aus dem Beobachtungsraum hinaus, z.B. aufgrund eines anfahrenden Fahrzeugs sollte möglichst nicht das eigene Wiederanfahren blockieren. Dagegen kann eine Bewegung in den Beobachtungsraum hinein als Kollisionsrelevant eingestuft werden und beispielsweise infolgedessen ein automatisches Wiederanfahren blockiert werden. Die Mustererkennungseinheit kann realisiert werden, indem spaltenweise die Kantenpixel zu einem Profil aufintegriert werden. Werden in diesem Profil Peaks erkannt die oberhalb eines gewissen Schwellwertes liegen, so wird zum Beispiel ein Flag gesetzt und damit signalisiert, dass sich etwas in den Beobachtungsbereich bewegt hat
In einer weiteren Ausführungsform kann die Mustererkennungseinheit ausgebildet sein, um aus einer Mehrzahl von Differenzbildern eine Bewegung eines in den freizuhaltenden Raum vor dem Fahrzeug eindringenden Objektes in diesem freizuhaltenden Raum nach zu verfolgen. Dies bietet die Möglichkeit abzuschätzen, ob das Objekt in Kürze den Bereich vor dem Fahrzeug verlassen wird, so dass bereits vorbereitende Maßnahmen zum Wiederanfahren getroffen werden können.
In einer weiteren Ausführungsform der vorliegenden Erfindung kann der bildgebende Sensor eine Kamera sein. Dies ermöglicht neben der
Verwendung eines Ultraschall-Sensors, eines Radar-Sensors oder eines Lidar-Sensors eine kostengünstige Implementierung der Erfindung. Das Bild einer Kamera kann zudem für weitere Funktionen des Fahrerassistenzsystems verwendet werden.
Weiterhin kann in einer Ausführungsform der vorliegenden Erfindung die Vorrichtung einen weiteren bildgebenden Sensor aufweisen und die Mustererkennungseinheit ausgebildet sein, um die Bilddaten des ersten oder zweiten Bildes mit Bilddaten des weiteren bildgebenden Sensors auf Plausibilität zu überprüfen. Dies stellt sicher, dass ein Fehler in dem bildgebenden Sensor einfach und schnell erkannt werden kann und eine Gefährdung von Sachwerten oder Personen aufgrund einer ungewollten Wiederanfahrt des Fahrzeugs vermieden werden kann.
Auch kann in einer Ausführungsform ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug bereitgestellt sein, das folgende Schritte umfasst:
Aufnehmen eines Bildes eines Beobachtungsbereichs vor dem Fahrzeug; - Verarbeiten des aufgenommenen Bildes, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und Bestimmen desjenigen Teils des Beobachtungsbereichs als Freiraum vor dem Fahrzeug, der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.
In einer weiteren Ausführungsform der vorliegenden Erfindung kann ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug vorgesehen sein, das die folgenden Schritte aufweist:
- Aufnehmen eines ersten Bildes eines Beobachtungsbereichs vor dem Fahrzeug zu einem ersten Zeitpunkt und eines zweiten Bildes des Beobachtungsbereichs vor dem Fahrzeug zu einem nach dem ersten
Zeitpunkt liegenden zweiten Zeitpunkt durch einen bildgebenden Sensor;
- Bilden einer Differenz von Bilddaten des ersten Bildes und Bilddaten des zweiten Bildes, um ein Differenzbild zu erhalten, welches Bewegungskanten aufweist, die durch sich unterscheidende
Bildpunktwerte der Bilddaten des ersten Bildes gegenüber den Bilddaten des zweiten Bildes definiert sind; und
- Bestimmen desjenigen Teils des Beobachtungsbereichs als Freiraum vor dem Fahrzeug, der einem Bewegungskanten-freien Bereich des Differenzbildes ausgehend von einem unteren Bildrand des
Differenzbildes entspricht. Dieses Bestimmen kann beispielsweise dadurch erfolgen, dass ein Setzen eines Flags ausgeführt wird, wenn die Musterekennungseinheit Kantenbewegungen in den Beobachtungsbereich hinein detektiert. Die Mustererkennungseinheit kann realisiert werden, indem spaltenweise die Kantenpixel zu einem Profil aufintegriert werden.
Werden in diesem Profil Peaks erkannt die oberhalb eines gewissen Schwellwertes liegen, so wird das Flag gesetzt und damit signalisiert, dass sich etwas in den Beobachtungsbereich bewegt hat.
Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit den in den Zeichnungen dargestellten Ausführungsbeispielen.
In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in den Zeichnungen werden die in der hinten angeführten Liste der
Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet. Die Zeichnungen zeigen in
Fig. 1 eine Darstellung der Einsatzmöglichkeit eines
Ausführungsbeispiels der vorliegenden Erfindung;
Fig. 2 eine Darstellung der Erfassung von Bewegungskanten in einem Bild;
Fig. 3 eine Darstellung der geometrischen Berechnung des tatsächlichen Freiraums vor dem Fahrzeug aus den in dem
Differenzbild ermittelten Werten; und
Fig. 4 eine Darstellung der Gewichtung der Bewegungskanten zur
Beurteilung des Freiraumes vor einem Fahrzeug abhängig von einer Bewegungsrichtung eines Objektes vor das
Fahrzeug.
Im Folgenden können gleiche und/oder funktional gleiche Elemente mit den gleichen Bezugszeichen versehen sein. Die im Folgenden angegebenen absoluten Werte und Maßangaben sind nur beispielhafte Werte und stellen keine Einschränkung der Erfindung auf derartige Dimensionen dar.
Fig. 1 zeigt eine Darstellung der Einsatzmöglichkeit eines Ausführungsbeispiels der vorliegenden Erfindung. Hierbei ist ein Fahrzeug 10 dargestellt, dass sich beispielsweise in einem Stau hinter einem
Lastwagen 12 befindet. Das Fahrzeug 10 ist mit einem Ausführungsbeispiel der erfindungsgemäßen Vorrichtung 14 ausgestattet.
Das in Fig. 1 dargestellte Ausführungsbeispiel der Vorrichtung 14 umfasst einen bildgebenden Sensor 16, der beispielsweise eine optische Kamera, ein Ultraschallsensor, ein Radarsensor oder Lidarsensor sein kann. Ferner umfasst die Vorrichtung 14 eine Bildverarbeitungseinheit 18 sowie eine mit der Bildverarbeitungseinheit 18 gekoppelte Mustererkennungseinheit 20. Der bildgebende Sensor 16 kann im Bereich der Windschutzscheibe des Fahrzeugs 10 angeordnet sein. Hierdurch ergibt sich ein Beobachtungsbereich 22, der durch die erhöhte Anordnung des bildgebenden Sensors 16 wesentlich größer ist, als es bei einer Montage des Sensors beispielsweise im Front-, insbesondere Kühlerbereich eines Kraftfahrzeugs möglich ist.
In diesem Beobachtungsbereich 22 kann ein Objekt 24 erkannt werden, beispielsweise eine Person, die während dem Stau zwischen das Fahrzeug 10 und den Lastwagen 12 gelaufen ist. Der bildgebende Sensor 16 nimmt hierzu ein erstes Bild auf, in dem sich das Objekt 24 noch nicht zwischen dem Fahrzeug 10 und dem Lastwagen 12 befindet. Danach wird ein zweites Bild aufgenommen, bei dem sich das Objekt 24 bereits zwischen dem Fahrzeug 10 und dem Lastwagen 12 befindet. Das erste und zweite Bild werden dann miteinander verglichen, indem ein Differenzbild aus dem ersten und zweiten Bild erzeugt wird. Die durch das Objekt 24 im zweiten Bild verursachten Unterschiede führen hierbei zu Bewegungskanten im Differenzbild, die aus der Anwesenheit des Objekts 24 in dem Beobachtungsbereich 22 resultieren. Es wird nun ein Abstand zwischen der durch das Objekt 24 verursachten untersten Bewegungskante und einem unteren Rand des Differenzbildes gemessen, der einen Rückschluss auf die Position des Objekts 24 in dem Beobachtungsbereich 22 beziehungsweise einen Rückschluss auf einen Abstand des Objektes 24 vom Fahrzeug 10 ermöglicht. Hierbei wird davon ausgegangen, dass der untere Rand des Differenzbildes beziehungsweise des ersten und zweiten Bildes der Frontposition des Fahrzeugs 10 entspricht.
Fig. 2 zeigt eine Darstellung der Erfassung von Bildkanten beispielhaft an Hand von zwei Bildern. In der linken Teildarstellung von Fig. 2 ist ein Bild einer Kamera wiedergegeben, in dem dargestellt ist, wie sich das Fahrzeug mit der erfindungsgemäßen Vorrichtung auf einer Strasse hinter einem
Lastwagen 12 befindet. Als Grundannahme wird dabei davon ausgegangen, dass eine leere Fahrspur bis auf die Fahrbahnmarkierungen keine starken (BiId-) Kanten enthält. Sich durch "erhabene" Objekte bildende Schattenkanten heben sich über ihren Kontrast von der Fahrbahn ab und lassen auf Objekte oder Hindernisse auf der Fahrbahn (oder zumindest direkt daneben) schließen. In der rechten Teildarstellung von Fig. 2 ist erkennbar, wie Bildkanten in der (statischen) Auswertung eines einzelnen Bildes ermittelt und markiert werden können. Insbesondere ist gut zu sehen, dass durch die Fahrbahnmarkierungen und die Bildkanten des Schattenverlaufs hinter dem Lastwagen der vor dem Fahrzeug liegende Bereich derart analysiert wurde, dass im Bereich 30 keine Bewegungskanten vor dem Fahrzeug erkannt wurden und dass dieser Bereich 30 als Freiraum vor dem Fahrzeug betrachtet werden kann. Dagegen werden in einem Randbereich der Fahrbahn die Seitenstreifen durch die Kantenerkennung erkannt und als Begrenzung für den Freiraum vor dem Fahrzeug gewertet. Im rechten Teildiagramm der Fig. 2 ist durch die Kantenerkennung klar zu erkennen, dass sich kein Objekt zwischen dem Fahrzeug und dem Lastwagen befindet. Dies ermöglicht zugleich die Verwendung der Erfindung zur Spurführung. Ändert sich auch der Abstand zum vorausfahrenden LKW bei der Fahrt nicht, ergibt sich auch im Bewegungsbild keine Bewegungsbildkante, so dass hierauf keine Veränderung des Abstandes zum LKW und damit keine Einschränkung des Freiraumes vor dem Fahrzeug zu verzeichnen ist.
In Fig. 3 ist dargestellt, wie eine geometrische Berechnung des Freiraums vor dem Fahrzeug aus den ermittelten Werten des Differenzbildes durchgeführt wird, das aus von einer hinter dem Rückspiegel an der Windschutzscheibe eines Kraftfahrzeugs montierten Kamera aufgenommen Bildern erzeugt wurde. Hierbei stellt Fig. 3 eine Möglichkeit zur Abstandsbestimmung eines Punktes d zur Kamera beziehungsweise dem bildgebenden Sensor dar. Der Abstand wird aus der Kameraeinbauhöhe h in dem Fahrzeug, dem Kameranickwinkel a, der Bildzeile y des Punktes dessen Abstand bestimmt werden soll, der Pixelgröße η sowie der Kamerabrennweite f gemäß der Formel
, l - f - tanα , η d = h mit t = y - -f t + tan a J bestimmt.
Im Folgenden wird ein beispielhaftes Verfahren beschrieben, das eine automatische Freiraumbestimmung mittels monokularer Kamera realisiert, zum Beispiel für das Wiederanfahren eines angehaltenen Fahrzeugs. Es ist vorgesehen, dass ein automatisches Wiederanfahren nur erfolgt, wenn ein Freiraum vor dem Fahrzeug so bemessen ist, dass er größer als ein vorher als ausreichend groß definierter Freiraum ist und im Sensorsystem beziehungsweise der zugehörigen Auswerteeinheit hinterlegt ist. Kann dies nicht durch ein oder mehrere Sensorsysteme (Kamera, Ultraschall, Radar, Lidar, etc.) verifiziert werden, ist ein aktiver Eingriff, zum Beispiel des Fahrzeugführers, notwendig, damit die Fahrt fortgesetzt wird.
Im Folgenden wird eine vorteilhaft ausgestaltete Vorrichtung und ein ebensolches Verfahren beschrieben, das den Freiraum vor einem Fahrzeug vor einer Wiederanfahrt bestimmt. Das Fahrzeug ist mit mindestens einem Sensorsystem, mit zugehöriger Auswerteeinheit und einer Speichervorrichtung ausgestattet. In der Speichervorrichtung werden ab Stillstand des Fahrzeugs Informationen über bewegte Objekte im Erfassungsbereich des Sensors beziehungsweise der Sensoren in gespeichert. Optional werden bewegte Objekte während des Stillstands nachverfolgt, um weitere Informationen zum Beispiel über die Relativgeschwindigkeit zu erhalten oder ein wahrscheinliches Verhalten des Objektes vorherzusagen (Querbewegung, Objekt bewegt sich auf das Fahrzeug zu oder vom Fahrzeug weg).
Kommen mehrere Sensorsysteme zum Einsatz, so werden ihre Daten zur Plausibilisierung des Ergebnisses zusammengeführt (Sensordatenfusion). Möglich ist auch eine Beschränkung auf Objekte, die sich auf der Fahrbahn oder in einem zuvor definierten relevanten Bereich befinden. Das Verfahren selektiert also Objekte, die nach dem Stillstand in den Freiraum vor dem Fahrzeug eintreten. Vor einer Wiederanfahrt wird geprüft, ob sich diese Objekte noch vor dem Fahrzeug befinden oder diesen Bereich bereits wieder verlassen haben. Ein Kriterium, ob ein aktiver Eingriff, z.B. des Fahrzeugsführers, zur Fortsetzung der Fahrt vorgesehen ist oder auch eine automatische Wiederanfahrt erfolgt, wird in Abhängigkeit davon getroffen, dass sich eines der vorher beschriebenen selektierten Objekte noch in dem vorgegebenen Freiraum aufhält. Weitere Kriterien können z.B. die Objekteigenschaften (Größe, Relativgeschwindigkeit, Mensch, Gegenstand, Fahrzeug etc.) sein.
Das vorstehend beschriebene Verfahren ist unter anderem für einen
Kamerasensor geeignet. Unter der Annahme, dass eine leere Fahrspur keine starken Kanten enthält, werden die Kanten in den Bilddaten extrahiert. Sich in das Bild bewegende "erhabene" Objekte bilden Schattenkanten und heben sich über ihren Kontrast von der Fahrbahn ab. Ein Verfahren zur Erkennung von bewegten Objekten mit einer Kamera könnte etwa wie folgt ablaufen:
1. Es wird ein Differenzbild aus zwei aufeinander folgenden Bildern berechnet. Es entsteht ein Bild mit Bewegungskanten.
2. Es wird ein Schwellenwert auf das Differenzbild angewendet, so dass nur starke Bewegungskanten verbleiben.
3. Alle Bewegungskanten werden während des Stillstands gespeichert.
4. Vor einer Wiederanfahrt wird der Freiraum berechnet, zum Beispiel werden ausgehend vom unteren Bildrand die nächsten gespeicherten Bewegungskanten bestimmt. Die entstehende Kontur begrenzt den Freiraum.
Alternativ kann das Verfahren gemäß einem Ausführungsbeispiel auch folgendermaßen ablaufen, wie es in Fig. 4 näher dargestellt ist: 1. Es wird ein Differenzbild aus zwei aufeinander folgenden Bildern T1 und T1 +dt berechnet. Es entsteht ein (Differenz-) Bild mit Bewegungskanten.
2. Es wird ein Schwellenwert auf das Differenzbild angewendet, so dass nur starke Bewegungskanten verbleiben.
3. Die Bewegungskanten werden spaltenweise aufintegriert, so dass ein Kantenprofil entsteht.
4. Überschreitet das Profil einen Schwellwert wird ein Freiraum-Flag gesetzt, das eine Bewegung in den Freiraum anzeigt
5. Vor einer Wiederanfahrt wird das Freiraum-Flag abgefragt.
Beispielsweise kann das Wiederanfahren blockiert werden, wenn das Freiraum-Flag gesetzt ist und das Wiederanfahren erst dann freigegeben werden, wenn sichergestellt ist, dass sich kein Objekt mehr vor dem Fahrzeug befindet. Dies kann durch ein Rücksetzen des Flags erfolgen, wenn sich das Objekt aus dem Beobachtungsbereich hinausbewegt und durch eine Auswertung diese sich aus dem Beobachtungsbereich hinausbewegenden Bewegungskanten ein
Löschen des Flags bewirken.
Weiterhin werden auch beim Analysieren des Differenzbildes statische Bildkanten wie z.B. die Fahrbahnmarkierungen herausgefiltert, da diese in beiden Bildern auftreten. Somit kann der Focus lediglich auf die „sich bewegenden" Bildkanten gerichtet werden, was die Bildverarbeitung deutlich erleichtert. Bezugszeichen
Fahrzeug
Lastwagen
Vorrichtung zum Bestimmen eines Freiraums vor einem
Fahrzeug bildgebender Sensor, Kamera
Bildverarbeitungseinheit
Mustererkennungseinheit
Beobachtungsbereich
Objekt als Freiraum erkennbarer Bereich

Claims

Patentansprüche
1. Vorrichtung (14) zum Bestimmen eines Freiraums vor einem Fahrzeug (10), umfassend:
- einen bildgebenden Sensor (16), der ausgebildet ist, um ein Bild eines Beobachtungsbereichs (22) vor dem Fahrzeug (10) aufzunehmen;
- eine Bildverarbeitungseinheit (18), die ausgebildet ist, um das aufgenommene Bild zu verarbeiten, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und
- eine Mustererkennungseinheit (20), die ausgebildet ist, um als Freiraum vor dem Fahrzeug (10) denjenigen Teil des Beobachtungsbereichs (22) zu bestimmen, der einem Bildkanten- freien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.
2. Vorrichtung (14) gemäß Anspruch 1 , dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (18) ausgebildet ist, um
Fahrbahnmarkierungen und/oder einen Schattenverlauf zu erkennen und als Bildkante in dem Bild zu markieren.
3. Vorrichtung (14) gemäß Anspruch 1 , dadurch gekennzeichnet, dass
- der bildgebende Sensor (16) ausgebildet ist, um zu einem ersten Zeitpunkt das Bild und zu einem nach dem ersten Zeitpunkt liegenden zweiten Zeitpunkt ein zweites Bild des Beobachtungsbereichs (22) vor dem Fahrzeug (10) aufzunehmen; - die Bildverarbeitungseinheit (18) ausgebildet ist, um durch Bilden einer Differenz von Bilddaten des Bildes und Bilddaten des zweiten Bildes ein Differenzbild zu erhalten, welches Bewegungskanten aufweist, die durch sich unterscheidende Bildpunktwerte der Bilddaten des Bildes gegenüber den Bilddaten des zweiten Bildes definiert sind, wobei das Differenzbild als Verarbeitungsbild bereitgestellt wird; und
- die Mustererkennungseinheit (20) ausgebildet ist, um als Freiraum vor dem Fahrzeug (10) denjenigen Teil des Beobachtungsbereichs
(22) zu bestimmen, der einem Bewegungskanten-freien Bereich des Differenzbildes ausgehend von einem unteren Bildrand des Differenzbildes entspricht.
4. Vorrichtung gemäß Anspruch 3, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (18) ausgebildet ist, um einen Schwellenwert auf Bildpunktwerte des Differenzbildes anzuwenden, derart, dass in dem Differenzbild nur Bewegungskanten enthalten sind, deren Bildpunktwerte über dem Schwellenwert liegen.
5. Vorrichtung gemäß einem der Ansprüche 3 oder 4, dadurch gekennzeichnet, dass der bildgebende Sensor (16) ausgebildet ist, um das Bild und das zweite Bild während einem Stillstand des Fahrzeugs (10) aufzunehmen.
6. Vorrichtung gemäß Anspruch 5, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um ein Blockieren des Anfahrens des Fahrzeugs (10) zu signalisieren, wenn nicht mindestens ein Freiraum von einer vordefinierten Größe vor dem Fahrzeug (10) erkannt wurde.
7. Vorrichtung gemäß Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um ein Blockieren des Anfahrens des Fahrzeugs (10) zu signalisieren, wenn ein Objekt (24) mit einer vordefinierten Mindestgröße in einem vordefinierten Bereich vor dem Fahrzeug (10) erkannt wurde.
8. Vorrichtung gemäß einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, eine geometrische Berechnung des Freiraums vor dem Fahrzeug aus den ermittelten Werten des Differenzbildes durchzuführen, indem der Abstand d Punktes zum bildgebenden Sensor (16) aus der Einbauhöhe h des bildgebenden Sensors (16) im Fahrzeug, dem Sensornickwinkel a, der Bildzeile y des
Punktes, dessen Abstand bestimmt werden soll, der Pixelgröße η sowie der Brennweite f gemäß der folgenden Formel bestimmt wird:
d = h mit * = y - j . t + tan a J
9. Vorrichtung gemäß einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass der bildgebende Sensor (16) ausgebildet ist, um nach dem zweiten Zeitpunkt weitere Bilder aufzunehmen und die Bildverarbeitungseinheit (18) ferner ausgebildet ist, um das Bild und das zweite Bild sowie die weiteren Bilder zu speichern und um aus dem zweiten Bild und weiteren Bildern weitere Differenzbilder mit entsprechenden Bewegungskanten aufzunehmen.
10. Vorrichtung gemäß Anspruch 9, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um ein Eindringen eines Objektes (24) in einen freizuhaltenden Raum vor einem stehenden Fahrzeug (10) durch einen Vergleich der Bewegungskanten in unterschiedlichen Differenzbildem zu erkennen.
11. Vorrichtung gemäß Anspruch 10, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um eine Bewegungsrichtung der Kanten zu analysieren und um beim Bestimmen des Freiraums vor dem Fahrzeug (10) diejenigen Bewegungskanten, die sich in den Beobachtungsbereich (22) hineinbewegen stärker zu gewichten als Bewegungskanten, die sich aus dem Beobachtungsbereich
(22) hinausbewegen, wobei das stärkere Gewichten der sich in den Beobachtungsbereich (22) hineinbewegenden Beobachtungskanten derart erfolgt, dass bezüglich dieser sich in den Bewegungsbereich (22) hineinbewegenden Beobachtungskanten ein Sicherheitsabstand in dem zu bestimmenden Freiraum vor dem Fahrzeug (10) vorgesehen wird.
12. Vorrichtung gemäß einem der Ansprüche 10 oder 11 , dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um bei stehendem Fahrzeug (10) eine Bewegungsrichtung der Kanten zu analysieren und um beim Bestimmen des Freiraums vor dem Fahrzeug (10) diejenigen Bewegungskanten, die sich in den Beobachtungsbereich (22) hineinbewegen stärker zu gewichten als Bewegungskanten, die sich aus dem Beobachtungsbereich (22) hinausbewegen, wobei das stärkere Gewichten der sich in den Beobachtungsbereich (22) hineinbewegenden
Beobachtungskanten derart erfolgt, dass bezüglich dieser sich in den Bewegungsbereich (22) hineinbewegenden Beobachtungskanten ein Signal gesetzt wird und wobei ein Wiederanfahren des Fahrzeugs (10) in Abhängigkeit von dem Signal erfolgt.
13. Vorrichtung gemäß Anspruch 12, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um die Bewegungskanten der Differenzbilder spaltenweise aufzuintegrieren, so dass ein Kantenprofil entsteht und bei einem Überschreiten des Profils über einen Schwellwert das Signal zu setzen, um eine Bewegung in den Freiraum anzuzeigen.
14. Vorrichtung gemäß einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um aus einer Mehrzahl von Differenzbildern eine Bewegung eines in den freizuhaltenden Raum vor dem Fahrzeug (10) eindringenden
Objektes (24) in diesem freizuhaltenden Raum nachzuverfolgen.
15. Vorrichtung gemäß einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass der bildgebende Sensor (16) eine Kamera ist.
16. Vorrichtung gemäß einem der Ansprüche 3 bis 15, dadurch gekennzeichnet, dass die Vorrichtung (14) einen weiteren bildgebenden Sensor aufweist und die Bildverarbeitungseinheit (18) ausgebildet ist, um die
Bilddaten des Bildes oder des zweiten Bildes mit Bilddaten des weiteren bildgebenden Sensors auf Plausibilität zu überprüfen.
17. Verfahren (14) zum Bestimmen eines Freiraums vor einem Fahrzeug (10), mit folgenden Schritten:
- Aufnehmen eines Bildes eines Beobachtungsbereichs (22) vor dem Fahrzeug (10);
- Verarbeiten des aufgenommenen Bildes, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und - Bestimmen desjenigen Teils des Beobachtungsbereichs (22) als
Freiraum vor dem Fahrzeug (10), der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.
PCT/DE2007/000788 2006-05-12 2007-05-03 Vorrichtung und verfahren zum bestimmen eines freiraums vor einem fahrzeug WO2007131470A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112007000332T DE112007000332A5 (de) 2006-05-12 2007-05-03 Vorrichtung und Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug
EP07722345A EP2021975A1 (de) 2006-05-12 2007-05-03 Vorrichtung und verfahren zum bestimmen eines freiraums vor einem fahrzeug

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102006022739 2006-05-12
DE102006022739.5 2006-05-12
DE102006060893A DE102006060893A1 (de) 2006-05-12 2006-12-22 Vorrichtung und Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug
DE102006060893.3 2006-12-22

Publications (1)

Publication Number Publication Date
WO2007131470A1 true WO2007131470A1 (de) 2007-11-22

Family

ID=38331149

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2007/000788 WO2007131470A1 (de) 2006-05-12 2007-05-03 Vorrichtung und verfahren zum bestimmen eines freiraums vor einem fahrzeug

Country Status (3)

Country Link
EP (1) EP2021975A1 (de)
DE (2) DE102006060893A1 (de)
WO (1) WO2007131470A1 (de)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007039377B4 (de) * 2007-08-21 2011-11-10 Audi Ag Verfahren zur automatischen Längsführung eines Kraftfahrzeugs mittels eines längsführenden Fahrerassistenzsystems mit Stop&Go-Funktion
US8917904B2 (en) 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
US8634593B2 (en) 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
US8803966B2 (en) 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8421859B2 (en) 2008-04-24 2013-04-16 GM Global Technology Operations LLC Clear path detection using a hierachical approach
DE102009058488B4 (de) * 2009-12-16 2014-07-31 Audi Ag Verfahren zum Unterstützen beim Führen eines Kraftfahrzeugs
DE102010009620B4 (de) 2010-02-27 2019-09-12 Volkswagen Ag Verfahren und Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld
DE102015115012A1 (de) * 2015-09-08 2017-03-09 Connaught Electronics Ltd. Verfahren zum Erzeugen einer Umgebungskarte einer Umgebung eines Kraftfahrzeugs anhand eines Bilds einer Kamera, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017115475A1 (de) * 2017-07-11 2019-01-17 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erkennen eines Hindernisses in einem Umgebungsbereich eines Kraftfahrzeugs, Auswerteeinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102019212021B4 (de) * 2019-08-09 2024-02-08 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
DE102020200183A1 (de) 2020-01-09 2021-07-15 Continental Automotive Gmbh Verfahren zum Erstellen einer probabilistischen Freiraumkarte mit statischen und dynamischen Objekten
DE102021003728B4 (de) 2021-07-20 2023-04-20 Daimler Truck AG Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera-Vorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5706355A (en) * 1991-03-22 1998-01-06 Thomson-Csf Method of analyzing sequences of road images, device for implementing it and its application to detecting obstacles
EP0880032A1 (de) * 1997-05-20 1998-11-25 Matsushita Electric Industrial Co., Ltd. Vorrichtung zur Erstellung eines Bildes sowie Verfahren und Vorrichtung zur Entfernungsmessung
DE19936585A1 (de) * 1999-08-03 2001-02-15 Foerderung Angewandter Informa Vorrichtung und Verfahren für die Detektion sich auf die Vorrichtung zubewegender Radfahrer
US20060088188A1 (en) * 2004-10-11 2006-04-27 Alexander Ioffe Method for the detection of an obstacle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3169483B2 (ja) * 1993-06-25 2001-05-28 富士通株式会社 道路環境認識装置
WO1999053430A1 (en) * 1998-04-13 1999-10-21 Eyematic Interfaces, Inc. Vision architecture to describe features of persons
JP2001101415A (ja) * 1999-09-29 2001-04-13 Fujitsu Ten Ltd 画像認識装置および画像処理装置
JP2001357484A (ja) * 2000-06-14 2001-12-26 Kddi Corp 道路異常検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5706355A (en) * 1991-03-22 1998-01-06 Thomson-Csf Method of analyzing sequences of road images, device for implementing it and its application to detecting obstacles
EP0880032A1 (de) * 1997-05-20 1998-11-25 Matsushita Electric Industrial Co., Ltd. Vorrichtung zur Erstellung eines Bildes sowie Verfahren und Vorrichtung zur Entfernungsmessung
DE19936585A1 (de) * 1999-08-03 2001-02-15 Foerderung Angewandter Informa Vorrichtung und Verfahren für die Detektion sich auf die Vorrichtung zubewegender Radfahrer
US20060088188A1 (en) * 2004-10-11 2006-04-27 Alexander Ioffe Method for the detection of an obstacle

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DICKMANNS E D: "The development of machine vision for road vehicles in the last decade", INTELLIGENT VEHICLE SYMPOSIUM, 2002. IEEE JUN 17-21, 2002, PISCATAWAY, NJ, USA,IEEE, vol. 1, 17 June 2002 (2002-06-17), pages 268 - 281, XP010635839, ISBN: 0-7803-7346-4 *
LIAO CHUANJIN ET AL: "A monocular-vision-based driver assistance system for collision avoidance", INTELLIGENT TRANSPORTATION SYSTEMS, 2003. PROCEEDINGS. 2003 IEEE OCT. 12-15, 2003, PISCATAWAY, NJ, USA,IEEE, vol. 1, 12 October 2003 (2003-10-12), pages 463 - 468, XP010673612, ISBN: 0-7803-8125-4 *
See also references of EP2021975A1 *

Also Published As

Publication number Publication date
DE112007000332A5 (de) 2008-11-13
EP2021975A1 (de) 2009-02-11
DE102006060893A1 (de) 2007-11-15

Similar Documents

Publication Publication Date Title
WO2007131470A1 (de) Vorrichtung und verfahren zum bestimmen eines freiraums vor einem fahrzeug
EP1928687B1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
EP3187383B1 (de) Verfahren und vorrichtung zur externen betätigung eines aktors eines fahrzeugs
DE102009006335B4 (de) Verfahren zur Unterstützung des Fahrers eines Kraftfahrzeugs
DE102007039377B4 (de) Verfahren zur automatischen Längsführung eines Kraftfahrzeugs mittels eines längsführenden Fahrerassistenzsystems mit Stop&Go-Funktion
DE102009004626B4 (de) Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs
EP2879116B1 (de) Verfahren und Vorrichtung zur Erkennung der Durchfahrtsmöglichkeit eines Fahrzeugs
DE102016122296A1 (de) Verfahren zum Erfassen und zur Klassifizierung eines Objekts mittels zumindest einer Sensorvorrichtung auf Basis einer Belegungskarte, Fahrerassistenzsystem sowie Kraftfahrzeug
DE10324895A1 (de) Verfahren und Vorrichtung zur Objektortung für Kraftfahrzeuge
DE102018217746A1 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102015116542A1 (de) Verfahren zum Bestimmen einer Parkfläche zum Parken eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
EP2200881A1 (de) Verfahren zur schätzung der relativbewegung von video-objekten und fahrerassistenzsystem für kraftfahrzeuge
DE102016117712A1 (de) Verfahren zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs unter Berücksichtigung eines Erfassungsbereichs eines Sensors, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016012345A1 (de) Verfahren zum Erkennen von Objekten
EP3173817A1 (de) Verfahren zur detektion und lokalisierung einer garage und kraftfahrzeug
DE102017120765A1 (de) Verfahren zum Charakterisieren einer von zwei Objekten begrenzten Parklücke für ein Kraftfahrzeug, Parkassistenzsystem sowie Kraftfahrzeug
DE102015216352A1 (de) Verfahren zum Erkennen einer möglichen Kollision eines Fahrzeuges mit einem Fußgänger auf Grundlage hochaufgelöster Aufnahmen
WO2018141340A1 (de) Erkennung von strassenunebenheiten anhand einer situationsanalyse
EP3144919B1 (de) Vorrichtung und verfahren zur anfahrassistenz für ein kraftfahrzeug
DE102012024879A1 (de) Fahrerassistenzsystem zum zumindest partiellen Abbremsen eines Kraftfahrzeugs, Kraftfahrzeug und entsprechendes Verfahren
DE102013022050A1 (de) Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP1944212A1 (de) Verfahren und Vorrichtung zum Ermitteln potentiell gefährdender Objekte für ein Fahrzeug
DE102017212379A1 (de) Verfahren und System zum Detektieren eines freien Bereiches innerhalb eines Parkplatzes
DE102021001176A1 (de) Verfahren zur Erkennung eines bevorstehenden Frontalzusammenstoßes zwischen zwei Fahrzeugen
EP2856205A1 (de) Verfahren und vorrichtung zur objektdetektion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07722345

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2007722345

Country of ref document: EP

REF Corresponds to

Ref document number: 112007000332

Country of ref document: DE

Date of ref document: 20081113

Kind code of ref document: P

WWE Wipo information: entry into national phase

Ref document number: DE