WO2014032904A1 - Verfahren und vorrichtung zum erkennen einer position eines fahrzeugs auf einer fahrspur - Google Patents

Verfahren und vorrichtung zum erkennen einer position eines fahrzeugs auf einer fahrspur Download PDF

Info

Publication number
WO2014032904A1
WO2014032904A1 PCT/EP2013/066188 EP2013066188W WO2014032904A1 WO 2014032904 A1 WO2014032904 A1 WO 2014032904A1 EP 2013066188 W EP2013066188 W EP 2013066188W WO 2014032904 A1 WO2014032904 A1 WO 2014032904A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
lane
optical axis
vehicle
Prior art date
Application number
PCT/EP2013/066188
Other languages
English (en)
French (fr)
Inventor
Markus Hahn
Christian Renner
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to US14/425,100 priority Critical patent/US9569673B2/en
Priority to CN201380045342.9A priority patent/CN104781829B/zh
Publication of WO2014032904A1 publication Critical patent/WO2014032904A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Definitions

  • the present invention relates to a method for detecting a position of a vehicle on a lane, to a corresponding one
  • Systems for detecting lane markings today are based on mono- or stereo cameras. Likewise based thereon steering assistance of the driver (lane keeping systems). A torque on the steering wheel, the vehicle is kept within the detected lane.
  • the series systems are characterized by a high availability, but in difficult situations such as backlight, night, wet, snow or even construction sites can decrease in your availability.
  • the drop in optical path disturbance and street reflectivity may also occur with stereo cameras because there is a large overlapping image area and the effects occur in both camera images.
  • Another aspect is the fact that hardly a robust detection of the road surface can be performed when the lane is not limited by a marker, but for example by a green strip or guardrails.
  • Previous systems may cause a driver who has become accustomed to the system in "good situations", such as highways in Germany, to become unsettled in the event of reduced availability, in special situations or on bad roads, and thus confidence in the system is lost and acceptance is reduced, which is currently one for current systems Challenge to change from a well-marked road to a poorly marked highway.
  • DE-102006021 177 A1 discloses a system which uses radar sensors as well as side and rear view cameras to detect lane changes of vehicles in front. About a lane detection no statement is made.
  • the present invention provides a method for detecting a position of a vehicle on a lane, a device using this method, and finally
  • the invention is based on the recognition that the alignment of the optical axis in a camera can be a direct influence for many disturbances in an imaging process. Furthermore, the robustness of a system can be increased by redundancy and diverging optical axes from a plurality of optical detection systems. By means of intrinsic calibration and extrinsic calibration of the majority of camera systems, the images can be put into a common world coordinate system and further calculations may be based on the image transformed in world coordinates.
  • the present invention provides a method for detecting a position of a vehicle on a lane, the method comprising the steps of:
  • Lane boundary object to detect the position of the vehicle on the lane.
  • the vehicle may be a passenger car, a commercial vehicle or a motorcycle.
  • the vehicle can be moved on a lane with at least one lane.
  • the lane may be available to a vehicle for one-way travel.
  • the lane can pass through
  • Road markings such as a roadway boundary and a
  • Lane boundary or a guideline Various Lanes can also not be marked.
  • a lane boundary object may have a surface, color, and / or structure that is distinguishable from the traffic lane.
  • a guide post and / or other roadside equipment such as traffic signage or crash barriers may be a roadway boundary object.
  • a position of the vehicle on a lane may be a lateral distance of the vehicle from a lateral edge of a lane and / or an angle of
  • At least two cameras can be arranged in the vehicle.
  • the cameras can each have an optical axis and a detection angle.
  • the optical axis can pass through the center of the captured image.
  • the optical axis of the first camera can be aligned within a tolerance range in the direction of travel of the vehicle.
  • An object detected by the first camera can be detected over time by the at least second camera.
  • a detection angle may be referred to as an angle of view and / or horizontal angle of view.
  • Acquisition angle can be understood as an angle between an angle of view characterizing the edge of an image and an angle of view characterizing the opposite edge of the image.
  • An angle can indicate a perspective under which an object is viewed, or a perspective
  • the angle of view can be related to the optical axis and / or to the direction of travel of the
  • An image gradient at one pixel may represent the direction of greatest increase in intensity of the direct neighboring pixels.
  • a concatenated image gradient may be referred to as a "string.”
  • a pixel may be referred to as a "pixel.”
  • An adjacent pixel may be taken to be a directly adjacent pixel, ie two touching pixels, and / or adjacent ones may be the next.
  • the arrangement of the cameras can be particularly advantageous, so that in the case of a disturbance of the optical path by an oncoming vehicle, only one camera is adversely affected,
  • the present invention offers the advantage that now by the utilization of the images of the first and second camera, which are aligned in different optical axes, now a very good and robust evaluation of the images even with a disturbance of the optical path (for example, a glare) one
  • Camera system read, which is aligned in optical axes, which allows a robustness of the processing of the read images in case of disturbing the optical path read one of the cameras.
  • the method comprises a step of classifying the at least one concatenated image gradient and the at least one further concatenated image gradient using image regions along the concatenated image gradients and a step of selecting at least one classified concatenated one
  • Classifying and selecting may be arranged after the assigning step and before the determining step.
  • Line estimation may generate a lane boundary line.
  • a line contour estimate may generate a lane trail between two spaced-apart lane boundary objects.
  • the spatio-temporal chained image gradients with associated features allow a holistic roadway assessment, because features that you have already "seen" and tracked with the front camera can also be found and analyzed in the images of the side camera.
  • the image and the at least second image can also be calibrated intrinsically and / or extrinsically in the step of reading in.
  • intrinsic and / or extrinsic calibration an arbitrary pixel of the first image and / or the second image can be securely assigned a position with respect to the vehicle. Under such a calibration, for example, a transformation of the image coordinates into a real coordinate system
  • the first image and the at least second image may overlap one another
  • an object can be recognized by the first camera as well as by the second camera.
  • An overlapping portion of the first image and the second image may facilitate extrinsic calibration and / or facilitate assignment of concatenated image gradients to lane boundary objects. If a concatenated image gradient is mapped in the overlapping subregion, an assignment in the first picture and in the second picture easier to be done.
  • Overlapping portion of the first image and the second image may in particular be present when the first optical axis of the first camera and the second optical axis of the second camera have an angle of less than 90 degrees.
  • one of the cameras may be one
  • the third optical axis of the third camera may cross the first optical axis and / or the second optical axis outside the detection angle of the first camera and / or the second camera.
  • the additional image may include a viewing angle that deviates at most an angle of 90 degrees from the direction of travel of the vehicle. In other words, the other picture has at least parts of the picture lying in the normal direction of travel.
  • the further image may have a partial area which permits a partial area of the first image and / or a partial area of the second image.
  • the first camera can be a front camera.
  • the second camera and / or the third camera may be a side camera, wherein the optical axis of the second camera has an angle to the direction of travel of the vehicle, which may correspond to the negative angle of the optical axis of the third camera to the direction of travel of the vehicle ,
  • Method is a step of creating a line model as
  • Line model describes the course of the lane and / or a future course of the lane.
  • the present invention offers the advantage of further use of the already determined road boundary objects, in order to also allow lane guidance in a driver assistance system. This offers the advantage that already determined and thus available objects can be used for a further functionality.
  • the present invention further provides an apparatus which is adapted to the steps of the inventive method in corresponding
  • Embodiment of the invention in the form of a device the object underlying the invention can be solved quickly and efficiently.
  • a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon.
  • the device may have an interface, which may be formed in hardware and / or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device.
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • An advantage is also a computer program product with program code, which on a machine-readable carrier such as a semiconductor memory, a
  • Hard disk space or an optical storage can be stored and used to carry out the method according to one of the embodiments described above, when the program product is executed on a computer or a device.
  • the present invention provides a lane detection system for detecting a position of a vehicle on a lane, wherein the
  • Lane detection system comprising the following features: a first camera having a first optical axis; at least one second camera having a second optical axis, wherein the first optical axis and the second optical axis are located outside of the second optical axis Intersect detection angle of the first camera and / or the second camera, and wherein the first camera and the at least second camera are each formed to include a viewing angle that deviates at most an angle of 90 degrees from the direction of travel of the vehicle; and a device having means configured to perform the steps of a variant of the above method to detect the position of the vehicle on the lane.
  • a very robust and highly available lane detection system can be provided which is suitable as a supplier of input variables of a lane keeping system.
  • a major advantage of the invention is to make the arrangement of the cameras with, for example, a front camera and one, in particular two laterally mounted cameras. By the arrangement of the lateral camera, it is also possible to estimate based on these alone a predictive lane boundary model of the vehicle.
  • a lane recognition algorithm is characterized, for example, in that it performs an overall estimation of the lane boundary model in the two, in particular three, camera images and is thus able to determine the lane boundaries
  • Lane markings or lawn edges allows, because the lateral
  • Fig. 1 is a schematic representation of a vehicle with a
  • Lane detection system for detecting a position of the
  • FIG. 2 is a flowchart of a method for detecting a position of a vehicle on a lane according to an embodiment of the present invention
  • Fig. 3 is a schematic representation of a vehicle with a
  • FIG. 4 to FIG. 8 are further schematic representations of the schematic representation of a vehicle shown in FIG.
  • Lane detection system according to an embodiment of the present invention.
  • the following embodiments according to the present invention show a high-availability lane detection system and lane keeping system based on front and side camera systems.
  • a lane recognition system which estimates a lane boundary model from the three images of the camera system used.
  • FIG. 1 shows a schematic representation of a vehicle with a
  • a lane detection system for detecting a position of a vehicle on a lane according to an embodiment of the present invention.
  • a vehicle 100 has a lane detection system 110 with a
  • Device 1 15 wherein the device comprises means to perform a method for detecting a position of a vehicle on a lane.
  • the device 15 has an interface 16a for reading in images from at least two cameras. Furthermore, the device 15 has a device 16b for determining at least one linked one
  • Image gradient per image read a means for assigning 1 16c of the at least one concatenated image gradient to one
  • the lane recognition system 110 has a first camera 120a and a second camera 120b connected to the interface
  • the embodiment shown in Fig. 1 has a third camera 120c.
  • the first camera 120a has a first optical axis 130a.
  • the first camera 120a detects a first image with a detection angle 135a, wherein a
  • Detection area 140a is detected.
  • the second camera 120b has a second optical axis 130b.
  • the second camera 120b detects a second image having a detection angle 135b, thereby detecting a detection area 140b.
  • the third camera 120c has a third optical axis 170.
  • the third camera 120c detects a third image with a detection angle 135c, thereby detecting a detection area 140c.
  • the vehicle 100 moves in
  • the first camera 120a and the second camera 120b have an overlapping image area 160.
  • the second camera 120b and the third camera 120c have an overlapping image area 160.
  • the optical axis 130b of the second camera 120b is as shown in FIG.
  • Embodiment substantially parallel to the direction of travel 150 aligned that is, the second optical axis 130b of the second camera 120b is in one Tolerance range arranged parallel to the direction of travel 150.
  • the first camera 120a and the third camera 120c are arranged as side cameras, wherein the first camera 120a in a viewing direction substantially to the right
  • Direction of travel 150 is aligned, and the third camera 120c in one
  • Viewing direction is aligned substantially left to the direction of travel 150.
  • Angle of the first optical axis to the direction of travel is in one
  • the angle between the second optical axis and the third optical axis is within a tolerance range of 60 degrees.
  • Video cameras as described above, a highly available
  • Lane detection algorithm can be realized and thus the function of lane keeping in many more situations than in the prior art can be realized.
  • no camera is arranged as a front camera and / or the angle between the optical axes varies between 5 degrees and 120 degrees.
  • 2 shows a flowchart of a method for detecting a position of a vehicle on a lane according to an embodiment of the present invention.
  • the method 200 includes a step of reading 210, a step of determining 220, a step of associating 230, and a determining step 240.
  • the method 200 may be in one
  • a first image of a first camera having a first optical axis and an at least second image of an at least second camera having a second optical axis are read in, the first and second cameras being aligned such that the first optical axis and cross the second optical axis outside the detection angle of the first camera and / or the second camera, and wherein the first image and the at least second image each include a viewing angle which is at most one
  • step determining 220 at least one concatenated image gradient in the first image and at least one further concatenated image gradient in the at least second image are determined.
  • step of assigning 230 the at least one linked image gradient is assigned to a road boundary object and the at least one further linked image gradient is assigned to the road boundary object and / or a further road boundary object.
  • step 240 the relative position of the vehicle becomes the
  • Track boundary object determined to detect the position of the vehicle on the lane.
  • an overall estimation of the lane boundary model is carried out.
  • An embodiment of the present invention in addition to the described method steps 210, 220, 230, 240 also with the
  • Steps preprocessing, advanced features calculation, feature selection and transformation, line estimation and line selection are described.
  • the method 200 is based on concatenated image gradient features (so-called.
  • Chained image gradients are concatenated gradients with similar gradient orientation and gradient strength in the local neighborhood of individual gradients, that is, over a longer chained image gradient, the gradient strength and gradient orientation can sometimes change significantly.
  • Examples of advanced features can be texture analysis, color saturation analysis, or optical flow to the left and right of the string.
  • Image gradients of the front camera are particularly well suited to the
  • the chained image gradients from the two side cameras are very well suited for a color classification of the gradient curve and are among other things very important for a high availability and accuracy, since the lane boundary is mapped to many more pixels than in the image of the front camera.
  • optical flow in the images of the side cameras raised
  • Objects e.g. As guardrails, classified much better than with the image of a single front camera.
  • the world coordinate system establishes the relationship of the cameras to each other and, in addition to the spatiotemporal features, also allows a holistic estimation of one
  • Lane boundary model e.g. B. with splines or with a clothoid.
  • the concatenated image gradients are searched for in the image of the front camera, which is the
  • Fig. 3 shows a schematic representation of a vehicle with a
  • a roadway 310 has two lanes 320.
  • the roadway 310 is bounded by a green strip 330, which has a lawn edge 335 to the roadway 310.
  • the lawn edge 335 represents the boundary between the roadway 310 and the green area 330.
  • the roadway 310 also has lane markings.
  • In the middle of the lane 310 is a guideline 340 as a longitudinal mark which visually separates two lanes 320 by a broken line on the lane 310.
  • the roadway 310 On the side of the roadway 310 opposite the lawn edge 335, the roadway 310 has a roadway boundary 350.
  • the roadway boundary 350 is also referred to as edge line 350.
  • Fig. 1 vehicle 100 is arranged, which has three cameras 120a, 120b, 120c, wherein the second camera 120b corresponding to a front camera, the first camera 120a as a direction of travel to the right side camera and the third camera 120c are arranged as a left side camera arranged to the direction of travel of the vehicle.
  • the detection range of the first camera 120a and the third camera 120c each includes at least one viewing angle that is at least partially directed forward and a viewing angle that is partially directed rearward with respect to the direction of travel of the vehicle.
  • the detection area of the first camera 120a and the detection area of the second camera 120b have an overlapping portion 160.
  • the detection range of the second camera 120b and the detection range of the third camera 120c have an overlapping portion 160.
  • the cameras 120a, 120b, 120c are arranged such that there is a very small overlap area 160 between the front camera 120b and the side cameras 120a, 120c.
  • the side cameras 120a, 120c are in one embodiment
  • the cameras 120a, 120b, 120c are intrinsically and extrinsically calibrated.
  • Basic coordinate system is assumed to be a world coordinate system with center center-rear axle.
  • the extrinsic calibration establishes the reference to the world coordinate system for each camera 120a, 120b, 120c.
  • FIGS. 4 to 7 based on the schematic representation of a vehicle 100 shown in FIG.
  • Embodiment of the present invention the method described in Figure 2 for detecting a position of a vehicle on a lane according to an embodiment of the present invention.
  • FIG. 4 is a bird's-eye view of a vehicle having a lane detection system according to a schematic.
  • the vehicle 100 has a front camera and a side camera pointing to the right toward the direction of travel and a side camera pointing to the left toward the direction of travel.
  • the right The side camera facing the direction of travel has a detection area 140a.
  • the looking forward in the direction of travel front camera has a
  • Detection area 140b The looking to the left to the direction of travel
  • a carriageway 310 is bounded on two opposite sides by a lawn edge 335.
  • the lawn edge 335 is followed in each case by a green strip 330.
  • the roadway 310 has lane markings.
  • a lane marking is designed as a guideline 340, another one
  • the lane mark is formed as a lane boundary 350.
  • Road 310 are formed two lanes 320, wherein the one lane 320 is limited by a lawn edge 335 and the guideline 340 and the other lane 320 of the guideline 340 and the road boundary 350 is limited.
  • the vehicle 100 is located on the lane 320, which is bounded by the lawn edge 335 and the guideline 340.
  • the lanes 320 are further bounded by guide posts 410.
  • a guide post 410 may also be referred to as a lead post.
  • the guideline 340, the lane boundary 350, a guide post 410 and / or a lawn edge 335 may
  • lane boundary objects collectively referred to as lane boundary objects.
  • FIG. 5 is a bird's-eye view of a vehicle having a lane detection system according to a schematic.
  • Embodiment of the present invention corresponds to the illustration already shown in FIG. They are highlighted
  • the vehicle has a front camera and side cameras with light
  • Fig. 6 shows a schematic representation of a bird's eye view of a
  • Embodiment of the present invention corresponds to the illustration already shown in FIG. Highlighted are the concatenated ones determined in the step of determining the method described in FIG. 2 for recognizing a position of a vehicle on a lane
  • Image gradients 610 that are in the step of associating the same method individual roadway boundary objects are assigned.
  • the concatenated image gradients 610 symbolize those described in FIG.
  • Lane boundary objects such as a guideline, a lane boundary, a delineator and / or a lawn edge. In others not shown
  • Embodiments further lane boundary objects are detected by means of concatenated image gradients.
  • the described method determines in the step of determining the relative position of the vehicle to the
  • Fig. 7 shows a schematic representation from the bird's eye view of a vehicle with a lane detection system according to a
  • Embodiment according to the present invention in the step of creating a line contour model is created, in which the concatenated image gradients shown in Fig. 6 are combined into a line contour model.
  • the linked image gradients become lane boundary lines 710a, 710b, 710c.
  • a line contour estimation takes place on the basis of the selected linked image gradients or feature.
  • Lane boundary lines estimated and tracked over time.
  • FIG. 8 is a bird's-eye view of a vehicle having a lane detection system according to a schematic.
  • Embodiment of the present invention illustrates a classification of the concatenated
  • Color classification analysis regions 810 are left and right along the main extension direction of a chained image gradient, that is, right and left according to the orientation of the interlinked image gradients.
  • An extended feature is also a texture analysis or color classification conceivable.
  • a much better color classification in the images of the side cameras as possible and a better object flow in the side cameras is feasible.
  • the embodiments described and shown in the figures are chosen only by way of example. Different embodiments may be combined together or in relation to individual features. Also, an embodiment can be supplemented by features of another embodiment.
  • an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (200) zum Erkennen einer Position eines Fahrzeugs (100) auf einer Fahrspur (320). Das Verfahren weist vier Schritte (210, 220, 230, 240) auf. Im Schritt des Einlesens (210) wird ein erstes Bild einer ersten Kamera (120b) mit einer ersten optischen Achse (130b) und ein zumindest zweites Bild einer zumindest zweiten Kamera (120a) mit einer zweitenoptischen Achse (130a) eingelesen, wobei die erste (120b) und zweite (120a) Kamera derart ausgerichtet sind, dass sich die erste optische Achse (130b) und die zweite optische Achse (130a) außerhalb des Erfassungswinkels (135b) der ersten Kamera (120b) und/oder der zweiten Kamera (120a) kreuzen, und wobei das erste Bild und das zumindest zweite Bild je einen Blickwinkel einschließen, der höchstens einen Winkel von 90 Grad von der Fahrtrichtung (150) des Fahrzeugs (100) abweicht. Im Schritt des Bestimmens (220) werden zumindest ein verketteter Bildgradient (610) in dem ersten Bild und zumindest ein weiterer verketteter Bildgradient (610) in dem zumindest zweiten Bild bestimmt. Im Schritt des Zuordnens (230) wird der zumindest eine verkettete Bildgradient (610) zu einem Fahrbahnbegrenzungsobjekt (330, 335, 340, 350, 410) und der zumindest eine weitere verkettete Bildgradient (610) zu dem Fahrbahnbegrenzungsobjekt (330, 335, 340, 350, 410) und/oder einem weiteren Fahrbahnbegrenzungsobjekt (330, 335, 340, 350, 410) zugeordnet und im Schritt des Ermitteln (240) wird eine relative Position des Fahrzeugs (100) zu dem Fahrbahnbegrenzungsobjekt (330, 335, 340, 350, 410) und/oder dem weiteren Fahrbahnbegrenzungsobjekt (330, 335, 340, 350, 410) ermittelt, um die Position des Fahrzeugs (100) auf der Fahrspur (320) zu erkennen.

Description

Beschreibung
Titel
Verfahren und Vorrichtung zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur
Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur, auf eine entsprechende
Vorrichtung, ein Fahrspurerkennungssystem sowie auf ein entsprechendes Computerprogrammprodukt.
Systeme zur Detektion von Fahrbahnmarkierungen (weiß/gelb) basieren heutzutage auf Mono- oder Stereokameras. Ebenso eine darauf basierende Lenkunterstützung des Fahrers (Spurhaltesysteme). Über ein Drehmoment am Lenkrad wird das Fahrzeug innerhalb der detektierten Spur gehalten. Die Serien- Systeme zeichnen sich durch eine hohe Verfügbarkeit aus, können aber in schwierigen Situationen wie Gegenlicht, Nacht, Nässe, Schnee oder auch Baustellen in Ihrer Verfügbarkeit sinken. Das Sinken der Verfügbarkeit durch Störung des optischen Pfades und Reflexionen auf der Straße kann auch bei Stereokameras auftreten, da es einen großen überlappenden Bildbereich gibt und die Effekte in beiden Kamerabildern auftreten. Ein weiterer Aspekt ist darin zu sehen, dass kaum eine robuste Erkennung des Fahrbahnrands durchgeführt werden kann, wenn die Fahrspur nicht durch eine Markierung, sondern beispielsweise durch einen Grünstreifen oder Leitplanken begrenzt ist.
Bisherige Systeme können dazu führen, dass ein Fahrer, der sich an das System in„Gutsituationen", wie beispielsweise Autobahnen in Deutschland, gewöhnt hat, im Falle einer gesenkten Verfügbarkeit, in Sondersituationen oder auf schlechten Straßen, verunsichert wird, und damit das Vertrauen in das System verloren geht und die Akzeptanz reduziert wird. Für aktuelle Systeme ist es derzeit eine Herausforderung, von einer gut markierten Straße, auf eine schlecht markierte Landstraße zu wechseln.
Es gibt Offenbarungen, die in einem Fahrzeug eine Front- und/oder
Rückfahrkamera verwenden, um ein robustes Fahrspurerkennungssystem auch in Gegenlichtsituationen zu ermöglichen.
Die Offenbarung US 20070091 135c A1 beschreibt beispielsweise einen Ansatz, bei dem auch ein Spurhaltesystem auf Basis eines Spur-Erkennungssystems möglich ist. In einer Gegenlichtsituation kann es problematisch sein, die Spur allein aufgrund der Erkennungsergebnisse aus den Bildern der Rückfahrkamera zu halten, denn hierzu ist eine Vorausschau der Spurerkennung notwendig, die in einer Gegenlichtsituation durch die Frontkamera nicht gewährleistet wird und durch die Rückfahrkamera nicht gewährleistet werden kann.
In DE-102006021 177 A1 wird ein System aufgezeigt, welches Radarsensoren sowie Seiten- und Rückfahrkameras nutzt, um Spurwechsel vorausfahrender Fahrzeuge erkennen zu können. Über eine Spurerkennung wird keine Aussage gemacht.
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein
entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Die Erfindung basiert auf der Erkenntnis, dass die Ausrichtung der optischen Achse bei einer Kamera einen direkten Einfluss für viele Störgrößen bei einem bildgebenden Verfahren darstellen kann. Weiterhin kann die Robustheit eines Systems durch Redundanz und voneinander abweichende optische Achsen von einer Mehrzahl von optischen Erfassungssystemen erhöht werden. Mittels intrinsischer Kalibrierung und extrinsischer Kalibrierung der Mehrzahl von Kamerasystemen können die Bilder in ein gemeinsames Weltkoordinatensystem transformiert werden, wobei weitere Berechnungen auf dem in Weltkoordinaten transformierten Bild basieren können.
Die vorliegende Erfindung schafft ein Verfahren zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur, wobei das Verfahren die folgenden Schritte aufweist:
Einlesen eines ersten Bildes einer ersten Kamera mit einer ersten optischen Achse und eines zumindest zweiten Bildes einer zumindest zweiten Kamera mit einer zweiten optischen Achse, wobei die erste und zweite Kamera derart ausgerichtet sind, dass sich die erste optische Achse und die zweite optische Achse außerhalb des Erfassungswinkels der ersten Kamera und/oder der zweiten Kamera kreuzen, und wobei das erste Bild und das zumindest zweite Bild je einen Blickwinkel einschließen, der höchstens einen Winkel von 90 Grad von der Fahrtrichtung des Fahrzeugs abweicht;
Bestimmen von zumindest einem verketteten Bildgradienten in dem ersten Bild und von zumindest einem weiteren verketteten Bildgradienten in dem zumindest zweiten Bild;
Zuordnen des zumindest einen verketteten Bildgradienten zu einem
Fahrbahnbegrenzungsobjekt und des zumindest einen weiteren verketteten Bildgradienten zu dem Fahrbahnbegrenzungsobjekt und/oder einem weiteren Fahrbahnbegrenzungsobjekt; und
Ermitteln einer relativen Position des Fahrzeugs zu dem
Fahrbahnbegrenzungsobjekt und/oder dem weiteren
Fahrbahnbegrenzungsobjekt, um die Position des Fahrzeugs auf der Fahrspur zu erkennen.
Bei dem Fahrzeug kann es sich um einen Personenkraftwagen, ein Nutzfahrzeug oder ein Kraftrad handeln. Das Fahrzeug kann auf einer Fahrbahn mit zumindest einer Fahrspur bewegt werden. Die Fahrspur kann einem Fahrzeug für die Fahrt in eine Richtung zur Verfügung stehen. Die Fahrspur kann durch
Straßenmarkierungen, wie eine Fahrbahnbegrenzung und eine
Fahrstreifenbegrenzung oder eine Leitlinie gekennzeichnet sein. Verschiedene Fahrspuren können auch nicht gekennzeichnet sein. Ein
Fahrbahnbegrenzungsobjekt kann eine von der Fahrspur unterscheidbare Oberfläche, Farbe und/oder Struktur aufweisen. Ein Leitpfosten und/oder andere Einrichtungen der Straßenausstattung wie beispielsweise Verkehrsbeschilderung oder Schutzplanken können ein Fahrbahnbegrenzungsobjekt sein. Eine Position des Fahrzeugs auf einer Fahrspur kann einen seitlichen Abstand des Fahrzeugs von einem seitlichen Rand einer Fahrspur und/oder einen Winkel der
Fahrrichtung des Fahrzeugs zum Rand der Fahrspur oder Fahrbahnrand bezeichnen. In dem Fahrzeug können zumindest zwei Kameras angeordnet sein. Die Kameras können je eine optische Achse und einen Erfassungswinkel aufweisen. Die optische Achse kann durch den Mittelpunkt des aufgenommenen Bildes verlaufen. Die optische Achse der ersten Kamera kann innerhalb eines Toleranzbereichs in Fahrtrichtung des Fahrzeugs ausgerichtet sein. Ein von der ersten Kamera erfasstes Objekt kann im zeitlichen Verlauf von der zumindest zweiten Kamera erfasst werden. Ein Erfassungswinkel kann als ein Bildwinkel und/oder horizontaler Bildwinkel bezeichnet werden. Unter einem
Erfassungswinkel kann ein Winkel verstanden werden zwischen einem den Rand eines Bildes kennzeichnenden Blickwinkel und einem dem gegenüberliegenden Rand des Bildes kennzeichnenden Blickwinkel. Ein Blickwinkel kann eine Perspektive bezeichnen, unter der ein Objekt betrachtet wird, bzw. eine
Richtung, die sich bei der Betrachtung des Objektes ergibt. Der Blickwinkel kann auf die optische Achse bezogen sein und/oder auf die Fahrtrichtung des
Fahrzeugs. Ein Bildgradient kann an einem Bildpunkt die Richtung des größten Anstiegs der Intensität der direkten benachbarten Bildpunkte repräsentieren. Unter einem verketteten Bildgradienten kann eine Verkettung oder
Zusammenfassung von benachbarten Bildgradienten verstanden werden, wobei die zusammengefassten Bildgradienten innerhalb eines Toleranzbereichs eine entsprechende Richtung und Größe des Bildgradienten aufweisen können. Ein verketteter Bildgradient kann als ein„String" bezeichnet werden. Ein Bildpunkt kann dabei als ein Pixel bezeichnet werden. Unter einem benachbarten Bildpunkt kann ein direkt benachbarter Bildpunkt, d. h. zwei sich berührende Bildpunkte, verstanden werden und/oder können als benachbarte Bildpunkte auch die nächsten und/oder übernächsten Bildpunkte bezeichnet werden. Die Anordnung der Kameras kann besonders vorteilhaft sein, sodass im Falle einer Störung des optischen Pfades durch ein entgegenkommendes Fahrzeug nur eine Kamera hiervon negativ beeinflusst wird, Die vorliegende Erfindung bietet den Vorteil, dass nun durch die Verwertung der Bilder der ersten und zweiten Kamera, die in unterschiedliche optische Achsen ausgerichtet sind, nun eine sehr gute und robuste Auswertung der Bilder auch bei einer Störung des optischen Pfades ( beispielsweise einer Blendung) einer
Kamera erfolgen kann. Hierdurch kann sehr einfach sichergestellt werden, dass eine Position des Fahrzeugs auf einer Fahrspur auch in zeitweise ungünstigen Situationen erkannt werden kann, wenn eine Kamera in dieser ungünstigen Situation geblendet ist. Dabei werden die Bilder nicht von einer Stereokamera eingelesen, die einen möglichst großen Bildbereich mit beiden Kameras erfassen und/oder überwachen soll, sondern es wird vielmehr das Bild von einem
Kamerasystem eingelesen, welches in optische Achsen ausgerichtet ist, die eine Robustheit der Verarbeitung der eingelesenen Bilder bei Störung des optischen Pfadesen einer der Kameras ermöglicht.
Günstig ist es auch, wenn in einer anderen Ausführungsform das Verfahren einen Schritt des Klassifizierens des zumindest einen verketteten Bildgradienten und des zumindest einen weiteren verketteten Bildgradienten unter Verwendung von Bildbereichen entlang der verketteten Bildgradienten aufweist und einen Schritt des Auswählens von zumindest einem klassifizierten verketteten
Bildgradienten aufweist, wobei der klassifizierte verkettete Bildgradient denjenigen verketteten Bildgradienten repräsentiert, der für eine
Linienverlaufsschätzung der Fahrspur verwendbar ist. Die Schritte des
Klassifizierens und des Auswählens können nach dem Schritt des Zuordnens und vor dem Schritt des Ermitteins angeordnet sein. Eine
Linienverlaufsschätzung kann eine Begrenzungslinie für eine Fahrspur erzeugen. Bei voneinander beabstandeten Fahrbahnbegrenzungsobjekten kann eine Linienverlaufsschätzung einen Verlauf der Fahrspur zwischen zwei beabstandet voneinander angeordneten Fahrbahnbegrenzungsobjekten erzeugen. Mit einer Texturanalyse oder Farbklassifikation kann eine viel bessere Farbklassifikation in den Bildern der Seitenkamera erzielt werden, als es im Stand der Technik möglich ist, da hier aufgrund der Abbildungseigenschaften mehr Pixel beziehungsweise ein größerer Bildbereich für eine Texturanalyse und/oder Farbanalyse genutzt werden kann Ferner kann auch in einer Ausführungsform im Schritt des Klassifizierens dem zumindest einen verketteten Bildgradienten und dem zumindest einen weiteren verketteten Bildgradienten je ein Qualitätswert zugeordnet werden, wobei der Qualitätswert eine Genauigkeit und/oder eine erwartete Varianz des zumindest einen verketteten Bildgradienten als Begrenzung der Fahrspur repräsentiert.
Durch das Zuordnen eines Qualitätswerts zu einem verketteten Bildgradienten kann innerhalb des Verfahrens eine Wahrscheinlichkeit für die
Positionsbestimmung des Fahrzeugs innerhalb der Fahrspur bestimmt werden. Hierdurch kann die Robustheit des Verfahrens weiter gesteigert werden.
Ein Qualitätswert, beziehungsweise ein erweitertes Feature zu einem verketteten Bildgradienten ermöglicht neben der viel besseren Klassifikation der Linien auch ein zeitlich robustes Verfolgen beziehungsweise Tracking der verketteten Bildgradienten, was dazu führt, dass zur Linienverlaufsschätzung raumzeitliche Features verwendet werden können, was den Algorithmus robuster, genauer und höher verfügbar macht. Die raumzeitlichen verketteten Bildgradienten mit zugehörigen Features erlauben eine ganzheitliche Fahrbahnverlaufsschätzung, denn Features die man mit der Frontkamera bereits„gesehen" und zugeordnet getrackt hat können auch in den Bildern der Seitenkamera wiedergefunden und analysiert werden.
Ferner kann auch im Schritt des Einlesens das Bild und das zumindest zweite Bild intrinsisch und/oder extrinsisch kalibriert werden. Durch intrinsische und/oder extrinsische Kalibrierung kann ein beliebiger Bildpunkt des ersten Bildes und/oder des zweiten Bildes eine Position in Bezug auf das Fahrzeug sicher zugeordnet werden. Unter einer derartigen Kalibrierung kann beispielsweise eine Transformation der Bildkoordinaten in ein reales Koordinatensystem
beispielsweise in Bezug auf einen Fixpunkt am Fahrzeug verstanden werden. In einer weiteren Ausführungsform der vorliegenden Erfindung können im Schritt des Einlesens das erste Bild und das zumindest zweite Bild einen überlappenden
Teilbereich aufweisen. In einem überlappenden Teilbereich kann ein Objekte von der ersten als auch von der zweiten Kamera erkannt werden. Ein überlappender Teilbereich des ersten Bildes und des zweiten Bildes kann eine extrinsische Kalibrierung erleichtern und/oder eine Zuordnung von verketteten Bildgradienten zu Fahrbahnbegrenzungsobjekten erleichtern. Wenn ein verketteter Bildgradient in dem überlappenden Teilbereich abgebildet ist, kann eine Zuordnung in dem ersten Bild und in dem zweiten Bild leichter durchgeführt werden. Ein
überlappender Teilbereich des ersten Bildes und des zweiten Bildes kann insbesondere vorliegen, wenn die erste optische Achse der ersten Kamera und die zweite optische Achse der zweiten Kamera einen Winkel von weniger als 90 Grad aufweisen. In einer Ausführungsform kann eine der Kameras als eine
Frontkamera ausgerichtet sein.
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann im Schritt des Einlesens zumindest ein weiteres Bild einer zumindest dritten Kamera eingelesen werden, wobei die dritte optische Achse der zumindest dritten
Kamera von der ersten optischen Achse der ersten Kamera und der zweiten optischen Achse der zumindest zweiten Kamera abweicht. Die dritte optische Achse der dritten Kamera kann die erste optische Achse und/oder die zweite optische Achse au ßerhalb des Erfassungswinkels der ersten Kamera und/oder der zweiten Kamera kreuzen. Das weitere Bild kann einen Blickwinkel einschließen, der höchstens einen Winkel von 90 Grad von der Fahrtrichtung des Fahrzeugs abweicht. In anderen Worten, das weitere Bild hat zumindest Bildanteile, die in normaler Fahrtrichtung liegen. Das weitere Bild kann einen Teilbereich aufweisen, der mit einem Teilbereich des ersten Bildes und/oder einem Teilbereich des zweiten Bildes über erlaubt. Bei der ersten Kamera kann es sich um eine Frontkamera handeln. Bei der zweiten Kamera und/oder bei der dritten Kamera kann es sich um eine Seitenkamera handeln, wobei die optische Achse der zweiten Kamera einen Winkel zur Fahrtrichtung des Fahrzeugs aufweist, der dem negativen Winkel der optischen Achse der dritten Kamera zur Fahrtrichtung des Fahrzeugs entsprechen kann.
In einer weiteren Ausführungsform der vorliegenden Erfindung kann das
Verfahren einen Schritt des Erstellens eines Linienverlaufsmodells als
Begrenzung der Fahrspur unter Verwendung des Fahrbahnbegrenzungsobjekts und/oder des weiteren Fahrbahnbegrenzungsobjekts aufweisen, wobei das
Linienverlaufsmodell den Verlauf der Fahrspur und/oder einen zukünftigen Verlauf der Fahrspur beschreibt. Eine derartige Ausführungsform der
vorliegenden Erfindung bietet den Vorteil einer Weiternutzung der bereits ermittelten Fahrbahnbegrenzungsobjekte, um hieraus auch eine Fahrspurführung in einem Fahrerassistenzsystem zu ermöglichen. Dies bietet den Vorteil, dass bereits ermittelte und somit zur Verfügung stehende Objekte für eine weitere Funktionalität verwendet werden können.
Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens in entsprechenden
Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese
Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem MikroController neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem
Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.
Die vorliegende Erfindung schafft ein Fahrspurerkennungssystem zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur, wobei das
Fahrspurerkennungssystem die folgenden Merkmale aufweist: eine erste Kamera mit einer ersten optischen Achse; zumindest eine zweite Kamera, mit einer zweiten optischen Achse, wobei die erste optische Achse und die zweite optische Achse sich außerhalb des Erfassungswinkels der ersten Kamera und/oder der zweiten Kamera kreuzen, und wobei die erste Kamera und die zumindest zweite Kamera ausgebildet sind, je einen Blickwinkel einzuschließen, der höchstens einen Winkel von 90 Grad von der Fahrtrichtung des Fahrzeugs abweicht; und eine Vorrichtung, die Einrichtungen aufweist, die ausgebildet sind, um die Schritte einer Variante des vorstehenden Verfahrens durchzuführen, um die Position des Fahrzeugs auf der Fahrspur zu erkennen. Gemäß einem Aspekt der vorliegenden Erfindung kann ein sehr robustes und hochverfügbares Spurerkennungssystem geschaffen werden, welches sich als Lieferant von Input-Größen eines Spurhaltesystems eignet. Ein großer Vorteil der Erfindung besteht darin, die Anordnung der Kameras mit beispielsweise einer Frontkamera und einer, insbesondere zwei seitlich angebrachten Kameras vorzunehmen. Durch die Anordnung der seitlichen Kamera ist es auch möglich, allein basierend auf diesen ein vorausschauendes Fahrspurbegrenzungsmodell des Fahrzeugs zu schätzen. Ein Fahrspurerkennungsalgorithmus zeichnet sich beispielsweise dadurch aus, dass er eine gesamtheitliche Schätzung des Fahrspurbegrenzungsmodells in den zwei, insbesondere drei, Kamerabildern durchführt und damit in der Lage ist, die Fahrspurbegrenzungen aus
unterschiedlichen Perspektiven zu erfassen. Probleme, die durch eine Störung des optischen Pfades, Trübung oder Reflexionen in den Bildern einer der Kameras auftreten würden, werden somit vermieden und eine Spurhaltefunktion kann weiterhin ermöglicht werden. Durch die Kameraanordnung mit der oder den seitlich ausgerichteten Kameras wird auch eine bessere Farbklassifikation von
Fahrspurmarkierungen oder Rasenkanten ermöglicht, denn die seitlichen
Kameras können fast weitestgehend, in einem Toleranzbereich orthogonal zur Begrenzung ausgerichtet sein und können diese auf viel mehr Pixel als die Frontkamera abbilden. Auch Schneesituationen können sehr gut erkannt werden. Auch aufgewirbelter Schnee oder Regen kann dem Spurerkennungssystem durch die gesamtheitliche Schätzung kaum Probleme bereiten. Die Erkennung und Klassifikation von erhabenen Objekten wie Leitplanken kann durch die orthogonale Anordnung der Kameras sehr gut möglich sein, da vergleichsweise wenig perspektivische Abbildungseffekte auftreten. Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
Fig. 1 eine schematische Darstellung eines Fahrzeugs mit einem
Fahrspurerkennungssystem zum Erkennen einer Position des
Fahrzeugs auf einer Fahrspur gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 2 ein Ablaufdiagramm eines Verfahrens zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 3 eine schematische Darstellung eines Fahrzeugs mit einem
Fahrspurerkennungssystem auf einer Fahrspur gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung; und
Fig. 4 bis Fig. 8 weitere schematische Darstellungen der in Fig. 3 gezeigten schematischen Darstellung eines Fahrzeugs mit einem
Fahrspurerkennungssystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren
dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche
Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
Die folgenden Ausführungsbeispiele gemäß der vorliegenden Erfindung zeigen ein hochverfügbares Spurerkennungssystem und Spurhaltesystem auf Basis von Front- und Seitenkamerasystemen.
In dem hier vorgestellten Ansatz wird ein Spurerkennungssystem vorgestellt, welches ein Fahrspurbegrenzungsmodell aus den drei Bildern des eingesetzten Kamerasystems schätzt. Das hier vorgestellte Ausführungsbeispiel des
Algorithmus zeichnet sich dadurch aus, dass er durch die Anordnung der Kameras und die gesamtheitliche Schätzung des Fahrspurbegrenzungsmodells in den drei Kamerabildern hochverfügbar ist und auch in Situationen wie
Gegenlicht, schlechtes Wetter, schlechte Straßen, Regenlinien, Baustellen, Graskanten, Schnee, etc. eine Spurhaltefunktion ermöglicht. Fig. 1 zeigt eine schematische Darstellung eines Fahrzeugs mit einem
Fahrspurerkennungssystem zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Ein Fahrzeug 100 weist ein Fahrspurerkennungssystem 1 10 mit einer
Vorrichtung 1 15 auf, wobei die Vorrichtung Einrichtungen aufweist, um ein Verfahren zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur auszuführen. Die Vorrichtung 1 15 weist eine Schnittstelle 1 16a zum Einlesen von Bildern von zumindest zwei Kameras auf. Weiterhin weist die Vorrichtung 1 15 eine Einrichtung 1 16b zum Bestimmen von zumindest einem verketteten
Bildgradienten je eingelesenem Bild, eine Einrichtung zum Zuordnen 1 16c des zumindest einen verketteten Bildgradienten zu einem
Fahrbahnbegrenzungsobjekt je eingelesenem Bild sowie eine Einrichtung zum Ermitteln 1 16d einer relativen Position des Fahrzeugs zu dem
Fahrbahnbegrenzungsobjekt auf, um die Position des Fahrzeugs auf der
Fahrspur zu erkennen. Ferner weist das Fahrspurerkennungssystem 1 10 eine erste Kamera 120a und eine zweite Kamera 120b auf, die mit der Schnittstelle
1 16a zum Einlesen von Bildern der Vorrichtung 1 15 verbunden sind. Das in Fig. 1 gezeigte Ausführungsbeispiel weist eine dritte Kamera 120c auf. Die erste Kamera 120a weist eine erste optische Achse 130a auf. Die erste Kamera 120a erfasst ein erstes Bild mit einem Erfassungswinkel 135a, wobei ein
Erfassungsbereich 140a erfasst wird. Die zweite Kamera 120b weist eine zweite optische Achse 130b auf. Die zweite Kamera 120b erfasst ein zweites Bild mit einem Erfassungswinkel 135b, wobei ein Erfassungsbereich 140b erfasst wird. Die dritte Kamera 120c weist eine dritte optische Achse 170 auf. Die dritte Kamera 120c erfasst ein drittes Bild mit einem Erfassungswinkel 135c, wobei ein Erfassungsbereich 140c erfasst wird. Das Fahrzeug 100 bewegt sich in
Fahrtrichtung 150. Die erste Kamera 120a und die zweite Kamera 120b weisen einen überlappenden Bildbereich 160 auf. Die zweite Kamera 120b und die dritte Kamera 120c weisen einen überlappenden Bildbereich 160 auf. Die optische Achse 130b der zweiten Kamera 120b ist in dem in Fig. 1 gezeigten
Ausführungsbeispiel im Wesentlichen parallel zur Fahrtrichtung 150 ausgerichtet, das heißt, die zweite optische Achse 130b der zweiten Kamera 120b ist in einem Toleranzbereich parallel zur Fahrtrichtung 150 angeordnet. Die erste Kamera 120a und die dritte Kamera 120c sind als Seitenkameras angeordnet, wobei die erste Kamera 120a in eine Blickrichtung im Wesentlichen rechts zur
Fahrtrichtung 150 ausgerichtet ist, und die dritte Kamera 120c in eine
Blickrichtung im Wesentlichen links zur Fahrtrichtung 150 ausgerichtet ist. Der
Winkel der ersten optischen Achse zur Fahrtrichtung beträgt in einem
Toleranzbereich 60 Grad. Der Winkel zwischen der zweiten optischen Achse und der dritten optischen Achse beträgt in einem Toleranzbereich 60 Grad. Durch die zumindest zwei, insbesondere drei am Fahrzeug angeordneten
Videokameras, kann wie oben beschrieben ein hochverfügbarer
Fahrspurerkennungsalgorithmus realisiert werden und somit die Funktion der Fahrspurhaltung in viel mehr Situationen als im Stand der Technik realisiert werden.
In weiteren nicht gezeigten Ausführungsbeispielen ist keine Kamera als eine Frontkamera angeordnet und/oder der Winkel zwischen den optischen Achsen variiert zwischen 5 Grad und 120c Grad. Fig. 2 zeigt ein Ablaufdiagramm eines Verfahrens zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 200 weist einen Schritt des Einlesens 210, einen Schritt des Bestimmens 220, einen Schritt des Zuordnens 230 sowie einen Schritt des Ermitteins 240 auf. Das Verfahren 200 kann in einem
Ausführungsbeispiel auf der in Fig. 1 gezeigten Vorrichtung 1 15 ausgeführt werden. Im Folgenden werden deshalb auch die Bezugszeichen der Fig. 1 verwendet, um die Zusammenhänge zu verdeutlichen.
Im Schritt des Einlesens 210 werden ein erstes Bild einer ersten Kamera mit einer ersten optischen Achse und ein zumindest zweites Bild einer zumindest zweiten Kamera mit einer zweiten optischen Achse eingelesen, wobei die erste und zweite Kamera derart ausgerichtet sind, dass sich die erste optische Achse und die zweite optische Achse außerhalb des Erfassungswinkels der ersten Kamera und/oder der zweiten Kamera kreuzen, und wobei das erste Bild und das zumindest zweite Bild je einen Blickwinkel einschließen, der höchstens einen
Winkel von 90 Grad von der Fahrtrichtung des Fahrzeugs abweicht. Im Schritt des Bestimmens 220 werden zumindest ein verketteter Bildgradient in dem ersten Bild und zumindest ein weiterer verketteter Bildgradient in dem zumindest zweiten Bild bestimmt. Im Schritt des Zuordnens 230 wird der zumindest eine verkettete Bildgradient zu einem Fahrbahnbegrenzungsobjekt und der zumindest eine weitere verkettete Bildgradient zu dem Fahrbahnbegrenzungsobjekt und/oder einem weiteren Fahrbahnbegrenzungsobjekt zugeordnet. Im Schritt des Ermitteins 240 wird die relative Position des Fahrzeugs zu dem
Fahrbahnbegrenzungsobjekt und/oder dem weiteren
Fahrbahnbegrenzungsobjekt ermittelt, um die Position des Fahrzeugs auf der Fahrspur zu erkennen.
Unter Verwendung von zumindest zwei, insbesondere drei kalibrierten Kameras wird eine gesamtheitliche Schätzung des Fahrspurbegrenzungsmodells durchgeführt. Ein Ausführungsbeispiel der vorliegenden Erfindung kann neben den beschriebenen Verfahrensschritten 210, 220, 230, 240 auch mit den
Schritten Vorverarbeitung, Berechnung erweiterter Features, Feature-Auswahl und Transformation, Linienverlaufsschätzung und Linienauswahl beschrieben werden. Das Verfahren 200 basiert auf verketteten Bildgradientenmerkmalen (sog.
Strings), welche in allen zumindest zwei, insbesondere drei Kamerabildern berechnet werden. Verkettete Bildgradienten sind verkettete Gradienten mit ähnlicher Gradientenorientierung und Gradientenstärke in lokaler Nachbarschaft einzelner Gradienten, das heißt, über einen längeren verketteten Bildgradienten kann sich die Gradientenstärke und Gradientenorientierung teils deutlich ändern.
In der lokalen Umgebung aller„guten" verketteten Bildgradienten werden erweiterte Features aus den Bildern der Kameras berechnet. Diese erweiterten Features dienen der Klassifikation von Linien und werden in der lokalen
Umgebung eines verketteten Bildgradienten berechnet. Beispiele für erweiterte Features können Texturanalysen, Farbsättigungsanalysen oder optischer Fluss links und rechts neben dem String sein.
Aus den verketteten Bildgradienten der Bilder der Kameras müssen diejenigen ausgewählt werden, die die Fahrbahnbegrenzung beschreiben. Wenn die Kameras kalibriert sind, kann die zur Linienverlaufsschätzung notwendige
Klassifikation beziehungsweise raumzeitliche Feature in das Weltkoordinatensystem transformiert werden. Eine dynamische Online- Kalibrierung und eine Oberflächenschätzung sind für die Transformation von Pixelkoordinaten in Weltkoordinaten ebenfalls sinnvoll. Die verketteten
Bildgradienten der Frontkamera eignen sich besonders gut, um dem
Fahrspurbegrenzungsverlauf in höherer Vorausschau zu erkennen. Die verketteten Bildgradienten aus den beiden Seitenkameras eignen sich sehr gut für eine Farbklassifikation des Gradientenverlaufs und sind unter anderem sehr wichtig für eine hohe Verfügbarkeit und Genauigkeit, da die Fahrspurbegrenzung auf viel mehr Pixel abgebildet wird als im Bild der Frontkamera. Au ßerdem können durch optischen Fluss in den Bildern der Seitenkameras erhabene
Objekte, z. B. Leitplanken, viel besser klassifiziert werden als mit dem Bild einer einzelnen Frontkamera.
Die Auswahl der„guten" verketteten Bildgradienten mit ihren zugehörigen Qualitätswerten zur Linienverlaufsschätzung beginnt mit den verketteten
Bildgradienten aus den Bildern der Seitenkamera oder Seitenkameras. Alle „guten" verketteten Bildgradienten werden ausgewählt und in das
Weltkoordinatensystem transformiert. Das Weltkoordinatensystem stellt die Beziehung der Kameras zueinander her und erlaubt neben den raumzeitlichen Merkmalen auch eine ganzheitliche Schätzung eines
Fahrspurbegrenzungsmodells, z. B. mit Splines oder mit einer Klothoide.
Ausgehend von den verketteten Bildgradienten der Seitenkamera(s) werden die verketteten Bildgradienten im Bild der Frontkamera gesucht, die die
Fahrspurbegrenzung beschreiben. Außerdem wird nach weiteren verketteten Bildgradienten gesucht, die den zukünftigen Fahrbahnverlauf beschreiben könnten.
Schätzung von Linienverlaufsmodellen, beispielsweise Klothoiden oder Splines, auf Basis der ausgewählten und in das Weltkoordinatensystem transformierten raumzeitlichen Strings mit ihren Qualitätswerten beziehungsweise erweiterten
Features. Auswahl der getrackten Linien, die als Fahrspurbegrenzung identifiziert wurden. Durch die Qualitätswerte an den verketteten Bildgradienten und das Tracking der verketteten Bildgradienten ist eine viel bessere Linienauswahl als bisher möglich, da vor allem durch die erweiterten Features aus den Bildern der Seitenkamera oder der Seitenkameras falsch-positive Linienauswahlen weitestgehend verhindert werden können. Beispielsweise sind Nässekanten, die heutzutage noch Probleme darstellen, mit Seitenkameras eindeutig
identifizierbar. Auch Störungen des optischen Pfades (wie beispielsweise Blendungen) stellen für den neuartigen Algorithmus und die Kameraanordnung viel weniger ein Problem dar, da durch die drei Kamerabilder und die raumzeitlich getrackten verketteten Bildgradienten viel mehr Informationen als bisher vorhanden sind. Außerdem kann immer nur eine Kamera vollständig geblendet werden.
Fig. 3 zeigt eine schematische Darstellung eines Fahrzeugs mit einem
Fahrspurerkennungssystem auf einer Fahrspur gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung. Eine Fahrbahn 310 weist zwei Fahrspuren 320 auf. Die Fahrbahn 310 wird begrenzt von einem Grünstreifen 330, der zur Fahrbahn 310 eine Rasenkante 335 aufweist. Die Rasenkante 335 stellt die Begrenzung zwischen der Fahrbahn 310 und dem Grünstreifen 330 dar. Die Fahrbahn 310 weist weiterhin Fahrbahnmarkierungen auf. In der Mitte der Fahrbahn 310 ist eine Leitlinie 340 als eine Längsmarkierung, die durch eine unterbrochene Linie auf der Fahrbahn 310 zwei Fahrspuren 320 visuell trennt. Auf der der Rasenkante 335 gegenüberliegenden Seite der Fahrbahn 310 weist die Fahrbahn 310 eine Fahrbahnbegrenzung 350 auf. Die Fahrbahnbegrenzung 350 wird auch als Randlinie 350 bezeichnet. Auf der der Rasenkante
zugewandten Fahrspur 310 ist ein entsprechend in Fig. 1 dargestelltes Fahrzeug 100 angeordnet, welches drei Kameras 120a, 120b, 120c aufweist, wobei die zweite Kamera 120b entsprechend einer Frontkamera, die erste Kamera 120a als eine zur Fahrrichtung rechts angeordnete Seitenkamera und die dritte Kamera 120c als eine zur Fahrtrichtung des Fahrzeugs links angeordnete Seitenkamera angeordnet sind. Der Erfassungsbereich der ersten Kamera 120a und der dritten Kamera 120c umfasst je zumindest einen Blickwinkel, der zumindest teilweise nach vorne gerichtet ist sowie einen Blickwinkel, der zum Teil nach hinten bezogen auf die Fahrtrichtung des Fahrzeugs gerichtet ist. Der Erfassungsbereich der ersten Kamera 120a und der Erfassungsbereich der zweiten Kamera 120b weisen einen überlappenden Teilbereich 160 auf. Der Erfassungsbereich der zweiten Kamera 120b und der Erfassungsbereich der dritten Kamera 120c weisen einen überlappenden Teilbereich 160 auf.
Am Beispiel von Rasenkanten auf Landstraßen kann man erkennen, dass die Kameraanordnung und der vorgeschlagene Algorithmus vorteilhaft sind. Nutzt man eine einzelne Frontkamera 120a, ist die Schätzung und Erkennung des Linienverlaufs der Rasenkante 335 nicht immer einfach, da der Übergang von Straße 310 auf Rasenkante 335 schwer zu erkennen ist, vor allem im Bereich der Farbklassifikation. Verwendet man nun ein Verfahren gemäß der vorliegenden Erfindung, ist dies viel besser möglich, da die Rasenkanten 335 durch die
Seitenkameras 120a, 120c gut erkannt und klassifiziert werden können und dann auch durch die vorhandene a-priori Information, dass es sich um Rasenkanten handeln könnte, in der Frontkamera 120b eine Schätzung der Rasenkante 335 sehr gut möglich ist.
Die Kameras 120a, 120b, 120c sind, wie in Fig. 3 zu sehen ist, so angeordnet, dass es zwischen der Frontkamera 120b und den Seitenkameras 120a, 120c einen sehr kleinen Überlappungsbereich 160 gibt. Bei den Seitenkameras 120a, 120c sind in einem Ausführungsbeispiel
Weitwinkelobjektive vorteilhaft. Für die Frontkamera 120b wird eine Kamera mit einer Standardbrennweite in dem in Fig. 3 gezeigten Ausführungsbeispiel vorgeschlagen. Die Kameras 120a, 120b, 120c sind intrinsisch und extrinsisch kalibriert. Als
Basiskoordinatensystem wird ein Weltkoordinatensystem mit dem Zentrum Mitte- Hinterachse angenommen. Durch die extrinsische Kalibrierung wird für jede Kamera 120a, 120b, 120c der Bezug zum Weltkoordinatensystem hergestellt. In den folgenden Figuren Fig. 4 bis Fig. 7 wird auf der Basis der in Fig. 3 gezeigten schematischen Darstellung eines Fahrzeugs 100 mit einem
Fahrspurerkennungssystem auf einer Fahrspur gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung das in Fig. 2 beschriebene Verfahren zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur gemäß einem Ausführungsbeispiel der vorliegenden Erfindung näher erläutert.
Fig. 4 zeigt eine schematische Darstellung aus der Vogelperspektive eines Fahrzeugs mit einem Fahrspurerkennungssystem gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100 weist eine Frontkamera und eine nach rechts zur Fahrtrichtung zeigende Seitenkamera und eine nach links zur Fahrtrichtung zeigende Seitenkamera auf. Die nach rechts zur Fahrtrichtung blickende Seitenkamera weist einen Erfassungsbereich 140a auf. Die nach vorne in Fahrtrichtung blickende Frontkamera weist einen
Erfassungsbereich 140b auf. Die nach links zur Fahrtrichtung blickende
Seitenkamera weist einen Erfassungsbereich 140c auf.
Eine Fahrbahn 310 wird auf zwei sich gegenüberliegenden Seiten von einer Rasenkante 335 begrenzt. An die Rasenkante 335 schließt sich jeweils ein Grünstreifen 330 an. Die Fahrbahn 310 weist Fahrbahnmarkierungen auf. Eine Fahrbahnmarkierung ist als eine Leitlinie 340 ausgebildet, eine weitere
Fahrbahnmarkierung ist als eine Fahrbahnbegrenzung 350 ausgebildet. Auf der
Fahrbahn 310 sind zwei Fahrspuren 320 ausgebildet, wobei die eine Fahrspur 320 von einer Rasenkante 335 und der Leitlinie 340 begrenzt wird und die andere Fahrspur 320 von der Leitlinie 340 und der Fahrbahnbegrenzung 350 begrenzt wird. Das Fahrzeug 100 befindet sich auf der Fahrspur 320, welche von der Rasenkante 335 und der Leitlinie 340 begrenzt wird. Die Fahrbahnen 320 werden weiterhin durch Leitpfosten 410 begrenzt. Ein Leitpfosten 410 kann auch als ein Leitpflock bezeichnet werden. Die Leitlinie 340, die Fahrbahnbegrenzung 350, ein Leitpfosten 410 und/oder eine Rasenkante 335 können
zusammenfassend als Fahrbahnbegrenzungsobjekte bezeichnet.
Fig. 5 zeigt eine schematische Darstellung aus der Vogelperspektive eines Fahrzeugs mit einem Fahrspurerkennungssystem gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung. Die Darstellung entspricht der bereits in Fig. 4 gezeigten Darstellung. Hervorgehoben sind die sich
überlappenden Teilbereiche der Erfassungsbereiche 140a, 140b, 140c. Dabei weist das Fahrzeug eine Frontkamera und Seitenkameras mit leicht
überlappendem Sichtbereich 140a, 140b bzw. 140c auf, wobei diese
überlappenden Sichtbereiche mit dem Bezugszeichen 160 bezeichnet sind. Fig. 6 zeigt eine schematische Darstellung aus der Vogelperspektive eines
Fahrzeugs mit einem Fahrspurerkennungssystem gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung. Die Darstellung entspricht der bereits in Fig. 4 gezeigten Darstellung. Hervorgehoben sind die im Schritt des Bestimmens des in Fig. 2 beschriebenen Verfahrens zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur bestimmten verketteten
Bildgradienten 610, die im Schritt des Zuordnens desselben Verfahrens einzelnen Fahrbahnbegrenzungsobjekten zugeordnet werden. Die verketteten Bildgradienten 610 symbolisieren die in Fig. 4 beschriebenen
Fahrbahnbegrenzungsobjekte wie eine Leitlinie, eine Fahrbahnbegrenzung, ein Leitpfosten und/oder eine Rasenkante. In anderen nicht gezeigten
Ausführungsbeispielen werden weitere Fahrbahnbegrenzungsobjekte mittels verketteter Bildgradienten erkannt. Das beschriebene Verfahren ermittelt im Schritt des Ermitteins die relative Position des Fahrzeugs zu dem
Fahrbahnbegrenzungsobjekt.
Fig. 7 zeigt eine schematische Darstellung aus der Vogelperspektive eines Fahrzeugs mit einem Fahrspurerkennungssystem gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung. In einem besonderen
Ausführungsbeispiel gemäß der vorliegenden Erfindung wird im Schritt des Erstellens ein Linienverlaufsmodell erstellt, in dem die in Fig. 6 gezeigten verketteten Bildgradienten zu einem Linienverlaufsmodell zusammengefasst werden. Aus den verketteten Bildgradienten werden Fahrspurbegrenzungslinien 710a, 710b, 710c. Eine Linienverlaufsschätzung erfolgt auf Basis der ausgewählten verketteten Bildgradienten beziehungsweise Feature. In dem vorliegenden Ausführungsbeispiel der Fig. 7 werden drei
Fahrspurbegrenzungslinien geschätzt und über die Zeit getrackt.
Fig. 8 zeigt eine schematische Darstellung aus der Vogelperspektive eines Fahrzeugs mit einem Fahrspurerkennungssystem gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung. Das Ausführungsbeispiel der vorliegenden Erfindung verdeutlicht eine Klassifizierung der verketteten
Bildgradienten. In einem optionalen Schritt des Verfahrens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung werden die verketteten
Bildgradienten und die sie umgebenden Randbereiche klassifiziert.
Analysebereiche 810 zur Farbklassifikation sind links und rechts entlang der Haupterstreckungsrichtung eines verketteten Bildgradienten, das heißt gemäß rechts und links gemäß der Orientierung der verketteten Bildgradienten. Als erweitertes Feature ist auch eine Texturanalyse oder Farbklassifikation denkbar. Hierbei ist eine viel bessere Farbklassifikation in den Bildern der Seitenkameras möglichst und ein besserer Objektfluss in den Seitenkameras ist realisierbar. Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.
Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
Umfasst ein Ausführungsbeispiel eine„und/oder"-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Ansprüche
1 . Verfahren (200) zum Erkennen einer Position eines Fahrzeugs (100) auf einer Fahrspur (320), wobei das Verfahren (200) die folgenden Schritte aufweist:
Einlesen (210) eines ersten Bildes einer ersten Kamera (120b) mit einer ersten optischen Achse (130b) und eines zumindest zweiten Bildes einer zumindest zweiten Kamera (120a) mit einer zweiten optischen Achse (130a), wobei erste (120b) und zweite (120a) Kamera derart ausgerichtet sind, dass sich die erste optische Achse (130b) und die zweite optische Achse (130a) au ßerhalb des Erfassungswinkels (135b) der ersten Kamera (120b) und/oder der zweiten Kamera (120a) kreuzen, und wobei das erste Bild und das zumindest zweite Bild je einen Blickwinkel einschließen, der höchstens einen Winkel von 90 Grad von der
Fahrtrichtung (150) des Fahrzeugs (100) abweicht;
Bestimmen (220) von zumindest einem verketteten Bildgradienten (610) in dem ersten Bild und von zumindest einem weiteren verketteten Bildgradienten (610) in dem zumindest zweiten Bild;
Zuordnen (230) des zumindest einen verketteten Bildgradienten (610) zu einem Fahrbahnbegrenzungsobjekt (330, 335, 340, 350, 410) und des zumindest einen weiteren verketteten Bildgradienten (610) zu dem Fahrbahnbegrenzungsobjekt (330, 335, 340, 350, 410) und/oder einem weiteren Fahrbahnbegrenzungsobjekt (330, 335, 340, 350, 410); und
Ermitteln (240) einer relativen Position des Fahrzeugs (100) zu dem Fahrbahnbegrenzungsobjekt (330, 335, 340, 350, 410) und/oder dem weiteren Fahrbahnbegrenzungsobjekt (330, 335, 340, 350, 410), um die Position des Fahrzeugs (100) auf der Fahrspur (320) zu erkennen. Verfahren (200) gemäß Anspruch 1 , mit einem Schritt des Klassifizierens des zumindest einen verketteten Bildgradienten (610) und des zumindest einen weiteren verketteten Bildgradienten (610) unter Verwendung von Bildbereichen entlang der verketteten Bildgradienten (610) und Auswählen von zumindest einem klassifizierten verketteten Bildgradienten, der denjenigen verketteten Bildgradienten (610) repräsentiert, der für eine Linienverlaufsschätzung der Fahrspur (320) verwendbar ist.
Verfahren (200) gemäß Anspruch 2, bei dem im Schritt des Klassifizierens dem zumindest einen verketteten Bildgradienten (610) und dem zumindest einen weiteren verketteten Bildgradienten (610) je ein Qualitätswert zugeordnet wird, wobei der Qualitätswert eine Genauigkeit und/oder eine erwartete Varianz des zumindest einen verketteten Bildgradienten (610) als Begrenzung der Fahrspur (320) repräsentiert.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Einlesens (210) das Bild und das zumindest zweite Bild intrinsisch und/oder extrinsisch kalibriert werden.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Einlesens (210) das erste Bild und das zumindest zweite Bild einen überlappenden Teilbereich (160) aufweisen.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Einlesens (210) zumindest ein weiteres Bild einer zumindest dritten Kamera (120c) eingelesen wird, wobei die optische Achse (130c) der zumindest dritten Kamera (120c) von der optischen Achse (130b) der ersten Kamera (120b) und der optischen Achse (130a) der zumindest zweiten Kamera (120a) abweicht.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Erstellens eines Linienverlaufsmodells als Begrenzung der Fahrspur (320) unter Verwendung des Fahrbahnbegrenzungsobjekts (330, 335, 340, 350, 410) und/oder des weiteren Fahrbahnbegrenzungsobjekts (330, 335, 340, 350, 410), wobei das Linienverlaufsmodell den Verlauf der Fahrspur (320) und/oder einen zukünftigen Verlauf der Fahrspur (320) beschreibt.
Vorrichtung (1 15), die Einrichtungen aufweist, die ausgebildet sind, um die Schritte eines Verfahrens (200) gemäß einem der Ansprüche 1 bis 7 durchzuführen.
Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens (200) nach einem der Ansprüche 1 bis 7, wenn das
Programmprodukt auf einer Vorrichtung (1 15) ausgeführt wird.
Fahrspurerkennungssystem zum Erkennen einer Position eines Fahrzeugs (100) auf einer Fahrspur (320), wobei das Fahrspurerkennungssystem die folgenden Merkmale aufweist:
- eine erste Kamera (120b) mit einer ersten optischen Achse (130b); zumindest eine zweite Kamera (120a), mit einer zweiten optischen Achse (130a), wobei die erste (120b) und zweite (120a) Kamera derart ausgerichtet sind, dass sich erste optische Achse (130b) und die zweite optische Achse (130a) au ßerhalb des Erfassungswinkels (135b, 135a) der ersten Kamera (120b) und/oder der zweiten Kamera (120a) kreuzen, und wobei die erste Kamera (120b) und die zumindest zweite Kamera (120a) ausgebildet sind, je einen Blickwinkel einzuschließen, der höchstens einen Winkel von 90 Grad von der Fahrtrichtung (150) des Fahrzeugs (100) abweicht; und
- eine Vorrichtung (1 15), die Einrichtungen aufweist, die ausgebildet sind, um die Schritte eines Verfahrens (200) gemäß einem der Ansprüche 1 bis 7 durchzuführen.
PCT/EP2013/066188 2012-08-29 2013-08-01 Verfahren und vorrichtung zum erkennen einer position eines fahrzeugs auf einer fahrspur WO2014032904A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/425,100 US9569673B2 (en) 2012-08-29 2013-08-01 Method and device for detecting a position of a vehicle on a lane
CN201380045342.9A CN104781829B (zh) 2012-08-29 2013-08-01 用于识别车辆在车道上的位置的方法和设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012215322.5 2012-08-29
DE102012215322.5A DE102012215322A1 (de) 2012-08-29 2012-08-29 Verfahren und Vorrichtung zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur

Publications (1)

Publication Number Publication Date
WO2014032904A1 true WO2014032904A1 (de) 2014-03-06

Family

ID=48951446

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/066188 WO2014032904A1 (de) 2012-08-29 2013-08-01 Verfahren und vorrichtung zum erkennen einer position eines fahrzeugs auf einer fahrspur

Country Status (4)

Country Link
US (1) US9569673B2 (de)
CN (1) CN104781829B (de)
DE (1) DE102012215322A1 (de)
WO (1) WO2014032904A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105300401A (zh) * 2014-06-17 2016-02-03 星克跃尔株式会社 电子装置及其控制方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101491324B1 (ko) * 2013-10-08 2015-02-06 현대자동차주식회사 차량용 영상 획득 장치
DE102014108684B4 (de) 2014-06-20 2024-02-22 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Fahrzeug mit Umfeldüberwachungseinrichtung sowie Verfahren zum Betreiben einer solchen Überwachungseinrichtung
FI130426B (fi) * 2014-06-30 2023-08-23 Konecranes Oyj Kuorman kuljettaminen kuormankäsittelylaitteella
GB2536028B (en) * 2015-03-05 2018-05-09 Red Fox Id Ltd Vehicle detection apparatus with inductive loops
CN107924625B (zh) * 2015-08-19 2021-11-12 三菱电机株式会社 车道识别装置以及车道识别方法
DE102016205434A1 (de) * 2015-11-25 2017-06-01 Volkswagen Aktiengesellschaft Verfahren und System zum Erstellen einer spurgenauen Belegungskarte für Fahrspuren
KR20170071120A (ko) * 2015-12-15 2017-06-23 현대자동차주식회사 Lkas 시스템, 이를 포함하는 차량, 및 lkas 제어 방법
US10124730B2 (en) * 2016-03-17 2018-11-13 Ford Global Technologies, Llc Vehicle lane boundary position
US10210406B2 (en) * 2016-08-19 2019-02-19 Dura Operating, Llc System and method of simultaneously generating a multiple lane map and localizing a vehicle in the generated map
JP6616275B2 (ja) * 2016-12-15 2019-12-04 株式会社Ｓｏｋｅｎ 運転支援装置
JP6708154B2 (ja) * 2017-03-28 2020-06-10 カシオ計算機株式会社 対象物検出装置、対象物検出方法、及びプログラム
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations
DE102017120773A1 (de) * 2017-09-08 2019-03-14 Connaught Electronics Ltd. Verfahren zum Erkennen einer Fahrspurbegrenzung einer Fahrspur für ein Kraftfahrzeug, Spurassistent sowie Kraftfahrzeug
TWI699756B (zh) * 2017-09-13 2020-07-21 國立清華大學 基於彈性特徵影像尺的定位量測系統
CN210970923U (zh) * 2018-03-05 2020-07-10 株式会社小糸制作所 传感器系统
US10773717B2 (en) * 2018-04-12 2020-09-15 Trw Automotive U.S. Llc Vehicle assist system
JP7082538B2 (ja) * 2018-07-10 2022-06-08 本田技研工業株式会社 画像処理装置及びプログラム
CN109166353B (zh) * 2018-09-12 2021-08-20 安徽中科美络信息技术有限公司 一种车辆行驶前方复杂路口导向车道检测方法及系统
DE102018132676A1 (de) * 2018-12-18 2020-06-18 Valeo Schalter Und Sensoren Gmbh Verfahren zum Lokalisieren eines Fahrzeugs in einer Umgebung
EP3671262B1 (de) * 2018-12-21 2023-05-17 Easymile Verfahren und system zur handhabung von blindbereichen von abtastschichten von redundanten sensoren in einem fahrzeug
CN111382658B (zh) * 2019-11-14 2023-04-18 北京航空航天大学 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法
CN112927394A (zh) * 2021-03-29 2021-06-08 广州科技职业技术大学 一种基于行车记录仪的共享系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1089231A2 (de) * 1999-09-22 2001-04-04 Fuji Jukogyo Kabushiki Kaisha Vorrichtung zur Erkennung von Fahrbahnmarkierungen
WO2003047900A1 (de) * 2001-12-05 2003-06-12 Daimlerchrysler Ag System zur automatischen folgeführung eines kraftfahrzeugs
EP1852325A1 (de) * 2006-05-06 2007-11-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Folgeregelung für ein Kraftfahrzeug
EP2372669A1 (de) * 2008-11-28 2011-10-05 Hitachi Automotive Systems, Ltd. Kameravorrichtung

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
US6819779B1 (en) * 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
JP3922194B2 (ja) * 2003-03-11 2007-05-30 日産自動車株式会社 車線逸脱警報装置
JP4754936B2 (ja) 2005-10-25 2011-08-24 株式会社リコー 画像処理方法、プログラム、画像処理装置、画像形成装置及び画像形成システム
US7876926B2 (en) * 2006-11-03 2011-01-25 Delphi Technologies, Inc. Lane marker detection and fitting methods
US8855848B2 (en) * 2007-06-05 2014-10-07 GM Global Technology Operations LLC Radar, lidar and camera enhanced methods for vehicle dynamics estimation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1089231A2 (de) * 1999-09-22 2001-04-04 Fuji Jukogyo Kabushiki Kaisha Vorrichtung zur Erkennung von Fahrbahnmarkierungen
WO2003047900A1 (de) * 2001-12-05 2003-06-12 Daimlerchrysler Ag System zur automatischen folgeführung eines kraftfahrzeugs
EP1852325A1 (de) * 2006-05-06 2007-11-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Folgeregelung für ein Kraftfahrzeug
EP2372669A1 (de) * 2008-11-28 2011-10-05 Hitachi Automotive Systems, Ltd. Kameravorrichtung

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105300401A (zh) * 2014-06-17 2016-02-03 星克跃尔株式会社 电子装置及其控制方法

Also Published As

Publication number Publication date
CN104781829B (zh) 2018-05-01
US9569673B2 (en) 2017-02-14
DE102012215322A1 (de) 2014-03-06
US20150278610A1 (en) 2015-10-01
CN104781829A (zh) 2015-07-15

Similar Documents

Publication Publication Date Title
WO2014032904A1 (de) Verfahren und vorrichtung zum erkennen einer position eines fahrzeugs auf einer fahrspur
EP2394234B1 (de) Verfahren und vorrichtung zum ermitteln einer geltenden fahrspurmarkierung
DE102018203807A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
DE102017103287A1 (de) Anzeigesteuerung für ein fahrzeug
DE112012003040T5 (de) Fahrspurerkennungsvorrichtung
DE112011100180T5 (de) Spurhalteunterstützungsvorrichtung, Verfahren zum Anzeigen einer Spurgrenzlinie und Programm
DE102012112104A1 (de) Verfahren und vorrichtung zur befahrbarkeitsanalyse
EP2116958B1 (de) Verfahren und Vorrichtung zum Ermitteln des Fahrbahnverlaufs im Bereich vor einem Fahrzeug
WO2013083313A1 (de) Verfahren und vorrichtung zur erkennung einer bremssituation
EP2033165B1 (de) Verfahren für die erfassung eines verkehrsraums
EP3520023B1 (de) Detektion und validierung von objekten aus sequentiellen bildern einer kamera
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
DE102018121008A1 (de) Kreuzverkehrserfassung unter verwendung von kameras
DE102007025147B4 (de) System zur Spurverlassenswarnung und/oder Spurhaltefunktion
DE102018211368A1 (de) Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs durch die Topologie der befahrenen Straße
DE102007021580B4 (de) Verfahren und Vorrichtung zum Ermitteln der fahrzeugrelevanten Verkehrszeichen
DE102012221652B4 (de) Verfahren und Vorrichtung zum Bestimmen, ob in einer Verkehrssituation Linksverkehr oder Rechtsverkehr besteht
DE102017216016A1 (de) Verfahren und Vorrichtung zum Erkennen eines Umfelds eines Fahrzeugs
WO2019057252A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
EP3704631A2 (de) Verfahren zur ermittlung einer entfernung zwischen einem kraftfahrzeug und einem objekt
DE102008050456A1 (de) Verfahren und Vorrichtung zur Fahrspurerkennung
DE102021005933A1 (de) Verfahren zur Erfassung eines Fahrspurverlaufs mittels eines LIDARs und Fahrzeug
WO2013026599A1 (de) Verfahren und vorrichtung zum erkennen von störobjekten in der umgebungsluft eines fahrzeugs
EP2696310B1 (de) Verfahren zum Identifizieren eines Straßenrands
DE102012220021A1 (de) Verfahren und Vorrichtung zum Erkennen einer über eine Rampe geführten Fahrbahn

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13747656

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14425100

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13747656

Country of ref document: EP

Kind code of ref document: A1