WO2018019465A1 - Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur bestimmung der lateralen position eines fahrzeuges relativ zu den fahrstreifen einer fahrbahn - Google Patents

Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur bestimmung der lateralen position eines fahrzeuges relativ zu den fahrstreifen einer fahrbahn Download PDF

Info

Publication number
WO2018019465A1
WO2018019465A1 PCT/EP2017/064380 EP2017064380W WO2018019465A1 WO 2018019465 A1 WO2018019465 A1 WO 2018019465A1 EP 2017064380 W EP2017064380 W EP 2017064380W WO 2018019465 A1 WO2018019465 A1 WO 2018019465A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane
vehicle
intersections
determining
lanes
Prior art date
Application number
PCT/EP2017/064380
Other languages
English (en)
French (fr)
Inventor
Moritz Schack
Markus Kerper
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Priority to US16/320,359 priority Critical patent/US10963708B2/en
Priority to GB1901488.5A priority patent/GB2577949B/en
Priority to CN201780057252.XA priority patent/CN109791698B/zh
Publication of WO2018019465A1 publication Critical patent/WO2018019465A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to a method, an apparatus and a computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes of a roadway, and in particular for determining a relative lateral position with sub-lane accuracy.
  • the present invention further relates to a vehicle with such a device.
  • Modern vehicles are becoming increasingly autonomous, i.
  • the vehicles provide the driver with more and more functions and systems that assist him with control of the vehicle by indicating or taking over parts of the vehicle control.
  • Such functions and systems require a great deal of information about the vehicle and its surroundings.
  • the function "lane-exact navigation” requires knowledge of the lane on which the vehicle to be navigated, the "ego vehicle", is located. This lane is also referred to as “ego lane.” Further, for automatic driving and car-to-car based applications, in addition to knowledge of the ego lane, more detailed information regarding the lateral storage of the ego vehicle relative to the ego lane is needed It must be known at all times with sub-lane accuracy where the ego vehicle is laterally in relation to the lane.
  • the method uses maps with road geometry information, GPS data, historical data, and other vehicle locations to determine current position.
  • the document EP 2 899 669 A1 describes a method for determining the lateral position of a vehicle relative to the lane of a road. With the aid of a camera, geometric aspects of the lanes are determined, for example lane markings. The determined aspects are classified and used to determine the position.
  • Classification requires training of the classification unit.
  • Document DE 10 2012 104 786 A1 describes a system for accurately estimating a lane in which a vehicle is traveling.
  • a tracker system provides estimated tracks that are determined in different ways. Examples are lane markers detected by a camera, a leading vehicle or GPS / maps which are accurate down to the track level.
  • the estimated tracks are provided with confidence information. The estimated traces and the corresponding confidence information are merged to give a detected trace.
  • a first approach is to use a high accuracy digital lane geometry map with absolute centimeter accuracy in
  • Another approach is to use imaging sensors, e.g. one
  • a third approach combines imaging sensors with map information regarding the number and type of lane marking. By using imaging sensors and the information from a digital map, how many lanes are present and with what edge marking they are present (dashed, solid, ...), the ego vehicle can be assigned to all lanes. Due to distance errors caused by the
  • a method for determining a lateral position of a vehicle relative to the lanes of a roadway comprises the steps of:
  • intersection points of the orthogonal line with lane markings from a lane geometry map for the starting position determined for the vehicle, wherein a filtering of the intersections takes place;
  • a device for determining a lateral position of a vehicle relative to the lanes of a roadway comprises:
  • a position determination unit for determining a starting position for the vehicle
  • a processing unit for determining intersections of a line orthogonal to the vehicle movement with the detected lane markings and for determining intersections of the orthogonal line with lane markings from one Lane geometry map for the vehicle-determined home position, the processing unit being arranged to perform filtering of the intersections in determining the intersections of the orthogonal line with lane markings from the lane geometry map;
  • a computer-readable storage medium includes instructions that, when executed by a computer, cause the computer to perform the following steps:
  • intersection points of the orthogonal line with lane markings from a lane geometry map for the starting position determined for the vehicle, wherein a filtering of the intersections takes place;
  • the filtering of the intersection points is based on directional angles of the intersections.
  • those intersections are filtered out whose direction angle deviates by more than one angle filter threshold value from a course angle of the vehicle.
  • a clear deviation of the directional angle of an intersection from the heading angle of the vehicle is a strong indication that the corresponding intersection does not belong to the traffic lane but to a crossing lane.
  • the angle-based filtering makes it possible to determine such intersections in a simple way.
  • the use of an angle filter threshold also ensures that relevant map intersections are maintained with different directional angles, for example during ascents and descents.
  • the angle filter threshold value is preferably dependent on the road type.
  • Angle filter threshold value of about 20 ° are usually filtered out on highways all potentially problematic map intersections of superimposed lanes, but all relevant map intersections of ascents and descents and similar lanes still included. On roads other than highways, the curve radii of ascents and descents and similar lanes are usually so narrow that an angle filter threshold of at least 40 ° should be selected. The use of different angle filter thresholds for different types of road allows filtering to the
  • the filtering of the intersection points is based on lane groups of the lane geometry map.
  • preferably only those intersection points are retained which belong to a lane group which belongs to the traffic lane. Are located on the orthogonal intersections too
  • the filtering of the intersection points takes place based on height information relating to the lanes.
  • height information relating to the lanes.
  • Providing lanes can be easily determined by comparing the height information, which lanes are at the same height as the busy lane. The intersection points determined for other than these lanes can be filtered out.
  • intersections in filtering the intersections in the case of overlapping roadways in the lane geometry map, all intersections are discarded. Instead, this approach implements measures to preserve and interpolate information that has already been collected. If superimposed lanes emerge only briefly, and in particular if using jump-free relative
  • Position information the vehicle movement over short periods of time can be estimated very accurately, the comparison of the intersections can be easily suspended for a short time.
  • a method according to the invention or a device according to the invention are used in an autonomously or manually controlled vehicle, in particular a motor vehicle.
  • Fig. 1 shows schematically a method for determining a lateral position of a
  • Fig. 2 shows a first embodiment of a device for determining a lateral position of a vehicle relative to the lanes of a roadway
  • Fig. 3 shows a second embodiment of a device for determining a lateral position of a vehicle relative to the lanes of a roadway
  • Fig. 4 shows a preferred embodiment of the method shown in Fig. 1;
  • Fig. 5 shows an example of detected map intersections
  • Fig. 6 shows an example of detected BV line intersections
  • Fig. 8 exemplifies the map intersections for a highway at a
  • Fig. 9 exemplifies the map intersections for a main road at a
  • Fig. 10 illustrates the concept of lane groups.
  • FIG. 1 schematically shows a method for determining a lateral position of a vehicle relative to the lanes of a roadway.
  • a first step lane markings are detected.
  • a starting position for the vehicle is determined 1 1.
  • intersections become a vehicle movement
  • intersections of the orthogonal line with lane markings become one
  • Lane geometry map for the determined starting position determined for the vehicle 13. This is done filtering the determined intersections. For example, the intersections are filtered based on directional angles of the intersections based on lane groups of the lane geometry map or based on altitude information on the lanes. Alternatively, in the case of overlapping lanes in the lane geometry map, all intersections are discarded. Finally, the lateral position of the vehicle is determined 14 by comparing the determined points of intersection.
  • FIG. 2 shows a simplified schematic representation of a first embodiment of a device 20 for determining a lateral position of a vehicle relative to the lanes of a roadway.
  • the apparatus 20 has an image processing unit 22 for detecting lane markings 10.
  • FIG. 2 shows a simplified schematic representation of a first embodiment of a device 20 for determining a lateral position of a vehicle relative to the lanes of a roadway.
  • the apparatus 20 has an image processing unit 22 for detecting lane markings 10.
  • FIG. 2 shows a simplified schematic representation of a first embodiment of a device 20 for determining a lateral position of a vehicle relative to the lanes of a roadway.
  • the apparatus 20 has an image processing unit 22 for detecting lane markings 10.
  • FIG. 2 shows a simplified schematic representation of a first embodiment of a device 20 for determining a lateral position of a vehicle relative to the lanes of a roadway.
  • Image processing unit 22 for example, image information of a camera unit 26, which are received via an input 21 of the device 20.
  • the device 20 further has a position determination unit 23 for determining 1 1 a starting position for the vehicle. The home position is determined, for example, based on reception data of a GPS receiver 27, which can also be received via the input 21.
  • a processing unit 24 determines 12 intersections of a
  • the processing unit 24 also determines 13 intersections of the orthogonal line with lane markings from a lane geometry map for the starting position determined for the vehicle, wherein a filtering of the intersections takes place. For example, the intersections are filtered based on directional angles of the intersection points based on lane groups of the lane geometry map or based on
  • Evaluation unit 25 finally determines the lateral position of the vehicle by comparing the determined points of intersection.
  • the determined by the evaluation unit 25 lateral position of the vehicle is
  • an output 28 of the device 20 for further processing, for example for processing in a guidance system. It can also be stored in a memory 29 of the device 20, for example, for later evaluation.
  • the input 21 and the output 28 may be implemented as separate interfaces or as a combined bidirectional interface.
  • the image processing unit 22, the position determination unit 23, the processing unit 24 and the evaluation unit 25 can be implemented as dedicated hardware.
  • FIG. 3 shows a simplified schematic representation of a second embodiment of a device 30 for determining a lateral position of a vehicle relative to the lanes of a roadway.
  • the device 30 has a processor 32 and a
  • device 30 is a computer or workstation.
  • instructions are stored, which cause the device 30 when executed by the processor 32, the steps according to one of
  • the instructions stored in the memory 31 thus embody a program which can be executed by the processor 32 and implements the method according to the invention.
  • the device has an input 33 for
  • Receiving information Data generated by the processor 32 is provided via an output 34. In addition, they can be stored in the memory 31.
  • the input 33 and the output 34 can become a bidirectional interface
  • the processor 32 may include one or more processing units, such as microprocessors, digital signal processors, or combinations thereof.
  • the memories 29, 31 of the described embodiments may have volatile and / or non-volatile memory areas and a wide variety of memory devices and
  • Storage media include, for example, hard disks, optical storage media or semiconductor memory.
  • the method is based on a series of input data. First of all, the geometry and geometry determined by the imaging sensor system are required
  • BV lines Property information of visible road markings. These are referred to below as BV lines (B for image processing). Also required is absolute position information with direction and speed information. This can be provided for example by the vehicle GPS. For the absolute
  • Position information in the present embodiment is a distinction between absolute position information representing the direct result of a GNSS (Global Navigation Satellite System) GNSS (GNSS position data), and those that have been interpolated based on a past GNSS location by dead-reckoning (absolute position data).
  • GNSS position data Global Navigation Satellite System
  • a relative, jump-free position information can be used, which is determined for example by means of motion estimation.
  • map data with high relative accuracy regarding lanes and lane markings are used. These are provided, for example, by a map data server 110.
  • Map information is referred to as DLM lanes (DLM: Detailed Lane Model) and DLM Lanemarkings.
  • results from the previous procedure or previous procedures of the method are included as a history, except, of course, in the first iteration.
  • an approximate vehicle position is determined 41. This serves as a starting point for the alignment of lane markings with map data. There is also a conversion and aggregation of the geometries of the BV lines.
  • the geometries of the lane markings detected by the camera system are typically described by clothoids in a vehicle-relative Cartesian coordinate system.
  • the clothoid descriptions are translated into polylines containing the
  • the coordinates of the polylines are transferred from the vehicle-relative Cartesian coordinate system into the WGS84 coordinate system 42.
  • the following algorithms operate in the WGS84 coordinate system, since the
  • Map data and the vehicle position and motion information are typically present in this coordinate system.
  • the geometries of the lane markings recognized by the camera system always start just in front of the vehicle and have an extension of a few meters approximately in the direction of travel / camera viewing direction. Occasionally through the camera system
  • a path of a configurable length orthogonal to the axis of the vehicle movement is first constructed 51 at a configurable distance before the starting position 51.
  • the perpendicular of the starting position on this route is located at the middle of the route.
  • the length of the track should be chosen large enough that even for BV lines with a very large lateral distance to the vehicle (up to the maximum distance in which the camera system still detects BV lines detected) nor intersections of the track with both the BV Lines as well as with the respective BV lines corresponding DLM Lanemarkings result. It makes sense to cut the line when cutting with a BV line and the BV-line corresponding DLM Lanemarking, and vice versa. This is achieved most reliably by selecting the track length so large that all the lane markings still recognizable to the camera and all DL Lanemarkings that correspond to the lane markings still recognizable for the camera, come off the track
  • intersections of the DLM Lanemarkings and the DLM lanes are determined with the orthogonal path 52, both together referred to as card intersections.
  • An example of such card intersection points is shown in FIG. To see is a roadway FB with four lanes FS, which are delimited by road markings FBM from each other, and the associated lane centers FSM. Also shown are the
  • Starting position AP the constructed orthogonal line OL and the map intersections, separated by points of intersection SPM with the DLM Lanemarkings (Marking intersection) and intersections SPL with the DLM lanes (Lane intersection).
  • SPM the DLM Lanemarkings
  • SPL the DLM lanes
  • BV line intersections the intersections of the orthogonal path with the BV lines are formed 53, referred to as BV line intersections.
  • An example of such BV line intersections is shown in FIG. To be seen in addition to those already out Fig. 5 known elements the recognized BV-lines BVL and the intersections BVS the orthogonal line OL with the detected BV-lines BVL.
  • BVS preferably its lateral position relative to the vehicle and the information of the type of recognized lane marking (dashed / solid line, guardrail,
  • One approach uses an angle comparison. Map intersections whose directional angle differs by more than a configurable value from the non-intersecting heading angle are filtered out. This configurable threshold is referred to below as the angle filter threshold. To take account of the opposite lane, the directional angle modulo 180 ° is considered. Under the direction angle of an intersection is the
  • the jump-free course angle is a corrected course angle, especially adjusted for sudden position and direction corrections of the GPS system.
  • Many GPS systems have the ability to correct deviations occasionally. An example of this is shown in FIG.
  • the arrows visualize the position, direction of movement and speed as received from the G PS system. In the area highlighted by the dashed oval there is a sudden correction of the position and the direction of movement by the GPS system.
  • the concept of jump-free course angle was designed. Essentially, the concept involves smoothing the differences in the direction information of absolute and relative location information, eg, by means of exponentially smoothed moving average. In the implementation of the method is not distinguished between yaw angle and heading angle of the vehicle. The difference of these angles is assumed to be sufficiently small and the viewing direction of the camera with the direction of movement of the vehicle according to the jump-free
  • Equation of price A precise differentiation between the heading and yaw angle is not necessary for the accuracies achieved.
  • the dashed circle in Fig. 8 marks an area where in-car card intersections located on the same plane as the traveled lane have been unintentionally filtered out. Since the area is located so far away from the road that the camera would typically not detect any of these lane markings at the locations of the unrecognized intersections, filtering out these intersections poses no problem for carrying out the method.
  • the solid circle in Fig. 8 marks an area where card transfer crossings located on a plane other than the running road have not been filtered out as intended. Since this area is farther from the camera than all maps relevant for comparison intersect points of lanes at the same level as the carriageway, maintaining this represents
  • Lane group is the name for the DLM / card segment. Each lane segment is assigned to exactly one lane group FG. All lanes of a group belong to the same lane and run in the same direction. A lane group is maximally as long as the amount of lane segments represented in the group and their characteristics, ie the assigned lane markings and lane type, remain the same. So as soon as an up or down begins or ends, a dashed to a solid line or a guardrail begins next to the roadway, a new lane group begins. When a driveway hits or separates from a road, two previously separate lane groups merge into a single lane group or a lane group breaks into two lane groups.
  • a lane segment represents the section of a lane that is in exactly one
  • Lane group is included.
  • a lane segment is therefore only as long as predetermined by the lane group in which it is contained.
  • the next segment is the lane segment, which represents the continuation of a lane segment according to the lane course.
  • B is the next segment to A.
  • that corresponding to the original lane Lane segment at the border between the lane groups in two lane segments typically both with lane type "erge". Both lane segments are considered to follow segments of the original lane segment.
  • two separate lane segments typically both with the lane type "Merge TM, have the same following segment.
  • Each lane segment is assigned a unique lane index within the lane group in which it is contained.
  • the lane index starts with the
  • map data provide altitude information about the lanes, it can additionally be determined by comparison of the altitude information which lanes are at the same height as the traveled lane and must therefore be included in the amount of the map intersections.
  • Lane sections without superimposed lanes perform a regular determination of the lane as described below.
  • the height information can then be derived from the height data of the determined roadway stored in the map data.
  • An alternative approach to the treatment of overlapping roadways is to discard all card intersections on stretches of overlapping carriageways, and instead merely take measures to preserve and interpolate information that has already been collected. If superimposed lanes emerge only briefly, and in particular if using jump-free relative Position information, the vehicle movement over short periods of time can be estimated very accurately, the process can be suspended.
  • a set of possible vehicle positions is determined 60. These are subsequently evaluated 70 by a sequence of corresponding evaluation functions, the possible vehicle positions being supplemented or modified as necessary. Penalty points are awarded with the help of the evaluation functions.
  • a first evaluation function 71 considers the assignment of the line types detected by the camera to the line types stored in the map. For this evaluation, a configurable matrix is preferably provided which assigns a specific value for each combination of BV line and ticket road marking type.
  • common misallocations of the camera e.g. the detection of a solid as a dashed line, with only a slightly poor rating
  • improbable misallocations of the camera e.g. the detection of lane edge as a guardrail, associated with a significantly poor rating.
  • a second evaluation function 72 takes into account the history of the vehicle positions.
  • a third evaluation function 73 evaluates the lane type. The vehicle is suspected on a regular lane of the road. Possible vehicle positions on non-driving lanes (side lanes, "unknown lanes" of the DLM, and
  • Input data position determination is not possible and the process can not be continued. For such cases, it is possible to leave the modular flow at the appropriate location and initiate error handling 90, e.g. a result without position information or with an approximate other way
  • the absolute position information may be represented by an earlier absolute position information and relative position information
  • Position information to be replaced If no relative position information is available, no determination of the possible vehicle positions is carried out if absolute position information is missing. In such cases, a corresponding error condition is output 91. If, on the other hand, too few BV lines were detected, it is not possible to find a sufficiently good assignment of DL-Lanemarkings to BV-Lines or if no single possible vehicle positions were determined
  • map-based method 92 an approximately determined position information can be determined.
  • One possibility is, for example, a continuation of the
  • a concluding step 100 the results are prepared, made available for further processing and included in the history.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein Verfahren, eine Vorrichtung (20, 30) und ein computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn. Eine Bildverarbeitungseinheit (22) detektiert (10) Fahrbahnmarkierungen. Eine Positionsbestimmungseinheit (23) bestimmt (11) eine Ausgangsposition für das Fahrzeug. Eine Verarbeitungseinheit (24) ermittelt (12) Schnittpunkte einer zur Fahrzeugbewegung orthogonalen Linie mit den detektierten Fahrbahnmarkierungen. Die Verarbeitungseinheit (24) ermittelt (13) zudem Schnittpunkte der orthogonalen Linie mit Fahrbahnmarkierungen aus einer Fahrstreifengeometriekarte für die für das Fahrzeug bestimmte Ausgangsposition, wobei ein Filtern der Schnittpunkte erfolgt. Eine Auswerteeinheit (25) bestimmt (14) schließlich die laterale Position des Fahrzeugs durch Vergleichen der ermittelten Schnittpunkte.

Description

Beschreibung
VERFAHREN, VORRICHTUNG UND COMPUTERLESBARES SPEICHERMEDIUM MIT
INSTRUKTIONEN ZUR BESTIMMUNG DER LATERALEN POSITION EINES FAHRZEUGES RELATIV ZU DEN FAHRSTREIFEN EINER FAHRBAHN
Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Verfahren, eine Vorrichtung und ein computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn, und insbesondere zur Bestimmung einer relativen lateralen Position mit Sub-Fahrstreifengenauigkeit. Die vorliegende Erfindung betrifft weiterhin ein Fahrzeug mit einer solchen Vorrichtung.
Hintergrund der Erfindung
Moderne Fahrzeuge werden zunehmend autonomer, d.h. die Fahrzeuge stellen dem Fahrer mehr und mehr Funktionen und Systeme zur Verfügung, die ihn bei der Kontrolle des Fahrzeugs durch Hinweise unterstützen oder Teile der Fahrzeugkontrolle übernehmen. Für derartige Funktionen und Systeme wird eine Vielzahl von Information über das Fahrzeug und seine Umgebung benötigt.
Für die Funktion„fahrstreifengenaue Navigation" wird beispielsweise die Kenntnis über den Fahrstreifen benötigt, auf dem sich das zu navigierende Fahrzeug, das„Ego-Fahrzeug", befindet. Dieser Fahrstreifen wird auch als„Ego-Fahrstreifen" bezeichnet. Weiterhin werden für das automatische Fahren und Car-to-Car-basierte Anwendungen neben der Kenntnis des Ego-Fahrstreifens auch genauere Informationen hinsichtlich der Querablage des Ego- Fahrzeugs relativ zum Ego-Fahrstreifen benötigt. Es muss zu jeder Zeit mit Sub- Fahrstreifengenauigkeit bekannt sein, wo sich das Ego-Fahrzeug lateral in Bezug auf die Fahrbahn befindet.
Die Druckschrift US 2014/0358321 A1 offenbart ein Verfahren zur Erkennung und
Nachverfolgung der Begrenzungen einer Fahrspur. Das Verfahren verwendet Karten mit Informationen zur Straßengeometrie, GPS-Daten, Verlaufsdaten und die Positionen anderer Fahrzeuge zur Bestimmung der aktuellen Position. Die Druckschrift EP 2 899 669 A1 beschreibt ein Verfahren zur Bestimmung der lateralen Position eines Fahrzeugs relativ zur Fahrspur einer Straße. Mit Hilfe einer Kamera werden geometrische Aspekte der Fahrspuren ermittelt, beispielsweise Fahrbahnmarkierungen, Die ermittelten Aspekte werden klassifiziert und dienen zur Positionsbestimmung. Die
Klassifizierung erfordert ein Training der Klassifizierungseinheit.
Die Druckschrift DE 10 2012 104 786 A1 beschreibt ein System zum genauen Abschätzen einer Spur, in welcher ein Fahrzeug fährt. Ein System zur Spurermittlung stellt geschätzte Spuren bereit, die auf unterschiedliche Weisen bestimmt werden. Beispiele sind von einer Kamera erfasste Spurmarkierungen, ein Führungsfahrzeug oder GPS/Karten, welche bis auf Spurniveau genau sind. Die geschätzten Spuren sind mit Konfidenzinformationen versehen. Die geschätzten Spuren und die entsprechenden Konfidenzinformationen werden fusioniert, um eine ermittelte Spur zu ergeben.
Zusammenfassend werden zur Zeit im Wesentlichen drei Lösungsansätze für die
Bestimmung der lateralen Position eines Fahrzeuges relativ zu einer Fahrbahn verfolgt.
Ein erster Ansatz besteht in der Verwendung einer hochgenau eingemessenen digitalen Fahrstreifengeometriekarte mit einer absoluten Genauigkeit im Zentimeterbereich in
Verbindung mit einem hochgenauen Zweifrequenz-GPS-System. Hierbei wird die Position in der Karte mit Hilfe des GPS-Sensors ohne weitere bildgebende Sensorik bestimmt. Durch GPS- und Kartenungenauigkeiten bezüglich der absoluten Position ist allerdings oftmals keine Zuordnung des Ego-Fahrzeugs zum richtigen Fahrstreifen möglich. Zudem ist eine Lösung mit einer hochgenauen Karte und hochgenauem GPS sehr kostenintensiv.
Ein weiterer Ansatz besteht in der Nutzung bildgebender Sensoren, z.B. eines
Kamerasystems. Hierdurch wird die Zuordnung des Ego-Fahrzeugs zu Fahrstreifen bezogen auf von der Sensorik ermittelte Fahrstreifen ermöglicht. Die Nutzung von bildgebenden Sensoren ohne die gleichzeitige Verwendung einer digitalen Karte führt allerdings dazu, dass häufig nur ein oder zwei Fahrstreifen durch die Sensorik erkannt werden. Die Positionierung des Ego-Fahrzeugs kann dann nur relativ zu den erkannten Fahrstreifen erfolgen, nicht aber relativ zu allen Fahrstreifen.
Ein dritter Ansatz kombiniert bildgebende Sensorik mit Karteninformationen bezüglich Anzahl und Markierungstyp der Fahrstreifen. Durch die Nutzung bildgebender Sensoren und der Information aus einer digitalen Karte, wie viele Fahrstreifen vorhanden sind und mit welcher Randmarkierung diese vorliegen (gestrichelt, durchgezogen,...), kann das Ego-Fahrzeug zu allen Fahrstreifen zugeordnet werden. Aufgrund von Abstandsfehlern der durch die
Sensoren erfassten Fahrstreifenmarkierungen relativ zum Ego-Fahrzeug ist jedoch die Genauigkeit der Querablage bezüglich des entsprechenden Fahrstreifens für die oben genannten Anwendungen nicht ausreichend.
Zusammenfassung der Erfindung
Es ist eine Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung zur Bestimmung einer lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn zur
Verfügung zu stellen, die eine Bestimmung der relativen lateralen Position mit Su - Fahrstreifengenauigkeit ermöglichen.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 , durch eine Vorrichtung mit den Merkmalen des Anspruchs 10, sowie durch ein computerlesbares Speichermedium mit Instruktionen gemäß Anspruch 1 1 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zur Bestimmung einer lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn die Schritte:
- Detektieren von Fahrbahnmarkierungen;
- Bestimmen einer Ausgangsposition für das Fahrzeug;
- Ermitteln von Schnittpunkten einer zur Fahrzeugbewegung orthogonalen Linie mit den delektierten Fahrbahnmarkierungen;
- Ermitteln von Schnittpunkten der orthogonalen Linie mit Fahrbahnmarkierungen aus einer Fahrstreifengeometriekarte für die für das Fahrzeug bestimmte Ausgangsposition, wobei ein Filtern der Schnittpunkte erfolgt; und
- Bestimmen der lateralen Position des Fahrzeugs durch Vergleichen der ermittelten
Schnittpunkte.
Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zur Bestimmung einer lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn auf:
- Eine Bildverarbeitungseinheit zum Detektieren von Fahrbahnmarkierungen;
- Eine Positionsbestimmungseinheit zum Bestimmen einer Ausgangsposition für das Fahrzeug;
- Eine Verarbeitungseinheit zum Ermitteln von Schnittpunkten einer zur Fahrzeugbewegung orthogonalen Linie mit den detektierten Fahrbahnmarkierungen und zum Ermitteln von Schnittpunkten der orthogonalen Linie mit Fahrbahnmarkierungen aus einer Fahrstreifengeometriekarte für die für das Fahrzeug bestimmte Ausgangsposition, wobei die Verarbeitungseinheit eingerichtet ist, beim Ermitteln der Schnittpunkte der orthogonalen Linie mit Fahrbahnmarkierungen aus der Fahrstreifengeometriekarte ein Filtern der Schnittpunkte vorzunehmen; und
- Eine Auswerteeinheit zum Bestimmen der lateralen Position des Fahrzeugs durch
Vergleichen der ermittelten Schnittpunkte.
Gemäß einem weiteren Aspekt der Erfindung enthält ein computerlesbares Speichermedium Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgende Schritte veranlassen:
- Detektieren von Fahrbahnmarkierungen;
- Bestimmen einer Ausgangsposition für das Fahrzeug;
- Ermitteln von Schnittpunkten einer zur Fahrzeugbewegung orthogonalen Linie mit den detektierten Fahrbahnmarkierungen;
- Ermitteln von Schnittpunkten der orthogonalen Linie mit Fahrbahnmarkierungen aus einer Fahrstreifengeometriekarte für die für das Fahrzeug bestimmte Ausgangsposition, wobei ein Filtern der Schnittpunkte erfolgt; und
- Bestimmen der lateralen Position des Fahrzeugs durch Vergleichen der ermittelten
Schnittpunkte.
Mit Hilfe eines Kamerasystems werden Fahrbahnmarkierungen erkannt und mit den Daten einer digitalen Karte verglichen, die alle Fahrstreifenrandgeometrien und
Fahrstreifenmittengeometrien mit hoher Genauigkeit zueinander enthält. Für den Vergleich werden zunächst die Schnittpunkte einer zur Fahrtrichtung orthogonalen Linie mit den erkannten Fahrbahnmarkierungen bestimmt. Diese werden mit den Schnittpunkten der gleichen Linie mit den Fahrbahnmarkierungen gemäß der Karte abgeglichen. Aus dem Ergebnis wird anschließend die laterale Position des Fahrzeugs bestimmt.
Manchmal überlagern sich die von dem Fahrzeug befahrene Fahrbahn und die zugehörigen Gegenfahrbahn in der zweidimensionalen Kartengeometrie mit Fahrspuren anderer
Fahrbahnen, beispielsweise bei Brücken und Unterführungen. In einem solchen Fall sollen nur die Kartenschnittpunkte der befahrenen Fahrbahn, der zugehörigen Gegenfahrbahn und gegebenenfalls zugehöriger Auf- und Abfahrten ermittelt und die Kartenschnittpunkte mit den überlagernden Fahrspuren ignoriert werden. Zu diesem Zweck erfolgt eine Filterung der Kartenschnittpunkte, bei der problematische Kartenschnittpunkte herausgefiltert und gleichzeitig die meisten relevanten Kartenschnittpunkte beibehalten werden. Unbeabsichtigt herausgefilterte Schnittpunkte befinden sich in der Regel so weit von der Fahrbahn entfernt, dass die Kamera typischerweise keine dieser Fahrbahnmarkierungen an den Stellen der nicht erkannten Schnittpunkte detektieren würde. Genauso befinden sich auch unbeabsichtigt beibehaltene Schnittpunkte in der Regel weiter von der Kamera entfernt als die für den Vergleich relevanten Schnittpunkte. Diese stellen daher ebenfalls kein Problem dar.
Gemäß einem Aspekt der Erfindung erfolgt das Filtern der Schnittpunkte basierend auf Richtungswinkeln der Schnittpunkte. Dabei werden vorzugsweise diejenigen Schnittpunkte ausgefiltert, deren Richtungswinkel um mehr als einen Winkelfilter-Schwellwert von einem Kurswinkel des Fahrzeugs abweicht. Eine deutliche Abweichung des Richtungswinkels eines Schnittpunkts vom Kurswinkel des Fahrzeugs sind ein starkes Indiz dafür, dass der entsprechende Schnittpunkt nicht zur befahrenen Fahrbahn, sondern zu einer kreuzenden Fahrbahn gehört. Die winkelbasierte Filterung erlaubt es, solche Schnittpunkte auf einfach Weise zu ermitteln. Die Nutzung eines Winkelfilter-Schwellwertes sorgt zudem dafür, dass relevante Kartenschnittpunkte mit abweichenden Richtungswinkeln, beispielsweise bei Auf- und Abfahrten, beibehalten werden.
Vorzugsweise ist der Winkelfilter-Schwellwert abhängig vom Straßentyp. Bei einem
Winkelfilter-Schwellwert von ca. 20° werden auf Autobahnen in aller Regel alle potentiell problematischen Kartenschnittpunkte von überlagernden Fahrbahnen herausgefiltert, alle relevanten Kartenschnittpunkte von Auf- und Abfahrten und ähnlichen Fahrbahnen jedoch noch einbezogen. Auf anderen Straßen als Autobahnen sind die Kurvenradien von Auf- und Abfahrten und ähnlichen Fahrbahnen meist so eng, dass ein Winkelfilter-Schwellwert von mindestens 40° gewählt werden sollte. Die Nutzung unterschiedlicher Winkelfilter- Schwellwerte für verschiedene Straßentypen erlaubt es, die Filterung an die
unterschiedlichen baulichen Situationen der Straßentypen anzupassen.
Gemäß einem Aspekt der Erfindung erfolgt das Filtern der Schnittpunkte basierend auf Fahrspurgruppen der Fahrstreifengeometriekarte. Dabei werden vorzugsweise nur diejenigen Schnittpunkte beibehalten, die zu einer Fahrspurgruppe gehören, die zur befahrenen Fahrbahn gehört. Befinden sich auf der Orthogonalen Schnittpunkte zu
Kartengeometrien einer Fahrspurgruppe mit dazwischenliegenden Schnittpunkten einer anderen Fahrspurgruppe und enthält keine der beiden Fahrspurgruppen Folgesegmente der anderen, so müssen sich diese Fahrspurgruppen überlagern. Folglich müssen sie sich auf verschiedenen Ebenen kreuzende Fahrbahnen abbilden. Gehört eine der sich überlagernden Fahrspurgruppen zur befahrenen Fahrbahn, so können Kartenschnittpunkte der sich hiermit überlagernden Fahrspurgruppen ignoriert werden.
Gemäß einem Aspekt der Erfindung erfolgt das Filtern der Schnittpunkte basierend auf Höheninformationen zu den Fahrspuren erfolgt. Dabei werden vorzugsweise nur diejenigen Schnittpunkte beibehalten, die zu Fahrspuren gehören, die sich auf gleicher Höhe wie die befahrene Fahrbahn befinden. Sofern die Kartendaten Höheninformationen zu den
Fahrbahnen bereitstellen, kann durch einen Vergleich der Höheninformationen auf einfache Weise ermittelt werden, welche Fahrspuren sich auf gleicher Höhe wie die befahrene Fahrbahn befinden. Die zu anderen als diesen Fahrspuren ermittelten Schnittpunkte können herausgefiltert werden.
Gemäß einem Aspekt der Erfindung werden beim Filtern der Schnittpunkte im Falle von sich überlagernden Fahrbahnen in der Fahrstreifengeometriekarte alle Schnittpunkte verworfen. Stattdessen werden bei diesem Ansatz Maßnahmen zur Bewahrung und Interpolation bereits gesammelter Informationen durchgeführt. Sofern sich überlagernde Fahrbahnen nur kurzzeitig auftauchen, und insbesondere wenn durch Nutzung sprungfreier relativer
Positionsinformationen die Fahrzeugbewegung über kurze Zeiträume sehr genau geschätzt werden kann, kann der Vergleich der Schnittpunkte problemlos kurzzeitig ausgesetzt werden.
Vorzugsweise werden ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung in einem autonom oder manuell gesteuerten Fahrzeug, insbesondere einem Kraftfahrzeug, eingesetzt.
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.
Kurze Beschreibung der Figuren
Fig. 1 zeigt schematisch ein Verfahren zur Bestimmung einer lateralen Position eines
Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn;
Fig. 2 zeigt ein erstes Ausführungsbeispiel einer Vorrichtung zur Bestimmung einer lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn; Fig. 3 zeigt ein zweites Ausführungsbeispiel einer Vorrichtung zur Bestimmung einer lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn;
Fig. 4 zeigt eine bevorzugte Ausführungsform des in Fig. 1 dargestellten Verfahrens;
Fig. 5 zeigt ein Beispiel für ermittelte Kartenschnittpunkte;
Fig. 6 zeigt ein Beispiel für ermittelte BV-Linienschnittpunkte;
Fig. 7 zeigt ein Beispiel für eine sprunghafte Korrektur von Position,
Bewegungsrichtung und Geschwindigkeit durch ein GPS-System; und
Fig. 8 stellt beispielhaft die Kartenschnittpunkte für eine Autobahn bei einem
Winkelfiiter-Schwellwert von 20° dar;
Fig. 9 stellt beispielhaft die Kartenschnittpunkte für eine Bundesstraße bei einem
Winkelfilter-Schwellwert von 45° dar; und
Fig. 10 veranschaulicht das Konzept von Fahrspurgruppen.
Detaillierte Beschreibung der Ausführungsformen
Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.
Fig. 1 zeigt schematisch ein Verfahren zur Bestimmung einer lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn. In einem ersten Schritt werden Fahrbahnmarkierungen detektiert 10. Zudem wird eine Ausgangsposition für das Fahrzeug bestimmt 1 1 . Anschließend werden Schnittpunkte einer zur Fahrzeugbewegung
orthogonalen Linie mit den detektierten Fahrbahnmarkierungen ermittelt 12. Genauso werden Schnittpunkte der orthogonalen Linie mit Fahrbahnmarkierungen aus einer
Fahrstreifengeometriekarte für die für das Fahrzeug bestimmte Ausgangsposition ermittelt 13. Dabei erfolgt ein Filtern der ermittelten Schnittpunkte. Beispielsweise erfolgt das Filtern der Schnittpunkte basierend auf Richtungswinkeln der Schnittpunkte, basierend auf Fahrspurgruppen der Fahrstreifengeometriekarte oder basierend auf Höheninformationen zu den Fahrspuren, Alternativ werden im Falle von sich überlagernden Fahrbahnen in der Fahrstreifengeometriekarte alle Schnittpunkte verworfen. Schließlich wird die laterale Position des Fahrzeugs durch Vergleichen der ermittelten Schnittpunkte bestimmt 14.
Fig. 2 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 20 zur Bestimmung einer lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn. Die Vorrichtung 20 hat eine Bildverarbeitungseinheit 22 zum Detektieren 10 von Fahrbahnmarkierungen, Zu diesem Zweck nutzt die
Bildverarbeitungseinheit 22 beispielsweise Bildinformationen einer Kameraeinheit 26, die über einen Eingang 21 der Vorrichtung 20 empfangen werden. Die Vorrichtung 20 hat weiterhin eine Positionsbestimmungseinheit 23 zum Bestimmen 1 1 einer Ausgangsposition für das Fahrzeug. Die Ausgangsposition wird beispielsweise basierend auf Empfangsdaten eines GPS-Empfängers 27 bestimmt, die ebenfalls über den Eingang 21 empfangen werden können. Eine Verarbeitungseinheit 24 ermittelt 12 Schnittpunkte einer zur
Fahrzeugbewegung orthogonalen Linie mit den detektierten Fahrbahnmarkierungen. Die Verarbeitungseinheit 24 ermittelt 13 zudem Schnittpunkte der orthogonalen Linie mit Fahrbahnmarkierungen aus einer Fahrstreifengeometriekarte für die für das Fahrzeug bestimmte Ausgangsposition, wobei ein Filtern der Schnittpunkte erfolgt. Beispielsweise erfolgt das Filtern der Schnittpunkte basierend auf Richtungswinkeln der Schnittpunkte, basierend auf Fahrspurgruppen der Fahrstreifengeometriekarte oder basierend auf
Höheninformationen zu den Fahrspuren. Alternativ werden im Falle von sich überlagernden Fahrbahnen in der Fahrstreifengeometriekarte alle Schnittpunkte verworfen. Eine
Auswerteeinheit 25 bestimmt 14 schließlich die laterale Position des Fahrzeugs durch Vergleichen der ermittelten Schnittpunkte.
Die von der Auswerteeinheit 25 bestimmte laterale Position des Fahrzeugs wird
vorzugsweise über einen Ausgang 28 der Vorrichtung 20 für die weitere Verarbeitung verfügbar gemacht, beispielsweise für die Verarbeitung in einem Spurführungssystem. Sie kann zudem in einem Speicher 29 der Vorrichtung 20 abgelegt werden, beispielsweise für eine spätere Auswertung. Der Eingang 21 und der Ausgang 28 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein. Die Bildverarbeitungseinheit 22, die Positionsbestimmungseinheit 23, die Verarbeitungseinheit 24 sowie die Auswerteeinheit 25 können als dezidierte Hardware realisiert sein,
beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft.
Fig. 3 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 30 zur Bestimmung einer lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn. Die Vorrichtung 30 weist einen Prozessor 32 und einen
Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Computer oder eine Workstation. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der
beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung hat einen Eingang 33 zum
Empfangen von Informationen. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle
zusammengefasst sein.
Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.
Die Speicher 29, 31 der beschriebenen Ausführungsformen können volatile und/oder nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und
Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.
Beschreibung einer bevorzugten Ausführungsform
Nachfolgend soll eine bevorzugte Ausführungsform der Erfindung im Detail beschrieben werden. Das Verfahren basiert auf einer Reihe von Eingangsdaten. Benötigt werden zunächst die von dem bildgebenden Sensorsystem ermittelten Geometrie- und
Eigenschaftsinformationen der sichtbaren Fahrbahnmarkierungen. Im Folgenden werden diese als BV-Linien bezeichnet (B für Bildverarbeitung). Ebenfalls benötigt wird eine absolute Positionsinformation mit Richtungs- und Geschwindigkeitsangabe. Diese kann beispielsweise vom Fahrzeug-GPS zur Verfügung gestellt werden. Für die absoluten
Positionsinformationen ist in der vorliegenden Ausführungsform eine Unterscheidung vorgesehen zwischen absoluten Positionsinformationen, die das direkte Ergebnis einer Ortung durch ein GNSS-System (GNSS: Global Navigation Satellite System) repräsentieren (GNSS Positionsdaten), und solchen, die basierend auf einer zurückliegenden GNSS-Ortung durch Dead-Reckoning (Koppelnavigation) interpoliert wurden (Absolute Positionsdaten). Optional kann auch eine relative, sprungfreie Positionsinformation genutzt werden, die z.B. mittels Bewegungsschätzung ermittelt wird. Zusätzlich werden Kartendaten mit hoher relativer Genauigkeit bezüglich Fahrstreifen und Fahrbahnmarkierungen verwendet. Diese werden beispielsweise durch einen Kartendaten-Server 1 10 zur Verfügung gestellt. Die Karteninformationen werden im Folgenden als DLM-Lanes (DLM: Detailed Lane Model, detailliertes Fahrstreifenmodell) und DLM-Lanemarkings bezeichnet. Vorzugsweise werden Ergebnisse aus dem vorausgegangenen Ablauf oder vorausgegangenen Abläufen des Verfahrens als Historie mit einbezogen, außer natürlich in der ersten Iteration.
Der prinzipielle Ablauf des Verfahrens gliedert sich in mehrere Teile, die in Fig. 4 teilweise in gestrichelt dargestellten Blöcken zusammengefasst sind.
Im Rahmen einer Aufbereitung 40 der Eingangsdaten wird eine ungefähre Fahrzeugposition bestimmt 41 . Diese dient als Ausgangsposition für den Abgleich von Fahrbahnmarkierungen mit Kartendaten. Zudem erfolgt eine Umrechnung und Aggregation der Geometrien der BV- Linien.
Die Geometrien der durch das Kamerasystem detektierten Fahrbahnmarkierungen werden typischerweise durch Klothoiden in einem fahrzeugrelativen, kartesische Koordinatensystem beschrieben. Die Klothoidenbeschreibungen werden überführt in Polylines, die die
Klothoidengeometrien in guter Näherung nachbilden. Die Umwandlung in Polylines wird durchgeführt, da die nachfolgend auf den Fahrbahnmarkierungsgeometrien operierenden Algorithmen so deutlich einfacher zu implementieren sind. In der vorliegenden
Ausführungsform werden die Koordinaten der Polylines aus dem fahrzeugrelativen, kartesischen Koordinatensystem in das WGS84-Koordinatensystem überführt 42. Die nachfolgenden Algorithmen operieren im WGS84-Koordinatensystem, da auch die
Kartendaten und die Fahrzeugpositions- und -bewegungsinformationen typischerweise in diesem Koordinatensystem vorliegen.
Die Geometrien der durch das Kamerasystem erkannten Fahrbahnmarkierungen beginnen stets kurz vor dem Fahrzeug und haben eine Ausdehnung von einigen Metern ungefähr in Fahrtrichtung/Kamerablickrichtung. Gelegentlich werden durch das Kamerasystem
Fahrbahnmarkierungen zunächst korrekt erkannt und übermittelt, jedoch kurz darauf nicht mehr detektiert. Die bei einer Algorithmusiteration vorhandenen BV-Linien werden darum stets zwischengespeichert und bei der nächsten Iteration mit den neu durch das Kamerasystem übermittelten Geometrien abgeglichen 43.
Nachfolgend werden wesentliche Geometrieaspekte extrahiert 50. Dazu wird zunächst eine zur Achse der Fahrzeugbewegung orthogonale Strecke einer konfigurierbaren Länge in einem konfigurierbaren Abstand vor der Ausgangsposition konstruiert 51. Das Lot der Ausgangsposition auf diese Strecke befindet sich auf der Mitte der Strecke.
Die Länge der Strecke sollte groß genug gewählt sein, dass sich auch für BV-Linien mit sehr großer lateraler Entfernung zum Fahrzeug (bis zu der maximalen Entfernung, in der das verwendete Kamerasystem noch BV-Linien detektiert) noch Schnittpunkte der Strecke mit sowohl den BV-Linien als auch mit den jeweiligen BV-Linien entsprechenden DLM- Lanemarkings ergeben. Sinnvollerweise schneidet die Strecke bei Schnitt mit einer BV-Linie auch das dieser BV-Linie entsprechende DLM-Lanemarking, und umgekehrt. Dies wird am zuverlässigsten erreicht, indem die Streckenlänge so groß gewählt wird, dass alle für die Kamera noch erkennbaren Fahrbahnmarkierungen und alle DL -Lanemarkings, die für die Kamera noch erkennbaren Fahrbahnmarkierungen entsprechen, von der Strecke
geschnitten werden. Ein zu groß gewählter Wert kostet jedoch unnötig zusätzliche
Rechenzeit.
Anschließend werden Schnittpunkte der DLM-Lanemarkings und der DLM-Lanes mit der orthogonalen Strecke ermittelt 52, beide zusammen als Kartenschnittpunkte bezeichnet. Ein Beispiel für solche Kartenschnittpunkte ist in Fig. 5 dargestellt. Zu sehen ist eine Fahrbahn FB mit vier Fahrspuren FS, die durch Fahrbahnmarkierungen FBM voneinander abgegrenzt sind, sowie die zugehörigen Fahrspurmitten FSM. Ebenfalls dargestellt sind die
Ausgangsposition AP, die konstruierte Orthogonallinie OL und die Kartenschnittpunkte, getrennt nach Schnittpunkten SPM mit den DLM-Lanemarkings (Marking-Schnittpunkt) und Schnittpunkten SPL mit den DLM-Lanes (Lane-Schnittpunkt). Für jeden Kartenschnittpunkt wird vorzugsweise seine laterale Position relativ zum Fahrzeug, z.B. als Entfernung vom Mittelpunkt der orthogonalen Strecke, und bei DLM-Lanemarkings die Information der Art der assoziierten Fahrbahnmarkierung (Linie gestrichelt/durchgezogen, Leitplanke,
Fahrbahnrand, ...) festgehalten.
In einem weiteren Schritt werden die Schnittpunkte der orthogonalen Strecke mit den BV- Linien gebildet 53, als BV-Linienschnittpunkte bezeichnet. Ein Beispiel für solche BV- Linienschnittpunkte ist in Fig. 6 dargestellt. Zu sehen sind zusätzlich zu den bereits aus Fig. 5 bekannten Elementen die erkannten BV-Linien BVL und die Schnittpunkte BVS der Orthogonallinie OL mit den erkannten BV-Linien BVL. Wiederum wird für jeden Schnittpunkt BVS vorzugsweise seine laterale Position relativ zum Fahrzeug und die Information der Art der erkannten Fahrpurmarkierung (Linie gestrichelt/durchgezogen, Leitplanke,
Fahrbahnrand, ...) festgehalten.
Überlagern sich die vom Fahrzeug befahrene Fahrbahn und die zugehörige Gegenfahrbahn in der zweidimensionalen Kartengeometrie mit Fahrspuren anderer Fahrbahnen, beispielsweise bei Brücken oder Unterführungen, so sollten nur die Kartenschnittpunkte der befahrenen Fahrbahn, der zugehörigen Gegenfahrbahn und gegebenenfalls zugehöriger Auf- und Abfahrten ermittelt werden. Die Kartenschnittpunkte mit den überlagernden Fahrspuren sollten ignoriert werden.
Ein Ansatz dazu nutzt einen Winkelvergleich. Kartenschnittpunkte, deren Richtungswinkel sich um mehr als einen konfigurierbaren Wert vom sprungfreien Kurswinkel unterscheidet werden ausgefiltert. Dieser konfigurierbare Schwellwert wird nachfolgend als Winkelfilter- Schwellwert bezeichnet. Zur Berücksichtigung der Gegenfahrbahn wird der Richtungswinkel modulo 180° betrachtet. Unter dem Richtungswinkel eines Schnittpunktes ist der
Richtungswinkel der geschnittenen DLM-Geometrie im Schnittpunkt zu verstehen, d.h. der Richtungswinkel der Fahrspurmitte oder der Fahrspurbegrenzung (Linie
gestrichelt/durchgezogen, Leitplanke, Fahrbahnrand, ...). Der sprungfreie Kurswinkel ist ein fehlerbereinigter Kurswinkel, insbesondere bereinigt von sprunghaften Positions- und Richtungskorrekturen des GPS-Systems. Viele GPS-Systeme haben die Eigenschaft, Abweichungen gelegentlich sprunghaft zu korrigieren. Ein Beispiel dafür ist in Fig. 7 dargestellt. Die Pfeile visualisieren die Position, Bewegungsrichtung und Geschwindigkeit wie vom G PS-System empfangen. Im durch das gestrichelte Oval hervorgehobenen Bereich kommt es zu einer sprunghaften Korrektur der Position und der Bewegungsrichtung durch das GPS-System. Für den Abgleich von relativer (Odometrie) und absoluter (GPS)
Ortungsinformation müssen die Bewegungsrichtungen beider Eingangsdaten abgeglichen werden. Um eventuelle sprunghafte Richtungsänderungen des GPS-Systems und die Akkumulation von Ungenauigkeiten der Richtungsinformation der relativen
Ortungsinformation zu kompensieren, wurde das Konzept des sprungfreien Kurswinkels entworfen. Im Wesentlichen beinhaltet das Konzept die Glättung der Differenzen der Richtungsinformationen absoluter und relativer Ortungsinformationen, z.B. mittels exponentiell geglättetem gleitendem Mittelwert. In der Implementierung des Verfahrens wird nicht zwischen Gierwinkel und Kurswinkel des Fahrzeugs unterschieden. Die Differenz dieser Winkel wird als hinreichend klein angenommen und die Blickrichtung der Kamera mit der Bewegungsrichtung des Fahrzeugs entsprechend dem sprungfreien
Kurswinkel gleichgesetzt. Eine genaue Differenzierung zwischen Kurs- und Gierwinkel ist bei den erreichten Genauigkeiten nicht notwendig.
Bei einem Winkelfilter-Schwellwert von ca. 20° werden auf Autobahnen in aller Regel alle potentiell problematischen Karten Schnittpunkte von überlagernden Fahrbahnen
herausgefiltert, alle relevanten Kartenschnittpunkte von Auf- und Abfahrten und ähnlichen Fahrbahnen jedoch noch einbezogen. Ein Beispiel dafür ist in Fig. 8 dargestellt. Auf anderen Straßen als Autobahnen sind die Kurvenradien von Auf- und Abfahrten und ähnlichen Fahrbahnen meist so eng, dass ein Winkelfilter-Schwellwert von mindestens 40° gewählt werden sollte. Ein Beispiel dafür zeigt Fig. 9. In Fig. 8 und Fig. 9 markieren die Sterne die jeweiligen Ausgangspositionen AP und die Kreuze die als gültig erkannten
Kartenschnittpunkte SPM, SPL. Ebenfalls eingezeichnet sind die jeweiligen Orthogonalen OL
Der gestrichelte Kreis in Fig. 8 markiert einen Bereich, in dem Kartenschnittpunkte der Zufahrt, welche sich auf der gleichen Ebene wie die befahrene Fahrbahn befindet, unbeabsichtigt herausgefiltert wurden. Da sich der Bereich so weit von der Fahrbahn entfernt befindet, dass die Kamera typischerweise keine dieser Fahrbahnmarkierungen an den Stellen der nicht erkannten Schnittpunkte detektieren würde, stellt das Herausfiltern dieser Schnittpunkte kein Problem für die Durchführung des Verfahrens dar.
Der durchgezogene Kreis in Fig. 8 markiert einen Bereich, in dem Kartenschnittpunkte der Überführung, welche sich auf einer anderen Ebene als die befahrene Fahrbahn befindet, nicht wie beabsichtigt herausgefiltert wurden. Da sich dieser Bereich weiter von der Kamera entfernt befindet, als alle für Vergleich relevanten Karten Schnittpunkte von Fahrbahnen auf gleicher Ebene wie die befahrene Fahrbahn, stellt das Beibehalten dieser
Kartenschnittpunkte kein Problem für die Durchführung des Verfahrens dar.
Für Fahrbahnverläufe, bei denen mehrere Fahrbahnen parallel in verschiedenen Ebenen übereinander verlaufen, ist der beschriebene Ansatz ungeeignet.
Statt über den Vergleich von Winkeln kann das Ausfiltern unerwünschter Kartenschnittpunkte überlagernder Fahrbahnen auch durch Abgleich von Kennungen (IDs) von Fahrspurgruppen erreicht werden. Ein Kartenausschnitt mit Fahrspurgeometrien und Fahrspurgruppen ist in Fig. 10 dargestellt. Fahrspurgruppe ist die Bezeichnung für das DLM/Karten-Segment. Jedes Fahrspursegment ist genau einer Fahrspurgruppe FG zugeordnet. Alle Fahrspursemente einer Gruppe gehören zur selben Fahrbahn und verlaufen in die gleiche Richtung. Eine Fahrspurgruppe ist maximal so lang, wie die Menge der in der Gruppe repräsentierten Fahrspursegmente und deren Eigenschaften, d.h. die zugeordneten Fahrbahnmarkierungen und der Fahrspurtyp, gleichbleiben. Sobald also eine Auf- oder Abfahrt beginnt oder endet, eine gestrichelte zu einer durchgezogenen Linie wird oder eine Leitplanke neben der Fahrbahn anfängt, beginnt eine neue Fahrspurgruppe. Wenn eine Auffahrt auf eine Straße trifft oder sich von dieser trennt, gehen zwei vorher getrennte Fahrspurgruppen in eine einzige Fahrspurgruppe über oder eine Fahrspurgruppe trennt sich in zwei Fahrspurgruppen auf.
Ein Fahrspursegment repräsentiert den Abschnitt einer Fahrspur, der in genau einer
Fahrspurgruppe enthalten ist. Ein Fahrspursegment ist also immer nur so lang, wie vorgegeben durch die Fahrspurgruppe, in der es enthalten ist. Als Folgesegment wird das Fahrspursegment bezeichnet, das die Fortsetzung eines Fahrspursegments entsprechend des Fahrspurverlaufes darstellt. Bei einem Fahrspursegment A, das zur gleichen Fahrspur gehört wie ein Fahrspursegment B, und B grenzt direkt an A und setzt A in Fahrtrichtung fort, ist B das Folgesegment zu A. Beim Übergang von einer Fahrspur in zwei Fahrspuren teilt sich das der ursprünglichen Fahrspur entsprechende Fahrspursegment an der Grenze zwischen den Fahrspurgruppen in zwei Fahrspursegmente auf, typischerweise beide mit dem Fahrspurtyp " erge". Beide Fahrspursegmente werden als Folgesegmente des ursprünglichen Fahrspursegments angesehen. Umgekehrt haben beim Übergang zweier Fahrspuren in eine Fahrspur zwei eigenständige Fahrspursegmente, typischerweise beide mit dem Fahrspurtyp "Merge™, dasselbe Folgesegment.
Jedem Fahrspursegment ist ein innerhalb der Fahrspurgruppe, in der es enthalten ist, eindeutiger Fahrspurindex zugeordnet. Der Fahrspurindex beginnt mit dem
Fahrspursegment ganz rechts bei 0 und steigt mit jedem Fahrspursegment nach links um 1 an. Gleichheit des Fahrspurindex zweier Fahrspursegmente in aufeinanderfolgenden Fahrspurgruppen ist weder hinreichende noch notwendige Bedingung dafür, dass ein Fahrspursegment Folgesegment des anderen Fahrspursegments ist. Beispielsweise können auf der rechten Seite Notfallspuren oder„Unbekannte Fahrspuren" hinzukommen oder wegfallen oder sich die am weitesten rechts liegenden Fahrspuren an Auf- und Abfahrten auftrennen oder vereinigen. Befinden sich auf der Orthogonalen Schnittpunkte zu Kartengeometrien einer Fahrspurgruppe mit dazwischenliegenden Schnittpunkten einer anderen Fahrspurgruppe und enthält keine der beiden Fahrspurgruppen Folgesegmente der anderen, so müssen sich diese Fahrspurgruppen überlagern. Folglich müssen sie sich auf verschiedenen Ebenen kreuzende Fahrbahnen abbilden. Gehört eine der sich überlagernden Fahrspurgruppen zur befahrenen Fahrbahn, so können Kartenschnittpunkte der sich hiermit überlagernden Fahrspurgruppen ignoriert werden.
Überlagern sich zwei Fahrspurgruppen, von denen keine zur befahrenen Fahrbahn gehört, so wird sich mindestens eine der beiden Fahrspurgruppen (oder eine nahe vorherige oder nachfolgende Fahrspurgruppe dieser Fahrspurgruppe) mit großer Wahrscheinlichkeit zusätzlich mit einer Fahrspurgruppe der befahrenen Fahrbahn überlagern. Entsprechend können die Kartenschnittpunkte jener Fahrspurgruppe, auf die dies zutrifft, ignoriert werden. Trifft es auf die andere nicht zu, so sollen ihre Kartenschnittpunkte einbezogen werden (unter der Annahme, dass es sich um eine Überlagerung mit nur zwei Ebenen handelt). Zur Unterstützung von Überlagerungen mit mehr als zwei Ebenen kann das Verfahren durch paarweisen Abgleich der Überlagerungen durchgeführt werden.
Sofern die Kartendaten Höheninformationen zu den Fahrbahnen bereitstellen, kann zusätzlich durch Vergleich der Höheninformationen ermittelt werden, welche Fahrspuren sich auf gleicher Höhe wie die befahrene Fahrbahn befinden und folglich in die Menge der Kartenschnittpunkte eingehen müssen.
Da die durch GNSS-Systeme ermittelten Höheninformation eine vergleichsweise geringe Genauigkeit aufweisen, empfiehlt es sich, nicht auf Grundlage der Positionsinformationen aus dem GNSS-System die Höhe des Fahrzeugs abzuleiten, sondern zunächst an
Fahrbahnabschnitten ohne überlagernde Fahrbahnen eine reguläre Bestimmung der Fahrspur wie weiter unten beschrieben durchzuführen. Die Höheninformation kann dann aus den in den Kartendaten hinterlegten Höhendaten der ermittelten Fahrbahn abgeleitet werden.
Ein alternativer Ansatz zur Behandlung von sich überlagernden Fahrbahnen besteht darin, an Streckenabschnitten mit sich überlagernden Fahrbahnen alle Kartenschnittpunkte zu verwerfen und stattdessen lediglich Maßnahmen zur Bewahrung und Interpolation bereits gesammelter Informationen durchzuführen. Sofern sich überlagernde Fahrbahnen nur kurzzeitig auftauchen, und insbesondere wenn durch Nutzung sprungfreier relativer Positionsinformationen die Fahrzeugbewegung über kurze Zeiträume sehr genau geschätzt werden kann, kann das Verfahren ausgesetzt werden.
Zurückkehrend zu Fig. 4 wird basierend auf einem Vergleich der ermittelten Schnittpunkte eine Menge von möglichen Fahrzeugpositionen bestimmt 60. Diese werden nachfolgend durch eine Sequenz entsprechender Bewertungsfunktionen bewertet 70, wobei die möglichen Fahrzeugpositionen gegebenenfalls ergänzt oder modifiziert werden. Mit Hilfe der Bewertungsfunktionen werden Strafpunkte vergeben. Eine erste Bewertungsfunktion 71 betrachtet die Zuordnung der von der Kamera erfassten Linientypen zu den in der Karte abgelegten Linientypen. Für diese Bewertung ist vorzugsweise eine konfigurierbare Matrix vorgesehen, die für jede Kombination aus BV-Linie und Kartenfahrbahnmarkierungstyp einen spezifischen Wert zuordnet. So können häufig vorkommende Fehlzuordnungen der Kamera, z.B. die Erkennung einer durchgezogenen als gestrichelte Linie, mit einer nur geringfügig schlechten Bewertung, unwahrscheinliche Fehlzuordnungen der Kamera, z.B. die Erkennung von Fahrbahnrand als Leitplanke, mit einer deutlich schlechten Bewertung assoziiert werden. Eine zweite Bewertungsfunktion 72 berücksichtigt die Historie der Fahrzeugpositionen.
Mögliche Fahrzeugpositionen, die stark von der Historie abweichen, werden beispielsweise durch hohe Strafpunkte charakterisiert. In der vorliegenden Ausführungsform bewertet eine dritte Bewertungsfunktion 73 den Fahrstreifentyp. Das Fahrzeug wird auf einer regulären Fahrspur der Fahrbahn vermutet. Mögliche Fahrzeugpositionen auf nicht zum Befahren vorgesehene Fahrspuren (Seitenstreifen,„Unbekannte Fahrspuren" des DLM, und
Standstreifen, ...) werden darum schlecht bewertet, mögliche Fahrzeugpositionen auf befahrbaren Fahrspuren werden neutral bewertet. Als weiteres Beispiel werden für mögliche Fahrzeugpositionen auf der Gegenfahrbahn deutlich höhere Strafpunkte vergeben als für Positionen in Fahrtrichtung. Die Einstellung der Strafpunkte ist abhängig von den
verwendeten Sensorsystem und der genutzten digitalen Karte. Somit kann eine konkrete Anpassung für die verwendeten Systeme sehr leicht erfolgen. Als Ergebnis des
Bewertungsverfahrens wird schließlich die bestbewertete mögliche Fahrzeugposition selektiert 80.
Während des Ablaufs des Verfahrens kann es an diversen Stellen vorkommen, dass aufgrund des Fehlens von Eingangsdaten oder einer unzureichenden Qualität der
Eingangsdaten eine Positionsbestimmung nicht möglich ist und der Ablauf nicht fortgesetzt werden kann. Für solche Fälle ist es möglich, den modularen Ablauf an der entsprechenden Stelle zu verlassen und eine Fehlerbehandlung 90 zu initiieren, z.B. ein Ergebnis ohne Positionsinformation oder mit einer auf anderem Wege näherungsweise bestimmten
Positionsinformation zu generieren. In Fig. 4 sind die Pfade des regulären Ablaufs durch durchgezogene Pfeile, die Pfade bei Abweichung vom regulären Ablauf durch gestrichelte Pfeile gekennzeichnet.
Beispielsweise wird bei NichtVerfügbarkeit von Kartendaten für die aktuelle Fahrzeugposition gemäß absoluter Positionsinformation keine Ermittlung der möglichen Fahrzeugpositionen durchgeführt. Bei Ausbleiben absoluter Positionsinformationen (z.B. kein GNSS-Empfang durch Bauwerke) kann bei Verfügbarkeit relativer Positionsinformationen die absolute Positionsinformation durch eine frühere absolute Positionsinformation und relative
Positionsinformationen ersetzt werden. Stehen keine relativen Positionsinformationen zur Verfügung, wird bei Ausbleiben absoluter Positionsinformationen keine Ermittlung der möglichen Fahrzeugpositionen durchgeführt. In solchen Fällen wird ein entsprechender Fehlerzustand ausgegeben 91 . Wurden hingegen zu wenig BV-Linien erkannt, kann keine hinreichend gute Zuordnung von DL -Lanemarkings zu BV-Linien gefunden werden oder wurde keine einzige mögliche Fahrzeugpositionen ermittelt, kann mit Hilfe eines
kartenbasierten Verfahrens 92 eine näherungsweise bestimmte Positionsinformation ermittelt werden. Eine Möglichkeit besteht beispielsweise darin, ein Fortsetzung der
Fahrzeugbewegung entlang der Fahrstreifenmitte gemäß Karte anzunehmen. In einem abschließenden Schritt 100 werden die Ergebnisse aufbereitet, für die weitere Verarbeitung zur Verfügung gestellt und in die Historie übernommen.
Bezugszeichenliste
Delektieren von Fahrbahnmarkierungen
Bestimmen einer Ausgangsposition für das Fahrzeug
Ermitteln von Schnittpunkten für detektierte Fahrbahnmarkierungen
Ermitteln und filtern von Schnittpunkten für Fahrbahnmarkierungen der
Fahrstreifengeometriekarte
Bestimmen der lateralen Fahrzeugposition durch Vergleich der Schnittpunkte Vorrichtung
Eingang
Bildverarbeitungseinheit
Positionsbestimmungseinheit
Verarbeitungseinheit
Auswerteeinheit
Kameraeinheit
GPS-Empfänger
Ausgang
Speicher
Vorrichtung
Speicher
Prozessor
Eingang
Ausgang
Aufbereitung der Eingangsdaten
Bestimmen einer ungefähren Fahrzeugposition
Überführen in WGS84-Koordinatensystem
Abgleich der neu übermittelten Geometrien
Extrahieren von Geometrieaspekten
Konstruieren einer Orthogonallinie
Ermitteln von Kartenschnittpunkten
Ermitteln von Schnittpunkten mit BV-Linien
Ermitteln von möglichen Fahrzeugpositionen
Bewerten der möglichen Fahrzeugpositionen 71 Erste Bewertungsfunktion
72 Zweite Bewertungsfunktion
73 Dritte Bewertungsfunktion
80 Selektion der bestbewerteten Fahrzeugposition
90 Fehlerbehandlung
91 Ausgeben eines Fehlerzustands
92 Kartenbasiertes Verfahren
100 Aufbereiten der Ergebnisse
1 10 Kartendaten-Server
FB Fahrbahn
FS Fahrspur
FSM Fahrspurmitte
FBM Fahrbahnmarkierung
OL Orthogonallinie
SPM Marking-Schnittpunk
SPL Lane-Schnittpunkt
AP Ausgangsposition
BVL BV-Linie
BVS Schnittpunkt mit BV-Linie
FG Fahrspurgruppe

Claims

Patentansprüche
Verfahren zur Bestimmung einer lateralen Position eines Fahrzeugs relativ zu den Fahrstreifen einer Fahrbahn, mit den Schritten:
- Detektieren (10) von Fahrbahnmarkierungen;
- Bestimmen (1 1 ) einer Ausgangsposition für das Fahrzeug;
- Ermitteln (12) von Schnittpunkten einer zur Fahrzeugbewegung orthogonalen Linie mit den detektierten Fahrbahnmarkierungen;
- Ermitteln (13) von Schnittpunkten der orthogonalen Linie mit Fahrbahnmarkierungen aus einer Fahrstreifengeometriekarte für die für das Fahrzeug bestimmte
Ausgangsposition; und
- Bestimmen (14) der lateralen Position des Fahrzeugs durch Vergleichen der ermittelten Schnittpunkte;
dadurch gekennzeichnet, dass beim Ermitteln (13) der Schnittpunkte der orthogonalen Linie mit Fahrbahnmarkierungen aus der Fahrstreifengeometriekarte ein Filtern der Schnittpunkte erfolgt,
Verfahren gemäß Anspruch 1 , wobei das Filtern der Schnittpunkte basierend auf Richtungswinkeln der Schnittpunkte erfolgt.
Verfahren gemäß Anspruch 2, wobei diejenigen Schnittpunkte ausgefiltert werden, deren Richtungswinkel um mehr als einen Winkelfilter-Schwellwert von einem
Kurswinkel des Fahrzeugs abweicht.
Verfahren gemäß Anspruch 3, wobei der Winkelfilter-Schwellwert abhängig vom Straßentyp ist.
Verfahren gemäß Anspruch 1 , wobei das Filtern der Schnittpunkte basierend auf Fahrspurgruppen der Fahrstreifengeometriekarte erfolgt.
6. Verfahren gemäß Anspruch 5, wobei nur diejenigen Schnittpunkte beibehalten werden, die zu einer Fahrspurgruppe gehören, die zur befahrenen Fahrbahn gehört.
7. Verfahren gemäß Anspruch 1 , wobei das Filtern der Schnittpunkte basierend auf Höheninformationen zu den Fahrspuren erfolgt.
8. Verfahren gemäß Anspruch 7, wobei nur diejenigen Schnittpunkte beibehalten
werden, die zu Fahrspuren gehören, die sich auf gleicher Höhe wie die befahrene Fahrbahn befinden.
9. Verfahren gemäß Anspruch 1 , wobei beim Filtern der Schnittpunkte im Falle von sich überlagernden Fahrbahnen in der Fahrstreifengeometriekarte alle Schnittpunkte verworfen werden.
10. Vorrichtung (20) zur Bestimmung einer lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn, wobei die Vorrichtung (20) folgendes aufweist:
- Eine Bildverarbeitungseinheit (22) zum Detektieren (10) von Fahrbahnmarkierungen;
- Eine Positionsbestimmungseinheit (23) zum Bestimmen (1 1 ) einer Ausgangsposition für das Fahrzeug;
- Eine Verarbeitungseinheit (24) zum Ermitteln (12) von Schnittpunkten einer zur Fahrzeugbewegung orthogonalen Linie mit den detektierten Fahrbahnmarkierungen und zum Ermitteln (13) von Schnittpunkten der orthogonalen Linie mit
Fahrbahnmarkierungen aus einer Fahrstreifengeometriekarte für die für das Fahrzeug bestimmte Ausgangsposition; und
- Eine Auswerteeinheit (25) zum Bestimmen (14) der lateralen Position des Fahrzeugs durch Vergleichen der ermittelten Schnittpunkte;
dadurch gekennzeichnet, dass die Verarbeitungseinheit (24) eingerichtet ist, beim Ermitteln (13) der Schnittpunkte der orthogonalen Linie mit Fahrbahnmarkierungen aus der Fahrstreifengeometriekarte ein Filtern der Schnittpunkte vorzunehmen.
1 1. Computerlesbares Speichermedium mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgende Schritte veranlassen:
- Detektieren (10) von Fahrbahnmarkierungen;
- Bestimmen (1 1 ) einer Ausgangsposition für das Fahrzeug;
- Ermitteln (12) von Schnittpunkten einer zur Fahrzeugbewegung orthogonalen Linie mit den detektierten Fahrbahnmarkierungen;
- Ermitteln (13) von Schnittpunkten der orthogonalen Linie mit Fahrbahnmarkierungen aus einer Fahrstreifengeometriekarte für die für das Fahrzeug bestimmte
Ausgangsposition; und
- Bestimmen (14) der lateralen Position des Fahrzeugs durch Vergleichen der ermittelten Schnittpunkte;
dadurch gekennzeichnet, dass beim Ermitteln (13) der Schnittpunkte der
orthogonalen Linie mit Fahrbahnmarkierungen aus der Fahrstreifengeometriekarte ein Filtern der Schnittpunkte erfolgt.
12. Autonom oder manuell gesteuertes Fahrzeug, dadurch gekennzeichnet, dass es eine Vorrichtung gemäß Anspruch 10 aufweist oder eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 9 auszuführen.
PCT/EP2017/064380 2016-07-27 2017-06-13 Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur bestimmung der lateralen position eines fahrzeuges relativ zu den fahrstreifen einer fahrbahn WO2018019465A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/320,359 US10963708B2 (en) 2016-07-27 2017-06-13 Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes of a road
GB1901488.5A GB2577949B (en) 2016-07-27 2017-06-13 Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes of a road
CN201780057252.XA CN109791698B (zh) 2016-07-27 2017-06-13 用于确定车辆相对于路面的车道的横向位置的方法、设备和电脑可读的具有指令的存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016213817.0 2016-07-27
DE102016213817.0A DE102016213817B4 (de) 2016-07-27 2016-07-27 Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn

Publications (1)

Publication Number Publication Date
WO2018019465A1 true WO2018019465A1 (de) 2018-02-01

Family

ID=59258180

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/064380 WO2018019465A1 (de) 2016-07-27 2017-06-13 Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur bestimmung der lateralen position eines fahrzeuges relativ zu den fahrstreifen einer fahrbahn

Country Status (5)

Country Link
US (1) US10963708B2 (de)
CN (1) CN109791698B (de)
DE (1) DE102016213817B4 (de)
GB (1) GB2577949B (de)
WO (1) WO2018019465A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963708B2 (en) 2016-07-27 2021-03-30 Volkswagen Aktiengesellschaft Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes of a road
US11260861B2 (en) 2016-07-27 2022-03-01 Volkswagen Aktiengesellschaft Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes on a roadway

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018212555A1 (de) * 2018-07-27 2020-01-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Fahrspurerkennung
JP7188203B2 (ja) * 2019-03-15 2022-12-13 トヨタ自動車株式会社 区画線劣化特定システムおよび区画線劣化特定方法
US11279349B2 (en) * 2019-09-26 2022-03-22 Intel Corporation Safety module, automated driving system, and methods thereof
CN114512052B (zh) * 2021-12-31 2023-06-02 武汉中海庭数据技术有限公司 融合遥感影像和轨迹数据的分歧合流路口生成方法及装置
CN116045996B (zh) * 2023-03-31 2023-07-04 高德软件有限公司 路口道路连接关系的确定、路口虚拟线的生成方法及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1686538A2 (de) * 2005-01-28 2006-08-02 Aisin Aw Co., Ltd. Vorrichtung und Verfahren zur Fahrzeugpositionserkennung
WO2008150002A1 (en) * 2007-05-31 2008-12-11 Aisin Aw Co., Ltd. Feature extraction method, and image recognition method and feature database creation method using the same
DE102012104786A1 (de) 2011-06-09 2012-12-13 Gm Global Technology Operations, Llc Spurermittlungsverbesserung mittels Objektfahrzeuginformationen für Spurzentrierung/-haltung
US20140358321A1 (en) 2013-06-01 2014-12-04 Faroog Ibrahim System and method for lane boundary estimation and host vehicle position and orientation
EP2878975A1 (de) * 2012-07-24 2015-06-03 PLK Technologies System und verfahren zur korrektur von gps mittels bilderkennungsinformationen
EP2899669A1 (de) 2014-01-22 2015-07-29 Honda Research Institute Europe GmbH Verfahren zur fahrspurbezogenen Positionsschätzung und System für Fahrerhilfssysteme
EP2918974A1 (de) * 2014-03-11 2015-09-16 Volvo Car Corporation Verfahren und System zur Bestimmung der Position eines Fahrzeugs

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775063B2 (en) * 2009-01-26 2014-07-08 GM Global Technology Operations LLC System and method of lane path estimation using sensor fusion
US20130226448A1 (en) * 2010-10-26 2013-08-29 Tim Bekaert Method for detecting grade separated crossings and underpasses
US8781644B2 (en) * 2011-03-21 2014-07-15 Denso Corporation Method and apparatus for recognizing shape of road for vehicles
US20130052614A1 (en) 2011-08-31 2013-02-28 Pulsar Informatics, Inc. Driver Performance Metric
US10301783B2 (en) * 2012-01-17 2019-05-28 LimnTech LLC Roadway maintenance striping control system
SE537900C2 (sv) 2012-03-07 2015-11-17 Scania Cv Ab Förfarande och system för bestämning av fordonsposition
US20140257686A1 (en) 2013-03-05 2014-09-11 GM Global Technology Operations LLC Vehicle lane determination
US8996197B2 (en) * 2013-06-20 2015-03-31 Ford Global Technologies, Llc Lane monitoring with electronic horizon
US9310804B1 (en) * 2013-11-21 2016-04-12 Google Inc. Use of prior maps for estimation of lane boundaries
US9151626B1 (en) 2014-04-11 2015-10-06 Nissan North America, Inc. Vehicle position estimation system
DE102016213817B4 (de) 2016-07-27 2019-03-07 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn
DE102016213782A1 (de) 2016-07-27 2018-02-01 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1686538A2 (de) * 2005-01-28 2006-08-02 Aisin Aw Co., Ltd. Vorrichtung und Verfahren zur Fahrzeugpositionserkennung
WO2008150002A1 (en) * 2007-05-31 2008-12-11 Aisin Aw Co., Ltd. Feature extraction method, and image recognition method and feature database creation method using the same
DE102012104786A1 (de) 2011-06-09 2012-12-13 Gm Global Technology Operations, Llc Spurermittlungsverbesserung mittels Objektfahrzeuginformationen für Spurzentrierung/-haltung
EP2878975A1 (de) * 2012-07-24 2015-06-03 PLK Technologies System und verfahren zur korrektur von gps mittels bilderkennungsinformationen
US20140358321A1 (en) 2013-06-01 2014-12-04 Faroog Ibrahim System and method for lane boundary estimation and host vehicle position and orientation
EP2899669A1 (de) 2014-01-22 2015-07-29 Honda Research Institute Europe GmbH Verfahren zur fahrspurbezogenen Positionsschätzung und System für Fahrerhilfssysteme
EP2918974A1 (de) * 2014-03-11 2015-09-16 Volvo Car Corporation Verfahren und System zur Bestimmung der Position eines Fahrzeugs

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963708B2 (en) 2016-07-27 2021-03-30 Volkswagen Aktiengesellschaft Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes of a road
US11260861B2 (en) 2016-07-27 2022-03-01 Volkswagen Aktiengesellschaft Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes on a roadway

Also Published As

Publication number Publication date
CN109791698B (zh) 2023-09-08
DE102016213817A1 (de) 2018-02-01
GB201901488D0 (en) 2019-03-27
GB2577949A (en) 2020-04-15
GB2577949B (en) 2021-09-01
CN109791698A (zh) 2019-05-21
DE102016213817B4 (de) 2019-03-07
US10963708B2 (en) 2021-03-30
US20190266419A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
DE102016213817B4 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn
EP3584663B1 (de) Verfahren zur automatischen querführung eines folgefahrzeugs in einem fahrzeug-platoon
EP3491339B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur bestimmung der lateralen position eines fahrzeuges relativ zu den fahrstreifen einer fahrbahn
EP3213260B1 (de) Verfahren und vorrichtung zur lokalisierung eines fahrzeugs in seinem umfeld
DE102013105046B4 (de) Zielspurauswahlverfahren mittels Navigationseingabe in Straßenwechselszenarien
DE102016222259B4 (de) Verfahren und System zum Bereitstellen von Daten für eine erste und zweite Trajektorie
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
EP3529561B1 (de) System und verfahren zur erzeugung von digitalen strassenmodellen aus luft- oder satellitenbildern und von fahrzeugen erfassten daten
DE102016209232B4 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn
WO2020229002A1 (de) Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
DE102015218042A1 (de) Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs und Fahrerassistenzsystem
EP3898368B1 (de) Verfahren und system zum bestimmen einer korrigierten trajektorie eines fahrzeugs
EP3391086A1 (de) Verbessertes verfahren zum ermitteln der randbebauung einer fahrbahn für die lokalisierung von kraftfahrzeugen
WO2016055416A1 (de) Verfahren für ein kraftfahrzeug mit einer kamera, vorrichtung und system
DE102016213783A1 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeugs relativ zu den Fahrstreifen einer Fahrbahn
DE112020004203T5 (de) Fahrzeugpositionsbestimmungsvorrichtung und Fahrzeugpositionsbestimmungsverfahren
DE102013217060B4 (de) Spurgenaue Positionierung eines Fahrzeugs
DE102019102922A1 (de) Verfahren und Vorrichtung zur Multi-Sensor-Datenfusion für automatisierte und autonome Fahrzeuge
EP2172826B1 (de) Verfahren und Vorrichtung zum Ermitteln eines Fahrspurverlaufs
DE102016001269A1 (de) Verfahren zum Bestimmen einer aktuellen Position eines Kraftfahrzeugs auf einer Fahrbahn sowie Positionsbestimmungsvorrichtung
DE102015211150A1 (de) Verfahren, Fahrerassistenzsystem und Fahrzeug zum Lernen einer Trajektorie eines Straßenabschnitts
DE112018002372T5 (de) Informationsverwaltungsvorrichtung
DE102013217061A1 (de) Spurgenaue Positionierung eines Fahrzeugs
DE102022203264A1 (de) Verfahren zum Erstellen von Kartendaten
DE202015001434U1 (de) Fahrerassistenzsystem mit positionsabhängiger Assistenzfunktion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17734252

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 201901488

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20170613

122 Ep: pct application non-entry in european phase

Ref document number: 17734252

Country of ref document: EP

Kind code of ref document: A1