WO2020061603A1 - Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs - Google Patents

Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs Download PDF

Info

Publication number
WO2020061603A1
WO2020061603A1 PCT/AT2019/060315 AT2019060315W WO2020061603A1 WO 2020061603 A1 WO2020061603 A1 WO 2020061603A1 AT 2019060315 W AT2019060315 W AT 2019060315W WO 2020061603 A1 WO2020061603 A1 WO 2020061603A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor data
data stream
section
template
similarity
Prior art date
Application number
PCT/AT2019/060315
Other languages
English (en)
French (fr)
Inventor
Pavlo TKACHENKO
Jinwei ZHOU
Luigi Del Re
Original Assignee
Avl List Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avl List Gmbh filed Critical Avl List Gmbh
Priority to CN201980062709.5A priority Critical patent/CN112771535A/zh
Priority to KR1020217012316A priority patent/KR20210063409A/ko
Priority to US17/279,186 priority patent/US12067866B2/en
Priority to EP19780138.4A priority patent/EP3857437A1/de
Priority to JP2021516562A priority patent/JP2022502750A/ja
Publication of WO2020061603A1 publication Critical patent/WO2020061603A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Definitions

  • the present invention relates to a method and a device for analyzing a sensor data stream that characterizes a vehicle environment with regard to the presence of traffic scenarios, and a method for driving a vehicle.
  • ADAS advanced driver assistance systems
  • the support ranges from the mere display of possibly relevant information (e.g. issuing a warning by a lane change assistant) to partially autonomous interventions (e.g. regulation of the torque applied to the wheel axles by an anti-lock braking system) to fully or at least partially autonomous interventions in the control of the vehicle (eg adaptive cruise control using adaptive cruise control, ACC).
  • partially autonomous interventions e.g. regulation of the torque applied to the wheel axles by an anti-lock braking system
  • fully or at least partially autonomous interventions in the control of the vehicle eg adaptive cruise control using adaptive cruise control, ACC.
  • driver assistance systems The basis for such driver assistance systems is usually formed by sensor data, for example provided signals from ultrasound sensors, radar sensors or cameras, which can be used to determine the current driving situation and in response to this the function of the respective driver assistance system can be carried out. Particularly in the case of driver assistance systems which (autonomously) intervene in the control of the vehicle, the current driving situation must be able to be identified with the greatest reliability using the sensor data.
  • a traffic scenario in which a neighboring vehicle in front of the ego vehicle, which is equipped with the driver assistance system, can cut into the same lane by recognizing that a sensor-detected transverse distance perpendicular to the direction of travel to the neighboring vehicle decreases and finally, at least essentially, assumes the value 0 if the neighboring vehicle is immediately in front of the ego vehicle.
  • the driver assistance system to be tested can be fed with sensor data which characterize the already known traffic scenario.
  • sensor data which characterize the already known traffic scenario.
  • a large number of sensor data which may also characterize slight variations in the traffic scenario, are generally required.
  • This object is achieved by a method and a device for analyzing a sensor data stream that characterizes a vehicle environment in relation to the presence of traffic scenarios and by a method for operating a driver assistance system according to the independent claims.
  • a first aspect of the invention relates to a method for analyzing a sensor data stream, which characterizes a vehicle environment, in relation to the existence of traffic scenarios, comprising the following working steps: (i) determining a similarity measure which defines the degree of agreement between indicates a section of the sensor data stream and at least one template stored in a database, by mapping the section of the sensor data stream onto the at least one template, preferably by means of dynamic time normalization, the template characterizing a known traffic scenario; and (ii) assigning the known traffic scenario to the section of the sensor data stream if the similarity measure fulfills a predefined similarity criterion.
  • the method is carried out using a computer.
  • a template in the sense of the invention is in particular a sequence of values and can in particular contain a sequence of values.
  • a template can in particular represent a driving maneuver of at least one vehicle.
  • a template is preferably a, in particular generic, section of a sensor data stream which is characteristic of a specific, in particular known, traffic scenario.
  • Assigning a section of a sensor data stream to a known traffic scenario in the sense of the invention is, in particular, classifying the label, in particular the section, of the sensor data stream.
  • the section of the sensor data stream is appropriately identified during the assignment, for example by setting a marker or a value, which are each characteristic of the known traffic scenario.
  • Mapping a section of a sensor data stream to a template in the sense of the invention is, in particular, an adaptation, in particular in transforming, of the section and / or the template in such a way that the section, in particular a temporal course of the section, with the Template, in particular with a time course of the template, at least essentially, in particular as closely as possible.
  • the section and / or the template can be compressed and / or stretched during imaging, so that, for example, a form of the time sequence of values contained in the section corresponds at least substantially with a form of the time sequence of values contained in the template.
  • a measure of similarity in the sense of the invention is in particular a value that shows the similarity between two value sequences, e.g. Time sequences characterized as a section of a sensor data stream.
  • the measure of similarity is preferably based on a distance, for example a Euclidean distance, a Manhattan distance or a Mahala nobis distance.
  • the degree of similarity can be proportional to, in particular the same, the distance.
  • the similarity measure can also be inverse to the distance.
  • the degree of similarity preferably corresponds to a distance that is determined by an optimization function.
  • the similarity measure can characterize a, possibly abstract, distance between a section of a sensor data stream and a template.
  • a traffic scenario in the sense of the invention is preferably a temporal development of elements of scenes within a sequence of scenes, which begins with a start scene. In contrast to scenes, scenarios cover a certain period of time.
  • a scene preferably describes a snapshot of the surroundings, which includes all spatially stationary elements and dynamic elements.
  • the invention is based in particular on the approach of using a sensor data stream that e.g. by a sensor device or a simulator that detects a vehicle environment, compare the extracted section with a template that characterizes a known traffic scenario, for example a spatial constellation of road users and / or their dynamic development, in particular at least one driving maneuver. Depending on a result of the comparison, the section of the sensor data stream can then be classified. E.g. the section can be classified as belonging to the known traffic scenario characterized by the template.
  • the use of dynamic time standardization allows the known traffic scenario to be reliably assigned to a section of the sensor data stream that characterizes a variation of the traffic scenario, in particular by mapping it onto a template that is generic for the known traffic scenario. This can prevent the section of the sensor data stream from being classified differently in these cases. This enables efficient processing of the sensor data stream.
  • the invention makes it possible to further improve the analysis of a sensor data stream with regard to the presence of traffic scenarios, in particular to recognize existing traffic scenarios more reliably and / or in a simple manner by analyzing the sensor data stream.
  • the method also has the following work step: storing the section of the sensor data stream as a further template in the database if the similarity measure does not meet the predefined similarity criterion.
  • the further template can preferably be used in the following in order to be able to assign further, in particular future, sections of the sensor data stream to the traffic scenario characterized by the further template, in particular previously unknown.
  • the database can be expanded.
  • new traffic scenarios e.g. new driving maneuvers can be added.
  • learning of new traffic scenarios and a corresponding dynamic expansion of the database can be realized in this way.
  • the template can be adapted, in particular by recalculation, if, based on a distance between the section of the sensor data stream and the template determined by the dynamic time normalization, the section can be assigned to a cluster of sections corresponding to the known traffic scenario, but not in the vicinity of the The focus of the cluster is.
  • all sections of the sensor data stream which are associated with the known traffic scenario, in particular previously stored in the database are averaged by means of dynamic time standardization.
  • the averaging is preferably carried out with e.g. from Petitjean et. al. in “A global averaging method for dynamic time warping, with applications to clustering”, Pattern regocnition, 44 (3), 678-693 (201 1) known center of gravity averaging methods of dynamic standardized time sequences (engl dynamic time warping barycenter averaging). This avoids iterative pairwise averaging, which advantageously reduces the computational effort.
  • an averaging can be used in any order of the sensor data contained in the stored sections of the sensor data stream, and the, in particular temporal, length of the template adapted in this way is advantageously not increased.
  • the method thus preferably forms a real-time version of the so-called k-means algorithm (k-means clustering), the templates stored in the database forming focal points of various clusters, each of which corresponds to a known traffic scenario.
  • a new member ie a further section of the sensor data stream, can be added to a cluster if the similarity criterion is met.
  • the adaptation criterion is also fulfilled at the same time, for example the mapping of the section of the sensor data stream onto the template 1
  • the focus of the corresponding cluster, ie the template is adjusted, in particular recalculated, in particular by averaging all members of the cluster.
  • the section of the sensor data stream If the similarity criterion is not already met, ie if the section of the sensor data stream cannot be meaningfully mapped to one of the templates, in particular by dynamic time standardization, the section forms a new cluster.
  • the method By designing the method as a k-means algorithm, sections of the sensor data stream can be assigned to the correct traffic scenario particularly reliably, in particular with high probability, or the database can be dynamically adapted or expanded.
  • the predefined similarity criterion is or is met if the similarity measure falls below a predefined similarity threshold value. It is preferably checked whether a distance between the section of the sensor data stream and the template determined by dynamic time normalization is smaller than the predetermined similarity threshold. This makes it possible to make a reliable and unambiguous decision, in particular when saving computing power, whether the section of the sensor data stream is to be assigned to the known traffic scenario, which is characterized by the template.
  • the predefined adaptation criterion is or is met if the similarity measure exceeds an adaptation threshold value which is dependent on the similarity criterion, in particular on the similarity threshold value.
  • the template can be adapted in particular if the degree of correspondence between the section of the sensor data stream and the template is not too high.
  • an adaptation of the template is preferably only carried out if the portion of the sensor data stream currently mapped onto the template deviates from the template at least to a certain extent and thus an adaptation of the Stencil is also attached. In particular, unnecessary adaptation of the templates can be avoided in this way.
  • the dependency of the adaptation criterion, in particular the adaptation threshold value is preferably characterized by a function, in particular a mathematical function.
  • the value of this function can indicate the adaptation criterion, in particular the adaptation threshold, if at least the similarity criterion, in particular the similarity threshold, is selected as the input variable of the function.
  • the function can be set up to weight the similarity criterion, in particular the similarity threshold, e.g. by multiplying by a factor less than one.
  • the adaptation criterion can correspond to a weighting of the similarity criterion.
  • the method also has the following work step: presetting the similarity criterion, in particular the similarity threshold value, on the basis of a comparison of several, in particular all, similarity measures with one another, which are used in the mapping, in particular by dynamic time normalization, at least of the known scenario assigned sections of the sensor data stream, in particular stored in the database.
  • a similarity measure characterizing the lowest degree of correspondence between the portion of the sensor data stream and the template e.g. a maximum distance determined by the dynamic time normalization between the section of the sensor data stream and the template is determined and the similarity criterion, in particular the similarity threshold value, is formed therefrom.
  • the similarity criterion, in particular the similarity threshold value can be dynamically adapted, for example, to the quality of the sensor data contained in the sensor data stream.
  • all members of a cluster corresponding to a known traffic scenario can be mapped onto the template by dynamic time standardization.
  • the maximum distance is selected, for example filtered out, from the distances determined between the members, ie sections of the sensor data stream and the template, and used as a similarity criterion, in particular a similarity threshold value.
  • several similarity measures are determined by mapping the section of the sensor data stream onto one of several templates stored in the database, each of which characterizes a different known traffic scenario, and the section of the sensor data stream is based on the known traffic scenario a comparison of the several determined similarity measures with each other.
  • an unknown traffic scenario which is characterized by the section of the sensor data stream, is compared with several already known traffic scenarios and is preferably identified on the basis of this comparison.
  • a similarity measure that characterizes the highest degree of correspondence between the section of the sensor data stream and a template e.g. a minimum distance between the section of the sensor data stream and the template determined during the dynamic time normalization of the section of the sensor data stream is determined and the section is assigned to the known traffic scenario that is characterized by the corresponding template.
  • the traffic scenario which is currently characterized, in particular mapped, by the section of the sensor data stream, can be identified reliably and quickly.
  • the sensor data stream characterizes at least one, in particular transverse, i.e. perpendicular to the direction of travel, distance between two road users in the traffic scenario. If, for example, two vehicles drive alongside one another in two adjacent lanes, the distance between the vehicles does not change. If one of the vehicles performs a driving maneuver, for example by accelerating or overtaking or by swiveling into the other lane, the distance between the vehicles changes. This change can be characteristic of the driving maneuver or the traffic scenario. The, in particular temporal, course of the distance during this driving maneuver can thus form a template for the traffic scenario stored in the database. A section of the sensor data stream can thus be assigned to the correct traffic scenario with a high degree of probability.
  • the sensor data stream is provided by a sensor device of a vehicle during the operation of the vehicle.
  • the sensor device preferably has a plurality of sensors, for example at least one camera, at least one radar sensor, at least one song sensor, at least one ultrasound sensor and / or the like, which generate corresponding sensor data, preferably at least essentially continuously, wherein the sensor data stream is preferably formed by a fusion of the sensor data. Based on the assignment of the section of the sensor data stream to the known traffic scenario, information relating to the traffic scenario identified in this way can then be output in situ, ie essentially in real time, and made available, for example, to a driver assistance system.
  • the database can also be expanded in situ, ie in real time.
  • the method further comprises the following work step: selecting the section from the sensor data stream, a start of the section of the sensor data stream and / or an end of the section of the sensor data stream being selected such that the start of the Section of the sensor data stream and the end of the section of the sensor data stream are spaced apart from one another by a predetermined period of time.
  • the section of the sensor data stream selected in this way preferably forms a time window within which sensor data contained in the sensor data stream, for example provided by a sensor device of a vehicle or a simulation, is taken into account, for example when identifying a present traffic scenario.
  • the duration i.e. by choosing the length of the time window, a particularly reliable assignment of the section of the sensor data stream to the known traffic scenario can be achieved.
  • the end of the section is preferably formed from sensor data currently generated by the sensor device or the simulation. This enables, for example, a reliable identification of the current traffic situation.
  • at least the selection of the section of the sensor data stream, the determination of the similarity measure and the assignment of the section of the sensor data stream are carried out repeatedly.
  • the section of the sensor data stream is repeatedly selected, the beginning and / or the end of the section of the sensor data stream is or are selected such that the section of the sensor data stream overlaps at most only half with a previously selected section of the sensor data stream.
  • a further section of the sensor data stream is only mapped onto at least one template when half of the predetermined time period has elapsed. This makes it possible to ensure that two sections of the sensor data stream which are successively mapped onto a plurality of templates differ sufficiently from one another in order to be able to be assigned to different known traffic scenarios.
  • a second aspect of the invention relates to a device for analyzing a sensor data stream, which characterizes a vehicle environment, with respect to the presence of traffic scenarios.
  • the device preferably has a processing module which is set up to map a similarity measure, which indicates the degree of correspondence between a section of the sensor data stream and at least one template stored in a database, to the section of the sensor data stream to determine at least one template, preferably by means of dynamic time standardization, the template characterizing a known traffic scenario.
  • the device preferably has an assignment module which is set up to assign the known traffic scenario to the section of the sensor data stream if the similarity measure fulfills a predefined similarity criterion.
  • the device preferably also has a sensor device which is set up to detect a vehicle environment and to provide the sensor data stream.
  • the sensor device can have one or more sensors, for example cameras, ultrasound sensors, radar sensors, lidar sensors and / or the like, in order to be able to reliably, preferably redundantly, detect relevant variables, such as distances between road users, for characterizing an existing traffic scenario.
  • the device preferably also has a database which is set up to store at least one template, preferably a plurality of templates, each of which characterizes or characterizes a known traffic scenario.
  • a third aspect of the invention relates to a method for driving a vehicle based on a sensor data stream by means of a driver assistance system, the sensor data stream being analyzed by means of the method according to the first aspect of the invention.
  • the section of the sensor data stream which preferably characterizes a current traffic scenario
  • the known traffic scenario which is characterized by the template stored in the database
  • an output signal is generated which is the known one or traffic scenario identified using the section of the sensor data stream, in particular a known maneuver, is characterized and made available to the driver assistance system.
  • the driver assistance system can thus react reliably to the existing traffic scenario.
  • FIG. 1 shows a preferred embodiment of a device according to the invention
  • FIG. 3 shows a representation to explain an assignment of a known traffic scenario, which is characterized by a template, to a section of a sensor data stream;
  • the sensor device 5 and / or the driver assistance system 6 is or are part of the device 1.
  • the processing module 2 and / or the assignment module 3 are preferably software, e.g. as program code, and can be executed by means of a data processing unit 7.
  • the processing module 2 can in particular be set up to distort the section extracted from the sensor data stream S dynamically, ie in particular non-linearly, for example to compress and / or stretch it at least in sections.
  • the sensor data contained in the section can be assigned, for example, corresponding template data corresponding to the template.
  • the processing module 2 preferably determines the assignment on the basis of an optimization function, in particular in such a way that the section of the sensor data stream D is particularly precise, ie with minimal deviations, on the template S is mapped.
  • a remaining distance, in particular in the form of a difference, between the section of the sensor data stream D and the template S preferably forms the similarity measure.
  • the distance can in particular characterize the differences between the sensor data contained in the section and the template data assigned to them.
  • the differences between sensor and template data for a pair of sensor data and template data are determined and added up in order to obtain the distance.
  • the assignment module 3 is preferably set up to check whether the determined degree of similarity fulfills the predetermined similarity criterion.
  • the processing module 2 can determine whether the distance obtained in the dynamic time normalization of the section of the sensor data stream D between the section of the sensor data stream D and the template S falls below a predetermined similarity threshold, i.e. whether the section and the template S are so similar to each other that the determined distance between them is smaller than the similarity threshold.
  • the assignment module 3 can assign the section of the sensor data stream D to a known traffic scenario, which is characterized by the template S.
  • the output signal A is preferably generated by the assignment module 3, preferably also as a function of the result of the test, and characterizes the known traffic scenario.
  • the output signal A can contain, for example, information relating to the known traffic scenario.
  • the database 4 can be expanded with a further template S, which is formed in particular by the section of the sensor data stream D that is currently being considered.
  • the section can be stored as a further template S in the database 4.
  • FIG. 2 shows a preferred exemplary embodiment of a method 100 according to the invention for analyzing a sensor data stream that characterizes a vehicle environment with respect to the presence of traffic scenarios.
  • the sensor data stream is made available, for example by detecting a vehicle environment with a sensor device of a vehicle or by simulation.
  • the sensor data stream is or is preferably formed from a time sequence of sensor data, it being possible for the sensor data to contain values of a parameter which describes a traffic scenario.
  • the sensor data stream can depict the time course of distances between road users.
  • a section is selected from the sensor data stream, for example by extracting the sensor data from the sensor data stream within a predetermined time window.
  • a beginning of the section and / or an end of the section can be selected, the beginning and the end of the section preferably being spaced apart from one another by a predetermined period of time.
  • the end of the section is preferably formed from the sensor data stream from the last provided sensor data.
  • the section of the sensor data stream can be mapped to the at least one template stored in the database in a further method step S5, a similarity measure preferably being determined.
  • the similarity measure preferably characterizes a degree of agreement between the section of the sensor data stream and the template.
  • the mapping of the section onto the template can be carried out on the basis of a dynamic time standardization, the similarity measure preferably being formed by a distance between the section and the template obtained by the dynamic time standardization.
  • the distance can be a measure of the difference between the section imaged on the template and the template, in particular between sensor data contained in the section and template data contained in the template.
  • the distance or the similarity measure is accordingly preferably small if the section and the template are very similar to one another, or large if the section and the template are dissimilar.
  • the section is preferably mapped onto each of the templates and a similarity measure is determined in each case in this way.
  • a further method step S6 it is preferably checked whether the similarity measure or the similarity measures ascertained in method step S5 meets or fulfill a predefined similarity criterion, for example whether the distance obtained on the basis of the dynamic time normalization is smaller than a predefined similarity threshold value .
  • the section of the sensor data stream can be stored in method step S4 as a further template in the database, in particular in addition to templates already stored in the database.
  • the section of the sensor data stream thus represents another, previously unknown, traffic scenario. If, on the other hand, at least one similarity measure meets the similarity criterion, for example the distance obtained on the basis of the dynamic time normalization is smaller than the predetermined similarity threshold value, a known traffic scenario can be assigned to the section of the sensor data stream in a further method step S7.
  • the section is assigned a known traffic scenario on the basis of a result of the comparison. For example, when comparing, that of the similarity measures can be determined which characterizes the highest degree of agreement between the section and the template corresponding to the similarity measure. In particular, the smallest of the distances obtained in the dynamic time normalization can be selected and the traffic scenario characterized by the corresponding template can be assigned to the section.
  • a further method step S8 it can be checked whether the similarity measure, optionally selected from several similarity measures determined in method step S5 as described above, also fulfills a predefined adaptation criterion in addition to the similarity criterion, for example whether the distance obtained in the dynamic time normalization is greater as an adjustment threshold.
  • the template corresponding to the similarity measure can be adapted in a further method step S9, taking into account the section of the sensor data stream.
  • the template can be corrected by averaging several sections of the sensor data stream, to which the corresponding known traffic scenario was assigned in method step S7.
  • FIG. 3 shows an illustration to explain an assignment of a known traffic scenario, which is characterized by a template S, to a section B of a sensor data stream.
  • the traffic scenario is, for example, a single maneuver, a maneuver out of maneuver, driving in a row in one lane or driving between two lanes.
  • Different sections B correspond, for example, to and within different driving maneuvers Driving maneuvers also with different versions or variations of the respective driving maneuver.
  • the position of the sections B of the sensor data stream shown in FIG. 3 depends on a transverse start distance dX start for each of the sections, ie the component of the distance between two vehicles perpendicular to the direction of travel at the start of the driving maneuver, and a transverse end distance dX end , ie the component of the distance between two vehicles perpendicular to the direction of travel at the end of the driving maneuver.
  • sections B are shown in FIG. 4, which correspond to a maneuver in which two vehicles first drive in two adjacent lanes and one of the vehicles reevers in front of the other vehicle.
  • FIG. 4 correspond to a maneuver in which two vehicles first drive in two adjacent lanes and one of the vehicles reevers in front of the other vehicle.
  • the sections B in the selected representation form cluster C, the templates S in the example shown each forming the center of gravity of a cluster C from a plurality of sections B of the sensor data stream.
  • a cluster C is preferably given all those sections B of the sensor data stream whose temporal profiles (shown in FIG. 4, for example) have a certain similarity to one another.
  • this similarity is illustrated by the spatial position, ie the similar start and end distances dX start , dX end , of the sections B, wherein similar sections B of the sensor data stream are each within a range of one another.
  • the section B is preferably so dynamic when mapping to the respective template S by the dynamic time normalization, i.e. at least in sections, compressed and / or stretched, that it at least essentially corresponds to the template S or follows its course.
  • the temporal course of a parameter such as the transverse distance between two vehicles, which at least partially characterizes the still unknown traffic scenario to be identified and is mapped by section B of the sensor data stream, can be determined by the dynamic time normalization at the time mapped by template S for the known traffic scenario characteristic course of this parameter can be adjusted.
  • the similarity measure preferably specifies the deviations between the time profile shown by section B and the time profile shown by template S (for examples of the time profile of section B, reference is made to FIG. 4).
  • one of the templates S or one of the clusters C and thus one of the known traffic scenarios can be assigned to the further section B. That of the known traffic scenarios is preferably assigned to the further section B, for the template S of which the highest degree of correspondence with the section B has been determined.
  • the similarity measure fulfills a given adaptation criterion. If this is the case, the corresponding template S, which characterizes the known traffic scenario assigned to section B, is preferably adapted. This is also described below in connection with FIG. 4.
  • the adaptation criterion is preferably met if the distance between the section B and the template S determined by the dynamic time standardization is greater than a predetermined adaptation threshold value.
  • the adaptation criterion is met if a section B is assigned to a cluster C, but not close to the center of gravity of the cluster C, i.e. the template S, lies.
  • the differences between the section B and the template S can be regarded as sufficient that an adaptation of the template S, i.e. a recalculation of the center of gravity of cluster C leads to a change that has to be taken into account, which in particular can have an influence on future comparisons with further sections B of the sensor data stream.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Analyse eines Sensordatenstroms, der ein Fahrzeugumfeld charakterisiert, in Bezug auf ein Vorliegen von Verkehrsszenarien, sowie ein Verfahren zum Führen eines Fahrzeugs. Es wird ein Ähnlichkeitsmaß, welches den Grad an Übereinstimmung zwischen einem Abschnitt des Sensordatenstroms und wenigstens einer in einer Datenbank gespeicherten Schablone angibt, durch Abbilden des Abschnitts des Sensordatenstroms auf die wenigstens eine Schablone, vorzugsweise mittels dynamischer Zeitnormierung ermittelt. Dabei charakterisiert die Schablone ein bekanntes Verkehrsszenario. Das bekannte Verkehrsszenario wird dem Abschnitt des Sensordatenstroms zugeordnet, wenn das Ähnlichkeitsmaß ein vorgegebenes Ähnlichkeitskriterium erfüllt.

Description

VERFAHREN UND VORRICHTUNG ZUR ANALYSE EINES SENSORDATENSTROMS SOWIE VERFAHREN ZUM FÜHREN EINES FAHRZEUGS
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Analyse eines Sensordatenstroms, der ein Fahrzeugumfeld charakterisiert, in Bezug auf ein Vorliegen von Verkehrsszenarien, sowie ein Verfahren zum Führen eines Fahrzeugs.
Moderne Fahrzeuge sind zunehmend mit Fahrerassistenzsystemen (engl. Advanced Driver Assistance Systems, ADAS) ausgestattet, welche den Fahrer in bestimmten Fahr- situationen unterstützen. Die Unterstützung reicht von reinem Anzeigen möglicherweise relevanter Information (z.B. Ausgeben einer Warnung durch einen Spurwechselassis- tent) über teilautonome Eingriffe (z.B. Regulierung des auf die Radachsen aufgebrachten Moments durch ein Antiblockiersystem) bis hin zu voll- oder zumindest teilautonomen Eingriffen in die Steuerung des Fahrzeugs (z.B. adaptive Geschwindigkeitsregelung durch einen Abstandsregeltempomat, engl. Adaptive Cruise Control, ACC).
Die Grundlage für solche Fahrerassistenzsysteme bilden in der Regel Sensordaten, etwa bereitgestellte Signale von Ultraschallsensoren, Radarsensoren oder Kameras, anhand denen die gegenwärtige Fahrsituation bestimmt und in Reaktion darauf die Funktion des jeweiligen Fahrerassistenzsystems ausgeführt werden kann. Insbesondere bei Fahrer- assistenzsystemen, die (autonom) in die Steuerung des Fahrzeugs eingreifen, muss an- hand der Sensordaten die gegenwärtige Fahrsituation höchst zuverlässig identifiziert werden können.
Im Allgemeinen werden dabei bestimmte, einer Fahrsituation zugeordnete Regeln bzw. Kriterien aufgestellt, bei deren Erfüllung auf ein Vorliegen einer bekannten Fahrsituation geschlossen werden kann. Das Erfüllen der Regel bzw. Kriterien wirkt dabei z.B. als Auslöser für eine Aktion des Fahrerassistenzsystems. Beispielsweise kann ein Ver- kehrsszenario, in dem ein benachbartes Fahrzeug vor dem Ego-Fahrzeug genannten, mit dem Fahrerassistenzsystem ausgestatteten Fahrzeug in die gleiche Fahrspur ein- schert, dadurch erkannt werden, dass ein sensorisch erfasster transversaler Abstand senkrecht zur Fahrtrichtung zum benachbarten Fahrzeug abnimmt und schließlich, zu- mindest im Wesentlichen, den Wert 0 annimmt, wenn das benachbarte Fahrzeug sich unmittelbar vor dem Ego-Fahrzeug befindet. Um solche Fahrerassistenzsysteme, insbesondere deren Reaktion in bereits bekannten Verkehrsszenarien, zu testen, kann das zu testende Fahrerassistenzsystem Sensorda- ten gefüttert werden, welche das bereits bekannte Verkehrsszenario charakterisieren. Um die Fahrerassistenzsystem zuverlässig zu testen, werden in der Regel eine Vielzahl von Sensordaten, die gegebenenfalls auch leichte Variationen des Verkehrsszenarios charakterisieren, benötigt.
Aus WO 2017/210222 A1 ist dazu das automatische Erzeugen von Simulationsszenarien zum Validieren eines Fahrerassistenzsystems bekannt. Eine Vielzahl solcher Simulati- onsszenarien kann dabei insbesondere durch Variation von aufgenommenen Szenarien erzeugt werden, wobei die Variationen auf einem Datenstrom basieren, der durch die Isolation von Unterschieden zwischen ähnlichen aufgenommenen Szenarien erzeugt wird.
Es ist eine Aufgabe der vorliegenden Erfindung, die Analyse eines Sensordatenstroms bezüglich des Vorliegens von Verkehrsszenarien weiter zu verbessern, insbesondere vorliegende Verkehrsszenarien durch Analyse des Sensordatenstroms zuverlässiger und/oder auf einfache Weise zu erkennen.
Diese Aufgabe wird gelöst durch ein Verfahren und eine Vorrichtung zur Analyse eines Sensordatenstroms, der ein Fahrzeugumfeld charakterisiert, in Bezug auf ein Vorliegen von Verkehrsszenarien sowie durch ein Verfahren zum Betreiben eines Fahrerassistenz- system gemäß den unabhängigen Ansprüchen.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Analyse eines Sensordaten- stroms, der ein Fahrzeugumfeld charakterisiert, in Bezug auf ein Vorliegen von Ver- kehrsszenarien, aufweisend die folgenden Arbeitsschritte: (i) Ermitteln eines Ähnlich- keitsmaßes, welches den Grad an Übereinstimmung zwischen einem Abschnitt des Sensordatenstroms und wenigstens einer in einer Datenbank gespeicherten Schablone angibt, durch Abbilden des Abschnitts des Sensordatenstroms auf die wenigstens eine Schablone, vorzugsweise mittels dynamischer Zeitnormierung, wobei die Schablone ein bekanntes Verkehrsszenario charakterisiert; und (ii) Zuordnen des bekannten Verkehrs- szenarios zu dem Abschnitt des Sensordatenstroms, wenn das Ähnlichkeitsmaß ein vor- gegebenes Ähnlichkeitskriterium erfüllt. Insbesondere wird das Verfahren computergestützt durchgeführt.
Ein Sensordatenstrom im Sinne der Erfindung ist insbesondere eine zeitliche Abfolge von Sensordaten, insbesondere von entsprechenden Signalen, die ein Fahrzeugumfeld zu jeweils einem Zeitpunkt charakterisieren. Mit anderen Worten kann ein Sensordaten- strom insbesondere kontinuierlich Information bezüglich des Fahrzeugumfelds liefern. Ein Sensordatenstrom kann beispielsweise von einer Sensoreinrichtung, die vorzugs- weise einen oder mehrere, gegebenenfalls verschiedene, Sensoren zur Erfassung des Fahrzeugumfelds aufweist, bereitgestellt bzw. erzeugt werden. Alternativ kann ein Sens- ordatenstrom aber auch künstlich, etwa durch eine Simulation, erzeugt werden. Vor- zugsweise wird der Sensordatenstrom aus vorverarbeiteten, insbesondere aufbereiteten, z.B. fusionierten, Sensordaten gebildet und enthält beispielsweise Information bezüglich der relativen Abstände zwischen Verkehrsteilnehmern oder anderen Objekten, insbe- sondere unter Berücksichtigung von Straßenkrümmungen.
Ein Abschnitt eines Sensordatenstroms im Sinne der Erfindung ist insbesondere ein zeit- licher Abschnitt des Sensordatenstroms. Ein Abschnitt eines Sensordatenstroms kann beispielsweise ein Ausschnitt aus dem Sensordatenstrom sein. Mit anderen Worten kann ein Abschnitt eines Sensordatenstroms Sensordaten enthalten, die in einem, gegebe- nenfalls vorgegebenen, Zeitfenster bereitgestellt wurden oder werden. Ein Abschnitt kann insbesondere eine Wertefolge, insbesondere eine Zeitfolge von Werten, enthalten.
Eine Schablone im Sinne der Erfindung ist insbesondere eine Wertefolge und kann ins- besondere eine Zeitfolge von Werten enthalten. Eine Schablone kann insbesondere ein Fahrmanöver wenigstens eines Fahrzeugs abbilden. Vorzugsweise ist eine Schablone ein, insbesondere generischer, Abschnitt eines Sensordatenstroms, der charakteristisch für ein bestimmtes, insbesondere bekanntes, Verkehrsszenario ist.
Ein Zuordnen eines Abschnitts eines Sensordatenstroms zu einem bekannten Verkehrs- szenario im Sinne der Erfindung ist insbesondere ein Klassifizieren (engl label), insbe- sondere des Abschnitts, des Sensordatenstroms. Vorzugsweise wird der Abschnitt des Sensordatenstroms beim Zuordnen entsprechend gekennzeichnet, beispielsweise durch Setzen eines Markers oder eines Werts, die jeweils charakteristisch für das bekannte Verkehrsszenario sind. Ein Abbilden eines Abschnitts eines Sensordatenstroms auf eine Schablone im Sinne der Erfindung ist insbesondere ein Anpassen, insbesondere in Transformieren, des Ab- schnitts und/oder der Schablone in der Weise, dass der Abschnitt, insbesondere ein zeit- licher Verlauf des Abschnitts, mit der Schablone, insbesondere mit einem zeitlichen Ver- lauf der Schablone, zumindest im Wesentlichen, insbesondere so gut wie möglich, über- einstimmt. Beispielsweise kann der Abschnitt und/oder die Schablone beim Abbilden gestaucht und/oder gestreckt werden, so dass z.B. eine Form der Zeitfolge von im Ab- schnitt enthaltenen Werten mit einer Form der Zeitfolge von in der Schablone enthalte- nen Werten zumindest im Wesentlichen übereinstimmt.
Eine dynamische Zeitnormierung (engl dynamic time warping, DTW) im Sinne der Erfin- dung ist insbesondere ein Verfahren, insbesondere ein Algorithmus, um Wertefolgen, z.B. Zeitfolgen wie einen Abschnitt eines Sensordatenstroms, mit gegebenenfalls unter- schiedlicher Länge aufeinander abzubilden. Dabei wird vorzugsweise eine Matrix er- zeugt, die als Matrixelemente eine Distanz, beispielsweise euklidische Distanz, eine Manhattan-Distanz oder eine Mahalanobis-Distanz, zwischen einzelnen Elementen der Wertefolgen enthält. Auf Basis einer Kostenfunktion, in welche diese Distanzen einge- hen, können dann die minimalen Kosten für die verschiedenen, durch die Distanzen ab- gebildeten Zuordnungen der einzelnen Elemente der Wertefolgen ermittelt werden, um die präziseste Abbildung der Wertefolgen aufeinander zu finden.
Ein Ähnlichkeitsmaß im Sinne der Erfindung ist insbesondere ein Wert, der die Ähnlich- keit zwischen zwei Wertefolgen, z.B. Zeitfolgen wie einen Abschnitt eines Sensordaten- stroms, charakterisiert. Vorzugsweise basiert das Ähnlichkeitsmaß auf einer Distanz, beispielsweise einer euklidischen Distanz, einer Manhattan-Distanz oder einer Mahala- nobis-Distanz. Das Ähnlichkeitsmaß kann dabei proportional zu, insbesondere gleich, der Distanz sein. Alternativ kann das Ähnlichkeitsmaß aber auch invers zur Distanz sein. Vorzugsweise entspricht das Ähnlichkeitsmaß dabei einer Distanz, die durch eine Opti- mierungsfunktion ermittelt wird. Mit anderen Worten kann das Ähnlichkeitsmaß einen, gegebenenfalls abstrakten, Abstand zwischen einem Abschnitt eines Sensordatenstroms und einer Schablone charakterisieren.
Ein Verkehrsszenario im Sinne der Erfindung ist vorzugsweise eine zeitliche Entwicklung von Elementen von Szenen innerhalb einer Folge von Szenen, welche mit einer Start- szene beginnt. Im Gegensatz zu Szenen decken Szenarien eine gewisse Zeitspanne ab. Eine Szene beschreibt vorzugsweise eine Momentaufnahme des Umfelds, welche, ins- besondere alle räumlich stationären Elemente und dynamische Elemente umfasst.
Die Erfindung basiert insbesondere auf dem Ansatz, einen aus einem Sensordaten- strom, der z.B. von einer ein Fahrzeugumfeld erfassenden Sensoreinrichtung oder einem Simulator bereitgestellt wird, extrahierten Abschnitt mit einer Schablone zu vergleichen, die ein bekanntes Verkehrsszenario, beispielsweise eine räumliche Konstellation von Verkehrsteilnehmern und/oder deren dynamische Entwicklung, insbesondere wenigstens ein Fahrmanöver, charakterisiert. In Abhängigkeit eines Ergebnisses des Vergleichs kann dann eine Klassifizierung des Abschnitts des Sensordatenstroms vorgenommen werden. Z.B. kann der Abschnitt als dem durch die Schablone charakterisierten bekann- ten Verkehrsszenario zugehörig klassifiziert werden.
Auf Grundlage der derart erfolgten Klassifikation kann beispielsweise eine Information betreffend das bekannte Verkehrsszenario ausgegeben bzw. bereitgestellt, etwa über eine Schnittstelle an ein Fahrerassistenzsystem übermittelt, werden.
Der Vergleich des Abschnitts des Sensordatenstroms mit der Schablone wird dabei in bevorzugter Weise durch eine dynamische Zeitnormierung des Abschnitts und der Schablone, d.h. durch ein Abbilden des Abschnitts auf die Schablone, durchgeführt. Ein dabei ermitteltes Ähnlichkeitsmaß, insbesondere eine Distanz zwischen dem Abschnitt und der Schablone, kann einen Anhaltspunkt dafür liefern, wie gut der Abschnitt und die Schablone zusammenpassen, z.B. wie stark sich ein durch den Abschnitt des Sensorda- tenstroms charakterisiertes Fahrzeugumfeld von dem bekannten Verkehrsszenario un- terscheidet. Erfüllt das Ähnlichkeitsmaß ein Ähnlichkeitskriterium, d.h. sind die Unter- schiede zwischen dem Abschnitt und der Schablone nicht zu groß, wird das durch die Schablone charakterisierte, bekannte Verkehrsszenario dem Abschnitt des Sensorda- tenstroms zugeordnet. Mit anderen Worten wird ein durch den Abschnitt des Sensorda- tenstroms charakterisiertes, unbekanntes Verkehrsszenario in diesem Fall mit dem be- kannten Verkehrsszenario identifiziert.
Der Einsatz der dynamischen Zeitminimierung macht es hierbei möglich, das unbekann- te, durch den Sensordatenstrom, insbesondere den Abschnitt, charakterisierte Verkehrs- szenario besonders schnell und zuverlässig zu identifizieren. Es ist insbesondere nicht notwendig, in gegebenenfalls aufwändiger Weise mehrere Parameter aus dem Sensor- datenstrom abzuleiten und zu überprüfen, ob diese verschiedene Kriterien erfüllen. Statt dessen erlaubt es die Erfindung, anhand der dynamischen Zeitnormierung, die vorzugs- weise mit einem besonders rechenzeitsparenden Algorithmus, etwa den von Rakthan- manon et. at. in„Searching and mining trillions of time series subsequences under dy- namic time warping“, Proceedings of the 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD 12, 262-270 (2018) angegebenen Algo- rithmus, ausgeführt wird, lediglich einen Parameter, insbesondere das Ähnlichkeitsmaß, zu bestimmen und diesen zur zuverlässigen Identifikation des Verkehrsszenarios heran- zuziehen.
Der Einsatz der dynamischen Zeitnormierung erlaubt es insbesondere, das bekannte Verkehrsszenario auch einem Abschnitt des Sensordatenstroms, der eine Variation des Verkehrsszenarios charakterisiert, zuverlässig zuzuordnen, insbesondere durch die Ab- bildung auf eine für das bekannte Verkehrsszenario generische Schablone. Dadurch kann verhindert werden, dass der Abschnitt des Sensordatenstroms in diesen Fällen jeweils unterschiedlich klassifiziert wird. Dies ermöglicht eine effiziente Verarbeitung des Sensordatenstroms.
Insgesamt erlaubt es die Erfindung, die Analyse eines Sensordatenstroms bezüglich des Vorliegens von Verkehrsszenarien weiter zu verbessern, insbesondere vorliegende Ver- kehrsszenarien durch Analyse des Sensordatenstroms zuverlässiger und/oder auf einfa- che Weise zu erkennen.
Nachfolgend werden bevorzugte Ausführungsformen der Erfindung und deren Weiterbil- dungen beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird, beliebig miteinander sowie mit den im Weiteren beschriebenen Aspekten der Erfindung kombiniert werden können.
In einer bevorzugten Ausführungsform wird der Abschnitt des Sensordatenstroms beim Zuordnen zu dem bekannten Verkehrsszenario in der Datenbank gespeichert. Vorzugs- weise wird der Abschnitt dabei entsprechend klassifiziert, d.h. als zu dem bekannten Verkehrsszenario zugehörig gekennzeichnet. Der Abschnitt kann insbesondere einem Cluster von bereits in der Datenbank gespeicherten Abschnitten, die dem bekannten Verkehrsszenario zugeordnet wurden, zugeordnet werden bzw. einen Teil eines solchen Clusters bilden. Dadurch kann der in dieser Weise gespeicherte Abschnitt des Sensorda- tenstroms bei einer zukünftigen (Weiter-)Verarbeitung der in der Datenbank gespeicher- ten Daten, z.B. bei einer zukünftigen Anpassung der wenigstens einen Schablone, be- rücksichtigt werden.
In einer weiteren bevorzugten Ausführungsform weist das Verfahren des Weiteren den folgenden Arbeitsschritt auf: Speichern des Abschnitts des Sensordatenstroms als weite- re Schablone in der Datenbank, wenn das Ähnlichkeitsmaß das vorgegebene Ähnlich- keitskriterium nicht erfüllt. Vorzugsweise kann die weitere Schablone im Folgenden ge- nutzt werden, um weitere, insbesondere zukünftige, Abschnitte des Sensordatenstroms dem durch die weitere Schablone charakterisierten, insbesondere bislang unbekannten, Verkehrsszenario zuordnen zu können. Auf diese Weise kann die Datenbank erweitert werden. Insbesondere können der Datenbank neue Verkehrsszenarien, z.B. neue Fahr- manöver, hinzugefügt werden. Mit anderen Worten kann auf diese Weise ein Lernen von neuen Verkehrsszenarien und eine entsprechende dynamische Erweiterung der Daten- bank realisiert werden.
Dieser Fall kann beispielsweise eintreten, wenn ein seltenes Verkehrsszenario eintritt, etwa ein Fahrzeug ein ungewöhnliches Manöver ausführt, das noch nicht durch eine Schablone in der Datenbank erfasst ist bzw. wurde. Dann kann der Abschnitt des Sens- ordatenstroms und dieses seltene und bislang unbekannte Verkehrsszenario charakteri- siert, der mit keiner von mehreren in der Datenbank gespeicherte Schablonen, zumin- dest in dem durch das Ähnlichkeitskriterium vorgegebenen Rahmen, übereinstimmt, d.h. insbesondere nicht präzise genug durch, insbesondere die dynamische Zeitnormierung, auf eine der Schablonen abgebildet werden kann, als neue Schablone in der Datenbank gespeichert werden und somit etwa eine neue Verkehrsszenarioklasse bilden.
In einer weiteren bevorzugten Ausführungsform weist das Verfahren des Weiteren die folgenden Arbeitsschritte auf: (i) Prüfen, ob wenigstens eine Schablone in der Datenbank gespeichert ist; und (ii) Hinzufügen des Abschnitts des Sensordatenstroms als Schablo- ne in die Datenbank in Abhängigkeit des Ergebnisses der Prüfung. Insbesondere wird der Abschnitt des Sensordatenstroms in der Datenbank gespeichert, wenn bislang noch keine Schablone in der Datenbank gespeichert ist bzw. wurde. Die Datenbank kann auf diese Weise vorteilhaft initialisiert bzw. aufgebaut werden. Insbesondere kann dadurch auf eine gegebenenfalls aufwändige Präparation bzw. Bevölkerung der Datenbank ver- zichtet werden. In einer weiteren bevorzugten Ausführungsform weist das Verfahren des Weiteren den folgenden Arbeitsschritt auf: Anpassen der Schablone, wenn das Ähnlich- keitsmaß gleichzeitig das vorgegebene Ähnlichkeitskriterium und ein vorgegebenes An- passungskriterium erfüllt. Beispielsweise kann die Schablone angepasst werden, wenn der Abschnitt des Sensordatenstroms dem bekannten Verkehrsszenario, welches durch die Schablone charakterisiert ist, zugeordnet wird, jedoch gewisse Unterschiede zwi- schen dem Abschnitt und der Schablone bestehen. Dadurch können weitere, insbeson- dere zukünftige, Abschnitte des Sensordatenstroms besonders zuverlässig dem richtigen Verkehrsszenario zugeordnet werden.
Z.B. kann die Schablone, insbesondere durch Neuberechnung, angepasst werden, wenn auf Grundlage einer durch die dynamische Zeitnormierung ermittelten Distanz zwischen dem Abschnitt des Sensordatenstroms und der Schablone der Abschnitt einem mit dem bekannten Verkehrsszenario korrespondierendem Cluster von Abschnitten zugeordnet werden kann, aber nicht in der Nähe des Schwerpunkts des Clusters liegt.
In einer weiteren bevorzugten Ausführungsform werden beim Anpassen der Schablone alle dem bekannten Verkehrsszenario zugeordneten, insbesondere zuvor in der Daten- bank gespeicherten, Abschnitte des Sensordatenstroms durch dynamische Zeitnormie- rung gemittelt. Vorzugsweise wird die Mittelung dabei mit dem z.B. aus Petitjean et. al. in „A global averaging method for dynamic time warping, with applications to clustering“, Pattern regocnition, 44(3), 678-693 (201 1) bekannten Schwerpunktmittelungsverfahren dynamisch normierter Zeitfolgen (engl dynamic time warping barycenter averaging) ausgeführt. Dadurch kann iteratives paarweises Mitteln vermieden werden, wodurch der Rechenaufwand vorteilhaft verringert wird. Zudem kann eine beliebige Reihenfolge der in den gespeicherten Abschnitten des Sensordatenstroms enthaltenen Sensordaten eine Mittelung verwendet werden, und die, insbesondere zeitliche, Länge der derart ange- passten Schablone wird vorteilhaft nicht vergrößert.
Vorzugsweise bildet das Verfahren somit eine Echtzeit-Version des sog. k-Means- Algorithmus (engl k-means clustering), wobei die in der Datenbank gespeicherte Schab- lonen Schwerpunkte verschiedener Cluster, die jeweils mit einem bekannten Verkehrs- szenario korrespondieren, bilden. Dabei kann einem Cluster ein neues Mitglied, d.h. ein weiterer Abschnitt des Sensordatenstroms, hinzugefügt werden, wenn das Ähnlich- keitskriterium erfüllt ist. Wenn jedoch gleichzeitig auch das Anpassungskriterium erfüllt ist, z.B. die Abbildung des Abschnitts des Sensordatenstroms auf die Schablone eine vorgegebene Güte nicht erreicht, wird der Schwerpunkt des entsprechenden Clusters, d.h. die Schablone, angepasst, insbesondere neu berechnet, insbesondere durch Mitte- lung aller Mitglieder des Clusters. Wird bereits das Ähnlichkeitskriterium nicht erfüllt, d.h. kann der Abschnitt des Sensordatenstroms, insbesondere durch dynamische Zeitnormie- rung, nicht sinnvoll auf eine der Schablonen abgebildet werden, bildet der Abschnitt ein neues Cluster. Durch Ausbildung des Verfahrens als k-Means-Algorithmus können Ab- schnitte des Sensordatenstroms besonders zuverlässig, insbesondere mit hoher Wahr- scheinlichkeit, dem korrekten Verkehrsszenario zugeordnet werden bzw. die Datenbank dynamisch angepasst bzw. erweitert werden.
In einer weiteren bevorzugten Ausführungsform ist oder wird das vorgegebene Ähnlich- keitskriterium erfüllt, wenn das Ähnlichkeitsmaß einen vorgegebenen Ähnlichkeits- schwellenwert unterschreitet. Vorzugsweise wird dabei geprüft, ob eine durch dynami- sche Zeitnormierung ermittelte Distanz zwischen dem Abschnitt des Sensordatenstroms und der Schablone kleiner ist als der vorgegebener Ähnlichkeitsschwellenwert. Dadurch kann zuverlässig und eindeutig, insbesondere bei Einsparung von Rechenleistung, ent- schieden werden, ob der Abschnitt des Sensordatenstroms dem bekannten Verkehrs- szenario, welches durch die Schablone charakterisiert ist, zugeordnet werden soll.
In einer weiteren bevorzugten Ausführungsform ist oder wird das vorgegebene Anpas- sungskriterium erfüllt, wenn das Ähnlichkeitsmaß einen von dem Ähnlichkeitskriterium, insbesondere von dem Ähnlichkeitsschwellenwert, abhängigen Anpassungsschwellen- wert überschreitet. Dadurch kann zuverlässig und eindeutig, insbesondere bei Einspa- rung von Rechenleistung, entschieden werden, ob die das bekannte Verkehrsszenario charakterisierende Schablone angepasst, beispielsweise neu berechnet, werden soll.
Vorzugsweise wird dabei geprüft, ob eine durch dynamische Zeitnormierung ermittelte Distanz zwischen dem Abschnitt des Sensordatenstroms und der Schablone größer ist als der vorgegebene Anpassungsschwellenwert. Dadurch kann die Schablone insbeson- dere dann angepasst werden, wenn der Grad an Übereinstimmung zwischen dem Ab- schnitt des Sensordatenstroms und der Schablone nicht zu hoch ist. Mit anderen Worten wird eine Anpassung der Schablone vorzugsweise nur vorgenommen, wenn der gegen- wärtig auf die Schablone abgebildete Abschnitt des Sensordatenstroms wenigstens bis zu einem gewissen Grad von der Schablone abweicht und somit eine Anpassung der Schablone auch angebracht ist. Insbesondere kann so eine unnötige Anpassung der Schablonen vermieden werden.
Vorzugsweise ist die Abhängigkeit des Anpassungskriteriums, insbesondere des Anpas- sungsschwellenwerts, durch eine, insbesondere mathematische, Funktion charakteri- siert. Beispielsweise kann der Wert dieser Funktion das Anpassungskriterium, insbeson- dere den Anpassungsschwellenwert, angeben, wenn als Eingangsgröße der Funktion wenigstens das Ähnlichkeitskriterium, insbesondere der Ähnlichkeitsschwellenwert, ge- wählt wird. Die Funktion kann dabei dazu eingerichtet sein, dass Ähnlichkeitskriterium, insbesondere den Ähnlichkeitsschwellenwert, zu gewichten, z.B. durch Multiplikation mit einem Faktor kleiner eins. Mit anderen Worten kann das Anpassungskriterium einer Ge- wichtung des Ähnlichkeitskriteriums entsprechen.
In einer weiteren bevorzugten Ausführungsform weist das Verfahren des Weiteren den folgenden Arbeitsschritt auf: Vorgeben des Ähnlichkeitskriteriums, insbesondere des Ähnlichkeitsschwellenwerts, auf Basis eines Vergleichs mehrerer, insbesondere aller, Ähnlichkeitsmaße untereinander, die bei der Abbildung, insbesondere durch dynamische Zeitnormierung, zumindest von dem bekannten Szenario zugeordneten, insbesondere in der Datenbank gespeicherten, Abschnitten des Sensordatenstroms ermittelt werden. Vorzugsweise wird beim Vergleichen ein Ähnlichkeitsmaß, das den niedrigsten Grad der Übereinstimmung zwischen dem Abschnitt des Sensordatenstroms und der Schablone charakterisiert, z.B. eine maximale durch die dynamische Zeitnormierung ermittelte Dis- tanz zwischen dem Abschnitt des Sensordatenstroms und der Schablone, ermittelt und daraus das Ähnlichkeitskriterium, insbesondere der Ähnlichkeitsschwellenwert, gebildet. Dadurch kann das Ähnlichkeitskriterium, insbesondere der Ähnlichkeitsschwellenwert, dynamisch beispielsweise an die Qualität der im Sensordatenstrom enthaltenen Sensor- daten angepasst werden.
Beispielsweise können jeweils alle Mitglieder eines mit einem bekannten Verkehrsszena- rio korrespondierenden Clusters, dessen Schwerpunkt durch die entsprechende Schab- lone gebildet wird, durch dynamische Zeitnormierung auf die Schablone abgebildet wer- den. Aus den dabei ermittelten Distanzen zwischen den Mitgliedern, d.h. Abschnitten des Sensordatenstroms und der Schablone, wird die maximale Distanz ausgewählt, z.B. her- ausgefiltert, und als Ähnlichkeitskriterium, insbesondere Ähnlichkeitsschwellenwert, ver- wendet. In einer weiteren bevorzugten Ausführungsform werden mehrere Ähnlichkeitsmaße durch Abbilden des Abschnitts des Sensordatenstroms auf jeweils eine von mehreren in der Datenbank gespeicherten Schablonen, von denen jede jeweils ein anderes bekann- tes Verkehrsszenario charakterisiert, ermittelt, und der Abschnitt des Sensordatenstroms wird dem bekannten Verkehrsszenario auf Basis eines Vergleichs der mehreren ermittel- ten Ähnlichkeitsmaße untereinander zugeordnet. Mit anderen Worten wird ein unbekann- tes Verkehrsszenario, das durch den Abschnitt des Sensordatenstroms charakterisiert ist, mit mehreren bereits bekannten Verkehrsszenarien verglichen und vorzugsweise auf Basis dieses Vergleichs identifiziert.
Vorzugsweise wird beim Vergleichen ein Ähnlichkeitsmaß, dass den höchsten Grad der Übereinstimmung zwischen dem Abschnitt des Sensordatenstroms und einer Schablone charakterisiert, z.B. eine minimale bei der dynamischen Zeitnormierung des Abschnitts des Sensordatenstroms ermittelte Distanz zwischen dem Abschnitt des Sensordaten- stroms und der Schablone, ermittelt und der Abschnitt dem bekannten Verkehrsszenario, dass durch die entsprechende Schablone charakterisiert ist, zugeordnet. Dadurch kann das Verkehrsszenario, dass gegenwärtig durch den Abschnitt des Sensordatenstroms charakterisiert, insbesondere abgebildet, wird, zuverlässig und schnell identifiziert wer- den.
In einer weiteren bevorzugten Ausführungsform charakterisiert der Sensordatenstrom wenigstens einen, insbesondere transversalen, d.h. senkrecht zur Fahrtrichtung verlau- fenden, Abstand von zwei Verkehrsteilnehmern des Verkehrsszenarios zueinander. Fah- ren beispielsweise zwei Fahrzeuge auf zwei nebeneinanderliegenden Fahrspuren ne- beneinander her, ändert sich der Abstand zwischen den Fahrzeugen nicht. Führt eines der Fahrzeuge ein Fahrmanöver aus, beispielsweise durch Beschleunigen bzw. Überho- len oder durch Einschwenken auf die jeweils andere Fahrspur, ändert sich der Abstand zwischen den Fahrzeugen. Diese Änderung kann charakteristisch für das Fahrmanöver bzw. das Verkehrsszenario sein. Der, insbesondere zeitliche, Verlauf des Abstands bei diesem Fahrmanöver kann somit eine in der Datenbank gespeicherte Schablone für das Verkehrsszenario bilden. Ein Abschnitt des Sensordatenstroms kann dadurch dem kor- rekten Verkehrsszenario mit hoher Wahrscheinlichkeit zugeordnet werden.
In einer weiteren bevorzugten Ausführungsform wird der Sensordatenstrom von einer Sensoreinrichtung eines Fahrzeugs während dem Betrieb des Fahrzeugs bereitgestellt. Die Sensoreinrichtung weist vorzugsweise mehrere Sensoren, beispielsweise wenigs- tens eine Kamera, wenigstens einen Radarsensor, wenigstens einen Liedersensor, we- nigstens einen Ultraschallsensor und/oder dergleichen, auf, welche entsprechende Sen- sordaten, in bevorzugter Weise zumindest im Wesentlichen kontinuierlich, erzeugen, wobei der Sensordatenstrom in bevorzugter Weise durch eine Fusion der Sensordaten gebildet wird. Anhand der Zuordnung des Abschnitts des Sensordatenstroms zum be- kannten Verkehrsszenario kann dann in situ, d.h. im Wesentlichen in Echtzeit, eine In- formation bezüglich des derart identifizierte Verkehrsszenario ausgegeben und bei- spielsweise einem Fahrerassistenzsystem zur Verfügung gestellt werden. Zudem ist es möglich, z.B. im Rahmen von Testfahrten, die Datenbank mit Schablonen zu befüllen, damit die Datenbank bzw. die darin enthaltenen Daten zu einem späteren Zeitpunkt zur Identifikation von Verkehrsszenarien herangezogenen werden kann bzw. können. Durch Bereitstellen des Sensordatenstroms während des Betriebs des Fahrzeugs kann die Da- tenbank auch in situ, d.h. in Echtzeit, erweitert werden.
In einer weiteren bevorzugten Ausführungsform weist das Verfahren des Weiteren den folgenden Arbeitsschritt auf: Auswählen des Abschnitts aus dem Sensordatenstrom, wo- bei ein Anfang des Abschnitts des Sensordatenstroms und/oder ein Ende des Abschnitts des Sensordatenstroms in der Weise ausgewählt werden, dass der Anfang des Ab- schnitts des Sensordatenstroms und das Ende des Abschnitts des Sensordatenstroms durch eine vorgegebene Zeitdauer voneinander beabstandet sind. Vorzugsweise bildet der derart ausgewählte Abschnitt des Sensordatenstroms ein Zeitfenster, innerhalb dem im Sensordatenstrom enthaltene, etwa von einer Sensoreinrichtung eines Fahrzeugs oder einer Simulation bereitgestellte Sensordaten, beispielsweise bei der Identifikation eines vorliegenden Verkehrsszenarios, berücksichtigt werden. Dabei kann durch Vorga- be der Zeitdauer, d.h. durch Wahl der Länge des Zeitfensters, eine besonders zuverläs- sige Zuordnung des Abschnitts des Sensordatenstroms zu dem bekannten Verkehrs- szenario erreicht werden.
Vorzugsweise wird das Ende des Abschnitts von gegenwärtig von der Sensoreinrichtung oder der Simulation erzeugten Sensordaten gebildet. Dadurch wird beispielsweise eine Identifikation der aktuell vorliegenden Verkehrssituation auf zuverlässige Weise ermög- licht. In einer weiteren bevorzugten Ausführungsform werden wenigstens das Auswählen des Abschnitts des Sensordatenstroms, das Ermitteln des Ähnlichkeitsmaßes und das Zu- ordnen des Abschnitts des Sensordatenstroms wiederholt ausgeführt. Vorzugsweise wird bzw. werden dabei beim wiederholten Auswählen des Abschnitts des Sensordaten- stroms der Anfang und/oder das Ende des Abschnitts des Sensordatenstroms in der Weise ausgewählt, dass der Abschnitt des Sensordatenstroms höchstens zur Hälfte mit einem zuvor ausgewählten Abschnitt des Sensordatenstroms überlappt. Mit anderen Worten wird ein weiterer Abschnitt des Sensordatenstroms erst dann auf wenigstens eine Schablone abgebildet, wenn die Hälfte der vorgegebenen Zeitdauer verstrichen ist. Dadurch kann sichergestellt werden, dass sich zwei aufeinanderfolgend auf mehrere Schablonen abgebildete Abschnitte des Sensordatenstroms ausreichend voneinander unterscheiden, um unterschiedlichen bekannten Verkehrsszenarien zugeordnet werden zu können.
Ein zweiter Aspekt der Erfindung betrifft eine Vorrichtung zur Analyse eines Sensorda- tenstroms, der ein Fahrzeugumfeld charakterisiert, in Bezug auf ein Vorliegen von Ver- kehrsszenarien. Die Vorrichtung weist vorzugsweise ein Verarbeitungsmodul auf, wel- ches dazu eingerichtet ist, ein Ähnlichkeitsmaß, welches den Grad an Übereinstimmung zwischen einem Abschnitt des Sensordatenstroms und wenigstens einer in einer Daten- bank gespeicherten Schablone angibt, durch Abbilden des Abschnitts des Sensordaten- stroms auf die wenigstens eine Schablone, vorzugsweise mittels dynamischer Zeitnor- mierung, zu ermitteln, wobei die Schablone ein bekanntes Verkehrsszenario charakteri- siert. Zudem weist die Vorrichtung vorzugsweise ein Zuordnungsmodul auf, welches da- zu eingerichtet ist, das bekannte Verkehrsszenario dem Abschnitt des Sensordaten- stroms zuzuordnen, wenn das Ähnlichkeitsmaß ein vorgegebenes Ähnlichkeitskriterium erfüllt.
Vorzugsweise weist die Vorrichtung auch eine Sensoreinrichtung auf, die dazu eingerich- tet ist, ein Fahrzeugumfeld zu erfassen und den Sensordatenstrom bereitzustellen. Die Sensoreinrichtung kann einen oder mehrere Sensoren, beispielsweise Kameras, Ultra- schallsensoren, Radarsensoren, Lidarsensoren und/oder dergleichen aufweisen, um zur Charakterisierung eines vorliegenden Verkehrsszenarios relevante Größen, wie etwa Abstände von Verkehrsteilnehmern zueinander, zuverlässig, vorzugsweise redundant, erfassen zu können. Die Vorrichtung weist in bevorzugter Weise auch eine Datenbank auf, die dazu einge- richtet ist, wenigstens eine Schablone, vorzugsweise mehrere Schablonen, die jeweils ein bekanntes Verkehrsszenario charakterisiert bzw. charakterisieren, zu speichern.
Ein dritter Aspekt der Erfindung betrifft ein Verfahren zum Führen eines Fahrzeugs auf Grundlage eines Sensordatenstroms mittels eines Fahrerassistenzsystems, wobei der Sensordatenstrom mittels des Verfahrens gemäß dem ersten Aspekt der Erfindung ana- lysiert wird. Vorzugsweise wird dabei auf Grundlage der Zuordnung des Abschnitts des Sensordatenstroms, der in bevorzugter Weise ein gegenwärtiges Verkehrsszenario cha- rakterisiert, zu dem bekannten Verkehrsszenario, das durch die in der Datenbank ge- speicherte Schablone charakterisiert ist, ein Ausgangssignal erzeugt, welches das be- kannte bzw. anhand des Abschnitts des Sensordatenstroms identifizierte Verkehrssze- nario, insbesondere ein bekanntes Manöver, charakterisiert und dem Fahrerassistenz- system bereitgestellt. Das Fahrerassistenzsystem kann somit zuverlässig auf das vorlie- gende Verkehrsszenario reagieren.
Die in Bezug auf den ersten Aspekt der Erfindung und dessen vorteilhafte Ausgestaltung beschriebenen Merkmale und Vorteile gelten, zumindest wo technisch sinnvoll, auch für den zweiten Aspekt der Erfindung und dessen vorteilhafte Ausgestaltung sowie umge- kehrt.
Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung im Zusammenhang mit den Figuren, in denen durchgängig dieselben Bezugszeichen für dieselben oder einander entsprechende Ele- mente der Erfindung verwendet werden. Es zeigen wenigstens teilweise schematisch:
Fig. 1 eine bevorzugte Ausführungsform einer erfindungsgemäßen Vorrichtung;
Fig. 2 eine bevorzugte Ausführungsform eines erfindungsgemäßen Verfahrens;
Fig. 3 eine Darstellung zur Erläuterung einer Zuordnung von einem bekannten Ver- kehrsszenario, das durch eine Schablone charakterisiert ist, zu einem Abschnitt eines Sensordatenstroms; und
Fig. 4 eine Darstellung zur Erläuterung eines Anpassens einer Schablone. Fig. 1 zeigt eine bevorzugte Ausführungsform einer erfindungsgemäßen Vorrichtung 1 zur Analyse eines Sensordatenstroms D, der ein Fahrzeugumfeld charakterisiert, mit einem Verarbeitungsmodul 2, einem Zuordnungsmodul 3 und einer Datenbank 4. die Vorrichtung 1 ist vorzugsweise mit einer Sensoreinrichtung 5, die zum Erfassen eines Fahrzeugumfelds und Bereitstellen eines entsprechenden Sensordatenstroms D einge- richtet ist, und mit einem Fahrerassistenzsystem 6 verbunden. Das Fahrerassistenzsys- tem 6 kann beispielsweise auf Grundlage eines Ausgangssignals A, welches von der Vorrichtung 1 auf Grundlage der Analyse des Sensordatenstroms D erzeugt wird, ge- steuert werden.
Alternativ ist es auch denkbar, dass die Sensoreinrichtung 5 und/oder das Fahrerassis- tenzsystem 6 Teil der Vorrichtung 1 ist bzw. sind.
Das Verarbeitungsmodul 2 und/oder das Zuordnungsmodul 3 sind vorzugsweise als Software, z.B. als Programmcode, ausgeführt und können mittels einer Datenverarbei- tungseinheit 7 ausgeführt werden.
Das Verarbeitungsmodul 2 ist in bevorzugter Weise dazu eingerichtet, ein Ähnlichkeits- maß zu ermitteln, welches den Grad an Übereinstimmung zwischen einem Abschnitt des Sensordatenstroms D und wenigstens einer in der Datenbank 4 gespeicherten Schablo- ne S charakterisiert. Dabei kann das Verarbeitungsmodul 2, etwa durch Extrahieren von im Sensordatenstrom D enthaltenen Sensordaten während eines vorgegebenen Zeit- fensters, den Abschnitt des Sensordatenstroms D bereitstellen und beispielsweise durch Anwenden eines Verfahrens zur dynamischen Zeitnormierung (engl dynamic time war- ping, DTW) auf die wenigstens eine Schablone S abbilden. Das Ähnlichkeitsmaß wird vorzugsweise als Ergebnis dieser Abbildung erhalten.
Das Verarbeitungsmodul 2 kann insbesondere dazu eingerichtet sein, den aus dem Sensordatenstrom S extrahierten Abschnitt dynamisch, d.h. insbesondere nichtlinear, zu verzerren, beispielsweise zumindest abschnittsweise zu stauchen und/oder zu strecken. Dadurch können die im Abschnitt enthaltenen Sensordaten beispielsweise entsprechen- den, mit der Schablone korrespondierenden Schablonendaten zugeordnet werden. Vor- zugsweise ermittelt das Verarbeitungsmodul 2 die Zuordnung dabei auf Basis einer Op- timierungsfunktion, insbesondere in der Weise, dass der Abschnitt des Sensordaten- stroms D besonders präzise, d.h. mit minimalen Abweichungen, auf die Schablone S abgebildet wird. Eine verbleibende Distanz, insbesondere in Form einer Differenz, zwi- schen dem Abschnitt des Sensordatenstroms D und der Schablone S bildet in bevorzug- ter Weise das Ähnlichkeitsmaß.
Die Distanz kann dabei insbesondere die Unterschiede zwischen den im Abschnitt ent- haltenen Sensordaten und den ihnen jeweils zugeordneten Schablonendaten charakteri- sieren. Insbesondere können z.B. die Differenzen zwischen Sensor- und Schablonenda- ten für jeweils ein Paar aus Sensordaten und Schablonendaten ermittelt und aufsum- miert werden, um die Distanz zu erhalten.
Die in der Datenbank 4 gespeicherten Schablonen S charakterisieren in bevorzugter Weise jeweils ein bekanntes Verkehrsszenario. Die mit einer Schablone korrespondie- renden Schablonendaten können beispielsweise Werten, insbesondere dem zeitlichen Verlauf, eines Parameters entsprechen, der das Verkehrsszenario zumindest teilweise beschreibt. Ein solcher Parameter kann etwa der Abstand zwischen zwei Verkehrsteil- nehmern sein.
Das Zuordnungsmodul 3 kann entsprechend dazu eingerichtet sein, auf Grundlage der in der Datenbank 4 gespeicherten Schablonen S und dem vom Verarbeitungsmodul 2 er- mittelten Ähnlichkeitsmaß ein bekanntes Verkehrsszenario dem Abschnitt des Sensorda- tenstroms D zuzuordnen, insbesondere wenn das Ähnlichkeitsmaß ein vorgegebenes Ähnlichkeitskriterium erfüllt, z.B. kleiner ist als ein vorgegebener Ähnlichkeitsschwellen- wert.
Mit anderen Worten ist das Zuordnungsmodul 3 vorzugsweise dazu eingerichtet, zu prü- fen, ob das ermittelte Ähnlichkeitsmaß das vorgegebene Ähnlichkeitskriterium erfüllt. Z.B. kann das Verarbeitungsmodul 2 ermitteln, ob die bei der dynamischen Zeitnormie- rung des Abschnitts des Sensordatenstroms D erhaltene Distanz zwischen dem Ab- schnitt des Sensordatenstroms D und der Schablone S einen vorgegebenen Ähnlich- keitsschwellenwert unterschreitet, d.h. ob der Abschnitt und die Schablone S einander so ähnlich sind, dass die ermittelte Distanz zwischen ihnen kleiner als der Ähnlichkeits- schwellenwert ist.
In Abhängigkeit eines Ergebnisses der Prüfung, insbesondere wenn das Ähnlichkeits- maß das vorgegebene Ähnlichkeitskriterium erfüllt bzw. die Distanz den vorgegebenen Ähnlichkeitsschwellenwert unterschreitet, kann das Zuordnungsmodul 3 den Abschnitt des Sensordatenstroms D einem bekannten Verkehrsszenario, das durch die Schablo- ne S charakterisiert ist, zuordnen. Das Ausgangssignal A wird vorzugsweise von dem Zuordnungsmodul 3 erzeugt, in bevorzugter weise ebenfalls in Abhängigkeit des Ergeb- nisses der Prüfung, und charakterisiert das bekannte Verkehrsszenario. Das Ausgangs- signal A kann beispielsweise eine Information bezüglich des bekannten Verkehrsszena- rios enthalten.
Falls der Abschnitt des Sensordatenstroms D auf keine der Schablonen S sinnvoll abge- bildet werden kann, d.h. wenn das Ähnlichkeitsmaß das vorgegebene Ähnlichkeitskriteri- um nicht erfüllt, kann die Datenbank 4 mit einer weiteren Schablone S, die durch den gegenwärtig betrachteten Abschnitt des Sensordatenstroms D charakterisiert, insbeson- dere gebildet, wird, erweitert werden. Insbesondere kann in diesem Fall der Abschnitt als weitere Schablone S in der Datenbank 4 gespeichert werden.
Fig. 2 zeigt ein bevorzugtes Ausführungsbeispiel eines erfindungsgemäßen Verfahrens 100 zur Analyse eines Sensordatenstroms, der ein Fahrzeugumfeld charakterisiert, in Bezug auf ein Vorliegen von Verkehrsszenarien.
In Verfahrensschritt S1 wird der Sensordatenstrom bereitgestellt, etwa durch Erfassen eines Fahrzeugumfelds mit einer Sensoreinrichtung eines Fahrzeugs oder durch Simula- tion. Der Sensordatenstrom wird bzw. ist in bevorzugter Weise aus einer Zeitfolge von Sensordaten gebildet, wobei die Sensordaten Werte eines Parameters, der ein Ver- kehrsszenario beschreibt, enthalten können. Beispielsweise kann der Sensordatenstrom den zeitlichen Verlauf von Abständen zwischen Verkehrsteilnehmern abbilden.
In einem weiteren Verfahrensschritt S2 wird ein Abschnitt aus dem Sensordatenstrom ausgewählt, z.B. indem die Sensordaten innerhalb eines vorgegebenen Zeitfensters aus dem Sensordatenstrom extrahiert werden. Insbesondere kann ein Anfang des Abschnitts und/oder ein Ende des Abschnitts ausgewählt werden, wobei der Anfang und das Ende des Abschnitts vorzugsweise durch eine vorgegebene Zeitdauer voneinander beab- standet sind. Dabei wird das Ende des Abschnitts in bevorzugter Weise durch die zuletzt bereitgestellten Sensordaten aus dem Sensordatenstroms gebildet. In einem weiteren Verfahrensschritt S3 wird geprüft, ob in einer Datenbank wenigstens eine Schablone, die ein bekanntes Verkehrsszenario charakterisiert, gespeichert ist. Liegt in der Datenbank keine Schablone vor, kann der Abschnitt des Sensordatenstroms in einem weiteren Verfahrensschritt S4 als Schablone in der Datenbank gespeichert werden. Andernfalls kann der Abschnitt des Sensordatenstroms in einem weiteren Ver- fahrensschritt S5 auf die wenigstens eine in der Datenbank gespeicherte Schablone ab- gebildet werden, wobei vorzugsweise ein Ähnlichkeitsmaß ermittelt wird. Das Ähnlich- keitsmaß charakterisiert dabei in bevorzugter Weise einen Grad an Übereinstimmung zwischen dem Abschnitt des Sensordatenstroms und der Schablone.
Dabei kann das Abbilden des Abschnitts auf die Schablone auf Grundlage einer dynami- schen Zeitnormierung ausgeführt werden, wobei das Ähnlichkeitsmaß in bevorzugter Weise durch eine durch die dynamische Zeitnormierung erhaltende Distanz zwischen dem Abschnitt und der Schablone gebildet wird. Die Distanz kann ein Maß für die Diffe- renz zwischen dem auf die Schablone abgebildeten Abschnitt und der Schablone, insbe- sondere zwischen in dem Abschnitt enthaltenen Sensordaten und in der Schablone ent- haltenen Schablonendaten, sein. Die Distanz bzw. das Ähnlichkeitsmaß ist demnach in bevorzugter Weise klein, wenn der Abschnitt und die Schablone einander sehr ähnlich sind, bzw. groß, wenn der Abschnitt und die Schablone einander unähnlich sind.
Sind in der Datenbank bereits mehrere Schablonen gespeichert, wird der Abschnitt vor- zugsweise auf jede der Schablonen abgebildet und derart jeweils ein Ähnlichkeitsmaß ermittelt.
In einem weiteren Verfahrensschritt S6 wird vorzugsweise geprüft, ob das im Verfah- rensschritt S5 ermittelte Ähnlichkeitsmaß bzw. die ermittelten Ähnlichkeitsmaße ein vor- gegebenes Ähnlichkeitskriterium erfüllt bzw. erfüllen, beispielsweise ob die anhand der dynamischen Zeitnormierung erhaltene Distanz kleiner ist als ein vorgegebener Ähnlich- keitsschwellenwert.
Wenn dies für keine der Schablonen der Fall ist, kann in Verfahrensschritt S4 der Ab- schnitt des Sensordatenstroms als weitere Schablone in der Datenbank, insbesondere zusätzlich zu bereits in der Datenbank gespeicherten Schablonen, gespeichert werden. In der Datenbank bildet der Abschnitt des Sensordatenstroms somit ein weiteres, bislang unbekanntes, Verkehrsszenario ab. Erfüllt dagegen wenigstens ein Ähnlichkeitsmaß das Ähnlichkeitskriterium, ist beispiels- weise die anhand der dynamischen Zeitnormierung erhaltene Distanz kleiner als der vorgegebene Ähnlichkeitsschwellenwert, kann dem Abschnitt des Sensordatenstroms in einem weiteren Verfahrensschritt S7 in bevorzugter Weise ein bekanntes Verkehrssze- nario zugeordnet werden.
Liegen mehrere in Verfahrensschritt S5 ermittelte Ähnlichkeitsmaße vor, werden diese in bevorzugter Weise miteinander verglichen und dem Abschnitt ein bekanntes Verkehrs- szenario auf Grundlage eines Ergebnisses des Vergleichs zugeordnet. Beispielsweise kann beim Vergleichen dasjenige der Ähnlichkeitsmaße ermittelt werden, welches den höchsten Grad an Übereinstimmung zwischen dem Abschnitt und der mit dem Ähnlich- keitsmaß korrespondierenden Schablone charakterisiert. Insbesondere kann die kleinste der bei der dynamischen Zeitnormierung erhaltenen Distanzen ausgewählt und das durch die damit korrespondierende Schablone charakterisierte Verkehrsszenario dem Abschnitt zugeordnet werden.
Zusätzlich kann in einem weiteren Verfahrensschritt S8 überprüft werden, ob das, gege- benenfalls wie vorstehend beschrieben aus mehreren in Verfahrensschritt S5 ermittelten Ähnlichkeitsmaßen ausgewählte Ähnlichkeitsmaß neben dem Ähnlichkeitskriterium auch ein vorgegebenes Anpassungskriterium erfüllt, beispielsweise ob die bei der dynami- schen Zeitnormierung erhaltene Distanz größer ist als ein Anpassungsschwellenwert.
Ist dies der Fall, kann in einem weiteren Verfahrensschritt S9 die mit dem Ähnlichkeits- maß korrespondierende Schablone unter Berücksichtigung des Abschnitts des Sensor- datenstroms angepasst werden. Beispielsweise kann die Schablone durch Mittelung mehrerer Abschnitte des Sensordatenstroms, denen in Verfahrensschritt S7 das ent- sprechende bekannte Verkehrsszenario zugeordnet wurde, korrigiert werden.
Fig. 3 zeigt eine Darstellung zur Erläuterung einer Zuordnung von einem bekannten Ver- kehrsszenario, das durch eine Schablone S charakterisiert ist, zu einem Abschnitt B ei- nes Sensordatenstroms. Bei dem Verkehrsszenario handelt es sich beispielsweise um ein Einschermanöver, ein Ausschermanöver, ein Hintereinanderfahren auf einer Fahr- spur oder ein Fahren zwischen zwei Fahrspuren. Verschiedene Abschnitte B korrespon- dieren dabei beispielsweise mit unterschiedlichen Fahrmanövern und innerhalb dieser Fahrmanöver auch mit verschiedenen Ausführungen bzw. Variationen des jeweiligen Fahrmanövers.
Die Lage der in Fig. 3 gezeigten Abschnitte B des Sensordatenstroms in der Darstellung hängt dabei für jeden der Abschnitte von einem transversalen Startabstand dXstart, d.h. der Komponente des Abstand zwischen zwei Fahrzeugen senkrecht zur Fahrtrichtung zu Beginn des Fahrmanövers, und einem transversalen Endabstand dXend, d.h. der Kompo- nente des Abstand zwischen zwei Fahrzeugen senkrecht zur Fahrtrichtung am Ende des Fahrmanövers, ab. Zum besseren Verständnis sind in Fig. 4 Abschnitte B gezeigt, die mit einem Einschermanöver korrespondieren, bei dem zwei Fahrzeuge zunächst auf zwei benachbarten Fahrspuren fahren und eines der Fahrzeug vor das andere Fahrzeug einschert. In diesem Zusammenhang ist Fig. 4 beispielhaft zu entnehmen, dass die transversalen Startabstände dXstart zu Beginn des Fahrmanövers, wenn die Fahrzeuge noch auf den benachbarten Fahrspuren fahren, im Wesentlichen im Bereich um 4 m und die transversalen Endabstände dXend am Ende des Fahrmanövers, wenn die Fahrzeuge auf derselben Fahrspur fahren, im Wesentlichen im Bereich um 0 m liegen.
Dadurch, dass für jedes mögliche Manöver und dabei auch für jede mögliche Ausführung des Manövers, d.h. für jeden der Abschnitte B, leicht unterschiedliche Start- und Endab- stände dXstart, dXend vorliegen, kann anhand der Lage der Abschnitte B in der Darstellung in Fig. 3 leicht zwischen den verschiedenen Fahrmanövern bzw. den möglichen Ausfüh- rungen der Manöver unterschieden werden.
Wie in Fig. 3 angedeutet bilden die Abschnitte B in der gewählten Darstellung Cluster C, wobei die Schablonen S im gezeigten Beispiel jeweils den Schwerpunkt eines Clusters C aus mehreren Abschnitten B des Sensordatenstroms bilden. Dabei werden einem Clus- ter C vorzugsweise all diejenigen Abschnitte B des Sensordatenstroms, deren (z.B. in Fig. 4 gezeigte) zeitliche Verläufe eine gewisse Ähnlichkeit zueinander aufweisen. In der in Fig. 3 gezeigten Darstellung wird diese Ähnlichkeit durch die räumliche Lage, d.h. die ähnlichen Start- und Endabstände dXstart, dXend, der Abschnitte B verdeutlicht, wobei ei- nander ähnliche Abschnitte B des Sensordatenstroms jeweils innerhalb eines Bereichs beieinander liegen. Beispielsweise liegen alle Abschnitte B, die mit verschiedenen Aus- führungen des Einschermanövers korrespondieren, in einem Bereich um dXstart ~ 4 und dXend ~ 0, während alle Abschnitte B, die mit verschiedenen Ausführungen eines Folge- manövers, bei ein Fahrzeug einem anderen auf der gleichen Fahrspur folgt, in einem Bereich um dXstart ~ 0 und dXend ~ 0 liegen.
Dabei werden einem Cluster C vorzugsweise all diejenigen Abschnitte B des Sensorda- tenstroms zugeordnet, für die ein ermitteltes Ähnlichkeitsmaß, welches den Grad an Übereinstimmung zwischen dem jeweiligen Abschnitt B und der Schablone S des Clus- ters C charakterisiert, ein Ähnlichkeitskriterium erfüllt. Das Ähnlichkeitsmaß wird dabei vorzugsweise durch ein Abbilden des jeweiligen Abschnitts B auf die jeweilige Schablo- ne S durch dynamische Zeitnormierung ermittelt.
Der Abschnitt B wird bei der Abbildung auf die jeweilige Schablone S durch die dynami- sche Zeitnormierung dabei vorzugsweise derart dynamisch, d.h. wenigstens abschnitts- weise, gestaucht und/oder gestreckt, dass er zumindest im Wesentlichen der Schablo- ne S entspricht bzw. deren Verlauf folgt. Beispielsweise kann der zeitliche Verlauf eines Parameters wie des transversalen Abstands zwischen zwei Fahrzeugen, der das noch unbekannte, zu identifizierende Verkehrsszenario zumindest teilweise charakterisiert und durch den Abschnitt B des Sensordatenstroms abgebildet wird, durch die dynamische Zeitnormierung an den durch die Schablone S abgebildeten zeitlichen, für das bekannte Verkehrsszenario charakteristischen Verlauf dieses Parameters angepasst werden. Das Ähnlichkeitsmaß gibt dabei in bevorzugter Weise die Abweichungen zwischen dem durch den Abschnitt B abgebildeten zeitlichen Verlauf und dem durch die Schablone S abgebildeten zeitlichen Verlauf an (für Beispiele für den zeitlichen Verlauf von Abschnit- ten B wird auf Fig. 4 verwiesen).
Erfüllt das derart ermittelte Ähnlichkeitsmaß ein vorgegebenes Ähnlichkeitskriterium, kann eine der Schablonen S bzw. eines der Cluster C und damit eines der bekannten Verkehrsszenarien dem weitere Abschnitt B zugeordnet werden. Dabei wird vorzugswei- se dasjenige der bekannten Verkehrsszenarien dem weiteren Abschnitt B zugeordnet, für dessen Schablone S der höchste Grad an Übereinstimmung mit dem Abschnitt B er- mittelt wurde.
Das Ähnlichkeitsmaß, welches den Grad der Übereinstimmung angibt, kann dabei bei- spielsweise einer im Rahmen der dynamischen Zeitnormierung ermittelten Distanz zwi- schen dem Abschnitt B des Sensordatenstroms und der jeweiligen Schablone S ent- sprechen. Dabei kann ein Erfüllen des Ähnlichkeitskriteriums z.B. beinhalten: die Distanz unter- schreitet einen Ähnlichkeitsschwellenwert. Alternativ oder zusätzlich kann das Erfüllen des Ähnlichkeitskriteriums beinhalten: die ermittelte Distanz ist kleiner als alle anderen bezüglich der anderen Schablonen S ermittelten Distanzen. Mit anderen Worten wird ein Abschnitt B einem Cluster C bzw. dem damit korrespondierenden Fahrmanöver bzw. Verkehrsszenario vorzugsweise zugeordnet, wenn der Abstand des Abschnitts B zur mit dem Cluster C korrespondierenden Schablone S ausreichend klein ist und insbesondere kleiner als die Abstände des Abschnitts B zu allen anderen Schablonen S ist.
Es kann auch überprüft werden, ob das Ähnlichkeitsmaß ein vorgegebenes Anpas- sungskriterium erfüllt. Ist dies der Fall, wird in bevorzugter Weise die entsprechende Schablone S, die das dem Abschnitt B zugeordnete bekannte Verkehrsszenario charak- terisiert, angepasst. Dies ist auch im Zusammenhang mit Fig. 4 weiter unten beschrie- ben.
Vorzugsweise ist das Anpassungskriterium erfüllt, wenn die durch die dynamische Zeit- normierung ermittelte Distanz zwischen dem Abschnitt B und der Schablone S größer ist als ein vorgegebener Anpassungsschwellenwert. Mit anderen Worten ist das Anpas- sungskriterium erfüllt, wenn ein Abschnitt B zwar einem Cluster C zugeordnet wird, aber nicht in der Nähe des Schwerpunkts des Clusters C, d.h. der Schablone S, liegt. In die- sem Fall können die Unterschiede zwischen dem Abschnitt B und der Schablone S als hinreichend Angesehen werden, dass eine Anpassung der Schablone S, d.h. eine Neu- berechnung des Schwerpunkts des Clusters C, zu einer zu berücksichtigenden Ände- rung führt, die insbesondere Einfluss auf zukünftige Vergleiche mit weiteren Abschnit- ten B des Sensordatenstroms haben kann.
Wird das vorgegebene Ähnlichkeitskriterium von keinem der ermittelten Ähnlichkeitsma- ße erfüllt, kann ein neues Cluster C mit dem weiteren Abschnitt B als einzigem Mitglied erzeugt werden, wobei eine entsprechende Schablone S durch den weiteren Abschnitt B gebildet wird.
Fig. 4 zeigt eine Darstellung zur Erläuterung eines Anpassens einer Schablone S. Dabei ist der zeitliche Verlauf eines transversalen Abstands dX zwischen zwei Fahrzeugen, d.h. der Abstand zwischen den Fahrzeugen senkrecht zu deren Fahrtrichtung, abgebil- det. Der transversale Abstand dX kann als Parameter, der ein Verkehrsszenario, insbesonde- re ein Einschermanöver, zumindest teilweise beschreibt, herangezogen werden. Zu Be- ginn des Einschermanövers befinden sich zwei Fahrzeuge auf benachbarten Fahrspu- ren, so dass der transversale Abstand zwischen ihnen beispielsweise etwa 4 m beträgt. Gegen Ende des Manövers befinden sich die zwei Fahrzeuge auf der gleichen Fahrspur, so dass der transversale Abstand zwischen ihnen im Wesentlichen 0 m beträgt.
In Fig. 4 sind eine Vielzahl von Abschnitten B eines Sensordatenstroms, der eine zeitli- che Abfolge von Sensordaten enthält, die den transversalen Abstand dX bei dem jeweils gleichen Verkehrsszenario, in diesem Fall einem Einschermanöver, charakterisieren, abgebildet. Je nachdem, wie aggressiv das Fahrmanöver ausgeführt wird, ist der Ab- schnitt B dabei kürzer oder länger. Unabhängig davon sind jedoch die Formen des zeitli- chen Verlaufs zumindest ähnlich.
Diese Ähnlichkeit kann genutzt werden, um einem Abschnitt B des Sensordatenstroms ein bekanntes Verkehrsszenario, beispielsweise das Einschermanöver, zuzuordnen, wo- bei zur Ermittlung eines Ähnlichkeitsmaßes zwischen dem Abschnitt B und einer Schab- lone S, die das bekannte Verkehrsszenario charakterisiert, der Abschnitt B mittels dyna- mischer Zeitnormierung auf Schablone S abgebildet wird. Dies ist ausführlich im Zu- sammenhang mit Fig. 2 und 3 erläutert.
Die Schablone S wird dabei vorzugsweise auf der Grundlage von mehreren, beispiels- weise zuvor in einer Datenbank gespeicherten, Abschnitten B des Sensordatenstroms ermittelt. Die zuvor in der Datenbank gespeicherten Abschnitte B, die mit dem bekannten Verkehrsszenario, hier dem Einschermanöver, korrespondieren, können z.B. bei Test- fahrten mit einem Fahrzeug aufgezeichnet und entsprechend, z.B. manuell, aus dem Sensordatenstrom ausgewählt worden sein. Alternativ kann es sich bei den Abschnit- ten B auch um in situ aus dem Sensordatenstrom extrahierten und in der Datenbank ge- speicherten Abschnitte handeln.
Um die Schablone S aus diesen Abschnitten B zu ermitteln, können insbesondere meh- rere Abschnitte B des Sensordatenstroms gemittelt werden. Um dabei den unterschiedli- chen zeitlichen Längen der Abschnitte B Rechnung zu tragen, wird die Mittelung vor- zugsweise auf Grundlage dynamischer Zeitnormierung ausgeführt. Insbesondere wird in bevorzugter Weise ein Schwerpunktmittelungsverfahren dynamisch normierter Zeitfolgen (engl dynamic time warping barycenter averaging) angewandt, welches z.B. in Petitjean et. al. in„A global averaging method for dynamic time warping, with applications to clus- tering“, Pattern regocnition, 44(3), 678-693 (2011 ) beschrieben ist.
Die derart durchgeführte Mittelung der in Fig. 4 gezeigten Abschnitte B des Sensorda- tenstroms ergibt die ebenfalls in Fig. 4 gezeigte Schablone S, welche in Bezug auf das durch sie charakterisierte Verkehrsszenario, in diesem Fall das Einschermanöver, gene- risch ist.
Bezuqszeichenliste
1 Vorrichtung zur Analyse eines Sensordatenstroms
2 Verarbeitungsmodul
3 Zuordnungsmodul
4 Datenbank
5 Sensoreinrichtung
6 Fahrerassistenzsystem
7 Datenverarbeitungseinheit
100 Verfahren zur Analyse eines Sensordatenstroms
S1 -S9 Verfahrensschritte
A Ausgangssignal
B Abschnitt des Sensordatenstroms
C Cluster
D Sensordatenstrom
S Schablone dX transversaler Abstand
dXstart transversaler Startabstand
dXend transversaler Endabstand

Claims

Patentansprüche
1. Verfahren (100) zur Analyse eines Sensordatenstroms (D), der ein Fahrzeugum- feld charakterisiert, in Bezug auf ein Vorliegen von Verkehrsszenarien, aufwei- send die folgenden Arbeitsschritte:
-Ermitteln (S5) eines Ähnlichkeitsmaßes, welches den Grad an Übereinstimmung zwischen einem Abschnitt (B) des Sensordatenstroms (D) und wenigstens einer in einer Datenbank (4) gespeicherten Schablone (S) angibt, durch Abbilden des Abschnitts (B) des Sensordatenstroms (D) auf die wenigstens eine Schablo- ne (S), vorzugsweise mittels dynamischer Zeitnormierung, wobei die Schablo- ne (S) ein bekanntes Verkehrsszenario charakterisiert; und
-Zuordnen (S7) des bekannten Verkehrsszenarios zu dem Abschnitt (B) des Sensordatenstroms (D), wenn das Ähnlichkeitsmaß ein vorgegebenes Ähnlich- keitskriterium erfüllt.
2. Verfahren (100) nach Anspruch 1 , wobei der Abschnitt (B) des Sensordaten- stroms (D) beim Zuordnen zu dem bekannten Verkehrsszenario in der Daten- bank (4) gespeichert wird.
3. Verfahren (100) nach Anspruch 2, des Weiteren aufweisend den folgenden Ar- beitsschritt:
-Speichern (S4) des Abschnitts (B) des Sensordatenstroms (D) als weitere Schablone in der Datenbank (4), wenn das Ähnlichkeitsmaß das vorgegebene Ähnlichkeitskriterium nicht erfüllt.
4. Verfahren (100) nach einem der Ansprüche 1 bis 3, des Weiteren aufweisend die folgenden Arbeitsschritte:
-Prüfen (S3), ob wenigstens eine Schablone (S) in der Datenbank (4) gespeichert ist; und
-Hinzufügen (S4) des Abschnitts (B) des Sensordatenstroms (D) als Schablo- ne (S) in die Datenbank (4) in Abhängigkeit des Ergebnisses der Prüfung.
5. Verfahren (100) nach einem der Ansprüche 1 bis 4, des Weiteren aufweisend den folgenden Arbeitsschritt: -Anpassen (S9) der Schablone (S), wenn das Ähnlichkeitsmaß gleichzeitig das vorgegebene Ähnlichkeitskriterium und ein vorgegebenes Anpassungskriterium erfüllt.
6. Verfahren (100) nach Anspruch 5, wobei beim Anpassen der Schablone (S) alle dem bekannten Verkehrsszenario zugeordneten, insbesondere zuvor in der Da- tenbank (4) gespeicherten, Abschnitte (B) des Sensordatenstroms (D) durch dy- namische Zeitnormierung gemittelt werden.
7. Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei das vorgegebene Ähn- lichkeitskriterium erfüllt ist, wenn das Ähnlichkeitsmaß einen vorgegebenen Ähn- lichkeitsschwellenwert unterschreitet.
8. Verfahren (100) nach Anspruch 5, wobei das vorgegebene Anpassungskriterium erfüllt ist, wenn das Ähnlichkeitsmaß einen von dem Ähnlichkeitskriterium, insbe- sondere von dem Ähnlichkeitsschwellenwert, abhängigen Anpassungsschwellen- wert überschreitet.
9. Verfahren (100) nach einem der Ansprüche 1 bis 8, des Weiteren aufweisend den folgenden Arbeitsschritt:
-Vorgeben des Ähnlichkeitskriteriums, insbesondere des Ähnlichkeitsschwellen- werts, auf Basis eines Vergleichs mehrerer, insbesondere aller, Ähnlichkeitsma- ße untereinander, die bei der Abbildung, insbesondere durch dynamische Zeit- normierung, zumindest von dem bekannten Verkehrsszenario zugeordneten, insbesondere in der Datenbank (4) gespeicherten, Abschnitten (B) des Sensor- datenstroms (D) ermittelt werden.
10. Verfahren (100) nach einem der Ansprüche 1 bis 9, wobei mehrere Ähnlichkeits- maße durch Abbilden des Abschnitts (B) des Sensordatenstroms (D) auf jeweils eine von mehreren in der Datenbank (4) gespeicherten Schablonen (S), von de- nen jede jeweils ein anderes bekanntes Verkehrsszenario charakterisiert, ermittelt werden, und der Abschnitt (B) des Sensordatenstroms (D) zu dem bekannten Verkehrsszenario auf Basis eines Vergleichs der mehreren ermittelten Ähnlich- keitsmaße untereinander zugeordnet wird.
1 1. Verfahren (100) nach einem der Ansprüche 1 bis 10, wobei der Sensordaten- strom (D) wenigstens einen Abstand von zwei Verkehrsteilnehmern des Ver- kehrsszenarios zueinander charakterisiert.
12. Verfahren (100) nach einem der Ansprüche 1 bis 1 1 , wobei der Sensordaten- strom (D) von einer Sensoreinrichtung (5) eines Fahrzeugs während dem Betrieb des Fahrzeugs bereitgestellt wird.
13. Verfahren (100) nach einem der Ansprüche 1 bis 12, des Weiteren aufweisend den folgenden Arbeitsschritt:
-Auswählen (S2) des Abschnitts (B) aus dem Sensordatenstrom (D), wobei ein Anfang des Abschnitts (B) des Sensordatenstroms (D) und/oder ein Ende des Abschnitts (B) des Sensordatenstroms (D) in der Weise ausgewählt werden, dass der Anfang des Abschnitts (B) des Sensordatenstroms (D) und das Ende des Abschnitts (B) des Sensordatenstroms (D) durch eine vorgegebene Zeit- dauer voneinander beabstandet sind.
14. Verfahren (100) nach Anspruch 12, wobei wenigstens das Auswählen des Ab- schnitts (B) des Sensordatenstroms (D), das Ermitteln des Ähnlichkeitsmaßes und das Zuordnen des Abschnitts (B) des Sensordatenstroms (D) wiederholt aus- geführt werden und beim wiederholten Auswählen des Abschnitts (B) des Sens- ordatenstroms (D) der Anfang und/oder das Ende des Abschnitts (B) des Sensor- datenstroms (D) in der Weise ausgewählt wird bzw. werden, dass der Ab- schnitt (B) des Sensordatenstroms (D) höchstens zur Hälfte mit einem zuvor aus- gewählten Abschnitt (B) des Sensordatenstroms (D) überlappt.
15. Vorrichtung (1 ) zur Analyse eines Sensordatenstroms (D), der ein Fahrzeugum- feld charakterisiert, in Bezug auf ein Vorliegen von Verkehrsszenarien, aufwei- send:
-ein Verarbeitungsmodul (2), welches dazu eingerichtet ist, ein Ähnlichkeitsmaß, welches den Grad an Übereinstimmung zwischen einem Abschnitt (B) des Sen- sordatenstroms (D) und wenigstens einer in einer Datenbank (4) gespeicherten Schablone (S) angibt, durch Abbilden des Abschnitts (B) des Sensordaten- stroms (D) auf die wenigstens eine Schablone (S), vorzugsweise mittels dyna- mischer Zeitnormierung, zu ermitteln, wobei die Schablone (S) ein bekanntes Verkehrsszenario charakterisiert;
-ein Zuordnungsmodul (3), welches dazu eingerichtet ist, das bekannte Ver- kehrsszenario dem Abschnitt (B) des Sensordatenstroms (D) zuzuordnen, wenn das Ähnlichkeitsmaß ein vorgegebenes Ähnlichkeitskriterium erfüllt.
16. Verfahren zum Führen eines Fahrzeugs auf Grundlage eines Sensordaten- stroms (D) mittels eines Fahrerassistenzsystems (6), wobei der Sensordaten- strom (D) mittels des Verfahrens nach einem der Ansprüche 1 bis 14 analysiert wird.
PCT/AT2019/060315 2018-09-24 2019-09-24 Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs WO2020061603A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201980062709.5A CN112771535A (zh) 2018-09-24 2019-09-24 用于分析传感器数据流的方法和设备以及用于驾驶车辆的方法
KR1020217012316A KR20210063409A (ko) 2018-09-24 2019-09-24 센서 데이터 스트림을 분석하기 위한 방법과 장치 및 차량을 안내하기 위한 방법
US17/279,186 US12067866B2 (en) 2018-09-24 2019-09-24 Method and device for analyzing a sensor data stream and method for guiding a vehicle
EP19780138.4A EP3857437A1 (de) 2018-09-24 2019-09-24 Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs
JP2021516562A JP2022502750A (ja) 2018-09-24 2019-09-24 センサデータ流を分析するための方法及び装置、並びに、車両を誘導するための方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA50818/2018A AT521724A1 (de) 2018-09-24 2018-09-24 Verfahren und Vorrichtung zur Analyse eines Sensordatenstroms sowie Verfahren zum Führen eines Fahrzeugs
ATA50818/2018 2018-09-24

Publications (1)

Publication Number Publication Date
WO2020061603A1 true WO2020061603A1 (de) 2020-04-02

Family

ID=68109071

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/AT2019/060315 WO2020061603A1 (de) 2018-09-24 2019-09-24 Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs

Country Status (7)

Country Link
US (1) US12067866B2 (de)
EP (1) EP3857437A1 (de)
JP (1) JP2022502750A (de)
KR (1) KR20210063409A (de)
CN (1) CN112771535A (de)
AT (1) AT521724A1 (de)
WO (1) WO2020061603A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112805724A (zh) * 2021-01-08 2021-05-14 华为技术有限公司 车辆驾驶场景识别方法及装置
GB2618341A (en) * 2022-05-03 2023-11-08 Oxa Autonomy Ltd Controlling an autonomous vehicle
EP4300316A1 (de) * 2022-07-01 2024-01-03 dSPACE GmbH Computerimplementiertes verfahren und system zum erstellen einer szenarien-bibliothek

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11886195B2 (en) * 2020-11-30 2024-01-30 Woven By Toyota, U.S., Inc. Active learning and validation system for vehicles

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150211868A1 (en) * 2012-07-17 2015-07-30 Nissan Motor Co., Ltd. Driving assistance system and driving assistance method
WO2017210222A1 (en) 2016-05-30 2017-12-07 Faraday&Future Inc. Generating and fusing traffic scenarios for automated driving systems

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160362118A1 (en) * 2011-08-31 2016-12-15 Pulsar Informatics, Inc. Driver performance metric
KR101473957B1 (ko) * 2013-01-28 2014-12-18 군산대학교산학협력단 운전 패턴 인식에 기반하여 보험료를 결정하는 장치 및 방법
CN105389984A (zh) * 2015-11-16 2016-03-09 北京智视信息科技有限公司 一种基于移动终端传感信息融合的驾驶行为识别方法
DE102016205152A1 (de) * 2016-03-29 2017-10-05 Avl List Gmbh Fahrerassistenzsystem zum Unterstützen eines Fahrers beim Führen eines Fahrzeugs
US11037060B2 (en) * 2017-05-05 2021-06-15 Arimo, LLC Analyzing sequence data using neural networks
CN107358678B (zh) * 2017-06-07 2020-11-27 北京航空航天大学 一种驾驶事件检测和识别方法
US10401862B2 (en) * 2017-10-31 2019-09-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
JP2019095878A (ja) 2017-11-20 2019-06-20 株式会社デンソー 車両用検索装置
ES2736901A1 (es) * 2018-06-29 2020-01-08 Geotab Inc Caracterización de una colisión de vehículo

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150211868A1 (en) * 2012-07-17 2015-07-30 Nissan Motor Co., Ltd. Driving assistance system and driving assistance method
WO2017210222A1 (en) 2016-05-30 2017-12-07 Faraday&Future Inc. Generating and fusing traffic scenarios for automated driving systems

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ABDELRAHMAN ABDALLA ET AL: "Driver Behavior Classification in Crash and Near-Crash Events Using 100-CAR Naturalistic Data Set", GLOBECOM 2017 - 2017 IEEE GLOBAL COMMUNICATIONS CONFERENCE, IEEE, 4 December 2017 (2017-12-04), pages 1 - 6, XP033299664, DOI: 10.1109/GLOCOM.2017.8253921 *
DERICK A JOHNSON ET AL: "Driving style recognition using a smartphone as a sensor platform", INTELLIGENT TRANSPORTATION SYSTEMS (ITSC), 2011 14TH INTERNATIONAL IEEE CONFERENCE ON, IEEE, 5 October 2011 (2011-10-05), pages 1609 - 1615, XP032023473, ISBN: 978-1-4577-2198-4, DOI: 10.1109/ITSC.2011.6083078 *
PETITJEAN: "A global averaging method for dynamic time warping, with applications to clustering", PATTERN REGOCNITION, vol. 44, no. 3, 2011, pages 678 - 693, XP027503092, doi:10.1016/j.patcog.2010.09.013

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112805724A (zh) * 2021-01-08 2021-05-14 华为技术有限公司 车辆驾驶场景识别方法及装置
WO2022147785A1 (zh) * 2021-01-08 2022-07-14 华为技术有限公司 车辆驾驶场景识别方法及装置
GB2618341A (en) * 2022-05-03 2023-11-08 Oxa Autonomy Ltd Controlling an autonomous vehicle
GB2618341B (en) * 2022-05-03 2024-09-04 Oxa Autonomy Ltd Controlling an autonomous vehicle
EP4300316A1 (de) * 2022-07-01 2024-01-03 dSPACE GmbH Computerimplementiertes verfahren und system zum erstellen einer szenarien-bibliothek

Also Published As

Publication number Publication date
AT521724A1 (de) 2020-04-15
US12067866B2 (en) 2024-08-20
JP2022502750A (ja) 2022-01-11
EP3857437A1 (de) 2021-08-04
CN112771535A (zh) 2021-05-07
KR20210063409A (ko) 2021-06-01
US20220230536A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
WO2020061603A1 (de) Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs
DE102017205093A1 (de) Verfahren und System zur Vorhersage von Sensorsignalen eines Fahrzeugs
EP3393875B1 (de) Verfahren zum verbesserten erkennen von objekten durch ein fahrerassistenzsystem
DE102019126195A1 (de) Verfahren zur effizienten, simulativen Applikation automatisierter Fahrfunktionen
DE102019208233A1 (de) Verfahren und Vorrichtung zum automatischen Ausführen einer Steuerfunktion eines Fahrzeugs
DE102021200889A1 (de) Verfahren zum Schätzen eines Fahrzeugparameters für den Betrieb eines Fahrzeugs
DE102017128082A1 (de) Meta-Architektur-Design für ein CNN-Netzwerk
DE102017208692A1 (de) Verfahren zum Bereitstellen von Trainingsdaten für eine Funktionsprüfung einer Erkennungseinrichtung sowie Datenbanksystem
DE102019129904A1 (de) Automatische Fahrkompetenzanalyse
DE102018122115A1 (de) Verfahren zur Umgebungserfassung eines Fahrzeugs
DE102019218127B4 (de) Verfahren und Vorrichtung zum optimalen Bereitstellen von KI-Systemen
DE102021133977A1 (de) Verfahren und System zur Klassifikation von Szenarien eines virtuellen Tests sowie Trainingsverfahren
DE102021107675A1 (de) System und Verfahren zum Implementieren von intelligenten Fahrzeugfunktionen
DE102021202334A1 (de) Filterung von betriebsszenarien im betrieb eines fahrzeugs
WO2021122339A1 (de) Verfahren und vorrichtung zum robustifizieren eines neuronalen netzes gegen adversariale störungen
DE102019119084A1 (de) Bestimmen eines Signalstatus einer Lichtsignalanlage
DE102019130484A1 (de) Verfahren und Vorrichtung zum Anlernen eines Ensembles von neuronalen Netzen
DE102019219927A1 (de) Verfahren und Vorrichtung zum Erkennen einer Entfremdung einer Sensordatendomäne von einer Referenzdatendomäne
DE102019004842A1 (de) Verfahren zum Betreiben eines wenigstens teilweise automatisierten Fahrzeugs
DE112021007341T5 (de) Steuervorrichtung und Steuerverfahren
DE102022131849A1 (de) Verfahren zum Bereitstellen einer Fahrseiteninformation
DE102022211839A1 (de) Bestimmung einer Höheninformation für ein Objekt im Umfeld eines Fahrzeugs
DE102021202903A1 (de) Verfahren zum Bewerten einer Software für ein Steuergerät eines Fahrzeugs
DE102021131868A1 (de) Zuverlässigkeitsüberprüfung einer Objektklassifizierung
DE102022116054A1 (de) Verfahren und Vorrichtung zur Erkennung und/oder zur Nachverfolgung von Objekten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19780138

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021516562

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20217012316

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019780138

Country of ref document: EP

Effective date: 20210426