WO2018215242A2 - Verfahren zur ermittlung einer fahranweisung - Google Patents

Verfahren zur ermittlung einer fahranweisung Download PDF

Info

Publication number
WO2018215242A2
WO2018215242A2 PCT/EP2018/062524 EP2018062524W WO2018215242A2 WO 2018215242 A2 WO2018215242 A2 WO 2018215242A2 EP 2018062524 W EP2018062524 W EP 2018062524W WO 2018215242 A2 WO2018215242 A2 WO 2018215242A2
Authority
WO
WIPO (PCT)
Prior art keywords
motor vehicle
driving
data
driving instruction
determined
Prior art date
Application number
PCT/EP2018/062524
Other languages
English (en)
French (fr)
Other versions
WO2018215242A3 (de
Inventor
Christoph Sippl
Daniel Profendiner
Original Assignee
Audi Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi Ag filed Critical Audi Ag
Priority to US16/607,308 priority Critical patent/US11282299B2/en
Priority to CN201880033013.5A priority patent/CN110636964A/zh
Publication of WO2018215242A2 publication Critical patent/WO2018215242A2/de
Publication of WO2018215242A3 publication Critical patent/WO2018215242A3/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/408—Traffic behavior, e.g. swarm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/181—Preparing for stopping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection

Definitions

  • the invention relates to a method for determining a driving instruction, wherein environmental data relating to the surroundings of the motor vehicle are detected by at least one detection device, whereby a driving instruction relating to the driving operation of the motor vehicle is determined as a function of the environmental data, by a gesture and / or a pose a traffic post represented by the environment data is given.
  • a driving instruction relating to the driving operation of the motor vehicle is determined as a function of the environmental data, by a gesture and / or a pose a traffic post represented by the environment data is given.
  • traffic situations for example if a traffic signal fails, the traffic flow is obstructed by a traffic jam or an accident, a road is completely or partially closed or the like, a regulation of the traffic by traffic posts can take place. This can be, for example, police or construction workers who manage the traffic in the area of a construction site.
  • Motor vehicles increasingly have driver assistance systems which assist the driver in driving tasks or even lead the motor vehicle automatically with or without monitoring by the driver. In the case of
  • the object is achieved by a method of the type mentioned above, wherein the determination of the driving instruction in response to at least one training data set, which was previously detected by the detection device or another detection device and which maps the or another traffic post and at least one road user.
  • the invention is based on the idea to acquire advance information about the interaction of at least one traffic post with at least one road user in the form of the at least one training data record.
  • a plurality of training data sets are used to map the behavior of different road users with different behavior of the traffic post.
  • a wealth of experience is used which is provided by the at least one training data record, and from this wealth of experience, relationships between Behavior of the traffic post and the driving behavior of the road users are recognized. It can be assumed that the majority of road users follow the respective traffic instructions of the traffic post.
  • the observed driving behavior of the road users thus corresponds to the driving instructions that are given by the gesture and / or pose of the traffic post.
  • it can be determined which gesture or pose corresponds to which travel instruction. This can, as will be explained in detail later, in particular be done using a method of machine learning.
  • the at least one training data set preferably comprises a plurality of time-spaced recordings of the road user or the traffic post, which already describes the current driving operation of the motor vehicle in the time interval of recording the training data record by evaluating a single training data set or gestures of the traffic post can be detected.
  • the training record may be a video recording.
  • the detection device used is preferably at least one camera.
  • Cameras can provide high-resolution image data of the automotive environment in which a traffic post or its gestures and poses and other road users or their driving behavior can be detected particularly easily. Additionally or alternatively, for example, radar sensors, lidar sensors, ultrasonic sensors, laser scanners or the like can be used.
  • the detection device may also comprise a plurality of identical or different sensors whose sensor data are fused.
  • the described method can be used, for example, in the context of an automated longitudinal and / or transverse guidance of the motor vehicle. This guidance can be performed with or without driver monitoring.
  • the driving instruction may be determined by applying a processing algorithm to the environmental data or processing data determined from the environmental data, the processing algorithm being parameterized by a plurality of processing parameters determined by training the processing algorithm by the training data set as part of machine learning. Preferably, several training data sets are used in the course of machine learning.
  • the training data sets can be detected by the same or different detection devices and can show different traffic posts and / or different road users and in particular their interaction, as has been explained above.
  • the processing algorithm may be, for example, an artificial neural network.
  • a so-called “deep learning” method can be used to train the processing algorithm or neural network
  • the neural network can be a multilayer neural network whose "neurons" are distributed over different layers.
  • Such a “neuron” can be implemented in such a way that a weighted sum of a plurality of input values is calculated and, in particular, subsequently processed by a nonlinear function in order to map switching of the "neuron" for specific input stimuli.
  • the nonlinear function can be a step function.
  • a multilayered neural network may include an input layer to which the environmental data and the processing data are applied, respectively, and an output layer that provides the driving instruction as a result.
  • a plurality of so-called intermediate layers may be provided, the processing results of the input layer or handle other liners before they are fed to the starting layer.
  • the information flows only in one direction from the input layer to the output layer between the various layers or layers, but it is also possible to provide feedback paths.
  • the processing parameters may be the weights of different input variables for the individual "neurons.”
  • the processing algorithm may in particular be a so-called subsymbolic system, that is to say that the processing algorithm can be trained to have a calculable behavior;
  • various approaches to training such processing algorithms are well known in the art, particularly in the field of neural networks, and are not to be discussed in detail, by way of example only, a method known as "backpropagation of error "or also known as error feedback. It is possible to classify a driving behavior for each training data set for one or more road users in such a way that an anticipated driving instruction can be determined. For example, it can be determined whether the road user is standing, moving at a constant speed, accelerating or braking.
  • Each of these behavior classes can be assigned to a corresponding driving instruction.
  • different driving instructions can each be assigned different probabilities.
  • the vector of these probabilities can be considered as a desired output of the processing algorithm.
  • the environment data or processing data determined therefrom for example an abstract description of a gesture and / or pose of a detected traffic post, can be supplied.
  • the processing algorithm can now in turn determine probabilities for different driving instructions and these determined probabilities can be compared with the desired output.
  • the determined Error can subsequently be propagated back.
  • a corresponding procedure is known in the field of neural networks and will not be explained in detail.
  • classification information can be determined by which a driving maneuver carried out by the road user depicted in the training data set and a pose and / or gesture taken by the traffic post depicted in the training data set are classified, the driving instruction being determined as a function of the classification information.
  • the classification information can be used in particular for training the processing algorithm.
  • the driving maneuvers that are carried out can be assigned to corresponding driving instructions and thus used as a desired output in the course of machine learning, and the assumed pose and / or gesture performed can be used as an input pattern.
  • the classification of the pose or gesture can be done by a vector that describes individual characteristics of the traffic post.
  • the traffic post may be classified whether the right or left arm is hanging, bent or stretched, protruding forward or sideways from the body, swinging on the shoulder or elbow or wrist, a hand being opened or closed, or the like.
  • the traffic post carries signal means, such as signs or flags. In this case, a position or a movement of this signaling means can also be detected and classified.
  • the driving maneuver of the road user and / or the pose and / or gesture of the traffic post can be classified by a classification algorithm, which is parameterized by a plurality of classification parameters, which are determined by training the classification algorithm by several training data sets in the context of a machine learning.
  • the training data records can include acquisition data, in particular video data, which shows the road user or the traffic post.
  • a classification result be given for the traffic post or the road users.
  • a specification of the classification result can be done for example by a manual classification by a user.
  • the driving instruction can be determined as a function of at least one infrastructure element recognized in the environment data and / or in the training data record.
  • infrastructure elements for example, light signal systems, in particular inactive traffic lights, traffic signs, lane markings, lanes, junctions and the like can be detected.
  • the recognition of infrastructure elements may serve to improve the classification of driving maneuvers of a road user in the respective training data set.
  • the recognized infrastructure elements are evaluated by the processing algorithm.
  • the recognition of infrastructure elements by the processing algorithm itself can be done, but it is also a preprocessing of the environment data or the respective training data set possible to identify, for example, existing infrastructure elements and / or classify and provide appropriate information as part of the input data of the processing algorithm.
  • the presence, type and / or position of infrastructure elements in the vehicle environment can thus be taken into account when training the processing algorithm, with which the driving instruction determined by application of the processing algorithm depends thereon.
  • driving instructions are different depending on the infrastructure situation. For example, when an inactive traffic signal is detected at an intersection, driving instructions are likely to concern a priority control. In contrast, driving instructions are likely in the field of construction sites, which should lead to a slowdown of the vehicle and / or to a lane change.
  • the driving instruction may additionally or alternatively be determined as a function of the digital map data relating to the surroundings of the motor vehicle and / or the further detection device.
  • This dependency can result, for example, from the fact that driving maneuvers of the road users are classified as a function of this map data and / or because the map data are taken into account during the training of the processing algorithm. From map data, it can be determined, for example, whether the traffic post stands at a junction, at an intersection or on an open route. This affects the probability of different driving instructions. In addition, this limits the driving possibilities of the detected road users, which facilitates the classification of these driving maneuvers.
  • the processing parameters can be determined, in particular, as a function of the digital map data associated with the respective training data sets, which relate to the surroundings of the detection device used for recording the respective training data set, in particular at the time of detection.
  • the training data sets are at least partially detected by the detection device of the motor vehicle itself
  • the immediate surroundings of the motor vehicle can be taken into account when the respective training data record is detected.
  • vehicle-external detection devices or detection devices of other motor vehicles are at least partially detected by the detection device of the motor vehicle itself.
  • the driving instruction can be determined as a function of communication data received via a communication device of the motor vehicle.
  • the communication data may be received, for example, via vehicle-to-vehicle communication or vehicle-to-infrastructure communication.
  • the communication data may be the above-explained map data. However, information about the positions of individual motor vehicles, the presence of construction sites, accidents or the like can also be transmitted. If the training data set or the training data sets by the Detected detection device of the motor vehicle, the communication ons stylist or data derived therefrom with the training data set can be further processed and taken into account, for example in the context of training as input data of the processing algorithm.
  • the correspondingly parameterized processing algorithm can then be applied to the environmental data or the processing data determined therefrom and additionally to the communication data or the data determined therefrom. Therefore, data received via a communication device, which may relate in particular to the environment of the motor vehicle, can also be taken into account when determining the driving instruction.
  • information from various sources can be used to determine driving instructions or to train the processing function.
  • This information can be used, for example, together as input data of the trained processing algorithm or also be used to train the processing algorithm.
  • the training data set or the training data records are determined in the normal driving mode of the motor vehicle, since in this case a continuous training takes place, with which the processing can be adapted, for example, to the different characters used in different countries by traffic posts.
  • image data acquisition can take place permanently during normal driving operation, and images or videos which map a traffic post or at least one road user can be further processed as a training data record.
  • the environmental data can be used as a further training data record, wherein further environmental data are acquired by the detection device at a later time, according to which the driving operation of the motor vehicle at the later time is dependent on the further environmental data and the further training data record.
  • determining another driving instruction is determined, which is given by the or another gesture and / or the or another pose of the or another by the other environmental data portrayed traffic post.
  • the method can thus be run through in a kind of loop, wherein the environmental data acquired in a current driving situation on the one hand can be used to determine a current driving instruction, which is given by the gesture and / or pose of the traffic post, and on the other hand can serve to Determining a driving instruction at a later time to improve, for example, by the environment data used as a training data set to train the processing algorithm.
  • the further environmental data can be detected at a different position of the motor vehicle or in another driving situation. However, it is also possible that they are detected in a relatively small temporal and spatial distance. For example, only a few motor vehicles can be routed through the intersection by a traffic post at an intersection. The motor vehicle can thus recognize during its waiting time how other vehicles react to poses and / or gestures of the traffic post and learn appropriate reactions.
  • At least one vehicle device of the motor vehicle can be actuated as a function of the driving instruction in order to output a reference relating to the driving instruction to a user and / or to guide the motor vehicle in accordance with the driving instruction.
  • at least one actuator of the motor vehicle can be controlled in order to intervene in the driving operation.
  • Such guidance of the motor vehicle as a function of the driving instruction can be carried out, in particular, in the context of an at least partially automated driving operation in which the motor vehicle completely takes over the transverse and longitudinal guidance of the motor vehicle.
  • a highly or fully automated driving operation can take place in which no continuous or no monitoring of the driving operation by a driver is required.
  • a driving instruction of a traffic post can not be detected with sufficient certainty.
  • An indication to a user regarding the driving instruction can be audible, z. B. by voice, visually, z. B. by displaying the driving instruction on a display device, or haptic, z. B. by an on position of a pedal resistance or a vibration of a steering wheel, done.
  • the invention relates to a motor vehicle, comprising a detection device for detecting environmental data relating to the environment of the motor vehicle and a processing device which evaluates the environmental data and which is set up to carry out the method according to the invention.
  • the processing device may be a driver assistance system, which is set up in particular for the at least partially automated guidance of the motor vehicle. In this case, an at least partially automated guidance of the motor vehicle is possible, in which given by gestures and / or poses a traffic post driving instructions are taken into account.
  • FIG. 1 shows an embodiment of a motor vehicle according to the invention in a traffic situation in which an embodiment of the method according to the invention can be carried out and / or a training data set can be determined for this purpose
  • FIG. 1 shows a motor vehicle 1 which has a detection device 2 for detecting environment data relating to the surroundings of the motor vehicle 1 and a processing device 3 evaluating the environmental data.
  • the processing device 3 can serve to control vehicle devices 4, 5 of the motor vehicle in order to give a user driving information via the vehicle device 4, or to drive the vehicle device 5 into the driving mode of the motor vehicle, for example as part of an automated driving operation 1 intervene.
  • the motor vehicle 1 approaches an intersection 6.
  • the right of way at the intersection 6 is usually controlled by the traffic signal system 7, which, however, is currently inactive. Therefore, the traffic is regulated by a traffic post 8, for example a police officer.
  • the traffic post 8 can give driving instructions to the motor vehicle 1 and the other road users 9, 10.
  • the gestures and poses used in different countries may differ from each other.
  • the processing device 3 of the motor vehicle is therefore configured to learn appropriate poses and gestures by recording training data sets via the detection device 2, each of which maps a traffic post 8 and other road users 9, 10. These training data sets can each be short video sequences to map movements of the traffic post 8 and the road users 9, 10.
  • the processing device 3 learns the various used poses and gestures and can use this knowledge when detecting a traffic post 8 from the gesture and / or pose determine a driving instruction. Subsequently, the processing device 3, the vehicle device 5, an actuator, drive to in accordance with the driving instruction in the driving operation intervene, and / or it can issue via the vehicle device 4, a speaker, a note relating to a driving instruction to the driver.
  • the learning of the poses and gestures or the use of this knowledge for determining the driving instruction will be explained below with reference to the flowchart shown in FIG.
  • the method shown can be subdivided into three sections.
  • the steps S1 to S3 relate to the training of a classification algorithm which serves to identify the road users 9, 10 and the traffic posts 8 in the environment data acquired via the detection device 2 or in previously acquired training data records and also the driving behavior of the motor vehicles and the Classify gestures or poses of the traffic post.
  • Road users and traffic posts can initially be viewed completely independently of each other.
  • the method steps S1 to S3 can preferably be carried out independently of the motor vehicle.
  • the classification algorithm can be parameterized by the vehicle manufacturer and the corresponding classification parameters can already be stored in the processing device 3 during production or at a later time, for example during maintenance of the motor vehicle 1.
  • the second section of the method which comprises steps S4 to S6, relates to learning a relationship between the recognized gestures and / or poses of a traffic post and the driving behavior of road users or driving instructions that follow these road users.
  • steps S4 to S6 relates to learning a relationship between the recognized gestures and / or poses of a traffic post and the driving behavior of road users or driving instructions that follow these road users.
  • a traffic post is detected by a detection device of the motor vehicle, and with the aid of the previously learned knowledge, a driving instruction is recognized which it wishes to convey by way of a gesture and / or pose.
  • a driving instruction is recognized which it wishes to convey by way of a gesture and / or pose.
  • a detection step S1 a plurality of sets of video data are detected, each of which shows a driving operation of road users and / or a traffic post in a pose and / or making a gesture.
  • machine learning will be performed using this video data to parameterize a classification algorithm for classifying driving maneuvers of road users and / or poses and / or traffic post gestures.
  • a desired classification result is first manually set for the respective video data.
  • the driving maneuver can be classified such that a distinction is made between a stationary motor vehicle, a constantly fast moving motor vehicle and a motor vehicle which reduces its speed but continues.
  • the longitudinal guidance of the motor vehicle can be further differentiated and / or additionally the transverse guidance can be taken into account.
  • the classification can on the one hand take into account the orientation of the traffic post, in particular the orientation of its torso, its upper body and / or its head, whereby for example a plurality of angle segments can be defined with respect to a road user or a viewing direction of the detection device.
  • an alignment in the direction of the road user contrary to the orientation of the road user and perpendicular to the direction of the road user under to be divorced.
  • a arm and hand position is classified.
  • it can be classified for the right and left arm, respectively, whether this arm is stretched or bent.
  • a shoulder position can be taken into account, that is, whether the arm is stretched forward, sideways or upwards or hanging down.
  • a hand position can also be taken into account.
  • in particular periodic changes between certain positions can be classified as gestures.
  • a learning step S3 classification parameters of a classification algorithm are determined by training a neural network in such a way that when the video captured in step S1 is input as accurately as possible with the best possible accuracy, the classifications manually specified in step S2 result as output data.
  • known methods of machine learning in particular an error feedback, can be used.
  • a plurality of training data sets are provided, which are preferably video recordings taken with the detection device 2.
  • the training data records each show a traffic post 8 and at least one road user 9, 10.
  • the training data sets can be recorded during the ongoing driving operation of the motor vehicle.
  • the classification algorithm trained in step S3 is applied to each of the training data sets to obtain the Recognize traffic station and the road users in the respective training data set and, as explained above, to classify.
  • Each classified driving behavior can be uniquely assigned a particular driving instruction or a group of probabilities for different driving instructions that leads or leads to this driving behavior.
  • a feature vector for the pose or gesture of the traffic post is thus present for each of the training data records, comprising, for example, the features explained above with regard to the orientation of the traffic post and the posture and the movement of its arms or hands.
  • the individual road users are assigned driving instructions or probability distributions for different driving instructions.
  • a processing algorithm for example a neural network, can be trained, which is used to obtain a driving instruction from the detected gesture or pose.
  • a monitored learning method can be carried out, wherein the driving instruction or the probability distribution of the driving instructions is specified as the desired output and the feature vector is used as the input variable to describe the pose and / or gesture of the traffic post.
  • the robustness of the processing algorithm can be further improved or the learning process can be accelerated if additional data are taken into account as additional input variables of the processing algorithm both during machine learning and during later use of the processing algorithm, the additional information on the driving situation of the motor vehicle 1 or the road users 9, 10 provide.
  • a digital map may be stored on the processing device 3, which after a position determination for the motor vehicle 1, for example via a satellite-based positioning System, map material with respect to the environment of the motor vehicle 1 is present.
  • a distinction can be made as to whether the traffic post 8 regulates a traffic flow at an intersection, at a junction or on an open route.
  • the training data record or, if the processing algorithm is used later, the environmental data can also be evaluated in order to identify infrastructure elements 7.
  • the presence and type of the infrastructure elements can thus be used as further input data of the processing algorithm.
  • the processing parameters of the processing algorithm for example the weights of the weighted sums, which are calculated in individual "neurons" of a neural network, are specified such that for a given feature vector for the pose of the traffic item 8 and optionally the above-described additional information is determined with the lowest possible error driving instructions for the individual road users 9, 10, which can be assigned to the actually observed driving behavior of the road users 9, 10.
  • Such a trained processing algorithm can thus from an observed behavior of the traffic post, optionally taking into account further information identifying the driving instruction given by the gesture or pose of this traffic post.
  • step S7 environmental data relating to the environment of the motor vehicle 1 are determined by the detection device 2. These map the traffic post 8 from. Subsequently, in the classification S8 classifies the gesture and / or pose of the traffic post 8, as has already been explained at step S5.
  • the resulting feature vector is evaluated in processing step S9 by the processing algorithm parameterized in step S6, that is to say for example by a correspondingly parameterized neural network, in order to determine a travel instruction.
  • additional information such as the presence of the infrastructure device 7, the intersection 6 mapping digital map data or communication data received via the communication device 16 may be taken into account.
  • step S10 the processing device 3 controls the vehicle device 5, for example an actuator, in order to adapt the driving operation of the motor vehicle 1 in accordance with the determined driving instruction.
  • the driving instruction can be output via the vehicle device 4, a sound speaker.
  • the steps S4 to S6 are repeated, wherein the last recorded environmental data are taken into account as additional training data. Subsequent determinations of driving instructions thus also take place as a function of this further training data or of the previously acquired environmental data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Verfahren zur Ermittlung einer Fahranweisung, wobei durch wenigstens eine Erfassungseinrichtung (2) eines Kraftfahrzeugs (1) die Umgebung des Kraftfahrzeugs (1) betreffende Umgebungsdaten erfasst werden, wonach in Abhängigkeit der Umgebungsdaten eine den Fahrbetrieb des Kraftfahrzeugs (1) betreffende Fahranweisung ermittelt wird, die durch eine Geste und/oder eine Pose eines durch die Umgebungsdaten abgebildeten Verkehrspostens (8) vorgegeben wird, wobei die Ermittlung der Fahranweisung in Abhängigkeit von wenigstens einem Trainingsdatensatz erfolgt, der vorangehend durch die Erfassungseinrichtung (2) oder eine weitere Erfassungseinrichtung erfasst wurde und der den oder einen weiteren Verkehrsposten (8) und wenigstens einen Verkehrsteilnehmer (9, 10) abbildet.

Description

Verfahren zur Ermittlung einer Fahranweisung
Die Erfindung betrifft ein Verfahren zur Ermittlung einer Fahranweisung, wobei durch wenigstens eine Erfassungseinrichtung eines Kraftfahrzeugs die Umgebung des Kraftfahrzeugs betreffende Umgebungsdaten erfasst werden, wonach in Abhängigkeit der Umgebungsdaten eine den Fahrbetrieb des Kraftfahrzeugs betreffende Fahranweisung ermittelt wird, die durch eine Geste und/oder eine Pose eines durch die Umgebungsdaten abgebildeten Verkehrspostens vorgegeben wird. In besonderen Verkehrssituationen, beispielsweise wenn eine Lichtsignalanlage ausfällt, der Verkehrsfluss durch einen Stau oder durch einen Unfall behindert ist, eine Straße ganz oder teilweise gesperrt ist oder Ähnliches, kann eine Regelung des Verkehrs durch Verkehrsposten erfolgen. Dies können beispielsweise Polizisten oder Bauarbeiter, die den Verkehr im Bereich einer Baustelle leiten, sein. Kraftfahrzeuge weisen zunehmend Fahrerassistenzsysteme auf, die den Fahrer bei Fahraufgaben unterstützen oder das Kraftfahrzeug sogar automatisiert mit oder ohne Überwachung durch den Fahrer führen. Bei einer entsprechenden assistierten oder automatisierten Führung müssen selbstverständlich auch Verkehrsposten und deren potentielle An- Weisungen berücksichtigt werden.
Hierzu ist es aus der Druckschrift US 2016/0144867 A1 bekannt, Verkehrsposten durch eine fahrzeugseitige Sensorik zu überwachen und, falls ein Verkehrsposten erkannt wird, der ein Zeichen an das eigene Kraftfahrzeug gibt, dieses Zeichen mit einer Bibliothek von bekannten Zeichen zu vergleichen. Wird ein entsprechendes Zeichen in der Bibliothek aufgefunden, kann der Fahrbetrieb entsprechend angepasst werden. Andernfalls kann der Fahrer aufgefordert werden, selbst die Fahrzeugführung zu übernehmen oder das Fahrzeug kann angehalten werden. Nachteilig ist hierbei, dass entsprechende Zeichen eines Verkehrspostens, also seine eingenommenen Posen bzw. von ihm durchgeführte Gesten, häufig von verschiedenen Verkehrsposten geringfügig unterschiedlich umgesetzt werden. Zudem werden in unterschiedlichen Ländern üblicherweise unterschiedliche Zeichen durch Verkehrsposten genutzt, um den Verkehr zu regeln. Da typischerweise Zeichen genutzt werden, die durch Menschen einfacher zu interpretieren sind, ist dies bei einer manuellen Führung des Kraftfahrzeugs kein Problem. Bei einer Nutzung einer Zeichenbibliothek zur Er- kennung von Zeichen, wie sie aus dem Stand der Technik bekannt ist, wäre jedoch potentiell eine sehr umfangreiche Zeichenbibliothek erforderlich, wodurch auch die Unterscheidungsschärfe zwischen den verschiedenen Zeichen leiden könnte. Der Erfindung liegt somit die Aufgabe zugrunde, eine demgegenüber verbesserte Möglichkeit anzugeben, Fahranweisungen von Verkehrsposten automatisch zu erkennen.
Die Aufgabe wird durch ein Verfahren der eingangs genannten Art gelöst, wobei die Ermittlung der Fahranweisung in Abhängigkeit von wenigstens einem Trainingsdatensatz erfolgt, der vorangehend durch die Erfassungseinrichtung oder eine weitere Erfassungseinrichtung erfasst wurde und der den oder einen weiteren Verkehrsposten und wenigstens einen Verkehrsteilnehmer abbildet.
Der Erfindung liegt die Idee zugrunde, Vorinformationen über das Zusammenwirken wenigstens eines Verkehrspostens mit wenigstens einem Verkehrsteilnehmer in Form des wenigstens einen Trainingsdatensatzes zu erfassen. Vorzugsweise wird eine Vielzahl von Trainingsdatensätzen genutzt, um das Verhalten unterschiedlicher Verkehrsteilnehmer bei unterschiedlichem Verhalten des Verkehrspostens abzubilden. In dem erfindungsgemäßen Verfahren wird somit ein Erfahrungsschatz genutzt, der durch den wenigstens einen Trainingsdatensatz bereitgestellt wird, und aus diesem Erfahrungsschatz können, insbesondere automatisiert, Zusammenhänge zwi- sehen einem Verhalten des Verkehrspostens und dem Fahrverhalten der Verkehrsteilnehmer erkannt werden. Es kann davon ausgegangen werden, dass ein Großteil der Verkehrsteilnehmer den jeweiligen Fahranweisungen des Verkehrspostens folgt. Das beobachtete Fahrverhalten der Verkehrsteil- nehmer entspricht somit den Fahranweisungen, die durch die Geste und/oder Pose des Verkehrspostens vorgegeben werden. Somit kann anhand des wenigstens einen Trainingsdatensatzes ermittelt werden, welche Geste bzw. Pose welcher Fahranweisung entspricht. Dies kann, wie später noch detailliert erläutert werden wird, insbesondere mithilfe eines Verfahrens des Maschinenlernens erfolgen.
Es ist insbesondere möglich, dass die Ermittlung der Fahranweisung in mittelbarer Anhängigkeit von dem wenigstens einen Trainingsdatensatz erfolgt. Beispielsweise können mehrere Trainingsdatensätze genutzt werden, um eine Verarbeitungsfunktion durch ein Maschinenlernen zu parametrisieren, wonach die derart parametrisierte Verarbeitungsfunktion verwendet wird, um die Fahranweisung zu ermitteln. Der wenigstens eine Trainingsdatensatz umfasst vorzugsweise mehrere zeitlich beabstandete Aufnahmen des Verkehrsteilnehmers bzw. des Verkehrspostens, womit durch Auswertung eines einzelnen Trainingsdatensatzes bereits der momentane Fahrbetrieb des Kraftfahrzeugs im Zeitintervall der Aufnahme des Trainingsdatensatzes beschrieben wird bzw. Gesten des Verkehrspostens erkannt werden können. Beispielsweise kann der Trainingsdatensatz eine Videoaufnahme sein. Als Erfassungseinrichtung wird vorzugsweise wenigstens eine Kamera genutzt. Kameras können hochauflösende Bilddaten des Kraftfahrzeugumfelds bereitstellen, in denen ein Verkehrsposten bzw. dessen Gesten und Posen und weitere Verkehrsteilnehmer bzw. deren Fahrverhalten besonders einfach erkannt werden können. Ergänzend oder alternativ können beispielsweise Radarsensoren, Lidarsensoren, Ultraschallsensoren, Laserscanner oder Ähnliches genutzt werden. Die Erfassungseinrichtung kann auch mehrere gleiche oder unterschiedliche Sensoren umfassen, deren Sensordaten fusioniert werden. Das erläuterte Verfahren kann beispielsweise im Rahmen einer automatisierten Längs- und/oder Querführung des Kraftfahrzeugs genutzt werden. Diese Führung kann mit oder ohne Überwachung durch den Fahrer durchgeführt werden.
Die Fahranweisung kann durch Anwenden eines Verarbeitungsalgorithmus auf die Umgebungsdaten oder auf aus dem Umgebungsdaten ermittelte Verarbeitungsdaten ermittelt werden, wobei der Verarbeitungsalgorithmus durch mehrere Verarbeitungsparameter parametrisiert wird, die ermittelt werden, indem der Verarbeitungsalgorithmus durch den Trainingsdatensatz im Rahmen eines Maschinenlernens trainiert wird. Vorzugsweise werden im Rahmen des Maschinenlernens mehrere Trainingsdatensätze genutzt.
Die Trainingsdatensätze können durch die gleiche oder durch verschiedene Erfassungseinrichtungen erfasst werden und können verschiedene Verkehrsposten und/oder verschiedene Verkehrsteilnehmer und insbesondere deren Wechselwirkung zeigen, wie dies vorangehend erläutert wurde.
Der Verarbeitungsalgorithmus kann beispielsweise ein künstliches neurona- les Netz sein. Es kann ein sogenanntes„deep Iearning"-Verfahren zum Training des Verarbeitungsalgorithmus bzw. neuronalen Netzes genutzt werden. Das neuronale Netz kann ein mehrlagiges neuronales Netz sein, dessen „Neuronen" auf verschiedene Schichten verteilt sind. Ein derartiges„Neuron" kann derart implementiert sein, dass eine gewichtete Summe mehrerer Ein- gangswerte berechnet und insbesondere anschließend durch eine nichtlineare Funktion verarbeitet wird, um ein Schalten des„Neurons" bei bestimmten Eingangsreizen abzubilden. Im einfachsten Fall kann die nichtlineare Funktion eine Stufenfunktion sein. Ein mehrschichtiges neuronales Netz kann eine Eingangsschicht aufweisen, der die Umgebungsdaten bzw. die Verarbeitungsdaten zugeführt werden, und eine Ausgangsschicht, die als Ergebnis die Fahranweisung bereitstellt. Zwischen diesen Schichten können mehrere sogenannte Zwischenlagen vorgesehen sein, die Verarbeitungsergebnisse der Eingangsschicht oder anderer Zwischenlagen weiter verarbeiten, bevor sie der Ausgangsschicht zugeführt werden. Bei reinen „feed forward"-Netzen fließt die Information ausschließlich in eine Richtung von der Eingangsschicht zu der Ausgangsschicht zwischen den verschiedenen Schichten bzw. Lagen. Es ist jedoch auch möglich, Rückkoppelpfade vorzusehen.
Die Verarbeitungsparameter können insbesondere die Gewichte verschiedener Eingangsgrößen für die einzelnen„Neuronen" sein. Es kann sich bei dem Verarbeitungsalgorithmus insbesondere um ein sogenanntes subsymboli- sches System handeln, das heißt dem Verarbeitungsalgorithmus kann zwar ein berechenbares Verhalten antrainiert werden, der erlernte Lösungsweg ist aus den Verarbeitungsparametern jedoch typischerweise nicht ohne weiteres erkennbar. Verschiedene Ansätze zum Training von solchen Verarbeitungsalgorithmen sind im Stand der Technik, insbesondere aus dem Bereich der neuronalen Netze, bekannt und sollen nicht detailliert erläutert werden. Rein beispielhaft kann ein Verfahren verwendet werden, das als„backpropagation of error" oder auch als Fehlerrückführung bekannt ist. Es kann für jeden Trainingsda- tensatz für einen oder mehrere Verkehrsteilnehmer jeweils ein Fahrverhalten derart klassifiziert werden, dass eine voraussichtliche Fahranweisung ermittelt werden kann. Beispielsweise kann ermittelt werden, ob der Verkehrsteilnehmer steht, sich mit konstanter Geschwindigkeit bewegt, beschleunigt o- der bremst. Jede dieser Verhaltensklassen kann einer entsprechende Fahr- anweisung zugeordnet werden. Hierbei können insbesondere unterschiedlichen Fahranweisungen jeweils unterschiedliche Wahrscheinlichkeiten zugeordnet werden. Der Vektor dieser Wahrscheinlichkeiten kann als gewünschte Ausgabe des Verarbeitungsalgorithmus betrachtet werden. Nun können als Eingabemuster die Umgebungsdaten oder hieraus ermittelte Verarbeitungs- daten, beispielsweise eine abstrakte Beschreibung einer Geste und/oder Pose eines erkannten Verkehrspostens, zugeführt werden. Der Verarbeitungsalgorithmus kann hieraus nun wiederum Wahrscheinlichkeiten für verschiedene Fahranweisungen ermitteln und diese ermittelten Wahrscheinlichkeiten können mit der gewünschten Ausgabe verglichen werden. Der ermittelte Fehler kann anschießend rückpropagiert werden. Ein entsprechendes Vorgehen ist im Bereich der neuronalen Netzwerke bekannt und soll nicht detailliert erläutert werden. Für den Trainingsdatensatz kann eine Klassifikationsinformation ermittelt werden, durch die ein durch den im Trainingsdatensatz abgebildeten Verkehrsteilnehmer durchgeführtes Fahrmanöver und eine durch den im Trainingsdatensatz abgebildeten Verkehrsposten eingenommene Pose und/oder durchgeführte Geste klassifiziert werden, wobei die Fahranweisung in Ab- hängigkeit der Klassifikationsinformation ermittelt wird. Die Klassifikationsinformation kann insbesondere zum Training des Verarbeitungsalgorithmus genutzt werden. Insbesondere können die durchgeführten Fahrmanöver entsprechenden Fahranweisungen zugeordnet werden und somit als gewünschte Ausgabe im Rahmen des Maschinenlernens genutzt werden und die ein- genommene Pose und/oder durchgeführte Geste kann als Eingabemuster genutzt werden. Die Klassifikation der Pose bzw. Geste kann durch einen Vektor erfolgen, der einzelne Eigenschaften des Verkehrspostens beschreibt. Beispielsweise kann klassifiziert werden, ob der rechte bzw. linke Arm herabhängt, gewinkelt oder gestreckt ist, nach vorne oder seitlich vom Körper abragt, eine Schwingbewegung an der Schulter oder am Ellbogen oder am Handgelenk durchgeführt wird, eine Hand geöffnet oder geschlossen wird oder Ähnliches. Es ist auch möglich, dass der Verkehrsposten Signalmittel, beispielsweise Schilder oder Fahnen trägt. In diesem Fall kann eine Stellung bzw. eine Bewegung dieses Signalmittels ebenfalls erkannt und klassifiziert werden.
Das Fahrmanöver des Verkehrsteilnehmers und/oder die Pose und/oder Geste des Verkehrspostens kann durch einen Klassifizierungsalgorithmus klassifiziert werden, der durch mehrere Klassifikationsparameter parametri- siert wird, die ermittelt werden, indem der Klassifizierungsalgorithmus durch mehrere Anlerndatensätze im Rahmen eines Maschinenlernens trainiert wird. Die Anlerndatensätze können einerseits Erfassungsdaten, insbesondere Videodaten, umfassen, die den Verkehrsteilnehmer bzw. den Verkehrsposten zeigen. Andererseits kann für den Verkehrsposten bzw. den Ver- kehrsteilnehmer, vorzugsweise für jeden der Verkehrsteilnehmer, wenn mehrere Verkehrsthemen gezeigt sind, ein Klassifizierungsergebnis vorgegeben sein. Eine Vorgabe des Klassifizierungsergebnisses kann beispielsweise durch eine manuelle Klassifizierung durch einen Nutzer erfolgen.
Die Fahranweisung kann in Abhängigkeit wenigstens eines in den Umgebungsdaten und/oder in dem Trainingsdatensatz erkannten Infrastrukturelements ermittelt werden. Als Infrastrukturelemente können beispielsweise Lichtsignalanlagen, insbesondere inaktive Lichtsignalanlagen, Verkehrsschil- der, Fahrbahnmarkierungen, Fahrbahnen, Abzweigungen und Ähnliches erkannt werden. Die Erkennung von Infrastrukturelementen kann zur Verbesserung der Klassifizierung von Fahrmanövern eines Verkehrsteilnehmers in dem jeweiligen Trainingsdatensatz dienen. Es ist jedoch auch möglich, dass die erkannten Infrastrukturelemente von dem Verarbeitungsalgorithmus aus- gewertet werden. Hierbei kann die Erkennung von Infrastrukturelementen durch den Verarbeitungsalgorithmus selbst erfolgen, es ist jedoch auch eine Vorverarbeitung der Umgebungsdaten bzw. des jeweiligen Trainingsdatensatzes möglich, um beispielsweise vorhandene Infrastrukturelemente zu erkennen und/oder zu klassifizieren und entsprechende Informationen als Teil der Eingangsdaten des Verarbeitungsalgorithmus bereitzustellen. Das Vorhandensein, die Art und/oder die Position von Infrastrukturelementen im Fahrzeugumfeld kann somit beim Training des Verarbeitungsalgorithmus berücksichtigt werden, womit die durch Anwendung des Verarbeitungsalgorithmus ermittelte Fahranweisung hiervon abhängt.
Eine Berücksichtigung von Infrastrukturelementen ermöglicht es einerseits, die Auswirkung dieser auf die Fahrmanöver von Verkehrsteilnehmern zu berücksichtigen und andererseits zu berücksichtigen, dass in Abhängigkeit der Infrastruktursituation unterschiedliche Fahranweisungen verschieden wahr- scheinlich sind. Beispielsweise betreffen Fahranweisungen, wenn eine inaktive Lichtsignalanlage an einer Kreuzung erkannt wird, mit hoher Wahrscheinlichkeit eine Vorfahrtsregelung. Demgegenüber sind im Bereich von Baustellen auch Fahranweisungen wahrscheinlich, die zu einer Verlangsamung des Fahrzeugs und/oder zu einem Spurwechsel führen sollen. Die Fahranweisung kann ergänzend oder alternativ in Abhängigkeit von die Umgebung des Kraftfahrzeugs und/oder der weiteren Erfassungseinrichtung betreffenden digitalen Kartendaten ermittelt werden. Diese Abhängigkeit kann beispielsweise daraus resultieren, dass Fahrmanöver der Verkehrsteilnehmer in Abhängigkeit dieser Kartendaten klassifiziert werden und/oder daraus, dass die Kartendaten beim Training des Verarbeitungsalgorithmus mit berücksichtigt werden. Aus Kartendaten kann beispielsweise entnommen werden, ob der Verkehrsposten an einer Abzweigung, an einer Kreuzung oder auf offener Strecke steht. Dies beeinflusst die Wahrscheinlichkeit verschiedener Fahranweisungen. Zudem sind hierdurch die Fahrmöglichkeiten der erfassten Verkehrsteilnehmer eingeschränkt, was die Klassifizierung dieser Fahrmanöver erleichtert. Die Verarbeitungsparameter können insbesondere in Abhängigkeit von den jeweiligen Trainingsdatensätzen zugeordneten digitalen Kartendaten ermittelt werden, die die Umgebung der zur Aufnahme des jeweiligen Trainingsdatensatzes genutzten Erfassungseinrichtung, insbesondere zum Zeitpunkt der Erfassung, betreffen. Werden die Trainingsdatensätze beispielsweise zumin- dest teilweise durch die Erfassungseinrichtung des Kraftfahrzeugs selbst er- fasst, kann jeweils das unmittelbare Umfeld des Kraftfahrzeugs bei der Erfassung des jeweiligen Trainingsdatensatzes berücksichtigt werden. Das gleiche gilt bei einer Erfassung durch fahrzeugexterne Erfassungseinrichtungen bzw. Erfassungseinrichtungen anderer Kraftfahrzeuge.
Die Fahranweisung kann in Abhängigkeit von über eine Kommunikationseinrichtung des Kraftfahrzeugs empfangenen Kommunikationsdaten ermittelt werden. Die Kommunikationsdaten können beispielsweise über eine Fahr- zeug-zu-Fahrzeugkommunikation oder eine Fahrzeug-zu-lnfrastruktur- kommunikation empfangen werden. Bei den Kommunikationsdaten kann es sich um die obig erläuterten Kartendaten handeln. Es können jedoch auch Informationen über die Positionen einzelner Kraftfahrzeuge, über das Vorhandensein von Baustellen, Unfällen oder Ähnliches übertragen werden. Wird der Trainingsdatensatz bzw. werden die Trainingsdatensätze durch die Erfassungseinrichtung des Kraftfahrzeugs erfasst, können die Kommunikati- onsdaten oder hieraus ermittelte Daten mit dem Trainingsdatensatz weiterverarbeitet werden und beispielsweise im Rahmen des Trainings als Eingangsdaten des Verarbeitungsalgorithmus berücksichtigt werden. Zur Ermitt- lung der Fahranweisung kann der entsprechend parametrisierte Verarbeitungsalgorithmus anschließend auf die Umgebungsdaten bzw. die aus diesen ermittelten Verarbeitungsdaten und zusätzlich die Kommunikationsdaten oder die aus diesen ermittelten Daten angewandt werden. Daher können auch über eine Kommunikationseinrichtung empfangene Daten, die insbe- sondere das Umfeld des Kraftfahrzeugs betreffen können, bei der Ermittlung der Fahranweisung berücksichtigt werden.
Wie obig an zahlreichen Beispielen erläutert wurde, können Informationen aus verschiedenen Quellen genutzt werden, um Fahranweisungen zu ermit- teln bzw. die Verarbeitungsfunktion zu trainieren. Diese Informationen können beispielsweise gemeinsam als Eingangsdaten des trainierten Verarbeitungsalgorithmus genutzt werden bzw. auch zum Training des Verarbeitungsalgorithmus genutzt werden. Im erfindungsgemäßen Verfahren ist es vorteilhaft, wenn der Trainingsdatensatz oder die Trainingsdatensätze im normalen Fahrbetrieb des Kraftfahrzeugs ermittelt werden, da in diesem Fall ein stetiges Training stattfindet, womit die Verarbeitung beispielsweise an die unterschiedlichen, in verschiedenen Ländern von Verkehrsposten genutzten Zeichen angepasst werden kann. Beispielsweise kann während des normalen Fahrbetriebs dauerhaft eine Bilddatenerfassung erfolgen und Bilder oder Videos, die einen Verkehrsposten oder wenigstens einen Verkehrsteilnehmer abbilden, können als Trainingsdatensatz weiterverarbeitet werden. Es ist auch möglich, dass die Umgebungsdaten als weiterer Trainingsdatensatz genutzt werden, wobei durch die Erfassungseinrichtung zu einem späteren Zeitpunkt weitere Umgebungsdaten erfasst werden, wonach in Abhängigkeit der weiteren Umgebungsdaten und des weiteren Trainingsdatensatzes eine den Fahrbetrieb des Kraftfahrzeugs zu dem späteren Zeitpunkt be- treffende weitere Fahranweisung ermittelt wird, die durch die oder eine weitere Geste und/oder die oder eine weitere Pose des oder eines weiteren durch die weiteren Umgebungsdaten abgebildeten Verkehrspostens vorgegeben wird. Das Verfahren kann somit in einer Art Schleife durchlaufen werden, wobei die in einer aktuellen Fahrsituation erfassten Umgebungsdaten einerseits dazu dienen können, eine aktuelle Fahranweisung zu ermitteln, die durch die Geste und/oder Pose des Verkehrspostens vorgegeben wird, und andererseits dazu dienen können, die Ermittlung einer Fahranweisung zu einem späteren Zeitpunkt zu verbessern, beispielsweise indem die Umge- bungsdaten als Trainingsdatensatz zum Trainieren des Verarbeitungsalgorithmus genutzt werden.
Die weiteren Umgebungsdaten können an einer unterschiedlichen Position des Kraftfahrzeugs bzw. in einer anderen Fahrsituation erfasst werden. Es ist jedoch auch möglich, dass sie in relativ geringem zeitlichen und örtlichen Abstand erfasst werden. Beispielsweise können durch einen Verkehrsposten an einer Kreuzung jeweils nur einige Kraftfahrzeuge über die Kreuzung geleitet werden. Das Kraftfahrzeug kann somit während seiner Wartezeit erkennen, wie andere Fahrzeuge auf Posen und/oder Gesten des Verkehrspos- tens reagieren und entsprechende Reaktionen erlernen.
Wenigstens eine Fahrzeugeinrichtung des Kraftfahrzeugs kann in Abhängigkeit der Fahranweisung angesteuert werden, um einen die Fahranweisung betreffenden Hinweis an einen Nutzer auszugeben und/oder das Kraftfahr- zeug gemäß der Fahranweisung zu führen. Zur Führung des Kraftfahrzeugs kann wenigstens ein Aktor des Kraftfahrzeugs angesteuert werden, um in den Fahrbetrieb einzugreifen. Eine solche Führung des Kraftfahrzeugs in Abhängigkeit der Fahranweisung kann insbesondere im Rahmen eines zumindest teilautomatisierten Fahrbetriebs erfolgen, bei dem das Kraftfahrzeug die Quer- und Längsführung des Kraftfahrzeugs vollständig übernimmt. Insbesondere kann ein hoch- oder vollautomatisierter Fahrbetrieb erfolgen, bei dem keine durchgehende oder überhaupt keine Überwachung des Fahrbetriebs durch einen Fahrer erforderlich ist. Es ist hierbei möglich, dass trotz der guten mit dem erfindungsgemäßen Verfahren erreichbaren Erkennungs- quoten eine Fahranweisung eines Verkehrspostens nicht mit ausreichender Sicherheit erkannt werden kann. In diesem Fall ist es möglich, einen Fahrer zur Übernahme des Fahrbetriebs aufzufordern oder das Kraftfahrzeug in einen sicheren Zustand zu überführen, insbesondere anzuhalten oder am Streckenrand abzustellen.
Eine Hinweisgabe an einen Nutzer bezüglich der Fahranweisung kann akustisch, z. B. durch Sprachausgabe, optisch, z. B. durch Anzeige der Fahranweisung auf einer Anzeigeeinrichtung, oder haptisch, z. B. durch eine Ein- Stellung eines Pedalwiderstandes oder eine Vibration eines Lenkrades, erfolgen.
Neben dem erfindungsgemäßen Verfahren betrifft die Erfindung ein Kraftfahrzeug, umfassend eine Erfassungseinrichtung zur Erfassung von die Um- gebung des Kraftfahrzeugs betreffenden Umgebungsdaten und eine die Umgebungsdaten auswertende Verarbeitungseinrichtung, die zur Durchführung des erfindungsgemäßen Verfahrens eingerichtet ist. Die Verarbeitungseinrichtung kann ein Fahrerassistenzsystem sein, das insbesondere zur zumindest teilautomatisierten Führung des Kraftfahrzeugs eingerichtet ist. In die- sem Fall ist eine zumindest teilautomatisierte Führung des Kraftfahrzeugs möglich, bei der durch Gesten und/oder Posen eines Verkehrspostens gegebene Fahranweisungen berücksichtigt werden.
Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den fol- genden Ausführungsbeispielen und den zugehörigen Zeichnungen. Hierbei zeigen schematisch:
Fig. 1 ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs in einer Verkehrssituation, in der ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens durchführbar ist und/oder ein Trainingsdatensatz hierfür ermittelt werden kann, und
Fig. 2 ein Ablaufdiagramm eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens. Fig. 1 zeigt ein Kraftfahrzeug 1 , das eine Erfassungseinrichtung 2 zur Erfassung von die Umgebung des Kraftfahrzeugs 1 betreffenden Umgebungsdaten und eine die Umgebungsdaten auswertende Verarbeitungseinrichtung 3 aufweist. Die Verarbeitungseinrichtung 3 kann dazu dienen, Fahrzeugeinrichtungen 4, 5 des Kraftfahrzeugs anzusteuern, um einem Nutzer über die Fahrzeugeinrichtung 4, einen Lautsprecher, Fahrhinweise zu geben, bzw. um, beispielsweise im Rahmen eines automatisierten Fahrbetriebs, über die Fahrzeugeinrichtung 5 in den Fahrbetrieb des Kraftfahrzeugs 1 einzugreifen.
In der gezeigten Fahrsituation nähert sich das Kraftfahrzeug 1 einer Kreuzung 6. Die Vorfahrt an der Kreuzung 6 wird üblicherweise durch die Lichtsignalanlage 7 geregelt, die jedoch momentan inaktiv ist. Daher erfolgt die Regelung des Verkehrs durch einen Verkehrsposten 8, beispielsweise einen Polizisten. Durch Wahl einer entsprechenden Pose oder Geste kann der Verkehrsposten 8 Fahranweisungen an das Kraftfahrzeug 1 und die weiteren Verkehrsteilnehmer 9, 10 geben. Hierbei können sich die verwendeten Gesten und Posen in verschiedenen Ländern voneinander unterscheiden. Wie im Folgenden noch detailliert dargestellt wird, ist die Verarbeitungseinrichtung 3 des Kraftfahrzeugs daher dazu eingerichtet, entsprechende Posen und Gesten dadurch zu erlernen, dass über die Erfassungseinrichtung 2 Trainingsdatensätze erfasst werden, die jeweils einen Verkehrsposten 8 und weitere Verkehrsteilnehmer 9, 10 abbilden. Diese Trainingsdatensätze können jeweils kurze Videosequenzen sein, um Bewegungen des Verkehrspostens 8 und der Verkehrsteilnehmer 9, 10 abzubilden. Aus dem Verhalten der Verkehrsteilnehmer 9, 10 kann erkannt werden, welche Fahranweisungen diese erhalten haben. Dies kann mit den erfassten Posen bzw. Gesten des Verkehrspostens korreliert werden, um zu erkennen, welche Fahranweisung welche Pose bzw. Geste für welchen Verkehrsteilnehmer bedeutet. Somit lernt die Verarbeitungseinrichtung 3 die verschiedenen genutzten Posen und Gesten und kann mithilfe dieses Wissens bei Erfassung eines Verkehrspostens 8 aus dessen Geste und/oder Pose eine Fahranweisung ermitteln. Anschließend kann die Verarbeitungseinrichtung 3 die Fahrzeugeinrichtung 5, einen Aktor, ansteuern, um gemäß der Fahranweisung in den Fahrbetrieb einzugreifen, und/oder sie kann über die Fahrzeugeinrichtung 4, einen Lautsprecher, einen eine Fahranweisung betreffenden Hinweis an den Fahrer ausgeben. Das Erlernen der Posen und Gesten bzw. die Nutzung dieses Wissens zur Ermittlung der Fahranweisung wird im Folgenden mit Bezug auf das in Fig. 2 gezeigte Ablaufdiagramm erläutert. Das gezeigte Verfahren lässt sich in drei Abschnitte untergliedern. Die Schritte S1 bis S3 betreffen das Trainieren eines Klassifizierungsalgorithmus, der dazu dient, die Verkehrsteilnehmer 9, 10 und den Verkehrsposten 8 in den über die Erfassungseinrichtung 2 er- fassten Umgebungsdaten bzw. in vorangehend erfassten Trainingsdatensätzen zu erkennen und zudem das Fahrverhalten der Kraftfahrzeuge und die Gesten bzw. Posen des Verkehrspostens zu klassifizieren. Verkehrsteilnehmer und Verkehrsposten können dazu zunächst vollständig unabhängig von- einander betrachtet werden. Die Verfahrensschritte S1 bis S3 können vorzugsweise unabhängig vom Kraftfahrzeug durchgeführt werden. Beispielsweise kann der Klassifizierungsalgorithmus durch den Fahrzeughersteller parametrisiert werden und die entsprechenden Klassifikationsparameter können bereits bei der Herstellung oder zu einem späteren Zeitpunkt, bei- spielsweise während einer Wartung des Kraftfahrzeugs 1 , in der Verarbeitungseinrichtung 3 gespeichert werden.
Der zweite Abschnitt des Verfahrens, der die Schritte S4 bis S6 umfasst, betrifft das Erlernen eines Zusammenhangs zwischen den erkannten Gesten und/oder Posen eines Verkehrspostens und dem Fahrverhalten von Verkehrsteilnehmern bzw. von Fahranweisungen, die diese Verkehrsteilnehmer befolgen. Wie bereits erwähnt, ist es vorteilhaft, wenn ein derartiger Lernpro- zess im Kraftfahrzeug 1 bzw. durch die Verarbeitungseinrichtung 3 selbst durchgeführt wird, da in diesem Fall das Kraftfahrzeug 1 dynamisch neue Gesten und Posen hinzulernen kann. Alternativ wäre es jedoch möglich, auch diese Schritte separat vom Kraftfahrzeug durchzuführen und einen entsprechend parametrisierten Verarbeitungsalgorithmus bereits bei der Herstellung oder im Rahmen einer Wartung in die Verarbeitungseinrichtung 3 zu speichern. In den Schritten S7 bis S10 wird schließlich ein Verkehrsposten durch eine Erfassungseinrichtung des Kraftfahrzeugs erfasst und mithilfe des vorangehend gelernten Wissens wird eine Fahranweisung erkannt, die dieser durch eine Geste und/oder Pose vermitteln möchte. Das Vorgehen wird im Folgenden im Detail dargestellt:
In einem Erfassungsschritt S1 werden mehrere Sätze von Videodaten erfasst, die jeweils einen Fahrbetrieb von Verkehrsteilnehmern und/oder einen Verkehrsposten in einer Pose und/oder der eine Geste durchführt, zeigen. Mithilfe dieser Videodaten wird im Folgenden ein Maschinenlernen durchgeführt, um einen Klassifizierungsalgorithmus zur Klassifikation von Fahrmanövern von Verkehrsteilnehmern und/oder Posen und/oder Gesten von Verkehrsposten zu parametrisieren. Prinzipiell wäre es auch möglich, separate Klassifizierungsalgorithmen zur Klassifikation der Fahrmanöver einerseits und der Posen und/oder Gesten andererseits zu nutzen und diese separat voneinander durch entsprechende Videodaten zu trainieren.
Es soll ein überwachtes Lernverfahren genutzt werden. Daher wird in dem Klassifikationsschritt S2 für die jeweiligen Videodaten zunächst ein gewünschtes Klassifikationsergebnis manuell festgelegt. Hierbei kann beispielsweise das Fahrmanöver derart klassifiziert werden, dass zwischen einem stehenden Kraftfahrzeug, einem konstant schnell fahrenden Kraftfahrzeug und einem Kraftfahrzeug, das seine Geschwindigkeit verringert aber weiterfährt, unterschieden wird. Die Längsführung des Kraftfahrzeugs kann weiter ausdifferenziert werden und/oder es kann zusätzlich die Querführung berücksichtigt werden. Bezüglich des Verkehrspostens kann die Klassifizierung einerseits die Ausrichtung des Verkehrspostens, insbesondere die Ausrichtung seines Rumpfes, seines Oberkörpers und/oder seines Kopfes, be- rücksichtigen, wobei beispielsweise mehrere Winkelsegmente bezüglich eines Verkehrsteilnehmers oder einer Blickrichtung der Erfassungseinrichtung definiert werden können. Beispielsweise kann zwischen einer Ausrichtung in Richtung des Verkehrsteilnehmers, entgegen der Ausrichtung des Verkehrsteilnehmers und senkrecht zu der Richtung des Verkehrsteilnehmers unter- schieden werden. Vorzugsweise wird zudem eine Arm- und Handstellung klassifiziert. Hierbei kann für den rechten und linken Arm jeweils klassifiziert werden, ob dieser Arm gestreckt oder gebeugt ist. Zudem kann eine Schulterstellung berücksichtigt werden, also ob der Arm nach vorne, zur Seite oder nach oben gestreckt ist oder herabhängt. Werden ausreichend hochauflösende Sensoren genutzt, kann auch eine Handstellung berücksichtigt werden. Zudem können insbesondere periodische Wechsel zwischen bestimmten Stellungen als Gesten klassifiziert werden. Bezüglich des in Fig. 1 abgebildeten Verkehrspostens 8 könnte beispielsweise klassifiziert werden, dass er in Richtung des Verkehrsteilnehmers 9 ausgerichtet ist, der Arm 1 1 nach vorne, also in Richtung des Verkehrsteilnehmers 9 gestreckt ist, die Hand 13 aufgerichtet ist, so dass die Handfläche dem Verkehrsteilnehmer 9 zugewiesen ist, und der linke Arm 12 seitlich weggestreckt ist, wobei, wie durch den Pfeil 15 angedeutet ist, durch ein regelmäßiges Knicken des Ellbogens eine Winkbewegung resultiert.
In einem Lernschritt S3 werden Klassifikationsparameter eines Klassifizierungsalgorithmus bestimmt, indem ein neuronales Netz derart trainiert wird, dass bei einer Zuführung des in Schritt S1 erfassten Videos als Eingangsdaten mit möglichst guter Exaktheit die in Schritt S2 manuell vorgegebenen Klassifizierungen als Ausgangsdaten resultieren. Hierzu können bekannte Verfahren des Maschinenlernens, insbesondere eine Fehlerrückführung, verwendet werden.
In dem Bereitstellungsschritt S4 werden eine Vielzahl von Trainingsdatensätzen bereitgestellt, bei denen es sich vorzugsweise um Videoaufnahmen handelt, die mit der Erfassungseinrichtung 2 aufgenommen wurden. Die Trainingsdatensätze zeigen jeweils einen Verkehrsposten 8 sowie wenigs- tens einen Verkehrsteilnehmer 9, 10. Die Trainingsdatensätze können im laufenden Fahrbetrieb des Kraftfahrzeugs erfasst werden.
In dem Klassifizierungsschritt S5 wird der in Schritt S3 trainierte Klassifizierungsalgorithmus auf jeden der Trainingsdatensätze angewandt, um den Verkehrsposten und den oder die Verkehrsteilnehmer in dem jeweiligen Trainingsdatensatz zu erkennen und, wie obig erläutert, zu klassifizieren. Jedem klassifizierten Fahrverhalten kann eindeutig eine bestimmte Fahranweisung oder eine Gruppe von Wahrscheinlichkeiten für verschiedene Fahr- anweisungen zugeordnet werden, die zu diesem Fahrverhalten führt oder führen.
In einem weiteren Maschinenlernschritt S6 liegt somit für jeden der Trainingsdatensätze ein Merkmalsvektor für die Pose bzw. Geste des Verkehrs- postens vor, der beispielsweise die obig erläuterten Merkmale bezüglich der Ausrichtung des Verkehrspostens und der Haltung und der Bewegung seiner Arme bzw. Hände umfasst. Zudem sind den einzelnen Verkehrsteilnehmern Fahranweisungen oder Wahrscheinlichkeitsverteilungen für verschiedene Fahranweisungen zugeordnet.
Mithilfe dieser Information kann ein Verarbeitungsalgorithmus, beispielsweise ein neuronales Netz, trainiert werden, der dazu dient, aus der erfassten Geste bzw. Pose eine Fahranweisung zu gewinnen. Hierzu kann beispielsweise, wie obig erläutert, ein überwachtes Lernverfahren durchgeführt werden, wo- bei die Fahranweisung bzw. die Wahrscheinlichkeitsverteilung der Fahranweisungen als gewünschte Ausgabe vorgegeben wird und der Merkmalsvektor zur Beschreibung der Pose und/oder Geste des Verkehrspostens als Eingangsgröße genutzt wird. Die Robustheit des Verarbeitungsalgorithmus kann weiter verbessert werden bzw. der Lernvorgang kann beschleunigt werden, wenn als zusätzliche Eingangsgrößen des Verarbeitungsalgorithmus sowohl bei dem Maschinenlernen als auch bei der späteren Nutzung des Verarbeitungsalgorithmus Zusatzdaten berücksichtigt werden, die Zusatzinformationen über die Fahrsitua- tion des Kraftfahrzeugs 1 bzw. der Verkehrsteilnehmer 9, 10 bereitstellen.
Beispielsweise kann auf der Verarbeitungseinrichtung 3 eine digitale Karte gespeichert sein, womit nach einer Positionsbestimmung für das Kraftfahrzeug 1 , beispielsweise über ein satellitenbasiertes Positionsbestimmungs- System, Kartenmaterial bezüglich der Umgebung des Kraftfahrzeugs 1 vorliegt. Hierdurch kann beispielsweise unterschieden werden, ob der Verkehrsposten 8 einen Verkehrsfluss auf einer Kreuzung, an einer Einmündung oder auf offener Strecke regelt.
Der Trainingsdatensatz bzw. bei späterer Verwendung des Verarbeitungsalgorithmus die Umgebungsdaten können zudem ausgewertet werden, um Infrastrukturelemente 7 zu erkennen. Das Vorhandensein und die Art der Infrastrukturelemente können somit als weitere Eingangsdaten des Verarbei- tungsalgorithmus genutzt werden.
Ergänzend ist es möglich, über die Kommunikationseinrichtung 16 des Kraftfahrzeugs Kommunikationsdaten zu erfassen, die beispielsweise über eine Fahrzeug-zu-Fahrzeugkommunikation weitere Informationen über die weite- ren Verkehrsteilnehmer 9, 10 bereitstellen können, und solche Kommunikationsdaten als weitere Eingangsdaten des Verarbeitungsalgorithmus zu nutzen.
Durch das Maschinenlernen werden die Verarbeitungsparameter des Verar- beitungsalgorithmus, also beispielsweise die Gewichte der gewichteten Summen, die in einzelnen„Neuronen" eines neuronalen Netzes berechnet werden, derart vorgegeben, dass für einen gegebenen Merkmalsvektor für die Pose bzw. Geste des Verkehrspostens 8 und optional die obig beschriebenen Zusatzinformationen mit möglichst geringem Fehler Fahranweisungen für die einzelnen Verkehrsteilnehmer 9, 10 ermittelt werden, die dem tatsächlich beobachteten Fahrverhalten der Verkehrsteilnehmer 9, 10 zuordenbar sind. Ein derart trainierter Verarbeitungsalgorithmus kann somit aus einem beobachteten Verhalten des Verkehrspostens, optional unter der Berücksichtigung von weiteren Informationen, die durch die Geste bzw. Pose dieses Verkehrspostens gegebene Fahranweisung ermitteln.
In dem Erfassungsschritt S7 werden durch die Erfassungseinrichtung 2 die Umgebung des Kraftfahrzeugs 1 betreffende Umgebungsdaten ermittelt. Diese bilden den Verkehrsposten 8 ab. Anschließend werden im Klassifizie- rungsschritt S8 die Geste und/oder Pose des Verkehrspostens 8 klassifiziert, wie dies bereits zu Schritt S5 erläutert wurde. Der resultierende Merkmals- vektor wird im Verarbeitungsschritt S9 durch den in Schritt S6 parametrisier- ten Verarbeitungsalgorithmus, also beispielsweise durch ein entsprechend parametrisiertes neuronales Netz, ausgewertet, um eine Fahranweisung zu ermitteln. Hierbei können, wie zu Schritt S6 erläutert wurde, Zusatzinformationen wie beispielsweise das Vorhandensein der Infrastruktureinrichtung 7, die Kreuzung 6 abbildende digitale Kartendaten oder über die Kommunikationseinrichtung 16 empfangene Kommunikationsdaten berücksichtigt werden.
In Schritt S10 steuert die Verarbeitungseinrichtung 3 die Fahrzeugeinrichtung 5, beispielsweise einen Aktor, an, um den Fahrbetrieb des Kraftfahrzeugs 1 gemäß der ermittelten Fahranweisung anzupassen. Alternativ oder ergänzend kann die Fahranweisung über die Fahrzeugeinrichtung 4, einen Laut- Sprecher, ausgegeben werden.
Um ein kontinuierliches weiteres Training der Verarbeitungsfunktion bzw. der Ermittlung der Fahranweisungen zu ermöglichen, werden die Schritte S4 bis S6 wiederholt, wobei die zuletzt erfassten Umgebungsdaten als zusätzliche Trainingsdaten mitberücksichtigt werden. Spätere Ermittlungen von Fahranweisungen erfolgen somit auch in Abhängigkeit dieser weiteren Trainingsdaten bzw. der vorangehend erfassten Umgebungsdaten.

Claims

P A T E N T A N S P R Ü C H E
Verfahren zur Ermittlung einer Fahranweisung, wobei durch wenigstens eine Erfassungseinrichtung (2) eines Kraftfahrzeugs (1 ) die Umgebung des Kraftfahrzeugs (1 ) betreffende Umgebungsdaten erfasst werden, wonach in Abhängigkeit der Umgebungsdaten eine den Fahrbetrieb des Kraftfahrzeugs (1 ) betreffende Fahranweisung ermittelt wird, die durch eine Geste und/oder eine Pose eines durch die Umgebungsdaten abgebildeten Verkehrspostens (8) vorgegeben wird,
dadurch gekennzeichnet,
dass die Ermittlung der Fahranweisung in Abhängigkeit von wenigstens einem Trainingsdatensatz erfolgt, der vorangehend durch die Erfassungseinrichtung (2) oder eine weitere Erfassungseinrichtung erfasst wurde und der den oder einen weiteren Verkehrsposten (8) und wenigstens einen Verkehrsteilnehmer (9, 10) abbildet.
Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet,
dass die Fahranweisung durch Anwenden eines Verarbeitungsalgorithmus auf die Umgebungsdaten oder auf aus den Umgebungsdaten ermittelte Verarbeitungsdaten ermittelt wird, wobei der Verarbeitungsalgorithmus durch mehrere Verarbeitungsparameter parametrisiert wird, die ermittelt werden, indem der Verarbeitungsalgorithmus durch den Trainingsdatensatz im Rahmen eines Maschinenlernens trainiert wird.
Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet,
dass für den Trainingsdatensatz eine Klassifikationsinformation ermittelt wird, durch die ein durch den im Trainingsdatensatz abgebildeten Verkehrsteilnehmer durchgeführtes Fahrmanöver und eine durch den im Trainingsdatensatz abgebildeten Verkehrsposten (8) eingenommene Pose und/oder durchgeführte Geste klassifiziert werden, wobei die Fahranweisung in Abhängigkeit der Klassifikationsinfornnation ermittelt wird.
Verfahren nach Anspruch 3,
dadurch gekennzeichnet,
dass das Fahrmanöver des Verkehrsteilnehmers (9, 10) und/oder die Pose und/oder Geste des Verkehrspostens (8) durch einen Klassifizierungsalgorithmus klassifiziert werden, der durch mehrere Klassifikationsparameter parametrisiert wird, die ermittelt werden, indem der Klassifizierungsalgorithmus durch mehrere Anlerndatensätze im Rahmen eines Maschinenlernens trainiert wird.
Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass die Fahranweisung in Abhängigkeit wenigstens eines in den Umgebungsdaten und/oder in dem Trainingsdatensatz erkannten Infrastrukturelements (7) ermittelt wird.
Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass die Fahranweisung in Abhängigkeit von die Umgebung des Kraftfahrzeugs (1 ) und/oder der weiteren Erfassungseinrichtung (2) betreffenden digitalen Kartendaten ermittelt wird.
Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass die Fahranweisung in Abhängigkeit von über eine Kommunikationseinrichtung (16) des Kraftfahrzeugs (1 ) empfangenen Kommunikationsdaten ermittelt wird.
Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
das die Umgebungsdaten als weiterer Trainingsdatensatz genutzt werden, wobei durch die Erfassungseinrichtung (2) zu einem späteren Zeitpunkt weitere Umgebungsdaten erfasst werden, wonach in Abhängigkeit der weiteren Umgebungsdaten und des weiteren Trainingsdatensatzes eine den Fahrbetrieb des Kraftfahrzeugs (1 ) zu dem späteren Zeitpunkt betreffende weitere Fahranweisung ermittelt wird, die durch die oder eine weitere Geste und/oder die oder eine weitere Pose des oder eines weiteren durch die weiteren Umgebungsdaten abgebildeten Verkehrspostens (8) vorgegeben wird.
Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass wenigstens eine Fahrzeugeinrichtung (4, 5) des Kraftfahrzeugs (1 ) in Abhängigkeit der Fahranweisung angesteuert wird, um einen die Fahranweisung betreffenden Hinweis an einen Nutzer auszugeben und/oder das Kraftfahrzeug (1 ) gemäß der Fahranweisung zu führen.
Kraftfahrzeug, umfassend eine Erfassungseinrichtung (2) zur Erfassung von die Umgebung des Kraftfahrzeugs (1 ) betreffenden Umgebungsdaten und eine die Umgebungsdaten auswertende Verarbeitungseinrichtung (3),
dadurch gekennzeichnet,
dass die Verarbeitungseinrichtung (3) zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche eingerichtet ist.
PCT/EP2018/062524 2017-05-23 2018-05-15 Verfahren zur ermittlung einer fahranweisung WO2018215242A2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/607,308 US11282299B2 (en) 2017-05-23 2018-05-15 Method for determining a driving instruction
CN201880033013.5A CN110636964A (zh) 2017-05-23 2018-05-15 用于确定行驶指令的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017208728.5A DE102017208728B4 (de) 2017-05-23 2017-05-23 Verfahren zur Ermittlung einer Fahranweisung
DE102017208728.5 2017-05-23

Publications (2)

Publication Number Publication Date
WO2018215242A2 true WO2018215242A2 (de) 2018-11-29
WO2018215242A3 WO2018215242A3 (de) 2019-01-31

Family

ID=62222632

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/062524 WO2018215242A2 (de) 2017-05-23 2018-05-15 Verfahren zur ermittlung einer fahranweisung

Country Status (4)

Country Link
US (1) US11282299B2 (de)
CN (1) CN110636964A (de)
DE (1) DE102017208728B4 (de)
WO (1) WO2018215242A2 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10539959B1 (en) * 2017-10-31 2020-01-21 Waymo Llc Detecting and responding to people directing traffic for autonomous vehicles
FR3104109A1 (fr) * 2019-12-10 2021-06-11 Psa Automobiles Sa Procédé et système pour gérer le guidage d’un véhicule automobile en présence d’un individu régulant la circulation routière à proximité du véhicule
US11422559B2 (en) * 2020-02-18 2022-08-23 Wipro Limited Method and system of navigating an autonomous vehicle at an intersection of roads
WO2023076887A1 (en) * 2021-10-29 2023-05-04 Tusimple, Inc. Autonomous vehicle maneuver in response to construction zone hand signals
EP4422952A1 (de) * 2021-10-29 2024-09-04 Tusimple, Inc. Handsignaldetektionssystem mit sicht

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160144867A1 (en) 2014-11-20 2016-05-26 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to traffic officer presence

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
DE10334620B4 (de) * 2003-07-30 2023-07-06 Robert Bosch Gmbh Generierung von Verkehrshinweisen durch die Interpretation von Verkehrszeichenszenarien und Navigationsinformation in einem Fahrzeug
EP1926048B1 (de) * 2006-11-21 2010-02-24 Harman Becker Automotive Systems GmbH Darstellung von Videobildern einer Fahrzeugumgebung
US20090180668A1 (en) * 2007-04-11 2009-07-16 Irobot Corporation System and method for cooperative remote vehicle behavior
US7983450B2 (en) * 2009-03-16 2011-07-19 The Boeing Company Method, apparatus and computer program product for recognizing a gesture
JP4957747B2 (ja) 2009-05-18 2012-06-20 トヨタ自動車株式会社 車両環境推定装置
US9824601B2 (en) * 2012-06-12 2017-11-21 Dassault Systemes Symbiotic helper
US8996228B1 (en) * 2012-09-05 2015-03-31 Google Inc. Construction zone object detection using light detection and ranging
DE102013207223A1 (de) * 2013-04-22 2014-10-23 Ford Global Technologies, Llc Verfahren zur Erkennung von nicht motorisierten Verkehrsteilnehmern
DE102013010932B4 (de) * 2013-06-29 2015-02-12 Audi Ag Verfahren zum Betreiben einer Bedienschnittstelle, Bedienschnittstelle sowie Kraftfahrzeug mit einer Bedienschnittstelle
US9014905B1 (en) * 2014-01-28 2015-04-21 Google Inc. Cyclist hand signal detection by an autonomous vehicle
CN104281839A (zh) * 2014-09-26 2015-01-14 深圳市同洲电子股份有限公司 一种人体姿势识别方法和装置
US9248834B1 (en) 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
DE102015004605B4 (de) 2015-04-08 2021-01-14 Audi Ag Verfahren zum Betrieb eines Steuersystems einer Mobileinheit und Mobileinheit
CN105678316B (zh) * 2015-12-29 2019-08-27 大连楼兰科技股份有限公司 基于多信息融合的主动驾驶方法
US10832071B2 (en) * 2016-09-01 2020-11-10 International Business Machines Corporation Dynamic determination of human gestures based on context
DE112016007376T5 (de) * 2016-10-25 2019-07-25 Mitsubishi Electric Corporation Vorrichtung zur Bestimmung von Peripherie-Informationen und Verfahren zur Bestimmung von Peripherie-Informationen
US10571285B2 (en) * 2017-04-17 2020-02-25 Ford Global Technologies, Llc Vehicle route control
WO2019116099A1 (en) * 2017-12-13 2019-06-20 Humanising Autonomy Limited Systems and methods for predicting pedestrian intent
US11971714B2 (en) * 2018-02-19 2024-04-30 Martin Tremblay Systems and methods for autonomous vehicles
US10665109B1 (en) * 2019-05-17 2020-05-26 sibrtech inc. Construction zone apparatus and method
US20210300423A1 (en) * 2020-03-31 2021-09-30 Toyota Motor North America, Inc. Identifying roadway concerns and taking preemptive actions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160144867A1 (en) 2014-11-20 2016-05-26 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to traffic officer presence

Also Published As

Publication number Publication date
US11282299B2 (en) 2022-03-22
CN110636964A (zh) 2019-12-31
DE102017208728A1 (de) 2018-11-29
US20200346664A1 (en) 2020-11-05
DE102017208728B4 (de) 2024-10-24
WO2018215242A3 (de) 2019-01-31

Similar Documents

Publication Publication Date Title
DE102017208728B4 (de) Verfahren zur Ermittlung einer Fahranweisung
DE102019104974A1 (de) Verfahren sowie System zum Bestimmen eines Fahrmanövers
DE112017006567B4 (de) System und verfahren zum bereitstellen einer fahrerausbildung für einen menschlichen insassen eines autonomen fahrzeugs
DE102019126904A1 (de) System und verfahren zur verwendung eines zeitlich wiederkehrenden netzwerks zur online-aktionserfassung
DE102013005362A1 (de) Verfahren zur Analyse einer Verkehrssituation
DE102019209736A1 (de) Verfahren zur Bewertung möglicher Trajektorien
DE102018210280A1 (de) Anpassung der Trajektorie eines Ego-Fahrzeugs an bewegte Fremdobjekte
DE102017217443A1 (de) Verfahren und System zur Bereitstellung von Trainingsdaten zum maschinellen Lernen für ein Steuerungsmodell einer automatischen Fahrzeugsteuerung
WO2015000882A1 (de) Assistenzsystem und assistenzverfahren zur unterstützung bei der steuerung eines kraftfahrzeugs
DE102014205391A1 (de) Vorrichtung zur Vorhersage von Fahrzustandsübergängen
DE102018203583B4 (de) Verfahren, Fahrerassistenzsystem sowie Kraftfahrzeug zur Prädiktion einer Position oder einer Trajektorie mittels eines graphbasierten Umgebungsmodells
DE102018104270A1 (de) Verfahren zum Vorhersagen des Verhaltens mindestens eines Fußgängers
DE102020124633A1 (de) Kontextsensitive anpassung einer geländeblickzeit
DE102017216202A1 (de) Verfahren zur Prädiktion einer optimalen Fahrspur auf einer mehrspurigen Straße
DE102016210760A1 (de) Verfahren zur Interaktion zwischen einem Fahrzeug und Verkehrsteilnehmer
DE102018133457B4 (de) Verfahren und System zum Bereitstellen von Umgebungsdaten
EP3609755A1 (de) Fahrerassistenzsystem für ein fahrzeug
WO2019120709A1 (de) Verfahren und steuereinheit zur steuerung einer funktion eines zumindest teilweise automatisiert fahrenden fahrzeugs
DE102020211971A1 (de) Fahrzeugtrajektorienvorhersage unter verwendung von strassentopologie und verkehrsteilnehmer-objektzuständen
DE102020209987A1 (de) Vorrichtung und Verfahren zum Verarbeiten von Umfeldsensordaten
DE102019125245A1 (de) System und Verfahren zum bedarfsorientierten Anpassen eines Durchlasses zwischen zwei Fahrzeugen
DE102018114628A1 (de) Auf tiefem Lernen basierende automatische oder halbautomatische Ausparkverfahren
DE102020203836A1 (de) Verfahren zur Bestimmung eines Wertes einer Reglergröße
DE102019104973A1 (de) Verfahren sowie Steuergerät für ein System zum Steuern eines Kraftfahrzeugs
DE102018208117A1 (de) Verfahren zum Auslösen eines Ampelklassifizierungsalgorithmus zur Klassifizierung einer Ampelanlage für ein Fahrzeug und Verfahren zum Klassifizieren einer Ampelanlage für ein Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18726397

Country of ref document: EP

Kind code of ref document: A2

122 Ep: pct application non-entry in european phase

Ref document number: 18726397

Country of ref document: EP

Kind code of ref document: A2