WO2018206481A1 - Method for generating training data for a machine-learning-based pattern recognition method for a motor vehicle, motor vehicle, method for operating a computing unit, and system - Google Patents

Method for generating training data for a machine-learning-based pattern recognition method for a motor vehicle, motor vehicle, method for operating a computing unit, and system Download PDF

Info

Publication number
WO2018206481A1
WO2018206481A1 PCT/EP2018/061659 EP2018061659W WO2018206481A1 WO 2018206481 A1 WO2018206481 A1 WO 2018206481A1 EP 2018061659 W EP2018061659 W EP 2018061659W WO 2018206481 A1 WO2018206481 A1 WO 2018206481A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern recognition
recognition method
motor vehicle
training data
local confidence
Prior art date
Application number
PCT/EP2018/061659
Other languages
German (de)
French (fr)
Inventor
Felix Friedmann
Oleksandr VOROBIOV
Original Assignee
Audi Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi Ag filed Critical Audi Ag
Publication of WO2018206481A1 publication Critical patent/WO2018206481A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques

Definitions

  • the invention relates to a method for generating training data for a machine learning based pattern recognition method for a motor vehicle, a motor vehicle, a method for operating a computing device and a system according to the independent claims.
  • DE 10 2013 021 840 A1 describes a detection algorithm for calculating a confidence value for an object detected in an environment of a motor vehicle.
  • a surrounding area of the motor vehicle is recorded in an image by means of a camera of a driver assistance system and objects in the image are detected by means of an image processing device.
  • the image processing device determines at least one property for each detected object and, using a predetermined optimization algorithm, generates an environment model for the surrounding area of the motor vehicle. Subsequently, by means of the image processing device, the properties of the objects are compared with the environment model and, based on the comparison, incorrectly determined properties are detected.
  • DE 10 2009 048 699 A1 discloses a neural network for teaching a probability analysis for determining a confidence for a clear path for a vehicle.
  • a plurality of images which are generated by means of a camera device, are compared and analyzed with one another.
  • areas which indicate a free area on which a potential roadway can be estimated are separated from other areas of the respective image which do not indicate a potential roadway.
  • the free path can be based on the free area be determined and the vehicle operated in response to the free path by means of a driver assistance system.
  • DE 10 2010 020 298 A1 describes a method for determining traffic data from a sequence of partially overlapping, georeferenced digital aerial images.
  • the digital aerial images are successively provided with confidence values by means of classifiers trained on vehicle recognition, the confidence values indicating a probability that a vehicle was recognized at the respective location.
  • features of training data which in turn are extracted from a data set of example cars, are extracted from digital aerial images having the same resolution as the geo-referenced digital aerial images taken in flight.
  • the object of the present invention is to provide a method for generating training data for a machine learning based pattern recognition method for a motor vehicle, a motor vehicle, a method for operating a computing device, and a system by which training data for a machine learning based improvement process of Pattern recognition method can be generated particularly advantageous, so that the improvement process can be carried out particularly efficiently.
  • the object is achieved according to the invention by a method for generating training data for a machine learning based pattern recognition method for a motor vehicle, a motor vehicle, a method for operating a computing device and a system having the features of the independent claims.
  • Advantageous embodiments with expedient developments of the invention are specified in the respective dependent claims and in the description.
  • a first aspect of the invention relates to a method of generating training data for a machine learning based pattern recognition method for a motor vehicle.
  • the pattern recognition method and at least one reference system different from the pattern recognition method each provide at least one measured value during operation of the motor vehicle.
  • respective accuracies are determined as respective local confidence values of the measured values.
  • respective average recognition rates are determined as the basic confidence of the pattern recognition method and the reference system.
  • a local confidence comparison is carried out in which the respective basic confi- dences and the respective local confidence values are compared.
  • the method first selects the pattern recognition method and the reference system for the respective motor vehicle, determines the respective average recognition rate as basic confidence, and implements and integrates the pattern recognition method and the reference system into the motor vehicle.
  • the respective measured values and their accuracy are determined as the local confidence values by means of the pattern recognition method and by means of the reference system, the respective accuracy determining a deviation probability of the respective measured value from a corresponding includes real value.
  • the respective basic confidences and the respective local confidence values of the pattern recognition method and of the reference system are compared with one another in order to determine and compare a respective validity of the pattern recognition method and the reference system.
  • the respective validity comprises the respective average recognition rates and the respective accuracies of the pattern recognition method or of the reference system.
  • the respective measured values with the respective associated local confidence values are sent as the training data to the computing device.
  • the respective measurement data with the associated local confidence values are sent to the computing device as training data, if the local confidence comparison shows a higher validity of the reference system compared to the pattern recognition method in a respective measurement situation.
  • the measurement data with the associated local confidence values are not sent to the computing device as training data if the validity of the pattern recognition method which exceeds the validity of the reference system.
  • training data can be advantageously generated specifically for such situations, in which the pattern recognition method is inferior to the reference system in terms of validity.
  • the training data generated in the method it is thus possible with the training data generated in the method to particularly efficiently train situations in which the pattern recognition method is subject to the validity of the reference system. This allows for a particularly effective training of the pattern recognition method in the improvement process, since only training data which have turned out to be relevant in the course of the local confidence comparison are used for training.
  • the local confidence comparison is carried out for a locally limited area for simultaneously recorded respective measured values.
  • the local confidence comparison is carried out for respective measured values of the pattern recognition method and of the reference system, which have been recorded in the localized area on a timely basis, that means in particular in the same traffic situation.
  • the local confidence comparison for the locally restricted area for measured values recorded in the same traffic situation can thus be carried out between the pattern recognition method and the reference system.
  • first training data in which the local confidence values of the pattern recognition method have a high discrepancy with the local confidence values of the reference system
  • second training data in which the local confidence values of the pattern recognition method have a lower discrepancy compared to the high discrepancy to the local confidence values of the reference system, with a lower priority compared to the high priority.
  • the training data are determined as a function of the discrepancy, determined in the local confidence comparison, between the validities of the respective measured values of the patterner comprising the respective basic confidence and the respective local confidence value. identification system and the reference system with different priorities.
  • the respective priorities influence delivery of the training data to the machine learning based improvement process of the pattern recognition method.
  • Training data having the high priority is fed to the improvement process earlier than training data having the lower priority than the high priority.
  • the first training data in which the validity of the pattern recognition method has the high discrepancy with the validity of the reference system, are fed to the improvement process earlier than the second training data, which are provided with the lower priority, thus the pattern recognition method can be trained particularly effectively in the course of the improvement process.
  • the training data is generated by means of the pattern recognition method and the reference system, and then the pattern recognition method is trained with the prioritized training data in the improvement process.
  • the training of the pattern recognition method takes place by means of machine learning, for example using neural networks.
  • the pattern recognition method is sent in its improved version to the motor vehicle, wherein it can be used in its improved version together with the reference system for the generation of new training data.
  • the pattern recognition method can thus be continuously improved.
  • the computing device which is designed as an external component with respect to the motor vehicle, receives training data from a plurality of motor vehicles, prioritizes it, trains the pattern recognition method on the basis of the training data of the plurality of motor vehicles, the pattern recognition method via machine learning changed and sent to the respective motor vehicles.
  • the computing device is superordinate to the motor vehicle, in particular the plurality of motor vehicles, and is arranged at a distance from the motor vehicles. This advantageously makes it possible to obtain the training data for the training from a large number of measured values. Nieren the pattern recognition method are generated, whereby many different traffic situations can be detected by means of the measured values and reproduced in the training data.
  • the pattern recognition method can advantageously be trained by means of particularly extensive training data.
  • the computing device transmits the pattern recognition method, which is improved by the training, to the respective motor vehicles, so that new training data for further improving the pattern recognition method can be generated by means of the improved pattern recognition method.
  • a second aspect of the invention relates to a motor vehicle, which is designed to carry out the method described.
  • the pattern recognition method can thus be trained with the training data generated by the method.
  • the invention also includes a control device for the motor vehicle.
  • the control device has a processor device which is set up to carry out an embodiment of the method according to the invention.
  • the processor device can have at least one microprocessor and / or at least one microcontroller.
  • the processor device can have program code which is set up to execute the embodiment of the method according to the invention when executed by the processor device.
  • the program code may be stored in a data memory of the processor device.
  • a third aspect of the invention relates to a method of operating a computing device for training at least one machine learning based pattern recognition method for at least one motor vehicle.
  • the computing device receives respective measured values provided by the pattern recognition method and at least one reference system of the motor vehicle different from the pattern recognition method during operation of the motor vehicle.
  • the computing device receives respective local confidence values of the measured values.
  • the computing means receives the measurement values and the associated confidence values as training data for an improvement process of the pattern recognition method by means of the machine learning.
  • the computing device transmits the training data, for example, to a neural network by means of which the pattern recognition method is trained with the training data.
  • the computing device includes the neural network so that the pattern recognition process is trained by the computing device in the machine learning based improvement process.
  • the pattern recognition method can thereby be improved particularly efficiently and quickly.
  • a fourth aspect of the invention relates to a system for a machine learning based pattern recognition method for a motor vehicle.
  • the system comprises a reference system of the motor vehicle, wherein for the reference system a first average recognition rate is determined as the first basic confidence and wherein by means of the reference system during operation of the motor vehicle at least a first measured value and depending on temporal and local properties a first accuracy be determined as the first local confidence value of the first measured value.
  • the system comprises a detection device of the motor vehicle that is different from the reference system and designed to carry out the pattern recognition method.
  • a second average recognition rate is determined as a second basic confidence.
  • At least one second measured value is provided by means of the pattern recognition method during operation of the motor vehicle and a second accuracy is determined as a second local confidence value of the second measured value as a function of temporal and spatial properties.
  • the system has an arithmetic unit of the motor vehicle which is set up to perform a local confidence comparison in which the respective basic confidences and the respective local confidence values are compared, and depending on the local confidence comparison, at least the respective measured values with the associated local To send confidence values as training data to a calculating unit designed to train the pattern recognition method.
  • the system comprises the reference system for which the first basic confidence is determined and by means of which the at least one first measured value, in particular a plurality of measured values with associated first local confidence values, is determined during operation of the motor vehicle.
  • the average recognition rate of the pattern recognition method is determined on the basis of input data provided by the detector.
  • the input data are detected, on the basis of which the pattern recognition method moreover determines the at least one second measured value as well as respective associated, in Depending on temporal and spatial properties determined second local confidence values determined.
  • the local confidence comparison between the first basic confidence, the second basic confidence, the at least one first local confidence value and the at least one second local confidence value is performed.
  • training data for training the pattern recognition method can be generated by the system and provided for a computing device for carrying out a machine learning based improvement process of the pattern recognition method.
  • the computing device is superordinate and is adapted to receive training data from multiple vehicles, to prioritize them, to train the pattern recognition method on the basis of the training data of the plurality of motor vehicles, to change the pattern recognition method via machine learning and to this to send the respective motor vehicles.
  • the superordinate computing device is arranged externally to the motor vehicles and at a distance from the motor vehicles.
  • the system can thus generate the training data for training the pattern recognition method from a multiplicity of measurement data acquired with a plurality of motor vehicles and associated local confidence values. This enables a particularly efficient improvement process of the pattern recognition method by means of the computing device.
  • the detection device comprises a camera by means of which vehicle camera images can be recorded and evaluated in the detection device.
  • the pattern recognition method determines the second measured value and the associated second local confidence value of the second measured value on the basis of at least one vehicle camera image recorded by the camera.
  • the second measured value is a distance of the motor vehicle in which the detection device is arranged, to a road user who is at a distance from the motor vehicle.
  • the pattern recognition method by means of the pattern recognition method, the road user is classified and depending on the Classification and its size determined on the vehicle camera image, the distance between the motor vehicle and the road user. This results in the advantage that the second measured value can be determined particularly easily, for example with the aid of an image processing method, by means of the pattern recognition method.
  • the reference system detects a laser device and / or a radar device, by means of which a distance from the motor vehicle to a road user can be determined.
  • the distance from the motor vehicle to the road user is determined by means of the reference system by means of a laser device and / or with the aid of a radar device.
  • the laser device and the radar device are advantageously particularly accurate measuring systems, so that the at least one first measured value can be detected with particularly high accuracy by means of the reference system having the laser device and / or the radar device.
  • FIG. 1 is a process diagram for generating training data for a machine learning based pattern recognition method for a motor vehicle
  • FIG. 2 shows a schematic side view of a motor vehicle with a reference system, a detection device and a motor vehicle
  • Arithmetic unit and a higher-level computing device are considered Arithmetic unit and a higher-level computing device.
  • the training data are generated during operation of the motor vehicle 1 and transmitted to a computing device 6.
  • the pattern recognition method is trained by machine learning in an improvement process.
  • the pattern recognition method in the motor vehicle 1 is implemented in a first method step S1 1.
  • a first second method step S21 an average recognition rate of the pattern recognition method is determined as the second basic confidence of the pattern recognition method.
  • a second measured value and an associated second local confidence value are determined by means of the pattern recognition method. Both the second basic confidence and the second local confidence value are supplied to a local confidence comparison, which is carried out in a fourth method step S4.
  • a reference system 4 is implemented in the motor vehicle 1. Subsequently, a first basic confidence of the reference system 4 is determined in a second second method step S22, and in a second third method step S32, a first measured value and an associated first local confidence value for the first measured value are determined by means of the reference system 4. Both the first basic confidence and the first local confidence value are supplied to the local confidence comparison of the fourth method step S4.
  • the respective ones first method steps S1 1, S21 and S31 can each be carried out simultaneously or with a time delay to the second method steps S12, S22 and S32.
  • the fourth method step S4 the first basic confidence, the second basic confidence, the first local confidence value and the second local confidence value are compared in the course of the local confidence comparison.
  • training data are generated as a function of the local confidence comparison by filtering out respective measured values and respective associated local confidence values, in which the local confidence comparison has revealed a higher validity of the reference system 4 compared to the pattern recognition method. This means that the training data are generated from the measured values and the associated local confidence values in which the respective accuracy and / or the respective average recognition rate of the reference system 4 is above that of the pattern recognition method.
  • the respective measured values forming the training data and the respective local confidence values are prioritized in a sixth method step S6 as a function of a discrepancy between the respective local confidence values and the respective basic confidences of the pattern recognition method and the reference system 4.
  • a seventh method step S7 the pattern recognition method is trained with the aid of machine learning.
  • the improvement process of the pattern recognition method is performed by means of the prioritized training data.
  • a new, improved pattern recognition method is created on the basis of the improvement process in the seventh method step S7.
  • FIG. 2 shows a schematic side view of a system comprising a motor vehicle 1, a computing unit 2, a detection device 3 and a reference system 4, and the computing device 6.
  • both the arithmetic unit 2 and the detection device 3 and the reference system 4 is arranged in or on the motor vehicle 1.
  • the motor vehicle 1 comprises a pattern recognition process system which comprises the detection device 3 and the arithmetic unit 2.
  • the detection device 3 comprises detection sensors, such as a camera and / or a lidar.
  • the arithmetic unit 2 may comprise a pattern recognition control unit for carrying out the pattern recognition method, in particular a neuromorphic chip, a field programmable gate array (FPGA) and / or a graphics processor (GPU).
  • the motor vehicle 1 includes reference sensors and a reference controller on which the reference method for the pattern recognition method runs.
  • the arithmetic unit 2 has a module for comparing the basic confi- dences and the local confidence values.
  • this is a comparison control unit, on which the basic confidences and the respective local confidence values of the pattern recognition method system and the reference system 4 can be compared and on which a decision can be made as to whether the current measured values are used as training data for the pattern recognition method to a backend , that means the computing device 6, to be transmitted.
  • the vehicle has a mobile radio module, not shown in the figures.
  • the training data can be sent to the computer 6.
  • the computing device 6 comprises a mobile radio connection for receiving the training data, that is to say the measured values and the associated local confidence values for which the local confidence comparison has revealed that the pattern recognition method should be improved.
  • the pattern recognition method is re-trained, tested and then sent to the motor vehicle 1 or several motor vehicles 1.
  • a road user 5 can be detected.
  • the detection of the traffic participant 5 is evaluated in the arithmetic unit 2 of the motor vehicle 1.
  • the respective basic confidences of the pattern recognition method and the reference system 4 as well as the pattern recognition method are stored in the arithmetic unit 2.
  • the reference system 4 detects the road user 5, determines the first measured value and the associated first local confidence value and transmits them to the arithmetic unit 2.
  • the local confidence comparison is performed and the training data is generated based on the local confidence comparison.
  • training data are transmitted from the arithmetic unit 2 to the higher-level computer 6.
  • the higher-level computer 6 prioritizes the training data and performs the improvement process of the pattern recognition method. Subsequently, the computing device 6 transmits the new, improved pattern recognition method to the arithmetic unit 2 of the motor vehicle 1.
  • the first third method step S31 is performed by means of the detection device 3 and the arithmetic unit 2.
  • the second third method step S32 is performed by the reference system 4.
  • the local confidence comparison of the fourth method step S4 takes place in the arithmetic unit 2 of the motor vehicle 1.
  • the fifth method step S5, in which the training data are generated, takes place in the arithmetic unit 2 of the motor vehicle 1.
  • the prioritization of the training data of the sixth method step S6 takes place in the computing device 6, in which the improvement process and the creation of the new, improved pattern recognition method of the seventh method step S7 and the eighth method step S8 also take place.
  • the method described is based on the finding that software functions which fulfill pattern recognition tasks in the motor vehicle 1 are currently being developed as part of a development process and are being transmitted to respective motor vehicles 1, in particular customer vehicles.
  • the software functions are manually developed and evaluated by humans.
  • Machine learning makes it possible to train the pattern recognition process in the improvement process, which means to develop automatically.
  • improvement processes are trained in a development stage of the software function and the pattern recognition method does not change in the motor vehicle 1 or can be changed only with considerable effort.
  • Examples of methods of pattern recognition are recognition of at least one road user 5, in particular other vehicles, in vehicle camera images, a determination of a distance to the road user 5 and / or a spatial depth on the basis of the driving Toy camera images, a prediction of an intention of the road user 5 in an environment of the motor vehicle 1 and a prediction of a behavior of a driver of the motor vehicle.
  • a disadvantage of an exclusive training of the pattern recognition method in the development stage is that the pattern recognition method can not automatically respond to novel situations that occur after completion of the development process. Although it is possible in principle to collect measurement data for further training, to re-train the pattern recognition method and to distribute it by software updates to customer vehicles, a considerable effort is required when recording new measurement data by means of measuring vehicles.
  • the machine learning based pattern recognition method it is usually necessary to annotate input data, such as the vehicle camera images as well as reference data generated by the reference system 4 as first measurement data, such as a distance to the road user 5, in particular to compare.
  • input data such as the vehicle camera images
  • reference data generated by the reference system 4 as first measurement data, such as a distance to the road user 5, in particular to compare.
  • the reference system 4 installed in the motor vehicle 1, which in the present case comprises a radar device for a speed measurement and a laser scanner for a distance measurement, it is possible to automatically annotate the second measured values obtained in the motor vehicle 1 and determined by the pattern recognition method with the first measured values of the reference system 4 in particular, and thus to generate a data set, in particular the training data for a continuous training of the pattern recognition method.
  • advantageously training goals, in particular labels can be generated.
  • the machine learning based pattern recognition method and a reference method based on the reference system 4 are considered to be parallel systems each having at least one basic confidence and at least one local confidence value.
  • the respective basic confidence is determined by an average detection rate or error rate measured in tests. For example, this is a percentage of correctly recognized pedestrians, ie a correct classification of the road user 5.
  • the basic confidence depends on underlying individual elements, in particular hardware, due to a maximum resolution, a noise and / or a fault , and dependent of functions implemented on the individual elements.
  • the respective at least one local confidence value relates to a value distribution output by the pattern recognition method and by the reference method for an expected accuracy of the respective measured values per local and temporal unit.
  • the respective basic confidence and the respective local confidence values are used to decide how the respective measured values of the pattern recognition method and the reference method are to be used further, for example an emergency braking depending on the measured values can be triggered.
  • the local confidence comparison it is determined for local areas how strongly the respective measured values of the two methods are to be included in a decision of a driver assistance system. For a given spatial area, for example, respective first measured values of a Mobileye Passantenerkennung can be used and for other areas respective second measured values of the pattern recognition method.
  • the currently evaluated measured values are annotated together with their local confidence values, which means in particular stored, transmitted to the external computing device 6, also referred to as the backend, and there to train the pattern recognition method used in the improvement process.
  • the measured values annotated with the respective local confidence values, in particular assigned, are weighted in the backend as a function of the discrepancy within and between the basic confi- dences and the local confidence values in the training.
  • Measured values in which the pattern recognition method performs particularly poorly compared to the reference method are prioritized in training. This results in the advantage that the measured values in which the particularly high discrepancy occurs within and between the basic confi- dences and the local confidence values between the pattern recognition method and the reference method are used to give samples a higher priority during training for these particularly critical measured values To provide. hereby there is a significant increase in quality of the trained, improved pattern recognition method.
  • the described method it is possible to use the measured values for a continuous learning process and thus a continuous improvement and adaptation of the developed software functions, in particular of the pattern recognition method.
  • at least one customer's vehicle as the motor vehicle 1 for recording new measurement data, it is possible to achieve a particularly high coverage.
  • particularly unusual situations can be recorded in order to improve the pattern recognition method for these situations called Corner Cases.
  • the described automatic development process makes a particularly high speed of reaction possible, since interruptions occurring in manual development processes can be dispensed with. As a result, problems that arise in the at least one customer vehicle can be remedied particularly quickly.
  • an annotation, in particular the generation, of the training data is carried out automatically by the reference method, in particular by the local confidence comparison of the pattern recognition method with the reference method.
  • the priority ascertained via the discrepancy within and between the basic confidences and the local confidence values it is possible to train the pattern recognition method with new measured values arriving in the computing device 6 in accordance with the respective priority. This will resolve particularly critical issues first.
  • the respective local confidence values it is possible to specifically reduce weaknesses of the pattern recognition method in the case of certain patterns occurring by weighting the training data locally.
  • the method described selectively transfers the measured values only if they represent an added value for the training. In this way, a data volume can be kept particularly low during a transmission of the training data from the arithmetic unit 2 to the arithmetic unit 6.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention relates to a method for generating training data for a machine-learning-based pattern recognition method for a motor vehicle (1), in which method the pattern recognition method and at least one reference system (4) different from the pattern recognition method each provide at least one measurement value during operating of the motor vehicle (1). Furthermore, accuracies are determined as local confidence values of the measurement values in accordance with temporal and local properties, and average detection rates are determined for the pattern recognition method and for the reference system (4) as base confidences of the pattern recognition method and of the reference system (4). Additionally, a local confidence comparison is carried out, in which the base confidences and the local confidence values are compared and, in accordance with the local confidence comparison, at least the measurement values comprising the associated local confidence values as training data are sent to a computing unit (6) designed to train the pattern recognition method. Furthermore, the invention relates to a motor vehicle (1), a method for operating a computing unit (6), and a system.

Description

Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, Kraftfahrzeug, Verfahren zum Betreiben einer Recheneinrichtung sowie System  A method of generating training data for a machine learning based pattern recognition method for a motor vehicle, motor vehicle, method of operating a computing device, and system
BESCHREIBUNG: DESCRIPTION:
Die Erfindung betrifft ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Musterkennungsverfahren für ein Kraftfahrzeug, ein Kraftfahrzeug, ein Verfahren zum Betreiben einer Re- cheneinrichtung sowie ein System gemäß den unabhängigen Patentansprüchen. The invention relates to a method for generating training data for a machine learning based pattern recognition method for a motor vehicle, a motor vehicle, a method for operating a computing device and a system according to the independent claims.
Aus der DE 10 2013 021 840 A1 ist ein Detektionsalgorithmus zur Berechnung eines Konfidenzwertes für ein in einem Umfeld eines Kraftfahrzeugs detektiertes Objekt beschrieben. Hierfür werden mittels einer Kamera eines Fahrerassistenzsystems ein Umgebungsbereich des Kraftfahrzeugs in einem Bild aufgezeichnet und mittels einer Bildbearbeitungseinrichtung Objekte in dem Bild detektiert. Darüber hinaus ermittelt die Bildverarbeitungseinrichtung zu jedem detektierten Objekt zumindest eine Eigenschaft und erzeugt unter Verwendung eines vorbestimmten Optimierungsalgorithmus ein Umgebungsmodell zu dem Umgebungsbereich des Kraftfahrzeugs. Anschließend werden mittels der Bildverarbeitungseinrichtung die Eigenschaften der Objekte mit dem Umgebungsmodell verglichen und anhand des Vergleichs fehlerhaft ermittelte Eigenschaften detektiert. DE 10 2013 021 840 A1 describes a detection algorithm for calculating a confidence value for an object detected in an environment of a motor vehicle. For this purpose, a surrounding area of the motor vehicle is recorded in an image by means of a camera of a driver assistance system and objects in the image are detected by means of an image processing device. In addition, the image processing device determines at least one property for each detected object and, using a predetermined optimization algorithm, generates an environment model for the surrounding area of the motor vehicle. Subsequently, by means of the image processing device, the properties of the objects are compared with the environment model and, based on the comparison, incorrectly determined properties are detected.
Die DE 10 2009 048 699 A1 offenbart ein neuronales Netz zum Anlernen einer Wahrscheinlichkeitsanalyse zur Ermittlung einer Konfidenz für einen freien Pfad für ein Fahrzeug. Hierfür werden mehrere Bilder, welche mittels einer Kameraeinrichtung erzeugt werden, miteinander verglichen und analy- siert. Dabei werden auf den jeweiligen Bildern Bereiche, welche eine freie Fläche angeben auf der eine potentielle Fahrbahn geschätzt werden kann, von anderen Bereichen des jeweiligen Bilds getrennt, die keine potentielle Fahrbahn angeben. Der freie Pfad kann auf Grundlage der freien Fläche ermittelt werden und das Fahrzeug in Abhängigkeit von dem freien Pfad mittels eines Fahrerassistenzsystems betrieben werden. DE 10 2009 048 699 A1 discloses a neural network for teaching a probability analysis for determining a confidence for a clear path for a vehicle. For this purpose, a plurality of images, which are generated by means of a camera device, are compared and analyzed with one another. In the process, areas which indicate a free area on which a potential roadway can be estimated are separated from other areas of the respective image which do not indicate a potential roadway. The free path can be based on the free area be determined and the vehicle operated in response to the free path by means of a driver assistance system.
Die DE 10 2010 020 298 A1 beschreibt ein Verfahren zur Ermittlung von Verkehrsdaten aus einer Sequenz sich teilweise überlappender, georeferen- zierter digitaler Luftbilder. Die digitalen Luftbilder werden nacheinander mittels auf Fahrzeugerkennung trainierter Klassifikatoren mit Konfidenzwerten versehen, wobei die Konfidenzwerte eine Wahrscheinlichkeit angeben, dass an der jeweiligen Stelle ein Fahrzeug erkannt wurde. Zum Trainieren des jeweiligen Klassifikators werden Merkmale von Trainingsdaten, welche wiederum aus einem Datensatz von Beispielautos ausgeschnitten aus digitalen Luftbildern, die die gleiche Auflösung wie die im Flugbetrieb aufgenommenen georeferenzierten digitalen Luftbilder besitzen, extrahiert. Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zum Generieren von Trainingsdaten für eine auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, ein Kraftfahrzeug, ein Verfahren zum Betreiben einer Recheneinrichtung sowie ein System zu schaffen, mittels welchen Trainingsdaten für einen auf maschinellem Lernen basierenden Verbesserungsprozess des Mustererkennungsverfahrens besonders vorteilhaft generiert werden können, sodass der Verbesserungsprozess besonders effizient durchgeführt werden kann. DE 10 2010 020 298 A1 describes a method for determining traffic data from a sequence of partially overlapping, georeferenced digital aerial images. The digital aerial images are successively provided with confidence values by means of classifiers trained on vehicle recognition, the confidence values indicating a probability that a vehicle was recognized at the respective location. To train the respective classifier, features of training data, which in turn are extracted from a data set of example cars, are extracted from digital aerial images having the same resolution as the geo-referenced digital aerial images taken in flight. The object of the present invention is to provide a method for generating training data for a machine learning based pattern recognition method for a motor vehicle, a motor vehicle, a method for operating a computing device, and a system by which training data for a machine learning based improvement process of Pattern recognition method can be generated particularly advantageous, so that the improvement process can be carried out particularly efficiently.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, ein Kraftfahrzeug, ein Verfahren zum Betreiben einer Recheneinrichtung sowie ein System mit den Merkmalen der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den jeweils abhängi- gen Ansprüchen sowie in der Beschreibung angegeben. The object is achieved according to the invention by a method for generating training data for a machine learning based pattern recognition method for a motor vehicle, a motor vehicle, a method for operating a computing device and a system having the features of the independent claims. Advantageous embodiments with expedient developments of the invention are specified in the respective dependent claims and in the description.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug. Bei dem Verfahren stellen das Muster- erkennungsverfahren und wenigstens ein von dem Mustererkennungsverfahren unterschiedliches Referenzsystem während eines Betriebs des Kraftfahrzeugs jeweils wenigstens einen Messwert bereit. Des Weiteren werden in Abhängigkeit von zeitlichen und örtlichen Eigenschaften jeweilige Genauigkeiten als jeweilige lokale Konfidenzwerte der Messwerte ermittelt. Überdies werden für das Mustererkennungsverfahren und für das Referenzsystem jeweilige durchschnittliche Erkennungsraten als Grundkonfidenz des Mustererkennungsverfahren und des Referenzsystems bestimmt. Überdies wird ein lokaler Konfidenzvergleich durchgeführt, bei welchem die jeweiligen Grund- konfidenzen und die jeweiligen lokalen Konfidenzwerte verglichen werden. Anschließend werden in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als die Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildete Recheneinrichtung gesendet. Mit anderen Worten werden bei dem Verfahren als erstes das Mustererkennungsverfahren sowie das Referenzsystem für das jeweilige Kraftfahrzeug ausgewählt, die jeweilige durchschnittliche Erkennungsrate als Grundkonfidenz bestimmt und das Mustererkennungsverfahren sowie das Referenzsystem in das Kraftfahrzeug implementiert und integriert. Während des Betriebs des Kraft- fahrzeugs, das bedeutet insbesondere während einer Fahrt des Kraftfahrzeugs, werden mittels des Mustererkennungsverfahrens und mittels des Referenzsystems die jeweiligen Messwerte sowie deren Genauigkeit als die lokalen Konfidenzwerte ermittelt, wobei die jeweilige Genauigkeit eine Abweichungswahrscheinlichkeit des jeweiligen Messwerts von einem zugehöri- gen realen Wert umfasst. Bei dem anschließenden lokalen Konfidenzvergleich werden die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte des Mustererkennungsverfahrens und des Referenzsystems miteinander verglichen, um eine jeweilige Validität des Mustererkennungsverfahrens und des Referenzsystems zu ermitteln und zu vergleichen. Die jeweilige Validität umfasst die jeweiligen durchschnittlichen Erkennungsraten und die jeweiligen Genauigkeiten des Mustererkennungsverfahrens beziehungsweise des Referenzsystems. A first aspect of the invention relates to a method of generating training data for a machine learning based pattern recognition method for a motor vehicle. In the method, the pattern recognition method and at least one reference system different from the pattern recognition method each provide at least one measured value during operation of the motor vehicle. Furthermore, depending on temporal and spatial properties, respective accuracies are determined as respective local confidence values of the measured values. moreover For example, for the pattern recognition method and for the reference system, respective average recognition rates are determined as the basic confidence of the pattern recognition method and the reference system. In addition, a local confidence comparison is carried out in which the respective basic confi- dences and the respective local confidence values are compared. Subsequently, depending on the local confidence comparison, at least the respective measured values with the associated local confidence values are sent as the training data to a computing device designed to train the pattern recognition method. In other words, the method first selects the pattern recognition method and the reference system for the respective motor vehicle, determines the respective average recognition rate as basic confidence, and implements and integrates the pattern recognition method and the reference system into the motor vehicle. During operation of the motor vehicle, that means in particular during a drive of the motor vehicle, the respective measured values and their accuracy are determined as the local confidence values by means of the pattern recognition method and by means of the reference system, the respective accuracy determining a deviation probability of the respective measured value from a corresponding includes real value. In the subsequent local confidence comparison, the respective basic confidences and the respective local confidence values of the pattern recognition method and of the reference system are compared with one another in order to determine and compare a respective validity of the pattern recognition method and the reference system. The respective validity comprises the respective average recognition rates and the respective accuracies of the pattern recognition method or of the reference system.
In Abhängigkeit von dem lokalen Konfidenzvergleich, das bedeutet in Ab- hängigkeit von der jeweiligen Validität des Mustererkennungsverfahrens und des Referenzsystems werden die jeweiligen Messwerte mit den jeweils zugehörigen lokalen Konfidenzwerten als die Trainingsdaten an die Recheneinrichtung gesendet. Insbesondere werden die jeweiligen Messdaten mit den zugehörigen lokalen Konfidenzwerten als Trainingsdaten an die Rechenein- richtung gesendet, wenn der lokale Konfidenzvergleich eine höhere Validität des Referenzsystems gegenüber dem Mustererkennungsverfahren in einer jeweiligen Messsituation aufzeigt. Beispielsweise werden die Messdaten mit den zugehörigen lokalen Konfidenzwerten nicht als Trainingsdaten an die Recheneinrichtung gesendet wenn die Validität des Mustererkennungsver- fahrens die Validität des Referenzsystems übertrifft. Hieraus ergibt sich der Vorteil, dass aus den Messwerten lediglich dann Trainingsdaten generiert werden, wenn der lokale Konfidenzvergleich eine Überlegenheit des Referenzsystems über das Mustererkennungsverfahren bezüglich der Validität offenlegt. Somit können vorteilhafterweise spezifisch für solche Situationen Trainingsdaten generiert werden, in welchen das Mustererkennungsverfahren dem Referenzsystem bezüglich der Validität unterlegen ist. In einem auf maschinellem Lernen basierenden Verbesserungsprozess des Mustererkennungsverfahrens können so mittels der im Verfahren generierten Trainings- daten besonders effizient solche Situationen trainiert werden, in welchen das Mustererkennungsverfahren dem Referenzsystem bezüglich der Validität unterliegt. Dies ermöglicht eine besonders effektive Trainierung des Mustererkennungsverfahrens im Verbesserungsprozess, da lediglich Trainingsdaten, welche sich im Zuge des lokalen Konfidenzvergleich als relevant her- ausgestellt haben zum Training verwendet werden. Depending on the local confidence comparison, which means, depending on the respective validity of the pattern recognition method and the reference system, the respective measured values with the respective associated local confidence values are sent as the training data to the computing device. In particular, the respective measurement data with the associated local confidence values are sent to the computing device as training data, if the local confidence comparison shows a higher validity of the reference system compared to the pattern recognition method in a respective measurement situation. For example, the measurement data with the associated local confidence values are not sent to the computing device as training data if the validity of the pattern recognition method which exceeds the validity of the reference system. This results in the advantage that training data is only generated from the measured values if the local confidence comparison reveals a superiority of the reference system via the pattern recognition method with regard to validity. Thus, training data can be advantageously generated specifically for such situations, in which the pattern recognition method is inferior to the reference system in terms of validity. In a machine learning-based improvement process of the pattern recognition method, it is thus possible with the training data generated in the method to particularly efficiently train situations in which the pattern recognition method is subject to the validity of the reference system. This allows for a particularly effective training of the pattern recognition method in the improvement process, since only training data which have turned out to be relevant in the course of the local confidence comparison are used for training.
In vorteilhafter Ausgestaltung der Erfindung ist vorgesehen, dass der lokale Konfidenzvergleich für einen örtlich beschränkten Bereich für zeitgleich aufgenommene jeweilige Messwerte durchgeführt wird. Das bedeutet, dass der lokale Konfidenzvergleich für jeweilige Messwerte des Mustererkennungsverfahrens und des Referenzsystems durchgeführt wird, welche in dem örtlich beschränkten Bereich zeitglich, das bedeutet insbesondere in derselben Verkehrssituation, aufgenommen worden sind. Vorteilhafterweise kann somit der lokale Konfidenzvergleich für den örtlich beschränkten Bereich für in derselben Verkehrssituation aufgenommene Messwerte zwischen dem Mustererkennungsverfahren und dem Referenzsystem durchgeführt werden. In an advantageous embodiment of the invention, it is provided that the local confidence comparison is carried out for a locally limited area for simultaneously recorded respective measured values. This means that the local confidence comparison is carried out for respective measured values of the pattern recognition method and of the reference system, which have been recorded in the localized area on a timely basis, that means in particular in the same traffic situation. Advantageously, the local confidence comparison for the locally restricted area for measured values recorded in the same traffic situation can thus be carried out between the pattern recognition method and the reference system.
In weiterer vorteilhafter Ausgestaltung der Erfindung ist vorgesehen, dass erste Trainingsdaten, bei welchen die lokalen Konfidenzwerte des Musterer- kennungsverfahrens eine hohe Diskrepanz zu den lokalen Konfidenzwerten des Referenzsystems aufweisen, mit einer hohen Priorität versehen werden und zweite Trainingsdaten, bei welchen die lokalen Konfidenzwerte des Mustererkennungsverfahrens eine gegenüber der hohen Diskrepanz geringere Diskrepanz zu den lokalen Konfidenzwerten des Referenzsystems aufweisen, mit einer gegenüber der hohen Priorität niedrigeren Priorität versehen werden. Mit anderen Worten werden die Trainingsdaten in Abhängigkeit von der bei dem lokalen Konfidenzvergleich ermittelten Diskrepanz zwischen den die jeweilige Grundkonfidenz und den jeweiligen lokalen Konfidenzwert umfassenden Validitäten der jeweiligen Messwerte des Musterer- kennungsverfahrens und des Referenzsystems mit unterschiedlichen Prioritäten versehen. Die jeweiligen Prioritäten haben Einfluss auf eine Zuführung der Trainingsdaten zum auf maschinellem Lernen basierenden Verbesse- rungsprozess des Mustererkennungsverfahrens. Trainingsdaten mit der hohen Priorität werden dem Verbesserungsprozess früher zugeführt als Trainingsdaten mit der gegenüber der hohen Priorität niedrigeren Priorität. Vorteilhafterweise kann somit erreicht werden, dass die ersten Trainingsdaten, bei welchen die Validität des Mustererkennungsverfahrens die hohe Diskrepanz zu der Validität des Referenzsystems aufweisen, dem Verbesse- rungsprozess früher zugeführt werden als die zweiten Trainingsdaten, welche mit der niedrigeren Priorität versehen sind, sodass das Mustererkennungsverfahren im Zuge des Verbesserungsprozesses besonders effektiv trainiert werden kann. In diesem Zusammenhang hat es sich als vorteilhaft gezeigt, wenn mittels der Recheneinrichtung das Mustererkennungsverfahren mit dem priorisierten Trainingsdaten trainiert und somit über maschinelles Lernen verändert und anschließend an das Kraftfahrzeug gesendet wird. Mit anderen Worten werden mittels des Mustererkennungsverfahrens und des Referenzsystems die Trainingsdaten generiert und anschließend das Mustererkennungsverfahren mit den priorisierten Trainingsdaten im Verbesserungsprozess trainiert. Das Training des Mustererkennungsverfahrens erfolgt mittels maschinellem Lernens, beispielsweise unter Verwendung von neuronalen Netzen. Nach dem Trainieren wird das Mustererkennungsverfahren in seiner verbesserten Ver- sion an das Kraftfahrzeug gesendet, wobei es in seiner verbesserten Version zusammen mit dem Referenzsystem zur Generierung von neuen Trainingsdaten herangezogen werden kann. Vorteilhafterweise kann somit das Mustererkennungsverfahren laufend verbessert werden. In einer weiteren vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass die Recheneinrichtung, welche bezüglich des Kraftfahrzeugs als externe Komponente ausgebildet ist, Trainingsdaten von mehreren Kraftfahrzeugen empfängt, diese priorisiert, das Mustererkennungsverfahren anhand der Trainingsdaten der mehreren Kraftfahrzeuge trainiert, das Mustererken- nungsverfahren über maschinelles Lernen verändert und an die jeweiligen Kraftfahrzeuge sendet. Insbesondere ist die Recheneinrichtung dem Kraftfahrzeug, insbesondere den mehreren Kraftfahrzeugen übergeordnet und beabstandet von den Kraftfahrzeugen angeordnet. Hierdurch können vorteilhafterweise aus einer Vielzahl von Messwerten die Trainingsdaten zum Trai- nieren des Mustererkennungsverfahrens generiert werden, wodurch besonders viele unterschiedliche Verkehrssituationen mittels der Messwerte erfassbar und in den Trainingsdaten abbildbar sind. Hierdurch kann das Mustererkennungsverfahren vorteilhafterweise mittels besonders umfangreicher Trainingsdaten trainiert werden. Darüber hinaus wird von der Recheneinrichtung das durch das Trainieren verbesserte Mustererkennungsverfahren an die jeweiligen Kraftfahrzeuge gesendet, sodass mittels des verbesserten Mustererkennungsverfahrens neue Trainingsdaten zur weiteren Verbesserung des Mustererkennungsverfahrens generiert werden können. In a further advantageous embodiment of the invention, it is provided that first training data, in which the local confidence values of the pattern recognition method have a high discrepancy with the local confidence values of the reference system, are given a high priority and second training data, in which the local confidence values of the pattern recognition method have a lower discrepancy compared to the high discrepancy to the local confidence values of the reference system, with a lower priority compared to the high priority. In other words, the training data are determined as a function of the discrepancy, determined in the local confidence comparison, between the validities of the respective measured values of the patterner comprising the respective basic confidence and the respective local confidence value. identification system and the reference system with different priorities. The respective priorities influence delivery of the training data to the machine learning based improvement process of the pattern recognition method. Training data having the high priority is fed to the improvement process earlier than training data having the lower priority than the high priority. Advantageously, it can thus be achieved that the first training data, in which the validity of the pattern recognition method has the high discrepancy with the validity of the reference system, are fed to the improvement process earlier than the second training data, which are provided with the lower priority, thus the pattern recognition method can be trained particularly effectively in the course of the improvement process. In this context, it has proven to be advantageous if by means of the computing device the pattern recognition method is trained with the prioritized training data and thus changed via machine learning and subsequently sent to the motor vehicle. In other words, the training data is generated by means of the pattern recognition method and the reference system, and then the pattern recognition method is trained with the prioritized training data in the improvement process. The training of the pattern recognition method takes place by means of machine learning, for example using neural networks. After training, the pattern recognition method is sent in its improved version to the motor vehicle, wherein it can be used in its improved version together with the reference system for the generation of new training data. Advantageously, the pattern recognition method can thus be continuously improved. In a further advantageous embodiment of the invention, it is provided that the computing device, which is designed as an external component with respect to the motor vehicle, receives training data from a plurality of motor vehicles, prioritizes it, trains the pattern recognition method on the basis of the training data of the plurality of motor vehicles, the pattern recognition method via machine learning changed and sent to the respective motor vehicles. In particular, the computing device is superordinate to the motor vehicle, in particular the plurality of motor vehicles, and is arranged at a distance from the motor vehicles. This advantageously makes it possible to obtain the training data for the training from a large number of measured values. Nieren the pattern recognition method are generated, whereby many different traffic situations can be detected by means of the measured values and reproduced in the training data. As a result, the pattern recognition method can advantageously be trained by means of particularly extensive training data. In addition, the computing device transmits the pattern recognition method, which is improved by the training, to the respective motor vehicles, so that new training data for further improving the pattern recognition method can be generated by means of the improved pattern recognition method.
Ein zweiter Aspekt der Erfindung betrifft ein Kraftfahrzeug, welches zum Durchführen des beschriebenen Verfahrens ausgebildet ist. Vorteilhafterweise kann somit das Mustererkennungsverfahren mit den mittels des Verfahrens generierten Trainingsdaten trainiert werden. A second aspect of the invention relates to a motor vehicle, which is designed to carry out the method described. Advantageously, the pattern recognition method can thus be trained with the training data generated by the method.
Zu der Erfindung gehört auch eine Steuervorrichtung für das Kraftfahrzeug. Die Steuervorrichtung weist eine Prozessoreinrichtung auf, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikropro- zessor und/oder zumindest einen MikroController aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein. The invention also includes a control device for the motor vehicle. The control device has a processor device which is set up to carry out an embodiment of the method according to the invention. For this purpose, the processor device can have at least one microprocessor and / or at least one microcontroller. Furthermore, the processor device can have program code which is set up to execute the embodiment of the method according to the invention when executed by the processor device. The program code may be stored in a data memory of the processor device.
Ein dritter Aspekt der Erfindung betrifft ein Verfahren zum Betreiben einer Recheneinrichtung zum Trainieren wenigstens eines auf maschinellem Lernen basierenden Mustererkennungsverfahrens für wenigstens ein Kraftfahrzeug. Bei diesem Verfahren empfängt die Recheneinrichtung jeweilige, von dem Mustererkennungsverfahren und von wenigstens einem von dem Mustererkennungsverfahren unterschiedlichen Referenzsystem des Kraftfahrzeugs während eines Betriebs des Kraftfahrzeugs bereitgestellte Messwerte. Darüber hinaus empfängt die Recheneinrichtung jeweilige lokale Konfidenzwerte der Messwerte. Insbesondere empfängt die Recheneinrichtung die Messwerte und die zugehörigen Konfidenzwerte als Trainingsdaten für einen Verbesserungsprozess des Mustererkennungsverfahrens mittels des maschinellen Lernens. Hierfür überträgt die Recheneinrichtung die Trainingsdaten beispielsweise an ein neuronales Netzwerk mittels welchem das Mustererkennungsverfahren mit den Trainingsdaten trainiert wird. Insbesondere umfasst die Recheneinrichtung das neuronale Netzwerk, sodass das Mustererkennungsverfahren von der Recheneinrichtung in dem auf maschinellem Lernen basierenden Verbesserungsprozess trainiert wird. Vorteilhafterweise kann das Mustererkennungsverfahren hierdurch besonders effizient und schnell verbessert werden. A third aspect of the invention relates to a method of operating a computing device for training at least one machine learning based pattern recognition method for at least one motor vehicle. In this method, the computing device receives respective measured values provided by the pattern recognition method and at least one reference system of the motor vehicle different from the pattern recognition method during operation of the motor vehicle. In addition, the computing device receives respective local confidence values of the measured values. Specifically, the computing means receives the measurement values and the associated confidence values as training data for an improvement process of the pattern recognition method by means of the machine learning. For this purpose, the computing device transmits the training data, for example, to a neural network by means of which the pattern recognition method is trained with the training data. Especially For example, the computing device includes the neural network so that the pattern recognition process is trained by the computing device in the machine learning based improvement process. Advantageously, the pattern recognition method can thereby be improved particularly efficiently and quickly.
Ein vierter Aspekt der Erfindung betrifft ein System für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug. Das System umfasst ein Referenzsystem des Kraftfahrzeugs, wobei für das Refe- renzsystem eine erste durchschnittliche Erkennungsrate als erste Grundkon- fidenz bestimmt ist und wobei mittels des Referenzsystems während eines Betriebs des Kraftfahrzeug wenigstens ein erster Messwert sowie in Abhängigkeit von zeitlichen und örtlichen Eigenschaften eine erste Genauigkeit als erster lokaler Konfidenzwert des ersten Messwerts ermittelt werden. Des Weiteren umfasst das System eine von dem Referenzsystem unterschiedliche und zur Durchführung des Mustererkennungsverfahrens ausgebildete Erfassungseinrichtung des Kraftfahrzeugs. Für das Mustererkennungsverfahren ist eine zweite durchschnittliche Erkennungsrate als zweite Grundkon- fidenz bestimmt. Darüber hinaus wird mittels des Mustererkennungsverfah- rens während eines Betriebs des Kraftfahrzeugs wenigstens ein zweiter Messwert bereitgestellt und in Abhängigkeit von zeitlichen und örtlichen Eigenschaften eine zweite Genauigkeit als zweiter lokaler Konfidenzwert des zweiten Messwerts ermittelt. Überdies weist das System eine Recheneinheit des Kraftfahrzeugs auf, welche dazu eingerichtet ist, einen lokalen Kon- fidenzvergleich durchzuführen, bei welchem die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte verglichen werden, und in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildete Re- cheneinheit zu senden. Mit anderen Worten umfasst das System das Referenzsystem, für welches die erste Grundkonfidenz bestimmt ist und mittels welchem während des Betriebs des Kraftfahrzeugs der wenigstens eine erste Messwert, insbesondere mehrere Messwerte mit zugehörigen ersten lokalen Konfidenzwerten ermittelt werden. Als zweite Grundkonfidenz wird die durchschnittliche Erkennungsrate des Mustererkennungsverfahrens auf Basis von von der Erfassungseinrichtung bereitgestellten Eingangsdaten ermittelt. Mittels der Erfassungseinrichtung werden die Eingangsdaten er- fasst, anhand welcher das Mustererkennungsverfahren darüber hinaus den wenigstens einen zweiten Messwert ermittelt sowie jeweilige zugehörige, in Abhängigkeit von zeitlichen und örtlichen Eigenschaften ermittelte zweite lokale Konfidenzwerte ermittelt. Mittels der Recheneinheit des Kraftfahrzeugs ist der lokale Konfidenzvergleich zwischen der ersten Grundkonfidenz, der zweiten Grundkonfidenz, dem wenigstens einen ersten lokalen Konfidenz- wert und dem wenigstens einen zweiten lokalen Konfidenzwert durchgeführt. In Abhängigkeit von einem Ergebnis des lokalen Konfidenzvergleichs generiert die Recheneinheit die Trainingsdaten aus jeweiligen Messwerten und den zugehörigen lokalen Konfidenzwerten. Vorteilhafterweise können mittels des Systems bei dem Betrieb des Kraftfahrzeugs Trainingsdaten zum Trai- nieren des Mustererkennungsverfahrens generiert und für eine Recheneinrichtung zur Durchführung eines auf maschinellem Lernen basierenden Verbesserungsprozesses des Mustererkennungsverfahrens bereitgestellt werden. In vorteilhafter Ausgestaltung der Erfindung ist vorgesehen, dass die Recheneinrichtung übergeordnet ist und dazu eingerichtet ist, Trainingsdaten von mehreren Kraftfahrzeugen zu empfangen, diese zu priorisieren, das Mustererkennungsverfahren anhand der Trainingsdaten der mehreren Kraftfahrzeuge zu trainieren, das Mustererkennungsverfahren über maschinelles Lernen zu verändern und dieses an die jeweiligen Kraftfahrzeuge zu senden. Insbesondere ist die übergeordnete Recheneinrichtung extern der Kraftfahrzeuge und beabstandet der Kraftfahrzeuge angeordnet. Vorteilhafterweise kann das System somit aus einer Vielzahl von mit mehreren Kraftfahrzeugen erfassten Messdaten und zugehörigen lokalen Konfidenzwerten die Trai- ningsdaten zum Trainieren des Mustererkennungsverfahrens generieren. Dies ermöglicht einen besonders effizienten Verbesserungsprozess des Mustererkennungsverfahrens mittels der Recheneinrichtung. A fourth aspect of the invention relates to a system for a machine learning based pattern recognition method for a motor vehicle. The system comprises a reference system of the motor vehicle, wherein for the reference system a first average recognition rate is determined as the first basic confidence and wherein by means of the reference system during operation of the motor vehicle at least a first measured value and depending on temporal and local properties a first accuracy be determined as the first local confidence value of the first measured value. Furthermore, the system comprises a detection device of the motor vehicle that is different from the reference system and designed to carry out the pattern recognition method. For the pattern recognition method, a second average recognition rate is determined as a second basic confidence. In addition, at least one second measured value is provided by means of the pattern recognition method during operation of the motor vehicle and a second accuracy is determined as a second local confidence value of the second measured value as a function of temporal and spatial properties. Moreover, the system has an arithmetic unit of the motor vehicle which is set up to perform a local confidence comparison in which the respective basic confidences and the respective local confidence values are compared, and depending on the local confidence comparison, at least the respective measured values with the associated local To send confidence values as training data to a calculating unit designed to train the pattern recognition method. In other words, the system comprises the reference system for which the first basic confidence is determined and by means of which the at least one first measured value, in particular a plurality of measured values with associated first local confidence values, is determined during operation of the motor vehicle. As a second basic confidence, the average recognition rate of the pattern recognition method is determined on the basis of input data provided by the detector. By means of the detection device, the input data are detected, on the basis of which the pattern recognition method moreover determines the at least one second measured value as well as respective associated, in Depending on temporal and spatial properties determined second local confidence values determined. By means of the arithmetic unit of the motor vehicle, the local confidence comparison between the first basic confidence, the second basic confidence, the at least one first local confidence value and the at least one second local confidence value is performed. Depending on a result of the local confidence comparison, the arithmetic unit generates the training data from respective measured values and the associated local confidence values. Advantageously, during the operation of the motor vehicle, training data for training the pattern recognition method can be generated by the system and provided for a computing device for carrying out a machine learning based improvement process of the pattern recognition method. In an advantageous embodiment of the invention, it is provided that the computing device is superordinate and is adapted to receive training data from multiple vehicles, to prioritize them, to train the pattern recognition method on the basis of the training data of the plurality of motor vehicles, to change the pattern recognition method via machine learning and to this to send the respective motor vehicles. In particular, the superordinate computing device is arranged externally to the motor vehicles and at a distance from the motor vehicles. Advantageously, the system can thus generate the training data for training the pattern recognition method from a multiplicity of measurement data acquired with a plurality of motor vehicles and associated local confidence values. This enables a particularly efficient improvement process of the pattern recognition method by means of the computing device.
Es hat sich im Rahmen der Erfindung als vorteilhaft gezeigt, wenn die Erfas- sungseinrichtung eine Kamera umfasst, mittels welcher Fahrzeugkamera- Bilder aufzeichenbar und in der Erfassungseinrichtung auswertbar sind. Insbesondere ermittelt das Mustererkennungsverfahren anhand wenigstens eines mittels der Kamera aufgezeichneten Fahrzeugkamera-Bilds den zweiten Messwert sowie den zugehörigen zweiten lokalen Konfidenzwert des zweiten Messwerts. Beispielsweise handelt es sich bei dem zweiten Messwert um einen Abstand des Kraftfahrzeugs, in welchem die Erfassungseinrichtung angeordnet ist, zu einem von dem Kraftfahrzeug beabstandeten Verkehrsteilnehmer. Insbesondere wird mittels des Mustererkennungsverfahrens der Verkehrsteilnehmer klassifiziert und in Abhängigkeit von dessen Klassifizierung und dessen Größe auf dem Fahrzeugkamera-Bild der Abstand zwischen dem Kraftfahrzeug und dem Verkehrsteilnehmer ermittelt. Hieraus ergibt sich der Vorteil, dass der zweite Messwert beispielsweise unter Zuhilfenahme eines Bildverarbeitungsverfahrens besonders einfach mittels des Mustererkennungsverfahrens ermittelbar ist. Within the scope of the invention, it has proven to be advantageous if the detection device comprises a camera by means of which vehicle camera images can be recorded and evaluated in the detection device. In particular, the pattern recognition method determines the second measured value and the associated second local confidence value of the second measured value on the basis of at least one vehicle camera image recorded by the camera. By way of example, the second measured value is a distance of the motor vehicle in which the detection device is arranged, to a road user who is at a distance from the motor vehicle. In particular, by means of the pattern recognition method, the road user is classified and depending on the Classification and its size determined on the vehicle camera image, the distance between the motor vehicle and the road user. This results in the advantage that the second measured value can be determined particularly easily, for example with the aid of an image processing method, by means of the pattern recognition method.
Es hat sich als weiterhin vorteilhaft gezeigt, wenn das Referenzsystem eine Lasereinrichtung und/oder eine Radareinrichtung erfasst, mittels welcher ein Abstand von dem Kraftfahrzeug zu einem Verkehrsteilnehmer ermittelbar ist. Insbesondere wird mittels des Referenzsystems mithilfe einer Lasereinrichtung und/oder mithilfe einer Radareinrichtung der Abstand von dem Kraftfahrzeug zu dem Verkehrsteilnehmer ermittelt. Bei der Lasereinrichtung und der Radareinrichtung handelt es sich vorteilhafterweise um besonders genaue Messsysteme, sodass der wenigstens eine erste Messwert mittels des die Lasereinrichtung und/oder die Radareinrichtung aufweisenden Referenzsystems mit besonders hoher Genauigkeit erfasst werden kann. It has further proven to be advantageous if the reference system detects a laser device and / or a radar device, by means of which a distance from the motor vehicle to a road user can be determined. In particular, the distance from the motor vehicle to the road user is determined by means of the reference system by means of a laser device and / or with the aid of a radar device. The laser device and the radar device are advantageously particularly accurate measuring systems, so that the at least one first measured value can be detected with particularly high accuracy by means of the reference system having the laser device and / or the radar device.
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs, des Verfahrens zum Betreiben einer Recheneinrichtung sowie des Systems die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs, des Verfahrens zum Betreiben einer Recheneinrichtung sowie des Systems hier nicht noch einmal be- schrieben. Developments of the motor vehicle according to the invention, the method for operating a computing device and the system having the features as they have already been described in connection with the developments of the method according to the invention also belong to the invention. For this reason, the corresponding refinements of the motor vehicle according to the invention, of the method for operating a computer and of the system are not described again here.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt: Fig. 1 ein Verfahrensschema zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug; und In the following, embodiments of the invention are described. 1 is a process diagram for generating training data for a machine learning based pattern recognition method for a motor vehicle; and
Fig. 2 eine schematische Seitenansicht eines Kraftfahrzeugs mit ei- nem Referenzsystem, einer Erfassungseinrichtung und einer2 shows a schematic side view of a motor vehicle with a reference system, a detection device and a motor vehicle
Recheneinheit sowie eine übergeordnete Recheneinrichtung. Arithmetic unit and a higher-level computing device.
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispie- len stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar. The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments len represent the described components of the embodiments each individual, independently of each other to be considered features of the invention, which further develop the invention independently and thus individually or in any other than the combination shown to be regarded as part of the invention. Furthermore, the described embodiments can also be supplemented by further features of the invention already described.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Be- zugszeichen versehen. In the figures, functionally identical elements are each provided with the same reference numerals.
Fig. 1 zeigt ein Verfahrensschema für ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug 1 . Die Trainingsdaten werden während eines Betriebs des Kraftfahrzeugs 1 generiert und an eine Recheneinrichtung 6 übertragen. In dieser Recheneinrichtung 6 wird das Mustererkennungsverfahren mittels maschinellem Lernen in einem Verbesserungsprozess trainiert. Zur Generierung der Trainingsdaten wird in einem ersten ersten Verfahrensschritt S1 1 das Mustererkennungsverfahren in dem Kraftfahrzeug 1 implementiert. In einem ersten zweiten Verfahrensschritt S21 wird eine durchschnittliche Erkennungsrate des Mustererkennungsverfahrens als zweite Grundkonfidenz des Mustererkennungsverfahrens ermittelt. Anschließend wird bei dem Betrieb des Kraftfahrzeugs 1 in einem ersten dritten Verfahrensschritt S31 mittels des Mustererkennungsverfahrens ein zweiter Messwert sowie ein zugehöriger zweiter lokaler Konfidenzwert bestimmt. Sowohl die zweite Grundkonfidenz als auch der zweite lokale Konfidenzwert werden einem lokalen Konfidenzvergleich, welcher in einem vierten Verfahrensschritt S4 durchgeführt wird, zugeführt. 1 shows a method scheme for a method for generating training data for a machine learning based pattern recognition method for a motor vehicle 1. The training data are generated during operation of the motor vehicle 1 and transmitted to a computing device 6. In this computing device 6, the pattern recognition method is trained by machine learning in an improvement process. To generate the training data, the pattern recognition method in the motor vehicle 1 is implemented in a first method step S1 1. In a first second method step S21, an average recognition rate of the pattern recognition method is determined as the second basic confidence of the pattern recognition method. Subsequently, in the operation of the motor vehicle 1 in a first third method step S31, a second measured value and an associated second local confidence value are determined by means of the pattern recognition method. Both the second basic confidence and the second local confidence value are supplied to a local confidence comparison, which is carried out in a fourth method step S4.
In einem zweiten ersten Verfahrensschritt S12 wird ein Referenzsystem 4 in das Kraftfahrzeug 1 implementiert. Anschließend wird eine erste Grundkonfidenz des Referenzsystems 4 in einem zweiten zweiten Verfahrensschritt S22 bestimmt und in einem zweiten dritten Verfahrensschritt S32 mittels des Referenzsystems 4 ein erster Messwert sowie ein zugehöriger erster lokaler Konfidenzwert für den ersten Messwert ermittelt. Sowohl die erste Grundkonfidenz als auch der erste lokale Konfidenzwert werden dem lokalen Konfidenzvergleich des vierten Verfahrensschritts S4 zugeführt. Die jeweiligen ersten Verfahrensschritte S1 1 , S21 und S31 können jeweils zeitgleich oder zeitversetzt zu den zweiten Verfahrensschritten S12, S22 und S32 durchgeführt werden. Im vierten Verfahrensschritt S4 werden die erste Grundkonfidenz, die zweite Grundkonfidenz, der erste lokale Konfidenzwert und der zweite lokale Konfidenzwert im Zuge des lokalen Konfidenzvergleichs verglichen. In einem fünften Verfahrensschritt S5 werden Trainingsdaten in Abhängigkeit von dem lokalen Konfidenzvergleich generiert, indem jeweilige Messwerte und jeweili- ge zugehörige lokale Konfidenzwerte herausgefiltert werden, bei welchen der lokale Konfidenzvergleich eine höhere Validität des Referenzsystems 4 gegenüber dem Mustererkennungsverfahren offengelegt hat. Das bedeutet, dass die Trainingsdaten aus den Messwerten und den zugehörigen lokalen Konfidenzwerten generiert werden, bei welchen die jeweilige Genauigkeit und/oder die jeweilige durchschnittliche Erkennungsrate des Referenzsystems 4 über der des Mustererkennungsverfahrens liegt. In a second first method step S12, a reference system 4 is implemented in the motor vehicle 1. Subsequently, a first basic confidence of the reference system 4 is determined in a second second method step S22, and in a second third method step S32, a first measured value and an associated first local confidence value for the first measured value are determined by means of the reference system 4. Both the first basic confidence and the first local confidence value are supplied to the local confidence comparison of the fourth method step S4. The respective ones first method steps S1 1, S21 and S31 can each be carried out simultaneously or with a time delay to the second method steps S12, S22 and S32. In the fourth method step S4, the first basic confidence, the second basic confidence, the first local confidence value and the second local confidence value are compared in the course of the local confidence comparison. In a fifth method step S5, training data are generated as a function of the local confidence comparison by filtering out respective measured values and respective associated local confidence values, in which the local confidence comparison has revealed a higher validity of the reference system 4 compared to the pattern recognition method. This means that the training data are generated from the measured values and the associated local confidence values in which the respective accuracy and / or the respective average recognition rate of the reference system 4 is above that of the pattern recognition method.
Die jeweiligen die Trainingsdaten bildenden Messwerte sowie die jeweiligen lokalen Konfidenzwerte werden in einem sechsten Verfahrensschritt S6 in Abhängigkeit von einer Diskrepanz zwischen den jeweiligen lokalen Konfidenzwerten und den jeweiligen Grundkonfidenzen des Mustererkennungsverfahrens und des Referenzsystems 4 priorisiert. Mittels dieser priorisierten Trainingsdaten wird in einem siebten Verfahrensschritt S7 das Mustererkennungsverfahren unter Zuhilfenahme von maschinellem Lernen trainiert. Das bedeutet, dass im siebten Verfahrensschritt S7 der Verbesserungsprozess des Mustererkennungsverfahrens mittels der priorisierten Trainingsdaten durchgeführt wird. In einem achten Verfahrensschritt S8 wird auf Basis des Verbesserungsprozesses im siebten Verfahrensschritt S7 ein neues, verbessertes Mustererkennungsverfahren erstellt. Dieses neue, verbesserte Mus- tererkennungsverfahren wird wiederum in das Kraftfahrzeug 1 implementiert, um mittels dieses neuen, verbesserten Mustererkennungsverfahrens neue Trainingsdaten für eine weitere Verbesserung des Mustererkennungsverfahrens zu generieren. In Fig. 2 ist in einer schematischen Seitenansicht ein System aus einem Kraftfahrzeug 1 , einer Recheneinheit 2, einer Erfassungseinrichtung 3 und einem Referenzsystem 4 sowie die Recheneinrichtung 6 gezeigt. Vorliegend sind sowohl die Recheneinheit 2 als auch die Erfassungseinrichtung 3 und das Referenzsystem 4 in beziehungsweise an dem Kraftfahrzeug 1 angeordnet. The respective measured values forming the training data and the respective local confidence values are prioritized in a sixth method step S6 as a function of a discrepancy between the respective local confidence values and the respective basic confidences of the pattern recognition method and the reference system 4. By means of these prioritized training data, in a seventh method step S7, the pattern recognition method is trained with the aid of machine learning. This means that in the seventh method step S7, the improvement process of the pattern recognition method is performed by means of the prioritized training data. In an eighth method step S8, a new, improved pattern recognition method is created on the basis of the improvement process in the seventh method step S7. This new, improved pattern recognition method is in turn implemented in the motor vehicle 1 in order to generate new training data for a further improvement of the pattern recognition method by means of this new, improved pattern recognition method. FIG. 2 shows a schematic side view of a system comprising a motor vehicle 1, a computing unit 2, a detection device 3 and a reference system 4, and the computing device 6. In the present case, both the arithmetic unit 2 and the detection device 3 and the reference system 4 is arranged in or on the motor vehicle 1.
Für die technische Umsetzung des Verfahrens umfasst das Kraftfahrzeug 1 ein Mustererkennungsverfahrenssystem, welches die Erfassungseinrichtung 3 sowie die Recheneinheit 2 umfasst. Dabei umfasst die Erfassungseinrichtung 3 Erfassungssensorik wie beispielsweise eine Kamera und/oder ein Lidar. Die Recheneinheit 2 kann ein Mustererkennungssteuergerät zur Ausführung des Mustererkennungsverfahrens umfassen, insbesondere einen Neuromorphic Chip, eine feldprogrammierbare Gatteranordnung (FPGA) und/oder einen Grafikprozessor (GPU). Als das Referenzsystem 4 umfasst das Kraftfahrzeug 1 Referenzsensorik und ein Referenzsteuergerät, auf welchem das Referenzverfahren für das Mustererkennungsverfahren läuft. Die Recheneinheit 2 weist ein Modul zum Vergleichen der Grundkonfidenzen und der lokalen Konfidenzwerte auf. Hierbei handelt es sich vorliegend um ein Vergleichssteuergerät, auf welchem die Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte des Mustererkennungsverfahrenssystems und des Referenzsystems 4 verglichen werden können und auf welchem eine Entscheidung getroffen werden kann, ob die aktuellen Messwerte als Trai- ningsdaten für das Mustererkennungsverfahren an ein Backend, das bedeutet die Recheneinrichtung 6, übertragen werden sollen. Zur Übertragung der selektierten Trainingsdaten weist das Fahrzeug ein in den Abbildungen nicht gezeigtes Mobilfunkmodul auf. Mittels des Mobilfunkmoduls sind die Trainingsdaten an die Recheneinrichtung 6 aussendbar. Die Recheneinrichtung 6 umfasst eine Mobilfunkanbindung zur Entgegennahme der Trainingsdaten, das bedeutet der Messwerte sowie der zugehörigen lokalen Konfidenzwerte, für die der lokale Konfidenzvergleich ergeben hat, dass das Mustererkennungsverfahren verbessert werden sollte. Im Backend wird das Mustererkennungsverfahren neu trainiert, geprüft und anschließend an das Kraftfahr- zeug 1 beziehungsweise mehrere Kraftfahrzeuge 1 gesendet. For the technical implementation of the method, the motor vehicle 1 comprises a pattern recognition process system which comprises the detection device 3 and the arithmetic unit 2. In this case, the detection device 3 comprises detection sensors, such as a camera and / or a lidar. The arithmetic unit 2 may comprise a pattern recognition control unit for carrying out the pattern recognition method, in particular a neuromorphic chip, a field programmable gate array (FPGA) and / or a graphics processor (GPU). As the reference system 4, the motor vehicle 1 includes reference sensors and a reference controller on which the reference method for the pattern recognition method runs. The arithmetic unit 2 has a module for comparing the basic confi- dences and the local confidence values. In the present case, this is a comparison control unit, on which the basic confidences and the respective local confidence values of the pattern recognition method system and the reference system 4 can be compared and on which a decision can be made as to whether the current measured values are used as training data for the pattern recognition method to a backend , that means the computing device 6, to be transmitted. To transmit the selected training data, the vehicle has a mobile radio module, not shown in the figures. By means of the mobile radio module, the training data can be sent to the computer 6. The computing device 6 comprises a mobile radio connection for receiving the training data, that is to say the measured values and the associated local confidence values for which the local confidence comparison has revealed that the pattern recognition method should be improved. In the backend, the pattern recognition method is re-trained, tested and then sent to the motor vehicle 1 or several motor vehicles 1.
Sowohl mittels der Erfassungseinrichtung 3 als auch mittels des Referenzsystems 4 ist ein Verkehrsteilnehmer 5 erfassbar. Die Erfassung des Verkehrsteilnehmers 5 wird in der Recheneinheit 2 des Kraftfahrzeugs 1 ausge- wertet. Darüber hinaus sind in der Recheneinheit 2 die jeweiligen Grundkonfidenzen des Mustererkennungsverfahrens und des Referenzsystems 4 sowie das Mustererkennungsverfahren hinterlegt. Mittels des Mustererkennungsverfahrens kann anhand der Erfassung des Verkehrsteilnehmers 5 durch die Erfassungseinrichtung 3 der zweite Messwert sowie der dazugehö- rige zweite lokale Konfidenzwert ermittelt werden. Das Referenzsystem 4 erfasst den Verkehrsteilnehmer 5, ermittelt den ersten Messwert sowie den dazugehörigen ersten lokalen Konfidenzwert und überträgt diese an die Recheneinheit 2. In der Recheneinheit 2 wird der lokale Konfidenzvergleich durchgeführt und anhand des lokalen Konfidenzvergleiches die Trainingsdaten generiert. Diese Trainingsdaten werden von der Recheneinheit 2 an die übergeordnete Recheneinrichtung 6 übermittelt. Die übergeordnete Recheneinrichtung 6 priorisiert die Trainingsdaten und führt den Verbesserungsprozess des Mustererkennungsverfahrens durch. Anschließend überträgt die Recheneinrichtung 6 das neue, verbesserte Mustererkennungsverfahren an die Recheneinheit 2 des Kraftfahrzeugs 1 . Both by means of the detection device 3 and by means of the reference system 4, a road user 5 can be detected. The detection of the traffic participant 5 is evaluated in the arithmetic unit 2 of the motor vehicle 1. In addition, the respective basic confidences of the pattern recognition method and the reference system 4 as well as the pattern recognition method are stored in the arithmetic unit 2. By means of the pattern recognition method based on the detection of the road user 5 by the detection device 3, the second measured value and the associated second local confidence value. The reference system 4 detects the road user 5, determines the first measured value and the associated first local confidence value and transmits them to the arithmetic unit 2. In the arithmetic unit 2, the local confidence comparison is performed and the training data is generated based on the local confidence comparison. These training data are transmitted from the arithmetic unit 2 to the higher-level computer 6. The higher-level computer 6 prioritizes the training data and performs the improvement process of the pattern recognition method. Subsequently, the computing device 6 transmits the new, improved pattern recognition method to the arithmetic unit 2 of the motor vehicle 1.
Folglich wird der erste dritte Verfahrensschritt S31 mittels der Erfassungseinrichtung 3 und der Recheneinheit 2 durchgeführt. Der zweite dritte Verfah- rensschritt S32 wird von dem Referenzsystem 4 durchgeführt. Der lokale Konfidenzvergleich des vierten Verfahrensschritts S4 findet in der Recheneinheit 2 des Kraftfahrzeugs 1 statt. Auch der fünfte Verfahrensschritt S5, bei welchem die Trainingsdaten generiert werden, findet in der Recheneinheit 2 des Kraftfahrzeugs 1 statt. Die Priorisierung der Trainingsdaten des sechsten Verfahrensschritts S6 erfolgt in der Recheneinrichtung 6, in welcher auch der Verbesserungsprozess und die Erstellung des neuen, verbesserten Mustererkennungsverfahrens des siebten Verfahrensschritts S7 und des achten Verfahrensschritts S8 ablaufen. Dem beschriebenen Verfahren liegt die Erkenntnis zugrunde, dass Softwarefunktionen, welche Mustererkennungsaufgaben in dem Kraftfahrzeug 1 erfüllen, derzeitig im Rahmen eines Entwicklungsprozesses entwickelt und auf jeweilige Kraftfahrzeuge 1 , insbesondere Kundenfahrzeuge übertragen werden. Üblicherweise werden die Softwarefunktionen von Menschen von Hand entwickelt und evaluiert. Durch maschinelles Lernen ist es möglich, das Mustererkennungsverfahren in dem Verbesserungsprozess zu trainieren, das bedeutet automatisiert zu entwickeln. Aktuell werden derartige Verbesserungsprozesse in einem Entwicklungsstadium der Softwarefunktion trainiert und das Mustererkennungsverfahren verändert sich im Kraftfahrzeug 1 nicht mehr beziehungsweise kann nur mit erheblichem Aufwand verändert werden. Beispiele für Verfahren von Mustererkennungen sind ein Erkennen von wenigstens einem Verkehrsteilnehmer 5, insbesondere weiteren Fahrzeugen, in Fahrzeugkamera-Bildern, eine Bestimmung einer Entfernung zu dem Verkehrsteilnehmer 5 und/oder einer räumlichen Tiefe auf Basis der Fahr- zeugkamera-Bilder, eine Prädiktion einer Intention des Verkehrsteilnehmers 5 in einem Umfeld des Kraftfahrzeugs 1 sowie eine Prädiktion eines Verhaltens eines Fahrers des Kraftfahrzeugs 1 . Nachteilig an einer ausschließlichen Trainierung des Mustererkennungsverfahrens im Entwicklungsstadium ist, dass das Mustererkennungsverfahren nicht automatisch auf neuartige Situationen, welche nach Abschluss des Entwicklungsprozesses auftreten, reagieren kann. Es ist zwar prinzipiell möglich, Messdaten für ein weiteres Trainieren zu erheben, das Mustererkennungsverfahren neu zu trainieren und durch Softwareupdates an Kundenfahrzeuge zu verteilen, es fällt bei einer Aufzeichnung neuer Messdaten mittels Messfahrzeugen allerdings ein erheblicher Aufwand an. Consequently, the first third method step S31 is performed by means of the detection device 3 and the arithmetic unit 2. The second third method step S32 is performed by the reference system 4. The local confidence comparison of the fourth method step S4 takes place in the arithmetic unit 2 of the motor vehicle 1. The fifth method step S5, in which the training data are generated, takes place in the arithmetic unit 2 of the motor vehicle 1. The prioritization of the training data of the sixth method step S6 takes place in the computing device 6, in which the improvement process and the creation of the new, improved pattern recognition method of the seventh method step S7 and the eighth method step S8 also take place. The method described is based on the finding that software functions which fulfill pattern recognition tasks in the motor vehicle 1 are currently being developed as part of a development process and are being transmitted to respective motor vehicles 1, in particular customer vehicles. Usually, the software functions are manually developed and evaluated by humans. Machine learning makes it possible to train the pattern recognition process in the improvement process, which means to develop automatically. Currently, such improvement processes are trained in a development stage of the software function and the pattern recognition method does not change in the motor vehicle 1 or can be changed only with considerable effort. Examples of methods of pattern recognition are recognition of at least one road user 5, in particular other vehicles, in vehicle camera images, a determination of a distance to the road user 5 and / or a spatial depth on the basis of the driving Toy camera images, a prediction of an intention of the road user 5 in an environment of the motor vehicle 1 and a prediction of a behavior of a driver of the motor vehicle. 1 A disadvantage of an exclusive training of the pattern recognition method in the development stage is that the pattern recognition method can not automatically respond to novel situations that occur after completion of the development process. Although it is possible in principle to collect measurement data for further training, to re-train the pattern recognition method and to distribute it by software updates to customer vehicles, a considerable effort is required when recording new measurement data by means of measuring vehicles.
Für den Verbesserungsprozess des auf maschinellem Lernen basierenden Mustererkennungsverfahrens ist es in der Regel nötig, Eingangsdaten, wie beispielsweise die Fahrzeugkamera-Bilder sowie mittels des Referenzsystems 4 als erste Messdaten erzeugte Referenzdaten, wie beispielsweise eine Entfernung zu dem Verkehrsteilnehmer 5, zu annotieren, insbesondere miteinander zu vergleichen. Mithilfe des im Kraftfahrzeug 1 installierten Referenzsystems 4, welches vorliegend eine Radareinrichtung für eine Ge- schwindigkeitsmessung sowie einen Laserscanner für eine Entfernungsmessung umfasst, ist es möglich im Kraftfahrzeug 1 anfallende und mittels des Mustererkennungsverfahrens ermittelte zweite Messwerte automatisch mit den ersten Messwerten des Referenzsystems 4 zu annotieren, insbesondere zu vergleichen, und so einen Datensatz, insbesondere die Trainingsdaten für ein kontinuierliches Trainieren des Mustererkennungsverfahrens zu erzeugen. Hierdurch können vorteilhafterweise Trainingsziele, insbesondere Label, generiert werden. For the improvement process of the machine learning based pattern recognition method, it is usually necessary to annotate input data, such as the vehicle camera images as well as reference data generated by the reference system 4 as first measurement data, such as a distance to the road user 5, in particular to compare. With the aid of the reference system 4 installed in the motor vehicle 1, which in the present case comprises a radar device for a speed measurement and a laser scanner for a distance measurement, it is possible to automatically annotate the second measured values obtained in the motor vehicle 1 and determined by the pattern recognition method with the first measured values of the reference system 4 in particular, and thus to generate a data set, in particular the training data for a continuous training of the pattern recognition method. As a result, advantageously training goals, in particular labels, can be generated.
Das auf maschinellem Lernen basierende Mustererkennungsverfahren und ein auf dem Referenzsystem 4 basierendes Referenzverfahren werden als zueinander parallele Systeme betrachtet, für die jeweils wenigstens eine Grundkonfidenz und wenigstens ein lokaler Konfidenzwert existieren. Die jeweilige Grundkonfidenz ist durch eine in Versuchen gemessene durchschnittliche Erkennungsrate beziehungsweise Fehlerrate bestimmt. Bei- spielsweise handelt es sich hierbei um einen prozentuellen Anteil an richtig erkannten Fußgängern, das bedeutet einer richtigen Klassifizierung des Verkehrsteilnehmers 5. Die Grundkonfidenz ist abhängig von zugrunde liegenden Einzelelementen, insbesondere Hardware, aufgrund von einer maximalen Auflösung, einem Rauschen und/oder einem Fehler, und abhängig von auf den Einzelelementen umgesetzten Funktionen. Der jeweilige wenigstens eine lokale Konfidenzwert bezieht sich auf eine vom Mustererkennungsverfahren und vom Referenzverfahren ausgegebene Werteverteilung für eine erwartete Genauigkeit der jeweiligen Messwerte pro örtlicher und zeitlicher Einheit. Hierbei handelt es sich insbesondere um eine lokale erwartete Genauigkeit, welche vorliegend über Pixel der Fahrzeugkamera-Bilder und/oder Winkel der Radareinrichtung und/oder Winkel des Laserscanners ermittelt werden. Die jeweilige Grundkonfidenz und die jeweiligen lokalen Konfidenzwerte werden herangezogen, um zu entscheiden wie die jeweiligen Messwerte des Mustererkennungsverfahrens und des Referenzverfahrens weiter zu verwenden sind, beispielsweise kann eine Notbremsung in Abhängigkeit von den Messwerten ausgelöst werden. In dem lokalen Konfidenzvergleich wird für lokale Bereiche bestimmt, wie stark die jeweiligen Messwerte der beiden Verfahren in eine Entscheidung eines Fahrerassistenzsystem einbezogen werden sollen. Für einen bestimmten räumlichen Bereich können beispielsweise jeweilige erste Messwerte einer Mobileye Passantenerkennung herangezogen werden und für andere Bereiche jeweilige zweite Messwerte des Mustererkennungsverfahrens. Wenn der lokale Konfidenzvergleich ergibt, dass das Referenzverfahren dem Mustererkennungsverfahren überlegen ist, werden die aktuell ausgewerteten Messwerte zusammen mit deren lokalen Konfidenzwerten annotiert, das bedeutet insbesondere gespeichert, an die externe Recheneinrichtung 6, auch als das Backend bezeichnet, übertragen und dort zum Training des Mustererkennungsverfahrens im Verbesserungs- prozess genutzt. The machine learning based pattern recognition method and a reference method based on the reference system 4 are considered to be parallel systems each having at least one basic confidence and at least one local confidence value. The respective basic confidence is determined by an average detection rate or error rate measured in tests. For example, this is a percentage of correctly recognized pedestrians, ie a correct classification of the road user 5. The basic confidence depends on underlying individual elements, in particular hardware, due to a maximum resolution, a noise and / or a fault , and dependent of functions implemented on the individual elements. The respective at least one local confidence value relates to a value distribution output by the pattern recognition method and by the reference method for an expected accuracy of the respective measured values per local and temporal unit. This is in particular a local expected accuracy, which in the present case are determined via pixels of the vehicle camera images and / or angles of the radar device and / or angles of the laser scanner. The respective basic confidence and the respective local confidence values are used to decide how the respective measured values of the pattern recognition method and the reference method are to be used further, for example an emergency braking depending on the measured values can be triggered. In the local confidence comparison, it is determined for local areas how strongly the respective measured values of the two methods are to be included in a decision of a driver assistance system. For a given spatial area, for example, respective first measured values of a Mobileye Passantenerkennung can be used and for other areas respective second measured values of the pattern recognition method. If the local confidence comparison reveals that the reference method is superior to the pattern recognition method, the currently evaluated measured values are annotated together with their local confidence values, which means in particular stored, transmitted to the external computing device 6, also referred to as the backend, and there to train the pattern recognition method used in the improvement process.
Die mit den jeweiligen lokalen Konfidenzwerten annotierten, insbesondere zugeordneten, Messwerte werden im Backend in Abhängigkeit von der Dis- krepanz innerhalb und zwischen den Grundkonfidenzen und den lokalen Konfidenzwerten im Training gewichtet. Messwerte, bei welchen das Mustererkennungsverfahren besonders schlecht im Vergleich zum Referenzverfahren abschneidet, werden im Training priorisiert. Hieraus ergibt sich der Vorteil, dass die Messwerte, bei welchen die besonders hohe Diskrepanz inner- halb und zwischen den Grundkonfidenzen und den lokalen Konfidenzwerten zwischen dem Mustererkennungsverfahren und dem Referenzverfahren auftreten, genutzt werden, um Mustern bei diesen besonders kritischen Messwerten eine höhere Priorität beim Training zu verschaffen. Hierdurch ergibt sich eine deutliche Steigerung einer Qualität des trainierten, verbesserten Mustererkennungsverfahrens. The measured values annotated with the respective local confidence values, in particular assigned, are weighted in the backend as a function of the discrepancy within and between the basic confi- dences and the local confidence values in the training. Measured values in which the pattern recognition method performs particularly poorly compared to the reference method are prioritized in training. This results in the advantage that the measured values in which the particularly high discrepancy occurs within and between the basic confi- dences and the local confidence values between the pattern recognition method and the reference method are used to give samples a higher priority during training for these particularly critical measured values To provide. hereby there is a significant increase in quality of the trained, improved pattern recognition method.
Mittels des beschriebenen Verfahrens ist es möglich, die Messwerte für ei- nen kontinuierlichen Lernprozess und somit eine kontinuierliche Verbesserung und Adaption der entwickelten Softwarefunktionen, insbesondere des Mustererkennungsverfahrens zu verwenden. Vorteilhafterweise kann somit auf spezielle Messfahrten mit eigens hierfür konzipierten Kraftfahrzeugen verzichtet werden. Durch eine Nutzung von wenigstens einem Kundenfahr- zeug als das Kraftfahrzeug 1 für eine Aufzeichnung von neuen Messdaten ist es möglich, eine besonders hohe Abdeckung zu erzielen. Es können zudem besonders ausgefallene Situationen aufgezeichnet werden, um das Mustererkennungsverfahren für diese als Corner Cases bezeichneten Situationen zu verbessern. Durch den beschriebenen automatischen Entwicklungspro- zess ist zudem eine besonders hohe Reaktionsschnelligkeit möglich, da auf in manuellen Entwicklungsprozessen anfallende Unterbrechungen verzichtet werden kann. Hierdurch können anfallende Probleme in dem wenigstens einen Kundenfahrzeug besonders schnell behoben werden. Weitere Vorteile sind, dass im beschriebenen Verfahren eine Annotation, insbesondere das Generieren, der Trainingsdaten automatisch durch das Referenzverfahren, insbesondere durch den lokalen Konfidenzvergleich des Mustererkennungsverfahrens mit dem Referenzverfahren, erfolgt. Darüber hinaus ist mittels der über die Diskrepanz innerhalb und zwischen den Grundkonfidenzen und den lokalen Konfidenzwerten ermittelten Priorität ein Trainieren des Mustererkennungsverfahrens mit in der Recheneinrichtung 6 neu ankommenden Messwerten entsprechend der jeweiligen Priorität möglich. Dadurch werden besonders kritische Probleme zuerst behoben. Überdies ist es mittels der jeweiligen lokalen Konfidenzwerte möglich, gezielt Schwächen des Mustererkennungsverfahrens bei bestimmten auftretenden Mustern zu reduzieren, indem die Trainingsdaten lokal gewichtet werden. Darüber hinaus werden durch das beschriebene Verfahren die Messwerte selektiv nur dann übertragen, wenn sie einen Mehrwert für das Training darstellen. Hierdurch kann ein Datenvolumen bei einer Übertragung der Trai- ningsdaten von der Recheneinheit 2 an die Recheneinrichtung 6 besonders gering gehalten werden. By means of the described method it is possible to use the measured values for a continuous learning process and thus a continuous improvement and adaptation of the developed software functions, in particular of the pattern recognition method. Advantageously, it is therefore possible to dispense with special test drives with specially designed motor vehicles. By using at least one customer's vehicle as the motor vehicle 1 for recording new measurement data, it is possible to achieve a particularly high coverage. In addition, particularly unusual situations can be recorded in order to improve the pattern recognition method for these situations called Corner Cases. In addition, the described automatic development process makes a particularly high speed of reaction possible, since interruptions occurring in manual development processes can be dispensed with. As a result, problems that arise in the at least one customer vehicle can be remedied particularly quickly. Further advantages are that in the described method an annotation, in particular the generation, of the training data is carried out automatically by the reference method, in particular by the local confidence comparison of the pattern recognition method with the reference method. In addition, by means of the priority ascertained via the discrepancy within and between the basic confidences and the local confidence values, it is possible to train the pattern recognition method with new measured values arriving in the computing device 6 in accordance with the respective priority. This will resolve particularly critical issues first. Moreover, by means of the respective local confidence values, it is possible to specifically reduce weaknesses of the pattern recognition method in the case of certain patterns occurring by weighting the training data locally. In addition, the method described selectively transfers the measured values only if they represent an added value for the training. In this way, a data volume can be kept particularly low during a transmission of the training data from the arithmetic unit 2 to the arithmetic unit 6.

Claims

PATENTANSPRÜCHE:  CLAIMS:
Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug (1 ), bei welchem A method for generating training data for a machine learning based pattern recognition method for a motor vehicle (1), in which
- das Mustererkennungsverfahren und wenigstens ein von dem Mustererkennungsverfahren unterschiedliches Referenzsystem (4) während eines Betriebs des Kraftfahrzeugs (1 ) jeweils wenigstens einen Messwert bereitstellen;  the pattern recognition method and at least one reference system (4) different from the pattern recognition method each provide at least one measured value during an operation of the motor vehicle (1);
- in Abhängigkeit von zeitlichen und örtlichen Eigenschaften jeweilige Genauigkeiten als jeweilige lokale Konfidenzwerte der Messwerte ermittelt werden;  - depending on temporal and spatial properties, respective accuracies are determined as the respective local confidence values of the measured values;
- für das Mustererkennungsverfahren und für das Referenzsystem (4) jeweilige durchschnittliche Erkennungsraten als Grundkonfidenzen des Mustererkennungsverfahrens und des Referenzsystems (4) bestimmt werden;  - for the pattern recognition method and for the reference system (4), respective average recognition rates are determined as the basic confidences of the pattern recognition method and the reference system (4);
- ein lokaler Konfidenzvergleich durchgeführt wird, bei welchem die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerten verglichen werden; und  - a local confidence comparison is carried out, comparing the respective basic qualifications and the respective local confidence values; and
- in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als die Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildete Recheneinrichtung (6) gesendet werden.  depending on the local confidence comparison, at least the respective measured values with the associated local confidence values are sent as the training data to a computing device (6) designed to train the pattern recognition method.
Verfahren nach Anspruch 1 , wobei der lokale Konfidenzvergleich für einen örtlich beschränkten Bereich für zeitgleich aufgenommene jeweilige Messwerte durchgeführt wird. The method of claim 1, wherein the local confidence comparison for a localized area is performed for simultaneously acquired respective measurements.
Verfahren nach Anspruch 1 oder 2, wobei erste Trainingsdaten, bei welchen die lokalen Konfidenzwerte des Mustererkennungsverfahrens eine hohe Diskrepanz zu den lokalen Konfidenzwerten des Referenzsystems (4) aufweisen, mit einer hohen Priorität versehen werden, und zweite Trainingsdaten, bei welchen die lokalen Konfidenzwerte des Mustererkennungsverfahrens eine gegenüber der hohen Diskrepanz geringere Diskrepanz zu den lokalen Konfidenzwerten des Referenzsystems (4) aufweisen, mit einer gegenüber der hohen Priorität niedrigeren Priorität versehen werden. Method according to claim 1 or 2, wherein first training data in which the local confidence values of the pattern recognition method have a high discrepancy to the local confidence values of the reference system (4) are given a high priority, and second training data in which the local confidence values of the pattern recognition method have a smaller discrepancy compared to the high discrepancy to the local confidence values of the reference system (4), with a lower priority than the high priority.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der Recheneinrichtung (6) das Mustererkennungsverfahren mit den pri- orisierten Trainingsdaten trainiert und somit über maschinelles Lernen verändert, und anschließend an das Kraftfahrzeug (1 ) gesendet wird. 4. The method according to any one of the preceding claims, wherein means the computing device (6) trained the pattern recognition method with the priority training data and thus changed by machine learning, and then sent to the motor vehicle (1).
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Recheneinrichtung (6), welche bezüglich des Kraftfahrzeugs (1 ) als externe Komponente ausgebildet ist, Trainingsdaten von mehreren Kraftfahrzeugen empfängt, diese priorisiert, das Mustererkennungsverfahren anhand der Trainingsdaten der mehreren Kraftfahrzeuge trainiert, das Mustererkennungsverfahren über maschinelles Lernen verändert und an die jeweiligen Kraftfahrzeuge sendet. Method according to one of the preceding claims, wherein the computing device (6), which is designed as an external component with respect to the motor vehicle (1), receives training data from a plurality of motor vehicles, prioritizes them, trains the pattern recognition method on the basis of the training data of the plurality of motor vehicles, the machine recognition pattern recognition method Learning changed and sent to the respective motor vehicles.
Kraftfahrzeug (1 ), welches zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 5 ausgebildet ist. Motor vehicle (1), which is designed to carry out a method according to one of claims 1 to 5.
Verfahren zum Betreiben einer Recheneinrichtung (6) zum Trainieren wenigstens eines auf maschinellem Lernen basierenden Mustererkennungsverfahrens für wenigstens ein Kraftfahrzeug (1 ), bei welchem - die Recheneinrichtung (6) jeweilige, von dem Mustererkennungsverfahren und von wenigstens einem von dem Mustererkennungsverfahren unterschiedlichen Referenzsystem (4) des Kraftfahrzeugs (1 ) während eines Betriebs des Kraftfahrzeugs (1 ) bereitgestellte Messwerte empfängt; und Method for operating a computing device (6) for training at least one machine learning-based pattern recognition method for at least one motor vehicle (1), in which - the computing device (6) respective reference system (4) different from the pattern recognition method and from at least one pattern recognition method the motor vehicle (1) receives measured values provided during operation of the motor vehicle (1); and
- die Recheneinrichtung (6) jeweilige lokale Konfidenzwerte der Messwerte empfängt.  - The computing device (6) receives respective local confidence values of the measured values.
System für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug (1 ), mit System for a machine learning based pattern recognition method for a motor vehicle (1), with
- einem Referenzsystem (4) des Kraftfahrzeugs (1 ), wobei für das Referenzsystem (4) eine erste durchschnittliche Erkennungsrate als erste Grundkonfidenz bestimmt ist und wobei mittels des Referenzsystems (4) während eines Betriebs des Kraftfahrzeugs (1 ) wenigstens ein erster Messwert sowie in Abhängigkeit von zeitlichen und örtlichen Eigenschaften eine Genauigkeit als erster lokaler Konfidenzwert des ersten Messwerts ermittelt werden,  - A reference system (4) of the motor vehicle (1), wherein for the reference system (4) a first average recognition rate is determined as the first basic confidence and wherein by means of the reference system (4) during operation of the motor vehicle (1) at least a first measured value and in Dependence on temporal and spatial properties an accuracy can be determined as the first local confidence value of the first measured value,
- einer von dem Referenzsystem (4) unterschiedlichen und zur Durchführung des Mustererkennungsverfahrens ausgebildeten Erfassungseinrichtung (3) des Kraftfahrzeugs (1 ), wobei für das Mustererkennungsverfahren eine zweite durchschnittliche Erkennungsrate als zweite Grundkonfidenz bestimmt ist und wobei mittels des Musterer- kennungsverfahrens während eines Betriebs des Kraftfahrzeugs (1 ) wenigstens ein zweiter Messwert bereitgestellt wird und in Abhängigkeit von zeitlichen und örtlichen Eigenschaften eine Genauigkeit als zweiter lokaler Konfidenzwert des zweiten Messwerts ermittelt wird, - und mit einer Recheneinheit (2) des Kraftfahrzeugs (1 ), welche dazu eingerichtet ist, einen lokalen Konfidenzvergleich durchzuführen, bei welchem die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte verglichen werden, und in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildeten Recheneinrichtung (6) zu senden. a detection device (3) of the motor vehicle (1) that is different from the reference system (4) and designed to carry out the pattern recognition method, wherein a second average recognition rate is determined as the second basic confidence for the pattern recognition method, and wherein During operation of the motor vehicle (1), at least one second measured value is provided and an accuracy is determined as a second local confidence value of the second measured value as a function of temporal and spatial characteristics, and with a computer unit (2) of the motor vehicle (1) is configured to perform a local confidence comparison, in which the respective basic confidences and the respective local confidence values are compared, and depending on the local confidence comparison, at least the respective measured values with the associated local confidence values as training data to a computing device (6) constructed for training the pattern recognition method ) to send.
System nach Anspruch 8, wobei die Recheneinrichtung (6) übergeordnet ist und dazu eingerichtet ist, Trainingsdaten von mehreren Kraftfahrzeugen zu empfangen, diese zu priorisieren, das Mustererkennungsverfahren anhand der Trainingsdaten der mehreren Kraftfahrzeuge zu trainieren, das Mustererkennungsverfahren über maschinelles Lernen zu verändern und dieses an die jeweiligen Kraftfahrzeuge zu senden. The system of claim 8, wherein the computing device (6) is superior and configured to receive training data from a plurality of vehicles, prioritize them, train the pattern recognition method based on the training data of the plurality of vehicles, and modify and apply the pattern recognition method via machine learning to send the respective motor vehicles.
System nach einem der Ansprüche 8 oder 9, wobei die Erfassungseinrichtung (3) eine Kamera umfasst, mittels welcher Fahrzeugkamera- Bilder aufzeichenbar und in der Erfassungseinrichtung (3) auswertbar sind. System according to one of claims 8 or 9, wherein the detection device (3) comprises a camera, by means of which vehicle camera images recordable and in the detection device (3) are evaluable.
System nach einem der Ansprüche 8 bis 10, wobei das Referenzsystem (4) eine Lasereinrichtung und/oder eine Radareinrichtung umfasst, mittels welcher ein Abstand von dem Kraftfahrzeug (1 ) zu einem Verkehrsteilnehmer (5) ermittelbar ist. System according to one of claims 8 to 10, wherein the reference system (4) comprises a laser device and / or a radar device, by means of which a distance from the motor vehicle (1) to a road user (5) can be determined.
PCT/EP2018/061659 2017-05-11 2018-05-07 Method for generating training data for a machine-learning-based pattern recognition method for a motor vehicle, motor vehicle, method for operating a computing unit, and system WO2018206481A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017207958.4A DE102017207958B4 (en) 2017-05-11 2017-05-11 A method of generating training data for a machine learning based pattern recognition method for a motor vehicle, motor vehicle, method of operating a computing device, and system
DE102017207958.4 2017-05-11

Publications (1)

Publication Number Publication Date
WO2018206481A1 true WO2018206481A1 (en) 2018-11-15

Family

ID=62116474

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/061659 WO2018206481A1 (en) 2017-05-11 2018-05-07 Method for generating training data for a machine-learning-based pattern recognition method for a motor vehicle, motor vehicle, method for operating a computing unit, and system

Country Status (2)

Country Link
DE (1) DE102017207958B4 (en)
WO (1) WO2018206481A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019124257A1 (en) * 2019-09-10 2021-03-11 Bayerische Motoren Werke Aktiengesellschaft Method, device, computer program and computer program product for determining AI training data in a vehicle and method, device, computer program and computer program product for determining relevant situation parameters for training an artificial intelligence unit of an automatically drivable vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009048699A1 (en) 2009-05-29 2010-12-02 GM Global Technology Operations, Inc., Detroit Travel's clear path detection method for motor vehicle i.e. car, involves monitoring images, each comprising set of pixels, utilizing texture-less processing scheme to analyze images, and determining clear path based on clear surface
DE102010020298A1 (en) 2010-05-12 2011-11-17 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and device for collecting traffic data from digital aerial sequences
DE102013021840A1 (en) 2013-12-21 2015-06-25 Valeo Schalter Und Sensoren Gmbh Method for generating an environment model of a motor vehicle, driver assistance system and motor vehicle
DE102014106506A1 (en) * 2014-05-08 2015-11-12 Valeo Schalter Und Sensoren Gmbh Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8681222B2 (en) * 2010-12-08 2014-03-25 GM Global Technology Operations LLC Adaptation for clear path detection with additional classifiers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009048699A1 (en) 2009-05-29 2010-12-02 GM Global Technology Operations, Inc., Detroit Travel's clear path detection method for motor vehicle i.e. car, involves monitoring images, each comprising set of pixels, utilizing texture-less processing scheme to analyze images, and determining clear path based on clear surface
DE102010020298A1 (en) 2010-05-12 2011-11-17 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and device for collecting traffic data from digital aerial sequences
DE102013021840A1 (en) 2013-12-21 2015-06-25 Valeo Schalter Und Sensoren Gmbh Method for generating an environment model of a motor vehicle, driver assistance system and motor vehicle
DE102014106506A1 (en) * 2014-05-08 2015-11-12 Valeo Schalter Und Sensoren Gmbh Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle

Also Published As

Publication number Publication date
DE102017207958B4 (en) 2019-03-14
DE102017207958A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
DE102017205093A1 (en) Method and system for predicting sensor signals of a vehicle
DE102014210820A1 (en) Method for detecting large and passenger vehicles from fixed cameras
DE102018128289A1 (en) METHOD AND DEVICE FOR AUTONOMOUS SYSTEM PERFORMANCE AND CLASSIFICATION
DE102014208009A1 (en) Capture static and dynamic objects
EP2951804A1 (en) Creation of an environment model for a vehicle
DE102015015021A1 (en) Method for assisting a driver in driving a vehicle
DE102014106506A1 (en) Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
DE102011101359A1 (en) Method and device for the classification of data
DE102009055127A1 (en) Apparatus and method for monitoring video objects
WO2021094222A1 (en) Method for estimating coverage of the area of traffic scenarios
WO2021139974A1 (en) Method for combining a plurality of data sets for generating a current lane model of a road and device for data processing
DE102015214157A1 (en) A method, system, and computer readable recording medium for controlling an abnormal condition of the vehicle
WO2019120709A1 (en) Method and control unit for controlling a function of a vehicle driven at least partially in an automated manner
DE102017207958B4 (en) A method of generating training data for a machine learning based pattern recognition method for a motor vehicle, motor vehicle, method of operating a computing device, and system
WO2019211293A1 (en) Method for operating a driver assistance system of an ego vehicle having at least one surroundings sensor for detecting the surroundings of the ego vehicle, computer readable medium, system and vehicle
DE102019204187A1 (en) Classification and temporal recognition of tactical driving maneuvers by road users
DE102018205146A1 (en) Test method for high-resolution headlamps using AI
DE102021133977A1 (en) Method and system for classifying virtual test scenarios and training methods
DE102021201539A1 (en) Generation of training data for a machine learning algorithm
DE102020215885A1 (en) PROCEDURE AND SYSTEM FOR DETECTING AND MITIGATION OF INTERFERENCE
DE102019218078A1 (en) Determination of a situation in the environment of a motor vehicle
WO2016128091A1 (en) Data acquisition system for determining passenger numbers in public means of transport
DE102021214334B3 (en) Vehicle data system and method for determining relevant or transferable vehicle data of an environment detection sensor
DE102021002910B3 (en) Method and device for evaluating the performance of at least one environmental sensor of a vehicle and vehicle with such a device
DE102022208563A1 (en) Exploiting saliency for monitoring, training, and domain transfer of neural networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18722539

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18722539

Country of ref document: EP

Kind code of ref document: A1