WO2023046346A1 - Verarbeiten von sensordaten in einem steuergerät mittels verlustbehafteter kompression - Google Patents

Verarbeiten von sensordaten in einem steuergerät mittels verlustbehafteter kompression Download PDF

Info

Publication number
WO2023046346A1
WO2023046346A1 PCT/EP2022/071922 EP2022071922W WO2023046346A1 WO 2023046346 A1 WO2023046346 A1 WO 2023046346A1 EP 2022071922 W EP2022071922 W EP 2022071922W WO 2023046346 A1 WO2023046346 A1 WO 2023046346A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor data
data
compressed
control unit
decompressed
Prior art date
Application number
PCT/EP2022/071922
Other languages
English (en)
French (fr)
Inventor
Bane Strahinjic
Andreas Feder
Claus Spizig
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to CN202280063830.1A priority Critical patent/CN117999786A/zh
Publication of WO2023046346A1 publication Critical patent/WO2023046346A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the invention relates to a method for processing sensor data in a control unit using lossy compression and a control unit for executing this method. Furthermore, the invention relates to a method for evaluating a lossy compression method for use in such a control unit, a computer program for executing one or both of the aforementioned methods and a computer-readable medium on which such a computer program is stored.
  • the image data can be compressed using a lossless compression method, for example by a measuring PC or data logger connected to the respective sensor system.
  • the decompressed image data which is identical to the uncompressed output data due to the lossless compression, can then be used to train, validate or test the image processing algorithm.
  • this can only reduce the amount of data by around 40% to 60%. Disclosure of Invention
  • Embodiments of the present invention enable a significant reduction in the amount of data in the development, optimization and release of image processing algorithms, such as those used for environment recognition in the context of partially or fully automated driving.
  • the associated costs are therefore significantly lower compared to conventional approaches.
  • a first aspect of the invention relates to a computer-implemented method for processing sensor data in a control unit using lossy compression.
  • the method comprises at least the following steps: receiving the sensor data in the control unit, the sensor data being provided by a sensor system for detecting an environment of a vehicle; Compressing the sensor data in a lossy compression method by the control unit or a circuit integrated in the control unit in order to obtain compressed sensor data; decompressing the compressed sensor data by the control unit or a circuit integrated in the control unit in order to obtain decompressed sensor data; and evaluating the decompressed sensor data by the control unit in order to recognize objects in the area surrounding the vehicle.
  • the method can be performed automatically by a processor of the controller.
  • the sensor data received in the control unit can be output data to be compressed, in particular uncompressed, which are generated and output by the sensor system.
  • the lossy compression method can be carried out, for example, by the processor of the control unit.
  • the control device can include a separate hardware module for the compression and decompression, in particular a separate programmable hardware module, on which a corresponding computer program can be stored.
  • irrelevant information can be irretrievably removed from the sensor data. This process can also be referred to as irrelevance reduction.
  • the sensor data can no longer be completely reconstructed from the compressed sensor data.
  • the decompressed sensor data may include different and/or less information than the original sensor data.
  • the amount of data in the compressed sensor data can be reduced by at least 40% compared to the original sensor data, for example by at least 60%, in particular by at least 80%.
  • the vehicle may be an automobile, such as a car, truck, bus, or motorcycle.
  • a vehicle can also be understood as an autonomous, mobile robot.
  • the method could also be applied to sensors in production or safety technology.
  • the sensor system can be a camera, a radar, lidar or ultrasonic sensor, for example, or a combination of at least two of these examples.
  • An object can be, for example, another vehicle, a pedestrian, a cyclist, a lane marking, or a traffic sign. However, an object can also be a line or an edge in an image.
  • the controller may be configured to automatically steer, accelerate, and/or decelerate the vehicle based on the sensor data.
  • the vehicle can have a corresponding actuator system include, for example in the form of a steering actuator, a brake actuator, a motor control unit, an electric drive motor or a combination of at least two of these examples.
  • a second aspect of the invention relates to a control device.
  • the controller includes a processor configured to perform the method of processing sensor data described above and below.
  • the control unit can include hardware and/or software modules.
  • the control unit can include a memory and data communication interfaces for data communication with peripheral devices.
  • Features of the aforementioned method can also be features of the control unit and vice versa.
  • a third aspect of the invention relates to a computer-implemented method for evaluating a lossy compression method for use in a control device, as described above and below.
  • the method comprises at least the following steps: receiving sensor data in a data processing device, the sensor data being provided by a sensor system for detecting an environment of a vehicle; compressing the sensor data in the lossy compression method to obtain compressed sensor data, and/or receiving compressed sensor data, which were provided by the control unit by compressing the sensor data in the lossy compression method, in the data processing device; decompressing the compressed sensor data to obtain decompressed sensor data; providing the sensor data and the decompressed sensor data as input data to an object detection algorithm trained on recorded sensor data to convert the input data into output data indicative of objects in the vicinity of the vehicle; determining a deviation between the output data provided by the object detection algorithm by converting the sensor data and the output data provided by the object detection algorithm by converting the decompressed sensor data; and generating an evaluation for the lossy compression method depending on the deviation.
  • object recognition algorithm can mean, for example, an artificial neural network, a support vector machine, a k-means algorithm, a k-nearest neighbor algorithm, a decision tree, a random forest or a combination of at least two of these examples be understood.
  • the recorded sensor data can be data that has not been lossy compressed (in contrast to the decompressed sensor data).
  • the recorded sensor data can have been generated by recording the uncompressed sensor data provided by the sensor system.
  • the recorded sensor data can have been generated by compressing the sensor data provided by the sensor system in a lossless compression method and then decompressing the lossless compressed sensor data.
  • the recorded sensor data can include, for example, training data for training the object recognition algorithm in a training step and/or validation data for validating the object recognition algorithm in a validation step after a training step.
  • the training data and the validation data can differ from each other.
  • the object recognition algorithm can be trained in the data processing device with lossless data or with data that was compressed using a different lossy compression method than that implemented in the control unit.
  • the validation data that were used to validate the object recognition algorithm in the data processing device match the validation data that were used to validate the object recognition algorithm in the (real) control unit.
  • the validation data should match insofar as they were compressed using the same lossy compression method.
  • the sensor data and the decompressed sensor data can be processed by the object recognition algorithm in parallel processes, for example.
  • data processing device can be understood to mean, for example, a server, a PC, a laptop, a tablet, a smartphone, an expansion card, such as an FPGA circuit board, or a combination of at least two of these examples.
  • control unit and the data processing device can be connected to one another for data communication via a wired and/or wireless data communication connection, for example via WLAN, Bluetooth and/or mobile radio.
  • influences of the lossy compression method on the recognition performance of the object recognition algorithm can be determined directly without the need for additional comparison data, such as ground truth data.
  • Such a comparison can be carried out, for example, in parallel with the normal operation of the control unit while the vehicle is driving. This simplifies the adaptation of the lossy compression method with regard to optimal recognition performance.
  • a fourth aspect of the invention relates to a data processing device.
  • the data processing device comprises a processor configured to execute the method for evaluating a lossy compression method described above and below.
  • the data processing device can include a memory and data communication interfaces for data communication with peripheral devices.
  • Features of the aforementioned method can also be features of the data processing device and vice versa.
  • the computer program comprises instructions which, when the computer program is executed by the processor, cause a processor to carry out one or both of the methods described above and below.
  • the computer-readable medium can be volatile or non-volatile data storage.
  • the computer-readable medium can be a hard drive, USB storage device, RAM, ROM, EPROM, or flash memory.
  • the computer-readable medium can also be a data communication network such as the Internet or a data cloud (cloud) enabling a download of a program code.
  • the method for processing the sensor data can also include: Sending the compressed sensor data and/or the output data from the control unit to a data processing device for recording and/or evaluating the compressed sensor data and/or the output data.
  • a data processing device for recording and/or evaluating the compressed sensor data and/or the output data.
  • the method when the control unit is operated in a test mode, can further comprise: receiving recorded compressed sensor data, which was compressed in the lossy compression method and/or in a lossy compression method to be tested, in the control unit; the controller decompressing the recorded compressed sensor data to obtain recorded decompressed sensor data; Enter the recorded decompressed sensor data as the input data to the object detection algorithm to test the controller.
  • the compressed sensor data and the recorded compressed sensor data can have been compressed using the same lossy compression method or using different lossy compression methods.
  • the lossy compression method to be tested can deviate from the lossy compression method (currently used in the control unit).
  • the compression method to be tested can be an updated version of the compression method currently in use.
  • the recorded compressed sensor data can be based on sensor data that come from a single real vehicle or from a number of real vehicles, more precisely from their respective sensors.
  • the recorded compressed sensor data can have been provided by a single control unit or by multiple control units of different vehicles.
  • the recorded, compressed sensor data was generated by a mathematical model that simulates physical properties of the sensors, the vehicle and/or objects to be detected in the area surrounding the vehicle.
  • the test mode can be used, for example, to check updated control unit software for errors or to train, validate and/or test an object recognition algorithm running on the control unit using the recorded, decompressed sensor data. In this way, the release of new software versions for the control unit can be simplified.
  • the decompressed sensor data may be input to an object detection algorithm trained on recorded decompressed sensor data to convert the input data into the output data.
  • the recorded decompressed sensor data can have been generated by decompressing recorded compressed sensor data that was compressed in the lossy compression method.
  • Object recognition can be significantly improved with the aid of such an object recognition algorithm.
  • the sensor system can be a camera and the sensor data can be image data provided by the camera. Experiments have shown that video algorithms, such as those used to recognize traffic signs and other objects, perform very well when combined with lossy video compression.
  • the decompressed sensor data can be obtained by first decompressing and then preprocessing the compressed sensor data by the control unit.
  • the pre-processing can include, for example, noise reduction, rectification or exposure control.
  • the compressed sensor data can be obtained by first preprocessing the sensor data provided by the sensor system by the control unit and then compressing it. In this way, the object recognition can be further improved.
  • the controller may include a programmable module configured to compress the sensor data in the lossy compression method to obtain the compressed sensor data and/or to decompress the compressed sensor data to obtain the decompressed sensor data.
  • the programmable module can, for example, be an FPGA or a system on a chip, or SoC for short.
  • the compression and/or decompression can be carried out by a graphics processor (GPU) or a digital signal processor (DSP).
  • a computer program for evaluating the decompressed sensor data for example a computer program that codes the object recognition algorithm, can be stored in another area of the control device outside of the programmable module. In this way, the compression and/or decompression can be flexibly adapted to different system configurations without the hardware of the control unit having to be modified.
  • the programmable module can, for example, be inserted directly after an image sensor and before an image processing chain in the control unit. Thereby can the module can be configured to compress video data and then decompress it again, with this lossy decompressed video data being able to be evaluated by the control unit.
  • This is particularly relevant in connection with artificial neural networks, since here even small differences in the characteristics of the images, which can arise as a result of lossy compression, can lead to different evaluation results. It can thus be ruled out that differences in the evaluation results are due to the lossy compression.
  • the module can additionally include an interface for measuring and/or feeding in the lossy compressed sensor data.
  • the sensor data no longer need to be compressed separately on a measurement system for storage and decompressed on a storage server for re-feeding. This also reduces the network load when measuring or feeding in the data and relieves the load on the entire system.
  • the compression and decompression of the recorded sensor data can also take place in the measurement and/or refeeding computer, for example using a special expansion card in a PC.
  • the measuring and/or refeeding computer is equipped with the same module for (de)compression as the control unit.
  • the programmable device can be configured to first decompress the compressed sensor data and then to preprocess it in order to obtain the decompressed sensor data.
  • a pre-processing function for example an image pre-processing function for noise reduction, rectification and/or exposure control, can be integrated into the programmable module in addition to the compression and/or decompression function.
  • the pre-processing can be flexibly adapted to different system configurations without the hardware of the control unit having to be modified or special test hardware being required.
  • the method for evaluating a lossy compression method can further comprise: generating control commands for controlling a recording of the sensor data as a function of the deviation.
  • the sensor data can be recorded in the data processing device, the control device and/or a data storage device which is connected to the data processing device and/or the control device for data communication, for example a central storage server.
  • the recording of the (uncompressed) sensor data or other additional data provided by the vehicle can be started automatically if the deviation is classified as relevant by the data processing device.
  • an ongoing recording can be automatically interrupted if the data processing device again classifies the deviation as irrelevant.
  • the raw sensor data can reach the (object recognition) algorithms in the control unit via two paths.
  • the algorithms can receive the raw sensor data directly from the sensors, for example from a camera. This is the case when the control unit is actually operating in the vehicle.
  • the recorded sensor data can be fed back in, which can also be referred to as replay.
  • HIL hardware in the loop.
  • the same circuit board can also be used to measure the sensor data.
  • connection to the sensors is not relevant since the raw sensor data comes directly from the re-injection framework.
  • lossy data compression achieves higher compression rates than lossless data compression, depending on the accepted data loss.
  • special lossy compression methods that are optimized for video algorithms do not result in any significant impairment of the recognition performance of corresponding video algorithms, despite higher compression rates. Therefore, the use of such compression algorithms in validation makes sense to further reduce the amount of data.
  • the challenge is to ensure that the compression or decompression does not affect or distort the validation data compared to the real, uncompressed data, because in this case it could not be argued that the tests are representative of the real world.
  • self-learning algorithms it would hardly be possible to assess whether the algorithms behaved exactly the same in all cases on both data sets and whether the effects of compression never made a difference.
  • the compression can optionally be optimized during development by using a special HIL debug board (see above) as a data processing device.
  • HIL debug board see above
  • video streams can be recorded lossy and lossless at the same time.
  • FPGA field-programmable gate array
  • the HIL debug board may be configured to compare the lossy and original video streams, for example using a machine learned algorithm. In this way, the quality of the lossy compression can be evaluated parallel to the normal operation of the control unit.
  • the influence of the lossy compression on the recognition quality of the respective algorithm can be determined by comparing the recognition quality that the algorithm achieves when evaluating the original data with that which the algorithm achieves when evaluating the corresponding compressed data.
  • the aforementioned HIL debug board can be connected between the sensors and the control unit, for example.
  • the HIL debug board can include an FPGA, for example, on which the aforementioned functions can be tested and optimized accordingly. It is conceivable, for example, for the sensor data to be lossy and lossless compressed in parallel. Thus, the two compression methods can be directly compared with each other.
  • the HIL debug board can be configured to ensure data integrity of all data paths with CRC32. This can ensure that the examined differences in the sensor data are not due to data errors go back
  • the HIL debug board can be configured to cause the original sensor data to be saved when certain trigger conditions are present, such as emergency braking of the vehicle.
  • the compression can be optimized on the HIL debug board during development.
  • the recognition performance is then evaluated, for example, by feeding both sensor datasets back in separately.
  • the measurement data obtained in this way are compared with one another.
  • the training of the algorithms can be based on both sensor data sets, i. H. the original and the lossy, decompressed sensor data.
  • a framework can be used for the evaluation, also called Performance Evaluation Framework or PEF for short, which compares ground truth data with the respective output data and quantifies deviations.
  • lossy compression can be applied to previously recorded, unmodified sensor data.
  • the resulting lossy data can also be fed into an open-loop test, for example.
  • the resulting output data can then be compared with the original sensor data and/or the ground truth data with regard to the recognition performance. This procedure should be repeated several times to compensate for system jitter.
  • the HIL debug board may include an FPGA that may be configured to compare the original and lossy data streams. To do this, the two paths in the HIL debug board can be processed by an appropriate algorithm and then compared. In the event of relevant deviations, additional data can be specifically recorded for further analysis. It is also advantageous if various image parameters such as noise or brightness are adjusted as a result of the decompression. In this way, different uncertainties can be simulated and tested on the same image both in the case of refeeding and in the real hardware. This further increases the robustness of the video algorithms.
  • FIG. 1 shows a control device according to an embodiment of the invention and a data processing device according to an embodiment of the invention.
  • FIG. 2 shows the data processing device from FIG. 1 in detail.
  • the vehicle is equipped with a sensor system 2 that detects the surroundings of the vehicle and outputs corresponding sensor data 3 that are received by control unit 1 and processed using lossy compression.
  • the sensor system 2 can be a camera, for example.
  • the sensor data 3 can accordingly be image data, which can include individual images or image sequences from the surroundings of the vehicle.
  • the sensor system 2 can also be a radar, lidar or ultrasonic sensor, for example.
  • the sensor data 3 are first converted into compressed sensor data 5 by compression using a lossy compression method in a compression module 4 .
  • the compressed ones Sensor data 5 are then converted into decompressed raw sensor data 7 by decompression in a decompression module 6 .
  • the decompressed raw sensor data 7 are pre-processed in a pre-processing module 8 , being converted into (correspondingly pre-processed) decompressed sensor data 9 .
  • the pre-processing module 8 can be configured, for example, to reduce noise in the images or to adjust an exposure. Depending on the type of sensor data 3, the pre-processing module 8 can include other and/or additional pre-processing functions.
  • the decompressed sensor data 9 is entered as input data 10 into an object recognition algorithm 11, which is configured to convert the input data 10 into output data 12, which combines recognized objects in the vicinity of the vehicle, for example pedestrians, lane markings, traffic signs, etc., with their respective positions and/or orientations.
  • object recognition algorithm 11 is configured to convert the input data 10 into output data 12, which combines recognized objects in the vicinity of the vehicle, for example pedestrians, lane markings, traffic signs, etc., with their respective positions and/or orientations.
  • the decompression module 6 can transfer the decompressed raw sensor data 7 to the object recognition algorithm 11 as the input data 10 .
  • the compression module 4 and the decompression module 6 can be stored in a separate programmable component 13 of the control device 1, for example an FPGA or an SoC.
  • the object recognition algorithm 11 and the preprocessing module 8 can be stored outside of this module 13 in the control device 1 .
  • control unit 1 can be connected to an external data processing device 14 via a suitable data communication connection, which can be wireless or wired.
  • the data processing device 14 can be a PC, laptop, tablet or a special debug board, for example.
  • the compressed sensor data 5 and/or the output data 12 assigned to the compressed sensor data 5 can be sent to the data processing device 14, stored there and evaluated in a suitable manner.
  • the compressed sensor data 5 can be stored in the control unit 1 itself and read out there if required.
  • the data processing device 14 can send recorded compressed sensor data 15, which was obtained by recording the compressed sensor data 5, to the control unit 1 if the latter is operated in a corresponding test mode.
  • the recorded compressed sensor data 15 can be decompressed analogously to the compressed sensor data 5 in the decompression module 6 , being converted into recorded decompressed sensor data 16 .
  • the recorded, decompressed sensor data 16 can, for example, have been preprocessed in the module 13 analogously to the decompressed raw sensor data 7 .
  • pre-processing in pre-processing module 8 is also possible.
  • the sensor data 3 can be received by the data processing device 14 alone or in parallel by the control unit 1 and by the data processing device 14 .
  • the data processing device 14 can be connected between the sensor system 2 and the control unit 1 , with the control unit 1 receiving the sensor data 3 from the data processing device 14 .
  • the sensor data 3 can be compressed in the data processing device 14 in order to obtain the recorded compressed sensor data 15 .
  • the data processing device 14 converts the recorded compressed sensor data 15 into the recorded decompressed sensor data 16 by decompression and provides it to the control unit 1 as the input data 10 for test purposes if required.
  • the recorded decompressed sensor data 16 can be used, for example, as training, validation and/or test data for training, validating or testing the object recognition algorithm 11 in a machine learning method.
  • control unit 2 shows how a lossy compression method, as used or intended to be used in control unit 1, can be automatically evaluated by data processing device 14.
  • the sensor data 3 provided by the sensor system 2 is received in the data processing device 14 and input into a compression module 4, which converts the sensor data 3 into compressed sensor data 5 by compression using the lossy compression method to be tested.
  • the compressed sensor data 5 is then input into a decompression module 6, which converts the compressed sensor data 5 into decompressed sensor data 9 by decompression.
  • the data processing device 14 can receive the compressed sensor data 5 from the control device 1 .
  • the compression module 4 and the decompression module 6 are modules of a further programmable component 17 which has been programmed in the same or similar manner as the component 13 of the control device 1 or is identical to it.
  • the sensor data 3 and the decompressed sensor data 9 are used as input data 10 for a first object recognition module 18 and a second Object recognition module 19 of the data processing device 14 is used, the sensor data 3 being entered into the first object recognition module 18 and the decompressed sensor data 9 being entered into the second object recognition module 19 .
  • the two object recognition modules 18, 19 each execute an object recognition algorithm 11, which has been trained with recorded sensor data, in order to convert the input data 10 into output data 12, which display objects in the area surrounding the vehicle.
  • the recorded sensor data can have been provided by the sensor system 2 or another sensor system, which can be real or simulated.
  • Object recognition algorithm 11, which is executed in control unit 1 can differ from object recognition algorithm 11, which is executed in data processing device 14, or can match it.
  • the output data 12 of the two object recognition modules 18, 19 are then compared with one another in a comparison module 20 in order to determine a deviation between the respective output data 12.
  • a comparison result 21 quantifying the deviation is finally evaluated in an evaluation module 22 which outputs an evaluation 23 corresponding to the respective deviation of the lossy compression method used for the compression of the sensor data 3 .
  • the evaluation module 22 can be configured, depending on the comparison result 21 and/or the evaluation 23, to send control commands 24 to start and/or interrupt a recording of the sensor data 3 provided by the sensor system 2 or other relevant vehicle data in an internal or external data memory generate.
  • control unit 1 and the data processing device 14 are each equipped with a processor 25 which executes a computer program, the execution of which causes the method steps described above using the example of the control unit 1 or the data processing device 14 to be carried out.
  • processor 25 which executes a computer program, the execution of which causes the method steps described above using the example of the control unit 1 or the data processing device 14 to be carried out.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Stored Programmes (AREA)

Abstract

Ein Verfahren zum Verarbeiten von Sensordaten (3) in einem Steuergerät (1) mittels verlustbehafteter Kompression umfasst: Empfangen der Sensordaten (3) im Steuergerät (1), wobei die Sensordaten (3) von einer Sensorik (2) zum Erfassen einer Umgebung eines Fahrzeugs bereitgestellt wurden; Komprimieren der Sensordaten (3) in einem verlustbehafteten Kompressionsverfahren, um komprimierte Sensordaten (5) zu erhalten; Dekomprimieren der komprimierten Sensordaten (5), um dekomprimierte Sensordaten (9) zu erhalten; und Eingeben der dekomprimierten Sensordaten (9) als Eingabedaten (10) in einen Objekt- erkennungsalgorithmus (11), der konfiguriert ist, um die Eingabedaten (10) in Ausgabedaten (12), die Objekte in der Umgebung des Fahrzeugs anzeigen, umzuwandeln.

Description

Verarbeiten von Sensordaten in einem Steuergerät mittels verlustbehafteter Kompression
Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren zum Verarbeiten von Sensordaten in einem Steuergerät mittels verlustbehafteter Kompression und ein Steuergerät zum Ausführen dieses Verfahrens. Des Weiteren betrifft die Erfindung ein Verfahren zum Bewerten eines verlustbehafteten Kompressionsverfahrens zur Verwendung in einem solchen Steuergerät, ein Computerprogramm zum Ausführen eines oder beider der vorgenannten Verfahren und ein computerlesbares Medium, auf dem ein solches Computerprogramm gespeichert ist.
Stand der Technik
Zum Testen von Bildverarbeitungsalgorithmen, wie sie beispielsweise zur Objekterkennung im Rahmen des teil- oder vollautomatisierten Fahrens verwendet werden, sind in der Regel große Mengen an aufgezeichneten Bilddaten erforderlich, die von einer Vielzahl unterschiedlicher Fahrzeuge in unterschiedlichen Fahrsituationen bereitgestellt werden können. Des Weiteren können synthetische Sequenzen verwendet werden. Für die Speicherung, Übertragung und Verarbeitung solcher Daten können entsprechend hohe Kosten anfallen.
Um die Datenmenge zu reduzieren, können die Bilddaten beispielsweise von einem an die jeweilige Sensorik angeschlossenen Mess-PC oder Datenlogger in einem verlustfreien Kompressionsverfahren komprimiert werden. Zum Trainieren, Validieren oder Testen des Bildverarbeitungsalgorithmus können dann die dekomprimierten Bilddaten verwendet werden, die aufgrund der verlustfreien Kompression mit den unkomprimierten Ausgangsdaten identisch sind. Auf diese Weise kann die Datenmenge jedoch nur um etwa 40 % bis 60 % reduziert werden. Offenbarung der Erfindung
Vor diesem Hintergrund werden nachstehend ein Verfahren zum Verarbeiten von Sensordaten in einem Steuergerät mittels verlustbehafteter Kompression, ein Verfahren zum Bewerten eines verlustbehafteten Kompressionsverfahrens, ein entsprechendes Steuergerät, eine entsprechende Datenverarbeitungsvorrichtung, ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Medium gemäß den unabhängigen Ansprüchen vorgestellt. Vorteilhafte Weiterbildungen und Verbesserungen des hier vorgestellten Ansatzes ergeben sich aus der Beschreibung und sind in den abhängigen Ansprüchen beschrieben.
Vorteile der Erfindung
Ausführungsformen der vorliegenden Erfindung ermöglichen eine erhebliche Reduzierung der Datenmenge bei der Entwicklung, Optimierung und Freigabe von Bildverarbeitungsalgorithmen, wie sie beispielsweise zur Umfelderkennung im Rahmen des teil- oder vollautomatisierten Fahrens verwendet werden. Die damit verbundenen Kosten sind damit im Vergleich zu herkömmlichen Ansätzen deutlich niedriger.
Ein erster Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Verarbeiten von Sensordaten in einem Steuergerät mittels verlustbehafteter Kompression. Das Verfahren umfasst zumindest die folgenden Schritte: Empfangen der Sensordaten im Steuergerät, wobei die Sensordaten von einer Sensorik zum Erfassen einer Umgebung eines Fahrzeugs bereitgestellt wurden; Komprimieren der Sensordaten in einem verlustbehafteten Kompressionsverfahren durch das Steuergerät oder einen im Steuergerät integrierten Schaltkreis, um komprimierte Sensordaten zu erhalten; Dekomprimieren der komprimierten Sensordaten durch das Steuergerät oder einen im Steuergerät integrierten Schaltkreis, um dekomprimierte Sensordaten zu erhalten; und Auswerten der dekomprimierten Sensordaten durch das Steuergerät, um Objekte in der Umgebung des Fahrzeugs zu erkennen.
Das Verfahren kann automatisch durch einen Prozessor des Steuergeräts ausgeführt werden. Bei den Sensordaten, die im Steuergerät empfangen werden, kann es sich um zu komprimierende, insbesondere unkomprimierte Ausgangsdaten handeln, die von der Sensorik erzeugt und ausgegeben werden. Das verlustbehaftete Kompressionsverfahren kann beispielsweise durch den Prozessor des Steuergeräts ausgeführt werden. Beispielsweise kann das Steuergerät einen gesonderten Hardwarebaustein für die Kompression und Dekompression, insbesondere einen gesonderten programmierbaren Hardwarebaustein, umfassen, auf dem ein entsprechendes Computerprogramm gespeichert sein kann. Durch Ausführen des verlustbehafteten Kompressionsverfahrens können irrelevante Informationen aus den Sensordaten unwiederbringlich entfernt werden. Dieser Vorgang kann auch als Irrelevanzreduktion bezeichnet werden. Somit lassen sich die Sensordaten aus den komprimierten Sensordaten nicht mehr vollständig rekonstruieren. Anders ausgedrückt können die dekomprimierten Sensordaten andere und/oder weniger Informationen als die ursprünglichen Sensordaten umfassen. Die komprimierten Sensordaten können in ihrer Datenmenge gegenüber den ursprünglichen Sensordaten um mindestens 40 %, beispielsweise um mindestens 60 %, insbesondere um mindestens 80 %, reduziert sein.
Das Fahrzeug kann ein Kraftfahrzeug, etwa in Form eines Pkw, Lkw, Busses oder eines Motorrads, sein. Im weiteren Sinn kann unter einem Fahrzeug auch ein autonomer, mobiler Roboter verstanden werden. Im weiteren Sinn könnte das Verfahren auch auf Sensoren in der Produktion oder Sicherheitstechnik angewendet werden.
Die Sensorik kann beispielsweise eine Kamera, ein Radar-, Lidar- oder Ultraschallsensor oder eine Kombination aus mindestens zwei dieser Beispiele sein.
Ein Objekt kann beispielsweise ein anderes Fahrzeug, ein Fußgänger, ein Radfahrer, eine Fahrbahnmarkierung oder ein Verkehrsschild sein. Ein Objekt kann aber auch eine Linie oder Kante in einem Bild sein.
Das Steuergerät kann beispielsweise konfiguriert sein, um das Fahrzeug basierend auf den Sensordaten automatisch zu lenken, zu beschleunigen und/oder abzubremsen. Hierzu kann das Fahrzeug eine entsprechende Aktorik umfassen, beispielsweise in Form eines Lenkaktors, eines Bremsaktors, eines Motorsteuergeräts, eines elektrischen Antriebsmotors oder einer Kombination aus mindestens zwei dieser Beispiele.
Ein zweiter Aspekt der Erfindung betrifft ein Steuergerät. Das Steuergerät umfasst einen Prozessor, der konfiguriert ist, um das vor- und nachstehend beschriebene Verfahren zum Verarbeiten von Sensordaten auszuführen. Das Steuergerät kann Hardware- und/oder Softwaremodule umfassen. Zusätzlich zum Prozessor kann das Steuergerät einen Speicher und Datenkommunikationsschnittstellen zur Datenkommunikation mit Peripheriegeräten umfassen. Merkmale des vorgenannten Verfahrens können auch Merkmale des Steuergeräts sein und umgekehrt.
Ein dritter Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Bewerten eines verlustbehafteten Kompressionsverfahrens zur Verwendung in einem Steuergerät, wie es vor- und nachstehend beschrieben wird. Das Verfahren umfasst zumindest die folgenden Schritte: Empfangen von Sensordaten in einer Datenverarbeitungsvorrichtung, wobei die Sensordaten von einer Sensorik zum Erfassen einer Umgebung eines Fahrzeugs bereitgestellt wurden; Komprimieren der Sensordaten in dem verlustbehafteten Kompressionsverfahren, um komprimierte Sensordaten zu erhalten, und/oder Empfangen komprimierter Sensordaten, die vom Steuergerät durch Komprimieren der Sensordaten in dem verlustbehafteten Kompressionsverfahren bereitgestellt wurden, in der Datenverarbeitungsvorrichtung; Dekomprimieren der komprimierten Sensordaten, um dekomprimierte Sensordaten zu erhalten; Eingeben der Sensordaten und der dekomprimierten Sensordaten als Eingabedaten in einen Objekterkennungsalgorithmus, der mit aufgezeichneten Sensordaten trainiert wurde, um die Eingabedaten in Ausgabedaten umzuwandeln, die Objekte in der Umgebung des Fahrzeugs anzeigen; Bestimmen einer Abweichung zwischen den vom Objekterkennungsalgorithmus durch Umwandeln der Sensordaten bereitgestellten Ausgabedaten und den vom Objekterkennungsalgorithmus durch Umwandeln der dekomprimierten Sensordaten bereitgestellten Ausgabedaten; und Erzeugen einer Bewertung für das verlustbehaftete Kompressionsverfahren in Abhängigkeit von der Abweichung. Unter „Objekterkennungsalgorithmus“ kann vor- und nachstehend beispielsweise ein künstliches neuronales Netz, eine Support Vector Machine, ein k-Means- Algorithmus, ein K-Nächste-Nachbarn-Algorithmus, ein Entscheidungsbaum, ein Random Forest oder eine Kombination aus mindestens zwei dieser Beispiele verstanden werden.
Bei den aufgezeichneten Sensordaten kann es sich um Daten handeln, die (im Gegensatz zu den dekomprimierten Sensordaten) nicht verlustbehaftet komprimiert wurden. Beispielsweise können die aufgezeichneten Sensordaten durch Aufzeichnen der von der Sensorik bereitgestellten, unkomprimierten Sensordaten erzeugt worden sein. Alternativ können die aufgezeichneten Sensordaten durch Komprimieren der von der Sensorik bereitgestellten Sensordaten in einem verlustfreien Kompressionsverfahren und anschließendes Dekomprimieren der verlustfrei komprimierten Sensordaten erzeugt worden sein.
Die aufgezeichneten Sensordaten können beispielsweise Trainingsdaten zum Trainieren des Objekterkennungsalgorithmus in einem Trainingsschritt und/oder Validationsdaten zum Validieren des Objekterkennungsalgorithmus in einem Validationsschritt nach einem Trainingsschritt umfassen. Die Trainingsdaten und die Validationsdaten können dabei voneinander abweichen.
Es ist nicht zwingend erforderlich, dass die Trainingsdaten, die zum Trainieren des Objekterkennungsalgorithmus in der Datenverarbeitungsvorrichtung verwendet wurden, mit den Trainingsdaten übereinstimmen, die zum Trainieren des Objekterkennungsalgorithmus im (realen) Steuergerät verwendet wurden. Beispielsweise kann das Training des Objekterkennungsalgorithmus in der Datenverarbeitungsvorrichtung mit verlustfreien Daten erfolgen oder mit Daten, die mit einem anderen verlustbehafteten Kompressionsverfahren komprimiert wurden als demjenigen, das im Steuergerät implementiert ist. Entscheidend ist, dass die Validationsdaten, die zum Validieren des Objekterkennungsalgorithmus in der Datenverarbeitungsvorrichtung verwendet wurden, mit den Validationsdaten übereinstimmen, die zum Validieren des Objekterkennungsalgorithmus im (realen) Steuergerät verwendet wurden. Insbesondere sollten die Validationsdaten insofern übereinstimmen, als sie im gleichen verlustbehafteten Kompressionsverfahren komprimiert wurden. Die Sensordaten und die dekomprimierten Sensordaten können beispielsweise in parallelen Prozessen durch den Objekterkennungsalgorithmus verarbeitet werden.
Unter „Datenverarbeitungsvorrichtung“ kann vor- und nachstehend beispielsweise ein Server, ein PC, ein Laptop, ein Tablet, ein Smartphone, eine Erweiterungskarte, etwa eine FPGA-Platine, oder eine Kombination aus mindestens zwei dieser Beispiele verstanden werden.
Das Steuergerät und die Datenverarbeitungsvorrichtung können über eine Datenkommunikationsverbindung drahtgebunden und/oder drahtlos, beispielsweise über WLAN, Bluetooth und/oder Mobilfunk, miteinander zur Datenkommunikation verbunden sein.
Mithilfe eines solchen Verfahrens können Einflüsse des verlustbehafteten Kompressionsverfahrens auf die Erkennungsleistung des Objekterkennungsalgorithmus unmittelbar festgestellt werden, ohne dass zusätzliche Vergleichsdaten, etwa Ground-Truth-Daten, herangezogen zu werden brauchen. Ein solcher Vergleich kann beispielsweise parallel zum normalen Betrieb des Steuergeräts während der Fahrt des Fahrzeugs durchgeführt werden. Dies vereinfacht die Anpassung des verlustbehafteten Kompressionsverfahrens im Hinblick auf eine optimale Erkennungsleistung.
Ein vierter Aspekt der Erfindung betrifft eine Datenverarbeitungsvorrichtung. Die Datenverarbeitungsvorrichtung umfasst einen Prozessor, der konfiguriert ist, um das vor- und nachstehend beschriebene Verfahren zum Bewerten eines verlustbehafteten Kompressionsverfahrens auszuführen. Zusätzlich zum Prozessor kann die Datenverarbeitungsvorrichtung einen Speicher und Datenkommunikationsschnittstellen zur Datenkommunikation mit Peripheriegeräten umfassen. Merkmale des vorgenannten Verfahrens können auch Merkmale der Datenverarbeitungsvorrichtung sein und umgekehrt.
Weitere Aspekte der Erfindung betreffen ein Computerprogramm und ein computerlesbares Medium, auf dem das Computerprogramm gespeichert ist. Das Computerprogramm umfasst Befehle, die einen Prozessor bei Ausführung des Computerprogramms durch den Prozessor veranlassen, eines oder beide der vor- und nachstehend beschriebenen Verfahren auszuführen.
Das computerlesbare Medium kann ein flüchtiger oder nicht flüchtiger Datenspeicher sein. Beispielsweise kann das computerlesbare Medium eine Festplatte, ein USB-Speichergerät, ein RAM, ROM, EPROM oder Flash-Speicher sein. Das computerlesbare Medium kann auch ein einen Download eines Programmcodes ermöglichendes Datenkommunikationsnetzwerk wie etwa das Internet oder eine Datenwolke (Cloud) sein.
Merkmale der vor- und nachstehend beschriebenen Verfahren können auch Merkmale des Computerprogramms und/oder des computerlesbaren Mediums sein und umgekehrt.
Mögliche Merkmale und Vorteile von Ausführungsformen der Erfindung können unter anderem, und ohne die Erfindung einzuschränken, als auf den nachstehend beschriebenen Ideen und Erkenntnissen beruhend angesehen werden.
Gemäß einer Ausführungsform kann das Verfahren zum Verarbeiten der Sensordaten ferner umfassen: Senden der komprimierten Sensordaten und/oder der Ausgabedaten vom Steuergerät an eine Datenverarbeitungsvorrichtung zum Aufzeichnen und/oder Auswerten der komprimierten Sensordaten und/oder der Ausgabedaten. Auf diese Weise kann die Effizienz der Datenübertagung und -Speicherung im Vergleich zu herkömmlichen Ansätzen, wonach die Sensordaten verlustfrei oder überhaupt nicht komprimiert werden, erheblich gesteigert werden.
Gemäß einer Ausführungsform kann das Verfahren, wenn das Steuergerät in einem Testmodus betrieben wird, ferner umfassen: Empfangen aufgezeichneter komprimierter Sensordaten, die in dem verlustbehafteten Kompressionsverfahren und/oder in einem zu testenden verlustbehafteten Kompressionsverfahren komprimiert wurden, im Steuergerät; Dekomprimieren der aufgezeichneten komprimierten Sensordaten durch das Steuergerät, um aufgezeichnete dekomprimierte Sensordaten zu erhalten; Eingeben der aufgezeichneten dekomprimierten Sensordaten als die Eingabedaten in den Objekterkennungsalgorithmus, um das Steuergerät zu testen. Die komprimierten Sensordaten und die aufgezeichneten komprimierten Sensordaten können in dem gleichen verlustbehafteten Kompressionsverfahren oder auch in voneinander abweichenden verlustbehafteten Kompressionsverfahren komprimiert worden sind. Das zu testende verlustbehaftete Kompressionsverfahren kann vom (aktuell im Steuergerät verwendeten) verlustbehafteten Kompressionsverfahren abweichen. Beispielsweise kann es sich bei dem zu testenden Kompressionsverfahren um eine aktualisierte Version des aktuell verwendeten Kompressionsverfahrens handeln. Die aufgezeichneten komprimierten Sensordaten können auf Sensordaten zurückgehen, die von einem einzigen realen Fahrzeug oder von mehreren realen Fahrzeugen, genauer von deren jeweiliger Sensorik, stammen. Anders ausgedrückt können die aufgezeichneten komprimierten Sensordaten durch ein einziges Steuergerät oder durch mehrere Steuergeräte verschiedener Fahrzeuge bereitgestellt worden sein. Denkbar ist auch, dass die aufgezeichneten komprimierten Sensordaten durch ein mathematisches Modell erzeugt wurden, das physikalische Eigenschaften der Sensorik, des Fahrzeugs und/oder zu erkennender Objekte in der Umgebung des Fahrzeugs simuliert. Der Testmodus kann beispielsweise dazu dienen, eine aktualisierte Steuergerätesoftware auf Fehler zu überprüfen oder einen Objekterkennungsalgorithmus, der auf dem Steuergerät läuft, mit den aufgezeichneten dekomprimierten Sensordaten zu trainieren, zu validieren und/oder zu testen. Auf diese Weise kann die Freigabe neuer Softwareversionen für das Steuergerät vereinfacht werden.
Gemäß einer Ausführungsform können die dekomprimierten Sensordaten in einen Objekterkennungsalgorithmus eingegeben werden, der mit aufgezeichneten dekomprimierten Sensordaten trainiert wurde, um die Eingabedaten in die Ausgabedaten umzuwandeln. Dabei können die aufgezeichneten dekomprimierten Sensordaten durch Dekomprimieren aufgezeichneter komprimierter Sensordaten erzeugt worden sein, die in dem verlustbehafteten Kompressionsverfahren komprimiert wurden. Mithilfe eines solchen Objekterkennungsalgorithmus kann die Objekterkennung deutlich verbessert werden. Gemäß einer Ausführungsform kann die Sensorik eine Kamera sein und die Sensordaten können von der Kamera bereitgestellte Bilddaten sein. Versuche haben gezeigt, dass Videoalgorithmen, wie sie beispielsweise zur Erkennung von Verkehrszeichen und anderen Objekten zum Einsatz kommen, sehr gute Leistungen erzielen, wenn sie mit einer verlustbehafteten Videokompression kombiniert werden.
Gemäß einer Ausführungsform können die dekomprimierten Sensordaten erhalten werden, indem die komprimierten Sensordaten durch das Steuergerät zunächst dekomprimiert und anschließend vorverarbeitet werden. Die Vorverarbeitung kann beispielsweise eine Rauschreduzierung, Rektifizierung oder eine Belichtungssteuerung umfassen. Alternativ oder zusätzlich können die komprimierten Sensordaten erhalten werden, indem die von der Sensorik bereitgestellten Sensordaten durch das Steuergerät zunächst vorverarbeitet und anschließend komprimiert werden. Auf diese Weise kann die Objekterkennung weiter verbessert werden.
Gemäß einer Ausführungsform kann das Steuergerät einen programmierbaren Baustein umfassen, der konfiguriert ist, um die Sensordaten in dem verlustbehafteten Kompressionsverfahren zu komprimieren, um die komprimierten Sensordaten zu erhalten, und/oder die komprimierten Sensordaten zu dekomprimieren, um die dekomprimierten Sensordaten zu erhalten. Der programmierbare Baustein kann beispielsweise ein FPGA oder ein System auf einem Chip, englisch system on a chip oder kurz SoC, sein. Möglich ist aber auch, dass das Komprimieren und/oder Dekomprimieren von einem Grafikprozessor (GPU) oder einem digitalen Signalprozessor (DSP) ausgeführt wird. Dabei kann ein Computerprogramm zur Auswertung der dekomprimierten Sensordaten, etwa ein den Objekterkennungsalgorithmus codierendes Computerprogramm, in einem anderen Bereich des Steuergeräts außerhalb des programmierbaren Bausteins gespeichert sein. Auf diese Weise kann die Kompression und/oder Dekompression flexibel an unterschiedliche System konfigurationen angepasst werden, ohne dass die Hardware des Steuergeräts modifiziert zu werden braucht.
Der programmierbare Baustein kann beispielsweise direkt nach einem Bildsensor und vor einer Bildverarbeitungskette im Steuergerät eingefügt sein. Dabei kann der Baustein konfiguriert sein, um Videodaten zu komprimieren und anschließend wieder zu dekomprimieren, wobei diese verlustbehafteten dekomprimierten Videodaten vom Steuergerät ausgewertet werden können. Dies ist insbesondere im Zusammenhang mit künstlichen neuronalen Netzen relevant, da hier bereits kleine Unterschiede in der Charakteristik der Bilder, die infolge einer verlustbehafteten Kompression entstehen können, zu unterschiedlichen Auswertungsergebnissen führen können. Somit kann ausgeschlossen werden, dass Unterschiede in den Auswertungsergebnissen auf die verlustbehaftete Kompression zurückgehen.
Der Baustein kann zusätzlich eine Schnittstelle zum Messen und/oder Einspeisen der verlustbehaftet komprimierten Sensordaten umfassen. Dadurch brauchen die Sensordaten für die Speicherung beispielsweise nicht mehr separat auf einem Messsystem komprimiert und für die Wiedereinspeisung auf einem Speicherserver dekomprimiert zu werden. Dies reduziert zusätzlich die Netzwerkauslastung beim Messen bzw. Einspeisen der Daten und entlastet das Gesamtsystem.
Alternativ kann die Kompression und Dekompression der aufgezeichneten Sensordaten auch im Mess- und/oder Wiedereinspeisungsrechner, etwa durch eine spezielle Erweiterungskarte in einem PC, erfolgen. In diesem Fall ist es zweckmäßig, wenn der Mess- und/oder Wiedereinspeisungsrechner mit dem gleichen Baustein zur (De-) Kompression ausgestattet ist wie das Steuergerät.
Gemäß einer Ausführungsform kann der programmierbare Baustein konfiguriert sein, um die komprimierten Sensordaten zunächst zu dekomprimieren und anschließend vorzuverarbeiten, um die dekomprimierten Sensordaten zu erhalten. Anders ausgedrückt kann in den programmierbaren Baustein zusätzlich zur Kompressions- und/oder Dekompressionsfunktion eine Vorverarbeitungsfunktion, beispielsweise eine Bildvorverarbeitungsfunktion zur Rauschreduzierung, Rektifizierung und/oder Belichtungssteuerung, integriert sein. Auf diese Weise kann die Vorverarbeitung flexibel an unterschiedliche Systemkonfigurationen angepasst werden, ohne dass die Hardware des Steuergeräts modifiziert zu werden braucht oder eine spezielle Testhardware erforderlich ist. Gemäß einer Ausführungsform kann das Verfahren zum Bewerten eines verlustbehafteten Kompressionsverfahrens ferner umfassen: Erzeugen von Steuerbefehlen zum Steuern einer Aufzeichnung der Sensordaten in Abhängigkeit von der Abweichung. Die Sensordaten können in der Datenverarbeitungsvorrichtung, dem Steuergerät und/oder einem Datenspeicher, der mit der Datenverarbeitungsvorrichtung und/oder dem Steuergerät zur Datenkommunikation verbunden ist, beispielsweise einem zentralen Speicherserver, aufgezeichnet werden. Beispielsweise kann die Aufzeichnung der (unkomprimierten) Sensordaten oder sonstiger zusätzlicher Daten, die vom Fahrzeug bereitgestellt werden, automatisch gestartet werden, wenn die Abweichung von der Datenverarbeitungsvorrichtung als relevant eingestuft wird. Umgekehrt kann eine laufende Aufzeichnung automatisch unterbrochen werden, wenn die Abweichung von der Datenverarbeitungsvorrichtung wieder als irrelevant eingestuft wird.
Ein wichtiger Punkt bei der Entwicklung, Optimierung und Freigabe von Videoalgorithmen ist das Einspeisen aufgezeichneter Sensordaten in ein vorhandenes Steuergerät. Für den Test der im Fahrzeug verwendeten Algorithmen können zuvor aufgezeichnete Sequenzen wieder in das gleiche Steuergerät, wie es später im Fahrzeug verwendet wird, eingespeist werden. Dabei wird auf dem Steuergerät in der Regel eine neuere Softwareversion mit angepassten Algorithmen getestet. Um eine Aussage über die Leistungsfähigkeit der Algorithmen in der realen Welt treffen zu können, werden üblicherweise sehr viele verschiedene Szenarien und Umweltbedingungen auf der ganzen Welt getestet. Beispielsweise können in großangelegten Dauerläufen Sensordaten von vielen Fahrzeugen auf der ganzen Welt aufgezeichnet werden. Diese Daten können vom jeweiligen Fahrzeug aufgezeichnet, von dort zu einem Serverspeicher übertragen und darin entsprechend lang gespeichert werden. Zusätzlich können die Daten für die Wiedereinspielung kopiert und in einem Netzwerk verschoben werden. Somit können für die Speicherung und den Transport der Daten, physikalisch oder digital, erhebliche Kosten entstehen, die direkt mit der Datenmenge Zusammenhängen.
Die Rohsensordaten können über zwei Pfade zu den (Objekterkennungs-)Algorithmen im Steuergerät gelangen. Zum einen können die Algorithmen die Rohsensordaten direkt von der Sensorik, etwa von einer Kamera, empfangen. Dies ist im realen Betrieb des Steuergeräts im Fahrzeug der Fall.
Zum anderen können die aufgezeichneten Sensordaten wiedereingespeist werden, was auch als Replay bezeichnet werden kann. In diesem Fall können die Sensordaten von einem Framework über eine speziell entwickelte HIL-Debug- Platine (HIL = hardware in the loop) an eine entsprechende Schnittstelle des Steuergeräts gesendet werden. Dieselbe Platine kann auch zum Messen der Sensordaten genutzt werden.
Bei der Wiedereinspeisung ist die Verbindung zur Sensorik nicht relevant, da die Rohsensordaten direkt vom Wiedereinspeisungs- Framework kommen.
In der Regel erreicht eine verlustbehaftete Datenkompression, abhängig vom akzeptierten Datenverlust, höhere Kompressionsraten als eine verlustfreie Datenkompression. In Versuchen konnte gezeigt werden, dass spezielle verlustbehaftete Kompressionsverfahren, die für Videoalgorithmen optimiert sind, trotz höherer Kompressionsraten keine maßgebliche Beeinträchtigung der Erkennungsleistung entsprechender Videoalgorithmen zur Folge haben. Daher bietet sich der Einsatz solcher Kompressionsalgorithmen in der Validation an, um die Datenmenge weiter zu reduzieren. Die Herausforderung besteht allerdings darin, sicherzustellen, dass die Kompression bzw. Dekompression die Validationsdaten nicht beeinflusst oder gegenüber den realen, un komprimierten Daten verfälscht, denn in diesem Fall könnte nicht argumentiert werden, dass die Tests für die reale Welt repräsentativ sind. Insbesondere im Fall selbstlernender Algorithmen wäre es kaum möglich, zu beurteilen, ob sich die Algorithmen in allen Fällen auf beiden Datensätzen exakt gleich verhalten und die Effekte der Kompression in keinem Fall einen Unterschied ausmachen.
Der vor- und nachstehend beschriebene Ansatz löst diese Aufgabe, indem eine verlustbehaftete Kompression und Dekompression, beispielsweise mithilfe eines speziellen Hardwarebausteins, im Steuergerät selbst durchgeführt wird. Somit können sowohl die realen Daten als auch die Validationsdaten verlustbehaftet aufgezeichnet werden, sodass die Gleichheit beider Daten gewährleistet ist. Beispielsweise können die komprimierten Sensordaten zur Aufzeichnungs- und/oder Auswertungszwecken direkt aus dem Steuergerät ausgelesen werden. Somit brauchen die von der Sensorik bereitgestellten Sensordaten nicht mehr extern komprimiert und/oder, etwa bei der Wiedereinspeisung, dekomprimiert zu werden. Zusätzlich wird der Datenverkehr zwischen dem Steuergerät und der daran angeschlossenen Peripherie reduziert.
Die Kompression kann optional durch Verwendung einer speziellen HIL-Debug- Platine (siehe weiter oben) als Datenverarbeitungsvorrichtung entwicklungsbegleitend optimiert werden. Somit können beispielsweise Videoströme gleichzeitig verlustbehaftet und verlustfrei aufgezeichnet werden. Durch die Möglichkeit der Implementierung als FPGA können die Entwicklungskosten gesenkt werden.
Zusätzlich kann die HIL-Debug-Platine konfiguriert sein, um die verlustbehafteten und die ursprünglichen Videoströme miteinander zu vergleichen, beispielsweise mithilfe eines maschinell gelernten Algorithmus. Somit kann parallel zum normalen Betrieb des Steuergeräts die Qualität der verlustbehafteten Kompression evaluiert werden.
Der Einfluss der verlustbehafteten Kompression auf die Erkennungsgüte des jeweiligen Algorithmus kann dadurch ermittelt werden, dass die Erkennungsgüte, die der Algorithmus beim Auswerten der ursprünglichen Daten erreicht, mit derjenigen verglichen wird, die der Algorithmus beim Auswerten der entsprechenden komprimierten Daten erreicht.
Für die Entwicklung und Freigabe der verlustbehafteten Kompression kann die vorgenannte HIL-Debug-Platine beispielsweise zwischen die Sensorik und das Steuergerät geschaltet werden. Die HIL-Debug-Platine kann beispielsweise einen FPGA umfassen, auf dem die vorgenannten Funktionen entsprechend getestet und optimiert werden können. Denkbar ist beispielsweise, dass die Sensordaten parallel verlustbehaftet und verlustfrei komprimiert werden. Somit können die beiden Kompressionsmethoden direkt miteinander verglichen werden. Die HIL- Debug-Platine kann beispielsweise konfiguriert sein, um die Datenintegrität aller Datenpfade mit CRC32 abzusichern. Dadurch kann sichergestellt werden, dass die untersuchten Unterschiede in den Sensordaten nicht auf Datenfehler zurückgehen. Zusätzlich kann die HIL-Debug-Platine konfiguriert sein, um bei Vorliegen bestimmter Auslösebedingungen, etwa bei einer Notbremsung des Fahrzeugs, zu veranlassen, dass die ursprünglichen Sensordaten mit abgespeichert werden. Die Kompression kann auf der HIL-Debug-Platine entwicklungsbegleitend optimiert werden.
Die Bewertung der Erkennungsleistung erfolgt dann beispielsweise durch eine separate Wiedereinspeisung beider Sensordatensätze. Die so erhaltenen Messdaten werden miteinander verglichen. Dazu kann das Training der Algorithmen basierend auf beiden Sensordatensätze, d. h. den ursprünglichen und den verlustbehafteten, dekomprimierten Sensordaten, erfolgen. Zur Bewertung kann ein Framework zum Einsatz kommen, auch Performance Evaluation Framework oder kurz PEF genannt, das Ground-Truth-Daten mit den jeweiligen Ausgabedaten vergleicht und Abweichungen quantifiziert.
Alternativ kann die verlustbehaftete Kompression auf bereits aufgezeichnete, unveränderte Sensordaten angewendet werden. Die so entstandenen verlustbehafteten Daten können beispielsweise in einem Open-Loop-Test ebenfalls eingespeist werden. Die resultierenden Ausgabedaten können dann bezüglich der Erkennungsleistung mit den ursprünglichen Sensordaten und/oder den Ground-Truth-Daten verglichen werden. Dieses Verfahren sollte mehrmals durchgeführt werden, um System-Jitter zu kompensieren.
Auf diese Weise kann der Einfluss verschiedener Kompressionsalgorithmen auf die Erkennungsleistung des Steuergeräts, beispielsweise auf einen vom Steuergerät ausgeführten Objekterkennungsalgorithmus in Form eines künstlichen neuronalen Netzes, bewertet werden.
Die HIL-Debug-Platine kann beispielsweise einen FPGA umfassen, der konfiguriert sein kann, um die ursprünglichen und die verlustbehafteten Datenströme miteinander zu vergleichen. Dazu können die beiden Pfade in der HIL-Debug-Platine durch einen entsprechenden Algorithmus verarbeitet und anschließend verglichen werden. Bei relevanten Abweichungen können gezielt zusätzliche Daten zur weiteren Analyse aufgezeichnet werden. Vorteilhaft ist zudem, wenn durch die Dekompression verschiedene Bildparameter wie beispielsweise Rauschen oder Helligkeit angepasst werden. Somit können sowohl bei der Wiedereinspeisung als auch in der realen Hardware verschiedene Unsicherheiten auf demselben Bild simuliert und getestet werden. Dadurch wird die Robustheit der Videoalgorithmen weiter erhöht.
Kurze Beschreibung der Zeichnungen
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, wobei weder die Zeichnungen noch die Beschreibung als die Erfindung einschränkend auszulegen sind.
Fig. 1 zeigt ein Steuergerät gemäß einem Ausführungsbeispiel der Erfindung und eine Datenverarbeitungsvorrichtung gemäß einem Ausführungsbeispiel der Erfindung.
Fig. 2 zeigt die Datenverarbeitungsvorrichtung aus Fig. 1 im Detail.
Die Figuren sind lediglich schematisch und nicht maßstabsgetreu. Gleiche Bezugszeichen bezeichnen in den Figuren gleiche oder gleichwirkende Merkmale.
Ausführungsformen der Erfindung
Fig. 1 zeigt ein Steuergerät 1 für ein Fahrzeug (nicht gezeigt). Das Fahrzeug ist mit einer Sensorik 2 ausgestattet, die eine Umgebung des Fahrzeugs erfasst und entsprechende Sensordaten 3 ausgibt, die vom Steuergerät 1 empfangen und mittels verlustbehafteter Kompression verarbeitet werden. Die Sensorik 2 kann beispielsweise eine Kamera sein. Die Sensordaten 3 können dementsprechend Bilddaten sein, die einzelne Bilder oder Bildsequenzen von der Umgebung des Fahrzeugs umfassen können. Die Sensorik 2 kann beispielsweise auch ein Radar-, Lidar- oder Ultraschallsensor sein.
In diesem Beispiel werden die Sensordaten 3 zunächst durch Komprimieren mit einem verlustbehafteten Kompressionsverfahren in einem Kompressionsmodul 4 zu komprimierten Sensordaten 5 umgewandelt. Die komprimierten Sensordaten 5 werden anschließend durch Dekomprimieren in einem Dekompressionsmodul 6 in dekomprimierte Rohsensordaten 7 umgewandelt.
Die dekomprimierten Rohsensordaten 7 werden in einem weiteren Schritt in einem Vorverarbeitungsmodul 8 vorverarbeitet, wobei sie in (entsprechend vorverarbeitete) dekomprimierte Sensordaten 9 umgewandelt werden. Das Vorverarbeitungsmodul 8 kann beispielsweise konfiguriert sein, um Rauschen in den Bildern zu reduzieren oder eine Belichtung anzupassen. Je nach Art der Sensordaten 3 kann das Vorverarbeitungsmodul 8 andere und/oder weitere Vorverarbeitungsfunktionen umfassen.
Die dekomprimierten Sensordaten 9 werden schließlich als Eingabedaten 10 in einen Objekterkennungsalgorithmus 11 eingegeben, der konfiguriert ist, um die Eingabedaten 10 in Ausgabedaten 12 umzuwandeln, die erkannte Objekte in der Umgebung des Fahrzeugs, beispielsweise Fußgänger, Fahrbahnmarkierungen, Verkehrsschilder o. Ä., mit ihren jeweiligen Positionen und/oder Orientierungen anzeigen.
Alternativ kann das Dekompressionsmodul 6 dem Objekterkennungsalgorithmus 11 die dekomprimierten Rohsensordaten 7 als die Eingabedaten 10 übergeben.
Wie in Fig. 1 zu sehen, können das Kompressionsmodul 4 und das Dekompressionsmodul 6 in einem gesonderten programmierbaren Baustein 13 des Steuergeräts 1 gespeichert sein, beispielsweise einem FPGA oder einem SoC. Dabei können der Objekterkennungsalgorithmus 11 und das Vorverarbeitungsmodul 8 außerhalb dieses Bausteins 13 im Steuergerät 1 abgespeichert sein.
Möglich ist aber auch, dass das Vorverarbeitungsmodul 8 in den Baustein 13 integriert ist. In diesem Fall kann der Baustein 13 die dekomprimierten Sensordaten 9 anstatt der dekomprimierten Rohsensordaten 7 ausgeben und dem Objekterkennungsalgorithmus 11 als die Eingabedaten 10 bereitstellen. Somit kann die Vorverarbeitung flexibel an sich ändernde Randbedingungen, etwa an eine neue Sensorik, angepasst werden. Zu Analyse- und Testzwecken kann das Steuergerät 1 über eine geeignete Datenkommunikationsverbindung, die drahtlos oder drahtgebunden sein kann, mit einer externen Datenverarbeitungsvorrichtung 14 verbunden sein. Die Datenverarbeitungsvorrichtung 14 kann beispielsweise ein PC, Laptop, Tablet oder eine spezielle Debug-Platine sein.
Beispielsweise können die komprimierten Sensordaten 5 und/oder die den komprimierten Sensordaten 5 zugeordneten Ausgabedaten 12 an die Datenverarbeitungsvorrichtung 14 gesendet, dort gespeichert und in geeigneter Weise ausgewertet werden.
Die komprimierten Sensordaten 5 können alternativ im Steuergerät 1 selbst gespeichert und dort bei Bedarf ausgelesen werden.
Möglich ist auch, dass die Datenverarbeitungsvorrichtung 14 aufgezeichnete komprimierte Sensordaten 15, die durch Aufzeichnung der komprimierten Sensordaten 5 erhalten wurden, ans Steuergerät 1 sendet, sofern dieses in einem entsprechenden Testmodus betrieben wird. Die aufgezeichneten komprimierten Sensordaten 15 können analog zu den komprimierten Sensordaten 5 im Dekompressionsmodul 6 dekomprimiert werden, wobei sie in aufgezeichnete dekomprimierte Sensordaten 16 umgewandelt werden.
Die aufgezeichneten dekomprimierten Sensordaten 16 können beispielsweise analog zu den dekomprimierten Rohsensordaten 7 im Baustein 13 vorverarbeitet worden sein. Möglich ist aber auch eine Vorverarbeitung im Vorverarbeitungsmodul 8.
Wie in Fig. 1 gezeigt, können die Sensordaten 3 je nach Testkonfiguration von der Datenverarbeitungsvorrichtung 14 allein oder parallel vom Steuergerät 1 und von der Datenverarbeitungsvorrichtung 14 empfangen werden. Im erstgenannten Fall kann die Datenverarbeitungsvorrichtung 14 zwischen die Sensorik 2 und das Steuergerät 1 geschaltet sein, wobei das Steuergerät 1 die Sensordaten 3 von der Datenverarbeitungsvorrichtung 14 erhält. Beispielsweise können die Sensordaten 3 in der Datenverarbeitungsvorrichtung 14 komprimiert werden, um die aufgezeichneten komprimierten Sensordaten 15 zu erhalten.
Möglich ist auch, dass die Datenverarbeitungsvorrichtung 14 die aufgezeichneten komprimierten Sensordaten 15 durch Dekomprimieren in die aufgezeichneten dekomprimierten Sensordaten 16 umwandelt und dem Steuergerät 1 als die Eingabedaten 10 bei Bedarf zu Testzwecken bereitstellt.
Die aufgezeichneten dekomprimierten Sensordaten 16 können beispielsweise als Trainings-, Validierungs- und/oder Testdaten zum Trainieren, Validieren bzw. Testen des Objekterkennungsalgorithmus 11 in einem maschinellen Lernverfahren verwendet werden.
Fig. 2 zeigt, wie ein verlustbehaftetes Kompressionsverfahren, wie es im Steuergerät 1 verwendet wird oder verwendet werden soll, durch die Datenverarbeitungsvorrichtung 14 automatisiert bewertet werden kann.
Dazu werden die von der Sensorik 2 bereitgestellten Sensordaten 3 in der Datenverarbeitungsvorrichtung 14 empfangen und in ein Kompressionsmodul 4 eingegeben, das die Sensordaten 3 durch Kompression mit dem zu testenden verlustbehafteten Kompressionsverfahren in komprimierte Sensordaten 5 umwandelt. Die komprimierten Sensordaten 5 werden anschließend in ein Dekompressionsmodul 6 eingegeben, das die komprimierten Sensordaten 5 durch Dekompression in dekomprimierte Sensordaten 9 umwandelt.
Alternativ kann die Datenverarbeitungsvorrichtung 14 die komprimierten Sensordaten 5 vom Steuergerät 1 empfangen.
Das Kompressionsmodul 4 und das Dekompressionsmodul 6 sind in diesem Beispiel Module eines weiteren programmierbaren Bausteins 17, der in gleicher oder ähnlicher Weise wie der Baustein 13 des Steuergeräts 1 programmiert wurde oder mit diesem identisch ist.
Die Sensordaten 3 und die dekomprimierten Sensordaten 9 werden als Eingabedaten 10 für ein erstes Objekterkennungsmodul 18 bzw. ein zweites Objekterkennungsmodul 19 der Datenverarbeitungsvorrichtung 14 verwendet, wobei die Sensordaten 3 in das erste Objekterkennungsmodul 18 und die dekomprimierten Sensordaten 9 in das zweite Objekterkennungsmodul 19 eingegeben werden. Die beiden Objekterkennungsmodule 18, 19 führen jeweils einen Objekterkennungsalgorithmus 11 aus, der mit aufgezeichneten Sensordaten trainiert wurde, um die Eingabedaten 10 in Ausgabedaten 12 umzuwandeln, die Objekte in der Umgebung des Fahrzeugs anzeigen.
Die aufgezeichneten Sensordaten können von der Sensorik 2 oder einer anderen Sensorik, die real oder simuliert sein kann, bereitgestellt worden sein.
Der Objekterkennungsalgorithmus 11, der im Steuergerät 1 ausgeführt wird, kann vom Objekterkennungsalgorithmus 11, der in der Datenverarbeitungsvorrichtung 14 ausgeführt wird, abweichen oder damit übereinstimmen.
Anschließend werden die Ausgabedaten 12 der beiden Objekterkennungsmodule 18, 19 in einem Vergleichsmodul 20 miteinander verglichen, um eine Abweichung zwischen den jeweiligen Ausgabedaten 12 zu bestimmen.
Ein die Abweichung quantifizierendes Vergleichsergebnis 21 wird schließlich in einem Auswertungsmodul 22 ausgewertet, das eine der jeweiligen Abweichung entsprechende Bewertung 23 des für die Kompression der Sensordaten 3 verwendeten verlustbehafteten Kompressionsverfahrens ausgibt.
Zusätzlich kann das Auswertungsmodul 22 konfiguriert sein, um in Abhängigkeit von dem Vergleichsergebnis 21 und/oder der Bewertung 23 Steuerbefehle 24 zum Starten und/oder Unterbrechen einer Aufzeichnung der von der Sensorik 2 bereitgestellten Sensordaten 3 oder sonstiger relevanter Fahrzeugdaten in einem internen oder externen Datenspeicher zu erzeugen.
Das Steuergerät 1 und die Datenverarbeitungsvorrichtung 14 sind jeweils mit einem Prozessor 25 ausgestattet, der ein Computerprogramm ausführt, durch dessen Ausführung bewirkt wird, dass die vorstehend am Beispiel des Steuergeräts 1 bzw. der Datenverarbeitungsvorrichtung 14 beschriebenen Verfahrensschritte ausgeführt werden. Abschließend wird darauf hingewiesen, dass Begriffe wie „aufweisend“, „umfassend“ etc. keine anderen Elemente oder Schritte ausschließen und Begriffe wie „eine“ oder „ein“ keine Vielzahl ausschließen. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.

Claims

Ansprüche
1. Verfahren zum Verarbeiten von Sensordaten (3) in einem Steuergerät (1) mittels verlustbehafteter Kompression, wobei das Verfahren umfasst:
Empfangen der Sensordaten (3) im Steuergerät (1), wobei die Sensordaten (3) von einer Sensorik (2) zum Erfassen einer Umgebung eines Fahrzeugs bereitgestellt wurden;
Komprimieren der Sensordaten (3) in einem verlustbehafteten Kompressionsverfahren, um komprimierte Sensordaten (5) zu erhalten;
Dekomprimieren der komprimierten Sensordaten (5), um dekomprimierte Sensordaten (9) zu erhalten; und
Eingeben der dekomprimierten Sensordaten (9) als Eingabedaten (10) in einen Objekterkennungsalgorithmus (11), der konfiguriert ist, um die Eingabedaten (10) in Ausgabedaten (12), die Objekte in der Umgebung des Fahrzeugs anzeigen, umzuwandeln.
2. Verfahren nach Anspruch 1, ferner umfassend:
Senden der komprimierten Sensordaten (5) und/oder der Ausgabedaten (12) vom Steuergerät (1) an eine Datenverarbeitungsvorrichtung (14) zum Aufzeichnen und/oder Auswerten der komprimierten Sensordaten (5) und/oder der Ausgabedaten (12).
3. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend, wenn das Steuergerät (1) in einem Testmodus betrieben wird:
Empfangen aufgezeichneter komprimierter Sensordaten (15), die in dem verlustbehafteten Kompressionsverfahren und/oder in einem zu testenden verlustbehafteten Kompressionsverfahren komprimiert wurden, im Steuergerät (1);
Dekomprimieren der aufgezeichneten komprimierten Sensordaten (15), um aufgezeichnete dekomprimierte Sensordaten (16) zu erhalten;
Eingeben der aufgezeichneten dekomprimierten Sensordaten (16) als die Eingabedaten (10) in den Objekterkennungsalgorithmus (11), um das Steuergerät (1) zu testen. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Objekterkennungsalgorithmus (11) mit aufgezeichneten dekomprimierten Sensordaten (16) trainiert wurde, um die Eingabedaten (10) in die Ausgabedaten (12) umzuwandeln; wobei die aufgezeichneten dekomprimierten Sensordaten (16) durch Dekomprimieren aufgezeichneter komprimierter Sensordaten (15) erzeugt wurden, die in dem verlustbehafteten Kompressionsverfahren komprimiert wurden. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sensorik (2) eine Kamera ist und die Sensordaten (3) von der Kamera bereitgestellte Bilddaten sind. Verfahren nach einem der vorhergehenden Ansprüche, wobei die dekomprimierten Sensordaten (9) erhalten werden, indem die komprimierten Sensordaten (5) zunächst dekomprimiert und anschließend vorverarbeitet werden. Steuergerät (1), umfassend einen Prozessor (25), der konfiguriert ist, um das Verfahren nach einem der vorhergehenden Ansprüche auszuführen. Steuergerät (1) nach Anspruch 7, ferner umfassend: einen programmierbaren Baustein (13), der konfiguriert ist, um die Sensordaten (3) in dem verlustbehafteten Kompressionsverfahren zu komprimieren, um die komprimierten Sensordaten (5) zu erhalten, und/oder die komprimierten Sensordaten (5) zu dekomprimieren, um die dekomprimierten Sensordaten (9) zu erhalten. Steuergerät (1) nach Anspruch 8, wobei der programmierbare Baustein (13) konfiguriert ist, um die komprimierten Sensordaten (5) zunächst zu dekomprimieren und anschließend vorzuverarbeiten, um die dekomprimierten Sensordaten (9) zu erhalten. Verfahren zum Bewerten eines verlustbehafteten Kompressionsverfahrens zur Verwendung in einem Steuergerät (1) nach einem der Ansprüche 7 bis 9, wobei das Verfahren umfasst:
Empfangen von Sensordaten (3) in einer Datenverarbeitungsvorrichtung (14), wobei die Sensordaten (3) von einer Sensorik (2) zum Erfassen einer Umgebung eines Fahrzeugs bereitgestellt wurden;
Komprimieren der Sensordaten (3) in dem verlustbehafteten Kompressionsverfahren, um komprimierte Sensordaten (5) zu erhalten, und/oder
Empfangen komprimierter Sensordaten (5), die vom Steuergerät (1) durch Komprimieren der Sensordaten (3) in dem verlustbehafteten Kompressionsverfahren bereitgestellt wurden, in der Datenverarbeitungsvorrichtung (14);
Dekomprimieren der komprimierten Sensordaten (5), um dekomprimierte Sensordaten (9) zu erhalten;
Eingeben der Sensordaten (3) und der dekomprimierten Sensordaten (9) als Eingabedaten (10) in einen Objekterkennungsalgorithmus (11), der mit aufgezeichneten Sensordaten trainiert wurde, um die Eingabedaten (10) in Ausgabedaten (12), die Objekte in der Umgebung des Fahrzeugs anzeigen, umzuwandeln;
Bestimmen einer Abweichung zwischen den vom Objekterkennungsalgorithmus (11) durch Umwandeln der Sensordaten (3) bereitgestellten Ausgabedaten (12) und den vom Objekterkennungsalgorithmus (11) durch Umwandeln der dekomprimierten Sensordaten (9) bereitgestellten Ausgabedaten (12); und
Erzeugen einer Bewertung (23) für das verlustbehaftete Kompressionsverfahren in Abhängigkeit von der Abweichung. Verfahren nach Anspruch 10, ferner umfassend:
Erzeugen von Steuerbefehlen (24) zum Steuern einer Aufzeichnung der Sensordaten (3) in Abhängigkeit von der Abweichung. Datenverarbeitungsvorrichtung (14), umfassend einen Prozessor (25), der konfiguriert ist, um das Verfahren nach Anspruch 10 oder 11 auszuführen.
13. Computerprogramm, umfassend Befehle, die einen Prozessor (25) bei Ausführung des Computerprogramms durch den Prozessor (25) veranlassen, das Verfahren nach einem der Ansprüche 1 bis 6 und/oder das Verfahren nach Anspruch 10 oder 11 auszuführen. 14. Computerlesbares Medium, auf dem das Computerprogramm nach
Anspruch 13 gespeichert ist.
PCT/EP2022/071922 2021-09-21 2022-08-04 Verarbeiten von sensordaten in einem steuergerät mittels verlustbehafteter kompression WO2023046346A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280063830.1A CN117999786A (zh) 2021-09-21 2022-08-04 在控制设备中借助有损压缩处理传感器数据

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021210494.0 2021-09-21
DE102021210494.0A DE102021210494A1 (de) 2021-09-21 2021-09-21 Verarbeiten von Sensordaten in einem Steuergerät mittels verlustbehafteter Kompression

Publications (1)

Publication Number Publication Date
WO2023046346A1 true WO2023046346A1 (de) 2023-03-30

Family

ID=83151918

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/071922 WO2023046346A1 (de) 2021-09-21 2022-08-04 Verarbeiten von sensordaten in einem steuergerät mittels verlustbehafteter kompression

Country Status (3)

Country Link
CN (1) CN117999786A (de)
DE (1) DE102021210494A1 (de)
WO (1) WO2023046346A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190287024A1 (en) * 2018-03-13 2019-09-19 Lyft, Inc. Low latency image processing using byproduct decompressed images
US20200304804A1 (en) * 2019-03-21 2020-09-24 Qualcomm Incorporated Video compression using deep generative models
DE102019214587A1 (de) * 2019-09-24 2021-03-25 Conti Temic Microelectronic Gmbh Verarbeitung verlustbehaftet komprimierten ADAS-Sensordaten für Fahrerassistenzsysteme

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190287024A1 (en) * 2018-03-13 2019-09-19 Lyft, Inc. Low latency image processing using byproduct decompressed images
US20200304804A1 (en) * 2019-03-21 2020-09-24 Qualcomm Incorporated Video compression using deep generative models
DE102019214587A1 (de) * 2019-09-24 2021-03-25 Conti Temic Microelectronic Gmbh Verarbeitung verlustbehaftet komprimierten ADAS-Sensordaten für Fahrerassistenzsysteme

Also Published As

Publication number Publication date
CN117999786A (zh) 2024-05-07
DE102021210494A1 (de) 2023-03-23

Similar Documents

Publication Publication Date Title
DE102017217733A1 (de) Prüfen eines neuronalen Netzes
DE102010013943B4 (de) Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens
EP3847578A1 (de) Verfahren und vorrichtung zur klassifizierung von objekten
DE102019217613A1 (de) Verfahren zur diagnose eines motorzustands und diagnostisches modellierungsverfahren dafür
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102018109276A1 (de) Bildhintergrundsubtraktion für dynamische beleuchtungsszenarios
WO2017102150A1 (de) Verfahren zum bewerten einer durch zumindest einen sensor eines fahrzeugs erfassten gefahrensituation, verfahren zum steuern einer wiedergabe einer gefahrenwarnung und verfahren zum wiedergeben einer gefahrenwarnung
DE102019120696A1 (de) Vorrichtung und Verfahren zur Reifenprüfung
WO2020020599A1 (de) Verfahren, system und elektronische recheneinrichtung zum überprüfen von sensoreinrichtungen von fahrzeugen, insbesondere von kraftfahrzeugen
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
DE102020214596A1 (de) Verfahren zum Erzeugen von Trainingsdaten für ein Erkennungsmodell zum Erkennen von Objekten in Sensordaten einer Umfeldsensorik eines Fahrzeugs, Verfahren zum Erzeugen eines solchen Erkennungsmodells und Verfahren zum Ansteuern einer Aktorik eines Fahrzeugs
WO2023046346A1 (de) Verarbeiten von sensordaten in einem steuergerät mittels verlustbehafteter kompression
DE102017220282A1 (de) Testverfahren für ein Kamerasystem, ein Steuergerät des Kamerasystems, das Kamerasystem und ein Fahrzeug mit diesem Kamerasystem
WO2020216622A1 (de) Erkennung und behebung von rauschen in labels von lern-daten für trainierbare module
DE102016208076A1 (de) Verfahren und vorrichtung zur auswertung eines eingabewerts in einem fahrerassistenzsystem, fahrerassistenzsystem und testsystem für ein fahrerassistenzsystem
WO2021185586A1 (de) Verfahren zur erzeugung von trainingsdaten, fahrzeug und trainingssystem
DE102019205504A1 (de) Steuervorrichtung und -verfahren sowie Computer-Programm-Produkt
EP4034856B1 (de) Qualitätskontrolle für vorgespannte bauelemente
DE102022112194A1 (de) Konvertierungsvorrichtung und Verfahren zum Konvertieren eines vorgegebenen Modells eines Maschinellen Lernens in ein vorgegebenes Ausgabeformat sowie zugehörigen computerlesbares Speichermedium
DE112022002734T5 (de) Fahrzeugsteuersystem und fahrzeugsteuerverfahren
DE102022212227A1 (de) Verfahren zum Ermitteln eines Betriebszustands eines ein erstes Umfeldsensorsystem und ein zweites Umfeldsensorsystem umfassenden Objekterkennungssystems eines Schienenfahrzeugs
WO2021185523A1 (de) Verfahren zum betreiben einer datenbankeinrichtung zum sammeln von fehlerdatensätzen aus einer vielzahl von kraftfahrzeugen; datenbankeinrichtung; kraftfahrzeug-steuereinrichtung sowie system
DE102021212489A1 (de) Verfahren zum Überwachen eines Bereichs eines Parkplatzes
DE102023200346A1 (de) Verfahren zum Erkennen einer Anomalie bei einem Fahrzeugbetrieb
DE102023102151A1 (de) Verfahren zum Überprüfen eines neuronalen Netzwerks für eine Objektklassifizierung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22761987

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18691552

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280063830.1

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22761987

Country of ref document: EP

Kind code of ref document: A1