WO2018188877A1 - Fusion von daten mehrerer sensoren zur objekterkennung - Google Patents

Fusion von daten mehrerer sensoren zur objekterkennung Download PDF

Info

Publication number
WO2018188877A1
WO2018188877A1 PCT/EP2018/056358 EP2018056358W WO2018188877A1 WO 2018188877 A1 WO2018188877 A1 WO 2018188877A1 EP 2018056358 W EP2018056358 W EP 2018056358W WO 2018188877 A1 WO2018188877 A1 WO 2018188877A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
sensor
detected
test
plausibility
Prior art date
Application number
PCT/EP2018/056358
Other languages
English (en)
French (fr)
Inventor
Zerong YU
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to JP2020504764A priority Critical patent/JP7064572B2/ja
Priority to US16/603,475 priority patent/US11639112B2/en
Priority to CN201880024245.4A priority patent/CN110494866B/zh
Publication of WO2018188877A1 publication Critical patent/WO2018188877A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L3/00—Electric devices on electrically-propelled vehicles for safety purposes; Monitoring operating variables, e.g. speed, deceleration or energy consumption
    • B60L3/0092—Electric devices on electrically-propelled vehicles for safety purposes; Monitoring operating variables, e.g. speed, deceleration or energy consumption with use of redundant elements for safety purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/023—Avoiding failures by using redundant parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/25—Pc structure of the system
    • G05B2219/25257—Microcontroller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2637—Vehicle, car, auto, wheelchair

Definitions

  • the invention is based on a device or a method according to the preamble of the independent claims.
  • the subject of the present invention is also a computer program.
  • Modern vehicles may be equipped with driver assistance systems.
  • objects in the vehicle environment by means of a suitable
  • Environment sensors and object recognition can meet different ASIL safety criteria depending on the requirements.
  • the invention relates to a method for merging data from various sensors of a vehicle as part of object recognition, the method comprising the following steps:
  • the detection feature detected by the first sensor and the detected by the second sensor test feature each represent a first measured variable and detected by the second sensor detection feature independent of the first measured second Represents measured variable
  • a sensor may, for example, be understood as an environmental sensor for detecting the surroundings of the vehicle, for example in the form of a radar or lidar sensor or a camera, or an acceleration sensor or another suitable sensor for detecting safety-relevant parameters.
  • the first sensor and the second sensor may be separate, independent sensor subsystems for object recognition.
  • An identification feature can be understood to be a feature based on a physical quantity for identifying objects.
  • the identifying feature may be one based on a Speed, acceleration, direction of movement, shape, color or size trait feature of the object.
  • a Speed, acceleration, direction of movement, shape, color or size trait feature of the object Likewise also under a
  • Test feature is understood to be based on a physical measure feature for the identification of objects.
  • Test feature is understood to be based on a physical measure feature for the identification of objects.
  • the identification feature may be a feature of the object detected with a lower accuracy than the identification feature.
  • Two independent measured variables can be taken to mean measured variables which, physically or mathematically, do not interact with each other or only to a very limited extent
  • the first measured variable may be a velocity and the second measured variable may be a shape of the object.
  • the approach presented here is based on the recognition that low-level data fusion, i. H. on the signal or feature level, in the context of an object recognition in a vehicle can be performed such that the object recognition can be performed based on an ASIL decomposition.
  • ASIL B different sensor paths according to ASIL B can be linked together and made plausible in such a way that a
  • Identification information according to ASIL D can be generated.
  • certain test characteristics which may also be detected by the sensors with less accuracy, may also be used as redundancy in order to determine a basis on the basis of the
  • a sensor data fusion can be performed on different levels, each with its advantages and disadvantages.
  • the step of receiving at least one of the first sensor detected test feature for checking the object recognition can be received.
  • the test feature detected by the first sensor may represent the second measurand.
  • the test feature detected by the first sensor may be linked to the test feature detected by the second sensor to generate a redundant feature link.
  • the feature association can be made plausible using the redundant feature association.
  • the object in a step of recognizing, can be recognized by using a result of plausibility. This makes it possible to detect the object based on already plausibilized information, whereby the robustness of the object recognition can be increased.
  • the object in a step of recognizing, may be recognized using the feature association.
  • the object in this case, at least one test object using the redundant
  • Feature linkage are recognized. Accordingly, in the step of plausibility, the feature association can be made plausible by comparing the object with the inspection object. Also by this embodiment, a particularly reliable and robust detection of the object can be ensured. It is advantageous if in the step of receiving at least one of a third sensor detected detection feature for detecting the object and at least one of the first sensor or, additionally or alternatively, detected by the second sensor further test feature for testing the
  • Object recognition can be received.
  • the detection feature detected by the third sensor and the further test feature can each be the same Represent measurand. Accordingly, in the step of linking, the feature linking may be generated using the recognition feature detected by the third sensor. In the plausibility step, the feature association can be made plausible using the further inspection characteristic. As a result, the object recognition can be performed efficiently even when using more than two independent sensors.
  • Identification feature representing one of the first measured variable or independent of the second measurand measured. This can be achieved that the method meets high ASIL safety requirements.
  • the step of receiving at least one further detection feature for detecting the object detected by the first sensor or, additionally or alternatively, detected by the second sensor and at least one checking feature for checking the object detection detected by the third sensor can be received.
  • the further identification feature and the test feature detected by the third sensor can each represent the same measured variable.
  • the feature association may be generated using the further recognition feature.
  • the feature association can be made plausible using the test feature detected by the third sensor.
  • This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit.
  • the approach presented here also provides a device which is designed to implement the steps of a variant of a method presented here
  • the device may comprise at least one computing unit for processing signals or data, at least one memory unit for storing signals or data, at least one interface to a sensor or an actuator for reading sensor signals from the sensor or for outputting data or control signals to the sensor Actuator and / or at least one
  • the arithmetic unit may be, for example, a signal processor, a microcontroller or the like, wherein the memory unit is a flash memory, an EPROM or a
  • the magnetic storage unit can be.
  • the communication interface can be designed to read or output data wirelessly and / or by line, wherein a communication interface that can read or output line-bound data, for example, electrically or optically read this data from a corresponding data transmission line or output in a corresponding data transmission line.
  • a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon.
  • the device may have an interface, which may be formed in hardware and / or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device.
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • the device is used to control the vehicle.
  • the device can access, for example, sensor signals such as acceleration, pressure, steering angle or environmental sensor signals.
  • the control takes place via actuators such as brake or steering actuators or an engine control unit of the vehicle.
  • a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method according to one of the above
  • Fig. 1 is a schematic representation of a security concept on average
  • FIG. 2 shows a schematic representation of a security concept according to ASIL D
  • Fig. 3 is a schematic representation of possible ASIL decompositions
  • Fig. 4 is a schematic representation of a system for merging data from various sensors of a vehicle as part of a
  • Fig. 5 is a schematic representation of a system for merging data from various sensors of a vehicle as part of a
  • FIG. 6 is a flowchart of a method according to a
  • Fig. 7 is a schematic representation of an ASIL decomposition in a
  • FIG. 1 shows a schematic representation of a security concept on the middle level with corresponding ASIL decomposition. Shown is a system 100 of three vehicle sensors 102, 104, 106 for detecting each of an object 108.
  • a controller 110 is configured to perform object fusion using the objects 108 detected by the three sensors in a first unit 112 and based thereon second unit 114 a
  • Vehicle sensor 102 signals to ASIL B, while the two
  • Vehicle sensors 104, 106 provide signals to ASIL A.
  • Controller 110 performed object detection corresponds to ASIL D.
  • FIG. 2 shows a schematic representation of a security concept according to ASIL D. Shown is the system 100 from FIG. 1, with the difference that the control unit 110 using the signals provided by the three vehicle sensors 102, 104, 106 in a further unit 200 First, a feature fusion and building on the object recognition and the
  • Signal processing within the controller 110 respectively correspond to ASIL D.
  • FIG. 3 shows a schematic representation of possible ASIL decompositions.
  • a state before the decomposition is designated by reference numeral 300.
  • a state after the decomposition is designated by the reference numeral 302
  • FIG. 4 shows a schematic representation of a system 400 for the fusion of data of various sensors 402, 404, 406 of a vehicle in the context of an object recognition according to an exemplary embodiment. According to this
  • the system 400 includes a first sensor 402 for Detecting detection features Fl, F2, a second sensor 404 for detecting detection features F3, F4 and a third sensor 406 detecting detection features F5, F6.
  • the recognition features Fl to F6, also called functional features, serve to detect at least one object in the environment of the vehicle.
  • the recognition features are in particular features that can be detected by the respective sensors with particularly high accuracy. For extraction of the respective
  • Identification features are the sensors 402, 404, 406 each with a
  • the first sensor 402 is designed to detect and provide two test features P3, P5 in addition to the two detection features F1, F2.
  • the second sensor 404 is designed to detect and provide two test features PI, P6 in addition to the two detection features F3, F4.
  • the third sensor 406 is designed to detect and provide a test feature P2 in addition to the two detection features F5, F6.
  • the test features are, for example, features that are detected by the respective sensors with a lower degree of accuracy compared to the respective recognition features, but which are suitable for use within the framework of a
  • the identification feature F1 and the test feature PI represent a first measured variable for detecting the object, which
  • Identification feature F3 and the test feature P3 a second measurand for
  • Detecting the object and the recognition feature F5 and the inspection feature P5 a third measurand for detecting the object.
  • all three measured variables are mutually independent measured variables, so that the test features allow an additional, redundant feature fusion on the basis of mutually independent subsystems.
  • the recognition feature F2 and the test feature P2 each represent the same measured variable, just as the recognition feature F6 and the test feature P6 can each represent the same measured variable.
  • either all the recognition features each represent a different measured variable, or else the recognition features differ in respect of their underlying measured variable in each case only from sensor to sensor. It is important that the recognition features and their respectively associated test features each represent the same measured variable, the respective sensors for detecting the test features of the respective sensors for detecting the identification features are independent.
  • the system 400 comprises a device 410 having a receiving unit 412 for receiving the recognition and testing features from the three sensors 402, 404, 406 and a linking unit 414.
  • the linking unit 414 is designed to be the one Identification features in a corresponding feature fusion to each other to a feature link 416 to link and the other
  • Link unit 414 forwards feature links 416, 418 to one
  • Plausibility unit 420 for carrying out a plausibility check of the feature association 416 on the basis of the redundant feature association 418.
  • a recognition unit 422 is configured to unambiguously recognize one or more objects in the environment of the vehicle using a plausibility result 424 provided by the plausibility unit 420 and, for example, corresponding object information 426 to an analysis unit 428 for performing a situation analysis with respect to a current situation of the vehicle forward.
  • the situation analysis allows, for example, the tracking of detected objects according to ASIL D.
  • the object recognition takes place only after the execution of the
  • the plausibility check is carried out following the object detection, as can be seen from FIG. 5.
  • FIG. 5 shows a schematic representation of a system 400 for merging data from various sensors 402, 404, 406 of a vehicle as part of a vehicle Object recognition according to an embodiment.
  • the system 400 essentially corresponds to the system described above with reference to FIG. 4, with the difference that the recognition unit 422 according to FIG. 4
  • Embodiment of the plausibility unit 420 is connected upstream.
  • the recognition unit 422 is designed to receive the two feature links 416, 418 from the link unit 414.
  • Feature link 416 is used by recognition unit 422 to recognize the object and to represent the recognized object
  • the detection unit 422 uses the redundant one
  • Test object representing redundant detection result 502 to the plausibility unit 420 to transmit. This uses the two
  • Detection results 500, 502 for example, to make the detected object on the basis of the test object to plausibility, based on a feature deviation between the detected object and the test object.
  • the analysis unit 428 is designed, for example, to analyze the situation of the vehicle on the basis of the detected object or objects, provided that the feature deviation between the detected object and the test object is below a predetermined value
  • FIG. 6 shows a flowchart of a method 600 according to FIG.
  • Embodiment. The method 600 for merging data of various sensors of a vehicle as part of an object recognition can
  • a step 610 the identification features and the test features via a suitable
  • Fig. 7 shows a schematic representation of an ASIL decomposition in a system 400 of Fig. 4.
  • the feature fusions correspond to ASIL B.
  • the highest rating of each input signal corresponds to ASIL B.
  • the highest rating of each input signal corresponds to ASIL B. The highest
  • Safety requirement of each feature corresponds to ASIL B.
  • the sensor signals correspond to ASIL B.
  • the sensor safety requirement corresponds to ASIL B.
  • the fusion of sensor data in the context of an object recognition can roughly differentiate between a low level, a middle level and a high level.
  • the low level corresponds to an early fusion of signals and features or their states.
  • the data represent patterns or samples.
  • object-level fusion occurs with one entity.
  • the objects become independent
  • the high level represents a fusion for object tracking with more complete
  • Each sensor additionally determines the mutual relationship and movement of the objects before the fusion.
  • the system design shown in FIG. 1 in its entirety is intended to meet the security requirements of ASIL D.
  • the ASIL rating for a single sensor system is ASIL A or ASIL B.
  • the sensors are often able to detect other features as well. For example, the Distance of an object can be determined both via video and via radar, where radar has a much higher accuracy.
  • An ASIL classification and allocation includes, for example, the following steps. First, a hazard and risk analysis is carried out, i. H. a safety risk analysis based on the impact of the system on the vehicle, as system interventions usually affect the safety of the vehicle. Furthermore, a safety target with ASIL classification is defined. A security risk assessment with the indication of
  • Safety requirements for system development in this case about the highest classification and requirement according to ASIL D. Then, to achieve the safety objective, a corresponding safety concept with ASIL allocation is developed.
  • the ASIL allocation should be performed for each system component. If, for example, every component has the
  • ASIL decomposition represents one possible way to increase system robustness and security requirements for each
  • Component in particular for hardware components such as sensors or control units to reduce. 3 shows a decomposition concept according to ISO 26262-9: 2011 (E). However, decomposition can only be used if two subsystems are independent of each other.
  • the ASIL allocation is done so that each subsystem has a lower ASIL than the System, reducing the security risk, security requirements and costs.
  • a redundant data fusion is performed, for example, with the inspection features P3 and P5, which are not used in the original feature fusion from the recognition features Fl and F2.
  • the original fusion includes, for example, a distance that was determined due to the higher accuracy only by means of a radar signal.
  • a video provided in addition
  • Distance signal used to provide redundancy While not the most suitable features or strengths of the particular sensor systems, these features are generally sufficient for use in a test fusion. The independence between functional features and test features should be ensured. For example, there is a strong correlation between velocity and acceleration, so these two features should not be treated as independent features. In turn, speed and shape, for example, can be treated as independent features.
  • the original merger is still used as a functional fusion to generate objects.
  • the functional fusion is monitored by means of the second, redundant test fusion with a predetermined tolerance. This means that the functional fusion is confirmed and allowed, provided that the difference between functional fusion and test fusion is small enough.
  • a possible decomposition of ASIL D to ASIL B (D) + ASIL B (D) is shown in FIG.
  • the mergers correspond to the generation of the
  • ASIL B ASIL B
  • Other combinations are also possible, for example ASIL A (D) + ASIL C (D) or QM (D) + ASIL D (D).
  • the plausibility check or the comparison of both paths can also be carried out at a later time, for example after the recognition of objects or entities or after the detection of Situations or movements.
  • Fig. 5 shows a possible system design in which the plausibility check is performed after the object recognition.
  • an exemplary embodiment includes a "and / or" link between a first feature and a second feature, this is to be read such that the
  • Embodiment according to an embodiment both the first feature and the second feature and according to another embodiment, either only the first feature or only the second feature.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Power Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Fusion von Daten verschiedener Sensoren (402, 404, 406) eines Fahrzeugs im Rahmen einer Objekterkennung. Dabei werden zumindest ein von einem ersten Sensor (402) erfasstes Erkennungsmerkmal (F1, F2) und zumindest ein von einem zweiten Sensor (404) erfasstes Erkennungsmerkmal (F3, F4) zum Erkennen zumindest eines Objekts im Umfeld des Fahrzeugs empfangen. Des Weiteren wird im gleichen Verfahrensschritt zumindest ein von dem zweiten Sensor(404) erfasstes Prüfmerkmal (P1, P6) zum Prüfen der Objekterkennungempfangen, wobei das von dem ersten Sensor (402) erfasste Erkennungsmerkmal (F1, F2) und das von dem zweiten Sensor (404) erfasste Prüfmerkmal (P1, P6) je eine erste Messgröße repräsentieren und das von dem zweiten Sensor (404) erfasste Erkennungsmerkmal (F3, F4) eine von der ersten Messgröße unabhängige zweite Messgröße repräsentiert. In einem weiteren Verfahrensschritt wird das von dem ersten Sensor (402) erfasste Erkennungsmerkmal (F1, F2) mit dem von dem zweiten Sensor (404) erfassten Erkennungsmerkmal(F3, F4)verknüpft, um eine Merkmalsverknüpfung (416) zu erzeugen. Schließlich erfolgt in einem dritten Verfahrensschritt die Plausibilisierung der Merkmalsverknüpfung (416) unter Verwendung des von dem zweiten Sensor (404) erfassten Prüfmerkmals (P1, P6).

Description

Beschreibung
Titel
FUSION VON DATEN MEHRERER SENSOREN ZUR OBJEKTERKENNUNG Stand der Technik
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Moderne Fahrzeuge können mit Fahrerassistenzsystemen ausgestattet sein. Hierbei können Objekte im Fahrzeugumfeld mittels einer geeigneten
Umfeldsensorik erfasst und erkannt werden. Die Komponenten der
Umfeldsensorik und der Objekterkennung können je nach Anforderung unterschiedlichen ASIL-Sicherheitskriterien entsprechen.
Die Anforderungen vieler neuer Anwendungen im Automobilbereich können nur schwer von einem einzelnen Sensorsystem erfüllt werden. Dies betrifft beispielsweise Fahrerassistenzsysteme und Systeme zum automatisierten Fahren. Insbesondere die Fusion von Sensordaten spielt eine wichtige Rolle für die sensorgestützte Erkennung und Nachverfolgung von Objekten.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Es wird ein Verfahren zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung vorgestellt, wobei das Verfahren folgende Schritte umfasst:
Empfangen zumindest eines von einem ersten Sensor erfassten
Erkennungsmerkmals und zumindest eines von einem zweiten Sensor erfassten Erkennungsmerkmals zum Erkennen zumindest eines Objekts im Umfeld des Fahrzeugs;
Empfangen zumindest eines von dem zweiten Sensor erfassten Prüfmerkmals zum Prüfen der Objekterkennung, wobei das von dem ersten Sensor erfasste Erkennungsmerkmal und das von dem zweiten Sensor erfasste Prüfmerkmal je eine erste Messgröße repräsentieren und das von dem zweiten Sensor erfasste Erkennungsmerkmal eine von der ersten Messgröße unabhängige zweite Messgröße repräsentiert;
Verknüpfen des von dem ersten Sensor erfassten Erkennungsmerkmals mit dem von dem zweiten Sensor erfassten Erkennungsmerkmal, um eine
Merkmalsverknüpfung zu erzeugen; und
Plausibilisieren der Merkmalsverknüpfung unter Verwendung des von dem zweiten Sensor erfassten Prüfmerkmals.
Unter einem Sensor kann beispielsweise ein Umfeldsensor zur Erfassung des Umfelds des Fahrzeugs, etwa in Form eines Radar- oder Lidarsensors oder einer Kamera, oder ein Beschleunigungssensor oder ein sonstiger geeigneter Sensor zur Erfassung sicherheitsrelevanter Parameter verstanden werden. Bei dem ersten Sensor und dem zweiten Sensor kann es sich um separate, voneinander unabhängige Sensorsubsysteme zur Objekterkennung handeln. Unter einem Erkennungsmerkmal kann ein auf einer physikalischen Messgröße basierendes Merkmal zur Identifizierung von Objekten verstanden werden. Beispielsweise kann es sich bei dem Erkennungsmerkmal um ein auf Basis einer Geschwindigkeit, Beschleunigung, Bewegungsrichtung, Form, Farbe oder Größe erfasstes Merkmal des Objekts handeln. Ebenso kann auch unter einem
Prüfmerkmal ein auf einer physikalischen Messgröße basierendes Merkmal zur Identifizierung von Objekten verstanden werden. Im Unterschied zum
Erkennungsmerkmal kann es sich bei dem Prüfmerkmal beispielsweise um ein mit einer geringeren Genauigkeit als das Erkennungsmerkmal erfasstes Merkmal des Objekts handeln. Unter zwei voneinander unabhängigen Messgrößen können Messgrößen verstanden werden, die physikalisch oder mathematisch gesehen nicht oder nur in sehr begrenztem Umfang miteinander
zusammenhängen. So kann es sich beispielsweise bei der ersten Messgröße um eine Geschwindigkeit und bei der zweiten Messgröße um eine Form des Objekts handeln.
Der hier vorgestellte Ansatz beruht auf der Erkenntnis, dass eine Datenfusion auf niedriger Ebene, d. h. auf Signal- oder Merkmalsebene, im Rahmen einer Objekterkennung in einem Fahrzeug derart durchgeführt werden kann, dass die Objekterkennung auf Basis einer ASIL-Dekomposition durchgeführt werden kann. Beispielsweise können dabei verschiedene Sensorpfade nach ASIL B so miteinander verknüpft und plausibilisiert werden, dass eine
Erkennungsinformation nach ASIL D generiert werden kann. Hierzu können zusätzlich zu von den Sensoren erfassten Funktionsmerkmalen bestimmte, unter Umständen mit geringerer Genauigkeit ebenfalls von den Sensoren erfasste Prüfmerkmale als Redundanz verwendet werden, um eine auf Basis der
Funktionsmerkmale durchgeführte Datenfusion zu plausibilisieren. Dadurch können auch bei verhältnismäßig niedrigen Systemkosten sowohl die
Leistungsfähigkeit als auch die Sicherheit der Systemfunktion gewährleistet werden.
Eine Sensordatenfusion kann auf verschiedenen Ebenen durchgeführt werden, die jeweils ihre Vor- und Nachteile haben. Für die Durchführung einer
Datenfusion auf niedriger Ebene ist die Schaffung und Ausgestaltung eines geeigneten Sicherheitskonzeptes erforderlich. Die Unabhängigkeit der
Komponenten kann nur schwer erreicht werden, wenn die Daten bereits auf Signal- und Merkmalsebene fusioniert und zusammengeführt wurden. In diesem Fall kann eine Dekomposition von ASIL-Einstufungen und -Anforderungen normalerweise nicht mehr durchgeführt werden. Das bedeutet, dass die ASIL- Einstufung für jedes einzelne System höher ausfallen kann. Mithilfe des hier vorgestellten Ansatzes kann dieses Problem gelöst werden. Gemäß einer Ausführungsform kann im Schritt des Empfangens zumindest ein von dem ersten Sensor erfasstes Prüfmerkmal zum Prüfen der Objekterkennung empfangen werden. Das von dem ersten Sensor erfasste Prüfmerkmal kann die zweite Messgröße repräsentieren. Im Schritt des Verknüpfens kann das von dem ersten Sensor erfasste Prüfmerkmal mit dem von dem zweiten Sensor erfassten Prüfmerkmal verknüpft werden, um eine redundante Merkmalsverknüpfung zu erzeugen. Im Schritt des Plausibilisierens kann die Merkmalsverknüpfung unter Verwendung der redundanten Merkmalsverknüpfung plausibilisiert werden. Dadurch kann die Zuverlässigkeit der Objekterkennung bei verhältnismäßig niedrigen Kosten deutlich erhöht werden.
Dabei kann in einem Schritt des Erkennens das Objekt unter Verwendung eines Ergebnisses des Plausibilisierens erkannt werden. Dadurch wird eine Erkennung des Objekts anhand bereits plausibilisierter Informationen ermöglicht, womit die Robustheit der Objekterkennung gesteigert werden kann.
Gemäß einer weiteren Ausführungsform kann in einem Schritt des Erkennens das Objekt unter Verwendung der Merkmalsverknüpfung erkannt werden. Dabei kann zumindest ein Prüfobjekt unter Verwendung der redundanten
Merkmalsverknüpfung erkannt werden. Dementsprechend kann im Schritt des Plausibilisierens die Merkmalsverknüpfung durch Vergleichen des Objekts mit dem Prüfobjekt plausibilisiert werden. Auch durch diese Ausführungsform kann eine besonders zuverlässige und robuste Erkennung des Objekts gewährleistet werden. Es ist vorteilhaft, wenn im Schritt des Empfangens zumindest ein von einem dritten Sensor erfasstes Erkennungsmerkmal zum Erkennen des Objekts und zumindest ein von dem ersten Sensor oder, zusätzlich oder alternativ, von dem zweiten Sensor erfasstes weiteres Prüfmerkmal zum Prüfen der
Objekterkennung empfangen werden. Das von dem dritten Sensor erfasste Erkennungsmerkmal und das weitere Prüfmerkmal können je die gleiche Messgröße repräsentieren. Dementsprechend kann im Schritt des Verknüpfens die Merkmalsverknüpfung unter Verwendung des von dem dritten Sensor erfassten Erkennungsmerkmals erzeugt werden. Im Schritt des Plausibilisierens kann die Merkmalsverknüpfung unter Verwendung des weiteren Prüfmerkmals plausibilisiert werden. Dadurch kann die Objekterkennung auch bei Verwendung von mehr als zwei voneinander unabhängigen Sensoren effizient durchgeführt werden.
Insbesondere kann beispielsweise das von dem dritten Sensor erfasste
Erkennungsmerkmal eine von der ersten Messgröße oder auch von der zweiten Messgröße unabhängige Messgröße repräsentieren. Dadurch kann erreicht werden, dass das Verfahren hohen ASIL-Sicherheitsanforderungen genügt.
Gemäß einer weiteren Ausführungsform können im Schritt des Empfangens zumindest ein von dem ersten Sensor oder, zusätzlich oder alternativ, von dem zweiten Sensor erfasstes weiteres Erkennungsmerkmal zum Erkennen des Objekts und zumindest ein von dem dritten Sensor erfasstes Prüfmerkmal zum Prüfen der Objekterkennung empfangen werden. Dabei können das weitere Erkennungsmerkmal und das von dem dritten Sensor erfasste Prüfmerkmal je die gleiche Messgröße repräsentieren. Im Schritt des Verknüpfens kann die Merkmalsverknüpfung unter Verwendung des weiteren Erkennungsmerkmals erzeugt werden. Im Schritt des Plausibilisierens kann die Merkmalsverknüpfung unter Verwendung des von dem dritten Sensor erfassten Prüfmerkmals plausibilisiert werden. Dadurch kann eine Vielzahl unterschiedlicher und von unterschiedlichen Sensoren erfasster Merkmale zur Objekterkennung verwendet werden, wodurch die Zuverlässigkeit des Verfahrens weiter erhöht werden kann.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware, beispielsweise in einem Steuergerät, implementiert sein.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in
entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine
Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine
magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
In einer vorteilhaften Ausgestaltung erfolgt durch die Vorrichtung eine Steuerung des Fahrzeugs. Hierzu kann die Vorrichtung beispielsweise auf Sensorsignale wie Beschleunigungs-, Druck-, Lenkwinkel- oder Umfeldsensorsignale zugreifen. Die Ansteuerung erfolgt über Aktoren wie Brems- oder Lenkaktoren oder ein Motorsteuergerät des Fahrzeugs.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend
beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
Fig. 1 eine schematische Darstellung eines Sicherheitskonzepts auf mittlerer
Ebene mit entsprechender ASIL-Dekomposition;
Fig. 2 eine schematische Darstellung eines Sicherheitskonzepts nach ASIL D; Fig. 3 eine schematische Darstellung möglicher ASIL-Dekompositionen;
Fig. 4 eine schematische Darstellung eines Systems zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer
Objekterkennung gemäß einem Ausführungsbeispiel;
Fig. 5 eine schematische Darstellung eines Systems zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer
Objekterkennung gemäß einem Ausführungsbeispiel;
Fig. 6 ein Ablaufdiagramm eines Verfahrens gemäß einem
Ausführungsbeispiel; und
Fig. 7 eine schematische Darstellung einer ASIL-Dekomposition in einem
System aus Fig. 4.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren
dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche
Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird. Fig. 1 zeigt eine schematische Darstellung eines Sicherheitskonzepts auf mittlerer Ebene mit entsprechender ASIL-Dekomposition. Gezeigt ist ein System 100 aus drei Fahrzeugsensoren 102, 104, 106 zur Erkennung je eines Objekts 108. Ein Steuergerät 110 ist ausgebildet, um unter Verwendung der von den drei Sensoren erkannten Objekte 108 in einer ersten Einheit 112 eine Objektfusion durchzuführen und darauf basierend in einer zweiten Einheit 114 eine
Situationsanalyse durchzuführen. Beispielsweise liefert der erste
Fahrzeugsensor 102 Signale nach ASIL B, während die beiden
Fahrzeugsensoren 104, 106 Signale nach ASIL A liefern. Die mittels des
Steuergeräts 110 durchgeführte Objekterkennung entspricht dabei ASIL D.
Fig. 2 zeigt eine schematische Darstellung eines Sicherheitskonzepts nach ASIL D. Gezeigt ist das System 100 aus Fig. 1, mit dem Unterschied, dass das Steuergerät 110 unter Verwendung der von den drei Fahrzeugsensoren 102, 104, 106 bereitgestellten Signale in einer weiteren Einheit 200 zunächst eine Merkmalsfusion und darauf aufbauend die Objekterkennung und die
Situationsanalyse durchführt. Die einzelnen Sensorpfade sowie die
Signalverarbeitung innerhalb des Steuergeräts 110 entsprechen dabei jeweils ASIL D.
Fig. 3 zeigt eine schematische Darstellung möglicher ASIL-Dekompositionen. Ein Zustand vor der Dekomposition ist mit dem Bezugszeichen 300 gekennzeichnet. Ein Zustand nach der Dekomposition ist mit dem Bezugszeichen 302
gekennzeichnet. Nachfolgend sind verschiedene Dekompositionsmöglichkeiten aufgelistet:
ASIL D zu ASIL C(D) und ASIL A(D);
alternativ: ASIL D zu ASIL B(D) und ASIL B(D);
alternativ: ASIL D zu ASIL D(D) und QM(D).
Fig. 4 zeigt eine schematische Darstellung eines Systems 400 zur Fusion von Daten verschiedener Sensoren 402, 404, 406 eines Fahrzeugs im Rahmen einer Objekterkennung gemäß einem Ausführungsbeispiel. Gemäß diesem
Ausführungsbeispiel umfasst das System 400 einen ersten Sensor 402 zum Erfassen von Erkennungsmerkmalen Fl, F2, einen zweiten Sensor 404 zum Erfassen von Erkennungsmerkmalen F3, F4 und einen dritten Sensor 406 Erfassen von Erkennungsmerkmalen F5, F6. Die Erkennungsmerkmale Fl bis F6, auch Funktionsmerkmale genannt, dienen der Erkennung zumindest eines Objekts im Umfeld des Fahrzeugs. Bei den Erkennungsmerkmalen handelt es sich insbesondere um Merkmale, die von den jeweiligen Sensoren mit besonders hoher Genauigkeit erfasst werden können. Zur Extraktion der jeweiligen
Erkennungsmerkmale sind die Sensoren 402, 404, 406 je mit einer
entsprechenden Verarbeitungseinheit 408 verbunden.
Gemäß diesem Ausführungsbeispiel ist der erste Sensor 402 ausgebildet, um zusätzlich zu den beiden Erkennungsmerkmalen Fl, F2 zwei Prüfmerkmale P3, P5 zu erfassen und bereitzustellen. Analog dazu ist der zweite Sensor 404 ausgebildet, um zusätzlich zu den beiden Erkennungsmerkmalen F3, F4 zwei Prüfmerkmale PI, P6 zu erfassen und bereitzustellen. Der dritte Sensor 406 ist ausgebildet, um zusätzlich zu den beiden Erkennungsmerkmalen F5, F6 ein Prüfmerkmal P2 zu erfassen und bereitzustellen. Bei den Prüfmerkmalen handelt es sich beispielsweise um Merkmale, die von den jeweiligen Sensoren mit einem im Vergleich zu den jeweiligen Erkennungsmerkmalen niedrigeren Maß an Genauigkeit erfasst werden, das jedoch für eine Nutzung im Rahmen einer
Plausibilitätsprüfung der Objekterkennung ausreicht.
Beispielhaft repräsentieren gemäß Fig. 4 das Erkennungsmerkmal Fl und das Prüfmerkmal PI eine erste Messgröße zum Erfassen des Objekts, das
Erkennungsmerkmal F3 und das Prüfmerkmal P3 eine zweite Messgröße zum
Erfassen des Objekts und das Erkennungsmerkmal F5 und das Prüfmerkmal P5 eine dritte Messgröße zum Erfassen des Objekts. Insbesondere handelt es sich bei allen drei Messgrößen um voneinander unabhängige Messgrößen, sodass durch die Prüfmerkmale eine zusätzliche, redundante Merkmalsfusion auf der Basis voneinander unabhängiger Subsysteme ermöglicht wird.
Analog dazu repräsentieren beispielsweise auch das Erkennungsmerkmal F2 und das Prüfmerkmal P2 je die gleiche Messgröße, ebenso wie auch das Erkennungsmerkmal F6 und das Prüfmerkmal P6 je die gleiche Messgröße repräsentieren können. Je nach Ausführungsbeispiel repräsentieren entweder alle Erkennungsmerkmale je eine andere Messgröße oder aber die Erkennungsmerkmale unterscheiden sich bezüglich der ihr zugrunde liegenden Messgröße jeweils nur von Sensor zu Sensor. Wichtig ist, dass die Erkennungsmerkmale und die ihnen jeweils zugeordneten Prüfmerkmale jeweils die gleiche Messgröße repräsentieren, wobei die jeweiligen Sensoren zur Erfassung der Prüfmerkmale von den jeweiligen Sensoren zur Erfassung der Erkennungsmerkmale unabhängig sind.
Das System 400 umfasst eine Vorrichtung 410 mit einer Empfangseinheit 412 zum Empfangen der Erkennungs- und Prüfmerkmale von den drei Sensoren 402, 404, 406 sowie einer Verknüpfungseinheit 414. Gemäß dem in Fig. 4 gezeigten Ausführungsbeispiel ist die Verknüpfungseinheit 414 ausgebildet, um zum einen die Erkennungsmerkmale in einer entsprechenden Merkmalsfusion miteinander zu einer Merkmalsverknüpfung 416 zu verknüpfen und zum anderen die
Prüfmerkmale in einer entsprechenden Prüffusion miteinander zu einer redundanten Merkmalsverknüpfung 418 zu verknüpfen. Die Verknüpfungseinheit 414 leitet die Merkmalsverknüpfungen 416, 418 weiter an eine
Plausibilisierungseinheit 420 zur Durchführung einer Plausibilitätsprüfung der Merkmalsverknüpfung 416 anhand der redundanten Merkmalsverknüpfung 418. Eine Erkennungseinheit 422 ist ausgebildet, um unter Verwendung eines von der Plausibilisierungseinheit 420 bereitgestellten Plausibilisierungsergebnisses 424 ein Objekt oder mehrere Objekte in der Umgebung des Fahrzeugs eindeutig zu erkennen und beispielsweise eine entsprechende Objektinformation 426 an eine Analyseeinheit 428 zur Durchführung einer Situationsanalyse bezüglich einer aktuellen Situation des Fahrzeugs weiterzuleiten. Die Situationsanalyse ermöglicht beispielsweise die Nachverfolgung erkannter Objekte entsprechend ASIL D.
Gemäß Fig. 4 findet die Objekterkennung erst nach Durchführung der
Plausibilitätsprüfung statt. Alternativ erfolgt die Plausibilitätsprüfung im Anschluss an die Objekterkennung, wie dies aus Fig. 5 ersichtlich ist.
Fig. 5 zeigt eine schematische Darstellung eines Systems 400 zur Fusion von Daten verschiedener Sensoren 402, 404, 406 eines Fahrzeugs im Rahmen einer Objekterkennung gemäß einem Ausführungsbeispiel. Das System 400 entspricht im Wesentlichen dem vorangehend anhand von Fig. 4 beschriebenen System, mit dem Unterschied, dass die Erkennungseinheit 422 gemäß diesem
Ausführungsbeispiel der Plausibilisierungseinheit 420 vorgeschaltet ist. Dabei ist die Erkennungseinheit 422 ausgebildet, um die beiden Merkmalsverknüpfungen 416, 418 von der Verknüpfungseinheit 414 zu empfangen. Die
Merkmalsverknüpfung 416 wird von der Erkennungseinheit 422 dazu verwendet, das Objekt zu erkennen und ein das erkannte Objekt repräsentierendes
Erkennungsergebnis 500 an die Plausibilisierungseinheit 420 zu übermitteln. In analoger Weise verwendet die Erkennungseinheit 422 die redundante
Merkmalsverknüpfung 418, um ein Prüfobjekt zu erkennen und ein das
Prüfobjekt repräsentierendes redundantes Erkennungsergebnis 502 an die Plausibilisierungseinheit 420 zu übermitteln. Diese verwendet die beiden
Erkennungsergebnisse 500, 502 beispielsweise, um das erkannte Objekt anhand des Prüfobjekts zu plausibilisieren, etwa auf Basis einer Merkmalsabweichung zwischen dem erkannten Objekt und dem Prüfobjekt. Das
Plausibilisierungsergebnis 424 wird dabei direkt an die Analyseeinheit 428 übermittelt. Die Analyseeinheit 428 ist beispielsweise ausgebildet, um die Situation des Fahrzeugs auf der Basis des erkannten Objekts oder der erkannten Objekte zu analysieren, sofern die Merkmalsabweichung zwischen dem erkannten Objekt und dem Prüfobjekt unterhalb eines vorgegebenen
Abweichungsschwellenwertes liegt.
Fig. 6 zeigt ein Ablaufdiagramm eines Verfahrens 600 gemäß einem
Ausführungsbeispiel. Das Verfahren 600 zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung kann
beispielsweise von einer Vorrichtung, wie sie vorangehend anhand der Figuren 4 und 5 beschrieben ist, durchgeführt werden. Dabei werden in einem Schritt 610 die Erkennungsmerkmale sowie die Prüfmerkmale über eine geeignete
Schnittstelle zu den Sensoren des Fahrzeugs empfangen. In einem Schritt des 620 werden die Erkennungsmerkmale miteinander verknüpft, um die
Merkmalsverknüpfung zu erzeugen. Schließlich erfolgt in einem Schritt 630 die Plausibilisierung der Merkmalsverknüpfung unter Verwendung zumindest eines der Prüfmerkmale. Fig. 7 zeigt eine schematische Darstellung einer ASIL-Dekomposition in einem System 400 aus Fig. 4. Die Merkmalsfusionen entsprechen ASIL B. Die höchste Einstufung jedes Eingangssignals entspricht ASIL B. Die höchste
Sicherheitsanforderung jedes Merkmals entspricht ASIL B. Die Sensorsignale entsprechen ASIL B. Die Sensorsicherheitsanforderung entspricht ASIL B.
Nachfolgend werden verschiedene Ausführungsbeispiele des hier vorgestellten Ansatzes nochmals mit anderen Worten zusammengefasst.
Bei der Fusion von Sensordaten im Rahmen einer Objekterkennung kann grob zwischen einer niedrigen Ebene, einer mittleren Ebene und einer hohen Ebene unterschieden werden. Die niedrige Ebene entspricht einer frühzeitigen Fusion aus Signalen und Merkmalen oder ihren Zuständen. Die Daten repräsentieren dabei Muster oder Abtastwerte. Auf der mittleren Ebene erfolgt die Fusion auf Objektebene mit einer Entität. Dabei werden die Objekte unabhängig
voneinander von jedem einzelnen Sensorsystem identifiziert. Die hohe Ebene repräsentiert eine Fusion zur Objektnachverfolgung mit vollständiger
Situationseinschätzung. Dabei bestimmt jeder Sensor vor der Fusion zusätzlich die gegenseitige Beziehung und Bewegung der Objekte. Je niedriger die Fusionsebene ist, desto schwieriger ist es, die für eine ASIL-Dekomposition erforderliche Unabhängigkeit zu gewährleisten.
Beispielsweise soll das in Fig. 1 gezeigte Systemdesign in seiner Gesamtheit die Sicherheitsanforderungen nach ASIL D erfüllen. Gemäß diesem Design ist die ASIL-Einstufung für ein einzelnes Sensorsystem ASIL A oder ASIL B.
Um die Systemleistung zu verbessern und den größtmöglichen Nutzen aus der jeweiligen Stärke der einzelnen Sensorsysteme zu ziehen, wird nun gemäß dem hier vorgestellten Ansatz eine Fusion auf niedriger Ebene gewählt.
Werden die besten Merkmale eines jeden Systems ausgewählt und fusioniert, um die Objekte zu bestimmen, wäre jedoch keine wirkliche Redundanz im System vorhanden, sodass alle Sensorpfade entsprechend der höchsten Einstufung ASIL D entwickelt werden müssten. Die Sensoren sind jedoch oftmals in der Lage, auch andere Merkmale zu erfassen. Beispielsweise kann die Entfernung eines Objekts sowohl über Video als auch über Radar bestimmt werden, wobei Radar eine deutlich höhere Genauigkeit aufweist. Durch den hier vorgestellten Ansatz können die angesprochenen Probleme oder
Unzulänglichkeiten bei der ASIL-Allokation vermieden werden. Vorteilhafterweise ermöglicht der hier vorgestellte Ansatz eine echte Redundanz während der Datenfusion. Dabei können hohe Systementwicklungskosten, etwa aufgrund einer hohen ASIL-Einstufung für alle Hard- und Softwarekomponenten, vermieden werden.
Eine ASIL-Einstufung und -Allokation umfasst beispielsweise folgende Schritte. Zunächst wird eine Gefährdungs- und Risikoanalyse durchgeführt, d. h. eine Sicherheitsrisikoanalyse anhand der Auswirkungen des Systems auf das Fahrzeug, denn Systemeingriffe wirken sich in der Regel auf die Sicherheit des Fahrzeugs aus. Des Weiteren wird ein Sicherheitsziel mit ASIL-Einstufung definiert. Es erfolgt eine Sicherheitsrisikobewertung mit der Angabe von
Sicherheitsanforderungen für die Systementwicklung, in diesem Fall etwa die höchste Einstufung und Anforderung gemäß ASIL D. Anschließend wird zum Erreichen des Sicherheitszieles ein entsprechendes Sicherheitskonzept mit ASIL-Allokation entwickelt. Die ASIL-Allokation sollte für jede Systemkomponente durchgeführt werden. Wenn nun beispielsweise jede Komponente die
Anforderungen nach ASIL D erfüllen müsste, entstünden hohe Kosten und ein hoher Aufwand, um ein sicheres und robustes System zu gewährleisten.
Demgegenüber stellt die ASIL-Dekomposition einen möglichen Weg dar, um die Systemrobustheit zu erhöhen und die Sicherheitsanforderungen für jede
Komponente, insbesondere für Hardwarekomponenten wie Sensoren oder Steuergeräte, zu reduzieren. Fig. 3 zeigt ein Dekompositionskonzept nach ISO 26262-9:2011(E). Die Dekomposition kann jedoch nur dann zum Einsatz kommen, wenn zwei Subsysteme unabhängig voneinander sind.
Der hier vorgestellte Ansatz ermöglicht es nun, Redundanz in einem bereits vorhandenen Fusionskonzept zu schaffen und darin eine entsprechende
Dekomposition zur Anwendung zu bringen. Dabei wird die ASIL-Allokation so durchgeführt, dass jedes Subsystem einem niedrigeren ASIL als dem Gesamtsystem zugeordnet ist, womit das Sicherheitsrisiko, die Sicherheitsanforderungen und die Kosten gesenkt werden können.
Eine redundante Datenfusion wird beispielsweise mit den Prüfmerkmalen P3 und P5 durchgeführt, wobei diese nicht in der ursprünglichen Merkmalsfusion aus den Erkennungsmerkmalen Fl und F2 verwendet werden. Die ursprüngliche Fusion umfasst beispielsweise eine Entfernung, die aufgrund der höheren Genauigkeit nur mittels eines Radarsignals ermittelt wurde. Gemäß einem Ausführungsbeispiel wird etwa zusätzlich ein per Video bereitgestelltes
Entfernungssignal verwendet, um die Redundanz zu schaffen. Auch wenn es sich dabei nicht um die am besten geeigneten Merkmale oder Stärken der jeweiligen Sensorsysteme handelt, sind diese Merkmale in der Regel zur Verwendung für eine Prüffusion ausreichend. Dabei sollte die Unabhängigkeit zwischen Funktionsmerkmalen und Prüfmerkmalen sichergestellt sein. Zwischen Geschwindigkeit und Beschleunigung besteht beispielsweise eine starke Korrelation, sodass diese beiden Merkmale nicht als unabhängige Merkmale behandelt werden sollten. Im Gegenzug können beispielsweise Geschwindigkeit und Form durchaus als unabhängige Merkmale behandelt werden.
Die ursprüngliche Fusion wird nach wie vor als funktionale Fusion verwendet, um Objekte zu generieren. Die funktionale Fusion wird dabei jedoch mittels der zweiten, redundanten Prüffusion mit einer vorgegebenen Toleranz überwacht. Das bedeutet, dass die funktionale Fusion bestätigt und zugelassen wird, sofern die Abweichung zwischen funktionaler Fusion und Prüffusion klein genug ist.
Da die zwei Fusionen unabhängig voneinander sind, ist jetzt eine Dekomposition möglich. Eine mögliche Dekomposition von ASIL D zu ASIL B(D) + ASIL B(D) ist in Fig. 4 gezeigt. Dabei entsprechen die Fusionen zur Erzeugung der
Merkmalsverknüpfung 416 und der redundanten Merkmalsverknüpfung 418 je ASIL B(D). Andere Kombinationen sind ebenfalls möglich, beispielsweise ASIL A(D) + ASIL C(D) oder QM(D) + ASIL D(D).
Je nach Design kann die Plausibilitätsprüfung oder der Vergleich beider Pfade auch zu einem späteren Zeitpunkt durchgeführt werden, beispielsweise nach der Erkennung von Objekten oder Entitäten oder nach der Erkennung von Situationen oder Bewegungsabläufen. Fig. 5 zeigt ein mögliches Systemdesign, bei dem die Plausibilitätsprüfung nach der Objekterkennung durchgeführt wird.
Umfasst ein Ausführungsbeispiel eine„und/oder"-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das
Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Ansprüche
1. Verfahren (600) zur Fusion von Daten verschiedener Sensoren (402, 404, 406) eines Fahrzeugs im Rahmen einer Objekterkennung, wobei das Verfahren (600) folgende Schritte umfasst:
Empfangen (610) zumindest eines von einem ersten Sensor (402) erfassten Erkennungsmerkmals (Fl, F2) und zumindest eines von einem zweiten Sensor (404) erfassten Erkennungsmerkmals (F3, F4) zum Erkennen zumindest eines Objekts im Umfeld des Fahrzeugs;
Empfangen (610) zumindest eines von dem zweiten Sensor (404) erfassten Prüfmerkmals (PI, P6) zum Prüfen der Objekterkennung, wobei das von dem ersten Sensor (402) erfasste
Erkennungsmerkmal (Fl, F2) und das von dem zweiten Sensor (404) erfasste Prüfmerkmal (PI, P6) je eine erste Messgröße repräsentieren und das von dem zweiten Sensor (404) erfasste
Erkennungsmerkmal (F3, F4) eine von der ersten Messgröße unabhängige zweite Messgröße repräsentiert;
Verknüpfen (620) des von dem ersten Sensor (402) erfassten
Erkennungsmerkmals (Fl, F2) mit dem von dem zweiten Sensor (404) erfassten Erkennungsmerkmal (F3, F4), um eine
Merkmalsverknüpfung (416) zu erzeugen; und
Plausibilisieren (630) der Merkmalsverknüpfung (416) unter Verwendung des von dem zweiten Sensor (404) erfassten Prüfmerkmals (PI, P6).
2. Verfahren (600) gemäß Anspruch 1, bei dem im Schritt des
Empfangens (610) zumindest ein von dem ersten Sensor (402) erfasstes Prüfmerkmal (P3, P5) zum Prüfen der Objekterkennung empfangen wird, wobei das von dem ersten Sensor (402) erfasste Prüfmerkmal (P3, P5) die zweite Messgröße repräsentiert, wobei im Schritt des
Verknüpfens (620) das von dem ersten Sensor (402) erfasste
Prüfmerkmal (P3, P5) mit dem von dem zweiten Sensor (404) erfassten Prüfmerkmal (PI, P6) verknüpft wird, um eine redundante
Merkmalsverknüpfung (418) zu erzeugen, wobei im Schritt des
Plausibilisierens (630) die Merkmalsverknüpfung (416) unter
Verwendung der redundanten Merkmalsverknüpfung (418) plausibilisiert wird.
Verfahren (600) gemäß Anspruch 2, mit einem Schritt des Erkennens des Objekts unter Verwendung eines Ergebnisses (424) des
Plausibilisierens (630).
Verfahren (600) gemäß Anspruch 2, mit einem Schritt des Erkennens des Objekts unter Verwendung der Merkmalsverknüpfung (416), wobei zumindest ein Prüfobjekt unter Verwendung der redundanten
Merkmalsverknüpfung (418) erkannt wird, wobei im Schritt des
Plausibilisierens (630) die Merkmalsverknüpfung (416) durch
Vergleichen des Objekts mit dem Prüfobjekt plausibilisiert wird.
Verfahren (600) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Empfangens (610) zumindest ein von einem dritten Sensor (406) erfasstes Erkennungsmerkmal (F5, F6) zum Erkennen des Objekts und zumindest ein von dem ersten Sensor (402) und/oder dem zweiten Sensor (404) erfasstes weiteres Prüfmerkmal (P5, P6) zum Prüfen der Objekterkennung empfangen werden, wobei das von dem dritten Sensor (406) erfasste Erkennungsmerkmal (F5, F6) und das weitere Prüfmerkmal (P5, P6) je die gleiche Messgröße repräsentieren, wobei im Schritt des Verknüpfens (620) die Merkmalsverknüpfung (416) unter Verwendung des von dem dritten Sensor (406) erfassten
Erkennungsmerkmals (F5, F6) erzeugt wird, wobei im Schritt des Plausibilisierens (630) die Merkmalsverknüpfung (416) unter
Verwendung des weiteren Prüfmerkmals (P5, P6) plausibilisiert wird. Verfahren (600) gemäß Anspruch 5, bei dem das von dem dritten Sensor (406) erfasste Erkennungsmerkmal (F5, F6) eine von der ersten Messgröße und/oder der zweiten Messgröße unabhängige Messgröße repräsentiert.
Verfahren (600) gemäß Anspruch 5 oder 6, bei dem im Schritt des Empfangens (610) zumindest ein von dem ersten Sensor (402) und/oder dem zweiten Sensor (404) erfasstes weiteres Erkennungsmerkmal (F2) zum Erkennen des Objekts und zumindest ein von dem dritten
Sensor (406) erfasstes Prüfmerkmal (P2) zum Prüfen der
Objekterkennung empfangen werden, wobei das weitere
Erkennungsmerkmal (F2) und das von dem dritten Sensor (406) erfasste Prüfmerkmal (P2) je die gleiche Messgröße repräsentieren, wobei im Schritt des Verknüpfens (620) die Merkmalsverknüpfung (416) unter Verwendung des weiteren Erkennungsmerkmals (F2) erzeugt wird, wobei im Schritt des Plausibilisierens (630) die
Merkmalsverknüpfung (416) unter Verwendung des von dem dritten Sensor (406) erfassten Prüfmerkmals (F2) plausibilisiert wird.
Vorrichtung (410) mit Einheiten (412, 414, 420, 422, 428), die
ausgebildet sind, um das Verfahren (600) gemäß einem der Ansprüche 1 bis 7 auszuführen und/oder anzusteuern.
Computerprogramm, das ausgebildet ist, um das Verfahren (600) gemäß einem der Ansprüche 1 bis 7 auszuführen und/oder anzusteuern.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 9 gespeichert ist.
PCT/EP2018/056358 2017-04-10 2018-03-14 Fusion von daten mehrerer sensoren zur objekterkennung WO2018188877A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020504764A JP7064572B2 (ja) 2017-04-10 2018-03-14 オブジェクト認識のための複数のセンサのデータの融合
US16/603,475 US11639112B2 (en) 2017-04-10 2018-03-14 Fusion of data of multiple sensors for object identification
CN201880024245.4A CN110494866B (zh) 2017-04-10 2018-03-14 用于对象识别的多个传感器的数据的融合

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017206123.5A DE102017206123A1 (de) 2017-04-10 2017-04-10 Verfahren und Vorrichtung zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung
DE102017206123.5 2017-04-10

Publications (1)

Publication Number Publication Date
WO2018188877A1 true WO2018188877A1 (de) 2018-10-18

Family

ID=61691479

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/056358 WO2018188877A1 (de) 2017-04-10 2018-03-14 Fusion von daten mehrerer sensoren zur objekterkennung

Country Status (5)

Country Link
US (1) US11639112B2 (de)
JP (1) JP7064572B2 (de)
CN (1) CN110494866B (de)
DE (1) DE102017206123A1 (de)
WO (1) WO2018188877A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021104418A1 (de) 2021-02-24 2022-08-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Fusion von Messdaten, die mit unterschiedlichen Messmodalitäten erfasst wurden
US11634123B2 (en) 2020-07-09 2023-04-25 Toyota Research Institute, Inc. Methods and systems for prioritizing computing methods for autonomous vehicles
WO2023165815A1 (de) 2022-03-03 2023-09-07 Robert Bosch Gmbh Fusion von mit einem aktiven messprinzip gewonnenen roh-messdaten und bildern zu einer repräsentation mit tiefen- und/oder abstandsinformation

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112368598A (zh) * 2018-07-02 2021-02-12 索尼半导体解决方案公司 信息处理设备、信息处理方法、计算机程序和移动设备
DE102019107443A1 (de) * 2019-03-22 2020-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betrieb eines Roboters mit verbesserter Objektdetektion
DE102019219923A1 (de) * 2019-12-17 2021-06-17 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Robustifizieren von Sensordaten gegen adversariale Störungen
DE102019219927A1 (de) * 2019-12-17 2021-06-17 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen einer Entfremdung einer Sensordatendomäne von einer Referenzdatendomäne
CN113221852B (zh) * 2021-06-09 2021-12-31 中国人民解放军91977部队 一种目标识别方法及装置
DE102021209817A1 (de) 2021-09-06 2023-03-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur mehrstufigen Fusion von Messdaten
DE102021213077A1 (de) 2021-11-22 2023-05-25 Zf Friedrichshafen Ag Verfahren zur Überwachung einer Signalverarbeitung für ein automatisiertes Fahrsystems und Steuergerät für ein automatisiertes Fahrsystems
DE102022000184A1 (de) 2022-01-18 2022-03-03 Daimler Ag Verfahren zur Sensordatenfusion
CN117032188A (zh) * 2023-09-01 2023-11-10 深圳市怡亚通供应链股份有限公司 一种汽车安全监控系统、方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007018470A1 (de) * 2007-04-19 2008-10-23 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren zur Objektplausibilisierung
US20090135065A1 (en) * 2006-02-24 2009-05-28 Toyota Jidosha Kabushiki Kaisha Object Detecting Apparatus and Method for Detecting an Object

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10251949A1 (de) * 2002-11-08 2004-05-19 Robert Bosch Gmbh Fahrdynamikregelung mit Bildsensorsystem
JP4771890B2 (ja) 2006-08-17 2011-09-14 富士通株式会社 追跡信頼度判定プログラム
DE102009006113B4 (de) * 2008-03-03 2019-03-28 Volkswagen Ag Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
DE102012009703A1 (de) * 2012-05-16 2013-11-21 Volkswagen Ag Verfahren und Vorrichtung zur Personenerkennung im Umfeld eines Kraftfahrzeugs
DE102012216386A1 (de) * 2012-09-14 2014-03-20 Robert Bosch Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs
DE102014215570B4 (de) * 2014-08-06 2021-12-30 Elektrobit Automotive Gmbh Fahrzeugnavigationssystem
DE102014222900A1 (de) * 2014-11-10 2016-05-12 Bombardier Transportation Gmbh Betrieb eines Schienenfahrzeugs mit einem Bilderzeugungssystem
DE102015107392A1 (de) * 2015-05-12 2016-11-17 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einer Umgebung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US9852554B2 (en) * 2016-03-31 2017-12-26 Harman International Industries, Incorporated Systems and methods for vehicle-to-vehicle communication
US10551838B2 (en) * 2017-08-08 2020-02-04 Nio Usa, Inc. Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090135065A1 (en) * 2006-02-24 2009-05-28 Toyota Jidosha Kabushiki Kaisha Object Detecting Apparatus and Method for Detecting an Object
DE102007018470A1 (de) * 2007-04-19 2008-10-23 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren zur Objektplausibilisierung

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11634123B2 (en) 2020-07-09 2023-04-25 Toyota Research Institute, Inc. Methods and systems for prioritizing computing methods for autonomous vehicles
DE102021104418A1 (de) 2021-02-24 2022-08-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Fusion von Messdaten, die mit unterschiedlichen Messmodalitäten erfasst wurden
WO2022179945A1 (de) 2021-02-24 2022-09-01 Robert Bosch Gmbh Verfahren zur fusion von messdaten, die mit unterschiedlichen messmodalitäten erfasst wurden
WO2023165815A1 (de) 2022-03-03 2023-09-07 Robert Bosch Gmbh Fusion von mit einem aktiven messprinzip gewonnenen roh-messdaten und bildern zu einer repräsentation mit tiefen- und/oder abstandsinformation
DE102022202174A1 (de) 2022-03-03 2023-09-07 Robert Bosch Gesellschaft mit beschränkter Haftung Fusion von mit einem aktiven Messprinzip gewonnenen Roh-Messdaten und Bildern zu einer Repräsentation mit Tiefen- und/oder Abstandsinformation

Also Published As

Publication number Publication date
US20210133486A1 (en) 2021-05-06
JP7064572B2 (ja) 2022-05-10
DE102017206123A1 (de) 2018-10-11
CN110494866A (zh) 2019-11-22
CN110494866B (zh) 2024-02-09
JP2020517037A (ja) 2020-06-11
US11639112B2 (en) 2023-05-02

Similar Documents

Publication Publication Date Title
WO2018188877A1 (de) Fusion von daten mehrerer sensoren zur objekterkennung
DE102015216494A1 (de) Verfahren und Vorrichtung zur Erkennung wenigstens einer Sensorfunktion wenigstens eines ersten Sensor wenigstens eines ersten Fahrzeugs
DE102008013366B4 (de) Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme
DE102011108292A1 (de) Verfahren zum Betrieb einer Fahrerassistenzvorrichtung
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102017214611A1 (de) Verfahren zum Überprüfen eines Reaktionssignals einer Fahrzeugkomponente sowie Überprüfungsvorrichtung und Kraftfahrzeug
DE102016207463A1 (de) Verfahren und Vorrichtung zum Betreiben wenigstens eines Fahrzeugs in Bezug auf wenigstens ein passierbares Objekt in der Umgebung des wenigstens einen Fahrzeugs
WO2017102150A1 (de) Verfahren zum bewerten einer durch zumindest einen sensor eines fahrzeugs erfassten gefahrensituation, verfahren zum steuern einer wiedergabe einer gefahrenwarnung und verfahren zum wiedergeben einer gefahrenwarnung
DE102018004057A1 (de) Verfahren und System zum Bestimmen des Versatzes eines Lenkradwinkelsensors
DE102016206771A1 (de) Verfahren und Vorrichtung zum Steuern zumindest eines Fahrerinteraktionssystems
WO2018095491A1 (de) Vorrichtung und verfahren zum überprüfen einer funktionsfähigkeit eines sensors
DE102016009327A1 (de) Vorrichtung und Verfahren zur Kalibrierung einer Kamera
DE102019204892A1 (de) Verfahren und Steuergerät zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem für ein Fahrzeug
DE102016206077A1 (de) Verfahren und Vorrichtung zum Bestimmen einer sicherheitskritischen Gierbewegung eines Fahrzeugs
WO2021148178A1 (de) Verfahren und vorrichtung zum betreiben einer automatisierten spurführung eines kraftfahrzeugs
DE102014226080A1 (de) Verfahren und Vorrichtung zum Kompensieren eines mit einem Offset behafteten Lenkradwinkelsignalsin einem Fahrzeug
DE102009012887B4 (de) Verfahren zum Prüfen einer nicht korrekten Installation von Fahrzeugsensoren
EP4007891B1 (de) Verfahren und vorrichtung zur lokalisierung eines fahrzeugs in einer umgebung
DE102016223290A1 (de) Verfahren und Vorrichtung zum Kalibrieren eines Sensors für ein Fahrzeug
DE102016208076A1 (de) Verfahren und vorrichtung zur auswertung eines eingabewerts in einem fahrerassistenzsystem, fahrerassistenzsystem und testsystem für ein fahrerassistenzsystem
DE102012023980B4 (de) Verfahren und Vorrichtung zur Verifizierung einer ersten Relativlage mittels einer zweiten Relativlage
DE102019212892A1 (de) Erkennung von Detektorfehlern
DE102017213572A1 (de) Verfahren, Computer-lesbares Medium, System, und Fahrzeug umfassend das System zum Bestimmen eines Fahrmodus eines Fahrzeugs während einer Fahrt in einem hochautomatisierten Fahrmodus
DE102021209817A1 (de) Verfahren zur mehrstufigen Fusion von Messdaten
DE102021211515A1 (de) Verfahren und Vorrichtung zum Betreiben eines automatisierten Fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18711894

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020504764

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18711894

Country of ref document: EP

Kind code of ref document: A1