WO2020165058A1 - System und verfahren zum sicheren betreiben eines automatisierten fahrzeugs - Google Patents

System und verfahren zum sicheren betreiben eines automatisierten fahrzeugs Download PDF

Info

Publication number
WO2020165058A1
WO2020165058A1 PCT/EP2020/053236 EP2020053236W WO2020165058A1 WO 2020165058 A1 WO2020165058 A1 WO 2020165058A1 EP 2020053236 W EP2020053236 W EP 2020053236W WO 2020165058 A1 WO2020165058 A1 WO 2020165058A1
Authority
WO
WIPO (PCT)
Prior art keywords
ecu
vehicle
safe
motion control
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2020/053236
Other languages
English (en)
French (fr)
Inventor
Marcus Hiemer
Sascha Heinrichs-Bartscher
Mark Mohr
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to CN202080014429.XA priority Critical patent/CN113439246B/zh
Priority to US17/430,724 priority patent/US11964675B2/en
Publication of WO2020165058A1 publication Critical patent/WO2020165058A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0077—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements using redundant signals or controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00186—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions related to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/80—Arrangements for reacting to or preventing system or operator failure
    • G05D1/87—Arrangements for reacting to or preventing system or operator failure using redundant control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0006—Digital architecture hierarchy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • B60W2050/0292—Fail-safe or redundant systems, e.g. limp-home or backup systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/15—Agricultural vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position

Definitions

  • the invention relates to a system and a method for safely operating an automated vehicle.
  • Highly automated, driverless work machines are used to efficiently work through a complex process.
  • the vehicle In addition to the process task, the vehicle must automatically move, for example, across fields, on construction sites or in depots and often orient itself in the process.
  • a large number of sensors are used and processed for this orientation task and for recognizing the environment in order to avoid collisions.
  • the processing of this data takes place in more and more powerful, so-called high-performance ECUs.
  • Machine learning processes such as Deep Neural Networks (DNN) are often used for this.
  • DNN Deep Neural Networks
  • the various sensors, ECUs and other components are coupled via a vehicle network in which signals are transmitted in signal branches (QM) that have only been developed with quality measures. This means that although the signals on this path are determined and transmitted with high quality, these signals do not meet any security standard and are not transmitted particularly securely via the vehicle network with additional measures.
  • QM signal branches
  • the invention is based on the object of specifying a system and a method for the safe operation of an automated vehicle, in which, in the event of an emergency occurring, for example due to a risk of collision or in the event of a failure of the on-board network or individual components thereof, a safe transfer the vehicle is guaranteed to be in a safe condition.
  • the present invention describes a hierarchical, multiple redundant E / E network (electrical / electronic network) for the safe operation of an automated vehicle.
  • the object of the invention is achieved by a system for operating an automated vehicle, with:
  • A a first network, with a sensor set with a plurality of sensors for detecting the environment of the vehicle, which is coupled to a high performance ECU, which processes the signals from the sensors for orientation, control and collision avoidance; and a safe motion control Motion Control ECU, which is redundantly coupled to at least one actuator via at least two control signals for controlling the vehicle; wherein the high performance ECU outputs an Object Recognition Indicator signal for orientation, control and collision avoidance to the Motion Control ECU;
  • a second, hierarchical, redundant network for the safe operation of the vehicle with: an HMI / RMI (Human / Remote Machine Interface) with at least one emergency stop switching device; a ground truth sensing device for determining the position of objek th relative to the vehicle; a Perception Safety ECU, in the form of a control unit that is coupled via secure connections to the HMI / RMI, the Ground Truth Sensing Device and at least one radar sensor in order to derive a safe collision signal from the transmitted signals, which the Moti on Control ECU is supplied via a secure connection;
  • the Motion Control ECU is designed to safely evaluate the signals from the HMI / RMI, the Ground Truth Sensing Device and the Perception Safety ECU to detect an emergency state, so that in the event of an emergency state being identified, the vehicle is redundantly converted into one via at least two control signals control safe state.
  • a sensor set with a plurality of sensors for detecting the surroundings of the vehicle is coupled to a high-performance ECU and the signals from the sensors for orientation, control and collision avoidance avoidance are processed in order to generate an Object Recognition Indicator signal for orientation, control and collision avoidance, which is transmitted to a safe motion control Motion Control ECU, which controls at least one actuator for controlling the vehicle redundantly via at least two control signals;
  • an HMI / RMI with at least one emergency stop switch in a second, hierarchical, redundant network for safe operation of the vehicle, an HMI / RMI with at least one emergency stop switch; and a ground truth sensing device for determining the position of objects relative to the vehicle; be coupled to a Perception Safety ECU in the form of a control unit via secure connections, and the Perception Safety ECU is also fed the signal of at least one radar sensor in order to derive a safe collision signal from the transmitted signals, which is fed to the Motion Control ECU via a safe connection becomes;
  • the Motion Control ECU evaluates the signals from the HMI / RMI, the Ground Truth Sensing Device and the Perception Safety ECU in order to reliably detect an emergency state in which the vehicle is controlled redundantly into a safe state using at least two control signals.
  • the second, hierarchical, redundant E / E network ensures safe transfer of the vehicle to a safe state in the event of an emergency state being detected, in that the motion control ECU controls the vehicle redundantly via at least two control signals.
  • a second, hierarchical, redundant E / E network is provided, which is separate from the first vehicle network and in which the Motion Control ECU is integrated via a secure connection.
  • the Motion Control ECU evaluates the safe shutdown signal indicators that come from the HMI / RMI, the Ground Truth Sensing Device and the Perception Safety ECU.
  • the Perception Safety ECU evaluates the safe signals of the HMI / RMI and the Ground Truth Sensing Device in order to determine safe position information of higher quality from the input signals. If e.g. If an emergency stop signal is issued by the HMI / RMI, the Perception Safety ECU always switches the output signal to "emergency stop", so that the Motion Control ECU always switches the vehicle on redundantly using at least two control signals controls a safe state.
  • the Perception Safety ECU already includes preprocessed, safe object recognition from the various sensor systems.
  • the Motion Control ECU uses the collision signal from the Perception Safety ECU and, if necessary, the shutdown signals from the HMI / RMI and the Ground Truth Sending Device to calculate an emergency signal that controls two redundant signals with which at least one actuator is redundant via at least two control signals is controlled to stop or evade.
  • This can be a braking or steering system, with a combined braking and steering movement with soft off can also be achieved at the same time.
  • the motion control ECU is also coupled via a secure connection with the HMI / RMI and with the Ground Truth Sen sing device.
  • the Motion Control ECU can also directly process the safe output signals of the HMI / RMI and the Ground Truth Sensing Device in order to further increase the safety for detecting an emergency. For example, in this way an emergency stop signal is transmitted from the HMI / RMI directly to the Motion Control ECU, so that the Motion Control ECU can immediately initiate the transition of the vehicle to a safe state.
  • the HMI / RMI has at least one emergency-off switch provided on the vehicle, and at least one remote-controlled emergency-off switching device.
  • an emergency shutdown can be guaranteed both human-controlled by actuating an emergency stop switch on the vehicle and remotely.
  • the high performance ECU is designed to recognize one or more objects in the vicinity of the vehicle from the signals from the sensors, to classify them, to determine positions and movement information of the objects and to send them to the motion control ECU as to transmit unsafe Object Recognition Indicator Signal
  • the Motion Control ECU also being designed to evaluate the Object Recognition Indicator Signal and to compare it with the safe signal of the Perception Safety ECU, and possibly the HMI / RMI and the Ground Truth Sensing Device, in order to control the vehicle in the event that no emergency situation is detected, using the at least two control signals according to a predetermined driving task.
  • the high performance ECU is used to determine a more detailed image of the vehicle's surroundings from the sensor signals and to recognize objects or to assign them to a class. This can be achieved, for example, with the aid of artificial intelligence algorithms (deep learning), such as segmentic segmentation.
  • the calculations of the high performance ECU that can be very complex and can provide a multi-layered image of the immediate vehicle environment, are thus compared by the Motion Control ECU with the safe collision reporting signal of the Perception Safety ECU in order to control the vehicle according to a specified in the event that no emergency is detected to carry out a task of the vehicle according to the specifications of the high performance ECU.
  • the high performance ECU has an interface for outputting an output signal, in particular to a human machine interface, for example in the form of a display.
  • the calculated signals of the high-performance ECU with a high information content can be used not only for vehicle motion control, but also for other tasks, for example to inform a user immediately about the environment.
  • the sensor set is a surround sensing sensor set, with several sensors, preferably with different measuring principles, in particular with at least one radar sensor, with at least one camera sensor, with at least one lidar sensor, and preferably one or more other sensors, in particular an ultrasonic sensor and / or an infrared sensor.
  • the ground truth sensing device has a time of flight camera and / or a lidar system, in particular for pedestrian detection, and / or a bumper that triggers a signal when it comes into contact with an object.
  • Time of Flight cameras are 3D camera systems that measure distances using the time of flight method. They are also called PMD cameras after the PMD sensor used and can be used at a distance of a few decimeters up to approx. 40 m.
  • Lidar methods are related to radar methods for optical distance and speed measurement, with laser beams being used instead of radar beams.
  • Lidar systems are known in the field of driverless vehicles for obstacle detection and are also partially standardized in order to avoid accidents with people who could cross the automatic routes.
  • a bumper which triggers a signal when it comes into contact with an object, enables immediate collision detection.
  • the signal of the Ground Truth Sensing Device and / or the Perception Safety ECU and / or the HMI / RMI and / or the Motion Control ECU is redundantly secured by wire or by means of a bus system (in particular with Alife Count or Cyclic Redundancy check).
  • a safe signal transmission is enabled on the one hand redundantly wired, on the other hand also by means of a bus system that is appropriately secured. This enables a simple and flexible connection.
  • the Perception Safety ECU is designed as a control device that is controlled with software that is rule-based, without the use of KI algorithms, evaluates the input signals in order to determine a more secure signal of higher quality with secure position information .
  • the software is controlled in a rule-based manner, without using KI algorithms.
  • a safe collision reporting signal is output, the information of which is calculated from input signals, which in turn are all safe.
  • the system has a Human Control Branch, a Level 2 Driver Assistance Perception Branch and a Level 4 Autonomous Driving Perception Branch, the Human Control Branch having the HMI / RMI that at least deals with the Perception Safety ECU is coupled via a safe connection;
  • the Level 2 Driver Assistance Perception Branch has the Perception Safety ECU, as well as at least one radar sensor and at least one camera, the signals from the radar sensor and the signals from the camera being fed via a secure connection to a secure fusion unit which outputs a secure fused signal ;
  • the signals of the HMI / RMI, the signals of the fusion unit of the Perception Safety ECU and the Motion Control ECU are fed via safe connections in order to derive a safe collision signal in the Perception Safety ECU, which is fed to the Motion Control ECU via a
  • Level 4 Autonomous Driving Perception Branch with the High Performance ECU serves as a new system component for autonomous driving.
  • the level 2 Driving Assistance Perception Branch used as a fallback level for this branch is used as standard today in trucks. This typically consists of one Forward-facing radar sensor whose signals are fused with data from a camera. These signals are already calculated reliably with a very high quality and provided with a signal that provides an image of the surroundings so that the Motion Control ECU can still transfer the vehicle to a safe state in the event of an emergency state being detected.
  • level 2 system can be expanded by a "level 4 system upgrade".
  • level 4 system upgrade As a fallback level in the event of a fault, the level 2 system is briefly able to provide an image of the surroundings using the merged radar / camera signal so that the motion control ECU can put the vehicle in a safe state.
  • FIG. 1 shows a block diagram of a first embodiment of a system according to the invention for safely operating an automated vehicle
  • FIG. 2 shows a block diagram of a further system according to the invention with a Level 2 Driving Assistance Perception Branch and a Level 4 Autonomous Driving Perception Branch and
  • FIG. 3 shows a simplified representation of a vehicle according to the invention with an object to be detected in the vicinity.
  • the system 1 shows a first embodiment of a system 1 according to the invention for operating an automated vehicle.
  • the system 1 has a first network that has a high performance ECU 30 that is coupled to a sensor set 20 and a motion control ECU 50.
  • the connections within this network are made via paths that are only secured with quality measures, but which are not "secure” or "fail-safe” connections, as are required for security-critical tasks.
  • Such “unsafe” connections or paths are referred to below and in the figures as “QM Path” or “QM Path” and are identified in the figures by solid connections.
  • “safe” or “fail-safe” connections which are required for safety-critical tasks, are generally referred to in the application and in the figures as “safe path” or “safe connection” and are identified in the figures by dash-dotted lines.
  • the "unsafe" first network which contains the high performance ECU 30, the associated sensor set 20 and the motion control ECU 50, is additionally supplemented by a second, hierarchical, redundant E / E network with safe components and safe connections.
  • the second, redundant network ensures a safe transfer of the vehicle to a safe state independently of the first network with QM paths, even if the first network should fail or be subject to error states.
  • the secure connections in the second, hierarchical, redundant network are either implemented redundantly by means of electrical lines or implemented in a secured manner via a bus system that is safely designed using an alive count or cyclic redundancy check.
  • a vehicle 70 that can be operated with such a system 1 is shown in FIG. 3 by way of example. It is an automated vehicle that is seen with two driven wheels 90, 92 and two steered wheels 94, 96 ver.
  • the vehicle 70 is operated by means of the system 1.
  • the vehicle 70 can be designed, for example, as an agricultural utility vehicle.
  • the sensor set 20 according to FIG. 1 and FIG. 3 is implemented as a surround sensing sensor set, with several sensors with different measuring principles. For this purpose, two camera sensors 76, 77 are shown in FIG. 3, a lidar sensor 82, two radar sensors 80, 81 and two other sensors 78, 79, which can in particular be ultrasonic sensors and / or infrared sensors.
  • the signals from the sensors are designated. These are a Ra darsignal 22, a camera signal 23, a lidar signal 24 and signals 25 from other Sen sensors. These signals 22-25 are fed to the high performance ECU 30.
  • the high performance ECU 30 calculates an image of the surroundings of the vehicle 70 from the signals 22, 23, 24, 25 and can recognize objects (cf. 72 according to FIG. 3) on the one hand, but also assign them to a class on the other. This can be achieved with the help of algorithms of artificial intelligence Kl (deep learning), such as Segmentic segmentation.
  • Kl deep learning
  • the high performance ECU 30 usually also contains auxiliary computers, such as graphic processors, etc.
  • the high performance ECU 30 can carry out very complex calculations that are used to evaluate the surroundings of the vehicle 70, with the help of which objects 72 can be recognized and classified.
  • the output signal of the high performance ECU 30 is fed to the Motion Control ECU 50 as an unsafe object recognition indicator signal 31.
  • the output signals of the high performance ECU 30 can not only be used for vehicle motion control via the motion control ECU 50, but can also be made available to other receivers, as is shown, for example, in FIG. 1 using the path 32.
  • the motion control ECU 50 converts the object recognition indicator signal from the high performance ECU 30 and uses this to calculate redundant control signals 51, 52, which are fed redundantly to assigned actuators in order to control the vehicle 70 according to a predetermined driving task, as exemplified in 60 is shown.
  • the first network to which the high performance ECU 30, the sensor set 20, the motion control ECU 50 and the associated control signals 51, 52, with which the system 60 is controlled, belong, is still to include the hierarchical, multiple redundant E / E network, which is coupled in Fig. 1 via safe connections (Safe Path) according to the dash-dotted path (the motion control ECU 50 with the associated control signals 51, 52 is to be assigned to both networks).
  • An HMI / RMI (Human / Remote Machine Interface) 5 is provided for this purpose.
  • This is at least one emergency stop switch (see. Fig. 3, number 87) which is received directly on the vehicle 70 and can be operated by a user.
  • the HMI / RMI 5 has a remote-controlled remote off switch 88. This can be transmitted remotely by a human user or from a higher-level system via a secure connection. It is understood that both the emergency stop switch 87 and the remote-controlled remote stop switch 88 are coupled to the HMI / RMI via secure connections.
  • the HMI / RMI 5 outputs an external control signal 6, which the Motion Control ECU 50 receives via a secure connection, e.g.
  • the motion control ECU 50 is supplied via a redundant cable connection, for example using a digital input.
  • the external control signal 6 of the HMI / RMI 5 is also fed to a Perception Safety ECU 40 via a secure connection.
  • the redundant secure network also contains a Ground Truth Sensing Device 10, which outputs a Ground Truth Sensing Indicator Signal 11, which is supplied to the Motion Control ECU 50 and the Perception Safety ECU 40 via a secure connection.
  • the ground truth sensing device 10 is a measuring device with which the position of an object 72 relative to the vehicle 70 can be reliably determined under normal conditions. It can be a time of flight camera (TOF camera).
  • TOF camera is a 3D camera system that can measure distances using the time of flight (TOF) method.
  • the ground truth sensing device 10 can have a lidar system. Lidar systems are available in some cases already certified, e.g. for pedestrian detection.
  • the Ground Truth Sensing Device can have a bumpers (bumper) that triggers a signal when it comes into contact with an object.
  • the ground truth sensing device 10 supplies a ground truth indicator signal 11 as output signal 11, with which the position of an object 72 relative to the vehicle 70 can be reliably determined.
  • the signal 11 is transmitted either redundantly by wire or via a secured bus system to the Motion Control ECU 50 and to the Perception Safety ECU 40.
  • the Perception Safety ECU 40 is also supplied with the signal 21 of at least one radar sensor, which is transmitted redundantly or securely.
  • the at least one radar sensor or the plurality of radar sensors, which can be part of the sensor set 20, can already be preprocessed by software programs in the sensor control device and contain finished "radar objects". However, they can also contain raw data that are only processed in the Perception Safety ECU 40. While the signal of the at least one radar sensor 21 is safely transmitted to the Perception Safety ECU 40, the signals from the radar sensors of the sensor set 20 that are fed to the high performance ECU 30 do not have to be transmitted safely or redundantly. These radar signals 22 can be supersets, subsets or disjoint amounts of the radar signals 21 that are fed to the Perception Safety ECU 40.
  • the Perception Safety ECU is a control unit which, by means of a software program, brings together the signals transmitted by the HMI / RMI 5, the Ground Truth Sensing Device 10 and the at least one radar sensor based on rules without the aid of KI algorithms from this a safe collision report signal 41 is calculated, which is safely transmitted to the motion control ECU 50.
  • the Perception Safety ECU 40 is intended to determine safe position information of higher quality from the safe input signals 6, 1 1, 21: If, for example, several radar signals 21 detect an object 72 in the vicinity and the ground truth sensing device confirms this information using the TOF camera or a lidar, then the collision report signal 41 contains a reliable signal about the position of the potential object 72.
  • an emergency stop signal 6 is generated remotely controlled via the HMI / RMI 5
  • the Perception Safety ECU will in any case switch the collision signal 41 to "emergency stop", which is provided by the motion control ECU 50 is converted into a corresponding emergency signal.
  • the Motion Control ECU 50 evaluates the safe “switch-off signal indicators” 6, 1 1, 41, which are safely transmitted from the HMI / RMI 5, from the Ground Truth Sensing Device 10 and from the Perception Safety ECU 40.
  • the safe collision report signal 41 from the Perception Safety ECU contains an already preprocessed, safe object recognition of various sensor systems.
  • an emergency driving signal is calculated from the shutdown signals 6, 1 1, 41, which controls two redundant signals 51, 52 with which assigned actuators are redundantly controlled for stopping and / or evading vehicle 70.
  • assigned drive wheels 90, 92 and assigned steered wheels 94, 96 are shown by way of example, which are controlled by the motion control ECU 50 via redundant, wired connections in order to initiate a stop and / or evasive process in the event of an emergency driving signal.
  • a braking system can be controlled redundantly or a steering system can be controlled redundantly for evasive action. You can also do this at the same time a braking and steering system can be controlled redundantly so that braking combined with evasive action is achieved.
  • the motion control ECU 50 evaluates the insecure object recognition indicator signal 31 of the high performance ECU 30 with a high information content and controls the at least two redundant output signals 51, 52 in such a way that the vehicle 70 in the event that no emergency is detected, is controlled according to a given driving task according to the specifications of the high performance ECU 30.
  • a complex, predetermined driving task without an emergency could e.g. be following a swath in a meadow.
  • a swath is then recognized e.g. by means of two cameras, the signals 23 of which are processed in the high performance ECU 30 by means of a deep learning algorithm.
  • the high performance ECU 30 calculates complex environmental information therefrom and sends this in signal 31 to the motion control ECU 50. This controls the steering via one of the signals 51 and / or 52 so that the vehicle 70 follows the detected swath.
  • FIG. 3 the system 1 described above with reference to FIG. 1 is shown in simplified form by way of example on an automated vehicle 70 that moves along a path 74.
  • a display 84 is also shown, which is controlled by the high performance ECU 30 via an assigned output 32 in order to display various control information and possibly a calculated image of the vehicle environment to a possible user of the vehicle.
  • a safe bus system 98 is shown here as an example, which enables secure transmission, for example by means of an alive count or a cyclic redundancy check.
  • the HMI / RMI 5, the Performance Safety ECU 40, the Ground Truth Sensing Device 10, the High Performance ECU 30 and the Motion Control ECU 50 can be coupled via this safe bus system 98.
  • a redundant wired connection can of course also be provided in each case.
  • the system 1 a has a Level 4 Autonomous Driving Perception Branch 80 which includes the sensor set 20 and the high performance ECU 30.
  • a Level 2 Driving Assistance Perception Branch 75 is provided as a fallback level for this branch.
  • Such L2 systems are already used today e.g. used as standard in trucks.
  • a Level 2 Driving Assistance Perception Branch 75 typically has a forward-facing radar sensor and at least one camera.
  • the output signals 21b of the radar sensor and the camera are merged in a fusion unit 10b. From this, an L2 obstacle indicator signal 1 1 b is calculated and provided with a very high quality.
  • the safe signals 6 from the HMI / RMI 5 the L2 obstacle indicator signal 11b from the fusion unit 10b, and the safe collision report signal 41 from the Perception Safety ECU 40 are fed to the motion control ECU 50 via safe connections.
  • the advantage of this system is the modular approach: An existing and executable L2 system can be expanded with an "L4 upgrade". As a fallback level in the event of an error, the L2 system is briefly able to provide an L2 obstacle indicator signal with an image of the surroundings by means of the fusion unit 10b, so that the motion control ECU 50 can transfer the vehicle 70 to a safe state.
  • Remote emergency stop switch drive wheel / brake drive wheel / brake steered wheel

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Es wird ein System zum sicheren Betreiben eines automatisierten Fahrzeugs offenhart, mit einem ersten Netzwerk, mit einer High Performance ECU (30) die Signale von einer Mehrzahl von Sensoren (76-82) zur Orientierung, Steuerung und Kollisionsvermeidung verarbeitet, um eine Umgebungs- und Objekterkennung und Klassifizierung zu ermöglichen, um eine komplexe Bewegungssteuerung zu ermöglichen. Die High Performance ECU (30) ist mit einer sicheren Bewegungssteuerung Motion Control ECU (50) gekoppelt, die mit mindestens einem Antriebselement (90, 92, 94, 96) über mindestens zwei Steuersignale (51, 52) redundant zur Steuerung des Fahrzeugs (70) gekoppelt ist. Zusätzlich ist ein zweites, hierarchisches, redundantes Netzwerk zum sicheren Betreiben des Fahrzeugs vorgesehen, das ein HMI/RM (5) mit zumindest einer Not-Aus-Schalteinrichtung, ein Ground Truth Sensing Device (10) zur Positionsbestimmung von Objekten relativ zum Fahrzeug, und eine Perception Safety ECU (40) aufweist, in Form eines Steuergerätes, das über sichere Verbindungen mit dem HMI/RMI (5), dem Ground Truth Sensing Device (10), und mindestens einem Radarsensor gekoppelt ist, um aus den übertragenen Signalen ein sicheres Kollisionsmeldesignal (41 ) abzuleiten, das der Motion Control ECU (50) über eine sichere Verbindung zugeführt ist, um die Signale der HMI/RMI (5), des Ground Truth Sensing Device (10) und der Perception Safety ECU (40) zur Erkennung eines Notzustands sicher auszuwerten, um das Fahrzeug (70) im Falle der Erkennung eines Notzustands über mindestens zwei Steuersignale (51, 52) redundant in einen sicheren Zustand zu steuern.

Description

System und Verfahren zum sicheren Betreiben eines automatisierten Fahrzeugs
Die Erfindung betrifft ein System und ein Verfahren zum sicheren Betreiben eines au tomatisierten Fahrzeugs.
Hochautomatisierte, fahrerlose Arbeitsmaschinen werden dazu eingesetzt, einen kom plexen Prozess effizient abarbeiten zu können. Neben der Prozessaufgabe muss sich das Fahrzeug automatisiert beispielsweise über Felder, auf Baustellen oder in Betriebs höfen bewegen und sich dabei häufig selbst orientieren. Für diese Orientierungsaufga be und für die Erkennung der Umwelt zur Kollisionsvermeidung werden eine Vielzahl von Sensoren eingesetzt und verarbeitet. Die Verarbeitung dieser Daten erfolgt in im mer rechenstärkeren, sog. High Performance ECUs. Häufig kommen dafür Maschinen lernverfahren wie Deep Neural Networks (DNN) zum Einsatz. Die verschiedenen Sen soren, ECUs und sonstigen Bestandteile sind über ein Fahrzeugnetzwerk gekoppelt, in dem Signale in nur mit Qualitätsmaßnahmen entwickelten Signalzweigen (QM) übertra gen werden. Dies bedeutet, dass die Signale auf diesem Pfad zwar mit hoher Qualität ermittelt und übertragen werden, jedoch genügen diese Signale keinem Sicherheits standard und werden auch nicht mit Zusatzmaßnahmen besonders sicher über das Fahrzeugnetzwerk übermittelt.
Neben der Bewegung des Fahrzeugs zur Erfüllung einer Prozessaufgabe ist jedoch auch die Sicherheit des Fahrzeugs bei Bewegungen zu gewährleisten. Zusätzlich zum Fahrzeugnetzwerk mit QM-Wegen muss daher ein sicheres, mehrfach redundantes System geschaffen werden, um das Fahrzeug in einer Notsituation oder im Falle eines Ausfalls des QM-Netzwerks gefahrlos in einen sicheren Zustand zu überführen.
Im Stand der Technik sind zwar elektrische Netzwerkarchitekturen bekannt
(vgl. DE 10 2012 102 173 A1 ), bei denen eine Vielzahl von Sensoren und Aktuatoren mit zwei oder mehr elektronischen Kontrolleinheiten (ECUs) zum Verarbeiten von Daten von den Sensoren und zum Erlassen von Befehlen an die Aktuatoren und mit zwei oder mehr Interface-Geräten zum Verbinden der Sensoren und Aktuatoren an die ECUs und mit einem Kommunikations-Bus vorgesehen sind, wobei die Interface-Gerätesoftware rekonfigurierbar sind, um die Konnektivität zu modifizieren. Durch derartige Maßnahmen wird eine bessere und flexiblere Nutzung der Sensoren und Aktuatoren ermöglicht und im Falle eines Interface-Geräteausfalls eine gewisse Fehlertoleranz gewährleistet.
Ein derartiges System ist jedoch nicht ausreichend, um in einer Notfallsituation oder im Falle eines Ausfalls des Bordnetzes oder wichtiger Gerätekomponenten eine gefahrlose Überführung des Fahrzeugs in einen sicheren Zustand zu ermöglichen.
Vor diesem Hintergrund liegt der Erfindung die Aufgabe zugrunde, ein System und ein Verfahren zum sicheren Betreiben eines automatisierten Fahrzeugs anzugeben, bei dem im Falle des Auftretens eines Notzustands etwa durch eine Kollisionsgefahr oder im Falle eines Ausfalls des Bordnetzes oder einzelner Komponenten davon eine gefahr lose Überführung des Fahrzeugs in einen sicheren Zustand gewährleistet ist.
Die vorliegende Erfindung beschreibt hierzu ein hierarchisches, mehrfach redundantes E/E-Netzwerk (elektrisch/elektronisches Netzwerk) zum sicheren Betreiben eines auto matisierten Fahrzeugs.
Die Aufgabe der Erfindung wird gelöst durch ein System zum Betreiben eines automati sierten Fahrzeugs, mit:
(a) einem ersten Netzwerk, mit einem Sensorset mit einer Mehrzahl von Sensoren zur Erfassung der Um gebung des Fahrzeugs, der mit einer High Performance ECU gekoppelt ist, welche die Signale der Sensoren zur Orientierung, Steuerung und Kol lisionsvermeidung verarbeitet; und einer sicheren Bewegungssteuerung Motion Control ECU, die mit mindes tens einem Aktuator über mindestens zwei Steuersignale redundant zur Steuerung des Fahrzeugs gekoppelt ist; wobei die High Performance ECU ein Object Recognition Indicator Signal zur Orientierung, Steuerung und Kollisionsvermeidung an die Motion Con trol ECU ausgibt;
(b) einem zweiten, hierarchischen, redundantem Netzwerk zum sicheren Betreiben des Fahrzeugs, mit: einem HMI/RMI (Human/Remote Machine Interface) mit zumindest einer Not-Aus-Schalteinrichtung; einem Ground Truth Sensing Device zur Positionsbestimmung von Objek ten relativ zum Fahrzeug; einer Perception Safety ECU, in Form eines Steuergerätes, das über si chere Verbindungen mit dem HMI/RMI, dem Ground Truth Sensing Device und mindestens einem Radarsensor gekoppelt ist, um aus den übertrage nen Signalen ein sicheres Kollisionsmeldesignal abzuleiten, das der Moti on Control ECU über eine sichere Verbindung zugeführt ist; wobei die Motion Control ECU dazu ausgebildet ist, die Signale der HMI/RMI, des Ground Truth Sensing Device und der Perception Safety ECU zur Erkennung eines Notzustands sicher auszuwerten, um das Fahr zeug im Falle der Erkennung eines Notzustands über mindestens zwei Steuersignale redundant in einen sicheren Zustand zu steuern.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum sicheren Betrei ben eines automatisierten Fahrzeugs offenbart, bei dem
(a) in einem ersten Netzwerk ein Sensorset mit einer Mehrzahl von Sensoren zur Erfassung der Umge bung des Fahrzeugs, mit einer High Performance ECU gekoppelt wird und die Signale der Sensoren zur Orientierung, Steuerung und Kollisionsver- meidung verarbeitet werden, um ein Object Recognition Indicator Signal zur Orientierung, Steuerung und Kollisionsvermeidung zu erzeugen, das an eine sichere Bewegungssteuerung Motion Control ECU übertragen wird, die mindestens einen Aktuator zur Steuerung des Fahrzeugs über mindestens zwei Steuersignale redundant sicher steuert;
(b) in einem zweiten, hierarchischen, redundantem Netzwerk zum sicheren Betrei ben des Fahrzeugs ein HMI/RMI mit mindestens einer Not-Aus-Schalteinrichtung; und ein Ground Truth Sensing Device zur Positionsbestimmung von Objekten relativ zum Fahrzeug; mit einer Perception Safety ECU in Form eines Steuergerätes über siche re Verbindungen gekoppelt werden, und der Perception Safety ECU ferner das Signal mindestens eines Radarsensors zugeführt wird, um aus den übertragenen Signalen ein sicheres Kollisionsmeldesignal abzuleiten, das der Motion Control ECU über eine sichere Verbindung zugeführt wird; wobei die Motion Control ECU die Signale der HMI/RMI, des Ground Truth Sensing Device und der Perception Safety ECU auswertet, um einen Not zustand sicher zu erkennen, in dem das Fahrzeug über mindestens zwei Steuersignale redundant in einen sicheren Zustand gesteuert wird.
Erfindungsgemäß wird durch das zweite, hierarchische, redundante E/E-Netzwerk im Falle der Erkennung eines Notzustands eine sichere Überführung des Fahrzeugs in einen sicheren Zustand gewährleistet, indem die Motion Control ECU das Fahrzeug über mindestens zwei Steuersignale redundant steuert. Hierzu ist ein vom ersten Fahrzeugnetzwerk getrenntes, zweites, hierarchisches, re dundantes E/E-Netzwerk vorgesehen, in dem die Motion Control ECU über eine sichere Verbindung eingebunden ist.
Die Motion Control ECU wertet die sicheren Abschaltsignalindikatoren aus, die vom HMI/RMI, vom Ground Truth Sensing Device und von der Perception Safety ECU kom men.
Die Perception Safety ECU wertet die sicheren Signale der HMI/RMI und des Ground Truth Sensing Device aus, um eine sichere Positionsinformation höherer Güte aus den Eingangssignalen zu bestimmen. Wenn z.B. vom HMI/RMI ein Not-Aus-Signal ausge geben wird, so schaltet die Perception Safety ECU das Ausgangssignal in jedem Fall auf "Not-Aus", so dass die Motion Control ECU das Fahrzeug in jedem Fall über min destens zwei Steuersignale redundant in einem sicheren Zustand steuert.
Wird z.B. ein Objekt im Umfeld des Fahrzeugs mittels einer oder mehrerer Radarsignale erkannt und diese Information durch das Ground Truth Sensing Device mit Hilfe einer "Time of Flight-Kamera" bestätigt, so führt dies zu einem zuverlässigen Ausgangssignal der Perception Safety ECU über die Relativposition des potenziellen Objektes. Das Ausgangssignal der Perception Safety ECU beinhaltet hierbei bereits eine vorverarbei tete, sichere Objekterkennung der verschiedenen Sensorsysteme.
Die Motion Control ECU berechnet aus dem Kollisionsmeldesignal der Perception Sa fety ECU und ggf. aus den Abschaltsignalen der HMI/RMI und des Ground Truth Sen sing Device ein Notfahrsignal, das zwei redundante Signale ansteuert, mit denen min destens ein Aktuator über mindestens zwei Steuersignale redundant zum Stoppen oder Ausweichen angesteuert wird. Es kann sich hierbei um ein Brems- oder Lenksystem handeln, wobei auch gleichzeitig eine kombinierte Brems- und Lenkbewegung mit Aus weichen erzielt werden kann.
Gemäß einem weiteren Merkmal der Erfindung ist die Motion Control ECU ferner je weils über eine sichere Verbindung mit dem HMI/RMI und mit dem Ground Truth Sen sing Device gekoppelt. Auf diese Weise kann die Motion Control ECU zusätzlich zum Kollisionsmeldesignal der Perception Safety ECU auch unmittelbar die sicheren Ausgangssignale der HMI/RMI und des Ground Truth Sensing Device verarbeiten, um die Sicherheit zur Erkennung eines Notzustandes weiter zu erhöhen. Beispielsweise wird auf diese Weise ein Not- Aus-Signal vom HMI/RMI unmittelbar zur Motion Control ECU übertragen, so dass die Motion Control ECU die Überführung des Fahrzeugs in einen sicheren Zustand unmit telbar einleiten kann.
Gemäß einer weiteren Ausgestaltung der Erfindung weist die HMI/RMI zumindest einen am Fahrzeug vorgesehenen Not-Aus-Schalter auf, sowie zumindest eine ferngesteuerte Not-Aus-Schalteinrichtung.
Auf diese Weise kann eine Not-Aus-Abschaltung sowohl menschengesteuert durch Be tätigung eines Not-Aus-Schalters am Fahrzeug als auch ferngesteuert gewährleistet werden.
Gemäß einer weiteren Ausgestaltung der Erfindung ist die High Performance ECU dazu ausgebildet, aus den Signalen der Sensoren eines oder mehrerer Objekte in der Umge bung des Fahrzeugs zu erkennen, zu klassifizieren, Positionen und Bewegungsinforma tionen der Objekte zu bestimmen und an die Motion Control ECU als unsicheres Object Recognition Indicator Signal zu übertragen, wobei die Motion Control ECU ferner dazu ausgebildet ist, das Object Recognition Indicator Signal auszuwerten und mit dem si cheren Signal der Perception Safety ECU, und ggf. der HMI/RMI und des Ground Truth Sensing Device abzugleichen, um das Fahrzeug für den Fall, dass kein Notzustand er kannt wird, über die mindestens zwei Steuersignale gemäß einer vorgegebenen Fahr aufgabe zu steuern.
Auf diese Weise wird die High Performance ECU genutzt, um aus den Sensorsignalen ein detaillierteres Bild der Umgebung des Fahrzeugs zu bestimmen und um Objekte zu erkennen oder diese einer Klasse zuzuordnen. Dies kann beispielsweise erreicht wer den durch Zuhilfenahme von Algorithmen der künstlichen Intelligenz (Deep Learning), wie z.B. Segmentic Segmentation. Die Berechnungen der High Performance ECU, die sehr komplex sein können und ein vielschichtiges Bild der unmittelbaren Fahrzeugum gebung liefern können, werden somit von der Motion Control ECU mit dem sicheren Kollisionsmeldesignal der Perception Safety ECU abgeglichen, um für den Fall, dass kein Notzustand erkannt wird, eine Steuerung des Fahrzeugs gemäß einer vorgegebe nen Fahrzeugaufgabe nach den Vorgaben der High Performance ECU zu bewirken.
Gemäß einer weiteren Ausgestaltung der Erfindung weist die High Performance ECU eine Schnittstelle zur Ausgabe eines Ausgangssignals auf, insbesondere an ein Human Machine Interface, etwa in Form eines Displays.
Auf diese Weise können die berechneten Signale der High Performance ECU mit ho hem Informationsgehalt nicht nur zur Fahrzeugbewegungssteuerung, sondern auch für andere Aufgaben genutzt werden, etwa um einen Benutzer über die Umgebung unmit telbar zu informieren.
Gemäß einer weiteren Ausgestaltung der Erfindung handelt es sich bei dem Sensorset um ein Surround Sensing Sensorset, mit mehreren Sensoren, vorzugsweise mit unter schiedlichem Messprinzip, insbesondere mit mindestens einem Radarsensor, mit min destens einem Kamerasensor, mit mindestens einem Lidarsensor, und vorzugsweise einem oder mehreren anderen Sensoren, insbesondere einem Ultraschallsensor und/oder einem Infrarotsensor.
Auf diese Weise können umfangreiche Sensordaten genutzt werden, um eine möglichst präzise Erfassung der Fahrzeugumgebung auch mit mehreren Messprinzipien zu ge währleisten, so dass eine besonders hochwertige und sichere Abtastung der Fahr zeugumgebung ermöglicht wird.
Gemäß einer weiteren Ausgestaltung der Erfindung weist das Ground Truth Sensing Device eine Time of Flight-Kamera und/oder ein Lidarsystem, insbesondere zur Fuß gängererkennung, und/oder einen Bumper auf, der bei Kontakt mit einem Gegenstand ein Signal auslöst. Time of Flight-Kameras sind 3D-Kamerasysteme, die mit dem Laufzeitverfahren Distan zen messen. Sie werden nach dem verwendeten PMD-Sensor auch PMD-Kameras ge nannt und können im Entfernungsbereich von einigen Dezimetern bis ca. 40 m einge setzt werden.
Lidarverfahren sind dem Radar verwandte Verfahren zur optischen Abstands- und Ge schwindigkeitsmessung, wobei statt Radarstrahlen Laserstrahlen verwendet werden. Lidar-Systeme sind im Bereich von fahrerlosen Fahrzeugen zur Hinderniserkennung bekannt und auch teilweise genormt, um Unfälle mit Personen, die die automatischen Fahrwege kreuzen könnten, zu vermeiden.
Ein Bumper (Stoßfänger), der bei Kontakt mit einem Gegenstand ein Signal auslöst, ermöglicht eine unmittelbare Kollisionserkennung.
Gemäß einer weiteren Ausgestaltung der Erfindung wird das Signal des Ground Truth Sensing Device und/oder der Perception Safety ECU und/oder der HMI/RMI und/oder der Motion Control ECU drahtgebunden redundant oder mittels eines Bussystems ab gesichert (insbesondere mit Alife Count oder Cyclic Redundancy Check) übertragen.
Eine sichere Signalübertragung ist einerseits drahtgebunden redundant ermöglicht, an dererseits auch mittels eines Bussystems, das entsprechend abgesichert ist. Dies er möglicht eine einfache und flexible Verbindung.
Gemäß einer weiteren Ausgestaltung der Erfindung ist die Perception Safety ECU als Steuergerät ausgebildet, das mit Software gesteuert ist, welche regelbasiert, ohne eine Verwendung von Kl-Algorithmen, die Eingangssignale auswertet, um daraus ein siche res Signal höherer Güte mit einer sicheren Positionsinformation zu bestimmen.
Um eine sichere Verarbeitung zu gewährleisten, erfolgt die Softwaresteuerung regelba siert, ohne dass Kl-Algorithmen verwendet werden. Es wird ein sicheres Kollisionsmel dungssignal ausgegeben, dessen Information aus Eingangssignalen berechnet wird, die ihrerseits alle sicher sind. Gemäß einer weiteren Ausgestaltung der Erfindung weist das System eine Human Con trol Branch, eine Level 2 Driver Assistance Perception Branch und eine Level 4 Auto- nomous Driving Perception Branch auf, wobei die Human Control Branch die HMI/RMI aufweist, die zumindest mit der Perception Safety ECU über eine sichere Verbindung gekoppelt ist; wobei die Level 2 Driver Assistance Perception Branch die Perception Safety ECU aufweist, sowie mindestens einen Radarsensor und mindestens eine Kame ra, wobei die Signale des Radarsensors und die Signale der Kamera über eine sichere Verbindung einer sicheren Fusionseinheit zugeführt sind, die ein sicheres fusioniertes Signal ausgibt; wobei die Signale der HMI/RMI, die Signale der Fusionseinheit der Perception Safety ECU und der Motion Control ECU über sichere Verbindungen zugeführt sind, um daraus in der Perception Safety ECU ein sicheres Kollisionsmeldungs signal abzuleiten, welches der Motion Control ECU über eine sichere Verbindung zugeführt ist; wobei die Level 4 Autonomous Driving Perception Branch die High Performance ECU aufweist, die mit dem Sensorset gekoppelt ist und dazu ausgebildet ist, aus den Signalen der Sensoren ein Object Recognition Indicator Signal abzuleiten, das der Motion Control ECU zugeführt ist; und wobei die Level 2 Driver Assistance Perception Branch dazu ausgebildet ist, das Fahrzeug über die Motion Control ECU im Falle der Erkennung eines Notzu stands oder eines Ausfalls der Level 4 Autonomous Driving Perception Branch mittels des sicheren, fusionierten Signals in einen sicheren Zustand zu steuern.
In diesem Fall dient die Level 4 Autonomous Driving Perception Branch mit der High Performance ECU als neuer Systemanteil zum autonomen Fahren. Als Rückfallebene für diesen Zweig wird die heute z.B. in Lkws standardmäßig eingesetzte Level 2 Driving Assistance Perception Branch verwendet. Diese besteht typischerweise aus einem nach vorne gerichteten Radarsensor, dessen Signale mit den Daten einer Kamera fusi oniert werden. Diese Signale werden bereits heute mit sehr hoher Qualität sicher be rechnet und mit einem Signal bereitgestellt, das ein Umgebungsbild liefert, so dass die Motion Control ECU das Fahrzeug im Falle der Erkennung eines Notzustandes noch in einen sicheren Zustand überführen kann.
Vorteilhaft bei dieser Ausgestaltung ist der modulare Ansatz: Ein bestehendes und lauf fähiges Level 2 System kann um ein "Level 4 System Upgrade" erweitert werden. Als Rückfallebene im Fehlerfall ist das Level 2 System kurzzeitig imstande, ein Umge bungsbild mittels des fusionierten Radar/Kamerasignals bereitzustellen, so dass die Motion Control ECU das Fahrzeug in einen sicheren Zustand überführen kann.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläu ternden Merkmale der Erfindung nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der Erfindung zu verlassen.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Be schreibung bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Zeichnung. Es zeigen:
Fig. 1 ein Blockschaltbild einer ersten Ausführung eines erfindungsgemäßen Systems zum sicheren Betreiben eines automatisierten Fahrzeugs;
Fig. 2 ein Blockschaltbild eines weiteren erfindungsgemäßen Systems mit einer Level 2 Driving Assistance Perception Branch und einer Level 4 Autonomous Driving Perception Branch und
Fig. 3 eine vereinfachte Darstellung eines erfindungsgemäßen Fahrzeugs mit einem in der Nähe zu detektierenden Objekt.
In Fig. 1 ist eine erste Ausführung eines erfindungsgemäßen Systems 1 zum Betreiben eines automatisierten Fahrzeugs dargestellt. Das System 1 weist ein erstes Netzwerk auf, das eine High Performance ECU 30 auf weist, die mit einem Sensorset 20 und einer Motion Control ECU 50 gekoppelt ist. Die Verbindungen innerhalb dieses Netzwerks erfolgen über Wege, die nur mit Qualitäts maßnahmen gesichert sind, bei denen es sich jedoch nicht um "sichere" oder "fehlersi chere" Verbindungen handelt, wie sie für sicherheitskritische Aufgaben erforderlich sind. Derartige "unsichere" Verbindungen oder Wege werden im Folgenden sowie in den Fi guren als "QM Path" oder "QM-Weg" bezeichnet und in den Figuren durch durchgezo gene Verbindungen gekennzeichnet. Dagegen werden "sichere" bzw. "fehlersichere" Verbindungen, welche für sicherheitskritische Aufgaben erforderlich sind, in der Anmel dung und in den Figuren allgemein als "Safe Path" oder "sichere Verbindung" bezeich net und in den Figuren durch strichpunktierte Linien gekennzeichnet.
Das "unsichere" erste Netzwerk, welches die High Performance ECU 30, das zugehöri ge Sensorset 20 und die Motion Control ECU 50 enthält, ist zusätzlich noch um ein zweites, hierarchisches, redundantes E/E-Netzwerk mit sicheren Komponenten und sicheren Verbindungen ergänzt. Durch das zweite, redundante Netzwerk wird unab hängig vom ersten Netzwerk mit QM-Wegen eine gefahrlose Überführung des Fahr zeugs in einen sicheren Zustand gewährleistet, selbst also, wenn das erste Netzwerk ausfallen oder mit Fehlerzuständen behaftet sein sollte.
Die sicheren Verbindungen im zweiten, hierarchischen, redundanten Netzwerk sind entweder mittels elektrischer Leitungen redundant ausgeführt oder über ein Bussystem abgesichert ausgeführt, das etwa mittels Alive Count oder Cyclic Redundancy Check sicher ausgestaltet ist.
Ein Fahrzeug 70, das mit einem derartigen System 1 betrieben werden kann, ist bei spielhaft in Fig. 3 dargestellt. Es handelt sich hierbei um ein automatisiertes Fahrzeug, das mit zwei angetriebenen Rädern 90, 92 und mit zwei gelenkten Rädern 94, 96 ver sehen ist. Das Fahrzeug 70 wird mittels des Systems 1 betrieben. Das Fahrzeug 70 kann beispielsweise als landwirtschaftliches Nutzfahrzeug ausgebildet sein. Das Sensorset 20 gemäß Fig. 1 bzw. Fig. 3 ist als Surround Sensing Sensorset ausge führt, mit mehreren Sensoren mit unterschiedlichem Messprinzip. Hierzu sind beispiel haft in Fig. 3 zwei Kamerasensoren 76, 77 dargestellt, ein Lidarsensor 82, zwei Radar sensoren 80, 81 und zwei andere Sensoren 78, 79, wobei es sich insbesondere um Ul traschallsensoren und/oder Infrarotsensoren handeln kann.
In Fig. 1 sind die Signale der Sensoren bezeichnet. Hierbei handelt es sich um ein Ra darsignal 22, ein Kamerasignal 23, ein Lidarsignal 24 und Signale 25 von anderen Sen soren. Diese Signale 22-25 sind der High Performance ECU 30 zugeführt. Die High Performance ECU 30 berechnet aus den Signalen 22, 23, 24, 25 ein Bild der Umge bung des Fahrzeugs 70 und kann Objekte (vgl. 72 gemäß Fig. 3) zum einen erkennen, sie zum anderen aber auch einer Klasse zuordnen. Dies kann erreicht werden durch Zuhilfenahme von Algorithmen der künstlichen Intelligenz Kl (Deep Learning), wie z.B. Segmentic Segmentation. Die High Performance ECU 30 enthält in der Regel noch Hilfsrechner, wie beispielsweise graphische Prozessoren usw. Die High Performance ECU 30 kann infolge des hohen Datenumfangs der Eingangssignale und der Rechen kapazität sehr komplexe Berechnungen durchführen, die zur Auswertung der Umge bung des Fahrzeugs 70 dienen, mit Hilfe derer Objekte 72 erkannt und klassifiziert wer den können. Das Ausgangssignal der High Performance ECU 30 wird der Motion Con trol ECU 50 als unsicheres Object Recognition Indicator Signal 31 zugeführt.
Die Ausgangssignale der High Performance ECU 30 können nicht nur zur Fahrzeugbe wegungssteuerung über die Motion Control ECU 50 verwendet werden, sondern kön nen auch anderen Empfängern zur Verfügung gestellt werden, wie beispielsweise in Fig. 1 anhand des Pfades 32 dargestellt ist. Es könnte sich hierbei etwa um ein Human Machine Interface 84, etwa in Form eines Displays, handeln, wie beispielhaft in Fig. 3 dargestellt ist.
Die Motion Control ECU 50 setzt das Object Recognition Indicator Signal der High Per formance ECU 30 um und berechnet hieraus redundante Steuersignale 51 , 52, die zu geordneten Aktoren redundant zugeführt werden, um so das Fahrzeug 70 gemäß einer vorgegebenen Fahraufgabe zu steuern, wie beispielhaft bei 60 gezeigt ist. Erfindungsgemäß ist das erste Netzwerk, zu dem die High Performance ECU 30, das Sensorset 20, die Motion Control ECU 50 und die zugehörigen Steuersignale 51 , 52, mit dem das System 60 kontrolliert wird, gehören, noch um das hierarchische, mehrfach redundante E/E-Netzwerk ergänzt, das in Fig. 1 über sichere Verbindungen (Safe Path) gemäß dem strichpunktierten Weg angekoppelt ist (die Motion Control ECU 50 mit den zugehörigen Steuersignalen 51 , 52 ist hierbei beiden Netzwerken zuzuordnen).
Hierzu ist eine HMI/RMI (Human/Remote Machine Interface) 5 vorgesehen. Hierbei handelt es sich um mindestens einen Not-Aus-Schalter (vgl. Fig. 3, Ziffer 87) der unmit telbar am Fahrzeug 70 aufgenommen ist und von einem Benutzer betätigt werden kann. Zusätzlich weist die HMI/RMI 5 einen ferngesteuerten Remote-Aus-Schalter 88 auf. Dieser kann von einem menschlichen Anwender oder von einem übergeordneten Sys tem ferngesteuert über eine sichere Verbindung übertragen werden. Es versteht sich, dass sowohl der Not-Aus-Schalter 87 als auch der ferngesteuerte Remote-Aus-Schalter 88 mit der HMI/RMI über sichere Verbindungen gekoppelt sind. Das HMI/RMI 5 gibt ein externes Steuersignal 6 aus, das der Motion Control ECU 50 über eine sichere Verbin dung, z.B. über eine redundante Kabelverbindung etwa unter Nutzung eines Digitalein gangs der Motion Control ECU 50 zugeführt ist. Ferner ist das externe Steuersignal 6 der HMI/RMI 5 einer Perception Safety ECU 40 gleichfalls über eine sichere Verbindung zugeführt.
Das redundante sichere Netzwerk enthält ferner ein Ground Truth Sensing Device 10, das ein Ground Truth Sensing Indicator Signal 11 ausgibt, das der Motion Control ECU 50 und der Perception Safety ECU 40 jeweils über eine sichere Verbindung zuge führt ist.
Bei dem Ground Truth Sensing Device 10 handelt es sich um ein Messgerät, mit dem sich unter normalen Bedingungen die Position eines Objektes 72 relativ zum Fahr zeug 70 sicher bestimmen lässt. Es kann sich hierbei etwa um eine Time of Flight- Kamera (TOF-Kamera) handeln. Eine TOF-Kamera ist ein 3D-Kamerasystem, das mit dem Laufzeitverfahren (Time of Flight, TOF) Distanzen messen kann. Alternativ oder zusätzlich kann das Ground Truth Sensing Device 10 ein Lidarsystem aufweisen. Lidarsysteme sind teilweise schon zertifiziert erhältlich, z.B. für eine Fuß gängererkennung. Zusätzlich kann das Ground Truth Sensing Device etwa einen Bum- per (Stoßfänger) aufweisen, der bei Kontakt mit einem Gegenstand ein Signal auslöst.
Das Ground Truth Sensing Device 10 liefert als Ausgangssignal 1 1 ein Ground Truth Indicator Signal 11 , mit dem die Position eines Objektes 72 relativ zum Fahrzeug 70 sicher bestimmt werden kann. Das Signal 11 wird entweder drahtgebunden redundant oder über ein abgesichertes Bussystem zur Motion Control ECU 50 und zur Perception Safety ECU 40 übertragen.
Der Perception Safety ECU 40 sind neben dem externen Steuersignal 6 der HMI/RMI 5 und neben dem Ground Truth Indicator Signal 1 1 des Ground Truth Sensing Device 10 ferner noch das Signal 21 mindestens eines Radarsensors zugeführt, das redundant oder abgesichert übertragen wird. Der mindestens eine Radarsensor oder die mehreren Radarsensoren, die Teil des Sensorsets 20 sein können, können durch Software- Programme im Sensorsteuergerät bereits vorverarbeitet sein und fertige "Radarobjekte" enthalten. Sie können jedoch auch Rohdaten enthalten, die erst in der Perception Sa fety ECU 40 verarbeitet werden. Während das Signal des mindestens einen Radar sensors 21 an die Perception Safety ECU 40 sicher übertragen wird, müssen die Signa le der Radarsensoren des Sensorsets 20, die der High Performance ECU 30 zugeführt werden, nicht sicher bzw. redundant übertragen werden. Bei diesen Radarsignalen 22 kann es sich um Obermengen, Teilmengen oder disjunkte Mengen der Radarsignale 21 handeln, die der Perception Safety ECU 40 zugeführt sind.
Bei der Perception Safety ECU handelt es sich um ein Steuergerät, das mittels eines Software-Programms regelbasiert ohne die Zuhilfenahme von Kl -Algorithmen die von der HMI/RMI 5, dem Ground Truth Sensing Device 10 und dem mindestens einen Ra darsensor übertragenen Signale zusammenführt und daraus ein sicheres Kollisions meldungssignal 41 berechnet, das an die Motion Control ECU 50 sicher übertragen wird. Die Perception Safety ECU 40 ist dazu vorgesehen, aus den sicheren Eingangs signalen 6, 1 1 , 21 eine sichere Positionsinformation höherer Güte zu bestimmen: Wenn z.B. mehrere Radarsignale 21 ein Objekt 72 in der Umgebung erkennen und das Ground Truth Sensing Device etwa mittels der TOF-Kamera oder mittels eines Lidars diese Information bestätigt, so enthält das Kollisionsmeldungssignal 41 ein zuverlässi ges Signal über die Position des potenziellen Objektes 72.
Wenn in einem anderen Beispiel ein anderes Ground T ruth Indicator Signal 1 1 , wie z.B. das Ansprechen eines Schließschalters in einem "Bumper" sowie eine Abstandsinfor mation aus einem Radarsignal 21 gleichzeitig ein sehr nahes Objekt messen, so wird dadurch die Information bestätigt und ist damit zuverlässiger. Damit kann ausgeschlos sen werden, dass etwa der Bumper-Schließkontakt z.B. durch eine Vibration versehent lich kurzzeitig geschlossen hat.
Wenn etwa in einem dritten Beispiel ein Not-Aus-Signal 6 über das HMI/RMI 5 fernge steuert erzeugt wird, so schaltet die Perception Safety ECU auf jeden Fall das Kollisi onsmeldungssignal 41 auf "Not-Aus", welches von der Motion Control ECU 50 in ein entsprechendes Notfahrsignal umgesetzt wird.
Die Motion Control ECU 50 wertet die sicheren "Abschaltsignalindikatoren" 6, 1 1 , 41 aus, die vom HMI/RMI 5, vom Ground Truth Sensing Device 10 und von der Perception Safety ECU 40 sicher übertragen werden. Dabei beinhaltet das sichere Kollisionsmel dungssignal 41 von der Perception Safety ECU eine bereits vorverarbeitete, sichere Objekterkennung verschiedener Sensorsysteme. Aus den Abschaltsignalen 6, 1 1 , 41 wird im Falle der Erkennung einer Notsituation ein Notfahrsignal berechnet, das zwei redundante Signale 51 , 52 ansteuert, mit denen zugeordnete Aktuatoren redundant zum Stoppen und/oder Ausweichen des Fahrzeugs 70 angesteuert werden.
In Fig. 3 sind zugeordnete Antriebsräder 90, 92 und zugeordnete gelenkte Räder 94, 96 beispielhaft dargestellt, welche über redundante, drahtgebundene Verbindungen von der Motion Control ECU 50 angesteuert werden, um im Falle eines Notfahrsignals einen Stopp- und/oder Ausweichvorgang einzuleiten. Je nach Fahrsituation und Notfahrsignal kann also etwa ein Bremssystem redundant angesteuert werden oder ein Lenksystem redundant zum Ausweichen angesteuert werden. Es können auch gleichzeitig hierbei ein Brems- und ein Lenksystem redundant angesteuert werden, so dass eine Bremsung kombiniert mit Ausweichen erzielt wird.
Darüber hinaus wertet die Motion Control ECU 50 das unsichere Object Recognition Indicator Signal 31 der High Performance ECU 30 mit hohem Informationsgehalt aus und steuert die zumindest zwei redundanten Ausgangssignale 51 , 52 derart, dass das Fahrzeug 70 für den Fall, dass kein Notzustand erkannt wird, gemäß einer vorgegebe nen Fahraufgabe nach den Vorgaben der High Performance ECU 30 gesteuert wird.
Eine komplexe, vorgegebene Fahraufgabe ohne Notzustand könnte z.B. das Folgen eines Schwads auf einer Wiese sein. Die Erkennung eines Schwads erfolgt dann z.B. mittels zweier Kameras, deren Signale 23 mittels eines Deep Learning Algorithmus in der High Performance ECU 30 verarbeitet werden. Die High Performance ECU 30 be rechnet daraus eine komplexe Umgebungsinformation und sendet diese im Signal 31 an die Motion Control ECU 50. Diese steuert die Lenkung über eines der Signale 51 und/oder 52 so an, dass das Fahrzeug 70 dem erkannten Schwad folgt.
In Fig. 3 ist das zuvor anhand von Fig. 1 beschriebene System 1 beispielhaft auf einem automatisierten Fahrzeug 70 vereinfacht dargestellt, das sich entlang eines Weges 74 bewegt. Hierbei ist zusätzlich ein Display 84 dargestellt, das von der High Performance ECU 30 über einen zugeordneten Ausgang 32 angesteuert wird, um einem etwaigen Benutzer des Fahrzeugs diverse Steuerinformationen und ggf. ein berechnetes Bild der Fahrzeugumgebung anzuzeigen. Beispielhaft ist hierbei ein sicheres Bussystem 98 dargestellt, das eine abgesicherte Übertragung etwa mittels Alive Count oder Cyclic Redundancy Check ermöglicht. Das HMI/RMI 5, die Performance Safety ECU 40, das Ground Truth Sensing Device 10, die High Performance ECU 30 und die Motion Control ECU 50 können über dieses sichere Bussystem 98 gekoppelt sein. Alternativ kann na türlich auch jeweils eine redundante drahtgebundene Verbindung vorgesehen sein.
Anhand von Fig. 2 wird im Folgenden eine bevorzugte Abwandlung des Systems erläu tert, die insgesamt mit der Ziffer 1a bezeichnet ist. Hierbei werden für entsprechende Teile entsprechende Bezugsziffern verwendet. Das System 1 a weist eine Level 4 Autonomous Driving Perception Branch 80 auf, wel che das Sensorset 20 und die High Performance ECU 30 umfasst. Als Rückfallebene für diesen Zweig ist eine Level 2 Driving Assistance Perception Branch 75 vorgesehen.
Derartige L2-Systeme werden bereits heute z.B. in Lkws standardmäßig eingesetzt. Eine solche Level 2 Driving Assistance Perception Branch 75 weist typischerweise ei nen nach vorne gerichteten Radarsensor auf, sowie mindestens eine Kamera. Die Aus gangssignale 21 b des Radarsensors und der Kamera werden in einer Fusionsein heit 10b fusioniert. Hieraus wird mit sehr hoher Qualität ein L2 Obstacle Indicator Sig nal 1 1 b berechnet und bereitgestellt. Wiederum sind die sicheren Signale 6 von der HMI/RMI 5, das L2 Obstacle Indicator Signal 1 1 b von der Fusionseinheit 10b und das sichere Kollisionsmeldungssignal 41 von der Perception Safety ECU 40 der Motion Control ECU 50 über sichere Verbindungen zugeführt.
Vorteilhaft bei diesem System ist der modulare Ansatz: Ein bestehendes und lauffähi ges L2-System kann um ein "L4-Upgrade" erweitert werden. Als Rückfallebene im Feh lerfall ist das L2-System kurzzeitig imstande, mittels der Fusionseinheit 10b ein L2 Obstacle Indicator Signal mit einem Umgebungsbild bereitzustellen, so dass die Motion Control ECU 50 das Fahrzeug 70 in einen sicheren Zustand überführen kann.
Bezuqszeichen System
HMI/RMI
externes Steuersignal
Ground T ruth Sensing Device
b Fusionseinheit
Ground T ruth Sensing Indicator Signalb L2 Obstacle Indicator Signal
Sensorset
Radarsignal abgesichert
b Radarsignal abgesichert
Radarsignal nicht gesichert
Kamerasignal
Lidarsignal
Signal anderen Sensors
High Performance ECU
Object Recognition Indicator Signal Ausgangssignal Human Machine Interface Perception Safety ECU
Kollisionsmeldungssignal
Motion Control ECU
redundantes Steuersignal
redundantes Steuersignal
gesteuertes System
Fahrzeug
Objekt
Bewegungsweg
Kamera
Kamera
anderer Sensor
anderer Sensor
Radarsensor Radarsensor
Lidarsensor
Display
Not-Aus-Schalter
Remote Not-Aus-Schalter Antriebsrad/Bremse Antriebsrad/Bremse gelenktes Rad
gelenktes Rad
sicheres Bussystem

Claims

Patentansprüche
1. System zum sicheren Betreiben eines automatisierten Fahrzeugs (70), mit:
(a) einem ersten Netzwerk, mit
einem Sensorset (20) mit einer Mehrzahl von Sensoren (76, 77, 78, 79, 80, 81 , 82) zur Erfassung der Umgebung des Fahrzeugs (70), der mit einer High Performance ECU (30) gekoppelt ist, welche die Signale (22, 23, 24, 25) der Sensoren (76-82) zur Orientierung, Steuerung und Kollisionsvermeidung verarbeitet; und
einer sicheren Bewegungssteuerung Motion Control ECU (50), die mit mindestens einem Antriebselement (90, 92, 94, 96) über mindestens zwei Steuersignale (51 , 52) redundant zur Steuerung des Fahrzeugs (70) gekoppelt ist;
wobei die High Performance ECU (30) ein Object Recognition Indicator Signal (31 ) zur Orientierung, Steuerung und Kollisions vermeidung an die Motion Control ECU (50) ausgibt;
(b) einem zweiten, hierarchischen, redundantem Netzwerk zum sicheren Betreiben des Fahrzeugs (70), mit:
einem HMI/RMI (Human/Remote Machine Interface) (5) mit zu mindest einer Not-Aus-Schalteinrichtung (87, 88);
einem Ground Truth Sensing Device (10) zur Positionsbestim mung von Objekten relativ zum Fahrzeug (70);
einer Perception Safety ECU (40), in Form eines Steuergerätes, das über sichere Verbindungen mit dem HMI/RMI (5), dem Ground Truth Sensing Device (10), und mindestens einem Ra darsensor (80, 81 ) gekoppelt ist, um aus den übertragenen Sig nalen ein sicheres Kollisionsmeldesignal (41 ) abzuleiten, das der Motion Control ECU (50) über eine sichere Verbindung zugeführt ist; und
wobei die Motion Control ECU (50) dazu ausgebildet ist, die Sig nale der HMI/RMI (5), des Ground Truth Sensing Device (10) und der Perception Safety ECU (40) zur Erkennung eines Notzu- Stands sicher auszuwerten, um das Fahrzeug (70) im Falle der Erkennung eines Notzustands über mindestens zwei Steuersig nale (51 , 52) redundant in einen sicheren Zustand zu steuern.
2. System nach Anspruch 1 , bei dem die Motion Control ECU (50) ferner jeweils über eine sichere Verbindung mit dem HMI/RMI (5) und mit dem Ground Truth Sensing Device (10) gekoppelt ist.
3. System nach Anspruch 1 oder 2, bei dem die HMI/RMI (5) zumindest einen am Fahrzeug (70) vorgesehenen Not-Aus-Schalter (87) und zumindest eine ferngesteuerte Not-Aus-Schalteinrichtung (88) aufweist.
4. System nach Anspruch 1 , 2 oder 3, bei dem die High Performance ECU (30) dazu ausgebildet ist, aus den Signalen (22, 23, 24, 25) der Sensoren (76-82) eines oder mehrere Objekte (72) in der Umgebung des Fahrzeugs (70) zu er kennen, zu klassifizieren, Positionen und Bewegungsinformationen der Objek te (72) zu bestimmen und an die Motion Control ECU (50) als unsicheres Ob ject Recognition Indicator Signal (31 ) zu übertragen, und wobei die Motion Control ECU (50) dazu ausgebildet ist, das Object Recognition Indicator Sig nal (31 ) auszuwerten und mit den sicheren Signalen der HMI/RMI (5), des Ground Truth Sensing Device (10) und der Perception Safety ECU abzuglei chen, um das Fahrzeug (70) für den Fall, dass kein Notzustand erkannt wird, gemäß einer vorgegebenen Fahraufgabe zu steuern.
5. System nach Anspruch 4, bei dem die High Performance ECU (30) eine
Schnittstelle (32) zur Ausgabe eines Ausgangssignals, insbesondere an ein Human Machine Interface, etwa in Form eines Displays (84), aufweist.
6. System nach einem der Ansprüche 1 bis 5, bei dem das Sensorset (20) ein Surround Sensing Sensorset ist, mit mehreren Sensoren (76-82) vorzugswei se mit unterschiedlichem Messprinzip, insbesondere mit mindestens einem Radarsensor (80, 81 ), mindestens einem Kamerasensor (76,77), mindestens einem Lidarsensor (82), und vorzugsweise einem oder mehreren anderen Sensoren (78,79), insbesondere einem Ultraschallsensor und/oder einem Inf rarotsensor.
7. System nach einem der vorhergehenden Ansprüche, bei dem das Ground Truth Sensing Device (10) eine Time of Flight Kamera, und/oder ein Lidarsys- tem, insbesondere zur Fußgängererkennung, und/oder einen Bumper auf weist, der bei Kontakt mit einem Gegenstand ein Signal auslöst.
8. System nach einem der vorhergehenden Ansprüche, bei dem das Signal des Ground Truth Sensing Device (10), und/oder der Perception Safety ECU (40), und/oder der HMI/RMI (5), und/oder der Motion Control ECU (50) drahtgebun den redundant oder mittels eines Bussystems (98) abgesichert (insbesondere mit Alive Count oder Cyclic Redundancy Check) übertragen wird.
9. System nach einem der vorhergehenden Ansprüche, bei dem die Perception Safety ECU (40) als Steuergerät ausgebildet ist, das mit Software gesteuert ist, welche regelbasiert, ohne eine Verwendung von Kl -Algorithmen, die Ein gangssignale (6, 11 , 21 ) auswertet, um daraus ein sicheres Signal (41 ) höhe rer Güte mit einer sicheren Positionsinformation zu bestimmen.
10. System nach einem der vorhergehenden Ansprüche, mit einer Human Control Branch (70), mit einer Level 2 Driver Assistance Perception Branch (75) und mit einer Level 4 Autonomous Driving Perception Branch (80),
wobei die Human Control Branch (70) die HMI/RMI (5) aufweist, die mit der Perception Safety ECU (40) und der Motion Control ECU (50) über eine sichere Verbindung gekoppelt ist;
wobei die Level 2 Driver Assistance Perception Branch (75) die Percep tion Safety ECU (40) aufweist, sowie mindestens einen Radarsensor (21 b) und mindestens eine Kamera, wobei das Signal des Radar sensors (21 b) und das Signal der Kamera über eine sichere Verbindung einer sicheren Fusionseinheit (10b) zugeführt sind, die ein sicheres fu sioniertes Signal (11 b) ausgibt, das der Perception Safety ECU (40) über eine sichere Verbindung zugeführt ist, um daraus in der Percepti- on Safety ECU (40) ein sicheres Kollisionsmeldungssignal (41 ) abzulei ten, welches der Motion Control ECU (50) über eine sichere Verbindung zugeführt ist;
wobei die Level 4 Autonomous Driving Perception Branch (80) die High Performance ECU (30) aufweist, die mit dem Sensorset (20) gekoppelt ist und dazu ausgebildet ist, aus den Signalen der Sensoren (22, 23,
24, 25) ein Object Recognition Indicator Signal (31 ) abzuleiten, das der Motion Control ECU (50) zugeführt ist;
und wobei die Level 2 Driver Assistance Perception Branch (75) dazu ausgebildet ist, das Fahrzeug (70) über die Motion Control ECU (50) im Falle der Erkennung eines Notzustands oder eines Ausfalls der Level 4 Autonomous Driving Perception Branch (80) mittels des sicheren, fusi onierten Signals (11 b) in einen sicheren Zustand zu steuern.
11. System nach Anspruch 10, bei dem der Motion Control ECU (50) zusätzlich zum Signal (41 ) der Perception Safety ECU (40) auch das Signal (6) der HMI/RMI (5) und das Signal (11 b) der Fusionseinheit (1 Ob) über sichere Ver bindungen zugeführt sind.
12. Verfahren zum sicheren Betreiben eines automatisierten Fahrzeugs, bei dem (a) in einem ersten Netzwerk
ein Sensorset (20) mit einer Mehrzahl von Sensoren (76-82) zur Erfassung der Umgebung des Fahrzeugs (70) mit einer High Performance ECU (30) gekoppelt wird und die Signale der Sen soren (76-82) zur Orientierung, Steuerung und Kollisionsvermei dung verarbeitet werden, um ein Object Recognition Indicator Signal (31 ) zur Orientierung, Steuerung und Kollisionsvermei dung zu erzeugen, das
an eine sichere Bewegungssteuerung Motion Control ECU (50) übertragen wird, die mindestens einen Aktuator (90, 92, 94, 96) zur Steuerung des Fahrzeugs (70) über mindestens zwei Steuer signale (51 , 52) redundant sicher steuert; (b) in einem zweiten, hierarchischen, redundantem Netzwerk zum sicheren Betreiben des Fahrzeugs
ein HMI/RMI (Human/Remote Machine Interface) (5) mit mindes tens einer Not-Aus-Schalteinrichtung (87, 88); und
ein Ground Truth Sensing Device (10) zur Positionsbestimmung von Objekten relativ zum Fahrzeug;
mit einer Perception Safety ECU (40) in Form eines Steuergerä tes über sichere Verbindungen gekoppelt werden, und der Per ception Safety ECU (40) ferner das Signal (21 ) mindestens ei nes Radarsensors (80, 81 ) zu geführt wird, um aus den übertra genen Signalen ein sicheres Kollisionsmeldesignal (41 ) abzulei ten, das der Motion Control ECU (50) über eine sichere Verbin dung zugeführt wird;
wobei die Motion Control ECU (50) ferner jeweils über eine si chere Verbindung mit dem HMI/RMI (5) und mit dem Ground Truth Sensing Device (10) gekoppelt wird; und wobei die Motion Control ECU (50) die Signale (6, 11 , 41 ) der HMI/RMI (5), des Ground Truth Sensing Device (10) und der Perception Safety ECU (40) auswertet, um einen Notzustand si cher zu erkennen, in dem das Fahrzeug (70) über mindestens zwei Steuersignale (51 , 52) redundant in einen sicheren Zustand gesteuert wird.
13. Verfahren nach Anspruch 12, bei dem die Motion Control ECU (50) ferner je weils über eine sichere Verbindung mit dem HMI/RMI (5) und mit dem Ground Truth Sensing Device (10) gekoppelt wird.
14. Verfahren nach Anspruch 12 oder 13, bei dem die High Performance ECU (30) aus den Signalen (22, 23, 24, 25) der Sensoren (76-82) eines oder meh rere Objekte (72) in der Umgebung des Fahrzeugs erkennt, klassifiziert, Posi tionen und Bewegungsinformationen der Objekt(e) (72) bestimmt und als un sicheres Object Recognition Indicator Signal (31 ) an die Motion Control ECU (50) überträgt, und bei dem die Motion Control ECU (50) das Object Recogni- tion Indicator Signal (31 ) auswertet und mit den sicheren Signalen der
HMI/RMI (5), des Ground Truth Sensing Device (10) und der Perception Sa- fety ECU abzugleicht, um einen Notzustand zu erkennen, und um das Fahr zeug (70) für den Fall, dass kein Notzustand erkannt wird, gemäß einer vor gegebenen Fahraufgabe zu steuern.
15. Motion Control ECU (50), welche mit mindestens einem Aktuator über mindes tens zwei Steuersignale (51 , 52) redundant zur Steuerung eines Fahrzeugs (70) ge koppelt ist, wobei die Motion Control ECU (50) dazu ausgebildet ist, Signale (6, 1 1 , 41 ) einer HMI/RMI (5), eines Ground Truth Sensing Device (10) und einer Perception Safety ECU (40) zu empfangen und zur Erkennung eines Notzustands sicher auszu werten, um das Fahrzeug (70) im Falle der Erkennung eines Notzustands über die mindestens zwei Steuersignale (51 , 52) redundant in einen sicheren Zustand zu steuern.
16. Fahrzeug (70) mit zumindest einer Motion Control ECU (50) nach Anspruch 15 oder einem System nach einem der Ansprüche 1 bis 11 .
17. Fahrzeug (70) nach Anspruch 16, wobei das Fahrzeug (70) als landwirtschaft liches Nutzfahrzeug ausgebildet ist.
PCT/EP2020/053236 2019-02-15 2020-02-10 System und verfahren zum sicheren betreiben eines automatisierten fahrzeugs Ceased WO2020165058A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080014429.XA CN113439246B (zh) 2019-02-15 2020-02-10 用于安全操作自动化车辆的系统和方法
US17/430,724 US11964675B2 (en) 2019-02-15 2020-02-10 System and method for the safe operation of an automated vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019202025.9A DE102019202025B4 (de) 2019-02-15 2019-02-15 System und Verfahren zum sicheren Betreiben eines automatisierten Fahrzeugs
DE102019202025.9 2019-02-15

Publications (1)

Publication Number Publication Date
WO2020165058A1 true WO2020165058A1 (de) 2020-08-20

Family

ID=69645919

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/053236 Ceased WO2020165058A1 (de) 2019-02-15 2020-02-10 System und verfahren zum sicheren betreiben eines automatisierten fahrzeugs

Country Status (4)

Country Link
US (1) US11964675B2 (de)
CN (1) CN113439246B (de)
DE (1) DE102019202025B4 (de)
WO (1) WO2020165058A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024074647A1 (de) * 2022-10-07 2024-04-11 Volkswagen Aktiengesellschaft Verfahren zum betreiben eines kontrollsystems eines fahrzeuges, computerprogrammprodukt sowie kontrollsystem
EP4360979A4 (de) * 2021-11-26 2024-11-27 Yutong Bus Co., Ltd. Autonomes fahrsteuerungssystem und fahrzeug

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022183023A1 (en) * 2021-02-25 2022-09-01 Autonomous Solutions, Inc. Intelligent urgent stop system for an autonomous vehicle
DE102021206042A1 (de) * 2021-06-14 2022-12-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Steuern eines Fahrzeugs
EP4300236A1 (de) * 2022-06-27 2024-01-03 Loxo AG Autonomes fahrzeugsteuerungssystem und verwaltungsverfahren
CN116192345B (zh) * 2023-02-03 2024-01-12 北京斯年智驾科技有限公司 基于分布式冗余架构的安全保障方法、装置、设备及介质
JP7810156B2 (ja) * 2023-07-24 2026-02-03 トヨタ自動車株式会社 自動運転キット
DE102024204204A1 (de) 2024-05-06 2025-11-06 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Ansteuern eines mittels eines ersten Kommunikationspfades mit seiner Umgebung vernetzten Fahrzeugs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012102173A1 (de) 2011-04-13 2012-10-18 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Re-konfigurierbare Schnittstellen-basierende elektrische Architektur
US8705527B1 (en) * 2011-01-14 2014-04-22 Cisco Technology, Inc. System and method for internal networking, data optimization and dynamic frequency selection in a vehicular environment
JP2017055563A (ja) * 2015-09-09 2017-03-16 トヨタ自動車株式会社 電気自動車
US20170090476A1 (en) * 2015-09-28 2017-03-30 Uber Technologies, Inc. Autonomous vehicle with independent auxiliary control units
WO2018154859A1 (ja) * 2017-02-23 2018-08-30 本田技研工業株式会社 車両用制御システムおよび制御方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100406307C (zh) * 2005-01-02 2008-07-30 傅建中 被动式汽车追尾预警避撞方法及装置
CN1799909A (zh) * 2005-01-02 2006-07-12 傅建中 被动式汽车追尾预警避撞技术方案
EP2095351B1 (de) 2006-10-13 2014-06-25 Continental Teves AG & Co. oHG System zur bestimmung von objekten
KR101688675B1 (ko) 2009-05-07 2016-12-21 콘티넨탈 테베스 아게 운트 코. 오하게 차량의 운전 안정성을 조절하거나 제어하는 방법 및 장치
WO2014172369A2 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc Intelligent vehicle for assisting vehicle occupants and incorporating vehicle crate for blade processors
US9058703B2 (en) * 2012-03-14 2015-06-16 Flextronics Ap, Llc Shared navigational information between vehicles
DE102012014939A1 (de) 2012-07-27 2014-01-30 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kollisionsvermeidung
EP3175693B1 (de) * 2014-07-30 2022-08-31 Yanmar Power Technology Co., Ltd. Fernsteuerungsvorrichtung
DE102016212009A1 (de) * 2016-07-01 2018-01-04 Ford Global Technologies, Llc Verfahren zum Betrieb eines selbstfahrenden Kraftfahrzeugs und autonome Fahreinheit für ein selbstfahrendes Kraftfahrzeug
JP7014508B2 (ja) * 2016-08-08 2022-02-01 シャープ株式会社 自律走行装置及び自律走行制御方法と制御プログラム
US10114374B2 (en) * 2016-11-16 2018-10-30 Baidu Usa Llc Emergency handling system for an autonomous driving vehicle (ADV)
CN106778907A (zh) 2017-01-11 2017-05-31 张军 一种基于多传感器信息融合的智能行车预警系统
CN106740874A (zh) 2017-02-17 2017-05-31 张军 一种基于多核处理器的智能行车预警感知系统
CN107369326A (zh) 2017-03-06 2017-11-21 扬州大学 一种应用于自动驾驶的智能交通灯设计系统
EP3523753A4 (de) * 2017-12-11 2019-10-23 Beijing Didi Infinity Technology and Development Co., Ltd. Systeme und verfahren zur identifizierung und positionieren von objekten in der umgebung eines fahrzeugs
US11079753B1 (en) * 2018-01-07 2021-08-03 Matthew Roy Self-driving vehicle with remote user supervision and temporary override

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8705527B1 (en) * 2011-01-14 2014-04-22 Cisco Technology, Inc. System and method for internal networking, data optimization and dynamic frequency selection in a vehicular environment
DE102012102173A1 (de) 2011-04-13 2012-10-18 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Re-konfigurierbare Schnittstellen-basierende elektrische Architektur
JP2017055563A (ja) * 2015-09-09 2017-03-16 トヨタ自動車株式会社 電気自動車
US20170090476A1 (en) * 2015-09-28 2017-03-30 Uber Technologies, Inc. Autonomous vehicle with independent auxiliary control units
WO2018154859A1 (ja) * 2017-02-23 2018-08-30 本田技研工業株式会社 車両用制御システムおよび制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4360979A4 (de) * 2021-11-26 2024-11-27 Yutong Bus Co., Ltd. Autonomes fahrsteuerungssystem und fahrzeug
WO2024074647A1 (de) * 2022-10-07 2024-04-11 Volkswagen Aktiengesellschaft Verfahren zum betreiben eines kontrollsystems eines fahrzeuges, computerprogrammprodukt sowie kontrollsystem

Also Published As

Publication number Publication date
US11964675B2 (en) 2024-04-23
US20220144313A1 (en) 2022-05-12
CN113439246A (zh) 2021-09-24
CN113439246B (zh) 2024-05-28
DE102019202025B4 (de) 2020-08-27
DE102019202025A1 (de) 2020-08-20

Similar Documents

Publication Publication Date Title
DE102019202025B4 (de) System und Verfahren zum sicheren Betreiben eines automatisierten Fahrzeugs
EP3882733B1 (de) Verfahren und system zum autonomen fahren eines fahrzeugs
EP2586020B1 (de) Verfahren und system zur informationsvalidierung
EP3322625B1 (de) Vorausschauende steuerung eines kraftfahrzeugs
EP2867093B1 (de) Verfahren und system zur informationsnutzung
DE112019003458T5 (de) Fahrzeuginternes elektronisches Steuersystem
EP3698273B1 (de) Verfahren und system zum betreiben eines fahrzeugs
EP4007891B1 (de) Verfahren und vorrichtung zur lokalisierung eines fahrzeugs in einer umgebung
DE102015209137A1 (de) Verfahren und System zur Steuerung einer Fahrfunktion eines Fahrzeuges
DE102016212195A1 (de) Verfahren zum Durchführen eines automatischen Eingriffs in die Fahrzeugführung eines Fahrzeugs
DE102016002232B4 (de) Verfahren zum Betrieb eines Kraftfahrzeugs
EP3347787A1 (de) Verfahren und vorrichtung zum betreiben eines fahrzeugs
DE102021123270B3 (de) Verfahren und Steuerschaltung zum Überprüfen, ob ein aktuell aktiver Fahrmodus innerhalb seiner ODD betrieben wird, sowie System und Backend-Server
DE102016212196A1 (de) Verfahren zum Auswerten von Sensordaten
DE102015107392A1 (de) Verfahren zum Erfassen eines Objekts in einer Umgebung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
EP1690730B1 (de) Fahrerassistenzsystem mit redundanter Entscheidungseinheit
DE102021206297A1 (de) Verfahren und System zum Betreiben eines wenigstens teilweise automatisierten Fahrzeugs
DE102021209315A1 (de) Verfahren zum Betreiben eines Infrastruktursystems zur Fahrunterstützung von zumindest teilautomatisiert geführten Kraftfahrzeugen
WO2019211282A1 (de) Betriebsverfahren für eine autonom betreibbare vorrichtung und autonom betreibbare vorrichtung
DE102022209181A1 (de) Autonomes fahrzeug, verfahren zur abfrage der fernsteuerung desselben
WO2015090691A1 (de) Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
DE102017109175A1 (de) Steuereinrichtung, Fahrerassistenzsystem, Kraftfahrzeug und Verfahren zum Steuern einer Fahrerassistenzfunktion
DE102017206396B4 (de) Steuerverfahren, Steuereinheit, Umfelderfassungssystem und mobile und/oder stationäre Einrichtung
DE102017201517A1 (de) Verfahren und Vorrichtung zum Plausibilisieren einer Fahrzeugtrajektorie zum Steuern eines Fahrzeugs
DE102011083777A1 (de) Fahrerassistenzsystem und Verfahren zum Betreiben eines Fahrerassistenzsystems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20706398

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20706398

Country of ref document: EP

Kind code of ref document: A1