WO2020166253A1 - 車両制御装置および電子制御システム - Google Patents

車両制御装置および電子制御システム Download PDF

Info

Publication number
WO2020166253A1
WO2020166253A1 PCT/JP2020/000947 JP2020000947W WO2020166253A1 WO 2020166253 A1 WO2020166253 A1 WO 2020166253A1 JP 2020000947 W JP2020000947 W JP 2020000947W WO 2020166253 A1 WO2020166253 A1 WO 2020166253A1
Authority
WO
WIPO (PCT)
Prior art keywords
control device
vehicle control
block
output
vehicle
Prior art date
Application number
PCT/JP2020/000947
Other languages
English (en)
French (fr)
Inventor
坂本　英之
広津　鉄平
泰輔 植田
英達 山本
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US17/425,525 priority Critical patent/US20220089179A1/en
Priority to JP2020572126A priority patent/JP7078763B2/ja
Priority to CN202080006374.8A priority patent/CN113412506B/zh
Publication of WO2020166253A1 publication Critical patent/WO2020166253A1/ja
Priority to JP2022082088A priority patent/JP7281000B2/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Definitions

  • the present invention relates to a vehicle control device and an electronic control system for an automatic driving system.
  • an automatic driving ECU Electronic Control Unit
  • a microcomputer arithmetic processing unit inside the ECU to perform sensor fusion processing.
  • sensor fusion processing is used to perform an advanced recognition function that cannot be obtained from a single sensor, by integrally processing two or more sensors whose detection principles are different, for example, image data captured by a camera or radar. This is a technology that will be realized.
  • Patent Document 1 mutually compares the object-based fusion data output from each ambient sensor and the raw object data obtained by fusion of the raw data, and when the difference is outside the error allowable range, the data is output. Is being revoked and recalculated.
  • the detectable object When comparing the result of raw data fusion and the result of object data fusion, the detectable object may differ due to the difference in the data processing method. Therefore, depending on the scene, a difference may occur in the detected objects even if the outputs are normal to each other. Therefore, it is difficult to diagnose the likelihood of each data by simply comparing the result of raw data fusion and the result of object data fusion. However, this point is not taken into consideration in Patent Document 1.
  • the present invention has been made in view of the above problems, and an object of the present invention is to accurately diagnose output data from a sensor or a calculation block that performs sensor fusion processing in an automatic driving control system.
  • the present invention has a plurality of means for solving the above problems.
  • one embodiment of the present invention employs the following configuration.
  • a third operation block that performs a sensor fusion process, a third operation block that diagnoses an output result of the first operation block by using an output result of the first operation block and an output result of the second operation block.
  • a vehicle control device comprising a calculation block.
  • FIG. 3 is a diagram showing an internal configuration of a vehicle control device (first ECU) 11 according to the first embodiment and connections of sensors and actuators.
  • FIG. 6 is a diagram showing a method of diagnosing a sensor fusion result in the first embodiment.
  • FIG. 3 is a diagram showing a diagnosis and a control flow based on a diagnosis result in the first embodiment.
  • FIG. 5 is a diagram showing an internal configuration of a vehicle control device (first ECU) 11 according to a second embodiment and connections of sensors and actuators.
  • FIG. 9 is a diagram showing an internal configuration of a vehicle control device (first ECU) 11 and a vehicle control device (second ECU) 12 in Example 3 and connections of sensors and actuators.
  • the automatic driving system in the present invention is a vehicle control device that controls the behavior of the vehicle based on the information obtained from the external sensor.
  • the external sensor is assumed to be, for example, a camera, a rider, a radar, a laser, etc., but other sensors may be used.
  • the vehicle control system is connected to an actuator group provided in the vehicle and drives the actuator group to control the vehicle.
  • the actuator group is, for example, brake control, engine control, and power steering control, but is not limited thereto.
  • FIG. 1 is a diagram showing an internal configuration of a vehicle control device (first ECU) 11 according to the first embodiment and connections of sensors and actuators.
  • first ECU vehicle control device
  • the vehicle control device is required to generate highly accurate trajectory generation by inputting sensor data with higher accuracy and a large amount of information and performing sensor fusion.
  • a camera for obtaining image data
  • a rider or radar for obtaining distance data, and the like.
  • Cameras have high reliability for color recognition such as road markings, but there is a problem that they are difficult to recognize when it is raining, fog, or strong sunlight.
  • a radar has a problem that it has low resolution while detecting a distance is useful.
  • Each sensor has advantages and disadvantages, and it is not possible to recognize the surrounding environment with only one sensor.
  • sensor fusion is a technology that realizes an advanced recognition function that cannot be obtained from a single sensor by integrally processing the detection data of two or more sensors, for example, images captured by cameras and radar. is there.
  • high reliability was secured by preprocessing (converting to object data) each sensor data and performing sensor fusion (object data fusion).
  • object data fusion object data fusion
  • a large amount of raw data that has not been preprocessed is input from each sensor to the vehicle control device 11 in this embodiment.
  • the microcomputer 111 included in the vehicle control device 11 executes the raw data fusion process based on the raw data input from each sensor.
  • the arithmetic block 211 of the microcomputer 111 performs a data fusion process on the raw data 104, 204, 304 obtained from each sensor to generate a raw data fusion result 701.
  • Object data is input to the vehicle control device 11 from each sensor in addition to the raw data.
  • the first sensor 1, the second sensor 2, and the third sensor 3 generate object data 103, 203, and 303 of each sensor data in the information processing units 102, 202, and 302 provided in each sensor.
  • the microcomputer 112 included in the vehicle control device 11 performs object data fusion processing based on the object data input from each sensor.
  • the arithmetic block 212 of the microcomputer 112 performs object data fusion processing on the object data 103, 203, 303 obtained from each sensor to generate an object data fusion result 702.
  • a flow related to fusion will be described using the following sensor.
  • the camera 1 is a sensor module including a sensor 101 and an information processing unit 102.
  • the raw data acquired by the sensor 101 is transmitted to the information processing unit 102 and the calculation block 211 in the first ECU.
  • the information processing unit 102 also generates object data based on the raw data acquired by the sensor 101. After that, the object data 103 is transmitted to the calculation block 212 in the first ECU.
  • Radar 2 is a sensor module that incorporates a sensor 201 and an information processing unit 202.
  • the raw data acquired by the sensor 201 is transmitted to the information processing unit 202 and the calculation block 211 in the first ECU.
  • the information processing unit 202 also generates the object data 203 based on the raw data acquired by the sensor 201. After that, the object data 203 is transmitted to the calculation block 212 in the first ECU.
  • the laser 3 is a sensor module that incorporates a sensor 301 and an information processing unit 302.
  • the raw data acquired from the sensor 301 is transmitted to the information processing unit 302 and the calculation block 211 in the first ECU.
  • the information processing unit 302 also generates object data based on the raw data acquired by the sensor 301. After that, the object data 303 is transmitted to the calculation block 212 in the first ECU.
  • Examples of the information processing unit include a microcomputer and a FPGA (Field Programmable Gate Array).
  • the raw data of the data obtained from each sensor is input to the arithmetic block 211.
  • the operation block 211 fuses the raw data input from the respective sensors to generate a raw data fusion result 701 which is the surrounding object data. Therefore, the arithmetic block 211 needs to be able to collectively process a large amount of data.
  • the raw data fusion result 701 is output by machine learning.
  • the machine learning referred to here is, for example, by inputting raw data from each sensor into an NN (Neural Network) or a DNN (Deep Neural Network) provided in the operation block 211, a raw data fusion result obtained by sensor fusion of the raw data. 701 is generated.
  • the arithmetic block 211 transmits the generated raw data fusion result 701 to the microcomputer 113. Further, the microcomputer 111 predicts the behavior of an object around the vehicle based on the raw data fusion result 701, generates trajectory data 711 of the vehicle based on the behavior prediction result, and transmits the trajectory data 711 to the trajectory tracking control unit 214.
  • the operation block 212 is mounted on the highly reliable microcomputer 112 having a lockstep function.
  • the lock-step microcomputer 112 includes a CPU and a memory, and the CPU subsystems of the respective systems are controlled by the redundant control circuit so that they operate in perfect synchronization in clock units. It is highly likely.
  • the microcomputer 112 handles object data individually preprocessed by the camera 1, the radar 2, and the laser 3.
  • the object data 103, 203, 303 obtained by performing the preprocessing by the information processing units 102, 202, 302 provided in the respective sensors such as the camera 1, the radar 2, the laser 3 are calculated by the calculation block 212 as the object data.
  • an object data fusion result 702 is generated.
  • the microcomputer 112 transmits the generated object data fusion result 702 to the microcomputer 113. Further, the microcomputer 112 predicts the behavior of the object around the vehicle based on the object data fusion result 702, generates the trajectory data 712 of the vehicle based on the result of the behavior prediction, and transmits the trajectory data 712 to the trajectory tracking control unit 214. ..
  • a vehicle including a first microcomputer 111 in which a calculation block 211 is mounted, a second microcomputer 112 in which a calculation block 212 is mounted, and a third microcomputer 113 in which a calculation block 213 for performing comparative diagnosis is mounted.
  • the example of a control apparatus is shown.
  • the raw data fusion result 701 obtained by sensor fusion in the calculation block 211 and the object data fusion result 702 obtained by sensor fusion in the calculation block 212 are diagnosed by the comparison diagnosis function of the calculation block 213. Then, trajectory tracking control is performed based on the diagnosis result of the calculation block 213. Specific diagnosis will be described later.
  • the control tracking control unit 214 generates a trajectory tracking control command based on the trajectory information calculated by the trajectory generation unit of the microcomputer 111 or the trajectory generation unit of the microcomputer 112. As a result of the comparative diagnosis, the trajectory tracking control unit 214 causes the actuator control ECUs 13, 14, 15 to follow the host vehicle based on the trajectory data 711 generated by the microcomputer 111 when the calculation block 211 is normal. Generates and sends a control command to.
  • control follow-up control unit 214 sends a control command to the actuator control ECUs 13, 14, 15 so that the own vehicle follows the trajectory data 712 generated by the microcomputer 112. Generate and send.
  • FIG. 2 is a diagram showing a method of diagnosing the sensor fusion result in the first embodiment.
  • FIG. 2 shows an example of the sensor fusion result of the own vehicle 801 when the other vehicles 802 and 803 are running near the own vehicle 801, and the other vehicle 804 is distant from the own vehicle 801.
  • 2-1a and 2-1b on the left side of FIG. 2 show raw data fusion results 701 obtained by sensor fusion in the operation block 211 based on raw data obtained from each sensor.
  • 2-2a and 2-2b on the right side of FIG. 2 show an object data fusion result 702 fused by the calculation block 212 based on the data processed by the calculation block of each sensor.
  • FIG. 2 shows the case where the diagnostic result is normal, and the lower part shows the case where the diagnostic result is abnormal.
  • the specific mode of diagnosis will be described below.
  • the sensor data obtained from each sensor 101, 201, 301 is processed by the information processing unit 102, 202, 302 provided in each sensor.
  • the information of the object data 103, 203, 303 of each sensor obtained by the information processing is sent to the calculation block 212.
  • the operation block 212 generates an object data fusion result 702 by fusing the obtained object data 103, 203, 303.
  • the sensor fusion performed by the arithmetic block 212 is performed using an arithmetic block (processor) and a lockstep microcomputer provided on the sensor side. Furthermore, in order to verify the certainty, it is desirable for the lockstep microcomputer to take measures such as adopting the majority of the object data output from each sensor.
  • the calculation block 211 the data (for example, the data 104, 204, 304) obtained from each sensor is directly obtained, the raw data fusion process is performed, and the raw data fusion result 701 is output.
  • An example of the output is shown in Figure 2-1a.
  • the object group refers to objects existing around the vehicle, such as a vehicle or a pedestrian. Therefore, not only the other vehicles 802 and 803 traveling in the vicinity of the own vehicle can be recognized, but also the other vehicle 804 traveling in a distant place which cannot be recognized in FIG. 2-1a in FIG. 2-2a is recognized. Is possible.
  • the object data fusion result 702 generated by the sensor fusion in the operation block 212 is compared with the data fusion result 701 output in the operation block 211 to which a large amount of raw data is input, and recognizable peripheral information. Small quantity.
  • the raw data fusion result 701 generated by the arithmetic block 211 is, for example, the LVDS communication level and has a data amount of 10 Mbps or more.
  • the object fusion result 702 generated by the calculation block 212 is, for example, less than the CAN-FD communication level of 10 Mbps.
  • the calculation block 212 uses a flow using a plurality of processors and a lockstep microcomputer and is recognized by the calculation block 212 on the assumption that it has high reliability in recognizing other vehicles in the vicinity. It is diagnosed whether the arithmetic block 211 can recognize the external information recognition similar to the external information recognition in the vicinity.
  • the operation block 213 determines that the diagnosis result is abnormal.
  • FIG. 2 The following is a specific explanation using FIG. 2 as an example.
  • the distant other vehicle 804 is recognized in the raw data fusion result 701 of the calculation block 211 (FIG. 2-1a), while the calculation block 212 recognizes the other vehicle 804.
  • the calculation block 212 recognizes the other vehicle 804.
  • both of the vehicles running in the vicinity can be recognized, so the diagnosis result is normal.
  • the calculation block 212 recognizes the other vehicle 802 in the vicinity (FIG. 2-2b), whereas the calculation block 211 does not recognize the other vehicle 802 (FIG. 2-1b). ). Therefore, if the object data fusion result 702 generated in the calculation block 212 is not included in the raw data fusion result 701 generated in the calculation block 211, the calculation block 213 determines that the diagnosis result is abnormal. In this case, it is determined that the raw data fusion result 701 has an error, and the object fusion result 702 output from the highly reliable calculation block 212 is correct.
  • the calculation block 213 Make the diagnosis result abnormal.
  • the diagnosis result is determined to be normal.
  • the operation block 213 diagnoses the diagnosis result of the operation block 211 as an abnormality, there is a possibility of a sensor failure or failure.
  • the operation block 213 or the operation block 211 preferably prohibits the output of the raw data fusion result 701.
  • the arithmetic block 211 stops outputting the raw data fusion result.
  • the vehicle travels according to the trajectory of the vehicle output by the calculation block 212.
  • the reason is that with respect to the output of the arithmetic block 212, the reliability of the data of a plurality of sensors is determined by a majority vote, so that even if one sensor fails, a highly reliable output can still be obtained. ..
  • highly reliable trajectory following control becomes possible.
  • the microcomputer 112 may generate the degenerate trajectory data 712 and the vehicle may select the degenerate operation.
  • the degeneration operation will be described in detail later.
  • the sensor fusion result 701 output from the operation block 211 is diagnosed with the sensor fusion result output from the operation block 212 being positive.
  • the vehicle control device and system have the following configurations.
  • the fusion process (calculation block 211) using machine learning (for example, DNN) is generated by experience/matching
  • the fusion by the calculation block 212 is preferably generated by a rule-based algorithm.
  • the fusion process using machine learning is based on a causal relationship (eg, DNN) that fluctuates in real time, and the fusion process by the operation block 212 is based on a predetermined correlation (eg, lockstep microcomputer). Therefore, the raw data fusion result can be diagnosed based on the trajectory calculated by the system independent of the fusion processing by machine learning. As a result, it is possible to realize a more reliable diagnosis of the raw data fusion result.
  • the operation block 212 be executed by a highly reliable lockstep microcomputer.
  • the certainty of the raw data fusion result 701 used for trajectory generation of the operation block 211 can be diagnosed based on the object fusion result 702 output by the highly reliable operation block 212. As a result, a highly reliable diagnosis of the raw data fusion result can be performed.
  • the arithmetic block 212 take a majority vote based on the outputs from a plurality of sensors/electronic control processors (which use a principle/method and algorithm different from those of the arithmetic block 211). According to the above configuration, the arithmetic block 212 can perform arithmetic using probable data and is highly reliable.
  • the calculation block 212 needs to use an electronic control processor different from that of the calculation block 211. Even if one sensor or one electronic control processor fails, it is possible to make a correct decision by utilizing other sensors and electronic control processors by majority vote.
  • the plurality of sensors that supply sensor data to the vehicle control device 11 be supplied with power from at least two or more batteries.
  • the camera 1 receives power from the battery A and the radar 2 receives power from the battery B.
  • the vehicle control device 11 can realize the redundancy of the power supply, and can generate the vehicle trajectory with higher reliability.
  • FIG. 3 is a diagram showing the diagnosis and the control flow based on the diagnosis result in the first embodiment.
  • the fusion result 701 by the arithmetic block 211 included in the microcomputer 111 and the fusion result 702 by the arithmetic block 212 included in the microcomputer 112 are compared by the arithmetic block 213 included in the microcomputer 113.
  • the trajectory data 712 generated by the sensor fusion and trajectory in the microcomputer 111 is adopted. Since the track follow-up control is performed in the calculation block 214 based on the data of the raw data fusion result 701 calculated by the microcomputer 111, the vehicle control device 11 transmits an actuator control command for track-following control to the actuator side.
  • degeneration means performing emergency avoidance for functional failure avoidance so that the automatic driving system can continue if one core part is damaged during operation and stops functioning, or when the core part breaks down. In this case, it means to continue automatic driving for a certain period of time, and to evacuate safely so that the driver can safely and smoothly take over the driving.
  • the degenerate orbit refers to a safe evacuation orbit and an emergency evacuation orbit generated to realize the above-described operation.
  • the microcomputer 112 when the arithmetic block 213 detects that a sensor malfunctions, the microcomputer 112 generates a degenerate trajectory, so that the vehicle can be safely stopped.
  • the operation block 211 and the operation block 212 are constantly in parallel and perform operations for trajectory generation by different algorithms. Therefore, even if the calculation block 213 diagnoses that the raw data fusion result 701 of the calculation block 211 is abnormal, it is possible to switch to the trajectory generated by the object data fusion result 702 of the calculation block 212 and suppress the occurrence of a time lag. Is possible.
  • both the arithmetic block 211 and the arithmetic block 212 are advanced processors capable of withstanding a heavy arithmetic load.
  • a degenerate trajectory is generated, a low-cost processor can be used for calculation because a not so sophisticated processor is required. Therefore, if the calculation block 212 is made to perform only the degenerate trajectory generation, the cost of the vehicle control device can be reduced.
  • a first calculation block (calculation block 211) that performs sensor fusion processing based on raw data output from a plurality of external sensors and the raw data output from the plurality of external sensors are processed.
  • a second operation block (operation block 212) that performs a sensor fusion process based on the object data generated by the above, the output result of the first operation block and the output result of the second operation block.
  • a third arithmetic block (arithmetic block 213) for diagnosing the output result of the first arithmetic block is provided. It is assumed that the output result of the operation block 211 has a large amount of information as compared with the output result of the operation block 212.
  • the present embodiment having the above-mentioned configuration makes it possible to judge the output result of the arithmetic block 211 having a large amount of information, based on the highly reliable output result of the arithmetic block 212.
  • the object group around the vehicle output as the sensor fusion result by the second calculation block (calculation block 212) is calculated by the first calculation block (calculation block 211).
  • the first calculation block (calculation block 211) is determined to be abnormal.
  • the object group around the vehicle output as the sensor fusion result by the second calculation block (calculation block 212) is calculated by the first calculation block (calculation block 211).
  • the first calculation block (calculation block 211) is determined to be abnormal.
  • the output of the operation block 211 can be diagnosed based on the highly reliable data with a small amount of information output by the operation block 212, and the operation block 211 is larger than the operation block 212. Even if they have information, it can be diagnosed as normal if the minimum necessary information can be output to each other. As a result, it is possible to generate the trajectory using the information of the calculation block 211 including the highly accurate information while ensuring the reliability.
  • FIG. 4 is a diagram showing an internal configuration (particularly, the microcomputer 111 and the microcomputer 112) of the vehicle control device (first ECU) 11 in the first embodiment, and connections of the sensor and the actuator.
  • the calculation block 211 of the microcomputer 111 performs raw data fusion and outputs a raw data fusion result 701.
  • the present embodiment is provided with a calculation block 212 and a calculation block 213 that output an object fusion result in the microcomputer 112.
  • the operation block 211 and the operation block 212 can be operated by different algorithms. Therefore, the calculation block 213 can collate with highly reliable sensor data. Therefore, the first operation block can generate a trajectory using highly reliable data. Normally, the microcomputer 112 that generates the object data fusion result has a very high reliability in order to ensure safety. Therefore, guarantee of reliability can be expected also in the calculation block 213. The description of the same configuration as that of the first embodiment will be omitted.
  • FIG. 5 is a diagram showing an internal configuration of the vehicle control device (first ECU) 11 and the vehicle control device (second ECU) 12 in the first embodiment, and connections of sensors and actuators.
  • the raw data fusion result 701 is calculated in the arithmetic block 211 of the microcomputer 111 provided in the first ECU.
  • the microcomputer 112 of the second ECU includes a calculation block 212 and a calculation block 213 for calculating the object data fusion result 702. That is, the output of the raw data fusion result 701 and the output of the object data fusion 702 are carried out by different ECUs.
  • the electronic control device has the effect of enabling redundant power supplies and the like and highly reliable diagnosis.
  • the first ECU and the second ECU may have completely different functions.
  • the first ECU may be an automatic vehicle control ECU and the second ECU may be an automatic parking ECU or an ADAS ECU.
  • the description of the same configuration as that of the first embodiment will be omitted.
  • the sensor mounted on the illustrated vehicle is an example of the sensor applicable to the present invention, and the sensor of the vehicle to which the present invention is applicable is not limited.
  • a highly reliable vehicle control device and electronic control system can be realized as a result.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

車両周囲のセンサまたはセンサフュージョンを処理する演算ブロックに動作異常が発生した場合でも、安全に制御移行することができ、信頼性の高い車両制御装置および電子制御システムを実現する。 複数の外界センサから出力されるローデータに基づいてセンサフュージョン処理を行う第１の演算ブロックと、前記複数の外界センサから出力される前記ローデータをそれぞれ処理して生成されたオブジェクトデータに基づいてセンサフュージョン処理を行う第２の演算ブロックと、前記第１の演算ブロックの出力結果と前記第２の演算ブロックの出力結果を用いて、前記第１の演算ブロックの出力結果を診断する第３の演算ブロックを備える。

Description

車両制御装置および電子制御システム
　本発明は、自動運転システムの車両制御装置および電子制御システムに関する。
　高度な自動運転システムの実現に向け、自動運転を制御する上位の制御装置である自動運転ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）は、ＥＣＵ内部の演算処理装置（以下、マイコン）を搭載し、センサフュージョン処理を行うことで車体周囲の物体を検知し、周囲物体の接触を避けるように車両の軌道を決定する機能が要求されている。ここでセンサフュージョン処理とは検出原理の異なる２つ以上のセンサ、例えばカメラの撮像画像やレーダ等の検出データを統合的に処理することによって、単一センサからでは得られない高度な認識機能を実現する技術である。さらに近年、自動運転の高度化に伴い、外界認識の精度向上及びセンサ側処理の低レイテンシ化が求められている。実現の施策として、センサから出力されたローデータを自動運転ＥＣＵ内の演算ブロックに実装したニューラルネットワークに入力することでセンサフュージョン処理を行い、対象物データを出力する制御方法が検討されている。また上記方法を実施する際には、集中処理によるセンサフュージョン出力結果の妥当性についての診断機構が要求される。
　かかる技術として、例えば特許文献１に記載の技術がある。
特表２０１７－５１３１６２号公報
　特許文献１の技術は、各周囲センサから出力される対象物ベースの融合データと、ローデータの融合によるロー対象物データを相互に比較し、その差異がエラー許容範囲外にある場合に、データの破棄ならびに再計算を実施している。
　ここでローデータフュージョンの結果と対象物データフュージョンの結果を比較する際には、それぞれデータ処理方法に違いがあることに起因して、検知可能対象物が異なる場合がある。そのためシーンによっては、お互いに正常な出力であったとしても、検知された対象物に差分が生じる場合がある。したがってローデータフュージョンの結果と対象物データフュージョン結果を単純に比較するだけでは、それぞれのデータの確からしさを診断することは困難である。しかしながら、この点は特許文献１では考慮されていない。本発明は、上記問題点に鑑みなされたものであり、その目的は自動運転制御システムにおけるセンサまたはセンサフュージョン処理する演算ブロックからの出力データを精度よく診断することにある。
　本発明は上記課題を解決するための複数の手段を備えている。例えば本発明の一態様は以下の構成を採用する。
　複数の外界センサから出力されるローデータに基づいてセンサフュージョン処理を行う第１の演算ブロックと、前記複数の外界センサから出力される前記ローデータをそれぞれ処理して生成されたオブジェクトデータに基づいてセンサフュージョン処理を行う第２の演算ブロックと、前記第１の演算ブロックの出力結果と前記第２の演算ブロックの出力結果を用いて、前記第１の演算ブロックの出力結果を診断する第３の演算ブロックを備えることを特徴とする車両制御装置。
　本発明の一態様によれば、安全性の向上が可能な車両制御装置および電子制御システムを実現することができる。
実施例１における車両制御装置（第１ＥＣＵ）１１の内部構成と、センサならびにアクチュエータの接続を示す図である。 実施例１におけるセンサフュージョン結果の診断方法を示す図である。 実施例１における診断ならびに診断結果に基づく制御フローを示す図である。 実施例２における車両制御装置（第１ＥＣＵ）１１の内部構成とセンサならびにアクチュエータの接続を示す図である。 実施例３における車両制御装置（第１ＥＣＵ）11及び車両制御装置（第２ＥＣＵ）１２の内部構成とセンサ並びにアクチュエータの接続を示す図である。
　以下、本発明の実施形態について添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例にすぎず、本発明の技術的範囲を限定するものではない。各図において共通の構成については同一の参照符号が付されている。
　（自動運転システムの構成）
　はじめに本発明が適用される自動運転システム（車両制御システム）の構成(図示しない)について説明する。本発明における自動運転システムは外界センサから得た情報に基づいて車両の挙動を制御する車両制御装置である。
　本発明において、外界センサとは例えばカメラやライダー、レーダ、レーザ等を想定するが、その他のセンサであってもよい。また本発明において車両制御システムは車両に備えられたアクチュエータ群に接続し、アクチュエータ群を駆動させることにより車両を制御する。アクチュエータ群とは、例えばブレーキ制御、エンジン制御、パワーステアリング制御であるが、それに限定されるものではない。
　（実施例１）
　以下、実施例１について図１から図３を用いて、本発明を説明する。
　図１は実施例１における車両制御装置（第１ＥＣＵ）１１の内部構成と、センサならびにアクチュエータの接続を示す図である。
　前述したとおり近年自動運転の実現のため車両制御装置は、より精度が高く情報量が大きいセンサデータを入力し、センサフュージョンを行うことより、高精度な軌道生成を行うことが求められている。
　自車の周辺環境認識に用いられるセンサは複数存在する。例えば画像データを得るためのカメラ、距離データを得るためのライダーやレーダなどである。カメラは路面標識など色認識は高い信頼性を持つが、雨、霧、強い日差しの際、認識が困難という課題がある。
一方で例えばレーダは、距離の検知は有用である一方で、低分解能であるという課題がある。それぞれのセンサには長所、短所が存在し、一つのセンサのみで周辺環境認識をすることはできない。
　ここでセンサフュージョンとは、２つ以上のセンサ、例えばカメラの撮像画像やレーダ等の検出データを統合的に処理することによって、単一センサからでは得られない高度な認識機能を実現する技術である。これまでセンサフュージョンを実施する際は、それぞれのセンサデータを前処理（オブジェクトデータ化）してセンサフュージョンする（オブジェクトデータフュージョン）ことにより、高い信頼性を担保していた。一方で昨今は、より高度な周辺環境認識を行うために各センサから得たローデータをセンサフュージョンする必要性が高まっている。具体的には以下にて説明する。
　本実施例における車両制御装置１１には、各センサから前処理をしていない大量のローデータが入力される。そして車両制御装置１１に備えられたマイコン１１１は各センサから入力されたローデータに基づいて、ローデータフュージョン処理を実施する。具体的にはマイコン１１１の演算ブロック２１１では、各センサから得られたローデータ１０４、２０４、３０４をデータフュージョン処理することにより、ローデータフュージョン結果７０１を生成する。
　車両制御装置１１には、各センサからローデータの他にオブジェクトデータが入力される。第１センサ１、第２センサ２、第３センサ３は、各センサに備えた情報処理部１０２、２０２、３０２にて、各センサデータのオブジェクトデータ１０３、２０３、３０３をそれぞれ生成する。車両制御装置１１に備えられたマイコン１１２は各センサから入力されたオブジェクトデータに基づいて、オブジェクトデータフュージョン処理を実施する。
具体的にはマイコン１１２の演算ブロック２１２では、各センサから得られたオブジェクトデータ１０３、２０３、３０３をデータフュージョン処理することにより、オブジェクトデータフュージョン結果７０２を生成する。例として、以下のようなセンサを用い、フュージョンに係るフローを説明する。
　例えば、カメラ１はセンサ１０１と情報処理部１０２を内蔵するセンサモジュールである。センサ１０１より取得されたローデータは情報処理部１０２及び第１ＥＣＵ内の演算ブロック２１１に送信される。また情報処理部１０２はセンサ１０１より取得されたローデータに基づいてオブジェクトデータを生成する。その後オブジェクトデータ１０３は、第１ＥＣＵ内の演算ブロック２１２に送信される。
　レーダ２はセンサ２０１と情報処理部２０２を内蔵するセンサモジュールである。センサ２０１より取得されたローデータは、情報処理部２０２及び第１ＥＣＵ内の演算ブロック２１１に送信される。また情報処理部２０２は、センサ２０１より取得されたローデータを基にオブジェクトデータ２０３を生成する。その後、オブジェクトデータ２０３は、第１ＥＣＵ内の演算ブロック２１２に送信する。
　レーザ３はセンサ３０１と情報処理部３０２を内蔵するセンサモジュールである。センサ３０１より取得されたローデータは、情報処理部３０２と第１ＥＣＵ内の演算ブロック２１１に送信される。また情報処理部３０２はセンサ３０１より取得されたローデータを基にオブジェクトデータを生成する。その後、オブジェクトデータ３０３は、第１ＥＣＵ内の演算ブロック２１２に送信される。情報処理部の例として、マイコンやＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）が挙げられる。
　上記の通り、演算ブロック２１１にはそれぞれのセンサから得られたデータのローデータが入力される。演算ブロック２１１は、各センサから入力されるローデータを融合し、周囲のオブジェクトデータであるローデータフュージョン結果７０１を生成する。そのため演算ブロック２１１は、大量のデータを一括処理可能である必要がある。ローデータフュージョン結果７０１は、機械学習により出力される。ここでいう機械学習とは、たとえば各センサからのローデータを演算ブロック２１１に設けたＮＮ（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）もしくはＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に入力することにより、ローデータをセンサフュージョンしたローデータフュージョン結果７０１を生成することを指す。ここでＮＮ、ＤＮＮを例とする機械学習により演算されるローデータフュージョン結果７０１は、大量のデータを含むため精度の高い軌道生成が可能となる。演算ブロック２１１は、生成したローデータフュージョン結果７０１をマイコン１１３に送信する。またマイコン１１１は、ローデータフュージョン結果７０１を基に自車周囲の物体の行動予測を行い、行動予測の結果を基に自車の軌道データ７１１を生成し、軌道追従制御部２１４に送信する。
　演算ブロック２１２は、ロックステップ機能を搭載する信頼性の高いマイコン１１２に実装される。ここでロックステップマイコン１１２は、ＣＰＵやメモリを備えており、各系のＣＰＵサブシステムは、クロック単位で完全に同期して動作するように、二重化制御回路によって制御されるものであるため、信頼性が高い。
　マイコン１１２はカメラ１、レーダ２、レーザ３で個々に前処理したオブジェクトデータを扱う。
　カメラ１、レーダ２、レーザ３等各センサに設けられた情報処理部１０２、２０２、３０２にて前処理を行うことにより得られた各オブジェクトデータ１０３、２０３、３０３を演算ブロック２１２にてオブジェクトデータフュージョンすることにより、オブジェクトデータフュージョン結果７０２を生成する。
　その後マイコン１１２は生成したオブジェクトデータフュージョン結果７０２をマイコン１１３へ送信する。またマイコン１１２は、オブジェクトデータフュージョン結果７０２を基に自車周囲の物体の行動予測を行い、行動予測の結果を基に自車の軌道データ７１２を生成し、軌道追従制御部２１４へと送信する。
　本実施例では、演算ブロック２１１が実装される第１のマイコン１１１、演算ブロック２１２が実装される第２のマイコン１１２、比較診断を行う演算ブロック２１３が実装された第３のマイコン１１３を備える車両制御装置の例を示している。
　演算ブロック２１１においてセンサフュージョンしたローデータフュージョン結果７０１と、演算ブロック２１２でセンサフュージョンしたオブジェクトデータフュージョン結果７０２は、演算ブロック２１３が有する比較診断機能によって診断が行われる。そして、演算ブロック２１３の診断結果に基づいて軌道追従制御を行う。具体的な診断については後述する。
　制御追従制御部２１４はマイコン１１１の軌道生成部あるいはマイコン１１２の軌道生成部で演算した軌道情報に基づいて、軌道追従制御指令を生成する。軌道追従制御部２１４は、比較診断の結果、演算ブロック２１１が正常であった場合に、マイコン１１１で生成された軌道データ７１１に基づいて自車両を追従させるように、アクチュエータ制御ＥＣＵ１３、１４、１５への制御指令を生成して送信する。
　また、演算ブロック２１１が異常と診断された場合においてはマイコン１１２で生成された軌道データ７１２に自車両を追従させるように、制御追従制御部２１４はアクチュエータ制御ＥＣＵ１３、１４、１５への制御指令を生成して送信する。
　図２は、実施例１におけるセンサフュージョン結果の診断方法を示す図である。
　図２は自車８０１の近傍に他車８０２、８０３、自車８０１の遠方に他車８０４が走行している場合における自車８０１のセンサフュージョン結果の例を示している。
　図２の左側にある図２－１ａ、図２－１ｂは、各センサより得られるローデータを基に演算ブロック２１１においてセンサフュージョンして得られたローデータフュージョン結果７０１を示す。図２の右側にある図２－２ａ、図２－２ｂは各センサの演算ブロックで処理されたデータを基に演算ブロック２１２によりフュージョンしたオブジェクトデータフュージョン結果７０２を示す。
　ここで、図２の上段が診断結果が正常のケースを示し、下段が診断結果が異常のケースを示している。診断の具体的態様については以下に説明する。
　先述したとおり、各センサ１０１、２０１、３０１から得られたセンサデータは、各センサに備えられた情報処理部１０２、２０２、３０２により情報処理される。前記情報処理により得られた各センサのオブジェクトデータ１０３、２０３、３０３の情報は演算ブロック２１２へ送られる。演算ブロック２１２は、得られた各オブジェクトデータ１０３、２０３、３０３をフュージョンすることにより、オブジェクトデータフュージョン結果７０２を生成する。
　演算ブロック２１２により行われるセンサフュージョンは、センサ側に設けられた演算ブロック（プロセッサ）やロックステップマイコンを用いて行われる。さらに確からしさの検証のため、ロックステップマイコンは各センサから出力されるオブジェクトデータを多数決で採用する等の方策を取るのが望ましい。
　ただし、オブジェクトデータフュージョン結果７０２では、図２－２ａに示すように、自車周辺に走行する他車８０２、８０３の認識については信頼性の高い出力が期待できる。一方で、データがあらかじめ信頼性の担保のため処理されることに起因して、遠方を走行する他車（例えば図２－２ａの他車８０４）の認識をすることは難しい場合がある。
　ここで演算ブロック２１１では、各センサから得られたデータ（例えばデータ１０４、２０４、３０４）を直接得て、ローデータフュージョン処理を行い、ローデータフュージョン結果７０１を出力する。出力の例を図２－１ａに示す。演算ブロック２１１は、各センサからの大量のローデータを扱っているため、認識できる物体群の情報量も多くなる。
ここで物体群とは車両周辺に存在する物体のことを指し、例えば車両や歩行者である。よって、自車の近傍を走行する他車８０２、８０３の認識が可能なだけではなく、図２－１ａでは、図２－２ａでは認識できなかった、遠方を走行する他車８０４も認識することが可能となる。
　基本的に演算ブロック２１２においてセンサフュージョンして生成されるオブジェクトデータフュージョン結果７０２は、大量のローデータが入力される演算ブロック２１１で出力されるデータフュージョン結果７０１と比較して、認識できる周辺の情報量が少ない。ここで演算ブロック２１１により生成されるローデータフュージョン結果７０１は、例えばＬＶＤＳ通信レベルであり１０Ｍｂｐｓ以上のデータ量である。一方、演算ブロック２１２により生成されるオブジェクトフュージョン結果７０２は、例えばＣＡＮ－ＦＤ通信レベルの１０Ｍｂｐｓ未満である。
　演算ブロック２１１と演算ブロック２１２のローデータフュージョン結果７０１、オブジェクトフュージョン結果７０２の出力、認識の確からしさを判断するために、ローデータフュージョン結果７０１、オブジェクトフュージョン結果７０２を単純に照合すると、前述したとおり、データ量や認識できる物体群にいつも相違が発生してしまうことに起因して常に診断では診断結果：異常と判断してしまうことになる。
　そこで、本実施例においては、演算ブロック２１２が複数のプロセッサ及びロックステップマイコンを用いたフローを用いて、近傍の他車の認識について高い信頼性を有することを前提として、演算ブロック２１２で認識された近傍の外界情報の認識と同様の外界情報認識を演算ブロック２１１が認識できているかどうかを診断する。
　具体的には演算ブロック２１２で出力されるオブジェクトフュージョン結果７０２が、演算ブロック２１１で出力されるローデータフュージョン結果７０１に含まれている場合においては診断結果：正常と判定する。演算ブロック２１２で出力されるローデータフュージョン結果７０２が、演算ブロック２１１で出力されるローデータフュージョン結果７０１に含まれていない場合、演算ブロック２１３は診断結果：異常と判定する。
　以下、図２を例に具体的に説明する。
　図２の上段の図では、演算ブロック２１１のローデータフュージョン結果７０１においては遠方の他車８０４を認識している（図２－１ａ）のに対し、演算ブロック２１２では、他車８０４を認識していない（図２－２ａ）が、近傍を走行する車両については双方認識できているため、診断結果：正常とする。
　一方、図２の下段の図では演算ブロック２１２で近傍の他車８０２を認識している（図２－２ｂ）のに対し、演算ブロック２１１で他車８０２を認識していない（図２－１ｂ）。よって、演算ブロック２１３は演算ブロック２１２において生成されるオブジェクトデータフュージョン結果７０２が、演算ブロック２１１において生成されるローデータフュージョン結果７０１に含まれていない場合に診断結果：異常とする。この場合は、ローデータフュージョン結果７０１に誤りがあると判断し、信頼性の高い演算ブロック２１２より出力されたオブジェクトフュージョン結果７０２を正しいとする。
　演算ブロック２１２で計算されたオブジェクトデータフュージョン結果７０２で認識できているにも関わらず、演算ブロック２１１で演算されたローデータフュージョン結果７０１で認識できていない物体がある場合には、演算ブロック２１３は診断結果を異常とする。また、演算ブロック２１２で計算されたオブジェクトデータフュージョン結果７０２で認識できている物体を、演算ブロック２１１で演算されたローデータフュージョン結果７０１で認識できている場合には診断結果を正常と判断する。
　ここで、演算ブロック２１３が演算ブロック２１１の診断結果を異常と診断した場合には、センサの故障や不具合発生の可能性を有する。
　上記のような不具合発生を検知した場合には、好ましくは、演算ブロック２１３もしくは演算ブロック２１１はローデータフュージョン結果７０１の出力を禁止する。あるいは、演算ブロック２１１はローデータフュージョン結果の出力を停止する。演算ブロック２１２により出力された車両の軌道に従い、走行することする。その理由は、演算ブロック２１２の出力に関しては、複数のセンサのデータの確からしさを多数決で判断するため、1つのセンサが故障したとしても、依然として信頼性の高い出力を得ることができるからである。継続して演算ブロック２１２の出力結果を使うことにより、信頼性の高い軌道追従制御が可能となる。
　そして、より好ましくはマイコン１１２において、縮退軌道データ７１２を生成し、車両が縮退動作を選択してもよい。縮退動作については後で詳述する。
　本診断方法では演算ブロック２１２で出力されるセンサフュージョン結果を正として演算ブロック２１１の出力するセンサフュージョン結果７０１を診断している。演算ブロック２１２の出力結果を正とするために、車両制御装置、システムは以下のような構成を備えることが望ましい。
　機械学習（例えばＤＮＮ）を用いたフュージョン処理(演算ブロック２１１)は経験・マッチングでの生成であるのに対し、演算ブロック２１２によるフュージョンはルールベースのアルゴリズムで生成されるものであることが望ましい。機械学習を用いたフュージョン処理はリアルタイムで変動する因果関係（例えばＤＮＮ）に基づくものであり、演算ブロック２１２によるフュージョン処理は、あらかじめ定められた相関関係（例えばロックステップマイコン）に基づくものである。そのため、機械学習によるフュージョン処理とは独立した系により算出された軌道に基づき、ローデータフュージョン結果の診断が可能となる。その結果、より信頼性の高いローデータフュージョン結果の診断の実現が可能となる。
　演算ブロック２１２は、信頼性の高いロックステップマイコンで実行されることが望ましい。演算ブロック２１１の軌道生成に用いられるローデータフュージョン結果７０１の確からしさを、信頼性の高い演算ブロック２１２の出力するオブジェクトフュージョン結果７０２に基づいて診断することができる。その結果、信頼性の高いローデータフュージョン結果の診断を行うことができる。
　また演算ブロック２１２は、複数のセンサ・電子制御プロセッサ(演算ブロック２１１とは異なる原理・方式、アルゴリズムを用いるもの)からの出力に基づいて多数決を取ることが望ましい。上記の構成によると、演算ブロック２１２は確からしいデータを用いて演算を行うことが可能となり信頼性が高い。
　演算ブロック２１２は、演算ブロック２１１とは異なる電子制御プロセッサを用いることが必要である。ひとつのセンサあるいはひとつの電子制御プロセッサが故障した場合であっても、多数決により、他のセンサ、電子制御プロセッサを活かし、正しく判断することが可能となる。
　車両制御装置１１にセンサデータを供給する複数のセンサは、少なくとも２つ以上のバッテリから電源を供給されていることが望ましい。例えばカメラ１はバッテリＡ、レーダ２はバッテリＢから電源供給を受ける。この構成により車両制御装置１１は電源の冗長化を実現することが可能となり、より信頼性の高い車両軌道生成を行うことが可能となる。
　図３は実施例１における診断ならびに診断結果に基づく制御フローを示す図である。マイコン１１１に備えられた演算ブロック２１１によるフュージョン結果７０１とマイコン１１２に備えられた演算ブロック２１２によるフュージョン結果７０２は、マイコン１１３に備えられた演算ブロック２１３により比較される。
　ここで正常と判定した場合には、マイコン１１１においてセンサフュージョンならびに軌道生成した軌道データ７１２が採用される。マイコン１１１において演算されたローデータフュージョン結果７０１のデータを基に演算ブロック２１４にて軌道追従制御を行うため、車両制御装置１１より軌道追従制御のためのアクチュエータ制御指令がアクチュエータ側に送信される。
　一方で、演算ブロック２１１で出力されるセンサフュージョンして生成されるローデータフュージョン結果７０１が、演算ブロック２１２で出力されるセンサフュージョンして生成されるオブジェクトデータフュージョン結果７０２に含まれていない場合に異常と診断する。ここで、演算ブロック２１３が演算ブロック２１１の演算結果を異常と診断した場合は、マイコン１１２においてセンサフュージョンならびに軌道生成した軌道データ７１２が採用され、このデータを基に演算ブロック２１４にて軌道追従制御のためのアクチュエータ駆動指令（アクチュエータ制御指令）がアクチュエータＥＣＵへ送信される。
　ここで、演算ブロック２１３において、演算ブロック２１１により演算されたローデータフュージョン結果７０１の出力が異常であると診断された場合には、各センサ異常が生じている可能性がある。そのような状態のまま走行を続けるリスクは高い。そのため診断結果が異常と判断された場合には、図示したマイコン１１２による生成軌道データ７１１は縮退軌道を生成することが可能である。ここで縮退とは、運転中にひとつの基幹部品が破損して機能停止に陥る場合に自動運転システムが継続できるよう機能不全回避用の緊急回避を行うこと、あるいは基幹部品の破損による機能停止時においても、一定期間自動運転を継続し、安全かつスムーズにドライバーへ運転を引き継ぐよう、安全に退避することを指す。また縮退軌道とは上記のような動作を実現するために生成する安全退避軌道、緊急退避軌道のことを指す。上記のような構成を有することにより、センサに不具合が生じたと演算ブロック２１３が検知した場合は、マイコン１１２は縮退軌道を生成するため、安全に停車することが可能となる。
　本実施例において、演算ブロック２１１と演算ブロック２１２は絶え間なく、並列してそれぞれ別のアルゴリズムにより、軌道生成のための演算を実施している。そのため、もしも演算ブロック２１１のローデータフュージョン結果７０１について演算ブロック２１３が異常と診断した場合においても演算ブロック２１２でのオブジェクトデータフュージョン結果７０２の生成した軌道へスイッチすることが可能となり、タイムラグ発生の抑制が可能となる。
　また演算ブロック２１２においても演算ブロック２１１で行っているような高度な演算処理を行う場合（完全冗長系の場合）、演算ブロック２１１、演算ブロック２１２の両方が、重い演算負荷に耐えうる高度なプロセッサである必要がある。しかしながら縮退軌道の生成を行う場合は、それほど高度なプロセッサは要求されないため、低コストなプロセッサで演算可能である。そのため演算ブロック２１２を縮退軌道生成のみ行わせることにすると、車両制御装置の低コスト化が可能となる。
　この構成により、センサあるいはセンサに設けられた各マイコン、各演算ブロックの異常に起因する不安定な軌道追従制御を防止することが可能となる。
　本実施例は、複数の外界センサから出力されるローデータに基づいてセンサフュージョン処理を行う第１の演算ブロック（演算ブロック２１１）と、前記複数の外界センサから出力される前記ローデータをそれぞれ処理して生成されたオブジェクトデータに基づいてセンサフュージョン処理を行う第２の演算ブロック（演算ブロック２１２）と、前記第１の演算ブロックの出力結果と前記第２の演算ブロックの出力結果を用いて、前記第１の演算ブロックの出力結果を診断する第３の演算ブロック（演算ブロック２１３）を備える。
演算ブロック２１１の出力結果は、演算ブロック２１２の出力結果と比較すると、情報量が多いことが想定される。しかし演算ブロック２１１と演算ブロック２１２の出力結果を単純比較することとなれば、それらの情報量の違いから、お互いが正常な出力であったとしても差分が生じてしまうため、ほとんどの出力を破棄することになりかねない。そこで本実施例は上記のような構成を有することにより、演算ブロック２１２の信頼性の高い出力結果に基づいて、情報量の多い演算ブロック２１１の出力結果を判断することが可能となる。
　好ましくは第３の演算ブロック（演算ブロック２１３）は、第２の演算ブロック（演算ブロック２１２）によるセンサフュージョン結果として出力される車両周辺の物体群が、第１の演算ブロック（演算ブロック２１１）によるセンサフュージョン結果として出力される車両周辺の物体群に含まれていない場合に第１の演算ブロック（演算ブロック２１１）を異常であると判断する。また、第３の演算ブロック（演算ブロック２１３）は、第２の演算ブロック（演算ブロック２１２）によるセンサフュージョン結果として出力される車両周辺の物体群が、第１の演算ブロック（演算ブロック２１１）によるセンサフュージョン結果として出力される車両周辺の物体群に含まれている場合に第１の演算ブロック（演算ブロック２１１）を異常であると判断する。上記の構成を有することにより、演算ブロック２１２で出力される信頼性が高く情報量の少ないデータに基づき、演算ブロック２１１の出力を診断することが可能となり、演算ブロック２１１が演算ブロック２１２よりも大きな情報を持っていたとしても、必要最小限の情報をお互いに出力できていれば正常と診断することができる。その結果、信頼性を担保したうえで、高精度の情報を含む演算ブロック２１１の情報を用いた軌道生成を行うことが可能となるという効果を奏する。
　（実施例２）
　図４は実施例１における車両制御装置（第１ＥＣＵ）１１の内部構成（特にマイコン１１１、マイコン１１２）と、センサならびにアクチュエータの接続を示す図である。
　本実施例において、自動運転システムの軌道生成に関わる演算は、実施例１と同様、すべて第１ＥＣＵ内で行われる。マイコン１１１の演算ブロック２１１においてローデータフュージョンを行い、ローデータフュージョン結果７０１を出力する。
　ここで本実施例では、実施例１とは異なり、マイコン１１２内にオブジェクトフュージョン結果を出力する演算ブロック２１２と演算ブロック２１３を備える。
　このような構成を備えることにより、演算ブロック２１１と演算ブロック２１２は別のアルゴリズムで演算することが可能となる。そのため演算ブロック２１３は、より信頼性の高いセンサデータと照合することが可能となる。よって第１の演算ブロックは信頼性の高いデータを用いた軌道生成が可能となる。通常、オブジェクトデータフュージョン結果を生成するマイコン１１２は安全性を担保するため、非常に信頼性の高いものが用いられる。そのため、演算ブロック２１３においても信頼性の担保が期待できる。なお、実施例１と同様の構成につき説明は省略する。
　（実施例３）
　図５は実施例１における車両制御装置（第１ＥＣＵ）１１、車両制御装置(第２ＥＣＵ)１２の内部構成と、センサ並びにアクチュエータの接続を示す図である。
　本実施例においては、第１ＥＣＵ内に備えられたマイコン１１１の演算ブロック２１１においてローデータフュージョン結果７０１を算出する。第２ＥＣＵのマイコン１１２はオブジェクトデータフュージョン結果７０２を算出する演算ブロック２１２と演算ブロック２１３を備える。すなわちローデータフュージョン結果７０１と、オブジェクトデータフュージョン７０２の出力が別々のＥＣＵにより実施されることとなる。
　この構成により、電子制御装置は、電源等の冗長化及び信頼性の高い診断が可能になるという効果を有する。
　ここで、第１ＥＣＵと第２ＥＣＵは全く別の機能を有するものあってもよい。例えば、第１ＥＣＵは自動運転の車両制御用ＥＣＵ、第２ＥＣＵは自動駐車用やＡＤＡＳ用ＥＣＵであってもよい。なお、実施例１と同様の構成につき説明は省略する。
　以上に述べたとおり、発明者は実施例1～３を例として本発明を説明した。図示の車両に搭載のセンサは、本発明に適用可能なセンサの一例であって、本発明を適用可能な車両のセンサを限定するものではない。
　以上のように、本実施例によれば結果的に信頼性の高い車両制御装置および電子制御システムを実現することが可能となる。
１・・・カメラ
２・・・レーダ
３・・・レーザ
１１・・・車両制御装置
１３・・・第３ＥＣＵ
１４・・・第４ＥＣＵ
１５・・・第５ＥＣＵ
１０１・・・センサ１
２０１・・・センサ２
３０１・・・センサ３
１０２・・・センサ１の情報処理部
２０２・・・センサ２の情報処理部
３０２・・・センサ３の情報処理部
１０３・・・第１センサより出力されたオブジェクトデータ
２０３・・・第２センサより出力されたオブジェクトデータ
３０３・・・第３センサより出力されたオブジェクトデータ
１０４・・・第１センサより出力されたローデータ
２０４・・・第２センサより出力されたローデータ
３０４・・・第３センサより出力されたローデータ
２１１・・・演算ブロック１
２１２・・・演算ブロック２
２１３・・・演算ブロック３（診断用ブロック）
２１４・・・制御指令生成部
７０１・・・ローデータフュージョン結果
７０２・・・オブジェクトデータフュージョン結果
７１１・・・ローデータフュージョン結果を基に生成した軌道データ
７１２・・・オブジェクトデータフュージョン結果を基に生成した軌道データ

Claims (19)

  1. 　複数の外界センサから出力されるローデータに基づいてセンサフュージョン処理を行う第１の演算ブロックと、
    　前記複数の外界センサから出力される前記ローデータをそれぞれ処理して生成されたオブジェクトデータに基づいてセンサフュージョン処理を行う第２の演算ブロックと、
    　前記第１の演算ブロックの出力結果と前記第２の演算ブロックの出力結果を用いて、前記第１の演算ブロックの出力結果を診断する第３の演算ブロックを備えることを特徴とする車両制御装置。
  2. 　請求項１に記載の車両制御装置において、
    　前記第３の演算ブロックは、前記第２の演算ブロックによるセンサフュージョン結果として出力される車両周辺の物体群が、前記第１の演算ブロックによるセンサフュージョン結果として出力される車両周辺の物体群に含まれていない場合に前記第１の演算ブロックを異常と診断する車両制御装置。
  3. 　請求項１に記載の車両制御装置において、
    　前記第２の演算ブロックは、前記複数の外界センサから出力される前記ローデータをそれぞれ処理して生成されたオブジェクトデータに基づいてセンサフュージョン処理を行うものであって、
    　前記第３の演算ブロックは、前記第２の演算ブロックによるセンサフュージョン結果として出力される車両周辺の物体群が、前記第１の演算ブロックによるセンサフュージョン結果として出力される車両周辺の物体群に含まれている場合に前記第１の演算ブロックを正常と診断する車両制御装置。
  4. 　請求項１に記載の車両制御装置において、
    　前記第１の演算ブロックには、
    　前記複数の外界センサから出力されたデータを入力する機械学習部が設けられ、
    　前記機械学習部に前記ローデータが入力されることにより前記センサフュージョン結果が出力され、
    　前記第２の演算ブロックにおいては、前記複数の外界センサから出力された前記ローデータをそれぞれ処理して得られるオブジェクトデータが入力され、前記オブジェクトデータをセンサフュージョン処理することによりオブジェクトデータフュージョン結果が出力され、
    　前記オブジェクトデータフュージョン結果を正として、前記ローデータフュージョン結果を診断することを特徴とする車両制御装置。
  5. 　請求項１乃至４の何れかに記載の車両制御装置において、
    　前記第２の演算ブロックはロックステップマイコンを用いることを特徴とする車両制御装置。
  6. 　請求項５に記載の車両制御装置において、
    　前記ロックステップマイコンは前記複数の外界センサから出力されたデータを比較し多数決を取り、採用されたデータに基づいてオブジェクトデータフュージョン処理を行うことを特徴とする車両制御装置。
  7. 　請求項１乃至４の何れかに記載の車両制御装置において、
    　前記第３の演算ブロックが前記第１の演算ブロックを異常と判断した場合、前記第２の演算ブロックにより出力されたセンサフュージョン結果に基づき前記第２のマイコンで生成した軌道を用いて車両追従制御を行うことを特徴とする車両制御装置。
  8. 　請求項１乃至４の何れかに記載の車両制御装置において、
    　前記第２のマイコンで生成された軌道は縮退軌道であることを特徴とする車両制御装置。
  9. 　請求項１に記載の車両制御装置において、
    　前記第２の演算ブロックは前記外界センサ内の演算ブロックにて前処理されたデータを基にセンサフュージョン処理を行うことを特徴とする車両制御装置。
  10. 　請求項１に記載の車両制御装置において、
    　前記第２の演算ブロックに入力されるデータは、前記外界センサ内の演算ブロックにて生成される物体認識データであることを特徴とする車両制御装置。
  11. 　請求項１に記載の車両制御装置において、
    　前記車両制御装置は、
    　前記第１の演算ブロックを有する第１のマイコンと、
    　前記第２の演算ブロックと前記第３の演算ブロックを有する第２のマイコンを備えることを特徴とする車両制御装置。
  12. 　請求項１に記載の車両制御装置において、
    　前記車両制御装置は、
    　前記第１の演算ブロックを有する第１のマイコンと、
    　前記第２の演算ブロックを有する第２のマイコンと、
    　前記第３の演算ブロックを有する第３のマイコンと、を備えることを特徴とする車両制御装置。
  13. 　請求項１乃至４の何れかに記載の車両制御装置において、
    　前記第１の演算ブロックと前記第２の演算ブロックの電源はそれぞれ独立していることを特徴とする車両制御装置。
  14. 　請求項２乃至３の何れかに記載の車両制御装置において、
    　前記第３の演算ブロックは、前記第１の演算ブロックを異常と診断した場合、前記第１の演算ブロックで演算した前記センサフュージョン結果の出力を禁止することを特徴とする車両制御装置。
  15. 　請求項２乃至３の何れかに記載の車両制御装置において、
    　前記第３の演算ブロックが前記第１の演算ブロックを異常と診断した場合、第１の演算ブロックは、第１の演算ブロックで演算した前記センサフュージョン結果の出力を停止することを特徴とする車両制御装置。
  16. 　請求項１１又は１２の何れかに記載の車両制御装置において
    　前記第１のマイコン及び前記第２のマイコンは、前記センサフュージョン結果に基づいてそれぞれ車両追従軌道を生成すること特徴とする車両制御装置。
  17. 　請求項１１又は１２に記載の車両制御装置において、
    　前記第１のマイコン及び前記第２のマイコンは、前記センサフュージョン結果に基づいてそれぞれ車両追従軌道を生成し、
    　前記第３の演算ブロックが前記第１の演算ブロックを正常と診断している限りにおいて、前記第１のマイコンの出力する車両追従軌道に基づいて車両を制御することを特徴とする車両制御装置。
  18. 　請求項４に記載の車両制御装置において、
    　前記機械学習部はディープニューラルネットのアルゴリズムを用いるものであることを特徴とする車両制御装置。
  19. 　複数の外界センサから出力されるローデータに基づいてセンサフュージョン処理を行う第１の演算部と、
    　前記複数の外界センサから出力される前記ローデータをそれぞれ処理して生成されたオブジェクトデータに基づいてセンサフュージョン処理を行う第２の演算部と、
    　前記第１の演算部の出力結果と前記第２の演算部の出力結果を用いて、前記第１の演算部の出力結果を診断する第３の演算部を備えることを特徴とする車両制御システム。
PCT/JP2020/000947 2019-02-13 2020-01-15 車両制御装置および電子制御システム WO2020166253A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/425,525 US20220089179A1 (en) 2019-02-13 2020-01-15 Vehicle control device and electronic control system
JP2020572126A JP7078763B2 (ja) 2019-02-13 2020-01-15 車両制御装置および電子制御システム
CN202080006374.8A CN113412506B (zh) 2019-02-13 2020-01-15 车辆控制装置及电子控制系统
JP2022082088A JP7281000B2 (ja) 2019-02-13 2022-05-19 車両制御方法および車両制御システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-023118 2019-02-13
JP2019023118 2019-02-13

Publications (1)

Publication Number Publication Date
WO2020166253A1 true WO2020166253A1 (ja) 2020-08-20

Family

ID=72045564

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/000947 WO2020166253A1 (ja) 2019-02-13 2020-01-15 車両制御装置および電子制御システム

Country Status (4)

Country Link
US (1) US20220089179A1 (ja)
JP (2) JP7078763B2 (ja)
CN (1) CN113412506B (ja)
WO (1) WO2020166253A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210405759A1 (en) * 2020-06-24 2021-12-30 AR & NS Investment, LLC Cross-correlation system and method for spatial detection using a network of RF repeaters
JP2022000775A (ja) * 2021-03-05 2022-01-04 アポロ インテリジェント コネクティビティ (ベイジン) テクノロジー カンパニー リミテッドApollo Intelligent Connectivity (Beijing) Technology Co., Ltd. 交通流監視測定システムのテスト方法、装置及び機器
US11476894B2 (en) 2019-12-10 2022-10-18 AR & NS Investment, LLC Edge communication system with cascaded repeater devices over wired medium
US11637618B2 (en) 2020-06-24 2023-04-25 AR & NS Investment, LLC Managing a network of radio frequency (RF) repeater devices
US11646785B2 (en) 2020-06-24 2023-05-09 AR & NS Investment, LLC Phase noise removal in a network of radio frequency (RF) repeaters
US11711126B2 (en) 2020-06-24 2023-07-25 AR & NS Investment, LLC Wireless communication system based on mmWave RF repeaters

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220052163A (ko) * 2020-10-20 2022-04-27 주식회사 에이치엘클레무브 전자 제어 장치 및 방법
US11789542B2 (en) * 2020-10-21 2023-10-17 International Business Machines Corporation Sensor agnostic gesture detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017207348A (ja) * 2016-05-18 2017-11-24 三菱電機株式会社 レーダ装置およびこれを用いたセンサフュージョン装置
JP2018060281A (ja) * 2016-10-03 2018-04-12 日立オートモティブシステムズ株式会社 車載処理装置
JP2018184021A (ja) * 2017-04-24 2018-11-22 日立オートモティブシステムズ株式会社 車両の電子制御装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002207077A (ja) * 2001-01-09 2002-07-26 Hitachi Ltd 車載レーダ走行支援装置
US7249268B2 (en) * 2004-06-29 2007-07-24 Intel Corporation Method for performing performance optimization operations for a processor having a plurality of processor cores in response to a stall condition
JP4595833B2 (ja) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
JP5470762B2 (ja) * 2008-07-08 2014-04-16 富士通株式会社 物体検出装置、物体検出プログラム、および物体検出方法
JP4969628B2 (ja) * 2009-09-29 2012-07-04 本田技研工業株式会社 走行区分線検出装置
JP5416630B2 (ja) * 2010-03-24 2014-02-12 株式会社日立製作所 移動体異常判断支援システム
US8639426B2 (en) * 2010-07-15 2014-01-28 George C Dedes GPS/IMU/video/radar absolute/relative positioning communication/computation sensor platform for automotive safety applications
DE102014205180A1 (de) * 2014-03-20 2015-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
CN106408940B (zh) * 2016-11-02 2023-04-14 南京慧尔视智能科技有限公司 基于微波和视频数据融合的交通检测方法及装置
US10073456B2 (en) * 2016-11-17 2018-09-11 GM Global Technology Operations LLC Automated co-pilot control for autonomous vehicles
CN108196535B (zh) * 2017-12-12 2021-09-07 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统
CN108447256B (zh) * 2018-03-22 2023-09-26 连云港杰瑞电子有限公司 基于电警和定点检测器数据融合的干道车辆轨迹重构方法
CN109212513B (zh) * 2018-09-29 2021-11-12 河北德冠隆电子科技有限公司 多目标在雷达间数据传递、数据融合及连续跟踪定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017207348A (ja) * 2016-05-18 2017-11-24 三菱電機株式会社 レーダ装置およびこれを用いたセンサフュージョン装置
JP2018060281A (ja) * 2016-10-03 2018-04-12 日立オートモティブシステムズ株式会社 車載処理装置
JP2018184021A (ja) * 2017-04-24 2018-11-22 日立オートモティブシステムズ株式会社 車両の電子制御装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11476894B2 (en) 2019-12-10 2022-10-18 AR & NS Investment, LLC Edge communication system with cascaded repeater devices over wired medium
US20210405759A1 (en) * 2020-06-24 2021-12-30 AR & NS Investment, LLC Cross-correlation system and method for spatial detection using a network of RF repeaters
US11637618B2 (en) 2020-06-24 2023-04-25 AR & NS Investment, LLC Managing a network of radio frequency (RF) repeater devices
US11646785B2 (en) 2020-06-24 2023-05-09 AR & NS Investment, LLC Phase noise removal in a network of radio frequency (RF) repeaters
US11711126B2 (en) 2020-06-24 2023-07-25 AR & NS Investment, LLC Wireless communication system based on mmWave RF repeaters
US11989965B2 (en) 2020-06-24 2024-05-21 AR & NS Investment, LLC Cross-correlation system and method for spatial detection using a network of RF repeaters
JP2022000775A (ja) * 2021-03-05 2022-01-04 アポロ インテリジェント コネクティビティ (ベイジン) テクノロジー カンパニー リミテッドApollo Intelligent Connectivity (Beijing) Technology Co., Ltd. 交通流監視測定システムのテスト方法、装置及び機器
JP7348243B2 (ja) 2021-03-05 2023-09-20 阿波▲羅▼智▲聯▼（北京）科技有限公司 交通流監視測定システムのテスト方法、装置及び機器

Also Published As

Publication number Publication date
JP2022107660A (ja) 2022-07-22
CN113412506B (zh) 2023-06-13
JPWO2020166253A1 (ja) 2021-10-14
JP7281000B2 (ja) 2023-05-24
CN113412506A (zh) 2021-09-17
JP7078763B2 (ja) 2022-05-31
US20220089179A1 (en) 2022-03-24

Similar Documents

Publication Publication Date Title
WO2020166253A1 (ja) 車両制御装置および電子制御システム
US11352019B2 (en) Electronic control device for vehicle
CN110709303B (zh) 车辆控制装置
JP6388871B2 (ja) ドライバー・アシスタント・アプリケーション用の方法
US9606537B2 (en) Fail-safe EE architecture for automated driving
CN109562764B (zh) 车辆控制装置
JP2022107660A5 (ja) 車両制御方法および車両制御システム
JP6381678B2 (ja) 車両の、少なくとも半自動化された走行機能を果たすシステムを監視するための方法、装置、監視システムおよびコンピュータプログラム
CN110116751B (zh) 基于冗余架构控制车辆的设备和方法
WO2019142563A1 (ja) 電子制御装置
CN107531250A (zh) 车辆安全电子控制系统
KR102452555B1 (ko) 차량 고장 처리 제어 장치 및 그 방법
CN110785742A (zh) 用以依赖于状态信号驱控车辆模块的设备和方法
CN110770707A (zh) 用于驱控车辆模块的设备和方法
US9221492B2 (en) Method for operating an electrical power steering mechanism
EP3998182B1 (en) Vehicle control system
JP2020537277A (ja) 車両を運転するための方法およびシステム
US20230192139A1 (en) Method and system for addressing failure in an autonomous agent
US20210094559A1 (en) Fault-tolerant embedded automotive applications through cloud computing
US20220032966A1 (en) On-vehicle control apparatus and on-vehicle control system
EP4001040B1 (en) Vehicle control system
WO2021234947A1 (ja) 車両制御システム、車両統合制御装置、電子制御装置、ネットワーク通信装置、車両制御方法、および、車両制御プログラム
US20220402512A1 (en) Method and system for operating an at least partially automated vehicle
CN117425881A (zh) 用于车辆的控制装置以及辅助系统
CN117980886A (zh) 用于基于移动平台的环境的生成的环境模型来提供输出信号的系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20755725

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020572126

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20755725

Country of ref document: EP

Kind code of ref document: A1