WO2020183568A1 - 運転支援装置及び運転支援方法 - Google Patents

運転支援装置及び運転支援方法 Download PDF

Info

Publication number
WO2020183568A1
WO2020183568A1 PCT/JP2019/009688 JP2019009688W WO2020183568A1 WO 2020183568 A1 WO2020183568 A1 WO 2020183568A1 JP 2019009688 W JP2019009688 W JP 2019009688W WO 2020183568 A1 WO2020183568 A1 WO 2020183568A1
Authority
WO
WIPO (PCT)
Prior art keywords
reliability
unit
driving support
result
support device
Prior art date
Application number
PCT/JP2019/009688
Other languages
English (en)
French (fr)
Inventor
善彦 森
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2021504642A priority Critical patent/JP7113958B2/ja
Priority to CN201980093310.3A priority patent/CN113519020B/zh
Priority to PCT/JP2019/009688 priority patent/WO2020183568A1/ja
Priority to DE112019007012.6T priority patent/DE112019007012T5/de
Priority to US17/433,010 priority patent/US20220161810A1/en
Publication of WO2020183568A1 publication Critical patent/WO2020183568A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B60W50/045—Monitoring control system parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B60W2050/041—Built in Test Equipment [BITE]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present invention relates to a vehicle driving support device and a driving support method.
  • the conventional driving support device machine-learns the correspondence between the information acquired from the sensor mounted on the vehicle and the support information for controlling the vehicle.
  • the reliability of the support information is evaluated based on the reliability of the sensor (see, for example, Patent Document 1).
  • the calculation performed by the machine learning algorithm is a black box, and the support information output by the machine learning algorithm is premised on having uniform reliability. In this way, the conventional driving support device does not evaluate the reliability of the support information output by the machine learning algorithm, so that the vehicle may behave unexpectedly based on the support information with low reliability. There was a challenge.
  • the present invention has been made to solve the above problems, and an object of the present invention is to suppress the occurrence of unexpected behavior of the vehicle due to machine learning.
  • the driving support device controls a vehicle by using a sensor acquisition unit that acquires the output result of a sensor mounted on the vehicle and a machine learning algorithm that inputs the output result acquired by the sensor acquisition unit.
  • the calculation unit that calculates the inference result of, the reliability estimation unit that estimates the reliability of the inference result calculated by the calculation unit, and the inference result calculated by the calculation unit with the reliability estimated by the reliability estimation unit.
  • it is provided with a control output unit that outputs as vehicle control information.
  • the reliability of the inference result calculated by using the machine learning algorithm that inputs the output result of the sensor acquisition unit is estimated, so that the occurrence of unexpected behavior of the vehicle due to machine learning is suppressed. can do.
  • FIG. It is a block diagram which shows the structural example of the driving support apparatus which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the operation example of the driving support apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the structural example of the driving support apparatus which concerns on Embodiment 2.
  • FIG. It is a flowchart which shows the operation example of the driving support apparatus which concerns on Embodiment 2.
  • It is a relative frequency distribution graph which shows the distribution example of the inference result in Embodiment 2.
  • It is a block diagram which shows the structural example of the driving support apparatus which concerns on Embodiment 3.
  • FIG. 1 is a block diagram showing a configuration example of the driving support device 10 according to the first embodiment.
  • the vehicle 1 is equipped with a sensor 2, a vehicle control unit 3, and a driving support device 10.
  • the driving support device 10 includes a sensor acquisition unit 11, a reliability estimation unit 12, a teacher data storage unit 13, a calculation unit 14, and a control output unit 15.
  • a sensor 2 and a vehicle control unit 3 are connected to the driving support device 10.
  • the sensor 2 detects the surrounding environment of the vehicle 1.
  • the sensor 2 is, for example, a camera that images the surroundings of the vehicle 1 or a millimeter-wave radar that detects an object existing around the vehicle 1.
  • the sensor 2 is not limited to one sensor or one type of sensor, and may be composed of a plurality of sensors or a plurality of types of sensors.
  • FIG. 2 is a flowchart showing an operation example of the driving support device 10 according to the first embodiment.
  • the driving support device 10 starts the operation shown in the flowchart of FIG. 2, and repeats the operation until the ignition switch is turned off.
  • the sensor acquisition unit 11 acquires the information detected by the sensor 2 and integrates the acquired information to generate peripheral environment information indicating the surrounding environment of the vehicle 1.
  • the sensor acquisition unit 11 outputs the surrounding environment information to the reliability estimation unit 12 and the calculation unit 14.
  • the surrounding environment information is information that can recognize the state of other vehicles or pedestrians existing around the vehicle 1, the terrain around the vehicle 1, obstacles, and the like. Further, the surrounding environment information may be raw data output by the sensor 2 or information abstracted by some processing.
  • the abstracted information is, for example, a chart in which peripheral objects and the like are plotted in a coordinate system corresponding to the peripheral space of the vehicle 1.
  • step ST12 the calculation unit 14 calculates the inference result for controlling the vehicle 1 by using a machine learning algorithm that inputs the surrounding environment information from the sensor acquisition unit 11.
  • the machine learning algorithm is, for example, a neural network or a multi-layer neural network (deep learning).
  • the inferred result is, for example, the amount of depression of the brake or accelerator, or the steering angle of the steering wheel.
  • the calculation unit 14 outputs the calculated inference result to the control output unit 15.
  • the reliability estimation unit 12 compares the surrounding environment information from the sensor acquisition unit 11 with the teacher data stored in the teacher data storage unit 13 to obtain the similarity between the two.
  • the teacher data storage unit 13 stores the teacher data used when learning the machine learning algorithm of the arithmetic unit 14. For example, the reliability estimation unit 12 calculates the feature amount of the teacher data by performing statistical processing on the teacher data. Similarly, the reliability estimation unit 12 calculates the feature amount of the surrounding environment information by performing statistical processing on the surrounding environment information. Then, the reliability estimation unit 12 calculates a correlation value between the feature amount of the teacher data and the feature amount of the surrounding environment information, and sets the correlation value as the similarity value.
  • the statistical processing for calculating the feature amount is, for example, a processing for calculating an average value or a dimensional compression processing by an Autoencoder.
  • the teacher data storage unit 13 may be configured to store the feature amount of the teacher data instead of the teacher data.
  • the reliability estimation unit 12 estimates the reliability of the inference result calculated by the calculation unit 14 using the peripheral environment information based on the similarity between the teacher data and the surrounding environment information.
  • the reliability estimation unit 12 outputs the estimated reliability to the control output unit 15.
  • the reliability estimation unit 12 estimates the reliability of the inference result higher as the degree of similarity is higher.
  • the reliability estimation unit 12 estimates the discrete reliability (for example, the reliability of levels 1 to 5) by comparing and determining the similarity and a predetermined threshold value.
  • the reliability estimation unit 12 may perform polynomial transformation processing on the similarity to estimate continuous reliability (for example, reliability from 0% to 100%).
  • step ST15 the control output unit 15 adds the reliability from the reliability estimation unit 12 to the inference result from the calculation unit 14 to generate vehicle control information.
  • the control output unit 15 outputs vehicle control information to the vehicle control unit 3.
  • the vehicle control unit 3 controls the behavior of the vehicle 1 by using the inference result included in the vehicle control information from the control output unit 15.
  • the vehicle control unit 3 changes the control content according to the reliability added to the inference result. For example, if the reliability is equal to or higher than a predetermined threshold value, the vehicle control unit 3 controls the behavior of the vehicle 1 by using the inference result to which the reliability is added, and the reliability is the predetermined threshold value. If it is less than, the inference result to which this reliability is added is discarded and the behavior is not controlled.
  • the driving support device 10 includes a sensor acquisition unit 11, a calculation unit 14, a reliability estimation unit 12, and a control output unit 15.
  • the sensor acquisition unit 11 acquires the output result of the sensor 2 mounted on the vehicle 1.
  • the calculation unit 14 calculates an inference result for controlling the vehicle 1 by using a machine learning algorithm that inputs the output result of the sensor 2 acquired by the sensor acquisition unit 11.
  • the reliability estimation unit 12 obtains the similarity between the output result acquired by the sensor acquisition unit 11 and the teacher data used for learning the machine learning algorithm, and the inference result calculated by the calculation unit 14 based on the similarity. Estimate reliability.
  • the control output unit 15 adds the reliability estimated by the reliability estimation unit 12 to the inference result calculated by the calculation unit 14 and outputs it as vehicle control information.
  • the driving support device 10 can estimate the reliability of the inference result of the machine learning algorithm. Therefore, the driving support device 10 can suppress the occurrence of unexpected behavior of the vehicle 1 when the reliability of the inference result of the machine learning algorithm is low due to immature learning or the like.
  • the reliability estimation unit 12 may be configured to obtain the similarity between the feature amount of the output result of the sensor 2 acquired by the sensor acquisition unit 11 and the feature amount of the teacher data. Good. With this configuration, the capacity of the teacher data storage unit 13 for storing teacher data can be reduced.
  • Embodiment 2 the reliability of the inference result is estimated based on the similarity between the surrounding environment information which is the output result of the sensor 2 and the teacher data used for learning the machine learning algorithm. However, in the second embodiment, the reliability of the inference result is estimated. , Estimate the reliability of the inference result based on the trial result when the machine learning algorithm is tried in advance.
  • FIG. 3 is a block diagram showing a configuration example of the driving support device 10 according to the second embodiment.
  • the driving support device 10 according to the second embodiment is used as a trial with the reliability estimation unit 12a in place of the reliability estimation unit 12 and the teacher data storage unit 13 in the driving support device 10 of the first embodiment shown in FIG. It is configured to include a result storage unit 21.
  • the same or corresponding parts as those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
  • the trial result storage unit 21 stores the trial result when the machine learning algorithm of the calculation unit 14 is tried.
  • the trial result is, for example, the number of times each path from input to output in the neural network constituting the machine learning algorithm is used when the machine learning algorithm is tried before being set in the arithmetic unit 14.
  • FIG. 4 is a diagram showing a configuration example of a multi-layer neural network included in the arithmetic unit 14 in the second embodiment.
  • the machine learning algorithm is a three-layer multi-layer neural network.
  • the input layer is composed of three nodes including the node N0
  • the intermediate layer is composed of four nodes including the node N1
  • the output layer is composed of two nodes including the node N2.
  • Surrounding environment information X0, X1, X2 is input to each node of the input layer of the multi-layer neural network.
  • inference results Y0 and Y1 are output from each node of the output layer of the multi-layer neural network.
  • the nodes When learning the multi-layer neural network shown in FIG. 4, the nodes are connected so that the inference results Y0 and Y1 which are the teacher data are output when the surrounding environment information X0, X1 and X2 which are the teacher data are input.
  • the weight of the link (for example, the link L0 connecting the node N0 and the node N1) is optimized.
  • the number of times each path from input to output in this multi-layer neural network is used is collected, and the trial result storage unit is used as a trial result in which the path and the number of times of use are associated with each other. It is stored in 21.
  • the route from the input to the output is, for example, a route to the node N0, the link L0, the node N1, the link L1, and the node N2.
  • use means that the absolute value of the output of a certain number of nodes or more on the route is equal to or more than a predetermined threshold value. For example, when the total number of nodes on the route is "10", the fixed number is "8", and the threshold value is "0.6", the route with 8 or more nodes whose output is 0.6 or more is "used”. It is counted as "done”.
  • FIG. 5 is a flowchart showing an operation example of the driving support device 10 according to the second embodiment.
  • the driving support device 10 starts the operation shown in the flowchart of FIG. 5, and repeats the operation until the ignition switch is turned off.
  • the operation in step ST11 of FIG. 5 is the same as the operation in step ST11 of FIG.
  • step ST12 the calculation unit 14 calculates the inference result for controlling the vehicle 1 by using the machine learning algorithm that inputs the surrounding environment information from the sensor acquisition unit 11 as in the first embodiment. Further, in the second embodiment, the calculation unit 14 transfers the calculation process information indicating the path from the input to the output used when calculating the inference result in the neural network constituting the machine learning algorithm to the reliability estimation unit 12a. Output. For example, when the arithmetic unit 14 calculates the inference result Y0 and uses the routes to the node N0, the link L0, the node N1, the link L1, and the node N2 in FIG. 4, the weights of the link L0 and the link L1 are inferred. As a result, it affected Y0. Therefore, the calculation unit 14 outputs this path as calculation process information to the reliability estimation unit 12a.
  • the reliability estimation unit 12a uses the number of times the route matching the route from the input to the output based on the calculation process information from the calculation unit 14 is stored in the trial result storage unit 21. Select from the number of times.
  • the reliability estimation unit 12a estimates the reliability of the inference result calculated by the calculation unit 14 based on the number of times of use selected from the trial result storage unit 21.
  • the reliability estimation unit 12a estimates the reliability of the inference result higher as the number of times of use increases.
  • the reliability estimation unit 12a estimates the discrete reliability (for example, the reliability of levels 1 to 5) by comparing and determining the number of times of use and a predetermined threshold value.
  • the reliability estimation unit 12a may perform polynomial transformation processing on the number of times of use to estimate continuous reliability (for example, reliability from 0% to 100%).
  • step ST15 of FIG. 5 is the same as the operation in step ST15 of FIG.
  • the reliability estimation unit 12a of the second embodiment is information indicating the number of times each path from input to output is used in the neural network constituting the machine learning algorithm when the machine learning algorithm is tried. Is used to estimate the reliability of the inference result based on the number of times of use corresponding to the path from the input to the output in the neural network used when the arithmetic unit 14 calculates the inference result.
  • the driving support device 10 can estimate the reliability of the calculation process of the machine learning algorithm. Therefore, the driving support device 10 can suppress the occurrence of unexpected behavior of the vehicle 1 when the reliability of the inference result of the machine learning algorithm is low due to immature learning or the like.
  • the reliability estimation unit 12a estimates the reliability of the inference result by using the number of times the path from the input to the output is used in the neural network, but the estimation method is not limited to this. ..
  • the reliability estimation unit 12a compares, for example, a predetermined distribution of inference results with the distribution of inference results calculated by the calculation unit 14, and the inference result calculated by the calculation unit 14 based on the matching ratio between the two. You may estimate the reliability of.
  • the predetermined distribution of inference results is, for example, a relative frequency distribution based on a large number of inference results output when the machine learning algorithm is tried, and is stored in the trial result storage unit 21.
  • FIG. 6 is a relative frequency distribution graph showing an example of distribution of inference results in the second embodiment.
  • the horizontal axis is the value of the inference result Y0
  • the vertical axis is the relative frequency of each value of the inference result Y0.
  • the black bar shows the relative frequency distribution of the inference result determined in advance
  • the white bar shows the relative frequency distribution of the inference result calculated by the calculation unit 14 in the latest predetermined period.
  • the reliability estimation unit 12a estimates the reliability of the inference result higher as the matching ratio of the relative frequency distribution is higher.
  • the reliability estimation unit 12a estimates the discrete reliability (for example, the reliability of levels 1 to 5) by comparing and determining the matching ratio and a predetermined threshold value.
  • the reliability estimation unit 12a may perform polynomial transformation processing on the match ratio to estimate continuous reliability (for example, reliability from 0% to 100%).
  • Embodiment 3 the similarity between the surrounding environment information, which is the output result of the sensor 2, and the teacher data used for learning the machine learning algorithm is corrected based on the complexity of the surrounding environment information.
  • FIG. 7 is a block diagram showing a configuration example of the driving support device 10 according to the third embodiment.
  • the driving support device 10 according to the third embodiment has a configuration including a reliability estimation unit 12b instead of the reliability estimation unit 12 in the driving support device 10 of the first embodiment shown in FIG.
  • the same or corresponding parts as those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
  • FIG. 8 is a flowchart showing an operation example of the driving support device 10 according to the third embodiment.
  • the driving support device 10 starts the operation shown in the flowchart of FIG. 8, and repeats the operation until the ignition switch is turned off.
  • the operation in steps ST11, ST12, and ST13 of FIG. 8 is the same as the operation in steps ST11, ST12, and ST13 of FIG.
  • the reliability estimation unit 12b calculates the complexity of the surrounding environment information from the sensor acquisition unit 11. For example, the reliability estimation unit 12b may calculate the complexity based on the entropy of the information acquired from the sensor 2 by the sensor acquisition unit 11 (for example, white noise of the captured image), or the sensor acquisition unit 11 recognizes it. The complexity may be calculated based on the number of peripheral objects of the vehicle 1.
  • step ST32 the reliability estimation unit 12b compares the complexity with a predetermined threshold value.
  • the reliability estimation unit 12b makes a correction to reduce the similarity in step ST33.
  • the reliability estimation unit 12b calculates a reduction value having a magnitude proportional to the complexity of the surrounding environment information, and subtracts the calculated reduction value from the similarity obtained in step ST13.
  • the reliability estimation unit 12b estimates the reliability of the inference result calculated by the calculation unit 14 based on the reduced similarity. Therefore, when the complexity of the surrounding environment information is large, the similarity is lowered, and as a result, the reliability is also lowered.
  • step ST32 “NO” when the complexity is less than the predetermined threshold value (step ST32 “NO”), the reliability estimation unit 12b is calculated by the calculation unit 14 based on the similarity obtained in step ST13 in step ST14. Estimate the reliability of the inference result.
  • the reliability estimation unit 12b of the third embodiment calculates the complexity of the output result of the sensor 2 acquired by the sensor acquisition unit 11, and corrects the similarity based on the complexity of the output result. .. With this configuration, the driving support device 10 can estimate the reliability of the inference result more accurately.
  • Embodiment 4 the degree of similarity between the surrounding environment information, which is the output result of the sensor 2, and the teacher data used for learning the machine learning algorithm is determined based on the attribute information of the surrounding environment information and the attribute information of the teacher data. to correct.
  • FIG. 9 is a block diagram showing a configuration example of the driving support device 10 according to the fourth embodiment.
  • the driving support device 10 according to the fourth embodiment replaces the sensor acquisition unit 11, the reliability estimation unit 12, and the teacher data storage unit 13 in the driving support device 10 of the first embodiment shown in FIG.
  • the configuration includes a unit 11c, a reliability estimation unit 12c, and a teacher data storage unit 13c.
  • the same or corresponding parts as those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
  • the teacher data storage unit 13c stores the teacher data used when learning the machine learning algorithm of the calculation unit 14 and the attribute information of the teacher data.
  • the teacher data storage unit 13c may store the feature amount of the teacher data instead of the teacher data.
  • the attribute information includes at least one of date / time information, weather information, or geographic information when the teacher data was acquired.
  • the date and time information may be a time represented by seconds, minutes, or the like, or may be a time zone such as morning or night.
  • the weather information may be in categories such as sunny, rainy, and cloudy, or may be numerical values such as atmospheric pressure and wind speed. Geographic information may be numerical values such as latitude and longitude, or may be categories such as highways and urban areas.
  • FIG. 10 is a flowchart showing an operation example of the driving support device 10 according to the fourth embodiment.
  • the driving support device 10 starts the operation shown in the flowchart of FIG. 10, and repeats the operation until the ignition switch is turned off.
  • the sensor acquisition unit 11c acquires the information detected by the sensor 2 and integrates the acquired information to generate peripheral environment information indicating the surrounding environment of the vehicle 1, as in the first embodiment. Further, in the fourth embodiment, the sensor acquisition unit 11c acquires at least one of date / time information, weather information, or geographic information from the sensor 2, and uses the acquired information as attribute information. The sensor acquisition unit 11c outputs the peripheral environment information to the calculation unit 14, and outputs the peripheral environment information and the attribute information to the reliability estimation unit 12c. In addition to acquiring the attribute information from the sensor 2, the sensor acquisition unit 11c may acquire the attribute information from a car navigation device, a server device outside the vehicle, or the like.
  • steps ST12 and ST13 of FIG. 10 is the same as the operation in steps ST12 and ST13 of FIG.
  • step ST42 the reliability estimation unit 12c compares the attribute information from the sensor acquisition unit 11c with the attribute information of the teacher data stored in the teacher data storage unit 13c.
  • the reliability estimation unit 12c determines.
  • step ST44 a correction for increasing the similarity is performed. For example, the reliability estimation unit 12c calculates an increase value having a magnitude proportional to the matching ratio of the attribute information, and adds the calculated increase value to the similarity obtained in step ST13.
  • the reliability estimation unit 12c estimates the reliability of the inference result calculated by the calculation unit 14 based on the increased similarity. Therefore, when the attribute information of the surrounding environment information and the attribute information of the teacher data match, the similarity is increased, and as a result, the reliability is also increased.
  • the reliability estimation unit 12c is the calculation unit 14 based on the similarity obtained in step ST13 in step ST14. Estimates the reliability of the inference result calculated by.
  • the reliability estimation unit 12c of the fourth embodiment includes at least one of the date and time information, weather information, or geographic information when the sensor acquisition unit 11c acquires the output result of the sensor 2, and the teacher data.
  • the similarity is corrected by comparing with at least one of the date and time information, weather information, or geographic information of.
  • the driving support device 10 can estimate the reliability of the inference result more accurately.
  • the machine learning algorithm of the calculation unit 14 is learned using teacher data having various date and time information, weather information, and geographic information
  • the machine learning algorithm is the date and time. It may be learned for each attribute information such as for each, weather, or geography.
  • the calculation unit 14 has a configuration having a machine learning algorithm for each attribute information.
  • the calculation unit 14 acquires the attribute information of the surrounding environment information from the sensor acquisition unit 11c, and calculates the inference result by using the machine learning algorithm of the attribute information that matches the acquired attribute information.
  • the reliability estimation unit 12c may obtain the similarity between the surrounding environment information and the teacher data having the attribute information matching the attribute information of the surrounding environment information, and estimate the reliability based on the obtained similarity. In this case, the reliability estimation unit 12c does not need to correct the similarity based on the matching ratio of the attribute information.
  • the sensor acquisition unit 11c generates information on the surrounding environment at the time of rainfall.
  • the calculation unit 14 calculates the inference result by using the machine learning algorithm learned by using the teacher data at the time of rainfall.
  • the reliability estimation unit 12c calculates the similarity by comparing the surrounding environment information at the time of rainfall with the teacher data at the time of rainfall, and estimates the reliability based on the calculated similarity.
  • the reliability estimation unit 12 obtains the similarity between the surrounding environment information from the sensor acquisition unit 11 and the teacher data stored in the teacher data storage unit 13, and based on the similarity, as in the first embodiment. Estimate the reliability of the inference result. Subsequently, the reliability estimation unit 12 estimates the reliability of the inference result using the trial result stored in the trial result storage unit 21 as in the second embodiment. Then, the reliability estimation unit 12 calculates the final reliability by using the reliability estimated by the method of the first embodiment and the reliability estimated by the method of the second embodiment, and the control output unit 15 Output to. For example, the reliability estimation unit 12 calculates the average value of the reliability estimated by the method of the first embodiment and the reliability estimated by the method of the second embodiment as the final reliability.
  • 11 and 12 are diagrams showing a hardware configuration example of the driving support device 10 according to each embodiment.
  • the teacher data storage units 13 and 13c and the trial result storage unit 21 in the driving support device 10 are memories 102.
  • the functions of the sensor acquisition units 11, 11c, the reliability estimation units 12, 12a, 12b, 12c, the calculation unit 14, and the control output unit 15 in the driving support device 10 are realized by the processing circuit. That is, the driving support device 10 includes a processing circuit for realizing the above functions.
  • the processing circuit may be a processing circuit 100 as dedicated hardware, or a processor 101 that executes a program stored in the memory 102.
  • the processing circuit 100 when the processing circuit is dedicated hardware, the processing circuit 100 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, or an ASIC (Application Specific Integrated Circuit). ), FPGA (Field Processor Gate Array), or a combination thereof.
  • the functions of the sensor acquisition units 11, 11c, the reliability estimation units 12, 12a, 12b, 12c, the calculation unit 14, and the control output unit 15 may be realized by a plurality of processing circuits 100, or the functions of each unit may be integrated. It may be realized by one processing circuit 100.
  • the functions of the sensor acquisition units 11, 11c, the reliability estimation units 12, 12a, 12b, 12c, the calculation unit 14, and the control output unit 15 are software. , Firmware, or a combination of software and firmware.
  • the software or firmware is described as a program and stored in the memory 102.
  • the processor 101 realizes the functions of each part by reading and executing the program stored in the memory 102. That is, the driving support device 10 includes a memory 102 for storing a program in which the step shown in the flowchart of FIG. 2 or the like is eventually executed when executed by the processor 101. Further, it can be said that this program causes the computer to execute the procedures or methods of the sensor acquisition units 11, 11c, the reliability estimation units 12, 12a, 12b, 12c, the calculation unit 14, and the control output unit 15.
  • the processor 101 is a CPU (Central Processing Unit), a processing device, an arithmetic unit, a microprocessor, or the like.
  • the memory 102 may be a non-volatile or volatile semiconductor memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), or a flash memory, and may be a hard disk, a flexible disk, or the like. It may be a magnetic disk of the above, or an optical disk such as a CD (Compact Disc) or a DVD (Digital Versaille Disc).
  • the processing circuit in the driving support device 10 can realize the above-mentioned functions by hardware, software, firmware, or a combination thereof.
  • the functions of the sensor acquisition unit 11, 11c, the reliability estimation unit 12, 12a, 12b, 12c, the teacher data storage unit 13, 13c, the calculation unit 14, the control output unit 15, and the trial result storage unit 21 were integrated into the driving support device 10 which is an in-vehicle device, but may be distributed to a server device on the network, a mobile information terminal such as a smartphone, an in-vehicle device, and the like.
  • a server device including a reliability estimation unit 12, 12a, 12b, 12c, a teacher data storage unit 13, 13c, a calculation unit 14, and a trial result storage unit 21, a sensor acquisition unit 11, 11c, and a control output unit 15 are provided.
  • a driving support system is constructed by the on-board unit provided.
  • the present invention allows any combination of embodiments, modifications of any component of each embodiment, or omission of any component of each embodiment within the scope of the invention.
  • the driving support device Since the driving support device according to the present invention is designed to estimate the reliability of machine learning, it is suitable for use in a driving support device or the like that uses machine learning.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

センサ取得部（１１）は、車両（１）に搭載されたセンサ（２）の出力結果を取得する。演算部（１４）は、センサ取得部（１１）により取得されたセンサ（２）の出力結果を入力とする機械学習アルゴリズムを用い、車両（１）を制御するための推論結果を演算する。信頼度推定部（１２）は、センサ取得部（１１）により取得された出力結果と機械学習アルゴリズムの学習に使用された教師データとの類似度を求め、類似度に基づいて演算部（１４）が演算した推論結果の信頼度を推定する。制御出力部（１５）は、信頼度推定部（１２）により推定された信頼度を演算部（１４）により演算された推論結果に付加して車両制御情報として出力する。

Description

運転支援装置及び運転支援方法
　この発明は、車両の運転支援装置及び運転支援方法に関するものである。
　従来の運転支援装置は、車両に搭載されたセンサから取得した情報と車両を制御するための支援情報との対応関係を機械学習していた。このような従来の運転支援装置は、センサの信頼性に基づいて、支援情報の信頼度を評価していた（例えば、特許文献１参照）。
特開２０１５－８２３２４号公報
　従来の運転支援装置において、機械学習アルゴリズムが行う演算はブラックボックスとなっており、機械学習アルゴリズムが出力する支援情報は一律の信頼度を有している前提であった。このように、従来の運転支援装置は、機械学習アルゴリズムが出力する支援情報の信頼度を評価していないので、信頼度の低い支援情報に基づいて車両が予期しない挙動をする可能性があるという課題があった。
　この発明は、上記のような課題を解決するためになされたもので、機械学習による車両の予期しない挙動の発生を抑制することを目的とする。
　この発明に係る運転支援装置は、車両に搭載されたセンサの出力結果を取得するセンサ取得部と、センサ取得部により取得された出力結果を入力とする機械学習アルゴリズムを用い、車両を制御するための推論結果を演算する演算部と、演算部により演算された推論結果の信頼度を推定する信頼度推定部と、信頼度推定部により推定された信頼度を演算部により演算された推論結果に付加して車両制御情報として出力する制御出力部とを備えるものである。
　この発明によれば、センサ取得部の出力結果を入力とする機械学習アルゴリズムを用いて演算された推論結果の信頼度を推定するようにしたので、機械学習による車両の予期しない挙動の発生を抑制することができる。
実施の形態１に係る運転支援装置の構成例を示すブロック図である。 実施の形態１に係る運転支援装置の動作例を示すフローチャートである。 実施の形態２に係る運転支援装置の構成例を示すブロック図である。 実施の形態２において演算部が有する多層ニューラルネットワークの構成例を示す図である。 実施の形態２に係る運転支援装置の動作例を示すフローチャートである。 実施の形態２における推論結果の分布例を示す相対度数分布グラフである。 実施の形態３に係る運転支援装置の構成例を示すブロック図である。 実施の形態３に係る運転支援装置の動作例を示すフローチャートである。 実施の形態４に係る運転支援装置の構成例を示すブロック図である。 実施の形態４に係る運転支援装置の動作例を示すフローチャートである。 各実施の形態に係る運転支援装置のハードウェア構成の一例を示す図である。 各実施の形態に係る運転支援装置のハードウェア構成の別の例を示す図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る運転支援装置１０の構成例を示すブロック図である。車両１には、センサ２、車両制御部３、及び運転支援装置１０が搭載される。運転支援装置１０は、センサ取得部１１、信頼度推定部１２、教師データ記憶部１３、演算部１４、及び制御出力部１５を備える。この運転支援装置１０には、センサ２及び車両制御部３が接続される。
　センサ２は、車両１の周辺環境を検知するものである。このセンサ２は、例えば、車両１の周囲を撮像するカメラ、又は車両１の周囲に存在する物体を検知するミリ波レーダである。なお、センサ２は、１つのセンサ、又は１種類のセンサに限定されるものではなく、複数のセンサ、又は複数種類のセンサにより構成されてもよい。
　図２は、実施の形態１に係る運転支援装置１０の動作例を示すフローチャートである。運転支援装置１０は、例えば、車両１のイグニッションスイッチがオンになると図２のフローチャートに示される動作を開始し、イグニッションスイッチがオフになるまで動作を繰り返す。
　ステップＳＴ１１において、センサ取得部１１は、センサ２が検知した情報を取得し、取得した情報を統合することによって車両１の周辺環境を示す周辺環境情報を生成する。センサ取得部１１は、周辺環境情報を信頼度推定部１２と演算部１４へ出力する。周辺環境情報は、車両１の周辺に存在する他車両若しくは歩行者等の状態、車両１の周辺の地形等、及び障害物等を認知できるような情報である。また、周辺環境情報は、センサ２が出力する生データでもよいし、何らかの処理を施して抽象化した情報でもよい。抽象化した情報とは、例えば、車両１の周辺空間に相当する座標系に周辺物体等をプロットした図表である。
　ステップＳＴ１２において、演算部１４は、センサ取得部１１からの周辺環境情報を入力とする機械学習アルゴリズムを用い、車両１を制御するための推論結果を演算する。機械学習アルゴリズムは、例えば、ニューラルネットワーク、又は多層ニューラルネットワーク（ディープラーニング）である。推論結果は、例えば、ブレーキ若しくはアクセルの踏み込み量、又はハンドルの操舵角である。演算部１４は、演算した推論結果を制御出力部１５へ出力する。
　ステップＳＴ１３において、信頼度推定部１２は、センサ取得部１１からの周辺環境情報と、教師データ記憶部１３に記憶されている教師データとを比較して、両者の類似度を求める。教師データ記憶部１３は、演算部１４が有する機械学習アルゴリズムの学習時に使用された教師データを記憶している。
　例えば、信頼度推定部１２は、教師データに統計処理を施すことにより教師データの特徴量を算出する。同様に、信頼度推定部１２は、周辺環境情報にも統計処理を施すことにより周辺環境情報の特徴量を算出する。そして、信頼度推定部１２は、教師データの特徴量と周辺環境情報の特徴量との相関値を算出し、相関値を類似度とする。特徴量を算出するための統計処理は、例えば、平均値を算出する処理、又はＡｕｔｏＥｎｃｏｄｅｒによる次元圧縮処理である。なお、教師データ記憶部１３は、教師データに代えて、教師データの特徴量を記憶している構成であってもよい。
　ステップＳＴ１４において、信頼度推定部１２は、教師データと周辺環境情報との類似度を基に、演算部１４がこの周辺環境情報を用いて演算した推論結果の信頼度を推定する。信頼度推定部１２は、推定した信頼度を制御出力部１５へ出力する。
　信頼度推定部１２は、類似度が高いほど、推論結果の信頼度を高く推定する。例えば、信頼度推定部１２は、類似度と予め定められた閾値との比較判定により、離散型の信頼度（例えば、レベル１からレベル５の信頼度）を推定する。または、信頼度推定部１２は、類似度に対して多項式変形処理を施し、連続型の信頼度（例えば、０％から１００％までの信頼度）を推定してもよい。
　ステップＳＴ１５において、制御出力部１５は、演算部１４からの推論結果に、信頼度推定部１２からの信頼度を付加し、車両制御情報を生成する。制御出力部１５は、車両制御情報を車両制御部３へ出力する。
　車両制御部３は、制御出力部１５からの車両制御情報に含まれる推論結果を用いて、車両１の挙動を制御する。なお、車両制御部３は、推論結果に付加されている信頼度に応じて、制御内容を変更する。例えば、車両制御部３は、信頼度が予め定められた閾値以上であれば、この信頼度が付加された推論結果を用いて車両１の挙動を制御し、信頼度が上記予め定められた閾値未満であれば、この信頼度が付加された推論結果を破棄して挙動制御を行わない。
　以上のように、実施の形態１に係る運転支援装置１０は、センサ取得部１１と、演算部１４と、信頼度推定部１２と、制御出力部１５とを備える。センサ取得部１１は、車両１に搭載されたセンサ２の出力結果を取得する。演算部１４は、センサ取得部１１により取得されたセンサ２の出力結果を入力とする機械学習アルゴリズムを用い、車両１を制御するための推論結果を演算する。信頼度推定部１２は、センサ取得部１１により取得された出力結果と機械学習アルゴリズムの学習に使用された教師データとの類似度を求め、類似度に基づいて演算部１４が演算した推論結果の信頼度を推定する。制御出力部１５は、信頼度推定部１２により推定された信頼度を演算部１４により演算された推論結果に付加して車両制御情報として出力する。この構成により、運転支援装置１０は、機械学習アルゴリズムの推論結果の信頼度を推定することができる。したがって、運転支援装置１０は、未熟な学習等が原因で機械学習アルゴリズムの推論結果の信頼度が低い場合に、車両１の予期しない挙動の発生を抑制することができる。
　また、実施の形態１によれば、信頼度推定部１２は、センサ取得部１１により取得されたセンサ２の出力結果の特徴量と教師データの特徴量との類似度を求める構成であってもよい。この構成により、教師データを記憶する教師データ記憶部１３の容量を小型化することができる。
実施の形態２．
　実施の形態１では、センサ２の出力結果である周辺環境情報と機械学習アルゴリズムの学習に使用された教師データとの類似度に基づいて推論結果の信頼度を推定したが、実施の形態２では、機械学習アルゴリズムが事前に試用されたときの試用結果に基づいて推論結果の信頼度を推定する。
　図３は、実施の形態２に係る運転支援装置１０の構成例を示すブロック図である。実施の形態２に係る運転支援装置１０は、図１に示された実施の形態１の運転支援装置１０における信頼度推定部１２と教師データ記憶部１３に代えて、信頼度推定部１２ａと試用結果記憶部２１を備える構成である。図３において図１と同一又は相当する部分は、同一の符号を付し説明を省略する。
　試用結果記憶部２１は、演算部１４が有する機械学習アルゴリズムが試用されたときの試用結果を記憶している。試用結果は、例えば、機械学習アルゴリズムが演算部１４に設定される前に試用された際に、この機械学習アルゴリズムを構成するニューラルネットワークにおける入力から出力までの各経路が使用された回数である。
　図４は、実施の形態２において演算部１４が有する多層ニューラルネットワークの構成例を示す図である。図４では、機械学習アルゴリズムが、３層の多層ニューラルネットワークであるものとする。また、入力層はノードＮ０を含む３つのノードで構成され、中間層はノードＮ１を含む４つのノードで構成され、出力層はノードＮ２を含む２つのノードで構成されているものとする。多層ニューラルネットワークの入力層の各ノードには、周辺環境情報Ｘ０，Ｘ１，Ｘ２が入力される。また、多層ニューラルネットワークの出力層の各ノードからは、推論結果Ｙ０，Ｙ１が出力される。
　図４に示される多層ニューラルネットワークの学習時、教師データである周辺環境情報Ｘ０，Ｘ１，Ｘ２が入力されたときに教師データである推論結果Ｙ０，Ｙ１が出力されるように、ノード間を接続するリンク（例えば、ノードＮ０とノードＮ１とを接続するリンクＬ０）の重みが最適化される。また、学習後の多層ニューラルネットワークの試用時、この多層ニューラルネットワークにおける入力から出力までの各経路が使用された使用回数が収集され、経路と使用回数とが関連付けられた試用結果として試用結果記憶部２１に記憶される。入力から出力までの経路とは、例えば、ノードＮ０、リンクＬ０、ノードＮ１、リンクＬ１、及びノードＮ２までの経路である。ここで、使用とは、経路上の一定数以上のノードの出力の絶対値が所定の閾値以上であることを指す。例えば、経路上の全ノード数が「１０」、一定数が「８」、閾値が「０．６」である場合、出力が０．６以上であるノードが８個以上ある経路は、「使用された」とカウントされる。
　図５は、実施の形態２に係る運転支援装置１０の動作例を示すフローチャートである。運転支援装置１０は、例えば、車両１のイグニッションスイッチがオンになると図５のフローチャートに示される動作を開始し、イグニッションスイッチがオフになるまで動作を繰り返す。
　図５のステップＳＴ１１における動作は、図２のステップＳＴ１１における動作と同じである。
　ステップＳＴ１２において、演算部１４は、実施の形態１と同様、センサ取得部１１からの周辺環境情報を入力とする機械学習アルゴリズムを用い、車両１を制御するための推論結果を演算する。
　また、実施の形態２では、演算部１４は、機械学習アルゴリズムを構成するニューラルネットワークにおいて推論結果を演算する際に使用した入力から出力までの経路を示す演算過程情報を、信頼度推定部１２ａへ出力する。例えば、演算部１４が推論結果Ｙ０を演算する際に、図４のノードＮ０、リンクＬ０、ノードＮ１、リンクＬ１、及びノードＮ２までの経路を使用した場合、リンクＬ０及びリンクＬ１の重みが推論結果Ｙ０に影響を与えたことになる。そのため、演算部１４は、この経路を演算過程情報として信頼度推定部１２ａへ出力する。
　ステップＳＴ２１において、信頼度推定部１２ａは、演算部１４からの演算過程情報に基づく入力から出力までの経路に一致する経路の使用回数を、試用結果記憶部２１に記憶されている各経路の使用回数の中から選択する。信頼度推定部１２ａは、試用結果記憶部２１から選択した使用回数に基づいて、演算部１４が演算した推論結果の信頼度を推定する。
　信頼度推定部１２ａは、使用回数が多いほど、推論結果の信頼度を高く推定する。例えば、信頼度推定部１２ａは、使用回数と予め定められた閾値との比較判定により、離散型の信頼度（例えば、レベル１からレベル５の信頼度）を推定する。または、信頼度推定部１２ａは、使用回数に対して多項式変形処理を施し、連続型の信頼度（例えば、０％から１００％までの信頼度）を推定してもよい。
　図５のステップＳＴ１５における動作は、図２のステップＳＴ１５における動作と同じである。
　以上のように、実施の形態２の信頼度推定部１２ａは、機械学習アルゴリズムが試用されたときの、この機械学習アルゴリズムを構成するニューラルネットワークにおける入力から出力までの各経路の使用回数を示す情報を用い、演算部１４が推論結果を演算する際に使用したニューラルネットワークにおける入力から出力までの経路に対応する使用回数に基づいて推論結果の信頼度を推定する。この構成により、運転支援装置１０は、機械学習アルゴリズムの演算過程の信頼度を推定することができる。したがって、運転支援装置１０は、未熟な学習等が原因で機械学習アルゴリズムの推論結果の信頼度が低い場合に、車両１の予期しない挙動の発生を抑制することができる。
　なお、上記例では、信頼度推定部１２ａが、ニューラルネットワークにおける入力から出力までの経路の使用回数を用いて推論結果の信頼度を推定していたが、この推定方法に限定されるものではない。信頼度推定部１２ａは、例えば、予め定められた推論結果の分布と、演算部１４が演算した推論結果の分布とを比較し、両者の一致割合に基づいて、演算部１４が演算した推論結果の信頼度を推定してもよい。予め定められた推論結果の分布は、例えば、機械学習アルゴリズムの試用時に出力された多数の推論結果に基づく相対度数分布であり、試用結果記憶部２１に記憶される。
　図６は、実施の形態２における推論結果の分布例を示す相対度数分布グラフである。図６のグラフにおいて、横軸は推論結果Ｙ０の値であり、縦軸は推論結果Ｙ０の各値の相対度数である。また、黒色の棒線は、予め定められた推論結果の相対度数分布を示し、白色の棒線は、直近の所定期間において演算部１４が演算した推論結果の相対度数分布を示す。信頼度推定部１２ａは、相対度数分布の一致割合が高いほど、推論結果の信頼度を高く推定する。例えば、信頼度推定部１２ａは、一致割合と予め定められた閾値との比較判定により、離散型の信頼度（例えば、レベル１からレベル５の信頼度）を推定する。または、信頼度推定部１２ａは、一致割合に対して多項式変形処理を施し、連続型の信頼度（例えば、０％から１００％までの信頼度）を推定してもよい。
実施の形態３．
　実施の形態３では、センサ２の出力結果である周辺環境情報と機械学習アルゴリズムの学習に使用された教師データとの類似度を、周辺環境情報の複雑度に基づいて補正する。
　図７は、実施の形態３に係る運転支援装置１０の構成例を示すブロック図である。実施の形態３に係る運転支援装置１０は、図１に示された実施の形態１の運転支援装置１０における信頼度推定部１２に代えて、信頼度推定部１２ｂを備える構成である。図７において図１と同一又は相当する部分は、同一の符号を付し説明を省略する。
　図８は、実施の形態３に係る運転支援装置１０の動作例を示すフローチャートである。運転支援装置１０は、例えば、車両１のイグニッションスイッチがオンになると図８のフローチャートに示される動作を開始し、イグニッションスイッチがオフになるまで動作を繰り返す。
　図８のステップＳＴ１１，ＳＴ１２，ＳＴ１３における動作は、図２のステップＳＴ１１，ＳＴ１２，ＳＴ１３における動作と同じである。
　ステップＳＴ３１において、信頼度推定部１２ｂは、センサ取得部１１からの周辺環境情報の複雑度を算出する。
　例えば、信頼度推定部１２ｂは、センサ取得部１１がセンサ２から取得した情報のエントロピ（例えば、撮像画像のホワイトノイズ）に基づき複雑度を算出してもよいし、センサ取得部１１が認知した車両１の周辺物体数等に基づき複雑度を算出してもよい。
　ステップＳＴ３２において、信頼度推定部１２ｂは、複雑度と予め定められた閾値とを比較する。複雑度が上記予め定められた閾値以上である場合（ステップＳＴ３２“ＹＥＳ”）、信頼度推定部１２ｂは、ステップＳＴ３３において、類似度を低減する補正を行う。例えば、信頼度推定部１２ｂは、周辺環境情報の複雑度に比例する大きさの低減値を算出し、算出した低減値をステップＳＴ１３で求めた類似度から減算する。続くステップＳＴ１４において、信頼度推定部１２ｂは、低減後の類似度に基づいて演算部１４が演算した推論結果の信頼度を推定する。したがって、周辺環境情報の複雑度が大きい場合、類似度が下がり、結果として信頼度も下がる。
　一方、複雑度が上記予め定められた閾値未満である場合（ステップＳＴ３２“ＮＯ”）、信頼度推定部１２ｂは、ステップＳＴ１４において、ステップＳＴ１３で求めた類似度に基づいて演算部１４が演算した推論結果の信頼度を推定する。
　以上のように、実施の形態３の信頼度推定部１２ｂは、センサ取得部１１により取得されたセンサ２の出力結果の複雑度を算出し、出力結果の複雑度に基づいて類似度を補正する。この構成により、運転支援装置１０は、推論結果の信頼度を、より精度よく推定することができる。
実施の形態４．
　実施の形態４では、センサ２の出力結果である周辺環境情報と機械学習アルゴリズムの学習に使用された教師データとの類似度を、周辺環境情報の属性情報と教師データの属性情報とに基づいて補正する。
　図９は、実施の形態４に係る運転支援装置１０の構成例を示すブロック図である。実施の形態４に係る運転支援装置１０は、図１に示された実施の形態１の運転支援装置１０におけるセンサ取得部１１と信頼度推定部１２と教師データ記憶部１３に代えて、センサ取得部１１ｃと信頼度推定部１２ｃと教師データ記憶部１３ｃを備える構成である。図９において図１と同一又は相当する部分は、同一の符号を付し説明を省略する。
　教師データ記憶部１３ｃは、演算部１４が有する機械学習アルゴリズムの学習時に使用された教師データと、教師データの属性情報とを記憶している。なお、教師データ記憶部１３ｃは、教師データに代えて、教師データの特徴量を記憶していてもよい。
　属性情報は、教師データが取得されたときの日時情報、天候情報、又は地理情報の少なくとも１つを含む。日時情報は、秒及び分等で表される時刻であってもよいし、朝及び夜等の時間帯であってもよい。天候情報は、晴れ、雨、及び曇り等のカテゴリであってもよいし、気圧及び風速等の数値であってもよい。地理情報は、緯度及び経度等の数値であてもよいし、高速道路及び市街地等のカテゴリであってもよい。
　図１０は、実施の形態４に係る運転支援装置１０の動作例を示すフローチャートである。運転支援装置１０は、例えば、車両１のイグニッションスイッチがオンになると図１０のフローチャートに示される動作を開始し、イグニッションスイッチがオフになるまで動作を繰り返す。
　ステップＳＴ４１において、センサ取得部１１ｃは、実施の形態１と同様、センサ２が検知した情報を取得し、取得した情報を統合することによって車両１の周辺環境を示す周辺環境情報を生成する。
　また、実施の形態４では、センサ取得部１１ｃは、日時情報、天候情報、又は地理情報のうちの少なくとも１つをセンサ２から取得し、取得した情報を属性情報とする。センサ取得部１１ｃは、周辺環境情報を演算部１４へ出力し、周辺環境情報と属性情報とを信頼度推定部１２ｃへ出力する。なお、センサ取得部１１ｃは、属性情報をセンサ２から取得する以外にも、カーナビゲーション装置、又は車外のサーバ装置等から取得してもよい。
　図１０のステップＳＴ１２，ＳＴ１３における動作は、図２のステップＳＴ１２，ＳＴ１３における動作と同じである。
　ステップＳＴ４２において、信頼度推定部１２ｃは、センサ取得部１１ｃからの属性情報と、教師データ記憶部１３ｃに記憶されている教師データの属性情報とを比較する。周辺環境情報の属性情報と一致する属性情報を持つ教師データ数（つまり、属性情報の一致割合）が予め定められた閾値以上である場合（ステップＳＴ４３“ＹＥＳ”）、信頼度推定部１２ｃは、ステップＳＴ４４において、類似度を増加する補正を行う。例えば、信頼度推定部１２ｃは、属性情報の一致割合に比例する大きさの増加値を算出し、算出した増加値をステップＳＴ１３で求めた類似度に加算する。続くステップＳＴ１４において、信頼度推定部１２ｃは、増加後の類似度に基づいて演算部１４が演算した推論結果の信頼度を推定する。したがって、周辺環境情報の属性情報と教師データの属性情報とが一致する場合、類似度が上がり、結果として信頼度も上がる。
　一方、属性情報の一致割合が上記予め定められた閾値未満である場合（ステップＳＴ４３“ＮＯ”）、信頼度推定部１２ｃは、ステップＳＴ１４において、ステップＳＴ１３で求めた類似度に基づいて演算部１４が演算した推論結果の信頼度を推定する。
　以上のように、実施の形態４の信頼度推定部１２ｃは、センサ取得部１１ｃがセンサ２の出力結果を取得したときの日時情報、天候情報、又は地理情報のうちの少なくとも１つと、教師データの日時情報、天候情報、又は地理情報のうちの少なくとも１つとを比較して類似度を補正する。この構成により、運転支援装置１０は、推論結果の信頼度を、より精度よく推定することができる。
　なお、実施の形態４では、様々な日時情報、天候情報、及び地理情報を持つ教師データを用いて、演算部１４の機械学習アルゴリズムが学習された例を説明したが、機械学習アルゴリズムは、日時ごと、天候ごと、又は地理ごとというように属性情報ごとに学習されてもよい。この場合、演算部１４は、属性情報ごとの機械学習アルゴリズムを有する構成である。この演算部１４は、センサ取得部１１ｃから周辺環境情報の属性情報を取得し、取得した属性情報に一致する属性情報の機械学習アルゴリズムを用いて推論結果を演算する。信頼度推定部１２ｃは、周辺環境情報と、この周辺環境情報の属性情報に一致する属性情報を持つ教師データとの類似度を求め、求めた類似度に基づいて信頼度を推定すればよい。この場合、信頼度推定部１２ｃは、属性情報の一致割合に基づいて類似度を補正する必要はない。
　具体例として、センサ取得部１１ｃが降雨時の周辺環境情報を生成したとする。この場合、演算部１４は、降雨時の教師データを用いて学習された機械学習アルゴリズムを用いて、推論結果を演算する。信頼度推定部１２ｃは、降雨時の周辺環境情報と上記降雨時の教師データとを比較して類似度を算出し、算出した類似度に基づいて信頼度を推定する。
　なお、実施の形態１に対して、実施の形態２、実施の形態３、又は実施の形態４のうちの少なくとも１つを組み合わせてもよい。
　ここで、実施の形態１と実施の形態２とを組み合わせた例を説明する。例えば、信頼度推定部１２は、実施の形態１と同様に、センサ取得部１１からの周辺環境情報と教師データ記憶部１３に記憶されている教師データとの類似度を求め、類似度を基に推論結果の信頼度を推定する。続いて、信頼度推定部１２は、実施の形態２と同様に、試用結果記憶部２１に記憶されている試用結果を用いて推論結果の信頼度を推定する。そして、信頼度推定部１２は、実施の形態１の方法で推定した信頼度と実施の形態２の方法で推定した信頼度とを用いて、最終的な信頼度を算出して制御出力部１５へ出力する。例えば、信頼度推定部１２は、実施の形態１の方法で推定した信頼度と実施の形態２の方法で推定した信頼度との平均値を、最終的な信頼度として算出する。
　最後に、各実施の形態に係る運転支援装置１０のハードウェア構成を説明する。
　図１１及び図１２は、各実施の形態に係る運転支援装置１０のハードウェア構成例を示す図である。運転支援装置１０における教師データ記憶部１３，１３ｃ、及び試用結果記憶部２１は、メモリ１０２である。運転支援装置１０におけるセンサ取得部１１，１１ｃ、信頼度推定部１２，１２ａ，１２ｂ，１２ｃ、演算部１４、及び制御出力部１５の機能は、処理回路により実現される。即ち、運転支援装置１０は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１００であってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。
　図１１に示されるように、処理回路が専用のハードウェアである場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。センサ取得部１１，１１ｃ、信頼度推定部１２，１２ａ，１２ｂ，１２ｃ、演算部１４、及び制御出力部１５の機能を複数の処理回路１００で実現してもよいし、各部の機能をまとめて１つの処理回路１００で実現してもよい。
　図１２に示されるように、処理回路がプロセッサ１０１である場合、センサ取得部１１，１１ｃ、信頼度推定部１２，１２ａ，１２ｂ，１２ｃ、演算部１４、及び制御出力部１５の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、運転支援装置１０は、プロセッサ１０１により実行されるときに、図２等のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、センサ取得部１１，１１ｃ、信頼度推定部１２，１２ａ，１２ｂ，１２ｃ、演算部１４、及び制御出力部１５の手順又は方法をコンピュータに実行させるものであるとも言える。
　ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
　メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の光ディスクであってもよい。
　なお、センサ取得部１１，１１ｃ、信頼度推定部１２，１２ａ，１２ｂ，１２ｃ、演算部１４、及び制御出力部１５の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、運転支援装置１０における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。
　また、上記例では、センサ取得部１１，１１ｃ、信頼度推定部１２，１２ａ，１２ｂ，１２ｃ、教師データ記憶部１３，１３ｃ、演算部１４、制御出力部１５、及び試用結果記憶部２１の機能が車載器である運転支援装置１０に集約された構成であったが、ネットワーク上のサーバ装置、スマートフォン等の携帯情報端末、及び車載器等に分散されていてもよい。例えば、信頼度推定部１２，１２ａ，１２ｂ，１２ｃ、教師データ記憶部１３，１３ｃ、演算部１４、及び試用結果記憶部２１を備えるサーバ装置と、センサ取得部１１，１１ｃ及び制御出力部１５を備える車載器とにより、運転支援システムが構築される。
　本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。
　この発明に係る運転支援装置は、機械学習の信頼度を推定するようにしたので、機械学習を用いる運転支援装置等に用いるのに適している。
　１　車両、２　センサ、３　車両制御部、１０　運転支援装置、１１，１１ｃ　センサ取得部、１２，１２ａ，１２ｂ，１２ｃ　信頼度推定部、１３，１３ｃ　教師データ記憶部、１４　演算部、１５　制御出力部、２１　試用結果記憶部、１００　処理回路、１０１　プロセッサ、１０２　メモリ、Ｌ０，Ｌ１　リンク、Ｎ０，Ｎ１，Ｎ２　ノード、Ｘ０，Ｘ１，Ｘ２　周辺環境情報、Ｙ０，Ｙ１　推論結果。

Claims (10)

  1. 　車両に搭載されたセンサの出力結果を取得するセンサ取得部と、
    　前記センサ取得部により取得された前記出力結果を入力とする機械学習アルゴリズムを用い、前記車両を制御するための推論結果を演算する演算部と、
    　前記演算部により演算された前記推論結果の信頼度を推定する信頼度推定部と、
    　前記信頼度推定部により推定された前記信頼度を前記演算部により演算された前記推論結果に付加して車両制御情報として出力する制御出力部とを備える運転支援装置。
  2. 　前記信頼度推定部は、前記センサ取得部により取得された前記出力結果と前記機械学習アルゴリズムの学習に使用された教師データとの類似度を求め、前記類似度に基づいて前記演算部が演算した前記推論結果の信頼度を推定することを特徴とする請求項１記載の運転支援装置。
  3. 　前記信頼度推定部は、前記機械学習アルゴリズムが試用されたときの、前記機械学習アルゴリズムを構成するニューラルネットワークにおける入力から出力までの各経路の使用回数を示す情報を用い、前記演算部が前記推論結果を演算する際に使用した前記ニューラルネットワークにおける入力から出力までの経路に対応する前記使用回数に基づいて前記推論結果の信頼度を推定することを特徴とする請求項１記載の運転支援装置。
  4. 　前記信頼度推定部は、予め定められた推論結果の分布と前記演算部が演算した前記推論結果の分布との一致割合に基づいて前記推論結果の信頼度を推定することを特徴とする請求項１記載の運転支援装置。
  5. 　前記信頼度推定部は、前記センサ取得部により取得された前記出力結果の複雑度を算出し、前記出力結果の複雑度に基づいて前記類似度を補正することを特徴とする請求項２記載の運転支援装置。
  6. 　前記信頼度推定部は、前記センサ取得部により取得された前記出力結果の特徴量と前記教師データの特徴量との類似度を求めることを特徴とする請求項２記載の運転支援装置。
  7. 　前記信頼度推定部は、前記センサ取得部が前記出力結果を取得したときの日時情報と前記教師データの日時情報とを比較して前記類似度を補正することを特徴とする請求項２記載の運転支援装置。
  8. 　前記信頼度推定部は、前記センサ取得部が前記出力結果を取得したときの天候情報と前記教師データの天候情報とを比較して前記類似度を補正することを特徴とする請求項２記載の運転支援装置。
  9. 　前記信頼度推定部は、前記センサ取得部が前記出力結果を取得したときの地理情報と前記教師データの地理情報とを比較して前記類似度を補正することを特徴とする請求項２記載の運転支援装置。
  10. 　センサ取得部が、車両に搭載されたセンサの出力結果を取得し、
    　演算部が、前記センサ取得部により取得された前記出力結果を入力とする機械学習アルゴリズムを用い、前記車両を制御するための推論結果を演算し、
    　信頼度推定部が、前記演算部により演算された前記推論結果の信頼度を推定し、
    　制御出力部が、前記信頼度推定部により推定された前記信頼度を前記演算部により演算された前記推論結果に付加して車両制御情報として出力する運転支援方法。
PCT/JP2019/009688 2019-03-11 2019-03-11 運転支援装置及び運転支援方法 WO2020183568A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021504642A JP7113958B2 (ja) 2019-03-11 2019-03-11 運転支援装置及び運転支援方法
CN201980093310.3A CN113519020B (zh) 2019-03-11 2019-03-11 驾驶辅助装置及驾驶辅助方法
PCT/JP2019/009688 WO2020183568A1 (ja) 2019-03-11 2019-03-11 運転支援装置及び運転支援方法
DE112019007012.6T DE112019007012T5 (de) 2019-03-11 2019-03-11 Fahrunterstützungsvorrichtung und Verfahren zur Fahrunterstützung
US17/433,010 US20220161810A1 (en) 2019-03-11 2019-03-11 Driving assistance device and driving assistance method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/009688 WO2020183568A1 (ja) 2019-03-11 2019-03-11 運転支援装置及び運転支援方法

Publications (1)

Publication Number Publication Date
WO2020183568A1 true WO2020183568A1 (ja) 2020-09-17

Family

ID=72427356

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009688 WO2020183568A1 (ja) 2019-03-11 2019-03-11 運転支援装置及び運転支援方法

Country Status (5)

Country Link
US (1) US20220161810A1 (ja)
JP (1) JP7113958B2 (ja)
CN (1) CN113519020B (ja)
DE (1) DE112019007012T5 (ja)
WO (1) WO2020183568A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023117857A1 (fr) * 2021-12-24 2023-06-29 Renault S.A.S. Dispositif et procédé d'évaluation d'un système d'aide à la conduite pour véhicule automobile, le système d'aide à la conduite mettant en œuvre un réseau neuronal artificiel

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114286772A (zh) * 2019-09-02 2022-04-05 三菱电机株式会社 自动驾驶控制装置以及自动驾驶控制方法
JP7363621B2 (ja) * 2020-03-17 2023-10-18 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004351994A (ja) * 2003-05-27 2004-12-16 Denso Corp 車速制御装置およびプログラム
JP2018169672A (ja) * 2017-03-29 2018-11-01 三菱電機インフォメーションシステムズ株式会社 教師画像を生成する方法、コンピュータおよびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4941752B2 (ja) * 2007-08-15 2012-05-30 オムロン株式会社 運転支援装置および方法、並びに、プログラム
JP2009117978A (ja) * 2007-11-02 2009-05-28 Denso Corp 車両周辺表示装置
WO2012164075A2 (de) * 2011-06-03 2012-12-06 Siemens Aktiengesellschaft Verfahren zur rechnergestützten generierung eines datengetriebenen modells eines technischen systems, insbesondere einer gasturbine oder windturbine
US9098747B1 (en) * 2013-04-16 2015-08-04 Google Inc. Systems and methods for identifying locations of infrastructure assets using aerial imagery
US9904852B2 (en) * 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning
EP2865576B1 (en) 2013-10-22 2018-07-04 Honda Research Institute Europe GmbH Composite confidence estimation for predictive driver assistant systems
JP2015118500A (ja) * 2013-12-18 2015-06-25 アイシン・エィ・ダブリュ株式会社 運転支援システム、方法およびプログラム
JP5991332B2 (ja) * 2014-02-05 2016-09-14 トヨタ自動車株式会社 衝突回避制御装置
JP6462328B2 (ja) * 2014-11-18 2019-01-30 日立オートモティブシステムズ株式会社 走行制御システム
CN109477951B (zh) * 2016-08-02 2021-10-22 阿特拉斯5D公司 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法
JP6658565B2 (ja) * 2017-01-20 2020-03-04 トヨタ自動車株式会社 運転支援装置
JP6524144B2 (ja) * 2017-06-02 2019-06-05 本田技研工業株式会社 車両制御システム及び方法、並びに走行支援サーバ
US11144786B2 (en) * 2017-11-02 2021-10-12 Canon Kabushiki Kaisha Information processing apparatus, method for controlling information processing apparatus, and storage medium
US10809735B2 (en) * 2018-04-09 2020-10-20 SafeAI, Inc. System and method for a framework of robust and safe reinforcement learning application in real world autonomous vehicle application
JP7380567B2 (ja) * 2018-08-03 2023-11-15 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11100222B2 (en) * 2018-11-05 2021-08-24 Nxp B.V. Method for hardening a machine learning model against extraction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004351994A (ja) * 2003-05-27 2004-12-16 Denso Corp 車速制御装置およびプログラム
JP2018169672A (ja) * 2017-03-29 2018-11-01 三菱電機インフォメーションシステムズ株式会社 教師画像を生成する方法、コンピュータおよびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023117857A1 (fr) * 2021-12-24 2023-06-29 Renault S.A.S. Dispositif et procédé d'évaluation d'un système d'aide à la conduite pour véhicule automobile, le système d'aide à la conduite mettant en œuvre un réseau neuronal artificiel
FR3131260A1 (fr) * 2021-12-24 2023-06-30 Renault Dispositif et procédé d’évaluation d’un système d’aide à la conduite pour véhicule automobile, le système d’aide à la conduite mettant en œuvre un réseau neuronal artificiel

Also Published As

Publication number Publication date
US20220161810A1 (en) 2022-05-26
JP7113958B2 (ja) 2022-08-05
JPWO2020183568A1 (ja) 2021-09-13
CN113519020B (zh) 2023-04-04
CN113519020A (zh) 2021-10-19
DE112019007012T5 (de) 2022-01-20

Similar Documents

Publication Publication Date Title
WO2020183568A1 (ja) 運転支援装置及び運転支援方法
CN108073170B (zh) 用于自主车辆的自动化协同驾驶控制
CN108574929B (zh) 用于自主驾驶系统中的车载环境中的联网场景再现和增强的方法和设备
CN111561937B (zh) 用于精确定位的传感器融合
CN110850861A (zh) 基于注意的分层变道深度强化学习
US11783593B2 (en) Monocular depth supervision from 3D bounding boxes
US11107228B1 (en) Realistic image perspective transformation using neural networks
US20230342960A1 (en) Depth estimation based on ego-motion estimation and residual flow estimation
US20210350616A1 (en) System and method for estimating depth uncertainty for self-supervised 3d reconstruction
JP5185554B2 (ja) オンラインリスク学習システム
CN111660928B (zh) 车道偏离预警方法、装置和电子设备
JP6986503B2 (ja) 電子制御装置、ニューラルネットワーク更新システム
CN111508253A (zh) 提供自动行驶服务平台的方法及利用其的服务器
JP2934330B2 (ja) 車両の操作量決定装置
US11619495B2 (en) Position estimating apparatus and position estimating method
JP6923362B2 (ja) 操舵角決定装置、自動運転車
US20200039533A1 (en) System and method for hardware verification in an automotive vehicle
CN113435356A (zh) 一种克服观察噪声与感知不确定性的轨迹预测方法
WO2020250526A1 (ja) 外部環境認識装置
US20230033466A1 (en) Information processing method and storage medium for estimating camera pose using machine learning model
US20220300851A1 (en) System and method for training a multi-task model
WO2021245972A1 (ja) 演算装置、視差算出方法
WO2020250718A1 (ja) 地図データ生成装置
US20230401440A1 (en) Weight sharing between deep learning models used in autonomous vehicles
US20240169668A1 (en) Computer-implemented method for creating a three-dimensional virtual model of an environment of a motor vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19919380

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021504642

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19919380

Country of ref document: EP

Kind code of ref document: A1