WO2022044210A1 - 運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラム - Google Patents

運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラム Download PDF

Info

Publication number
WO2022044210A1
WO2022044210A1 PCT/JP2020/032397 JP2020032397W WO2022044210A1 WO 2022044210 A1 WO2022044210 A1 WO 2022044210A1 JP 2020032397 W JP2020032397 W JP 2020032397W WO 2022044210 A1 WO2022044210 A1 WO 2022044210A1
Authority
WO
WIPO (PCT)
Prior art keywords
driving support
object detection
detection information
vehicle
information
Prior art date
Application number
PCT/JP2020/032397
Other languages
English (en)
French (fr)
Inventor
瑞保 若林
博彬 柴田
貴之 井對
紳 三浦
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/032397 priority Critical patent/WO2022044210A1/ja
Priority to JP2022545162A priority patent/JP7350188B2/ja
Priority to CN202080103185.2A priority patent/CN115956041A/zh
Priority to US18/017,882 priority patent/US20230271621A1/en
Priority to DE112020007538.9T priority patent/DE112020007538T5/de
Publication of WO2022044210A1 publication Critical patent/WO2022044210A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Definitions

  • the present invention relates to a driving support device, a learning device, a driving support method, a driving support program, a trained model generation method, and a trained model generation program.
  • the action to be taken by the vehicle is determined based on the detection result of an obstacle around the vehicle by the in-vehicle sensor, and the vehicle is controlled. At that time, by deciding the action of the vehicle based only on the object that affects the control of the vehicle, instead of deciding the action to be taken by the vehicle based on all the objects detected by the in-vehicle sensor. Appropriate vehicle control can be performed.
  • the automatic traveling system described in Patent Document 1 detects only an object inside a preset traveling area as an obstacle, and controls the vehicle so as to avoid a collision with the detected obstacle.
  • the present disclosure has been made in view of the above situation, and an object of the present disclosure is to obtain a driving support device capable of more appropriately providing driving support of a vehicle based on object detection information.
  • the driving support device includes an acquisition unit that acquires object detection information indicating the detection result of an object around the vehicle by a sensor mounted on the vehicle, and driving support information for providing vehicle driving support from the object detection information.
  • a trained model for driving support for the inference unit that outputs driving support information from the object detection information input from the acquisition unit and the object detection information input from the acquisition unit using the trained model for driving support that infers
  • the inference unit detects an object whose evaluation value calculated by the evaluation unit is larger than a predetermined threshold among the object detection information input from the acquisition unit. It is characterized by outputting driving support information based on the information.
  • the driving support device uses a trained model for driving support that infers driving support information for vehicle driving support from object detection information, and uses driving support information from the object detection information input from the acquisition unit.
  • the inference unit is provided with an inference unit that outputs the information and an evaluation unit that calculates the degree of influence of the object detection information input from the acquisition unit on the output of the trained model for driving support as an evaluation value.
  • the driving support information is output based on the object detection information whose evaluation value calculated by the evaluation unit is larger than the predetermined threshold value. Therefore, the driving support is based on the object detection information having a large evaluation value. By outputting the information, it is possible to more appropriately support the driving of the vehicle based on the object detection information.
  • FIG. It is a block diagram which shows the structure of the automatic operation system 1000 which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the structure of the operation support apparatus 100 which concerns on Embodiment 1.
  • FIG. It is a hardware configuration diagram which shows the hardware configuration of the operation support apparatus 100 which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the operation of the driving support apparatus 100 which concerns on Embodiment 1.
  • FIG. It is a conceptual diagram for demonstrating a concrete example of a 1st preprocessing. It is a conceptual diagram for demonstrating a concrete example of a 1st preprocessing. It is a conceptual diagram for demonstrating a concrete example of a 2nd pre-processing. It is a figure which shows the specific example of the evaluation value.
  • FIG. 1 It is a conceptual diagram for demonstrating a concrete example of a 2nd pre-processing. It is a figure which shows the specific example of the evaluation value. It is a conceptual diagram for demonstrating a concrete example of a 2nd pre-processing. It is a block diagram which shows the structure of the learning apparatus 300 which concerns on Embodiment 1.
  • FIG. It is a hardware configuration diagram which shows the hardware configuration of the learning apparatus 300 which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the operation of the learning apparatus 300 which concerns on Embodiment 1.
  • FIG. It is a flowchart for demonstrating the operation which the learning apparatus 300 which concerns on Embodiment 1 performs the initial learning of the learning model for driving support.
  • FIG. 1 is a configuration diagram showing a configuration of the automatic operation system 1000 according to the first embodiment.
  • the automatic driving system 1000 includes a driving support device 100, a vehicle control device 200, and a learning device 300. Further, it is assumed that the automatic driving system 1000 is provided in one vehicle.
  • the details of the driving support device 100 and the vehicle control device 200 will be described in the following utilization phase, and the details of the learning device 300 will be described in the following learning phase.
  • the utilization phase is a phase in which the driving support device 100 provides driving support for the vehicle using the trained model, and the vehicle control device 200 controls the vehicle based on the driving support information output by the driving support device 100.
  • the learning phase is a phase in which the learning device 300 learns the learning model used by the driving support device 100 in the utilization phase.
  • FIG. 2 is a configuration diagram showing the configuration of the driving support device 100 according to the first embodiment.
  • the driving support device 100 provides driving support for the vehicle by determining the behavior of the vehicle according to the environment around the vehicle, and includes an acquisition unit 110, a recognition unit 120, and a determination unit 130.
  • the driving support device 100 outputs driving support information to the vehicle control device 200, and the vehicle control device 200 controls the vehicle based on the input driving support information.
  • the acquisition unit 110 acquires various types of information, and includes an object detection information acquisition unit 111, a map information acquisition unit 112, a vehicle state information acquisition unit 113, and a navigation information acquisition unit 114.
  • the acquisition unit 110 outputs various acquired information to the recognition unit 120 and the determination unit 130.
  • the object detection information acquisition unit 111 acquires object detection information indicating the detection result of an object around the vehicle.
  • the object detection information is sensor data acquired by a sensor mounted on the vehicle.
  • the object detection information acquisition unit 111 acquires point cloud data acquired by LiDAR (Light Detection and Ringing), image data acquired by a camera, and charp data acquired by a radar.
  • LiDAR Light Detection and Ringing
  • the object detection information acquisition unit 111 outputs the acquired object detection information to the emergency avoidance determination unit 121, the evaluation unit 124, and the inference unit 132.
  • the object detection information acquisition unit 111 performs preprocessing on the object detection information, and then outputs the object detection information after the preprocessing to the evaluation unit 124 and the inference unit 132.
  • the preprocessing performed by the object detection information acquisition unit 111 on the object detection information will be referred to as the first preprocessing.
  • the object detection information output to the evaluation unit 124 and the inference unit 132 is the object detection information after the first preprocessing, but the object detection information output to the emergency avoidance determination unit 121 is the object detection after the first preprocessing. It may be information or object detection information before the first preprocessing.
  • the object detection information acquisition unit 111 acquires the vehicle state information from the vehicle state information acquisition unit 113, which will be described later, and then first. Perform preprocessing.
  • the object detection information acquisition unit 111 identifies the object detection information indicating the detection result of the object in the preset area based on the map information acquired by the map information described later. Then, the inference unit 132, which will be described later, outputs driving support information based on the object detection information specified by the object detection information acquisition unit 111.
  • the above area is set by the designer of the driving support device 100 or the driver of the vehicle using an input device (not shown).
  • the object detection information acquisition unit 111 Based on the map information, the object detection information acquisition unit 111 replaces the sensor value of the object detection information indicating the detection result of the object outside the preset area with a predetermined sensor value.
  • a predetermined sensor value for example, a sensor value when the sensor does not detect an object can be used.
  • the object detection information acquisition unit 111 keeps the sensor value of the object detection information indicating the detection result of the object in the preset area as the original sensor value.
  • the object detection information acquisition unit 111 contains the object detection information indicating the detection result of the object outside the road on which the vehicle travels among the object detection information.
  • the sensor value is replaced with the sensor value when the sensor does not detect the object, and the sensor value indicated by the object detection information indicating the detection result of the object on the road on which the vehicle is traveling remains the original sensor value.
  • the map information acquisition unit 112 acquires map information indicating the position of features around the vehicle.
  • the feature is, for example, a white line, a shoulder edge, a building, or the like.
  • the map information acquisition unit 112 outputs the acquired map information to the object detection information acquisition unit 111 and the operation status determination unit 122.
  • the vehicle state information acquisition unit 113 acquires vehicle state information indicating the state of the vehicle.
  • the state of the vehicle is, for example, a physical quantity such as the speed, acceleration, position, and posture of the vehicle.
  • the vehicle state information acquisition unit 113 acquires vehicle state information indicating the position and speed of the vehicle calculated by, for example, a GNSS (Global Navigation Satellite System) receiver or an inertial navigation system.
  • the vehicle state information acquisition unit 113 outputs the acquired vehicle state information to the emergency avoidance determination unit 121, the driving status determination unit 122, and the inference unit 132.
  • GNSS Global Navigation Satellite System
  • the navigation information acquisition unit 114 acquires navigation information indicating a vehicle travel plan such as a travel route to a destination and a recommended lane from a device such as a car navigation system.
  • the navigation information acquisition unit 114 outputs the acquired navigation information to the driving status determination unit 122.
  • the recognition unit 120 recognizes the situation around the vehicle based on the information input from the acquisition unit 110, and includes an emergency avoidance determination unit 121, a driving condition determination unit 122, a model selection unit 123, and an evaluation unit 124.
  • the emergency avoidance determination unit 121 determines whether the vehicle is in a situation requiring emergency avoidance based on the object detection information input from the acquisition unit 110.
  • the situation requiring emergency avoidance is, for example, a state in which there is a high possibility of collision with another vehicle or a pedestrian, and the emergency avoidance determination unit 121 with an obstacle based on point cloud data, image data, or the like.
  • the distance may be calculated, and it may be determined that the state is dangerous because the calculated distance is equal to or less than a predetermined threshold value.
  • the driving status determination unit 122 determines the driving status of the vehicle based on the vehicle status information and the navigation information input from the acquisition unit 110.
  • the driving situation here is, for example, a lane change, a left turn at an intersection, a stop at a red light, and the like. For example, if a vehicle is approaching an intersection whose navigation information indicates a left turn, the driving status determination unit 122 determines based on the position of the vehicle indicated by the vehicle status information and the position of the intersection indicated by the map information. , It is determined that the driving condition of the vehicle is "turn left".
  • the model selection unit 123 selects the trained model used by the evaluation unit 124 and the inference unit 132 based on the operation status determined by the operation status determination unit 122. For example, when the driving condition determined by the driving condition determination unit 122 is "lane change", the learned model for changing lanes is selected, and the driving condition determined by the driving condition determination unit 122 is "straight ahead". In that case, a trained model for going straight is selected.
  • the model selection unit 123 selects a trained model for each of the trained model generation unit for evaluation value calculation and the trained model for driving support.
  • the evaluation unit 124 calculates the degree of influence of the object detection information input from the acquisition unit 110 on the output of the trained model for driving support as an evaluation value.
  • the evaluation value can also be understood as the importance of each object detection information to the behavior judgment of the vehicle.
  • the driving support trained model is a trained model used by the reasoning unit 132 to infer driving support information.
  • the evaluation unit 124 outputs the evaluation value from the object detection information input from the acquisition unit by using the learned model for evaluation value calculation that calculates the evaluation value from the object detection information.
  • the trained model for calculating the evaluation value used by the evaluation unit 124 is the trained model for calculating the evaluation value selected by the model selection unit 123.
  • the emergency avoidance action determination unit 131 outputs driving support information for the vehicle to perform emergency avoidance when the emergency avoidance determination unit 121 determines that emergency avoidance is necessary.
  • the emergency avoidance action determination unit 131 may infer driving support information using AI or may determine driving support information on a rule basis. For example, if a pedestrian appears in front of the vehicle, emergency braking may be applied. The details of the driving support information will be described together with the following inference unit 132.
  • the reasoning unit 132 outputs the driving support information from the object detection information input from the acquisition unit 110 by using the trained model for driving support that infers the driving support information for providing the driving support of the vehicle from the object detection information. It is a thing.
  • the inference unit 132 outputs driving support information based on the object detection information in which the evaluation value calculated by the evaluation unit 124 is larger than a predetermined threshold value among the object detection information input from the acquisition unit 110. In other words, the inference unit 132 outputs the driving support information without being based on the object detection information whose evaluation value is smaller than a predetermined threshold value.
  • the driving support trained model used by the inference unit 132 is a driving support trained model selected by the model selection unit 123.
  • the driving support information output by the inference unit 132 is, for example, the control amount of the vehicle such as the throttle value, the brake value, and the steering value, the binary value indicating whether or not to change the lane, the timing of changing the lane, and the vehicle at the future time. It shows the position, speed, etc. of
  • the trained model for driving support uses at least object detection information for input, and is not limited to one that uses only object detection information for input.
  • other information such as vehicle state information may be used for inputting the trained model for driving support. More specifically, in the case of a model that infers a lane change judgment (outputs no lane change), the relative speed relationship with other vehicles can be known by using time series data as an input, so the vehicle state. Information does not have to be used for input.
  • the inference unit 132 uses the trained driving support model that infers the driving support information from the vehicle state information and the object detection information, and obtains the driving support information from the vehicle state information and the object detection information input from the acquisition unit 110. Output.
  • the details of the processing of the inference unit 132 will be described.
  • the inference unit 132 performs preprocessing on the object detection information input from the acquisition unit 110, and then inputs the object detection information after the preprocessing and the vehicle state information into the trained model for driving support.
  • the preprocessing performed by the inference unit 132 on the object detection information will be referred to as a second preprocessing.
  • the inference unit 132 replaces the sensor value of the object detection information whose evaluation value is equal to or less than a predetermined threshold value among the object detection information input from the acquisition unit with a predetermined sensor value.
  • a predetermined sensor value for example, a sensor value when the vehicle-mounted sensor does not detect an object can be used.
  • the inference unit 132 replaces the sensor value of the object detection information whose evaluation value is equal to or less than the predetermined threshold with the predetermined sensor value, and the sensor value indicated by the object detection information whose evaluation value is larger than the predetermined threshold remains unchanged. do.
  • the inference unit 132 outputs the driving support information by inputting the object detection information and the vehicle state information after the second preprocessing described above into the trained model for driving support.
  • the vehicle control device 200 controls the vehicle based on the driving support information output by the driving support device 100. For example, the vehicle control device 200 controls the vehicle so that it is driven by the controlled amount when the driving support information indicates the controlled amount of the vehicle, and when the driving support information indicates the vehicle state at a future time, the vehicle control device 200 controls the vehicle.
  • the control amount of the vehicle for realizing the vehicle state is calculated, and the vehicle is controlled based on the calculated control amount.
  • FIG. 3 is a configuration diagram showing a hardware configuration of a computer that realizes the driving support device 100.
  • the hardware shown in FIG. 3 is provided with a processing device 10000 such as a CPU (Central Processing Unit) and a storage device 10001 such as a ROM (Read Only Memory) and a hard disk.
  • a processing device 10000 such as a CPU (Central Processing Unit) and a storage device 10001 such as a ROM (Read Only Memory) and a hard disk.
  • a storage device 10001 such as a ROM (Read Only Memory) and a hard disk.
  • the acquisition unit 110, the recognition unit 120, and the determination unit 130 shown in FIG. 2 are realized by executing the program stored in the storage device 10001 on the processing device 10000. Further, the method of realizing each function of the operation support device 100 is not limited to the combination of the hardware and the program described above, and is realized by the hardware alone such as an LSI (Large Scale Integrated Circuit) in which the program is implemented in the processing device. Alternatively, some functions may be realized by dedicated hardware, and some may be realized by a combination of a processing device and a program.
  • the driving support device 100 As described above, the driving support device 100 according to the first embodiment is configured.
  • the object detection information used by the inference unit 132 and the evaluation unit 124 for inputting the trained model is point cloud data
  • the emergency avoidance determination unit 121 determines whether emergency avoidance is necessary based on the image data and the point cloud data. It shall be.
  • FIG. 4 is a flowchart showing the operation of the driving support device 100 according to the first embodiment.
  • the operation of the driving support device 100 corresponds to the driving support method, and the program that causes the computer to execute the operation of the driving support device 100 corresponds to the driving support program. Further, “part” may be appropriately read as “process”.
  • step S1 the acquisition unit 110 acquires various information including the object detection information. More specifically, the object detection information acquisition unit 111 acquires the object detection information, the map information acquisition unit 112 acquires the map information around the vehicle, and the vehicle condition information acquisition unit 113 acquires the vehicle condition information at the current time. Then, the navigation information acquisition unit acquires navigation information indicating the travel plan of the own vehicle.
  • step S2 the acquisition unit 110 performs the first preprocessing.
  • the vehicle A1 is a own vehicle equipped with a driving support device 100.
  • the straight line drawn radially from the center of the vehicle A1 represents each object detection information, and the tip position of the straight line represents the sensor value.
  • the sensor value indicates the distance between the vehicle and the object when the sensor detects an object, and the sensor value when the sensor does not detect anything indicates the maximum distance that the sensor can detect. Further, the sensor shall detect an object when it is within the maximum detection distance of the sensor.
  • the vehicle AI is traveling on the road R1, and the LiDAR mounted on the vehicle A1 detects the building C1 existing outside the road R1 and the other vehicle B1 traveling on the same road R1. ..
  • the object detection information in which nothing is detected is shown by a dotted line
  • the object detection information in which an object is detected is shown by a solid line.
  • the object detection information necessary for controlling the vehicle A1 is the object detection information that detects an object existing inside the road R1, and is set in the first preprocessing.
  • Road R1 is set as an area.
  • the object detection information acquisition unit 111 replaces the sensor value of the object detection information for detecting the object existing outside the road R1 with a predetermined value, and the object detection information for detecting the object existing inside the road R1.
  • the sensor value remains the same as the original sensor value. That is, as shown in FIG. 6, the object detection information acquisition unit 111 uses the sensor value of the object detection information for detecting the building C1 existing outside the road R1 as the sensor value when the sensor does not detect the object. replace.
  • step S3 the emergency avoidance determination unit 121 determines whether the vehicle is in a state requiring emergency avoidance. If the emergency avoidance determination unit 121 determines that the vehicle is in a state requiring emergency avoidance, the process proceeds to step S4, and if it is determined that the vehicle is not in a state requiring emergency avoidance, the process proceeds to step S5.
  • the emergency avoidance action determination unit 131 outputs the driving support information for executing the emergency avoidance to the vehicle control device 200.
  • step S5 the driving status determination unit 122 determines the driving status of the vehicle.
  • step S6 the model selection unit 123 selects the trained model to be used in a later step based on the operating condition determined in step S5.
  • step S7 the evaluation unit 124 calculates the degree of influence of the input object detection information on the output of the trained model for driving support as an evaluation value.
  • step S8 the inference unit 132 outputs driving support information based on the vehicle state information at the current time and the object detection information whose evaluation value calculated in step S7 is larger than a predetermined threshold value among the object detection information. do.
  • FIGS. 7 to 11 are conceptual diagrams for explaining specific examples of the operation of the evaluation unit 124 and the inference unit 132, and FIGS. 8 and 10 show specific examples of the evaluation values calculated by the evaluation unit 124. It is a figure which shows.
  • the in-vehicle sensor mounted on the vehicle A1 detects other vehicles B2 to B7.
  • two patterns will be described: (1) when the vehicle A1 changes lanes from the right lane to the left lane, and (2) when the vehicle keeps going straight in the right lane.
  • the object detection information D3 that detected the vehicle B3 and the object detection information D6 that detected the vehicle B6 Regarding the object detection information D3 that detected the vehicle B3 and the object detection information D6 that detected the vehicle B6.
  • the evaluation value of is calculated as a medium value.
  • the object detection information D2 that detects the vehicle B2 and the object detection information D5 that detects the vehicle B5 are important. The degree is high, and a large value is calculated as an evaluation value.
  • the inference unit 132 performs the second preprocessing based on the calculated evaluation value. For example, when the threshold value is set to a value between medium and large in FIG. 8, as shown in FIG. 9, the inference unit 132 has an object detection information D3, D4, D6, D7 having a medium evaluation value. Replace the sensor value of with the sensor value when the sensor does not detect the object. On the other hand, the inference unit 132 keeps the sensor values of the object detection information D2 and D5 having a large evaluation value as the original sensor values.
  • the evaluation values of the object detection information D4 that detects the vehicle B4 and the object detection information D7 that detects the vehicle B7 are large values. Is calculated.
  • the inference unit 132 performs the second preprocessing based on the calculated evaluation value. For example, when the threshold value is set to a value between medium and large in FIG. 10, as shown in FIG. 11, the inference unit 132 has the object detection information D2, D3, D5 in which the evaluation value is small or medium. Replace the sensor value of D6 with the sensor value when the sensor does not detect the object. On the other hand, the inference unit 132 keeps the sensor values of the object detection information D4 and D7 having a large evaluation value as the original sensor values. This is the end of the description of the processing of the evaluation unit 124 and the inference unit 132, and the continuation of the flowchart of FIG. 4 will be described.
  • step S9 the vehicle control device 200 controls the vehicle based on the action determination result output by the inference unit 132 in step S8.
  • the driving support device 100 outputs driving support information based on the object detection information having a large evaluation value, so that the driving support of the vehicle based on the object detection information is more appropriate. Can be done. That is, if unnecessary information is input to the trained model, the inference accuracy may decrease. However, the driving support device 100 calculates the evaluation value, inputs the object detection information having a large evaluation value into the trained model, and inputs it to the trained model. Since the input of unnecessary information is reduced, the inference accuracy of the trained model can be improved.
  • the evaluation value should be calculated on a rule basis. Then, it takes a huge amount of time to prepare the rules, but the driving support device 100 according to the first embodiment calculates the evaluation value using the trained model for calculating the evaluation value, so that the evaluation value can be calculated. Such labor can be reduced.
  • the driving support device 100 identifies the object detection information indicating the detection result of the object in the preset area based on the map information, and outputs the driving support information based on the specified object detection information. It is possible to improve the inference accuracy by reducing unnecessary information and performing inference based only on the information necessary for driving.
  • the driving support device 100 performs the first pre-processing for replacing the sensor value of the object detection information indicating the detection result of the object outside the preset area with a predetermined sensor value based on the map information, and after the first pre-processing. Since the object detection information of the above is output to the evaluation unit 124 and the inference unit 132, it is possible to reduce the influence of the detection result of the object outside the preset area on the inference. Further, in this case, by setting a predetermined sensor value as the sensor value when the sensor does not detect the object, the influence on the inference of the detection result of the object outside the region can be ignored.
  • the sensor value of the object detection information indicating the detection result of the object in the area is left as the original sensor value, so for example, the influence of the object existing in the same road is taken into consideration. Can make inferences about driving assistance.
  • the driving support device 100 performs a second preprocessing for replacing the sensor value of the object detection information whose evaluation value is equal to or less than a predetermined threshold among the object detection information input from the acquisition unit 110 with a predetermined sensor value.
  • the driving support information is output by inputting the object detection information after preprocessing into the trained model for driving support, the influence on the inference of the detection result of the object whose evaluation value is equal to or less than the predetermined threshold is affected. Can be mitigated. Further, in this case, by setting the predetermined sensor value as the sensor value when the sensor does not detect the object, it is possible to ignore the influence on the inference of the detection result of the object whose evaluation value is equal to or less than the predetermined threshold value. can.
  • the sensor value of the object detection information whose evaluation value is larger than the predetermined threshold value is left as the original sensor value, so the inference of driving support is made in consideration of the influence of the object with the large evaluation value. It can be carried out.
  • learning of the learning model will be explained in the learning phase, but learning data may be generated by a driving simulator.
  • learning data may be generated by a driving simulator.
  • a driving simulator since it is difficult for a driving simulator to completely reproduce the environment outside the road, there may be a difference between the object detection information generated by the driving simulator and the object detection information in the actual environment.
  • the driving support device 100 specifies object detection information indicating an object detection result in a preset area based on map information, and based on the specified object detection information. Since the driving support information is output, the existence of the object outside the road is ignored, and the object detection information obtained in the simulator environment and the object detection information in the actual environment become equivalent. That is, the inference accuracy of the trained model can be improved by reducing the difference between the learning data generated by the driving simulator and the object detection information in the real environment.
  • FIG. 12 is a configuration diagram showing the configuration of the learning device 300 according to the first embodiment.
  • the learning device 300 learns a learning model and generates a learned model used by the driving support device 100, and is an acquisition unit 310, a cognitive unit 320, a learning data generation unit 330, and a learned model generation unit 340. To prepare for.
  • the acquisition unit 310 acquires various types of information, and is similar to the acquisition unit 110 included in the driving support device 100. Similar to the acquisition unit 110, the acquisition unit 310 includes an object detection information acquisition unit 311, a map information acquisition unit 312, a vehicle state information acquisition unit 313, and a navigation information acquisition unit 314. However, the various information acquired by the acquisition unit 310 may be information acquired by the vehicle actually traveling as in the utilization phase, but is acquired by a driving simulator that virtually realizes the driving environment of the vehicle. It may be information.
  • the cognitive unit 320 includes an emergency avoidance determination unit 321, a driving status determination unit 322, a model selection unit 323, and an evaluation unit 324.
  • the emergency avoidance determination unit 32 like the emergency avoidance determination unit 121, determines the necessity of emergency avoidance.
  • the emergency avoidance determination unit 321 determines that emergency avoidance is required, the vehicle state information and the object detection information at that time are excluded from the learning data.
  • the driving status determination unit 322 determines the driving status of the vehicle in the same manner as the driving status determination unit 122.
  • the model selection unit 323 selects a learning model corresponding to the operation status determined by the operation status determination unit 322.
  • the learning data generation unit 330 which will be described later, generates learning data for the learning model selected by the model selection unit 323, and the trained model generation unit 340 learns the learning model selected by the model selection unit 323.
  • the model selection unit 323 selects a driving support learning model corresponding to the driving situation when learning the driving support learning model, and when learning the evaluation value calculation learning model, the driving situation. Select the learning model for calculating the evaluation value corresponding to the above and the learned model for driving support that has been initially trained. Further, when re-learning the driving support learning model, the model selection unit 323 selects a driving support learning model to be relearned and a learned model for evaluation value calculation.
  • the evaluation unit 324 uses the trained model for evaluation value calculation generated by the trained model generation unit 341 for evaluation value calculation to obtain the evaluation value of the object detection information input from the acquisition unit 310. It is to be calculated.
  • the learning data generation unit 330 generates learning data used for learning a learning model, and includes a first learning data generation unit 331 and a second learning data generation unit 332.
  • the first learning data generation unit 331 has been learned for driving support to infer object detection information indicating the detection result of an object around the vehicle by a sensor mounted on the vehicle and driving support information for providing driving support of the vehicle.
  • First learning data including an evaluation value indicating the degree of influence of the object detection information on the output of the model is generated.
  • the first learning data is learning data used for learning the evaluation value calculation learning model.
  • the first learning data generation unit 331 generates a set of the object detection information and the evaluation value as the first learning data. The details of the method of generating the data for the first training will be described below.
  • these methods are learning models, that is, methods for visualizing the judgment basis of AI so that humans can interpret it. For example, in image classification using a neural network, which of the pixel values of the image, which is the input value, influences the judgment of the neural network (which class the image belongs to) is quantified and visualized. You can see which part of the image the AI looked at to make the decision.
  • a numerical value of the AI judgment basis obtained by these methods is utilized. By treating the numerical value of the AI judgment basis as the evaluation value of the input value, it can be considered that the one with a low evaluation value is unnecessary for the AI judgment.
  • Equation 1 the input / output relationship of the trained model for driving support is expressed by Equation 1.
  • the functional form of f is determined by the designer of the learning model for driving support, and the value of each parameter included in f is already determined by learning the learning model for driving support.
  • the sensor value indicated by the object detection information used for input is represented by the vector of formula 2
  • the output value of the trained model for driving support is represented by the vector of formula 3.
  • Equation 4 the evaluation value s (x i ) of the input value x i (one element of the input vector) is calculated as in Equation 4.
  • the subscript on the upper right is not a power exponent, but a label for distinguishing input data.
  • the first learning data generation unit 331 generates a plurality of teacher data s 1 , s 2 , ..., S N using a plurality of input data x 1 , x 2 , ..., X N for learning.
  • the first learning data (pair of input and teacher) is acquired as ⁇ x 1 , s 1 ⁇ , ⁇ x 2 , s 2 ⁇ , ..., ⁇ x N , s N ⁇ .
  • the second learning data generation unit 332 is the second learning data including the object detection information indicating the detection result of the object around the vehicle by the sensor mounted on the vehicle and the driving support information for providing the driving support of the vehicle.
  • the second learning data is learning data used for learning the behavior estimation learning model.
  • the second learning data generation unit 332 not only the object detection information but also other information, for example, a vehicle.
  • the state information is also included in the second learning data.
  • the second learning data generation unit 332 generates the second learning data including the vehicle state information, the object detection information, and the driving support information in accordance with the inference unit 132 described in the inference phase. And.
  • the second learning data generation unit 332 generates a set of vehicle state information, object detection information, and driving support information as second learning data.
  • the second learning data generation unit 332 may generate a set of the vehicle state information and the object detection information at the time t and the control amount of the vehicle at the time t + ⁇ T as the second learning data.
  • the trained model generation unit 340 trains the learning model and generates the trained model, and includes a trained model generation unit 341 for evaluation value calculation and a trained model generation unit 342 for driving support.
  • the evaluation value calculation trained model generation unit 341 generates an evaluation value calculation trained model that calculates an evaluation value from object detection information using the first learning data.
  • the trained model generation unit 341 for calculating the evaluation value has been trained for calculating the evaluation value by so-called supervised learning using the first learning data in which the object detection information and the evaluation value are a set. Generate a model generator.
  • the driving support trained model generation unit 342 uses the second learning data to generate a driving support trained model that infers driving support information from object detection information.
  • the trained model for driving support uses at least object detection information for input, and in addition to the object detection information.
  • Other information such as vehicle condition information, may also be used for input.
  • the trained model generation unit 342 for driving support generates a trained model for driving support that infers driving support information from vehicle state information and object detection information using the second learning data will be described. ..
  • the driving support trained model generation unit 342 generates object detection information in which the evaluation value calculated by the evaluation unit 324 is larger than a predetermined threshold among the second learning data input from the second learning data generation unit.
  • a trained model for driving support is generated using the included second learning data.
  • a trained model for driving support is generated by supervised learning using the second learning data in which the vehicle state information and object detection information at time t and the control amount of the vehicle at time t + ⁇ T are combined.
  • a reward may be set for each driving situation, and a learned model for driving support may be generated by reinforcement learning.
  • FIG. 13 is a configuration diagram showing a hardware configuration of a computer that realizes the learning device 300.
  • the hardware shown in FIG. 13 includes a processing device 30000 such as a CPU (Central Processing Unit) and a storage device 30001 such as a ROM (Read Only Memory) and a hard disk.
  • a processing device 30000 such as a CPU (Central Processing Unit) and a storage device 30001 such as a ROM (Read Only Memory) and a hard disk.
  • a storage device 30001 such as a ROM (Read Only Memory) and a hard disk.
  • the acquisition unit 310, the cognitive unit 320, the learning data generation unit 330, and the learned model generation unit 340 shown in FIG. 12 are realized by executing the program stored in the storage device 30001 on the processing device 30000. .. Further, the method of realizing each function of the learning device 300 is not limited to the combination of the hardware and the program described above, but may be realized by the hardware alone such as an LSI (Large Scale Integrated Circuit) in which the program is implemented in the processing device. Alternatively, some functions may be realized by dedicated hardware, and some may be realized by a combination of a processing device and a program.
  • LSI Large Scale Integrated Circuit
  • the learning device 300 As described above, the learning device 300 according to the first embodiment is configured.
  • FIG. 14 is a flowchart showing the operation of the learning device 300 according to the first embodiment.
  • the operation of the learning device 300 corresponds to the trained model generation method, and the program that causes the computer to execute the operation of the learning device 300 corresponds to the trained model generation program. Further, “part” may be appropriately read as "process”.
  • the operation of the learning device 300 is divided into three stages: initial learning of the learning model for driving support in step S100, learning of the learning model for calculating the evaluation value in step S200, and re-learning of the learning model for driving support in step S300. The details of each step will be described below.
  • FIG. 15 is a flowchart for explaining the initial learning of the learning model for calculating the evaluation value.
  • the acquisition unit 310 acquires various information including object detection information. More specifically, the object detection information acquisition unit 311 acquires the object detection information, the map information acquisition unit 112 acquires the map information around the vehicle, and the vehicle condition information acquisition unit 313 acquires the vehicle condition information and navigates. The information acquisition unit acquires navigation information.
  • step S102 the object detection information acquisition unit 311 performs the first preprocessing on the object detection information.
  • the first pre-processing is the same as the pre-processing described in the utilization phase.
  • step S103 the emergency avoidance determination unit 321 determines whether or not the vehicle is in a state requiring emergency avoidance using the object detection information. If the emergency avoidance determination unit 321 determines that the vehicle is in a state requiring emergency avoidance, the process proceeds to step S104, and if it is determined that the vehicle is not in a state requiring emergency avoidance, the process proceeds to step S105.
  • the recognition unit 120 excludes the object detection information used for the determination of emergency avoidance and the vehicle state information at the same time from the learning data, and returns to step S101.
  • the driving status determination unit 322 determines the driving status of the vehicle.
  • step S106 the model selection unit 323 selects a learning model to be used in a later step based on the operation status determined by the operation status determination unit 322 in step S105.
  • step S107 the second learning data generation unit 332 generates the second learning data.
  • the second learning data generated here is learning data for training the learning model selected in step S106.
  • step S108 the driving support trained model generation unit 342 determines whether a sufficient amount of the second learning data has been accumulated.
  • the process returns to step S101, and the acquisition unit 310 acquires various information again.
  • the driving support trained model generation unit 342 determines that a sufficient amount of the second learning data has been accumulated, the process proceeds to step S109.
  • step S109 the driving support learned model generation unit 342 learns the driving support learning model.
  • the learning model generation unit 342 for driving support performs learning is the learning model selected by the model selection unit 323 in step S106.
  • step S110 the trained model generation unit 342 for driving support determines whether the learning model has been trained for all the driving situations.
  • the process returns to step S101.
  • the process of step S100 in FIG. 14 is terminated.
  • step S200 in FIG. 14 Since the processing from step S201 to step S205 is the same as that from step S101 to step S105, the description thereof will be omitted. Further, when the processing results from step S101 to step S105 are stored in the storage device and the same object detection information is used for learning the learning model for evaluation value calculation, the processing from step S201 to step S205 is omitted and stored. It may be only necessary to read the processing result such as the object detection information and the operating status from the device.
  • step S206 the model selection unit 323 selects a learning model to be used in a later step based on the operation status determined by the operation status determination unit 322 in step S205.
  • step S207 the first learning data generation unit 331 generates the first learning data.
  • the first learning data generated here is the first learning data for training the learning model selected in step S206. Further, the first learning data generation unit 331 generates the teacher data to be included in the first learning data by using the driving support trained model generated in step S100.
  • step S208 the trained model generation unit 341 for calculating the evaluation value determines whether a sufficient amount of the first training data has been accumulated.
  • the process returns to step S201, and the acquisition unit 310 acquires various information again.
  • the trained model generation unit 341 for calculating the evaluation value determines that a sufficient amount of the first learning data has been accumulated, the process proceeds to step S209.
  • step S209 the learning model generation unit 341 for evaluation value calculation learns the learning model for evaluation value calculation.
  • the learning model selected by the model selection unit 323 in step S206 that the trained model generation unit 341 for calculating the evaluation value performs learning.
  • step S210 the trained model generation unit 341 for calculating the evaluation value determines whether or not the learning model has been trained for all the operating conditions.
  • the process returns to step S201.
  • the process of step S200 in FIG. 14 is terminated.
  • step S300 The processing from step S301 to step S306 is the same as that from step S101 to step S106. Further, when the processing results from step S101 to step S106 are stored in the storage device and the same vehicle state information and object detection information are used for learning the trained model for driving support, the processing from step S301 to step S306 is performed. It may be omitted, and only the processing results such as the vehicle state information, the object detection information, and the driving status stored in the storage device may be read out.
  • step S307 the evaluation unit 324 calculates the evaluation value of the input object detection information by using the learned model generation unit for evaluation value calculation generated in step S200.
  • step S308 the second learning data generation unit 332 performs the second preprocessing on the input object detection information.
  • the second preprocessing here is the same processing as the second preprocessing described in the utilization phase.
  • step S309 the second learning data generation unit 332 generates the second learning data using the object detection information after the second preprocessing.
  • the second learning data at the time of re-learning will be referred to as re-learning data below in order to distinguish it from the second learning data at the time of initial learning.
  • step S310 the driving support trained model generation unit 342 determines whether a sufficient amount of retraining data has been accumulated. If the driving support trained model generation unit 342 determines that a sufficient amount of relearning data has not been accumulated, the process returns to step S301, and the acquisition unit 310 acquires the object detection information again. On the other hand, when the driving support trained model generation unit 342 determines that a sufficient amount of re-learning data has been accumulated, the process proceeds to step S311.
  • step S311 the driving support learned model generation unit 342 relearns the behavior estimation learning model using the relearning data.
  • step S312 the trained model generation unit 342 for driving support determines whether or not the learning model of all driving conditions has been relearned. If the driving support trained model generation unit 342 determines that there is a learning model that has not yet been relearned, the process returns to step S301. On the other hand, when the driving support trained model generation unit 342 determines that the learning model of the entire driving situation has been relearned, the process of step S300 in FIG. 14 ends.
  • the learning device 300 can generate a trained model for driving support and a trained model generation unit for calculating evaluation values.
  • the learning device 300 replaces the sensor value of the object detection information whose evaluation value is equal to or less than a predetermined threshold value with the sensor value when the sensor does not detect the object, and the evaluation value is The second pre-processing is performed so that the sensor value indicated by the object detection information larger than the predetermined threshold remains the original sensor value, and the re-learning data after the second pre-processing is used to relearn the learning model for driving support.
  • the sensor determines the sensor value indicated by the object detection information that detects an object outside the preset area among the object detection information based on the map information. Is replaced with the sensor value when is not detected, and the sensor value indicated by the object detection information that detected the object in the preset area is the original sensor value. Since the later object detection information is used as learning data, the object detection information obtained in the simulator environment and the object detection information in the actual environment are equivalent by ignoring the existence of objects outside the preset area. Become. That is, the inference performance of the trained model can be improved by removing information unnecessary for the judgment of the trained model.
  • the trained model for driving support makes an action judgment based on the object detection information and the vehicle state information at the current time t, but the object detection information and the vehicle state information from the past time t- ⁇ T to the current time t.
  • the driving support information may be inferred based on the above. In this case, the relative speed relationship between the own vehicle and another vehicle can be grasped without using the vehicle state information.
  • the trained model for calculating the evaluation value not only the object detection information at the current time t but also the object detection information from the past time t ⁇ T to the current time t may be used for input. In this case, the evaluation unit 124 and the evaluation unit 324 calculate the evaluation value for each object detection information from the past time t ⁇ T to the current time t.
  • each configuration of the automatic driving system 1000 is provided in one vehicle, only the driving support device 100 and the vehicle control device 200 are provided in the vehicle, and the learning device 300 is realized by an external server. You may.
  • the driving support device 100 and the learning device 300 may be mounted on the manually driven vehicle.
  • driving is performed by comparing the driving support information output by the driving support device 100 with the driving control actually performed by the driver. It is possible to detect whether the condition of the hand is normal or abnormal.
  • the acquisition unit 110 may automatically set the area based on the navigation information. For example, the inside of the road of the traveling route indicated by the navigation information may be set as the area.
  • the driving support device 100 outputs driving support information by dividing the driving situation into a state requiring emergency avoidance and a normal driving state. All of these are summarized and driving support is performed using a learned model. Information may be output. That is, the emergency avoidance determination unit 121 and the emergency avoidance action determination unit 131 are not provided, and the driving support information necessary for the emergency avoidance action is also provided as one of the driving situations in which the operation status determination unit 122 determines the state in which emergency avoidance is required.
  • the reasoning unit 132 may make an inference using the trained model for driving support.
  • the learning device 300 generates a learned model according to each driving situation, and the driving support device 100 outputs the driving support information by using the learned model according to each driving situation. It is possible to output appropriate driving support information according to each driving situation, but if sufficient generalization performance can be obtained, a learned model that summarizes multiple situations can be used, or all driving situations can be displayed. A trained model that has been put together may be used.
  • the evaluation unit 124 may further use vehicle state information, map information, and navigation information as input of the learned model for evaluation value calculation.
  • the inference unit 132 may further use map information and navigation information as input of the trained model for driving support.
  • the acquisition unit 110 performs the first preprocessing in step S2 immediately after step S1 for acquiring various information, but when the evaluation unit 124 is before step S7 for calculating the evaluation value, The first pretreatment may be performed.
  • emergency avoidance behavior requires immediate response, it is possible to immediately realize emergency avoidance behavior by performing the first pretreatment after determining the necessity of emergency avoidance behavior.
  • the learning device 300 has been described as using the same functional model in the initial learning and relearning of the driving support learning model, different functional models may be used in the initial learning and the relearning.
  • different functional models may be used in the initial learning and the relearning.
  • In order to infer driving support information from a large amount of information it is necessary to increase the parameters of the model and increase the expressive ability of the model for learning.
  • unnecessary information is removed by replacing the sensor value with a low evaluation value with a default value, so that the amount of information in the input data is reduced. Therefore, at the time of re-learning, sufficient performance can be obtained even if the learning model for behavior estimation is trained with a smaller model with fewer parameters than the model before re-learning. It is possible.
  • the smaller model is a model in which the number of layers and nodes is reduced when the model is a neural network.
  • the driving support device is suitable for use in, for example, an automatic driving system or a driver abnormality detection system.
  • 1000 automatic driving system 100 driving support device, 200 vehicle control device, 300 learning device, 110,310 acquisition unit, 120,320 recognition unit, 130 judgment unit, 111,311 object detection information acquisition unit, 112,312 map information acquisition Unit, 113,313 Vehicle status information acquisition unit, 114,314 Navigation information acquisition unit, 121,321 Emergency avoidance determination unit, 122,322 Driving status determination unit, 123,323 Model selection unit, 124,324 Evaluation unit, 131 Emergency Avoidance behavior judgment unit, 132 inference unit, 330 learning data generation unit, 331 first learning data generation unit, 332 second learning data generation unit, 340 trained model generation unit, 341 trained model generation for evaluation value calculation Unit, 342 Learned model generation unit for driving support, 10,000, 30,000 processing device, 10001,30001 storage device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)

Abstract

物体検知情報に基づいた車両の運転支援をより適切に行うことができる運転支援装置を得る。　本開示に係る運転支援装置は、車両に搭載されたセンサーによる車両周囲の物体の検知結果を示す物体検知情報を取得する取得部と、物体検知情報から車両の運転支援を行うための運転支援情報を推論する運転支援用学習済モデルを用いて、取得部から入力された物体検知情報から運転支援情報を出力する推論部と、取得部から入力された物体検知情報について、運転支援用学習済モデルの出力への影響度合いを評価値として算出する評価部と、を備え、推論部は、取得部から入力された物体検知情報のうち、評価部が算出した評価値が所定の閾値より大きな物体検知情報に基づき、運転支援情報を出力することを特徴とする。

Description

運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラム
　本発明は、運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラムに関する。
　車載センサーから出力される物体検知情報に基づき、運転支援を行う技術が開発されている。例えば、自動運転車両においては、車載センサーによる車両周囲の障害物の検知結果に基づき、車両の取るべき行動を決定し、車両制御を行う。その際、車載センサーで検知された全ての物体に基づいて、車両の取るべき行動を決定するのではなく、車両の制御に影響がある物体のみに基づいて車両の行動を決定することにより、より適切な車両制御を行うことができる。
　例えば、特許文献１に記載の自動走行システムは、あらかじめ設定した走行領域の内部にある物体のみを障害物として検知し、検知した障害物との衝突を回避するように車両の制御を行う。
特開２０１９－１６８８８８号公報
　しかしながら、中央車線から左車線に車線変更する際に、右車線を走行している車両等、同じ道路を走行している物体であっても、車両の行動判断に考慮する必要がない物体が存在する。そして、このような物体の検知結果に基づいて行動判断を行うと、不適切な行動判断を行ってしまう可能性がある。
　本開示は、上記のような状況に鑑みなされたものであり、物体検知情報に基づいた車両の運転支援をより適切に行うことができる運転支援装置を得ることを目的とする。
　本開示に係る運転支援装置は、車両に搭載されたセンサーによる車両周囲の物体の検知結果を示す物体検知情報を取得する取得部と、物体検知情報から車両の運転支援を行うための運転支援情報を推論する運転支援用学習済モデルを用いて、取得部から入力された物体検知情報から運転支援情報を出力する推論部と、取得部から入力された物体検知情報について、運転支援用学習済モデルの出力への影響度合いを評価値として算出する評価部と、を備え、推論部は、取得部から入力された物体検知情報のうち、評価部が算出した評価値が所定の閾値より大きな物体検知情報に基づき、運転支援情報を出力することを特徴とする。
　本開示に係る運転支援装置は、物体検知情報から車両の運転支援を行うための運転支援情報を推論する運転支援用学習済モデルを用いて、取得部から入力された物体検知情報から運転支援情報を出力する推論部と、取得部から入力された物体検知情報について、運転支援用学習済モデルの出力への影響度合いを評価値として算出する評価部と、を備え、推論部は、取得部から入力された物体検知情報のうち、評価部が算出した評価値が所定の閾値より大きな物体検知情報に基づき、運転支援情報を出力するようにしたので、評価値が大きい物体検知情報に基づき運転支援情報を出力することにより、物体検知情報に基づいた車両の運転支援をより適切に行うことができる。
実施の形態１に係る自動運転システム１０００の構成を示す構成図である。 実施の形態１に係る運転支援装置１００の構成を示す構成図である。 実施の形態１に係る運転支援装置１００のハードウェア構成を示すハードウェア構成図である。 実施の形態１に係る運転支援装置１００の動作を示すフローチャートである。 第一前処理の具体例を説明するための概念図である。 第一前処理の具体例を説明するための概念図である。 第二前処理の具体例を説明するための概念図である。 評価値の具体例を示す図である。 第二前処理の具体例を説明するための概念図である。 評価値の具体例を示す図である。 第二前処理の具体例を説明するための概念図である。 実施の形態１に係る学習装置３００の構成を示す構成図である。 実施の形態１に係る学習装置３００のハードウェア構成を示すハードウェア構成図である。 実施の形態１に係る学習装置３００の動作を示すフローチャートである。 実施の形態１に係る学習装置３００が運転支援用学習モデルの初期学習を行う動作を説明するためのフローチャートである。 実施の形態１に係る学習装置３００が評価値算出用学習モデルの学習を行う動作を説明するためのフローチャートである。 実施の形態１に係る学習装置３００が運転支援用学習モデルの再学習を行う動作を説明するためのフローチャートである。
　実施の形態１．
　図１は、実施の形態１に係る自動運転システム１０００の構成を示す構成図である。自動運転システム１０００は、運転支援装置１００、車両制御装置２００、及び学習装置３００を備える。また、自動運転システム１０００は１台の車両に備えられているものとする。運転支援装置１００及び車両制御装置２００の詳細については、以下の活用フェーズで説明し、学習装置３００の詳細については、以下の学習フェーズで説明する。活用フェーズは、運転支援装置１００が学習済モデルを用いて車両の運転支援を行い、運転支援装置１００が出力した運転支援情報に基づいて、車両制御装置２００が車両の制御を行うフェーズであり、学習フェーズは、活用フェーズで運転支援装置１００が用いる学習モデルの学習を学習装置３００が行うフェーズである。
　＜活用フェーズ＞
　図２は、実施の形態１に係る運転支援装置１００の構成を示す構成図である。
　運転支援装置１００は、車両周囲の環境に応じた車両の行動判断を行うことにより、車両の運転支援を行うものであり、取得部１１０、認知部１２０、及び判断部１３０を備える。運転支援装置１００は運転支援情報を車両制御装置２００に出力し、車両制御装置２００は入力された運転支援情報に基づいて車両の制御を行う。
　取得部１１０は、各種情報を取得するものであり、物体検知情報取得部１１１、地図情報取得部１１２、車両状態情報取得部１１３、及びナビゲーション情報取得部１１４を備える。取得部１１０は、取得した各種情報を認知部１２０及び判断部１３０に出力する。
　物体検知情報取得部１１１は、車両周囲の物体の検知結果を示す物体検知情報を取得するものである。ここで、物体検知情報とは、車両に搭載されたセンサーによって取得されたセンサーデータである。例えば、物体検知情報取得部１１１は、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）により取得された点群データやカメラにより取得された画像データ、レーダーにより取得されたチャープデータを取得する。
　物体検知情報取得部１１１は、取得した物体検知情報を緊急回避判定部１２１、評価部１２４、及び推論部１３２に出力する。ここで、物体検知情報取得部１１１は、物体検知情報に対して前処理を行った後に、前処理後の物体検知情報を評価部１２４及び推論部１３２に出力する。以下では、物体検知情報取得部１１１が物体検知情報に対して行う前処理を第一前処理と呼ぶこととする。また、評価部１２４及び推論部１３２に出力する物体検知情報は第一前処理後の物体検知情報であるが、緊急回避判定部１２１に出力する物体検知情報は、第一前処理後の物体検知情報であっても、第一前処理前の物体検知情報であってもよい。
　また、物体検知情報取得部１１１は、第一前処理を行う際に、車両の位置等の情報が必要な場合、後述する車両状態情報取得部１１３から車両状態情報を取得してから、第一前処理を行う。
　以下で、第一前処理について説明する。
　物体検知情報取得部１１１は、後述する地図情報が取得した地図情報に基づき、予め設定した領域内の物体の検知結果を示す物体検知情報を特定する。そして、後述する推論部１３２は、物体検知情報取得部１１１が特定した物体検知情報に基づいて運転支援情報を出力する。ここで、上記の領域は運転支援装置１００の設計者あるいは、車両の運転手により入力装置（図示せず）を用いて設定されるものとする。
　より具体的に、第一前処理について説明する。
　物体検知情報取得部１１１は、地図情報に基づき、予め設定した領域外の物体の検知結果を示す物体検知情報のセンサー値を所定のセンサー値に置き換える。ここで、所定のセンサー値には、例えば、センサーが物体を検知していないときのセンサー値を用いることができる。また、物体検知情報取得部１１１は、予め設定した領域内の物体の検知結果を示す物体検知情報のセンサー値は元のセンサー値のままとする。
　例えば、車両が走行する道路を検知対象の領域として設定した場合には、物体検知情報取得部１１１は、物体検知情報のうち、車両が走行する道路外の物体の検知結果を示す物体検知情報のセンサー値をセンサーが物体を検知していないときのセンサー値に置き換え、車両が走行する道路内の物体の検知結果を示す物体検知情報の示すセンサー値は元のセンサー値のままとする。
　地図情報取得部１１２は、車両周囲の地物の位置を示す地図情報を取得するものである。ここで、地物とは、例えば、白線、路肩縁、建造物等である。地図情報取得部１１２は、取得した地図情報を物体検知情報取得部１１１、及び運転状況判定部１２２に出力する。
　車両状態情報取得部１１３は、車両の状態を示す車両状態情報を取得するものである。車両の状態とは、例えば、車両の速度、加速度、位置、姿勢等の物理量である。ここで、車両状態情報取得部１１３は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）受信機や慣性航法装置により算出された車両の位置や速度を示す車両状態情報を取得する。車両状態情報取得部１１３は、取得した車両状態情報を緊急回避判定部１２１、運転状況判定部１２２、及び推論部１３２に出力する。
　ナビゲーション情報取得部１１４は、カーナビゲーションシステムなどの機器から、目的地までの走行経路や推奨車線といった車両の走行計画を示すナビゲーション情報を取得するものである。ナビゲーション情報取得部１１４は、取得したナビゲーション情報を運転状況判定部１２２に出力する。
　認知部１２０は、取得部１１０から入力された情報に基づき車両周囲の状況の認知を行うものであり、緊急回避判定部１２１、運転状況判定部１２２、モデル選択部１２３、評価部１２４を備える。
　緊急回避判定部１２１は、取得部１１０から入力された物体検知情報に基づき、車両が緊急回避を要する状況にあるかを判定する。ここで、緊急回避を要する状況とは、例えば、他車両や歩行者と衝突する可能性が高い状態であり、緊急回避判定部１２１は、点群データや画像データ等に基づき、障害物との距離を算出し、算出した距離が所定の閾値以下であることにより危険な状態であると判定するようにしてもよい。
　運転状況判定部１２２は、取得部１１０から入力された車両状態情報、及びナビゲーション情報に基づき、車両の運転状況を判定する。ここでの運転状況とは、例えば、車線変更、交差点で左折、赤信号で停止等である。例えば、ナビゲーション情報が左折を指示している交差点に車両が近づいていると、車両状態情報が示す車両の位置、及び地図情報が示す交差点の位置に基づき判定された場合、運転状況判定部１２２は、車両の運転状況は「左折」であると判定する。
　モデル選択部１２３は、運転状況判定部１２２が判定した運転状況に基づき、評価部１２４及び推論部１３２が用いる学習済モデルを選択するものである。例えば、運転状況判定部１２２で判定された運転状況が「車線変更」の場合には、車線変更用の学習済モデルが選択され、運転状況判定部１２２で判定された運転状況が「直進」の場合には、直進用の学習済モデルが選択される。ここで、モデル選択部１２３は、評価値算出用学習済モデル生成部と運転支援用学習済モデルのそれぞれについて、学習済モデルを選択する。
　評価部１２４は、取得部１１０から入力された物体検知情報について、運転支援用学習済モデルの出力への影響度合いを評価値として算出するものである。ここで、評価値は、各物体検知情報の車両の行動判断への重要度としても理解できる。また、運転支援用学習済モデルとは、推論部１３２が運転支援情報を推論するために用いる学習済モデルである。
　また、実施の形態１において、評価部１２４は、物体検知情報から評価値を算出する評価値算出用学習済モデルを用いて、取得部から入力された物体検知情報から評価値を出力する。ここで、評価部１２４が用いる評価値算出用学習済モデルは、モデル選択部１２３により選択された評価値算出用学習済モデルである。
　緊急回避行動判断部１３１は、緊急回避判定部１２１で緊急回避が必要と判定された場合に、車両が緊急回避を行うための運転支援情報を出力するものである。緊急回避行動判断部１３１は、ＡＩを用いて運転支援情報を推論しても、ルールベースで運転支援情報を決定するようにしてもよい。例えば、車両の目の前に歩行者が現れた場合には、緊急ブレーキを行う等である。運転支援情報の詳細については、次の推論部１３２と合わせて説明する。
　推論部１３２は、物体検知情報から車両の運転支援を行うための運転支援情報を推論する運転支援用学習済モデルを用いて、取得部１１０から入力された物体検知情報から運転支援情報を出力するものである。ここで、推論部１３２は、取得部１１０から入力された物体検知情報のうち、評価部１２４が算出した評価値が所定の閾値より大きな物体検知情報に基づき、運転支援情報を出力する。言い換えれば、推論部１３２は、評価値が所定の閾値より小さな物体検知情報に基づかずに、運転支援情報を出力する。また、推論部１３２が用いる運転支援用学習済モデルは、モデル選択部１２３により選択された運転支援用学習済モデルである。
　推論部１３２が出力する運転支援情報は、例えば、スロットル値、ブレーキ値、ステアリング値等の車両の制御量、車線変更をするかしないかを示す２値、車線変更を行うタイミング、将来時刻における車両の位置・速度等を示すものである。
　また、運転支援用学習済モデルは、少なくとも物体検知情報を入力に用いるものであり、物体検知情報だけを入力に用いるものに限らない。物体検知情報だけでなく、その他の情報、例えば、車両状態情報を運転支援用学習済モデルの入力に用いるようにしてもよい。より具体的には、車線変更判断を推論するモデル（車線変更するしないを出力する）の場合は、時系列データを入力として用いることで他車との相対的な速度関係がわかるので、車両状態情報を入力に用いなくてもよい。一方で、他車両との前後の距離を保つようにスロットル値を推論するモデルの場合は、自車両の速度により速度を維持するための適切なスロットル値は変化するので、物体検知情報だけでなく、車両状態情報もモデルの入力に用いる。以下では、運転支援用学習済モデルの入力に、物体検知情報と車両状態情報との両方を用いる場合について説明する。
　すなわち、推論部１３２は、車両状態情報及び物体検知情報から運転支援情報を推論する運転支援用学習済モデルを用いて、取得部１１０から入力された車両状態情報及び物体検知情報から運転支援情報を出力する。
　推論部１３２の処理の詳細について説明する。
　推論部１３２は、取得部１１０から入力された物体検知情報に対して前処理を行った後に、前処理後の物体検知情報と車両状態情報とを運転支援用学習済モデルに入力する。以下では、推論部１３２が物体検知情報に対して行う前処理を第二前処理と呼ぶこととする。
　以下で、第二前処理について説明する。
　推論部１３２は、取得部から入力された物体検知情報のうち、評価値が所定の閾値以下の物体検知情報のセンサー値を所定のセンサー値に置き換える。ここで、所定のセンサー値には、例えば、車載センサーが物体を検知していないときのセンサー値を用いることができる。また、推論部１３２は、評価値が所定の閾値以下の物体検知情報のセンサー値を所定のセンサー値に置き換えるとともに、評価値が所定の閾値より大きな物体検知情報の示すセンサー値は元のままとする。
　そして、推論部１３２は、上記の第二前処理を行った後の物体検知情報と車両状態情報とを運転支援用学習済モデルに入力することにより、運転支援情報を出力する。
　車両制御装置２００は、運転支援装置１００が出力した運転支援情報に基づき、車両の制御を行うものである。例えば、車両制御装置２００は、運転支援情報が車両の制御量を示す場合には、その制御量で駆動するように車両を制御し、運転支援情報が将来時刻の車両状態を示す場合には、その車両状態を実現するための車両の制御量を算出し、算出した制御量に基づいて車両の制御を行う。
　次に、実施の形態１における運転支援装置１００のハードウェア構成について説明する。運転支援装置１００の各機能は、コンピュータにより実現される。図３は、運転支援装置１００を実現するコンピュータのハードウェア構成を示す構成図である。
　図３に示したハードウェアには、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理装置１００００と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やハードディスク等の記憶装置１０００１が備えられる。
　図２に示す、取得部１１０、認知部１２０、及び判断部１３０は、記憶装置１０００１に記憶されたプログラムが処理装置１００００で実行されることにより実現される。また、運転支援装置１００の各機能を実現する方法は、上記したハードウェアとプログラムの組み合わせに限らず、処理装置にプログラムをインプリメントしたＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）のような、ハードウェア単体で実現するようにしてもよいし、一部の機能を専用のハードウェアで実現し、一部を処理装置とプログラムの組み合わせで実現するようにしてもよい。
　以上のように、実施の形態１に係る運転支援装置１００は構成される。
　次に、実施の形態１に係る運転支援装置１００の動作について説明する。
　以下では、推論部１３２及び評価部１２４が学習済モデルの入力に用いる物体検知情報は点群データであり、緊急回避判定部１２１は、画像データ及び点群データに基づき、緊急回避が必要か判定するものとする。
　図４は、実施の形態１に係る運転支援装置１００の動作を示すフローチャートである。運転支援装置１００の動作が運転支援方法に対応し、運転支援装置１００の動作をコンピュータに実行させるプログラムが運転支援プログラムに対応する。また、「部」は「工程」に適宜読み替えてもよい。
　まず、ステップＳ１において、取得部１１０は物体検知情報を含む各種情報を取得する。より具体的には、物体検知情報取得部１１１は物体検知情報を取得し、地図情報取得部１１２は車両周辺の地図情報を取得し、車両状態情報取得部１１３は現在時刻の車両状態情報を取得し、ナビゲーション情報取得部は自車両の走行計画を示すナビゲーション情報を取得する。
　次に、ステップＳ２において、取得部１１０は第一前処理を行う。
　図５及び図６を用いて、第一前処理の具体例について説明する。図５及び図６は、第一前処理の具体例を説明するための概念図である。車両Ａ１が運転支援装置１００を備えた自車両である。図５及び図６において、車両Ａ１中心から放射状に引かれた直線は各物体検知情報を表しており、直線の先端位置がセンサー値を表す。ここで、センサー値は、センサーが物体を検知した場合、車両と物体との距離を示し、センサーが何も検知していない場合のセンサー値は、センサーが検知できる最大距離を示す。また、センサーは、センサーの最大検出距離以内に物体が存在する場合に、その物体を検知するものとする。
　図５において、車両ＡＩは道路Ｒ１を走行しており、車両Ａ１に搭載されたＬｉＤＡＲは道路Ｒ１の外に存在する建造物Ｃ１と、同じ道路Ｒ１を走行する他車両Ｂ１とを検知している。図５において、物体検知情報のうち、何も検知していない物体検知情報は点線で示し、物体を検知した物体検知情報は実線で示している。
　ここで、車両Ａ１は道路Ｒ１を走行しているので、車両Ａ１の制御に必要な物体検知情報は、道路Ｒ１の内側に存在する物体を検知した物体検知情報であり、第一前処理における設定領域として道路Ｒ１が設定されている。この場合、物体検知情報取得部１１１は、道路Ｒ１の外側に存在する物体を検知した物体検知情報のセンサー値を所定の値に置き換え、道路Ｒ１の内側に存在する物体を検知した物体検知情報のセンサー値は元のセンサー値のままとする。すなわち、物体検知情報取得部１１１は、図６に示すように、道路Ｒ１の外に存在する建造物Ｃ１を検知した物体検知情報のセンサー値をセンサーが物体を検知していないときのセンサー値に置き換える。
　次に、ステップＳ３において、緊急回避判定部１２１は、車両が緊急回避が必要な状態にあるかを判定する。緊急回避判定部１２１が、車両が緊急回避が必要な状態にあると判定した場合、ステップＳ４に進み、緊急回避が必要な状態にないと判定した場合、ステップＳ５に進む。
　ステップＳ４に進んだ場合、緊急回避行動判断部１３１は、緊急回避を実行するための運転支援情報を車両制御装置２００に出力する。
　ステップＳ５に進んだ場合、運転状況判定部１２２は車両の運転状況を判定する。
　次に、ステップＳ６において、モデル選択部１２３はステップＳ５で判定された運転状況に基づいて、後のステップで用いる学習済モデルを選択する。
　次に、ステップＳ７において、評価部１２４は、入力された物体検知情報について、運転支援用学習済モデルの出力への影響度合いを評価値として算出する。
　次に、ステップＳ８において、推論部１３２は、現在時刻の車両状態情報と、物体検知情報のうちステップＳ７で算出した評価値が所定の閾値より大きな物体検知情報とに基づき、運転支援情報を出力する。
　図７から図１１を用いて、評価部１２４及び推論部１３２の動作の具体例について説明する。図７、図９、図１１は、評価部１２４及び推論部１３２の動作の具体例を説明するための概念図であり、図８、図１０は評価部１２４が算出した評価値の具体例を示す図である。
　図７において、車両Ａ１に搭載された車載センサーは他車両Ｂ２～Ｂ７を検知している。
　以下では、（１）車両Ａ１が右車線から左車線への車線変更を行う場合と、（２）右車線で直進を続ける場合の２パターンについて説明する。
　（１）車両Ａ１が右車線から左車線への車線変更を行う場合
　この場合に評価部１２４が算出する評価値について、図７及び図８を用いて説明する。他車両Ｂ４及び他車両Ｂ７は同じ車線に存在するので、車線変更における重要度はあまり高くなく、換言すると、運転支援用学習済モデルの出力への影響度合いは中程度であると言えるので、車両Ｂ４を検知した物体検知情報Ｄ５及び車両Ｂ７を検知した物体検知情報についての評価値は中程度の値が算出される。また、他車両Ｂ３及び他車両Ｂ６は左車線に存在するが距離が遠いので、こちらも重要度はあまり高くなく、車両Ｂ３を検知した物体検知情報Ｄ３及び車両Ｂ６を検知した物体検知情報Ｄ６についての評価値は中程度の値が算出される。一方、他車両Ｂ２及び他車両Ｂ５は車線変更先の車線に存在し、かつ、車両との距離が近いので、車両Ｂ２を検知した物体検知情報Ｄ２及び車両Ｂ５を検知した物体検知情報Ｄ５の重要度は高く、評価値として大きな値が算出される。
　そして、推論部１３２は、算出された評価値に基づき、第二前処理を行う。例えば、閾値が図８の中と大の間の値に設定されている場合、図９に示すように、推論部１３２は、評価値が中程度である物体検知情報Ｄ３，Ｄ４，Ｄ６，Ｄ７のセンサー値をセンサーが物体を検知していないときのセンサー値に置き換える。一方で、推論部１３２は、評価値が大きな物体検知情報Ｄ２，Ｄ５のセンサー値は元のセンサー値のままとする。
　（２）右車線で直進を続ける場合
　この場合に評価部１２４が算出した評価値について、図７及び図１０を用いて説明する。他車両Ｂ２，Ｂ５は車両と異なる車線を走行しているため、直進する際の重要度はあまり高くなく、車両Ｂ２を検知した物体検知情報Ｄ２及び車両Ｂ５を検知した物体検知情報Ｄ５の評価値は中程度の値が算出される。また、他車両Ｂ３，Ｂ６は車両と異なる車線を走行しており、かつ、車両との距離が遠いので、直進する際の重要度は低く、車両Ｂ３を検知した物体検知情報Ｄ３及び車両Ｂ６を検知した物体検知情報Ｄ６の評価値は小さな値が算出される。一方で、他車両Ｂ４，Ｂ７は車両と同じ車線を走行しているため、重要度が高く、車両Ｂ４を検知した物体検知情報Ｄ４及び車両Ｂ７を検知した物体検知情報Ｄ７の評価値は大きな値が算出される。
　そして、推論部１３２は、算出された評価値に基づき、第二前処理を行う。例えば、閾値が図１０の中と大の間の値に設定されている場合、図１１に示すように、推論部１３２は、評価値が小・中である物体検知情報Ｄ２，Ｄ３，Ｄ５，Ｄ６のセンサー値をセンサーが物体を検知していないときのセンサー値に置き換える。一方で、推論部１３２は、評価値が大きい物体検知情報Ｄ４，７のセンサー値は元のセンサー値のままとする。
　以上で、評価部１２４及び推論部１３２の処理の説明を終わり、図４のフローチャートの続きについて説明する。
　次に、ステップＳ９において、車両制御装置２００は、ステップＳ８で推論部１３２が出力した行動判断結果に基づいて車両の制御を行う。
　以上のような動作により、実施の形態１に係る運転支援装置１００は、評価値が大きい物体検知情報に基づき運転支援情報を出力することにより、物体検知情報に基づいた車両の運転支援をより適切に行うことができる。すなわち、不要な情報を学習済モデルに入力すると推論精度が低下する可能性があるが、運転支援装置１００は、評価値を算出し、評価値の大きな物体検知情報を学習済モデルに入力し、不要な情報の入力を減らしているので、学習済モデルの推論精度を向上することができる。
　また、現実の道路に存在する障害物には、他車両、建物、歩行者、標識等様々なものが存在し、それらが様々な距離に存在するため、ルールベースで評価値を算出するようにすると、ルールの整備に膨大な手間がかかるが、実施の形態１に係る運転支援装置１００は、評価値算出用学習済モデルを用いて評価値を算出するようにしたので、評価値の算出にかかる労力を低減することができる。
　また、運転支援装置１００は、地図情報に基づき、予め設定した領域内の物体の検知結果を示す物体検知情報を特定し、特定した物体検知情報に基づき、運転支援情報を出力するようにしたので、不要な情報を減らして、運転に必要な情報のみに基づいて推論を行うことにより、推論精度を向上することができる。
　また、運転支援装置１００は、地図情報に基づき、予め設定した領域外の物体の検知結果を示す物体検知情報のセンサー値を所定のセンサー値に置き換える第一前処理を行い、第一前処理後の物体検知情報を評価部１２４及び推論部１３２に出力するようにしたので、予め設定した領域外の物体の検知結果の推論への影響を軽減することができる。さらに、この場合において、所定のセンサー値をセンサーが物体を検知していないときのセンサー値とすることで、領域外の物体の検知結果の推論への影響を無視することができる。また、第一前処理において、領域内の物体の検知結果を示す物体検知情報のセンサー値は元のセンサー値のままにしているので、例えば、同じ道路内に存在する物体の影響は考慮して運転支援の推論を行うことができる。
　また、運転支援装置１００は、取得部１１０から入力された物体検知情報のうち、評価値が所定の閾値以下の物体検知情報のセンサー値を所定のセンサー値に置き換える第二前処理を行い、第二前処理後の物体検知情報を運転支援用学習済モデルに入力することにより、運転支援情報を出力するようにしたので、評価値が所定の閾値以下の物体の検知結果の推論への影響を軽減することができる。さらに、この場合において、所定のセンサー値をセンサーが物体を検知していないときのセンサー値とすることで、評価値が所定の閾値以下の物体の検知結果の推論への影響を無視することができる。また、第二前処理において、評価値が所定の閾値より大きな物体検知情報のセンサー値は元のセンサー値のままにしているので、評価値の大きな物体の影響は考慮して運転支援の推論を行うことができる。
　また、学習モデルの学習については、学習フェーズで説明するが、学習用データをドライビングシミュレータで生成する場合がある。しかしながら、ドライビングシミュレータでは道路外の環境を完全に再現するのは困難なため、ドライビングシミュレータで生成した物体検知情報と実環境の物体検知情報は差異が生じる可能性がある。
　この課題に対して、実施の形態１に係る運転支援装置１００は、地図情報に基づき、予め設定した領域内の物体の検知結果を示す物体検知情報を特定し、特定した物体検知情報に基づき、運転支援情報を出力するようにしたので、道路外の物体の存在は無視することで、シミュレータ環境で得られる物体検知情報と実環境での物体検知情報が同等となる。すなわち、ドライビングシミュレータで生成された学習用データと実環境の物体検知情報との差異を低減することで、学習済モデルの推論精度を向上することができる。
　以上で活用フェーズの説明を終了し、次に、学習フェーズの説明を行う。
＜学習フェーズ＞
　活用フェーズで用いられる学習済モデルを生成する学習フェーズについて説明する。図１２は、実施の形態１に係る学習装置３００の構成を示す構成図である。
　学習装置３００は、学習モデルの学習を行い、運転支援装置１００が用いる学習済モデルを生成するものであり、取得部３１０、認知部３２０、学習用データ生成部３３０、及び学習済モデル生成部３４０を備える。
　取得部３１０は、各種情報を取得するものであり、運転支援装置１００が備える取得部１１０と同様のものである。取得部３１０は、取得部１１０と同様に、物体検知情報取得部３１１、地図情報取得部３１２、車両状態情報取得部３１３、ナビゲーション情報取得部３１４を備える。ただし、取得部３１０が取得する各種情報は、活用フェーズ同様に実際に走行している車両により取得された情報であっても良いが、車両の走行環境を仮想的に実現するドライビングシミュレータによって取得された情報であってもよい。
　認知部３２０は、緊急回避判定部３２１、運転状況判定部３２２、モデル選択部３２３、及び評価部３２４を備える。
　緊急回避判定部３２１は、緊急回避判定部１２１と同様に、緊急回避の要否を判定するものである。緊急回避判定部３２１が、緊急回避を要すると判定した場合、その時刻の車両状態情報及び物体検知情報は学習用データから除外する。
　運転状況判定部３２２は、運転状況判定部１２２と同様に、車両の運転状況を判定するものである。
　モデル選択部３２３は、モデル選択部１２３と同様に、運転状況判定部３２２が判定した運転状況に対応する学習モデルを選択するものである。後述する学習用データ生成部３３０は、モデル選択部３２３が選択した学習モデルの学習用データを生成し、学習済モデル生成部３４０は、モデル選択部３２３が選択した学習モデルの学習を行う。ここで、モデル選択部３２３は、運転支援用学習モデルの学習を行うときは、運転状況に対応する運転支援用学習モデルを選択し、評価値算出用学習モデルの学習を行うときは、運転状況に対応する評価値算出用学習モデルと、初期学習済の運転支援用学習済モデルとを選択する。また、運転支援用学習モデルの再学習を行う場合は、モデル選択部３２３は、再学習を行う運転支援用学習モデルと、評価値算出用学習済モデルとを選択する。
　評価部３２４は、評価部１２４と同様に、評価値算出用学習済モデル生成部３４１が生成した評価値算出用学習済モデルを用いて、取得部３１０から入力された物体検知情報の評価値を算出するものである。
　学習用データ生成部３３０は、学習モデルの学習に用いる学習用データを生成するものであり、第一学習用データ生成部３３１及び第二学習用データ生成部３３２を備える。
　第一学習用データ生成部３３１は、車両に搭載されたセンサーによる車両周囲の物体の検知結果を示す物体検知情報と、車両の運転支援を行うための運転支援情報を推論する運転支援用学習済モデルの出力への前記物体検知情報の影響度合いを示す評価値とを含む第一学習用データを生成する。ここで、第一学習用データとは、評価値算出用学習モデルの学習に用いる学習用データである。
　第一学習用データ生成部３３１は、物体検知情報と評価値の組を第一学習用データとして生成する。以下で、第一学習用データを生成する方法の詳細について説明する。
　第一学習用データ生成には例えば以下の文献１のように学習モデルが複数の入力値のうち、どの入力値を重視しているか推論できる機械学習手法を適用し、学習モデルの入力値と評価値の組を得る。
文献１
Ｄａｎｉｅｌ　Ｓｍｉｌｋｏｖ，　Ｎｉｋｈｉｌ　Ｔｈｏｒａｔ，　Ｂｅｅｎ　Ｋｉｍ，　Ｆｅｒｎａｎｄａ　Ｖｉｅｇａｓ，　Ｍａｒｔｉｎ　Ｗａｔｔｅｎｂｅｒｇ，　“ＳｍｏｏｔｈＧｒａｄ：　ｒｅｍｏｖｉｎｇ　ｎｏｉｓｅ　ｂｙ　ａｄｄｉｎｇ　ｎｏｉｓｅ”
　本来であれば、これらの手法は学習モデル、すなわちＡＩの判断根拠を人間が解釈できるように可視化するための手法である。例えばニューラルネットワークを使った画像分類では、入力値である画像のピクセル値のうちどの値がニューラルネットワークの判断（画像がどのクラスに属するか）に影響を与えているかを数値化し可視化することで、ＡＩが画像のどの部分を見て判断を決定したのかがわかる。本発明では、これらの手法で得られるＡＩの判断根拠を数値化したものを活用する。ＡＩの判断根拠を数値化したものを入力値の評価値ととらえることで、評価値が低いものはＡＩの判断には不要なものと考えることができる。
　第一学習用データの生成方法の具体例を示す。まず、運転支援用学習済モデルの入出力の関係は数式１で表される。ここで、ｆの関数形は運転支援用学習モデルの設計者により定められており、ｆが含む各パラメータの値は運転支援用学習モデルの学習により既に決定されているものとする。
Figure JPOXMLDOC01-appb-M000001
　ここで、入力に用いられる物体検知情報が示すセンサー値は数式２のベクトルで表され、運転支援用学習済モデルの出力値は数式３のベクトルで表されるものとする。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　この運転支援用学習済モデルから入力値ｘｉ（入力ベクトルの一つの要素）の評価値ｓ（ｘｉ）を数式４のように算出する。
Figure JPOXMLDOC01-appb-M000004
 数式４において、右辺の二重線による括弧はノルムを意味する。第一学習用データ生成部３３１は、数式４を用いて入力データｘ１＝［ｘ１，ｘ２，…，ｘＬ］の評価値をｓ１＝［ｓ（ｘ１），ｓ（ｘ２），…，ｓ（ｘＬ）)］として得る。ここで、右上の添え字は、べき指数ではなく、入力データを区別するためのラベルである。そして、第一学習用データ生成部３３１は、複数の学習用の入力データｘ１，ｘ２，…，ｘＮを用いて、複数の教師データｓ１，ｓ２，…，ｓＮを生成し、第一学習用データ（入力と教師の組）を｛ｘ１，ｓ１｝，｛ｘ２，ｓ２｝，…，｛ｘＮ，ｓＮ｝として取得する。
　第二学習用データ生成部３３２は、車両に搭載されたセンサーによる車両周囲の物体の検知結果を示す物体検知情報と、車両の運転支援を行うための運転支援情報とを含む第二学習用データを生成する。ここで、第二学習用データとは、行動推定用学習モデルの学習に用いる学習用データである。
　ここで、当然ながら、第二学習用データ生成部３３２は、運転支援用学習モデルが物体検知情報以外の情報も入力に用いる場合には、物体検知情報だけでなく、その他の情報、例えば、車両状態情報も第二学習用データに含める。以下では、推論フェーズで説明した推論部１３２に合わせて、第二学習用データ生成部３３２は、車両状態情報と、物体検知情報と、運転支援情報とを含む第二学習用データを生成するものとする。
　第二学習用データ生成部３３２は、車両状態情報及び物体検知情報と、運転支援情報との組を第二学習用データとして生成する。例えば、第二学習用データ生成部３３２は、時刻ｔの車両状態情報及び物体検知情報と、時刻ｔ＋ΔＴの車両の制御量との組を第二学習用データとして生成するようにしてもよい。
　学習済モデル生成部３４０は、学習モデルの学習を行い、学習済モデルを生成するものであり、評価値算出用学習済モデル生成部３４１及び運転支援用学習済モデル生成部３４２を備える。
　評価値算出用学習済モデル生成部３４１は、第一学習用データを用いて、物体検知情報から評価値を算出する評価値算出用学習済モデルを生成する。実施の形態１において、評価値算出用学習済モデル生成部３４１は、物体検知情報と評価値が組となった第一学習用データを用いて、いわゆる教師あり学習により、評価値算出用学習済モデル生成部を生成する。
　運転支援用学習済モデル生成部３４２は、第二学習用データを用いて、物体検知情報から運転支援情報を推論する運転支援用学習済モデルを生成する。ここで、推論部１３２や第二学習用データ生成部３３２の構成の説明時に述べたように、運転支援用学習済モデルは、少なくとも物体検知情報を入力に用いるものであり、物体検知情報に加え、その他の情報、例えば、車両状態情報も入力に用いてもよい。以下では、運転支援用学習済モデル生成部３４２が、第二学習用データを用いて、車両状態情報及び物体検知情報から運転支援情報を推論する運転支援用学習済モデルを生成する場合について説明する。
　また、運転支援用学習済モデル生成部３４２は、第二学習用データ生成部から入力された第二学習用データのうち、評価部３２４が算出した評価値が所定の閾値より大きな物体検知情報を含む第二学習用データを用いて、運転支援用学習済モデルを生成する。以下では、時刻ｔの車両状態情報及び物体検知情報と、時刻ｔ＋ΔＴの車両の制御量が組となった第二学習用データを用いて、教師あり学習により、運転支援用学習済モデルを生成する場合について説明するが、運転状況毎に報酬を設定し、強化学習により、運転支援用学習済モデルを生成するようにしてもよい。
　次に、実施の形態１における学習装置３００のハードウェア構成について説明する。学習装置３００の各機能は、コンピュータにより実現される。図１３は、学習装置３００を実現するコンピュータのハードウェア構成を示す構成図である。
　図１３に示したハードウェアには、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理装置３００００と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やハードディスク等の記憶装置３０００１が備えられる。
　図１２に示す、取得部３１０、認知部３２０、学習用データ生成部３３０、及び学習済モデル生成部３４０は、記憶装置３０００１に記憶されたプログラムが処理装置３００００で実行されることにより実現される。また、学習装置３００の各機能を実現する方法は、上記したハードウェアとプログラムの組み合わせに限らず、処理装置にプログラムをインプリメントしたＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）のような、ハードウェア単体で実現するようにしてもよいし、一部の機能を専用のハードウェアで実現し、一部を処理装置とプログラムの組み合わせで実現するようにしてもよい。
　以上のように、実施の形態１に係る学習装置３００は構成される。
　次に、実施の形態１に係る学習装置３００の動作について説明する。
　図１４は、実施の形態１に係る学習装置３００の動作を示すフローチャートである。学習装置３００の動作が学習済モデルの生成方法に対応し、学習装置３００の動作をコンピュータに実行させるプログラムが学習済モデル生成プログラムに対応する。また、「部」は「工程」に適宜読み替えてもよい。
　学習装置３００の動作は、ステップＳ１００の運転支援用学習モデルの初期学習、ステップＳ２００の評価値算出用学習モデルの学習、ステップＳ３００の運転支援用学習モデルの再学習の三段階に分けられる。以下で、各ステップの詳細について説明する。
　最初にステップＳ１００の運転支援用学習モデルの初期学習の詳細について、図１５を用いて説明する。図１５は、評価値算出用学習モデルの初期学習を説明するためのフローチャートである。
　まず、ステップＳ１０１において、取得部３１０は、物体検知情報を含む各種情報を取得する。より具体的には、物体検知情報取得部３１１は物体検知情報を取得し、地図情報取得部１１２は車両周辺の地図情報を取得し、車両状態情報取得部３１３は車両状態情報を取得し、ナビゲーション情報取得部はナビゲーション情報を取得する。
　次に、ステップＳ１０２において、物体検知情報取得部３１１は、物体検知情報に対して第一前処理を実施する。第一前処理は活用フェーズで説明した前処理と同じ処理である。
　次に、ステップＳ１０３において、緊急回避判定部３２１は、物体検知情報を用いて車両が緊急回避が必要な状態にあるか否かを判定する。緊急回避判定部３２１が、車両が緊急回避が必要な状態にあると判定した場合、ステップＳ１０４に進み、緊急回避が必要な状態にないと判定した場合、ステップＳ１０５に進む。
　ステップＳ１０４に進んだ場合、認知部１２０は、緊急回避の判定に用いた物体検知情報と、同時刻の車両状態情報とを学習用データから除外し、ステップＳ１０１に戻る。
　ステップＳ１０５に進んだ場合、運転状況判定部３２２は車両の運転状況を判定する。
　次に、ステップＳ１０６で、モデル選択部３２３は、ステップＳ１０５で運転状況判定部３２２が判定した運転状況に基づいて、後のステップで用いる学習モデルを選択する。
　次に、ステップＳ１０７で、第二学習用データ生成部３３２は、第二学習用データを生成する。ここで生成される第二学習用データは、ステップＳ１０６で選択された学習モデルを学習させるための学習用データである。
　次に、ステップＳ１０８で、運転支援用学習済モデル生成部３４２は、第二学習用データが十分量蓄積されたかを判定する。運転支援用学習済モデル生成部３４２が、第二学習用データが十分量蓄積されていないと判定した場合、ステップＳ１０１に戻り、取得部３１０は、再度各種情報を取得する。一方、運転支援用学習済モデル生成部３４２が、第二学習用データが十分量蓄積されたと判定した場合、ステップＳ１０９に進む。
　ステップＳ１０９で運転支援用学習済モデル生成部３４２は、運転支援用学習モデルの学習を行う。ここで、運転支援用学習済モデル生成部３４２が学習を行うのは、ステップＳ１０６でモデル選択部３２３が選択した学習モデルである。
　最後に、ステップＳ１１０で運転支援用学習済モデル生成部３４２は、全運転状況について学習モデルの学習を行ったか判定する。運転支援用学習済モデル生成部３４２が、まだ学習を行っていない学習モデルが存在すると判定した場合、ステップＳ１０１に戻る。一方、運転支援用学習済モデル生成部３４２が、全運転状況の学習モデルの学習を行ったと判定した場合、図１４におけるステップＳ１００の処理を終了する。
　次に、図１４のステップＳ２００の詳細について説明する。
　ステップＳ２０１からステップＳ２０５までの処理は、ステップＳ１０１からステップＳ１０５までと同様であるので、説明を省略する。また、ステップＳ１０１からステップＳ１０５までの処理結果を記憶装置に記憶しており、同じ物体検知情報を評価値算出用学習モデルの学習に用いる場合、ステップＳ２０１からステップＳ２０５までの処理を省略し、記憶装置から物体検知情報及び運転状況等の処理結果を読み出すだけでもよい。
　ステップＳ２０６で、モデル選択部３２３はステップＳ２０５で運転状況判定部３２２が判定した運転状況に基づいて、後のステップで用いる学習モデルを選択する。
　ステップＳ２０７で、第一学習用データ生成部３３１は、第一学習用データを生成する。ここで生成される第一学習用データは、ステップＳ２０６で選択された学習モデルを学習させるための第一学習用データである。また、第一学習用データ生成部３３１は、第一学習用データに含める教師データをステップＳ１００で生成した運転支援用学習済モデルを用いて生成する。
　次に、ステップＳ２０８で、評価値算出用学習済モデル生成部３４１は、第一学習用データが十分量蓄積されたかを判定する。評価値算出用学習済モデル生成部３４１が、第一学習用データが十分量蓄積されていないと判定した場合、ステップＳ２０１に戻り、取得部３１０は、再度各種情報を取得する。一方、評価値算出用学習済モデル生成部３４１が、第一学習用データが十分量蓄積されたと判定した場合、ステップＳ２０９に進む。
　ステップＳ２０９で評価値算出用学習済モデル生成部３４１は、評価値算出用学習モデルの学習を行う。ここで、評価値算出用学習済モデル生成部３４１が学習を行うのは、ステップＳ２０６でモデル選択部３２３が選択した学習モデルである。
　最後に、ステップＳ２１０で評価値算出用学習済モデル生成部３４１は、全運転状況について学習モデルの学習を行ったか判定する。評価値算出用学習済モデル生成部３４１が、まだ学習を行っていない学習モデルが存在すると判定した場合、ステップＳ２０１に戻る。一方、評価値算出用学習済モデル生成部３４１が、全運転状況の学習モデルの学習を行ったと判定した場合、図１４におけるステップＳ２００の処理を終了する。
　最後に、ステップＳ３００の詳細について説明する。
　ステップＳ３０１からステップＳ３０６までの処理は、ステップＳ１０１からステップＳ１０６までと同様である。また、ステップＳ１０１からステップＳ１０６までの処理結果を記憶装置に記憶しており、同じ車両状態情報及び物体検知情報を運転支援用学習済モデルの学習に用いる場合、ステップＳ３０１からステップＳ３０６までの処理を省略し、記憶装置から記憶している車両状態情報、物体検知情報、及び運転状況等の処理結果を読み出すだけでもよい。
　ステップＳ３０７において、評価部３２４は、ステップＳ２００で生成した評価値算出用学習済モデル生成部を用いて、入力された物体検知情報の評価値を算出する。
　ステップＳ３０８において、第二学習用データ生成部３３２は、入力された物体検知情報に対して第二前処理を実施する。ここでの第二前処理は、活用フェーズで説明した第二前処理と同じ処理である。
　次に、ステップＳ３０９において、第二学習用データ生成部３３２は、第二前処理後の物体検知情報を用いて第二学習用データを生成する。再学習時における第二学習用データは、初期学習時の第二学習用データと区別するために、以下では、再学習用データと呼ぶこととする。
　次に、ステップＳ３１０において、運転支援用学習済モデル生成部３４２は、再学習用データが十分量蓄積されたかを判定する。運転支援用学習済モデル生成部３４２が、再学習用データが十分量蓄積されていないと判定した場合、ステップＳ３０１に戻り、取得部３１０は、再度物体検知情報を取得する。一方、運転支援用学習済モデル生成部３４２が、再学習用データが十分量蓄積されたと判定した場合、ステップＳ３１１に進む。
　ステップＳ３１１において、運転支援用学習済モデル生成部３４２は、再学習用データを用いて行動推定用学習モデルの再学習を行う。
　最後に、ステップＳ３１２で運転支援用学習済モデル生成部３４２は、全運転状況の学習モデルの再学習を行ったか判定する。運転支援用学習済モデル生成部３４２が、まだ再学習を行っていない学習モデルが存在すると判定した場合、ステップＳ３０１に戻る。一方、運転支援用学習済モデル生成部３４２が、全運転状況の学習モデルの再学習を行ったと判定した場合、図１４におけるステップＳ３００の処理を終了する。
　以上のような動作により、実施の形態１に係る学習装置３００は、運転支援用学習済モデルと評価値算出用学習済モデル生成部を生成することができる。
　また、ドライビングシミュレータで生成した物体検知情報を用いて学習用データを生成する場合、現実世界の様々な障害物をドライビングシミュレータでは再現できず、シミュレータ環境と現実の環境に差異が生じてしまい、学習済モデルの推論性能が低下してしまう可能性がある。
　この課題に対して、実施の形態１に係る学習装置３００は、評価値が所定の閾値以下の物体検知情報のセンサー値をセンサーが物体を検知していないときのセンサー値に置き換え、評価値が所定の閾値より大きな物体検知情報の示すセンサー値は元のセンサー値のままとする第二前処理を行い、第二前処理後の再学習用データを用いて、運転支援用学習モデルの再学習を行うようにしたので、ドライビングシミュレータ上でも実環境上でも評価値の大きい物体検知情報のみを学習に用いることにより、シミュレータ環境と実環境との差異を軽減し、学習済モデルの推論精度を向上することができる。
　また、ドライビングシミュレータでは予め設定した領域外、例えば、車両が走行する道路外の環境を再現するのは困難なため、ドライビングシミュレータで生成した学習用データと実環境の物体検知情報は差異が生じる可能性がある。
　この課題に対して、実施の形態１に係る学習装置３００は、地図情報に基づき、物体検知情報のうち、予め設定された領域外の物体を検知した物体検知情報の示すセンサー値をセンサーが物体を検知していないときのセンサー値に置き換え、予め設定された領域内の物体を検知した物体検知情報の示すセンサー値は元のセンサー値のままとする第一前処理を行い、第一前処理後の物体検知情報を学習用データとするようにしたので、予め設定した領域外の物体の存在は無視することで、シミュレータ環境で得られる物体検知情報と実環境での物体検知情報が同等となる。すなわち、学習済モデルの判断に不要な情報を取り除くことにより、学習済モデルの推論性能を向上することができる。
　以下で実施の形態１に係る自動運転システム１０００、運転支援装置１００及び学習装置３００の変形例について説明する。
　運転支援用学習済モデルは、現在時刻ｔの物体検知情報及び車両状態情報に基づき、行動判断を行うようにしたが、過去の時刻ｔ－ΔＴから現在時刻ｔまでの物体検知情報及び車両状態情報に基づき、運転支援情報を推論するようにしてもよい。この場合には、車両状態情報を用いなくても、自車両と他車両との相対的な速度関係を把握することができる。また、評価値算出用学習済モデルについても同様に、現在時刻ｔの物体検知情報だけでなく、過去の時刻ｔ－ΔＴから現在時刻ｔまでの物体検知情報を入力に用いるようにしてもよい。この場合、評価部１２４及び評価部３２４は、過去の時刻ｔ－ΔＴから現在時刻ｔまでの各物体検知情報に対して評価値を算出する。
　また、自動運転システム１０００の各構成は、１台の車両に備えられるものとしたが、運転支援装置１００及び車両制御装置２００のみ車両に備え、学習装置３００は外部のサーバーにより実現されるようにしてもよい。
　また、運転支援装置１００及び学習装置３００が自動運転システム１０００に適用される場合について説明したが、運転支援装置１００及び学習装置３００を手動運転車両に搭載するようにしてもよい。運転支援装置１００及び学習装置３００を手動運転車両に適用した場合には、例えば、運転支援装置１００が出力した運転支援情報と、運転手が実際に行った運転制御とを比較することにより、運転手の状態が正常か、または異常かを検知することができる。
　また、取得部１１０が第一前処理を行う領域について、外部から設定されるようにしたが、ナビゲーション情報に基づき、取得部１１０が自動で設定するようにしてもよい。例えば、ナビゲーション情報が示す走行経路の道路内を当該領域として設定するようにしてもよい。
　また、運転支援装置１００は、運転状況について、緊急回避が必要な状態と通常の運転状態に分けて運転支援情報を出力するようにしたが、これらをまとめて、学習済モデルを用いて運転支援情報を出力するようにしてもよい。すなわち、緊急回避判定部１２１及び緊急回避行動判断部１３１を設けず、緊急回避が必要な状態も運転状況判定部１２２が判定する運転状況の一つとして、緊急回避行動に必要な運転支援情報も運転支援用学習済モデルを用いて推論部１３２が推論するようにしてもよい。
　また、学習装置３００は、各運転状況に応じた学習済モデルを生成し、運転支援装置１００は、各運転状況に応じた学習済モデルを用いて、運転支援情報を出力するようにしたので、各運転状況に応じた適切な運転支援情報を出力できるようになっているが、十分な汎化性能が得られる場合には、複数の状況をまとめた学習済モデルを用いたり、全運転状況をまとめた学習済モデルを用いたりするようにしてもよい。
　また、評価部１２４は、評価値算出用学習済モデルの入力として、さらに、車両状態情報、地図情報、及びナビゲーション情報を用いるようにしてもよい。同様に、推論部１３２は、運転支援用学習済モデルの入力として、さらに、地図情報及びナビゲーション情報を用いるようにしてもよい。
　また、取得部１１０は、各種情報を取得するステップＳ１の直後であるステップＳ２で第一前処理を行うようにしたが、評価部１２４が評価値を算出するステップＳ７より前であれば、いつ第一前処理を行うようにしてもよい。特に緊急回避行動については即座の対応が必要となるため、第一前処理を緊急回避行動の要否判断後に実施することにより、即座に緊急回避行動を実現することができる
　学習装置３００は、運転支援用学習モデルの初期学習と再学習において、同じ関数形のモデルを用いるものとして説明したが、初期学習と再学習とで異なる関数形のモデルを用いても良い。多量の情報から運転支援情報を推論するにはモデルのパラメータを増やしモデルの表現能力を増やして学習する必要があるが、少量の情報から推論する場合は少ないパラメータでも学習可能であり、第二前処理後のデータは、評価値の低いセンサー値を既定の値に置き換えることで不要な情報は取り除いているため、入力データの情報量は減少している。したがって、再学習時には、行動推定用学習モデルは再学習前のモデルよりパラメータの少ない小さなモデルで学習しても、十分な性能が得られるので、再学習時はパラメータの少ないより小さなモデルで学習することが可能である。より小さなモデルで行動推定用学習モデルを学習することで、推論時に車載機器のメモリ使用量削減や処理負荷低減の効果を得ることができる。
　ここで、より小さなモデルとは、モデルがニューラルネットの場合、層やノード数を減らしたモデルである。
　本開示に係る運転支援装置は、例えば、自動運転システムや運転手の異常検知システムに用いられるのに適している。
　１０００　自動運転システム、１００　運転支援装置、２００　車両制御装置、３００　学習装置、１１０，３１０　取得部、１２０，３２０　認知部、１３０　判断部、１１１，３１１　物体検知情報取得部、１１２，３１２　地図情報取得部、１１３，３１３　車両状態情報取得部、１１４，３１４　ナビゲーション情報取得部、１２１，３２１　緊急回避判定部、１２２，３２２　運転状況判定部、１２３，３２３　モデル選択部、１２４，３２４　評価部、１３１　緊急回避行動判断部、１３２　推論部、３３０　学習用データ生成部、３３１　第一学習用データ生成部、３３２　第二学習用データ生成部、３４０　学習済モデル生成部、３４１　評価値算出用学習済モデル生成部、３４２　運転支援用学習済モデル生成部、１００００，３００００　処理装置、１０００１，３０００１　記憶装置。

Claims (18)

  1. 　車両に搭載されたセンサーによる前記車両周囲の物体の検知結果を示す物体検知情報を取得する取得部と、
    　前記物体検知情報から前記車両の運転支援を行うための運転支援情報を推論する運転支援用学習済モデルを用いて、前記取得部から入力された前記物体検知情報から前記運転支援情報を出力する推論部と、
    　前記取得部から入力された前記物体検知情報について、前記運転支援用学習済モデルの出力への影響度合いを評価値として算出する評価部と、
    　を備え、
    　前記推論部は、前記取得部から入力された前記物体検知情報のうち、前記評価部が算出した前記評価値が所定の閾値より大きな前記物体検知情報に基づき、前記運転支援情報を出力する
    　ことを特徴とする運転支援装置。
  2. 　前記取得部は、さらに、前記車両の状態を示す車両状態情報を取得し、
    　前記推論部は、前記車両状態情報及び前記物体検知情報から前記運転支援情報を推論する前記運転支援用学習済モデルを用いて、前記取得部から入力された前記車両状態情報及び前記物体検知情報から前記運転支援情報を出力する
    　ことを特徴とする請求項１に記載の運転支援装置。
  3. 　前記評価部は、前記物体検知情報から前記評価値を算出する評価値算出用学習済モデルを用いて、前記取得部から入力された前記物体検知情報から前記評価値を出力する
    　ことを特徴とする請求項１または２に記載の運転支援装置。
  4. 　前記取得部は、さらに、前記車両周囲の地物の位置を示す地図情報を取得し、前記地図情報に基づき、予め設定した領域内の物体の検知結果を示す前記物体検知情報を特定し、
    　前記推論部は、前記取得部が特定した前記物体検知情報に基づき、前記運転支援情報を出力する
    　ことを特徴とする請求項１から３のいずれか一項に記載の運転支援装置。
  5. 　前記取得部は、前記地図情報に基づき、予め設定した領域外の物体の検知結果を示す前記物体検知情報のセンサー値を所定のセンサー値に置き換える第一前処理を行い、前記第一前処理後の前記物体検知情報を前記評価部及び前記推論部に出力する
    　ことを特徴とする請求項４に記載の運転支援装置。
  6. 　前記取得部は、前記第一前処理として、予め設定した領域外の物体の検知結果を示す前記物体検知情報のセンサー値を前記センサーが物体を検知していないときのセンサー値とする処理を行う
    　ことを特徴とする請求項５に記載の運転支援装置。
  7. 　前記取得部は、前記第一前処理として、前記地図情報に基づき、予め設定した領域外の物体の検知結果を示す前記物体検知情報のセンサー値を所定のセンサー値に置き換えるとともに、予め設定した領域内の物体の検知結果を示す前記物体検知情報のセンサー値を元のセンサー値のままとする処理を行う
    　ことを特徴とする請求項５に記載の運転支援装置。
  8. 　前記推論部は、前記取得部から入力された前記物体検知情報のうち、前記評価値が所定の閾値以下の前記物体検知情報のセンサー値を所定のセンサー値に置き換える第二前処理を行い、前記第二前処理後の前記物体検知情報を前記運転支援用学習済モデルに入力することにより、前記運転支援情報を出力する
    　ことを特徴とする請求項１から７のいずれか一項に記載の運転支援装置。
  9. 　前記推論部は、前記第二前処理として、前記取得部から入力された前記物体検知情報のうち、前記評価値が所定の閾値以下の前記物体検知情報のセンサー値を前記センサーが物体を検知していないときのセンサー値に置き換える処理を行う
    　ことを特徴とする請求項８に記載の運転支援装置。
  10. 　前記推論部は、前記第二前処理として、前記評価値が所定の閾値以下の前記物体検知情報のセンサー値を所定のセンサー値に置き換えるとともに、前記評価値が所定の閾値より大きな前記物体検知情報のセンサー値は元のセンサー値のままとする処理を行う
    　ことを特徴とする請求項８に記載の運転支援装置。
  11. 　車両に搭載されたセンサーによる前記車両周囲の物体の検知結果を示す物体検知情報と、前記車両の運転支援を行うための運転支援情報を推論する運転支援用学習済モデルの出力への前記物体検知情報の影響度合いを示す評価値とを含む第一学習用データを生成する第一学習用データ生成部と、
    　前記第一学習用データを用いて、前記物体検知情報から前記評価値を算出する評価値算出用学習済モデルを生成する評価値算出用学習済モデル生成部と、
    　を備える学習装置。
  12. 　車両に搭載されたセンサーによる前記車両周囲の物体の検知結果を示す物体検知情報と、前記車両の運転支援を行うための運転支援情報とを含む第二学習用データを生成する第二学習用データ生成部と、
    　前記第二学習用データを用いて、前記物体検知情報から前記運転支援情報を推論する運転支援用学習済モデルを生成する運転支援用学習済モデル生成部と、
    　前記第二学習用データ生成部から入力された前記第二学習用データが含む前記物体検知情報について、前記運転支援用学習済モデルの出力への影響度合いを評価値として算出する評価部と、
    　を備え、
    　前記運転支援用学習済モデル生成部は、前記第二学習用データ生成部から入力された前記第二学習用データのうち、前記評価部が算出した前記評価値が所定の閾値より大きな前記物体検知情報を含む前記第二学習用データを用いて、前記運転支援用学習済モデルを生成する
    　ことを特徴とする学習装置。
  13. 　車両に搭載されたセンサーによる前記車両周囲の物体の検知結果を示す物体検知情報を取得する取得工程と、
    　前記物体検知情報から前記車両の運転支援を行うための運転支援情報を推論する運転支援用学習済モデルを用いて、入力された前記物体検知情報から前記運転支援情報を出力する推論工程と、
    　入力された前記物体検知情報について、前記運転支援用学習済モデルの出力への影響度合いを評価値として算出する評価工程と、
    　を含み、
    　前記推論工程において、入力された前記物体検知情報のうち、前記評価工程で算出した前記評価値が所定の閾値より大きな前記物体検知情報に基づき、前記運転支援情報を出力する
    　ことを特徴とする運転支援方法。
  14. 　請求項１３に記載の全工程をコンピュータに実行させる運転支援プログラム。
  15. 　車両に搭載されたセンサーによる前記車両周囲の物体の検知結果を示す物体検知情報と、前記車両の運転支援を行うための運転支援情報を推論する運転支援用学習済モデルの出力への前記物体検知情報の影響度合いを示す評価値とを含む第一学習用データを生成する第一学習用データ生成工程と、
    　前記第一学習用データを用いて、前記物体検知情報から前記評価値を算出する評価値算出用学習済モデルを生成する評価値算出用学習済モデル生成工程と、
    　を含む学習済モデルの生成方法。
  16. 　請求項１５に記載の全工程をコンピュータに実行させる学習済モデル生成プログラム。
  17. 　前記車両に搭載されたセンサーによる前記車両周囲の物体の検知結果を示す物体検知情報と、前記車両の運転支援を行うための運転支援情報とを含む第二学習用データを生成する第二学習用データ生成工程と、
    　前記第二学習用データを用いて、前記物体検知情報から前記運転支援情報を推論する運転支援用学習済モデルを生成する運転支援用学習済モデル生成工程と、
    　入力された前記第二学習用データが含む前記物体検知情報について、前記運転支援用学習済モデルの出力への影響度合いを評価値として算出する評価工程と、
    　を備え、
    　前記運転支援用学習済モデル生成工程において、入力された前記第二学習用データのうち、前記評価工程で算出した前記評価値が所定の閾値より大きな前記物体検知情報を含む前記第二学習用データを用いて、前記運転支援用学習済モデルを生成する
    　ことを特徴とする学習済モデルの生成方法。
  18. 　請求項１７に記載の全工程をコンピュータに実行させる学習済モデル生成プログラム。
PCT/JP2020/032397 2020-08-27 2020-08-27 運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラム WO2022044210A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2020/032397 WO2022044210A1 (ja) 2020-08-27 2020-08-27 運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラム
JP2022545162A JP7350188B2 (ja) 2020-08-27 2020-08-27 運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラム
CN202080103185.2A CN115956041A (zh) 2020-08-27 2020-08-27 驾驶辅助装置、学习装置、驾驶辅助方法、驾驶辅助程序、学习完成模型的生成方法、学习完成模型生成程序
US18/017,882 US20230271621A1 (en) 2020-08-27 2020-08-27 Driving assistance device, learning device, driving assistance method, medium with driving assistance program, learned model generation method, and medium with learned model generation program
DE112020007538.9T DE112020007538T5 (de) 2020-08-27 2020-08-27 Fahrunterstützungsvorrichtung, Lernvorrichtung, Fahrunterstützungsverfahren, Fahrunterstützungsprogramm, Gelerntes-Modellerzeugungsverfahren und Datenträger mit Gelerntes-Modellerzeugungsprogramm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/032397 WO2022044210A1 (ja) 2020-08-27 2020-08-27 運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラム

Publications (1)

Publication Number Publication Date
WO2022044210A1 true WO2022044210A1 (ja) 2022-03-03

Family

ID=80352907

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/032397 WO2022044210A1 (ja) 2020-08-27 2020-08-27 運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラム

Country Status (5)

Country Link
US (1) US20230271621A1 (ja)
JP (1) JP7350188B2 (ja)
CN (1) CN115956041A (ja)
DE (1) DE112020007538T5 (ja)
WO (1) WO2022044210A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7452336B2 (ja) * 2020-09-02 2024-03-19 株式会社デンソー 駆動装置および負荷駆動システム
US20220289240A1 (en) * 2021-03-12 2022-09-15 Toyota Motor Engineering & Manufacturing North America, Inc. Connected vehicle maneuvering management for a set of vehicles

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105385A (ja) * 2011-11-15 2013-05-30 Clarion Co Ltd 車載用環境認識装置
JP2017220197A (ja) * 2016-06-12 2017-12-14 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 車両制御方法と装置及び判断モジュールの獲得方法と装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6923472B2 (ja) 2018-03-23 2021-08-18 ヤンマーパワーテクノロジー株式会社 障害物検知システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105385A (ja) * 2011-11-15 2013-05-30 Clarion Co Ltd 車載用環境認識装置
JP2017220197A (ja) * 2016-06-12 2017-12-14 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 車両制御方法と装置及び判断モジュールの獲得方法と装置

Also Published As

Publication number Publication date
US20230271621A1 (en) 2023-08-31
CN115956041A (zh) 2023-04-11
JPWO2022044210A1 (ja) 2022-03-03
JP7350188B2 (ja) 2023-09-25
DE112020007538T5 (de) 2023-08-03

Similar Documents

Publication Publication Date Title
CN106874597B (zh) 一种应用于自动驾驶车辆的高速公路超车行为决策方法
WO2022052406A1 (zh) 一种自动驾驶训练方法、装置、设备及介质
CN112840350A (zh) 自动驾驶车辆规划和预测
US11465650B2 (en) Model-free reinforcement learning
US20210004966A1 (en) Method for the Assessment of Possible Trajectories
US11242050B2 (en) Reinforcement learning with scene decomposition for navigating complex environments
CN110861634A (zh) 交互感知决策
WO2022044210A1 (ja) 運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラム
US11934957B2 (en) Methods, systems, and apparatuses for user-understandable explainable learning models
Bonnin et al. A generic concept of a system for predicting driving behaviors
CN114987498B (zh) 自动驾驶车辆的拟人化轨迹规划方法、装置、车辆及介质
US20220227391A1 (en) Systems and methods for scenario dependent trajectory scoring
CN111830962A (zh) 强化学习代理控制器的解释数据
Dubey et al. Autonomous braking and throttle system: A deep reinforcement learning approach for naturalistic driving
Islam et al. Enhancing Longitudinal Velocity Control With Attention Mechanism-Based Deep Deterministic Policy Gradient (DDPG) for Safety and Comfort
US11794780B2 (en) Reward function for vehicles
Siboo et al. An Empirical Study of DDPG and PPO-Based Reinforcement Learning Algorithms for Autonomous Driving
Deng et al. Modeling and prediction of human behaviors based on driving data using multi-layer HMMs
CN114940166A (zh) 基于轨迹预测的行人防撞保护方法、装置、设备及介质
Faruffini et al. Vehicle autonomous navigation with context awareness
Souza et al. Vision and GPS-based autonomous vehicle navigation using templates and artificial neural networks
Menon et al. Artificial intelligence-based trajectory planning for driverless vehicles—a review
CN111661045B (zh) 训练用于察觉碰撞的轨迹预测的生成器单元和鉴别器单元
US20240149918A1 (en) Navigation based on internal state inference and interactivity estimation
CN117601904B (zh) 车辆行驶轨迹的规划方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20951463

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022545162

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20951463

Country of ref document: EP

Kind code of ref document: A1