WO2021111544A1 - 運転支援装置および運転支援方法 - Google Patents

運転支援装置および運転支援方法 Download PDF

Info

Publication number
WO2021111544A1
WO2021111544A1 PCT/JP2019/047404 JP2019047404W WO2021111544A1 WO 2021111544 A1 WO2021111544 A1 WO 2021111544A1 JP 2019047404 W JP2019047404 W JP 2019047404W WO 2021111544 A1 WO2021111544 A1 WO 2021111544A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
contribution
cognitive
unit
environmental
Prior art date
Application number
PCT/JP2019/047404
Other languages
English (en)
French (fr)
Inventor
善彦 森
卓爾 森本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN201980102627.9A priority Critical patent/CN114746924A/zh
Priority to DE112019007936.0T priority patent/DE112019007936T5/de
Priority to US17/777,662 priority patent/US11912297B2/en
Priority to JP2021562250A priority patent/JP7143538B2/ja
Priority to PCT/JP2019/047404 priority patent/WO2021111544A1/ja
Publication of WO2021111544A1 publication Critical patent/WO2021111544A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Definitions

  • the present invention relates to a driving support device and a driving support method.
  • Patent Document 1 describes an environment in which a vehicle travels by determining whether the driver's cognitive state for the environment is a skill-based state or a knowledge-rule-based state from the driving behavior of the driver.
  • a driving support device that determines information to be provided to the driver based on the determined cognitive state is disclosed.
  • Patent Document 1 In general, there are innumerable environments in which a moving body travels. On the other hand, the prior art as disclosed in Patent Document 1 does not consider that the environment in which the vehicle travels is innumerable, and provides information based on preset rules. Therefore, in the prior art, there is a limit to the rules that can be set to provide information, and there is a problem that it is not possible to provide information corresponding to innumerable environments.
  • the present invention has been made to solve the above problems, and an object of the present invention is to provide a driving support device capable of outputting information for driving support according to innumerable environments.
  • the driving support device includes an environmental information acquisition unit that acquires environmental information related to the environment around the moving body, an action information acquisition unit that acquires behavior information related to the behavior of the driver of the moving body, and an environmental information acquisition unit. Based on the environmental information acquired by the company and the machine learning model that outputs the control information for performing automatic operation control of the moving object by inputting the environmental information, the calculation unit that obtains the control information and the environment acquired by the environmental information acquisition unit.
  • the contribution information judgment unit that determines the contribution information with a high degree of contribution to the control information, the behavior information acquired by the behavior information acquisition unit, and the environment information acquisition unit Based on the acquired environmental information, the cognitive information calculation unit that calculates the cognitive information indicating the driver's cognitive area in the environment around the moving object, the contribution information determined by the contribution information judgment unit, and the cognitive information calculation unit calculate Based on the cognitive information provided, the specific part that identifies the unrecognized contribution information that is presumed not to be recognized by the driver, and the driving support information necessary for driving support based on the unrecognized contribution information specified by the specific part. It is equipped with an information output control unit that outputs information.
  • the environmental information acquisition unit is a diagram for explaining an image of an example of a cognitive information image generated based on the environmental information and the behavior information.
  • FIG. 4A is a diagram in which the driver faces forward.
  • FIG. 4B is a diagram showing an image of a cognitive information image generated by the cognitive information calculation unit.
  • the environmental information acquisition unit explains an image of another example of the cognitive information image generated based on the environmental information and the behavioral information.
  • FIG. 5A shows the driver looking at the front left. It is a figure which shows the state which looked at the right front after seeing
  • FIG. 5B is a figure which shows the image of the cognitive information image generated by the cognitive information calculation unit.
  • the environmental information acquisition unit explains an image of another example of the cognitive information image generated based on the environmental information and the behavioral information.
  • FIG. 6A shows the driver looking at the front left.
  • FIG. 6B is a diagram showing a state in which the right side mirror is viewed after looking at the front right after viewing
  • FIG. 6B is a diagram showing an image of a cognitive information image generated by the cognitive information calculation unit. It is a figure for demonstrating the image of another example of the cognitive information image generated based on the environmental information and the behavioral information by the environmental information acquisition part in Embodiment 1.
  • FIG. It is a figure for demonstrating the image of an example of the driving support information output in the image format by the information output control unit in Embodiment 1.
  • FIG. 10A and 10B are diagrams showing an example of the hardware configuration of the driving support device according to the first embodiment.
  • FIG. 1 is a diagram showing a configuration example of the driving support device 1 according to the first embodiment.
  • the driving support device 1 includes an environmental information acquisition unit 11, an action information acquisition unit 12, a calculation unit 13, a contribution information determination unit 14, a cognitive information calculation unit 15, a specific unit 16, and an information output control unit 17. , And a machine learning model 18.
  • the driving support device 1 is mounted on a vehicle and outputs information for supporting driving by the driver of the vehicle (hereinafter referred to as "driving support information"). It is assumed that the vehicle for which the driving support device 1 supports driving has an automatic driving function. Even when the vehicle has an automatic driving function, the driver can drive the vehicle by himself / herself without executing the automatic driving function.
  • the driving support device 1 outputs driving support information when the driver is driving himself / herself in a vehicle capable of automatic driving.
  • the driving support information is information for informing the driver of an area in the environment around the vehicle that is presumed not to be recognized by the driver.
  • the driving support device 1 controls the output of driving support information based on environmental information regarding the environment around the vehicle and a machine-learned model (hereinafter referred to as "machine learning model") 18.
  • the machine learning model 18 is a trained model in machine learning. Specifically, the machine learning model 18 is a model in which machine learning has been performed in advance so that when environmental information is input, control information for performing automatic driving control of the vehicle is output.
  • the control information for performing automatic driving control of the vehicle is, for example, information on the control amount of the steering angle, information on the control amount of the accelerator, or information on the control amount of the brake.
  • the control information for performing the automatic driving control of the vehicle includes information on various automatic driving control amounts required for the automatic driving control of the vehicle.
  • the machine learning model 18 is composed of, for example, a neural network.
  • the machine learning model 18 is generated in advance by reinforcement learning.
  • the environment around the vehicle is the environment surrounding the own vehicle.
  • the environment surrounding the own vehicle refers to the state of the environment surrounding the own vehicle, such as the position of another vehicle or the presence or absence of pedestrians.
  • the state of the own vehicle such as the position of the own vehicle is also included in the state of the environment surrounding the own vehicle.
  • the environmental information acquisition unit 11 acquires environmental information related to the environment around the vehicle.
  • the environmental information includes, for example, own vehicle information regarding the own vehicle, other vehicle information regarding other vehicles, pedestrian information regarding pedestrians, road information regarding roads, or obstacle information regarding obstacles.
  • the own vehicle information includes information on the vehicle speed of the own vehicle, the acceleration of the own vehicle, the position of the own vehicle, the shape of the own vehicle, the traveling lane in which the own vehicle is traveling, and the like.
  • the other vehicle information includes information on the position of the other vehicle, the vehicle speed of the other vehicle, the shape of the other vehicle, the traveling lane in which the other vehicle is traveling, and the like.
  • the pedestrian information includes information on the position of the pedestrian, the speed at which the pedestrian walks, the shape of the pedestrian, and the like.
  • Road information includes information on lanes, road types, road shapes, signals, signs, or indications on roads.
  • the obstacle information includes information on the position of the obstacle, the moving speed of the obstacle, the shape of the obstacle, and the like.
  • the above-mentioned environmental information is only an example, and the environmental information can include all information related to the environment surrounding the own vehicle.
  • the environmental information may include information on the weather, and the environmental information may include information on traffic congestion.
  • the environmental information acquisition unit 11 extracts feature quantities from information obtained from an environmental information acquisition device (not shown) (hereinafter referred to as "environmental information acquisition information”) and generates environmental information.
  • the feature amount is classified according to the type of information included in the environmental information as described above.
  • the environmental information acquisition unit 11 extracts the feature amount according to the position of another vehicle and generates the environmental information.
  • the feature amount corresponding to each type of information included in the environmental information is also referred to as "type feature amount”.
  • the device for acquiring environmental information is, for example, an imaging device (not shown).
  • the image pickup device is mounted on the vehicle and images the front of the vehicle.
  • the environmental information acquisition unit 11 acquires an image captured by the imaging device from the imaging device as information for acquiring environmental information.
  • the environmental information acquisition unit 11 extracts the type feature amount from the captured image and generates the environmental information.
  • the environmental information acquisition unit 11 may obtain, for example, the position of the own vehicle, the speed of the own vehicle, the position of another vehicle, the speed of another vehicle, the position of a pedestrian, etc. from the captured image captured by the imaging device.
  • the feature amount according to is extracted.
  • the environmental information acquisition unit 11 generates an image reflecting the extracted feature amount.
  • the image generated by the environmental information acquisition unit 11 is used as the environmental information. In this way, the environmental information acquisition unit 11 acquires, for example, the environmental information represented by the image.
  • FIG. 2 is a diagram showing an image of an example of environmental information represented by an image acquired by the environmental information acquisition unit 11 in the first embodiment.
  • the upper side of the figure is the traveling direction of the own vehicle.
  • the environmental information acquisition unit 11 extracts the type feature amount corresponding to another vehicle, the type feature amount according to the own vehicle, the type feature amount according to the pedestrian, and the type feature amount indicating a signal.
  • the environmental information is shown in which the extracted features of each type are represented by images.
  • an image expressing environmental information is also referred to as an "environmental information image".
  • the environment information image is an image that abstracts the environment around the own vehicle.
  • the environmental information image is a bird's-eye view.
  • the environmental information acquisition unit 11 extracts the type feature amount based on the captured image captured by the imaging device, and acquires the environmental information image as the environmental information.
  • the device for acquiring environmental information may be a distance image sensor (not shown).
  • the distance image sensor is mounted on the vehicle and acquires a distance image to an object in front of the vehicle.
  • the environmental information acquisition unit 11 may acquire the environmental information by extracting the type feature amount from the distance image.
  • the device for acquiring environmental information may be a radar device (not shown).
  • the radar device is mounted on the vehicle and detects an object in front of the vehicle.
  • the environmental information acquisition unit 11 may acquire the environmental information by extracting the type feature amount from the information about the detected object.
  • the environmental information is not limited to images, but may be, for example, a vector.
  • the environment information acquisition unit 11 extracts a vector indicating a type feature amount according to the position of the own vehicle or the position of another vehicle based on the captured image captured by the imaging device, and the environment is based on the information of the vector. Information may be obtained. In this way, the environmental information acquisition unit 11 may acquire the environmental information as the information represented by the numerical value.
  • the environmental information acquisition unit 11 acquires the environmental information after extracting the type feature amount based on the environmental information acquisition information obtained from the environmental information acquisition device.
  • the environmental information acquisition unit 11 may use the environmental information acquisition information obtained from the environmental information acquisition device as the environmental information as it is.
  • the environmental information acquisition unit 11 outputs the acquired environmental information to the calculation unit 13, the contribution information determination unit 14, and the cognitive information calculation unit 15.
  • the behavior information acquisition unit 12 acquires behavior information related to the driver's behavior.
  • the driver's behavior includes the driver's behavior in general.
  • the information on the driver's behavior includes, for example, information on the direction of the driver's line of sight, information on the direction of the driver's face, the degree of eye opening of the driver, or the degree of concentration of the driver.
  • the behavior information acquisition unit 12 acquires behavior information based on the information obtained from the environment information acquisition device. In the first embodiment, the behavior information acquisition unit 12 acquires the behavior information based on the captured image obtained from the imaging device.
  • the behavior information acquisition unit 12 may acquire behavior information using, for example, an existing image processing technique.
  • the behavior information acquisition unit 12 outputs the acquired behavior information to the cognitive information calculation unit 15.
  • the calculation unit 13 obtains control information for performing automatic driving control of the vehicle based on the environmental information acquired by the environmental information acquisition unit 11 and the machine learning model 18. Specifically, the calculation unit 13 inputs the environmental information acquired by the environmental information acquisition unit 11, in other words, the environmental information image, into the machine learning model 18 to obtain the control information. The calculation unit 13 outputs the obtained control information to the contribution information determination unit 14.
  • the control information obtained by the calculation unit 13 may be used for output control of driving support information, and is used in the automatic driving control when actually performing automatic driving control of the own vehicle. It doesn't have to be something that can be done.
  • the contribution information determination unit 14 determines the contribution information having a high degree of contribution to the control information based on the environment information acquired by the environment information acquisition unit 11 and the control information acquired by the calculation unit 13. Specifically, the contribution information determination unit 14 calculates the degree of contribution of the type feature amount reflected in the environmental information to the control information based on the environmental information acquired by the environmental information acquisition unit 11. Then, the contribution information determination unit 14 determines, among the type feature amounts reflected in the environmental information, the type feature amount having a high degree of contribution to the control information obtained by the calculation unit 13 as the contribution information.
  • the contribution information determination unit 14 may calculate the contribution of the machine learning model 18 by using an existing technique for calculating the contribution of the input to the calculation result, and determine the contribution information based on the calculated contribution. .. Further, the contribution information determination unit 14 generates, for example, environmental information in which the type feature amount is slightly changed in the environmental information acquired by the environmental information acquisition unit 11 (hereinafter referred to as "contribution degree determination environmental information"). , The environmental information and the environmental information for determining the contribution degree may be input to the machine learning model 18, respectively, and the calculation result, in other words, the control information, may be obtained to calculate the contribution degree. The contribution information determination unit 14 generates environment information for determining the degree of contribution for each type feature amount.
  • the contribution information determination unit 14 compares the control information obtained by inputting the environmental information with the control information obtained by inputting the environmental information for the contribution degree determination, and when there is a difference of more than a preset value. , It is judged that the type feature amount slightly changed in the contribution degree determination environment information has a large influence on the control information, and the contribution degree of the type feature amount is set to "high". The contribution information determination unit 14 determines that the type feature amount having a “high” contribution degree is the contribution information.
  • the contribution information determination unit 14 indicates, in the environmental information image, a type feature amount indicating a plurality of other vehicles, a type feature amount indicating the own vehicle, or a type feature amount indicating the own vehicle. , The degree of contribution is calculated for each type feature amount indicating a plurality of pedestrians. Then, the contribution information determination unit 14 determines the calculated type feature amount with a high degree of contribution as the contribution information. It is assumed that the contribution information determination unit 14 determines in advance how much the contribution is to be determined to be high.
  • the contribution information determined by the contribution information determination unit 14 may be, for example, one in which the type feature amount is determined by two values of "contribution information" or "not contribution information", or the type feature amount is It may be determined by a numerical value representing the degree of contribution that contributes to the calculation of control information.
  • the contribution information determination unit 14 generates information representing the contribution information (hereinafter referred to as "information after calculating the degree of contribution”).
  • the contribution information determination unit 14 matches the information after the contribution degree calculation with the expression format of the environmental information.
  • the contribution information determination unit 14 represents the information after the contribution degree calculation as an image.
  • the contribution information determination unit 14 generates an image (hereinafter, referred to as “contribution information image”) in which the contribution information is shown in a region on the environment information image.
  • the contribution information determination unit 14 sets the brightness of the area representing the type feature amount, which is the contribution information, as the brightness of the area other than the type feature amount, which is the contribution information, among the type feature amounts in the environment information image. Generates a different image as a contribution information image.
  • FIG. 3 is a diagram showing an image of an example of the contribution information image generated by the contribution information determination unit 14 in the first embodiment.
  • the contribution information image shown in FIG. 3 contributes based on the environmental information image by the contribution information determination unit 14 and the control information obtained by the calculation unit 13. It is a contribution information image generated by judging the information.
  • the contribution information determination unit 14 has a type feature amount (see 301 in FIG. 3) indicating a signal existing in the traveling direction of the own vehicle among the type feature amounts in the environmental information image, and the own vehicle.
  • the type feature amount see 302 in FIG.
  • the type feature amount shown in 302 of FIG. 3 is the type feature amount indicating two pedestrians in front of the traveling direction of the own vehicle and the left side with respect to the traveling direction of the own vehicle. It contains features that indicate one pedestrian.
  • the contribution information image the area where the type feature amount indicating the signal existing in the traveling direction of the own vehicle is extracted and the type feature amount indicating the pedestrian existing in the traveling direction of the own vehicle are extracted.
  • the contribution information determination unit 14 has a high-brightness region as white and a low-brightness region as black. As described above, when the environmental information acquired by the environmental information acquisition unit 11 is an image, the contribution information determination unit 14 displays the contribution information having a high degree of contribution to the control information obtained by the calculation unit 13 in the image. Represented in the upper area.
  • the contribution information determination unit 14 expresses the information after calculating the contribution degree with an image, and the contribution information is represented by an area on the image, but this is only an example.
  • the contribution information determination unit 14 can generate information in which the contribution information is expressed in an arbitrary expression format. However, when the environmental information is expressed by the environmental information image, the contribution information determination unit 14 combines the environmental information and the expression format, and expresses the information after the contribution degree calculation by the contribution information image, and the contribution information is expressed on the image. Compared with the case where the contribution information is represented by information other than the region on the image, it is easier to take the difference between the contribution information and the cognitive information in the driving support device 1.
  • the specific unit 16 calculates the difference between the contribution information and the cognitive information. Details of the specific unit 16 will be described later.
  • the contribution information determination unit 14 outputs the generated contribution information image to the specific unit 16.
  • the cognitive information calculation unit 15 is based on the environmental information acquired by the environmental information acquisition unit 11 and the behavior information acquired by the behavior information acquisition unit 12, and is information indicating the driver's cognitive region in the environment around the own vehicle (hereinafter, """Cognitiveinformation") is calculated.
  • the cognitive information calculation unit 15 generates information representing cognitive information (hereinafter referred to as “cognitive determination post-information”).
  • the cognitive information calculation unit 15 makes the post-cognitive determination information match the form of the environmental information.
  • the cognitive information calculation unit 15 represents the post-cognitive determination information as an image.
  • the cognitive information calculation unit 15 generates an image (hereinafter, referred to as “cognitive information image”) showing the cognitive information in an area on the environmental information image.
  • the cognitive information calculation unit 15 generates a cognitive information image in which the brightness of the region showing the cognitive information is different from the brightness of the region other than the region showing the cognitive information on the environmental information image.
  • the cognitive information calculation unit 15 represents a region showing cognitive information in white and a region other than the region showing cognitive information in black.
  • FIGS. 4 to 6 are diagrams for explaining an image of an example of the cognitive information image generated by the cognitive information calculation unit 15 based on the environmental information and the behavioral information in the first embodiment.
  • the upper side of the figure is the traveling direction of the own vehicle.
  • the cognitive information calculation unit 15 indicates a region showing the own vehicle as well as a region showing the cognitive information in the cognitive information image.
  • the area showing the own vehicle is shown in gray.
  • FIG. 4 shows an image of a cognitive information image (see FIG. 4B) generated by the cognitive information calculation unit 15 when the driver is facing forward (see FIG. 4A).
  • the region showing cognitive information on the cognitive information image is indicated by 401.
  • the cognitive information calculation unit 15 may determine that the driver is facing forward from the driver's line-of-sight direction included in the behavior information.
  • the cognitive information image is an image that abstracts the own vehicle and the cognitive information.
  • the cognitive information image is a bird's-eye view.
  • the cognitive information calculation unit 15 may express the cognitive information by superimposing the calculated cognitive information in a time series.
  • the cognitive information calculation unit 15 may store the cognitive information in a storage unit (not shown) each time the cognitive information is calculated, and may acquire the time-series cognitive information from the storage unit.
  • the cognitive information calculation unit 15 may express the time-series cognitive information in shades of color according to the degree of recognition by the driver (hereinafter referred to as “recognition degree”).
  • FIG. 5 shows an image of a cognitive information image (see FIG. 5B) generated by the cognitive information calculation unit 15 when the driver looks at the front left and then the front right (see FIG. 5A).
  • FIG. 5B the region showing cognitive information on the cognitive information image is indicated by 501.
  • FIG. 5B the region showing cognitive information on the cognitive information image is indicated by 501.
  • the cognitive information calculation unit 15 determines that the area seen by the driver more recently has a higher awareness of the driver, and the area seen by the driver in the past has a lower awareness of the driver. There is. Specifically, in the cognitive information image, the cognitive information calculation unit 15 has a lighter area in the cognitive information image that shows the cognitive information when the driver looks at the front right than the area that shows the cognitive information when the driver looks at the front left. I try to express it by raising.
  • the cognitive information calculation unit 15 may express cognitive information in consideration of a mirror, an image pickup device, or the like installed in the own vehicle.
  • FIG. 6 shows a cognitive information image (FIG. 6B) generated by the cognitive information calculation unit 15 when the driver looks at the left front, then looks at the right front, and then looks at the right side mirror (see FIG. 6A). (See) is shown.
  • FIG. 6B the region showing cognitive information on the cognitive information image is shown by 601.
  • the cognitive information calculation unit 15 includes an area showing cognitive information when the driver looks at the front left and an area showing cognitive information when the driver looks at the front right, and the driver is on the right.
  • the area showing cognitive information when looking at the side mirror is expressed with increased brightness on the cognitive information image.
  • the cognitive information calculation unit 15 determines that the driver has seen the right side mirror based on the driver's line-of-sight direction included in the environmental information and the information on the installation position of the right side mirror. do it.
  • Information on the installation position of the right side mirror is included in the environmental information as, for example, own vehicle information.
  • the cognitive information calculation unit 15 calculates the area of the own vehicle on the right rear side with respect to the traveling direction as cognitive information.
  • the cognitive information calculation unit 15 includes an area showing cognitive information when the driver looks at the left front, an area showing cognitive information when the driver looks at the right front, and cognition when the driver looks at the right side mirror. Increase the brightness of the area in the order of the information area.
  • the cognitive information calculation unit 15 outputs the generated post-cognitive determination information to the specific unit 16.
  • the cognitive information calculation unit 15 outputs the generated cognitive information image to the specific unit 16.
  • the cognitive information calculation unit 15 expresses the information after the cognitive determination with an image, and the cognitive information is represented by an area on the image, but this is only an example.
  • the cognitive information calculation unit 15 can generate information in which the cognitive information is expressed in an arbitrary expression format.
  • the cognitive information calculation unit 15 sets the post-cognitive determination information in the cognitive information image together with the environmental information and the contribution information, and expresses the cognitive information on the image. It is easier to make a difference between the contribution information and the cognitive information in the driving support device 1 than in the case where the cognitive information is represented by the information other than the area on the image.
  • the specific unit 16 calculates the difference between the contribution information and the cognitive information. Details of the specific unit 16 will be described later.
  • the specific unit 16 is a contribution information that is presumed not to be recognized by the driver based on the contribution information determined by the contribution information determination unit 14 and the cognitive information calculated by the cognitive information calculation unit 15 (hereinafter, “unrecognized contribution”). Information ”) is specified.
  • the identification unit 16 compares the contribution information with the cognitive information and identifies the uncognitive contribution information.
  • the specific unit 16 contributes uncognitively due to a difference or excess or deficiency caused as a result of comparing the contribution information image generated by the contribution information determination unit 14 with the cognitive information image generated by the cognitive information calculation unit 15. Identify the information.
  • the specific unit 16 compares, for example, the contribution information image and the cognitive information image, and is represented in the contribution information image as a region that does not overlap with the region that represents the cognitive information on the cognitive information image. Contribution information is extracted as a difference.
  • the identification unit 16 identifies the contribution information extracted as the difference as the unrecognized contribution information.
  • the specific unit 16 will explain a series of processes for identifying unrecognized contribution information by using drawings and giving specific examples.
  • the contribution information image is assumed to be an image as shown in FIG.
  • the cognitive information image is assumed to be an image as shown in FIG. 7.
  • the upper side of the figure is the traveling direction of the own vehicle.
  • the cognitive information image shown in FIG. 7 shows that the cognitive region of the driver is a region slightly diagonally to the right of the driver. That is, the cognitive information image shown in FIG. 7 shows that the driver recognizes the region slightly diagonally to the right of the traveling direction.
  • the identification unit 16 compares the cognitive information image shown in FIG. 7 with the contribution information image shown in FIG. 3, and identifies an area presumed not to be certified by the driver.
  • the region showing contribution information on the contribution information image shown in FIG. 3 the region showing a pedestrian on the left side with respect to the traveling direction of the own vehicle is recognized on the cognitive information image shown in FIG. It does not overlap with the information area. Therefore, the identification unit 16 identifies the contribution information indicating the pedestrian on the left side with respect to the traveling direction of the own vehicle as the unrecognized contribution information in the contribution information image.
  • the specific unit 16 outputs the specified unrecognized contribution information to the information output control unit 17.
  • the information output control unit 17 outputs driving support information necessary for driving support based on the unrecognized contribution information specified by the specific unit 16.
  • the information output control unit 17 outputs, for example, driving support information in an image format.
  • FIG. 8 is a diagram for explaining an image of an example of driving support information output by the information output control unit 17 in an image format in the first embodiment.
  • the contribution information image is an image as shown in FIG. 3
  • the cognitive information image is an image as shown in FIG.
  • the driving support information as an image output by the information output control unit 17 is shown.
  • the region showing the pedestrian on the left side with respect to the traveling direction of the own vehicle is represented by the brightness different from the region other than the region.
  • the driving support information output by the information output control unit 17 is used, for example, in an application that outputs an alarm to a driver who is driving a vehicle. Specifically, for example, the information output control unit 17 informs the driver that the necessary information cannot be recognized from the output device (not shown) mounted on the running vehicle. Output an alarm. In the above example, the information output control unit 17 outputs a message notifying the driver of the own vehicle that the pedestrian on the left side with respect to the traveling direction cannot be recognized. Further, for example, the driving support information output by the information output control unit 17 can be used in an application that forcibly shifts from driving by a driver to automatic driving.
  • the information output control unit 17 outputs driving support information to an automatic driving control unit (not shown) which is mounted on the own vehicle while traveling and controls automatic driving.
  • the driving support information is driving support information indicating a predetermined type
  • the automatic driving control unit forcibly shifts the driving of the own vehicle to automatic driving.
  • the machine learning model 18 is a trained model in machine learning in which machine learning is performed in advance so as to output control information for performing automatic driving control of the vehicle when environmental information is input.
  • the machine learning model 18 is provided in the driving support device 1, but this is only an example.
  • the machine learning model 18 may be provided outside the driving support device 1 at a place where the driving support device 1 can be referred to.
  • FIG. 9 is a flowchart for explaining the operation of the driving support device 1 according to the first embodiment.
  • the environmental information acquisition unit 11 acquires environmental information related to the environment around the vehicle (step ST901). Specifically, the environmental information acquisition unit 11 extracts the type feature amount based on the captured image captured by the imaging device, and acquires the environmental information represented by the image. The environmental information acquisition unit 11 outputs the acquired environmental information to the calculation unit 13, the contribution information determination unit 14, and the cognitive information calculation unit 15.
  • the behavior information acquisition unit 12 acquires behavior information related to the driver's behavior (step ST902). Specifically, the behavior information acquisition unit 12 acquires behavior information based on the captured image obtained from the imaging device. The behavior information acquisition unit 12 outputs the acquired behavior information to the cognitive information calculation unit 15.
  • the calculation unit 13 obtains control information for performing automatic driving control of the vehicle based on the environmental information acquired by the environmental information acquisition unit 11 in step ST901 and the machine learning model 18 (step ST903). Specifically, the calculation unit 13 inputs the environmental information acquired by the environmental information acquisition unit 11 into the machine learning model 18 to obtain the control information. The calculation unit 13 outputs the obtained control information to the contribution information determination unit 14.
  • the contribution information determination unit 14 obtains contribution information having a high degree of contribution to the control information based on the environment information acquired by the environment information acquisition unit 11 in step ST901 and the control information acquired by the calculation unit 13 in step ST903. Determine (step ST904). Specifically, the contribution information determination unit 14 calculates the degree of contribution of the type feature amount reflected in the environmental information to the control information based on the environmental information acquired by the environmental information acquisition unit 11. Then, the contribution information determination unit 14 determines, among the type feature amounts reflected in the environmental information, the type feature amount having a high degree of contribution to the control information obtained by the calculation unit 13 as the contribution information. The contribution information determination unit 14 generates a contribution information image in which the contribution information is shown in a region on the environment information image.
  • the contribution information determination unit 14 sets the brightness of the area representing the type feature amount, which is the contribution information, as the brightness of the area other than the type feature amount, which is the contribution information, among the type feature amounts in the environment information image. Generates a different image as a contribution information image. The contribution information determination unit 14 outputs the generated contribution information image to the specific unit 16.
  • the cognitive information calculation unit 15 is based on the environmental information acquired by the environmental information acquisition unit 11 in step ST901 and the behavior information acquired by the behavior information acquisition unit 12 in step ST902. Cognitive information indicating the cognitive region is calculated (step ST905).
  • the cognitive information calculation unit 15 generates a cognitive information image in which the cognitive information is shown in an area on the environmental information image.
  • the cognitive information calculation unit 15 outputs the generated cognitive information image to the specific unit 16.
  • the identification unit 16 identifies uncognitive contribution information based on the contribution information determined by the contribution information determination unit 14 in step ST904 and the cognitive information calculated by the cognitive information calculation unit 15 in step ST905 (step ST906). ..
  • the specific unit 16 outputs the specified unrecognized contribution information to the information output control unit 17.
  • the information output control unit 17 outputs driving support information necessary for driving support based on the unrecognized contribution information specified by the specific unit 16 in step ST906 (step ST907).
  • step ST902 is assumed to be performed after the operation of step ST901 and before the operation of step ST903, but this is only an example.
  • the operation of step ST902 may be performed after the operation of step ST901 and before the operation of step ST905 is performed.
  • the driving support device 1 inputs environmental information related to the environment around the vehicle into the machine learning model 18 that inputs environmental information and outputs control information for performing automatic driving control of the vehicle, and controls information. To get.
  • the driving support device 1 determines the contribution information having a high degree of contribution to the obtained control information among the environmental information related to the environment around the vehicle, and indicates the contribution information and the driver's cognitive area in the environment around the vehicle. Identify uncognitive contribution information based on cognitive information. Then, the driving support device 1 outputs the driving support information based on the specified unrecognized contribution information.
  • the driving support device 1 uses the machine learning model 18 when specifying the driving support information, so that it is possible to output information for driving support according to innumerable environments. ..
  • the contribution information determination unit 14 determines the contribution information
  • the calculated contribution degree is weighted, and the information having the high contribution degree is determined as the contribution information.
  • the control information is calculated using the machine learning model 18 that outputs the control amount of the steering angle, the control amount of the accelerator, and the control amount of the brake by inputting the environmental information
  • the contribution to the control information is performed.
  • the type feature amount with a high degree may be limited to the type feature amount indicating the terrain such as a road or a white line. In this case, the contribution information determination unit 14 determines the type feature amount indicating the topography as the contribution information.
  • the driving support device 1 determines whether or not the driver can recognize the area to be recognized, and if the driver cannot recognize the area to be recognized, the driver cannot recognize the area. Use contribution information to inform the driver of the area. Therefore, in the driving support device 1, it is necessary to determine the type feature amount indicating the information on the road environment with a passerby or another vehicle as the contribution information in preference to the topographical information. By having the contribution information determination unit 14 weight the contribution degree and then determine the type feature amount having a high contribution degree as the contribution information, as described above, the type feature amount indicating the topography can be determined. It is possible to prevent the information from being judged as contribution information in preference to the type feature amount indicating the information on the road environment. As a result, the driving support device 1 can appropriately determine whether or not the driver can recognize the area to be recognized.
  • the machine learning model 18 is generated by reinforcement learning, but the learning method when generating the machine learning model 18 is not limited to reinforcement learning.
  • the machine learning model 18 may be generated by performing supervised learning using supervised environmental information as supervised data.
  • the machine learning model 18 is generated by reinforcement learning, it is possible to learn using a simulator, for example, even in an environment where teacher data cannot be sufficiently collected.
  • the calculation unit 13 can obtain control information by using different machine learning models 18 according to the environmental information acquired by the environmental information acquisition unit 11.
  • the calculation unit 13 can obtain control information by using the machine learning model 18 corresponding to the right turn scene.
  • the calculation unit 13 may determine that the own vehicle turns right from the own vehicle information, road information, and the like included in the environmental information. In this way, by allowing the arithmetic unit 13 to obtain control information using different machine learning models 18 according to the environmental information, the driving support device 1 is compared with the case where only one machine learning model 18 is used. , It is possible to determine the contribution information according to the environment around the vehicle, and as a result, it is possible to more appropriately determine whether or not the driver can recognize the area to be recognized.
  • the cognitive information calculation unit 15 calculates the cognitive information based on the environmental information and the behavioral information, but the cognitive information calculation unit 15 calculates the cognitive information.
  • Environmental information is not required.
  • the cognitive information calculation unit 15 may calculate the cognitive information based only on the behavioral information.
  • the specific unit 16 calculates the difference between the contribution information and the cognitive information, the specific unit 16 contributes so that the contribution information that overlaps with the cognitive information is not determined as the contribution information that does not overlap with the cognitive information. Similar to the information image, it is necessary to generate a cognitive information image representing the cognitive information on the environmental information image in consideration of the environmental information.
  • the specific unit 16 when the same information is shown in the area on the image in the contribution information image and the cognitive information image, the specific unit 16 has the area on the contribution information image and the area on the cognitive information image. It is necessary to generate a matching cognitive information image. The specific unit 16 compares the generated cognitive information image with the contribution information image.
  • the driving support device 1 is mounted on the vehicle, but this is only an example.
  • a part of the components of the driving support device 1 as described with reference to FIG. 1 may be provided in the server.
  • the environment information acquisition unit 11 and the behavior information acquisition unit 12 are mounted on the vehicle, and the functions of the calculation unit 13, the contribution information determination unit 14, the cognitive information calculation unit 15, the specific unit 16, and the information output control unit 17 are servers. It may be prepared for.
  • the target for which the driving support device 1 outputs the driving support information is a vehicle, but this is only an example.
  • the target for which the driving support device 1 outputs the driving support information may be a forklift (not shown) capable of automatically transporting an object in the factory.
  • the target to which the driving support device 1 outputs the driving support information may be a driving simulator (not shown) that simulates the driving or running of the vehicle, which is used when training the driving or running of the vehicle.
  • the target to which the driving support device 1 outputs the driving support information can be any moving body capable of automatic driving.
  • FIGS. 10A and 10B are diagrams showing an example of the hardware configuration of the driving support device 1 according to the first embodiment.
  • the functions of the environmental information acquisition unit 11, the behavior information acquisition unit 12, the calculation unit 13, the contribution information determination unit 14, the cognitive information calculation unit 15, the specific unit 16, and the information output control unit 17 are processed. It is realized by the circuit 1001. That is, the driving support device 1 controls to specify the driving support information based on the contribution information determined based on the control information obtained by using the machine learning model 18 and the cognitive information indicating the cognitive area of the driver.
  • a processing circuit 1001 for performing the operation is provided.
  • the processing circuit 1001 may be dedicated hardware as shown in FIG. 10A, or may be a CPU (Central Processing Unit) 1005 that executes a program stored in the memory 1006 as shown in FIG. 10B.
  • CPU Central Processing Unit
  • the processing circuit 1001 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable). Gate Array) or a combination of these is applicable.
  • the processing circuit 1001 When the processing circuit 1001 is the CPU 1005, the functions of the environment information acquisition unit 11, the action information acquisition unit 12, the calculation unit 13, the contribution information determination unit 14, the cognitive information calculation unit 15, the specific unit 16, and the information output control unit 17 are , Software, firmware, or a combination of software and firmware. That is, the environment information acquisition unit 11, the action information acquisition unit 12, the calculation unit 13, the contribution information determination unit 14, the cognitive information calculation unit 15, the specific unit 16, and the information output control unit 17 are HDD (Hard Disk Drive) 1002. , The CPU 1005 that executes the program stored in the memory 1006 and the like, and the processing circuit 1001 such as the system LSI (Large-Scale Information). Further, the programs stored in the HDD 1002, the memory 1006, etc.
  • the system LSI Large-Scale Information
  • the memory 1006 is, for example, a RAM, a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Emergency Memory), an EEPROM (Electrically Emergency Memory), or an EEPROM (Electrically Elegant) volatile Memory Read.
  • a semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versaille Disc), or the like is applicable.
  • the environment information acquisition unit 11 Some of the functions of the environment information acquisition unit 11, the behavior information acquisition unit 12, the calculation unit 13, the contribution information determination unit 14, the cognitive information calculation unit 15, the specific unit 16, and the information output control unit 17 are dedicated. It may be implemented in hardware and partly in software or firmware.
  • the environment information acquisition unit 11 and the action information acquisition unit 12 are realized by the processing circuit 1001 as dedicated hardware, and the calculation unit 13, the contribution information determination unit 14, the cognitive information calculation unit 15, and the specific unit 16 are realized.
  • the function of the information output control unit 17 can be realized by the processing circuit 1001 reading and executing the program stored in the memory 1006.
  • the driving support device 1 includes a device such as an environmental information acquisition device, an output device, or an automatic driving control unit (not shown), and an input interface device 1003 and an output interface device 1004 that perform wired communication or wireless communication.
  • the driving support device 1 acquires the environmental information acquisition unit 11 that acquires the environmental information about the environment around the moving body and the behavior information about the behavior of the driver of the moving body.
  • Control information based on the behavior information acquisition unit 12 to be performed, the environment information acquired by the environment information acquisition unit 11, and the machine learning model 18 that inputs the environment information and outputs the control information for performing the automatic operation control of the moving body.
  • the contribution information determination unit 14 determines the contribution information having a high degree of contribution to the control information.
  • the cognitive information calculation that calculates the cognitive information indicating the driver's cognitive area in the environment around the moving object based on the behavior information acquired by the behavior information acquisition unit 12 and the environmental information acquired by the environment information acquisition unit 11.
  • 16 and an information output control unit 17 that outputs driving support information necessary for driving support based on the unrecognized contribution information specified by the specific unit 16 are provided. Therefore, the driving support device 1 can output information for driving support according to innumerable environments.
  • the contribution information determination unit 14 calculates the contribution information after weighting the contribution degree. Therefore, the driving support device 1 can determine the type feature amount that should be preferentially used as the contribution information as the contribution information, and appropriately determines whether or not the driver can recognize the area to be recognized. Can be done.
  • the driving support device 1 when a plurality of machine learning models 18 exist, in the driving support device 1, the calculation unit 13 uses different machine learning models 18 according to the environmental information acquired by the environmental information acquisition unit 11. It was configured to use to obtain control information. Therefore, the driving support device 1 can determine the contribution information according to the environment around the vehicle more than the case where only one machine learning model 18 is used, and as a result, the driver should be aware of it. It is possible to more appropriately determine whether or not the area is recognized.
  • the vehicle control arithmetic unit is configured to be able to output information for driving support according to innumerable environments, it outputs information for supporting driving by a moving vehicle driver. It can be applied to driving support devices.
  • 1 driving support device 11 environmental information acquisition unit, 12 behavior information acquisition unit, 13 calculation unit, 14 contribution information judgment unit, 15 cognitive information calculation unit, 16 specific unit, 17 information output control unit, 18 machine learning model, 1001 processing Circuit, 1002 HDD, 1003 input interface device, 1004 output interface device, 1005 CPU, 1006 memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

移動体周辺の環境に関する環境情報を取得する環境情報取得部（１１）と、移動体の運転者の行動に関する行動情報を取得する行動情報取得部（１２）と、環境情報取得部（１１）が取得した環境情報と、環境情報を入力とし移動体の自動運転制御を行うための制御情報を出力する機械学習モデル（１８）とに基づき、制御情報を得る演算部（１３）と、環境情報と制御情報とに基づき、当該制御情報への寄与度が高い寄与情報を判定する寄与情報判定部（１４）と、行動情報と環境情報とに基づき、移動体周辺の環境における運転者の認知領域を示す認知情報を算出する認知情報算出部（１５）と、寄与情報と、認知情報とに基づき、運転者によって認知されていないと推定される未認知寄与情報を特定する特定部（１６）と、特定部（１６）が特定した未認知寄与情報に基づき、運転支援に必要な運転支援情報を出力する情報出力制御部（１７）とを備えた。

Description

運転支援装置および運転支援方法
　この発明は、運転支援装置および運転支援方法に関するものである。
　従来、移動体の運転者による運転を支援するための情報を出力する運転支援装置が知られている。
　例えば、特許文献１には、運転者の運転行動から、運転者の環境に対する認知状態がスキルベースの状態であるか知識－ルールベースの状態であるかを判定し、車両が走行する環境と、判定した認知状態とによって、運転者に提供する情報を決定する運転支援装置が開示されている。
特開２００５－４４１４号公報
　一般的に、移動体が走行する環境は無数に考えられる。
　これに対し、特許文献１に開示されているような従来技術は、車両が走行する環境が無数に考えられることが考慮されておらず、予め設定されたルールに基づいて情報を提供する。そのため、従来技術では、情報を提供するために設定できるルールに限界があり、無数の環境に対応した情報を提供することができないという課題があった。
　この発明は上記のような課題を解決するためになされたもので、無数の環境に応じた、運転支援のための情報を出力することができる運転支援装置を提供することを目的とする。
　この発明に係る運転支援装置は、移動体の周辺の環境に関する環境情報を取得する環境情報取得部と、移動体の運転者の行動に関する行動情報を取得する行動情報取得部と、環境情報取得部が取得した環境情報と、環境情報を入力とし移動体の自動運転制御を行うための制御情報を出力する機械学習モデルとに基づき、制御情報を得る演算部と、環境情報取得部が取得した環境情報と、演算部が得た制御情報とに基づき、当該制御情報への寄与度が高い寄与情報を判定する寄与情報判定部と、行動情報取得部が取得した行動情報と、環境情報取得部が取得した環境情報とに基づき、移動体の周辺の環境における運転者の認知領域を示す認知情報を算出する認知情報算出部と、寄与情報判定部が判定した寄与情報と、認知情報算出部が算出した認知情報とに基づき、運転者によって認知されていないと推定される未認知寄与情報を特定する特定部と、特定部が特定した未認知寄与情報に基づき、運転支援に必要な運転支援情報を出力する情報出力制御部とを備えたものである。
　この発明によれば、無数の環境に応じた、運転支援のための情報を出力することができる。
実施の形態１に係る運転支援装置の構成例を示す図である。 実施の形態１において、環境情報取得部が取得する、画像で表現された環境情報の一例のイメージを示す図である。 実施の形態１において、寄与情報判定部が生成した寄与情報画像の一例のイメージを示す図である。 実施の形態１において、環境情報取得部が、環境情報と行動情報とに基づき生成した認知情報画像の一例のイメージを説明するための図であって、図４Ａは、運転者が前を向いている状態を示す図であり、図４Ｂは、認知情報算出部が生成した認知情報画像のイメージを示す図である。 実施の形態１において、環境情報取得部が、環境情報と行動情報とに基づき生成した認知情報画像のその他の一例のイメージを説明するための図であって、図５Ａは、運転者が左前を見てから右前を見た状態を示す図であり、図５Ｂは、認知情報算出部が生成した認知情報画像のイメージを示す図である。 実施の形態１において、環境情報取得部が、環境情報と行動情報とに基づき生成した認知情報画像のその他の一例のイメージを説明するための図であって、図６Ａは、運転者が左前を見てから右前を見た後に、右のサイドミラーを見た状態を示す図であり、図６Ｂは、認知情報算出部が生成した認知情報画像のイメージを示す図である。 実施の形態１において、環境情報取得部が、環境情報と行動情報とに基づき生成した認知情報画像のその他の一例のイメージを説明するための図である。 実施の形態１において、情報出力制御部が画像形式で出力した運転支援情報の一例のイメージを説明するための図である。 実施の形態１に係る運転支援装置の動作を説明するためのフローチャートである。 図１０Ａ，図１０Ｂは、実施の形態１に係る運転支援装置のハードウェア構成の一例を示す図である。
　以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　図１は、実施の形態１に係る運転支援装置１の構成例を示す図である。
　運転支援装置１は、図１に示すように、環境情報取得部１１、行動情報取得部１２、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、情報出力制御部１７、および、機械学習モデル１８を備える。
　実施の形態１において、運転支援装置１は、車両に搭載され、当該車両の運転者による運転を支援するための情報（以下「運転支援情報」という。）を出力する。なお、運転支援装置１が運転を支援する車両は、自動運転機能を有することを前提とする。車両が自動運転機能を有する場合であっても、運転者が、当該自動運転機能を実行せず、自ら車両を運転することができる。運転支援装置１は、自動運転が可能な車両において、運転者が自ら運転を行っている場合に、運転支援情報を出力する。運転支援情報は、具体的には、運転者に対して、車両周辺の環境において、運転者によって認知されていないと推定される領域を知らせるための情報である。
　運転支援装置１は、車両周辺の環境に関する環境情報と、機械学習済みのモデル（以下「機械学習モデル」という。）１８とに基づいて、運転支援情報の出力を制御する。機械学習モデル１８は、機械学習における学習済みのモデルである。具体的には、機械学習モデル１８は、環境情報が入力されると、車両の自動運転制御を行うための制御情報を出力するように、予め機械学習が行われたモデルである。車両の自動運転制御を行うための制御情報とは、例えば、操舵角の制御量に関する情報、アクセルの制御量に関する情報、または、ブレーキの制御量に関する情報である。車両の自動運転制御を行うための制御情報は、車両の自動運転制御に必要な種々の自動運転制御量に関する情報を含む。
　機械学習モデル１８は、例えば、ニューラルネットワークにより構成される。機械学習モデル１８は、予め、強化学習によって生成されている。
　実施の形態１において、車両周辺の環境とは、自車両をとりまく環境である。自車両をとりまく環境とは、他車両の位置または歩行者の有無等、自車両をとりまく環境の状態をいう。実施の形態１では、自車両の位置等、自車両の状態も、自車両をとりまく環境の状態に含まれるものとする。
　環境情報取得部１１は、車両周辺の環境に関する環境情報を取得する。
　環境情報は、例えば、自車両に関する自車情報、他車両に関する他車情報、歩行者に関する歩行者情報、道路に関する道路情報、または、障害物に関する障害物情報を含む。
　自車情報は、自車両の車速、自車両の加速度、自車両の位置、自車両の形状、または、自車両が走行している走行車線に関する情報等を含む。
　他車情報は、他車両の位置、他車両の車速、他車両の形状、または、他車両が走行している走行車線に関する情報等を含む。
　歩行者情報は、歩行者の位置、歩行者が歩く速度、または、歩行者の形状に関する情報等を含む。
　道路情報は、車線、道路種別、道路形状、信号、標識、または、道路上の表示に関する情報等を含む。
　障害物情報には、障害物の位置、障害物の移動速度、または、障害物の形状に関する情報等を含む。
　なお、上述した環境情報は一例に過ぎず、環境情報には、自車両をとりまく環境に関するあらゆる情報が含まれ得る。例えば、環境情報には、天候に関する情報が含まれるようになっていてもよいし、環境情報には、交通渋滞に関する情報が含まれるようになっていてもよい。
　環境情報取得部１１は、環境情報取得用装置（図示省略）から得た情報（以下「環境情報取得用情報」という。）から、特徴量を抽出して、環境情報を生成する。特徴量は、上述したような、環境情報に含まれる情報の種別に応じて分類される。例えば、環境情報取得部１１は、他車両の位置に応じた特徴量を抽出して、環境情報を生成する。以下の実施の形態１において、環境情報に含まれる情報の種別毎の、当該種別に応じた特徴量を、「種別特徴量」ともいうものとする。
　環境情報取得用装置は、例えば、撮像装置（図示省略）である。撮像装置は、車両に搭載され、車両の前方を撮像する。環境情報取得部１１は、環境情報取得用情報として、撮像装置から、当該撮像装置が撮像した撮像画像を取得する。環境情報取得部１１は、撮像画像から種別特徴量を抽出して、環境情報を生成する。
　具体的には、環境情報取得部１１は、例えば、撮像装置が撮像した撮像画像から、自車両の位置、自車両の速度、他車両の位置、他車両の速度、または、歩行者の位置等に応じた特徴量を抽出する。環境情報取得部１１は、抽出した特徴量が反映された画像を生成する。環境情報取得部１１が生成した画像を、環境情報とする。このように、環境情報取得部１１は、例えば、画像で表現された環境情報を取得する。
　ここで、図２は、実施の形態１において、環境情報取得部１１が取得する、画像で表現された環境情報の一例のイメージを示す図である。なお、図２において、図の上側を、自車両の進行方向としている。
　図２では、環境情報取得部１１が、他車両に応じた種別特徴量と、自車両に応じた種別特徴量と、歩行者に応じた種別特徴量と、信号を示す種別特徴量とを抽出し、抽出した各種別特徴量を画像で表現するものとした環境情報を示している。以下、環境情報を表現した画像を、「環境情報画像」ともいう。
　図２に示すように、環境情報画像は、自車両周辺の環境を抽象化した画像である。図２では、環境情報画像は俯瞰図としている。
　実施の形態１では、一例として、環境情報取得部１１は、上述のとおり、撮像装置が撮像した撮像画像に基づいて種別特徴量を抽出し、環境情報として環境情報画像を取得するものとするが、これは一例に過ぎない。
　例えば、環境情報取得用装置は、距離画像センサ（図示省略）であってもよい。距離画像センサは、車両に搭載され、車両の前方の物体までの距離画像を取得する。環境情報取得部１１は、距離画像から種別特徴量を抽出して、環境情報を取得してもよい。
　また、例えば、環境情報取得用装置は、レーダ装置（図示省略）であってもよい。レーダ装置は、車両に搭載され、車両の前方の物体を検出する。環境情報取得部１１は、検出された物体に関する情報から種別特徴量を抽出して、環境情報を取得してもよい。
　また、環境情報は画像に限らず、例えば、ベクトルとしてもよい。環境情報取得部１１は、例えば、撮像装置が撮像した撮像画像に基づき、自車両の位置または他車両の位置等に応じた種別特徴量を示すベクトルを抽出し、当該ベクトルの情報に基づいて環境情報を取得してもよい。このように、環境情報取得部１１は、数値であらわされる情報として環境情報を取得するものとしてもよい。
　また、実施の形態１では、環境情報取得部１１は、環境情報取得用装置から得られた環境情報取得用情報に基づき、種別特徴量を抽出した上で環境情報を取得するものとするが、これは一例に過ぎない。環境情報取得部１１は、例えば、環境情報取得用装置から得られた環境情報取得用情報をそのまま環境情報としてもよい。
　環境情報取得部１１は、取得した環境情報を、演算部１３、寄与情報判定部１４、および、認知情報算出部１５に出力する。
　行動情報取得部１２は、運転者の行動に関する行動情報を取得する。
　実施の形態１において、運転者の行動とは、運転者の行動全般を含む。運転者の行動に関する情報とは、例えば、運転者の視線の向きに関する情報、運転者の顔向きに関する情報、運転者の開眼度、または、運転者の集中度を含む。
　行動情報取得部１２は、上記環境情報取得用装置から得た情報に基づいて、行動情報を取得する。実施の形態１では、行動情報取得部１２は、撮像装置から得た撮像画像に基づいて、行動情報を取得する。行動情報取得部１２は、例えば、既存の画像処理技術を用いて、行動情報を取得すればよい。
　行動情報取得部１２は、取得した行動情報を、認知情報算出部１５に出力する。
　演算部１３は、環境情報取得部１１が取得した環境情報と機械学習モデル１８とに基づき、車両の自動運転制御を行うための制御情報を得る。
　具体的には、演算部１３は、環境情報取得部１１が取得した環境情報、言い換えれば、環境情報画像を機械学習モデル１８に入力して、上記制御情報を得る。
　演算部１３は、得た制御情報を、寄与情報判定部１４に出力する。
　なお、演算部１３が得る制御情報は、運転支援情報の出力制御を行うために用いられるものになっていればよく、実際に自車両の自動運転制御を行う際に当該自動運転制御にて用いられるものになっていなくてよい。
　寄与情報判定部１４は、環境情報取得部１１が取得した環境情報と、演算部１３が得た制御情報とに基づき、制御情報への寄与度が高い寄与情報を判定する。具体的には、寄与情報判定部１４は、環境情報取得部１１が取得した環境情報に基づき、当該環境情報に反映されている種別特徴量の、制御情報への寄与度を算出する。そして、寄与情報判定部１４は、環境情報に反映されている種別特徴量のうち、演算部１３が得た制御情報への寄与度が高い種別特徴量を、寄与情報と判定する。
　例えば、寄与情報判定部１４は、機械学習モデル１８に関し、演算結果に対する入力の寄与度を算出する既存の技術を用いて寄与度を算出し、算出した寄与度に基づき寄与情報を判定すればよい。また、寄与情報判定部１４は、例えば、環境情報取得部１１が取得した環境情報において、種別特徴量を微小に変化させた環境情報（以下「寄与度判定用環境情報」という。）を生成し、環境情報と寄与度判定用環境情報とをそれぞれ機械学習モデル１８に入力して演算結果、言い換えれば、制御情報を得て、寄与度を算出するようにしてもよい。寄与情報判定部１４は、種別特徴量毎に寄与度判定用環境情報を生成する。寄与情報判定部１４は、環境情報を入力として得られた制御情報と、寄与度判定用環境情報を入力して得られた制御情報とを比較し、予め設定された値以上の差がある場合、寄与度判定用環境情報において微小に変化させた種別特徴量は制御情報に与える影響が大きいと判定し、当該種別特徴量の寄与度は「高い」とする。寄与情報判定部１４は、寄与度が「高い」とした種別特徴量を、寄与情報と判定する。
　例えば、環境情報が図２に示すような環境情報画像であった場合、寄与情報判定部１４は、環境情報画像において、複数の他車両を示す種別特徴量、自車両を示す種別特徴量、または、複数の歩行者を示す種別特徴量毎に、寄与度を算出する。そして、寄与情報判定部１４は、算出した寄与度が高い種別特徴量を、寄与情報と判定する。
　なお、寄与情報判定部１４が、寄与度がどれぐらいであった場合に、当該寄与度が高いと判定するかは、予め決められているものとする。
　寄与情報判定部１４が判定する寄与情報は、例えば、種別特徴量が「寄与情報である」または「寄与情報ではない」の２値で判定されるものであってもよいし、種別特徴量が制御情報の演算に寄与する寄与度をあらわす数値で判定されるものであってもよい。
　寄与情報判定部１４は、寄与情報をあらわす情報（以下「寄与度算出後情報」という。）を生成する。なお、実施の形態１では、寄与情報判定部１４は、寄与度算出後情報を、環境情報の表現形式とあわせるようにする。ここでは、環境情報は、画像として生成されるものとしているので、寄与情報判定部１４は、寄与度算出後情報を画像であらわすものとする。寄与情報判定部１４は、寄与情報を環境情報画像上の領域で示した画像（以下「寄与情報画像」という。）を生成する。具体的には、寄与情報判定部１４は、環境情報画像における種別特徴量のうち、寄与情報である種別特徴量をあらわす領域の明度を、当該寄与情報である種別特徴量以外の領域の明度とは異ならせた画像を、寄与情報画像として生成する。
　ここで、図３は、実施の形態１において、寄与情報判定部１４が生成した寄与情報画像の一例のイメージを示す図である。
　図３に示す寄与情報画像は、環境情報が図２に示す環境情報画像であった場合に、寄与情報判定部１４が当該環境情報画像と、演算部１３が得た制御情報とに基づき、寄与情報を判定して生成した寄与情報画像としている。
　図３に示す寄与情報画像は、寄与情報判定部１４が、環境情報画像における種別特徴量のうち、自車両の進行方向に存在する信号を示す種別特徴量（図３の３０１参照）、自車両の進行方向に存在する歩行者を示す種別特徴量（図３の３０２参照）、および、交差点に差し掛かっている対向車を示す種別特徴量（図３の３０３参照）を、制御情報への寄与度が高い寄与情報であると判定したことをあらわしている。なお、図３の３０２で示している種別特徴量は、自車両の進行方向に対して前方にいる２人の歩行者をそれぞれ示す種別特徴量と、自車両の進行方向に対して左側にいる１人の歩行者を示す特徴量を含んでいる。
　図３に示すように、寄与情報画像において、自車両の進行方向に存在する信号を示す種別特徴量が抽出された領域、自車両の進行方向に存在する歩行者を示す種別特徴量が抽出された領域、および、交差点に差し掛かっている対向車を示す種別特徴量が抽出された領域の明度は高く、これらの領域以外の領域の明度は低くなっている。図３において、寄与情報判定部１４は、明度が高い領域を白色、明度の低い領域を黒色としている。
　このように、寄与情報判定部１４は、環境情報取得部１１が取得した環境情報が画像である場合、当該画像において、演算部１３が得た制御情報への寄与度が高い寄与情報を、画像上の領域であらわす。
　なお、実施の形態１では、寄与情報判定部１４は、寄与度算出後情報を画像で表現するものとし、寄与情報は画像上の領域であらわされるものとしたが、これは一例に過ぎない。寄与情報判定部１４は、寄与情報を任意の表現形式で表現した情報を生成することができる。ただし、環境情報が環境情報画像で表現される場合、寄与情報判定部１４は、環境情報と表現形式をあわせて、寄与度算出後情報を寄与情報画像で表現するものとし、寄与情報を画像上の領域であらわされるものとしたほうが、寄与情報を画像上の領域以外の情報であらわされるものとする場合と比べ、運転支援装置１において、寄与情報と認知情報との差分がとりやすい。寄与情報と認知情報との差分の算出は、特定部１６が行う。特定部１６の詳細については、後述する。
　寄与情報判定部１４は、生成した寄与情報画像を、特定部１６に出力する。
　認知情報算出部１５は、環境情報取得部１１が取得した環境情報と、行動情報取得部１２が取得した行動情報とに基づき、自車両周辺の環境における運転者の認知領域を示す情報（以下「認知情報」という。）を算出する。
　認知情報算出部１５は、認知情報をあらわす情報（以下「認知判定後情報」という。）を生成する。
　実施の形態１では、認知情報算出部１５は、認知判定後情報を、環境情報の形態とあわせるようにする。ここでは、環境情報は、画像として生成されるものとしているので、認知情報算出部１５は、認知判定後情報を画像であらわすものとする。認知情報算出部１５は、認知情報を環境情報画像上の領域で示した画像（以下「認知情報画像」という。）を生成する。認知情報算出部１５は、環境情報画像上で、認知情報を示す領域の明度を、当該認知情報を示す領域以外の領域の明度とは異ならせた認知情報画像を生成する。認知情報算出部１５は、例えば、認知情報画像において、認知情報を示す領域を白色、認知情報を示す領域以外の領域を黒色であらわす。
　認知情報算出部１５が生成した認知情報画像の一例のイメージについて、図面を用いて説明する。
　図４～図６は、実施の形態１において、認知情報算出部１５が、環境情報と行動情報とに基づき生成した認知情報画像の一例のイメージを説明するための図である。なお、図４～図６において、図の上側を、自車両の進行方向としている。また、図４～図６では、認知情報算出部１５は、認知情報画像において、認知情報を示す領域とともに、自車両を示す領域も示すものとしている。図４～図６において、自車両を示す領域はグレーであらわされている。
　図４は、運転者が前を向いている状態である場合（図４Ａ参照）に、認知情報算出部１５が生成した認知情報画像（図４Ｂ参照）のイメージを示している。図４Ｂにおいて、認知情報画像上で認知情報を示す領域は、４０１で示されている。
　認知情報算出部１５は、行動情報に含まれている、運転者の視線方向から、運転者が前を向いていることを判定すればよい。
　図４Ｂに示すように、認知情報画像は、自車両および認知情報を抽象化した画像である。図４Ｂでは、認知情報画像は俯瞰図としている。
　認知情報算出部１５は、算出した認知情報を時系列に重ね合わせて、当該認知情報を表現してもよい。認知情報算出部１５は、認知情報を算出する都度、記憶部（図示省略）に認知情報を記憶させておくようにし、時系列の認知情報を記憶部から取得すればよい。この場合、認知情報算出部１５は、例えば、時系列の認知情報を、運転者が認知している度合い（以下「認知度」という。）に応じて、色の濃淡で表現してもよい。
　図５は、運転者が左前を見てから右前を見た状態である場合（図５Ａ参照）に、認知情報算出部１５が生成した認知情報画像（図５Ｂ参照）のイメージを示している。図５Ｂにおいて、認知情報画像上で認知情報を示す領域は、５０１で示されている。
　図５Ｂでは、認知情報算出部１５は、より直近に運転者が見た領域ほど運転者の認知度は高く、より過去に運転者が見た領域ほど運転者の認知度は低いと判定している。具体的には、認知情報算出部１５は、認知情報画像において、運転者が右前を見た際の認知情報を示す領域を、運転者が左前を見た際の認知情報を示す領域よりも明度を上げて表現するようにしている。
　また、認知情報算出部１５は、自車両に設置されているミラーまたは撮像装置等を考慮して認知情報を表現してもよい。
　図６は、運転者が左前を見てから右前を見た後に、右のサイドミラーを見た状態である場合（図６Ａ参照）に、認知情報算出部１５が生成した認知情報画像（図６Ｂ参照）のイメージを示している。図６Ｂにおいて、認知情報画像上で認知情報を示す領域は、６０１で示されている。
　図６Ｂでは、認知情報算出部１５は、運転者が左前を見た際の認知情報を示す領域、および、運転者が右前を見た際の認知情報を示す領域に加え、運転者が右のサイドミラーを見た際の認知情報を示す領域を、認知情報画像上で明度を上げて表現するようにしている。なお、認知情報算出部１５は、運転者が右のサイドミラーを見たことを、環境情報に含まれている運転者の視線方向、および、右のサイドミラーの設置位置の情報に基づいて判定すればよい。右のサイドミラーの設置位置の情報は、例えば、自車情報として、環境情報に含まれている。運転者が右のサイドミラーを見たとき、認知情報算出部１５は、自車両の、進行方向に対して右後方の領域を、認知情報として算出する。
　認知情報算出部１５は、運転者が左前を見た際の認知情報を示す領域、運転者が右前を見た際の認知情報を示す領域、運転者が右のサイドミラーを見た際の認知情報を示す領域の順で、領域の明度を上げるようにする。
　認知情報算出部１５は、生成した認知判定後情報を、特定部１６に出力する。ここでは、認知情報算出部１５は、生成した認知情報画像を、特定部１６に出力する。
　なお、実施の形態１では、認知情報算出部１５は、認知判定後情報を画像で表現し、認知情報は、画像上の領域であらわされるものとしたが、これは一例に過ぎない。認知情報算出部１５は、認知情報を任意の表現形式で表現した情報を生成するようにすることができる。ただし、環境情報および寄与情報が画像で表現される場合、認知情報算出部１５は、環境情報および寄与情報とあわせて、認知判定後情報を認知情報画像で表現するようにし、認知情報を画像上の領域であらわすようにしたほうが、認知情報を画像上の領域以外の情報であわらされるものとする場合と比べ、運転支援装置１において、寄与情報と認知情報との差分がとりやすい。寄与情報と認知情報との差分の算出は、特定部１６が行う。特定部１６の詳細については、後述する。
　特定部１６は、寄与情報判定部１４が判定した寄与情報と、認知情報算出部１５が算出した認知情報とに基づき、運転者によって認知されていないと推定される寄与情報（以下「未認知寄与情報」という。）を特定する。
　特定部１６は、寄与情報と認知情報とを比較し、未認知寄与情報を特定する。
　実施の形態１では、特定部１６は、寄与情報判定部１４が生成した寄与情報画像と、認知情報算出部１５が生成した認知情報画像とを比較した結果生じる差異または過不足によって、未認知寄与情報を特定する。具体的には、特定部１６は、例えば、寄与情報画像と認知情報画像とを比較し、寄与情報画像において、認知情報画像上で認知情報をあらわす領域と重複していない領域であらわされている寄与情報を、差分として抽出する。特定部１６は、差分として抽出した寄与情報を、未認知寄与情報と特定する。
　特定部１６が未認知寄与情報を特定する一連の処理について、図面を用いて、具体例を挙げて説明する。以下の具体例では、寄与情報画像は図３に示すような画像であるものとする。また、認知情報画像は、図７に示すような画像であるものとする。図７において、図の上側を、自車両の進行方向としている。なお、図７に示す認知情報画像は、運転者の認知領域が、運転者のやや右斜め前の領域であることを示している。すなわち、図７に示す認知情報画像は、運転者は、進行方向に対してやや右斜め前の領域を認知していることを示している。
　特定部１６は、図７に示す認知情報画像と図３に示す寄与情報画像とを比較し、運転者によって認定されていないと推定される領域を特定する。
　ここでは、図３に示す寄与情報画像上の、寄与情報を示す領域のうち、自車両の進行方向に対して左側にいる歩行者を示す領域が、図７に示す認知情報画像上の、認知情報を示す領域とは重複していない。よって、特定部１６は、寄与情報画像において、自車両の進行方向に対して左側にいる歩行者を示す寄与情報を、未認知寄与情報と特定する。
　特定部１６は、特定した未認知寄与情報を、情報出力制御部１７に出力する。
　情報出力制御部１７は、特定部１６が特定した未認知寄与情報に基づき、運転支援に必要な運転支援情報を出力する。
　実施の形態１において、情報出力制御部１７は、例えば、運転支援情報を、画像形式で出力する。
　図８は、実施の形態１において、情報出力制御部１７が画像形式で出力した運転支援情報の一例のイメージを説明するための図である。
　図８は、寄与情報画像を図３に示すような画像とし、認知情報画像を図７に示すような画像として、特定部１６が自車両の進行方向に対して左側にいる歩行者を示す寄与情報を未認知寄与情報と特定した場合に、情報出力制御部１７が出力する、画像としての運転支援情報を示している。
　図８に示す画像において、自車両の進行方向に対して左側にいる歩行者を示す領域が、当該領域以外の領域とは異なる明度であらわされている。
　情報出力制御部１７が出力する運転支援情報は、例えば、車両を運転中の運転者に対して警報を出力するアプリケーションにて用いられる。具体的には、例えば、情報出力制御部１７は、走行中の自車両に搭載されている出力装置（図示省略）から、運転者に対して、必要な情報を認知できていない旨を知らせるための警報を出力する。上述の例でいうと、情報出力制御部１７は、自車両の運転者に、進行方向に対して左側にいる歩行者を認知できていない旨を知らせるメッセージを出力する。
　また、例えば、情報出力制御部１７が出力する運転支援情報は、運転者による運転から自動運転に強制的に移行するアプリケーションにて用いられるようにすることもできる。具体的には、例えば、情報出力制御部１７は、走行中の自車両に搭載され、自動運転の制御を行う自動運転制御部（図示省略）に、運転支援情報を出力する。自動運転制御部は、運転支援情報が、予め決められている種別を示す運転支援情報である場合、自車両の運転を自動運転へと、強制的に移行させる。
　機械学習モデル１８は、上述のとおり、環境情報が入力されると、車両の自動運転制御を行うための制御情報を出力するように、予め機械学習が行われた、機械学習における学習済みのモデルである。
　図１では、機械学習モデル１８は、運転支援装置１に備えられるものとしているが、これは一例に過ぎない。機械学習モデル１８は、運転支援装置１の外部の、運転支援装置１が参照可能な場所に備えられるものとしてもよい。
　実施の形態１に係る運転支援装置１の動作について説明する。
　図９は、実施の形態１に係る運転支援装置１の動作を説明するためのフローチャートである。
　環境情報取得部１１は、車両周辺の環境に関する環境情報を取得する（ステップＳＴ９０１）。
　具体的には、環境情報取得部１１は、撮像装置が撮像した撮像画像に基づいて、種別特徴量を抽出し、画像で表現された環境情報を取得する。
　環境情報取得部１１は、取得した環境情報を、演算部１３、寄与情報判定部１４、および、認知情報算出部１５に出力する。
　行動情報取得部１２は、運転者の行動に関する行動情報を取得する（ステップＳＴ９０２）。
　具体的には、行動情報取得部１２は、撮像装置から得た撮像画像に基づいて、行動情報を取得する。
　行動情報取得部１２は、取得した行動情報を、認知情報算出部１５に出力する。
　演算部１３は、ステップＳＴ９０１にて環境情報取得部１１が取得した環境情報と、機械学習モデル１８とに基づき、車両の自動運転制御を行うための制御情報を得る（ステップＳＴ９０３）。
　具体的には、演算部１３は、環境情報取得部１１が取得した環境情報を機械学習モデル１８に入力して、上記制御情報を得る。
　演算部１３は、得た制御情報を、寄与情報判定部１４に出力する。
　寄与情報判定部１４は、ステップＳＴ９０１にて環境情報取得部１１が取得した環境情報と、ステップＳＴ９０３にて演算部１３が得た制御情報とに基づき、制御情報への寄与度が高い寄与情報を判定する（ステップＳＴ９０４）。具体的には、寄与情報判定部１４は、環境情報取得部１１が取得した環境情報に基づき、当該環境情報に反映されている種別特徴量の、制御情報への寄与度を算出する。そして、寄与情報判定部１４は、環境情報に反映されている種別特徴量のうち、演算部１３が得た制御情報への寄与度が高い種別特徴量を、寄与情報と判定する。
　寄与情報判定部１４は、寄与情報を環境情報画像上の領域で示した寄与情報画像を生成する。具体的には、寄与情報判定部１４は、環境情報画像における種別特徴量のうち、寄与情報である種別特徴量をあらわす領域の明度を、当該寄与情報である種別特徴量以外の領域の明度とは異ならせた画像を、寄与情報画像として生成する。
　寄与情報判定部１４は、生成した寄与情報画像を、特定部１６に出力する。
　認知情報算出部１５は、ステップＳＴ９０１にて環境情報取得部１１が取得した環境情報と、ステップＳＴ９０２にて行動情報取得部１２が取得した行動情報とに基づき、自車両周辺の環境における運転者の認知領域を示す認知情報を算出する（ステップＳＴ９０５）。
認知情報算出部１５は、認知情報を環境情報画像上の領域で示した認知情報画像を生成する。
　認知情報算出部１５は、生成した認知情報画像を、特定部１６に出力する。
　特定部１６は、ステップＳＴ９０４にて寄与情報判定部１４が判定した寄与情報と、ステップＳＴ９０５にて認知情報算出部１５が算出した認知情報とに基づき、未認知寄与情報を特定する（ステップＳＴ９０６）。
　特定部１６は、特定した未認知寄与情報を、情報出力制御部１７に出力する。
　情報出力制御部１７は、ステップＳＴ９０６にて特定部１６が特定した未認知寄与情報に基づき、運転支援に必要な運転支援情報を出力する（ステップＳＴ９０７）。
　なお、ここでは、ステップＳＴ９０２の動作は、ステップＳＴ９０１の動作の後であって、ステップＳＴ９０３の動作の前に行われるものとしたが、これは一例に過ぎない。ステップＳＴ９０２の動作は、ステップＳＴ９０１の動作の後、ステップＳＴ９０５の動作が行われるまでに行われるようになっていればよい。
　このように、運転支援装置１は、環境情報を入力とし、車両の自動運転制御を行うための制御情報を出力する機械学習モデル１８に、車両周辺の環境に関する環境情報を入力して、制御情報を得る。運転支援装置１は、車両周辺の環境に関する環境情報のうち、得られた制御情報への寄与度が高い寄与情報を判定し、当該寄与情報と、車両周辺の環境における運転者の認知領域を示す認知情報とに基づいて、未認知寄与情報を特定する。そして、運転支援装置１は、特定した未認知寄与情報に基づき、運転支援情報を出力する。
　運転支援装置１は、上述のように、運転支援情報を特定する際に、機械学習モデル１８を用いるようにしたので、無数の環境に応じた、運転支援のための情報を出力することができる。
　以上の実施の形態１において、寄与情報判定部１４は、寄与情報を判定する際、算出した寄与度に重み付けを行った上で、当該寄与度が高い情報を寄与情報と判定するようにしてもよい。
　例えば、環境情報を入力として、操舵角の制御量、アクセルの制御量、および、ブレーキの制御量を出力する機械学習モデル１８を用いて制御情報の演算が行われた場合、当該制御情報に対する寄与度が高い種別特徴量は、道路または白線等の地形を示す種別特徴量に限られてしまう可能性がある。この場合、寄与情報判定部１４は、地形を示す種別特徴量を寄与情報と判定する。実施の形態１に係る運転支援装置１は、運転者が認知すべき領域を認知できているか否かの判定を行い、運転者が認知すべき領域を認知できていない場合、当該認知できていない領域を運転者に知らせるために、寄与情報を利用する。そのため、運転支援装置１においては、通行者または他車両との道路環境に関する情報を示す種別特徴量を、地形情報に優先して寄与情報と判定する必要がある。寄与情報判定部１４が、寄与度に重み付けを行った上で、当該寄与度が高い種別特徴量を寄与情報と判定するようにすることで、上述したように、地形を示す種別特徴量が、道路環境に関する情報を示す種別特徴量よりも優先して寄与情報と判定されることを防ぐことができる。その結果、運転支援装置１は、運転者が認知すべき領域を認知できているか否かの判定を適切に行うことができる。
　また、以上の実施の形態１では、機械学習モデル１８は、強化学習によって生成されたものとしたが、機械学習モデル１８を生成する際の学習方法は、強化学習に限らない。例えば、機械学習モデル１８は、教師あり環境情報を教師データとする教師あり学習を行うことによって生成されたものとしてもよい。ただし、機械学習モデル１８は、強化学習によって生成されるものとすることで、教師データをじゅうぶんに集められない環境であっても、例えば、シミュレータを用いて学習することが可能となる。
　また、以上の実施の形態１では、機械学習モデル１８は１つであることを想定していたが、これは一例に過ぎない。
　例えば、環境情報に応じて異なる機械学習モデル１８が、複数存在するようにしてもよい。環境情報に応じた機械学習モデル１８の具体例を挙げると、例えば、右折シーンに応じた機械学習モデル１８、左折シーンに応じた機械学習モデル１８、一般道路を走行中のシーンに応じた機械学習モデル１８、または、高速道路を走行中のシーンに応じた機械学習モデル１８である。
　機械学習モデル１８が複数存在する場合、演算部１３は、環境情報取得部１１が取得した環境情報に応じて異なる機械学習モデル１８を用いて制御情報を得るようにすることができる。例えば、演算部１３は、自車両の右折時には、右折シーンに応じた機械学習モデル１８を用いて制御情報を得るようにすることができる。演算部１３は、環境情報に含まれる自車情報および道路情報等から、自車両が右折することを判定すればよい。
　このように、演算部１３が環境情報に応じて異なる機械学習モデル１８を用いて制御情報を得るようにすることで、運転支援装置１は、機械学習モデル１８を１つのみとする場合と比べ、より車両の周辺の環境に応じた寄与情報の判定を行うことができ、その結果、運転者が認知すべき領域を認知できているか否かの判定をより適切に行うことができる。
　また、以上の実施の形態１では、認知情報算出部１５は、環境情報と行動情報とに基づいて認知情報を算出するものとしたが、認知情報算出部１５は、認知情報を算出する際、環境情報を必須としない。認知情報算出部１５は、行動情報のみに基づいて認知情報を算出するようにしてもよい。
　ただし、この場合、特定部１６が寄与情報と認知情報との差分を算出する際に、認知情報と重複する寄与情報を、認知情報と重複しない寄与情報と判定しないよう、特定部１６は、寄与情報画像と同様、環境情報を考慮して、環境情報画像上で認知情報をあらわす認知情報画像を生成する必要がある。すなわち、特定部１６は、例えば、寄与情報画像と認知情報画像とにおいて、それぞれ、同じ情報を画像上の領域で示すとき、寄与情報画像上の当該領域と、認知情報画像上の当該領域とが一致する認知情報画像を生成する必要がある。特定部１６は、生成した認知情報画像と、寄与情報画像とを比較する。
　また、以上の実施の形態１において、運転支援装置１は、車両に搭載されるものとしたが、これは一例に過ぎない。
　例えば、図１を用いて説明したような運転支援装置１の構成部の一部が、サーバに備えられるものとしてもよい。例えば、環境情報取得部１１および行動情報取得部１２は車両に搭載され、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、および、情報出力制御部１７の機能はサーバに備えられるものとしてもよい。
　また、以上の実施の形態１では、運転支援装置１が運転支援情報を出力する対象は車両であるものとしたが、これは一例に過ぎない。
　例えば、運転支援装置１が運転支援情報を出力する対象は、工場内にて物体を自動搬送可能なフォークリフト（図示省略）としてもよい。
　また、例えば、運転支援装置１が運転支援情報を出力する対象は、車両の運転または走行を教育する際に用いられる、車両の運転または走行をシミュレートするドライビングシミュレータ（図示省略）としてもよい。
　運転支援装置１が運転支援情報を出力する対象は、自動運転可能なあらゆる移動体とすることができる。
　図１０Ａ，図１０Ｂは、実施の形態１に係る運転支援装置１のハードウェア構成の一例を示す図である。
　実施の形態１において、環境情報取得部１１、行動情報取得部１２、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、および、情報出力制御部１７の機能は、処理回路１００１により実現される。すなわち、運転支援装置１は、機械学習モデル１８を用いて得られた制御情報に基づき判定した寄与情報と、運転者の認知領域を示す認知情報とに基づいて、運転支援情報を特定する制御を行うための処理回路１００１を備える。
　処理回路１００１は、図１０Ａに示すように専用のハードウェアであっても、図１０Ｂに示すようにメモリ１００６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１００５であってもよい。
　処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
　処理回路１００１がＣＰＵ１００５の場合、環境情報取得部１１、行動情報取得部１２、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、および、情報出力制御部１７の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、環境情報取得部１１、行動情報取得部１２、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、および、情報出力制御部１７は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１００２、メモリ１００６等に記憶されたプログラムを実行するＣＰＵ１００５、システムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路１００１により実現される。また、ＨＤＤ１００２、メモリ１００６等に記憶されたプログラムは、環境情報取得部１１、行動情報取得部１２、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、および、情報出力制御部１７の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１００６とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、環境情報取得部１１、行動情報取得部１２、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、および、情報出力制御部１７の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、環境情報取得部１１および行動情報取得部１２については専用のハードウェアとしての処理回路１００１でその機能を実現し、演算部１３、寄与情報判定部１４、認知情報算出部１５、特定部１６、および、情報出力制御部１７については処理回路１００１がメモリ１００６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　また、運転支援装置１は、図示しない環境情報取得用装置、出力装置、または、自動運転制御部等の装置と、有線通信または無線通信を行う入力インタフェース装置１００３および出力インタフェース装置１００４を備える。
　以上のように、実施の形態１によれば、運転支援装置１は、移動体の周辺の環境に関する環境情報を取得する環境情報取得部１１と、移動体の運転者の行動に関する行動情報を取得する行動情報取得部１２と、環境情報取得部１１が取得した環境情報と、環境情報を入力とし移動体の自動運転制御を行うための制御情報を出力する機械学習モデル１８とに基づき、制御情報を得る演算部１３と、環境情報取得部１１が取得した環境情報と、演算部１３が得た制御情報とに基づき、当該制御情報への寄与度が高い寄与情報を判定する寄与情報判定部１４と、行動情報取得部１２が取得した行動情報と、環境情報取得部１１が取得した環境情報とに基づき、移動体の周辺の環境における運転者の認知領域を示す認知情報を算出する認知情報算出部１５と、寄与情報判定部１４が判定した寄与情報と、認知情報算出部１５が算出した認知情報とに基づき、運転者によって認知されていないと推定される未認知寄与情報を特定する特定部１６と、特定部１６が特定した未認知寄与情報に基づき、運転支援に必要な運転支援情報を出力する情報出力制御部１７とを備えるように構成した。そのため、運転支援装置１は、無数の環境に応じた、運転支援のための情報を出力することができる。
　また、実施の形態１によれば、運転支援装置１において、寄与情報判定部１４は、寄与度に重み付けを行った上で、寄与情報を算出するようにした。そのため、運転支援装置１は、優先的に寄与情報とすべき種別特徴量を寄与情報と判定することができ、運転者が認知すべき領域を認知できているか否かの判定を適切に行うことができる。
　また、実施の形態１によれば、機械学習モデル１８が複数存在する場合、運転支援装置１において、演算部１３は、環境情報取得部１１が取得した環境情報に応じて異なる機械学習モデル１８を用いて制御情報を得るように構成した。そのため、運転支援装置１は、機械学習モデル１８を１つのみとする場合と比べ、より車両の周辺の環境に応じた寄与情報の判定を行うことができ、その結果、運転者が認知すべき領域を認知できているか否かの判定をより適切に行うことができる。
　なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　この発明に係る車両制御用演算装置は、無数の環境に応じた、運転支援のための情報を出力することができるように構成したため、移動体の運転者による運転を支援するための情報を出力する運転支援装置に適用することができる。
　１　運転支援装置、１１　環境情報取得部、１２　行動情報取得部、１３　演算部、１４　寄与情報判定部、１５　認知情報算出部、１６　特定部、１７　情報出力制御部、１８　機械学習モデル、１００１　処理回路、１００２　ＨＤＤ、１００３　入力インタフェース装置、１００４　出力インタフェース装置、１００５　ＣＰＵ、１００６　メモリ。

Claims (6)

  1. 　移動体周辺の環境に関する環境情報を取得する環境情報取得部と、
    　前記移動体の運転者の行動に関する行動情報を取得する行動情報取得部と、
    　前記環境情報取得部が取得した環境情報と、環境情報を入力とし前記移動体の自動運転制御を行うための制御情報を出力する機械学習モデルとに基づき、前記制御情報を得る演算部と、
    　前記環境情報取得部が取得した環境情報と、前記演算部が得た制御情報とに基づき、当該制御情報への寄与度が高い寄与情報を判定する寄与情報判定部と、
    　前記行動情報取得部が取得した行動情報と、前記環境情報取得部が取得した環境情報とに基づき、前記移動体周辺の環境における前記運転者の認知領域を示す認知情報を算出する認知情報算出部と、
    　前記寄与情報判定部が判定した寄与情報と、前記認知情報算出部が算出した認知情報とに基づき、前記運転者によって認知されていないと推定される未認知寄与情報を特定する特定部と、
    　前記特定部が特定した未認知寄与情報に基づき、運転支援に必要な運転支援情報を出力する情報出力制御部
    　とを備えた運転支援装置。
  2. 　前記機械学習モデルは、強化学習によって生成された前記機械学習モデルである
    　ことを特徴とする請求項１記載の運転支援装置。
  3. 　前記環境情報取得部が取得した環境情報が画像である場合、前記寄与情報判定部は、当該画像において、前記演算部が得た制御情報への前記寄与度が高い前記寄与情報を、当該画像上の領域であらわす
    　ことを特徴とする請求項１記載の運転支援装置。
  4. 　前記寄与情報判定部は、
    　前記寄与度に重み付けを行った上で、前記寄与情報を算出する
    　ことを特徴とする請求項１記載の運転支援装置。
  5. 　前記機械学習モデルは複数存在し、
    　前記演算部は、前記環境情報取得部が取得した環境情報に応じて異なる前記機械学習モデルを用いて前記制御情報を得る
    　ことを特徴とする請求項１記載の運転支援装置。
  6. 　環境情報取得部が、移動体周辺の環境に関する環境情報を取得するステップと、
    　行動情報取得部が、前記移動体の運転者の行動に関する行動情報を取得するステップと、
    　演算部が、前記環境情報取得部が取得した環境情報と、環境情報を入力とし前記移動体の自動運転制御を行うための制御情報を出力する機械学習モデルとに基づき、前記制御情報を得るステップと、
    　寄与情報判定部が、前記環境情報取得部が取得した環境情報と、前記演算部が得た制御情報とに基づき、当該制御情報への寄与度が高い寄与情報を判定するステップと、
    　認知情報算出部が、前記行動情報取得部が取得した行動情報と、前記環境情報取得部が取得した環境情報とに基づき、前記移動体周辺の環境における前記運転者の認知領域を示す認知情報を算出するステップと、
    　特定部が、前記寄与情報判定部が判定した寄与情報と、前記認知情報算出部が算出した認知情報とに基づき、前記運転者によって認知されていないと推定される未認知寄与情報を特定するステップと、
    　情報出力制御部が、前記特定部が特定した未認知寄与情報に基づき、運転支援に必要な運転支援情報を出力するステップ
    　とを備えた運転支援方法。
PCT/JP2019/047404 2019-12-04 2019-12-04 運転支援装置および運転支援方法 WO2021111544A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201980102627.9A CN114746924A (zh) 2019-12-04 2019-12-04 驾驶辅助装置及驾驶辅助方法
DE112019007936.0T DE112019007936T5 (de) 2019-12-04 2019-12-04 Fahrassistenzvorrichtung und Fahrassistenzverfahren
US17/777,662 US11912297B2 (en) 2019-12-04 2019-12-04 Driving assistance device and driving assist method
JP2021562250A JP7143538B2 (ja) 2019-12-04 2019-12-04 運転支援装置および運転支援方法
PCT/JP2019/047404 WO2021111544A1 (ja) 2019-12-04 2019-12-04 運転支援装置および運転支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/047404 WO2021111544A1 (ja) 2019-12-04 2019-12-04 運転支援装置および運転支援方法

Publications (1)

Publication Number Publication Date
WO2021111544A1 true WO2021111544A1 (ja) 2021-06-10

Family

ID=76222493

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/047404 WO2021111544A1 (ja) 2019-12-04 2019-12-04 運転支援装置および運転支援方法

Country Status (5)

Country Link
US (1) US11912297B2 (ja)
JP (1) JP7143538B2 (ja)
CN (1) CN114746924A (ja)
DE (1) DE112019007936T5 (ja)
WO (1) WO2021111544A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268475A (ja) * 2005-03-24 2006-10-05 Nippon Seiki Co Ltd 車両用運転支援装置及び車両用運転支援方法
JP2008021034A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
WO2011064831A1 (ja) * 2009-11-30 2011-06-03 富士通株式会社 診断装置及び診断方法
JP2013120574A (ja) * 2011-12-08 2013-06-17 Daimler Ag 車両用歩行者報知装置
JP2018097704A (ja) * 2016-12-15 2018-06-21 トヨタ自動車株式会社 車両用注意喚起装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5308373B2 (ja) * 2000-04-19 2013-10-09 東京電力株式会社 環境貢献評価システム
JP4211501B2 (ja) 2003-06-11 2009-01-21 日産自動車株式会社 車両用運転支援装置
CN102934150B (zh) * 2010-06-08 2015-07-22 丰田自动车株式会社 行驶模型生成装置及驾驶辅助装置
JP5573617B2 (ja) * 2010-11-12 2014-08-20 トヨタ自動車株式会社 危険度算出装置
GB2525656B (en) * 2014-05-01 2018-01-31 Jaguar Land Rover Ltd Control apparatus and related methods for addressing driver distraction
JP6761967B2 (ja) * 2015-04-21 2020-09-30 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム
JP2018013922A (ja) * 2016-07-20 2018-01-25 株式会社リコー 情報処理装置、情報処理プログラム及び情報処理方法
US10328946B2 (en) * 2017-01-03 2019-06-25 Ge Global Sourcing Llc Alerter augmentation system
CN109191318B (zh) * 2018-07-25 2022-03-22 北京科技大学 一种有效贡献激励信息传播的目标寻找方法及装置
US11535260B2 (en) * 2020-03-05 2022-12-27 Harman International Industries, Incorporated Attention-based notifications
US11718314B1 (en) * 2022-03-11 2023-08-08 Aptiv Technologies Limited Pedestrian alert system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268475A (ja) * 2005-03-24 2006-10-05 Nippon Seiki Co Ltd 車両用運転支援装置及び車両用運転支援方法
JP2008021034A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
WO2011064831A1 (ja) * 2009-11-30 2011-06-03 富士通株式会社 診断装置及び診断方法
JP2013120574A (ja) * 2011-12-08 2013-06-17 Daimler Ag 車両用歩行者報知装置
JP2018097704A (ja) * 2016-12-15 2018-06-21 トヨタ自動車株式会社 車両用注意喚起装置

Also Published As

Publication number Publication date
DE112019007936T5 (de) 2022-10-06
US20230025721A1 (en) 2023-01-26
JPWO2021111544A1 (ja) 2021-06-10
US11912297B2 (en) 2024-02-27
JP7143538B2 (ja) 2022-09-28
CN114746924A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
US10791979B2 (en) Apparatus and method to train autonomous driving model, and autonomous driving apparatus
CN107031622B (zh) 用于碰撞避免的训练算法
US10183679B2 (en) Apparatus, system and method for personalized settings for driver assistance systems
JP6648411B2 (ja) 処理装置、処理システム、処理プログラム及び処理方法
US10633007B1 (en) Autonomous driving assistance glasses that assist in autonomous driving by recognizing humans' status and driving environment through image analysis based on deep neural network
KR20210113435A (ko) 자율주행 차량들을 위한 통신들
WO2020079698A1 (en) Adas systems functionality testing
JP6418574B2 (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
US20210053586A1 (en) Systems and methods for improving visual scanning behavior associated with controlling a vehicle
CN114103946A (zh) 用于免提驾驶的动态停止时间阈值选择
CN117056153A (zh) 校准和验证驾驶员辅助系统和/或自动驾驶系统的方法、系统和计算机程序产品
CN115943440A (zh) 用于检测对物体识别系统的投影攻击的系统和方法
WO2021241260A1 (ja) 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム
CN113119984A (zh) 高级驾驶辅助系统和高级驾驶辅助方法
WO2021111544A1 (ja) 運転支援装置および運転支援方法
Weber et al. Approach for improved development of advanced driver assistance systems for future smart mobility concepts
US20220398463A1 (en) Ultrasonic system and method for reconfiguring a machine learning model used within a vehicle
JP6972444B1 (ja) 信頼度判定装置および信頼度判定方法
WO2022004448A1 (ja) 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム
US20220398414A1 (en) Ultrasonic system and method for tuning a machine learning classifier used within a machine learning algorithm
WO2021241261A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、学習方法
CN117242460A (zh) 不安全驾驶场景的计算机化检测
CN115390868A (zh) 自动驾驶系统感知的开发
JP7370495B2 (ja) 制御装置および制御方法
US20240013560A1 (en) Annotation of objects in image frames

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19955059

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021562250

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19955059

Country of ref document: EP

Kind code of ref document: A1