WO2024079956A1 - 運転支援装置、運転支援システム、及び運転支援方法 - Google Patents

運転支援装置、運転支援システム、及び運転支援方法 Download PDF

Info

Publication number
WO2024079956A1
WO2024079956A1 PCT/JP2023/025912 JP2023025912W WO2024079956A1 WO 2024079956 A1 WO2024079956 A1 WO 2024079956A1 JP 2023025912 W JP2023025912 W JP 2023025912W WO 2024079956 A1 WO2024079956 A1 WO 2024079956A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
driver
driving assistance
vehicle
attention
Prior art date
Application number
PCT/JP2023/025912
Other languages
English (en)
French (fr)
Inventor
嵩覚 關
恒一 江村
正隆 加藤
Original Assignee
パナソニックオートモーティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックオートモーティブシステムズ株式会社 filed Critical パナソニックオートモーティブシステムズ株式会社
Publication of WO2024079956A1 publication Critical patent/WO2024079956A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • This disclosure relates to a driving assistance device, a driving assistance system, and a driving assistance method.
  • Patent Document 1 discloses a method for estimating the driver's state of impaired attention function based on the driver's surroundings and the driver's gaze movements, and providing driving assistance.
  • Patent Document 2 discloses a method for calculating a visual recognition level that indicates the ease of visual recognition by the driver based on gaze direction information, driving environment information, driving skill information, etc., and controlling the display position of information presented to the driver.
  • Patent Documents 1 and 2 it is difficult to fully suppress traffic accidents and near misses caused by driver cognitive factors.
  • the present disclosure aims to provide a driving assistance device, driving assistance system, and driving assistance method that can grasp a state in which a driver has difficulty paying attention to an object that requires attention, even when the driver is in a perfect condition for driving and/or the traffic environment is easily recognizable, and can appropriately present information to the driver.
  • the driving assistance device disclosed herein includes a prediction error calculation unit that calculates a prediction error, which is the difference between a predicted image predicted from an image in the direction of travel of the vehicle captured by an exterior camera that captures the surroundings of the vehicle, and an actual image capturing the actual situation; an attention state estimation unit that estimates the driver's attention state based on the prediction error; and an output control unit that outputs driving assistance information that encourages a more appropriate attention state for driving at each moment and/or a behavioral change and/or a change in awareness regarding driving operations based on the attention state.
  • a prediction error calculation unit that calculates a prediction error, which is the difference between a predicted image predicted from an image in the direction of travel of the vehicle captured by an exterior camera that captures the surroundings of the vehicle, and an actual image capturing the actual situation
  • an attention state estimation unit that estimates the driver's attention state based on the prediction error
  • an output control unit that outputs driving assistance information that encourages a more appropriate attention state for driving at each moment and/or a behavioral change and/or
  • the driving assistance device, driving assistance system, and driving assistance method disclosed herein can identify situations in which a driver is finding it difficult to pay attention to objects that require attention during daily driving, even when the driver is in a perfect driving condition and/or the traffic environment is easily recognizable, and can present information that encourages a more appropriate state of attention for each driving situation and/or a behavioral change and/or a change in awareness regarding driving operations.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a vehicle according to a first embodiment.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the driving assistance device according to the first embodiment together with peripheral devices.
  • FIG. 3 is a schematic diagram showing a flow of an operation performed by the driving assistance device according to the first embodiment to calculate a prediction error.
  • FIG. 4 is a graph showing the correlation between the prediction error on which the driving assistance device according to the first embodiment relies and the direction in which the participants in the experiment directed their gaze.
  • FIG. 5 is a schematic diagram illustrating a flow of an information presentation operation of the driving assistance device according to the first embodiment.
  • FIG. 6 is a schematic diagram illustrating another example of information presentation by the driving assistance device according to the first embodiment.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a vehicle according to a first embodiment.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the driving assistance device according to the
  • FIG. 7 is a flowchart illustrating an example of a procedure of a driving assistance process performed by the driving assistance device according to the first embodiment.
  • FIG. 8 is a schematic diagram illustrating an example in which the driving assistance device according to the first modification of the first embodiment changes the number or amount of presented information.
  • FIG. 9 is a schematic diagram illustrating an example in which the driving assistance device according to the first modification of the first embodiment changes the type of presentation information.
  • FIG. 10 is a schematic diagram illustrating an example in which the driving assistance device according to the first modification of the first embodiment changes the type of presentation information.
  • FIG. 11 is a schematic diagram illustrating an example in which the driving assistance device according to the first modification of the first embodiment changes the position of the presentation information.
  • FIG. 8 is a schematic diagram illustrating an example in which the driving assistance device according to the first modification of the first embodiment changes the number or amount of presented information.
  • FIG. 9 is a schematic diagram illustrating an example in which the driving assistance device according to the first modification of the first embodiment changes the type of presentation
  • FIG. 12 is a schematic diagram illustrating an example of driving assistance information generated by a driving assistance device according to a second modification of the first embodiment when regions with large prediction errors are scattered in a time series.
  • FIG. 13 is a schematic diagram illustrating another example of information presentation in a case where the driving assistance device according to the second modification of the first embodiment presents information when the driver's attention state is biased.
  • FIG. 14 is a schematic diagram illustrating another example of information presentation in a case where the driving assistance device according to the second modification of the first embodiment presents information when the driver's attention state is biased.
  • FIG. 15 is a schematic diagram illustrating another example of information presentation in a case where the driving assistance device according to the second modification of the first embodiment presents information when the driver's attention state is biased.
  • FIG. 13 is a schematic diagram illustrating an example of driving assistance information generated by a driving assistance device according to a second modification of the first embodiment when regions with large prediction errors are scattered in a time series.
  • FIG. 13 is a schematic diagram illustrating another example of information presentation
  • FIG. 16 is a schematic diagram illustrating an example of driving assistance information generated by a driving assistance device according to the second modification of the first embodiment when an area with a large prediction error is localized in a time series.
  • FIG. 17 is a schematic diagram illustrating an example of driving assistance information generated by a driving assistance device according to the second modification of the first embodiment when areas with large prediction errors are ubiquitous in a time series.
  • FIG. 18 is a schematic diagram illustrating an example of driving assistance information generated by a driving assistance device according to the second modification of the first embodiment when an area with a large prediction error increases and decreases over time.
  • FIG. 19 is a schematic diagram illustrating an example of driving assistance information generated by a driving assistance device according to the second modification of the first embodiment in a case where an area with a large prediction error hardly occurs in a time series.
  • FIG. 20 is a schematic diagram showing another example of a presentation in a case where the driving assistance device according to the second modification of the first embodiment suppresses the absentminded driving of the driver.
  • FIG. 21 is a schematic diagram showing yet another presentation example in which the driving assistance device according to the second modification of the first embodiment suppresses the absentminded driving of the driver.
  • FIG. 22 is a schematic diagram illustrating an example in which a driving assistance device according to a third modification of the first embodiment divides an image into two and generates driving assistance information.
  • FIG. 20 is a schematic diagram showing another example of a presentation in a case where the driving assistance device according to the second modification of the first embodiment suppresses the absentminded driving of the driver.
  • FIG. 21 is a schematic diagram showing yet another presentation example in which the driving assistance device according to
  • FIG. 23 is a schematic diagram showing another example in which the driving assistance device according to the third modification of the first embodiment divides an image into two and generates driving assistance information.
  • FIG. 24 is a block diagram illustrating an example of a functional configuration of a driving assistance device according to Modification 4 of the first embodiment, together with peripheral devices.
  • FIG. 25 is a schematic diagram illustrating an example of information presentation by a driving assistance device according to a fourth modification of the first embodiment.
  • FIG. 26 is a block diagram illustrating an example of a functional configuration of a driving assistance device according to a fifth modification of the first embodiment, together with peripheral devices.
  • FIG. 27 is a schematic diagram illustrating an example of information presentation by a driving assistance device according to a fifth modification of the first embodiment.
  • FIG. 24 is a block diagram illustrating an example of a functional configuration of a driving assistance device according to Modification 4 of the first embodiment, together with peripheral devices.
  • FIG. 25 is a schematic diagram illustrating an example of information presentation by a driving assistance device according to
  • FIG. 28 is a schematic diagram illustrating another example of information presentation by the driving assistance device according to the fifth modification of the first embodiment.
  • FIG. 29 is a schematic diagram illustrating an example of the configuration of a meter display on which a driving assistance device according to a fifth modification of the first embodiment presents latent information.
  • FIG. 30 is a schematic diagram illustrating an example of presentation of latent information on a meter display by a driving assistance device according to a fifth modification of the first embodiment.
  • FIG. 31 is a schematic diagram illustrating an example in which presentation information generated by a driving assistance device according to a fifth modification of the first embodiment is divided and displayed on a HUD and a meter display.
  • FIG. 32 is a schematic diagram showing another example in which presentation information generated by the driving assistance device according to the fifth modification of the first embodiment is displayed in a divided manner on the HUD and the meter display.
  • FIG. 33 is a schematic diagram showing an example of the configuration of a pillar display on which a driving assistance device according to a fifth modification of the first embodiment presents latent information.
  • FIG. 34 is a schematic diagram showing an example of presentation of latent information on a pillar display by a driving assistance device according to a fifth modification of the first embodiment.
  • FIG. 35 is a schematic diagram illustrating an example in which presentation information generated by a driving assistance device according to a fifth modification of the first embodiment is divided and displayed on a HUD and a pillar display.
  • FIG. 36 is a schematic diagram showing another example in which presentation information generated by a driving assistance device according to the fifth modification of the first embodiment is divided and displayed on a HUD and a pillar display.
  • FIG. 37 is a schematic diagram illustrating an example in which presentation information generated by a driving assistance device according to a fifth modification of the first embodiment is divided and presented by a HUD and a speaker.
  • FIG. 38 is a schematic diagram showing another example in which presentation information generated by the driving assistance device according to the fifth modification of the first embodiment is displayed separately on the HUD and the speaker.
  • FIG. 39 is a schematic diagram illustrating an example of presentation of latent information in the peripheral region of the HUD by a driving assistance device according to a fifth modification of the first embodiment.
  • FIG. 37 is a schematic diagram illustrating an example in which presentation information generated by a driving assistance device according to a fifth modification of the first embodiment is divided and presented by a HUD and a speaker.
  • FIG. 38 is a schematic diagram showing another example in which presentation information generated by the driving
  • FIG. 40 is a schematic diagram illustrating an example of the configuration of an LED display on which a driving assistance device according to the fifth modification of the first embodiment presents latent information.
  • FIG. 41 is a schematic diagram illustrating an example of presentation of latent information on an LED display of a driving assistance device according to a fifth modification of the first embodiment.
  • FIG. 42 is a schematic diagram illustrating an example in which presentation information generated by a driving assistance device according to the fifth modification of the first embodiment is presented on an LED display by blinking an LED.
  • FIG. 43 is a schematic diagram illustrating an example in which presentation information generated by a driving assistance device according to the fifth modification of the first embodiment is presented on an LED display by lighting LEDs in multiple colors.
  • FIG. 41 is a schematic diagram illustrating an example of presentation of latent information on an LED display of a driving assistance device according to a fifth modification of the first embodiment.
  • FIG. 42 is a schematic diagram illustrating an example in which presentation information generated by a driving assistance device according to the fifth modification of the first embodiment is presented on an
  • FIG. 44 is a schematic diagram showing an example of the configuration of a mirror display on which a driving assistance device according to the fifth modification of the first embodiment presents latent information.
  • FIG. 45 is a schematic diagram showing an example of presentation of latent information on a mirror display by a driving assistance device according to a fifth modification of the first embodiment.
  • FIG. 46 is a block diagram illustrating an example of a functional configuration of a driving assistance device according to the sixth modification of the first embodiment, together with peripheral devices.
  • FIG. 47 is a schematic diagram illustrating an example of information presentation by a driving assistance device according to a sixth modification of the first embodiment.
  • FIG. 48 is a schematic diagram showing another example of information presentation by the driving assistance device according to the sixth modification of the first embodiment.
  • FIG. 49 is a schematic diagram showing yet another example of information presentation by the driving assistance device according to the sixth modification of the first embodiment.
  • FIG. 50 is a block diagram illustrating an example of a functional configuration of a driving assistance device according to the seventh modification of the first embodiment, together with peripheral devices.
  • FIG. 51 is a block diagram illustrating an example of the functional configuration of a driving assistance device according to the second embodiment together with peripheral devices.
  • FIG. 52 is a flowchart illustrating an example of a procedure of a driving assistance process performed by the driving assistance device according to the second embodiment.
  • FIG. 53 is a block diagram illustrating an example of the functional configuration of a driving assistance device according to the third embodiment together with peripheral devices.
  • FIG. 54 is a flowchart illustrating an example of a procedure of a driving assistance process performed by the driving assistance device according to the third embodiment.
  • Fig. 1 is a block diagram showing an example of a configuration of a vehicle 100 according to the first embodiment. Fig. 1 shows various on-board devices mounted on the vehicle 100.
  • the vehicle 100 of the first embodiment includes a driving assistance device 10, an electronic control unit (ECU: Electronic Control Unit) 20, an HMI (Human Machine Interface) control unit 30, a detection device 40, a vehicle control device 50, and an information presentation device 60.
  • ECU Electronic Control Unit
  • HMI Human Machine Interface
  • On-board devices in the vehicle 100 are connected to each other via an on-board network such as a Controller Area Network (CAN) so that they can exchange information with each other.
  • CAN Controller Area Network
  • the driving assistance device 10 is configured as a computer including, for example, a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a storage device 14, and an I/O (In/Out) port 15.
  • the driving assistance device 10 may be one of the ECUs mounted on the vehicle 100.
  • the CPU 11 controls the entire driving assistance device 10.
  • the ROM 12 functions as a storage area in the driving assistance device 10. Information stored in the ROM 12 is retained even when the driving assistance device 10 is turned off.
  • the RAM 13 functions as a primary storage device and serves as a working area for the CPU 11.
  • the CPU 11 deploys a control program stored in, for example, the ROM 12 into the RAM 13 and executes it to realize various functions of the driving assistance device 10, which will be described in detail below.
  • the storage device 14 is a hard disk drive (HDD), a solid state drive (SSD), etc., and functions as an auxiliary storage device for the CPU 11.
  • the I/O port 15 is configured to be capable of transmitting and receiving various information to, for example, the HMI control device 30 and an exterior camera 41 (described later), etc.
  • the driving assistance device 10 presents, via the HMI control device 30 and the information presentation device 60, information to the driver of the vehicle 100 that calls attention to at least a specific area in the direction of travel of the vehicle 100, thereby assisting the driver in driving the vehicle 100.
  • the ECU 20 is configured as a computer such as an on-board electronic unit equipped with, for example, a CPU, ROM, RAM, etc. (not shown).
  • the ECU 20 receives detection results from a detection device 40 that detects the state of each part of the vehicle 100.
  • the ECU 20 also transmits various commands to a vehicle control device 50 based on the received detection results, causing the vehicle 100 to be controlled in operation.
  • the HMI control device 30 which serves as an information presentation control device, is configured as a computer equipped with, for example, a CPU, ROM, RAM, etc. (not shown).
  • the HMI control device 30 may be equipped with a GPU (Graphics Processing Unit) instead of or in addition to the CPU.
  • the HMI control device 30 controls the information presentation device 60, which presents various information to the driver of the vehicle 100, to present various information output from the driving assistance device 10.
  • the detection device 40 includes an exterior camera 41, an interior camera 42, a vehicle speed sensor 43, an accelerator sensor 44, a brake sensor 45, and a steering angle sensor 46, and detects the state of each part of the vehicle 100 and transmits the state to the ECU 20.
  • the exterior camera 41 and interior camera 42 are digital cameras with built-in imaging elements such as a CCD (Charge Coupled Device) or a CIS (CMOS Image Sensor).
  • CCD Charge Coupled Device
  • CIS CMOS Image Sensor
  • the exterior camera 41 captures images of the surroundings of the vehicle 100.
  • the vehicle 100 may be equipped with multiple exterior cameras 41 that capture images of the front, rear, sides, etc. of the vehicle 100.
  • the exterior camera 41 transmits image data capturing at least the direction in which the vehicle 100 is traveling to the driving assistance device 10.
  • the interior camera 42 is mounted inside the vehicle 100 and captures images of the interior of the vehicle, such as the driver's face.
  • the vehicle speed sensor 43 detects the speed of the vehicle 100 from the amount of rotation of the wheels of the vehicle 100.
  • the accelerator sensor 44 detects the amount of accelerator pedal operation by the driver.
  • the brake sensor 45 detects the amount of brake pedal operation by the driver.
  • the steering angle sensor 46 detects the amount of steering wheel operation by the driver, i.e., the steering angle.
  • the vehicle control device 50 includes a brake actuator 51 and an engine controller 52, and causes the vehicle 100 to perform actions to avoid danger, such as slowing down the vehicle 100, in accordance with commands from the ECU 20.
  • the brake actuator 51 applies the brakes to the wheels of the vehicle 100 based on the detection results of the brake sensor 45 during normal driving.
  • the engine controller 52 controls the engine output based on the detection results of the accelerator sensor 44 during normal driving, and executes acceleration/deceleration control of the vehicle 100.
  • the vehicle control device 50 in accordance with a command from the ECU 20, for example controls the brake actuator 51 to apply the brakes to the vehicle 100, thereby preventing a collision between the vehicle 100 and an obstacle, etc.
  • the vehicle control device 50 uses the engine controller 52 to suppress the engine output, for example for several seconds, thereby preventing the acceleration of the vehicle 100, thereby preventing a collision between the vehicle 100 and an obstacle, etc.
  • the information presentation device 60 is equipped with a head-up display (HUD) 61, an in-vehicle monitor 62, a speaker 63, etc., inside the cabin of the vehicle 100, and presents various information to the driver according to commands from the HMI control device 30.
  • HUD head-up display
  • the HUD 61 projects information such as speed, gear shift position, driving directions, and warnings onto the windshield (windshield) in front of the driver's seat.
  • the in-vehicle monitor 62 is, for example, an in-dash monitor or an on-dash monitor configured as a liquid crystal display (LCD) or an organic electroluminescence (EL) display.
  • the in-vehicle monitor 62 displays images of the vehicle 100's surroundings, travel guidance, warnings, etc.
  • the speaker 63 is installed, for example, in the dashboard, and provides the driver with audio information about the vehicle 100's surroundings, driving directions, warnings, etc.
  • the information presentation device 60 presents various information to the driver through video, audio, and the like.
  • the information presentation device 60 may also be equipped with a display other than the above, such as a light-emitting diode (LED) display.
  • the information presentation device 60 may also be configured to present information to the driver through vibration, etc., using a vibrator provided on the steering wheel, accelerator pedal, brake pedal, seat, headrest, or seat belt, etc.
  • FIG. 2 is a block diagram showing an example of the functional configuration of the driving assistance device 10 according to the first embodiment, together with peripheral devices.
  • the driving assistance device 10 includes a prediction error calculation unit 110, a driver attention state estimation unit 120, and an output control unit 130 as functional components.
  • the prediction error calculation unit 110 generates a prediction image that predicts the future based on an image of the surroundings of the vehicle 100 captured by the exterior camera 41, for example, an image of the direction of travel of the vehicle 100.
  • the actual image at the time of the predicted image is obtained from the exterior camera 41, and the error between the predicted image and the actual image is calculated as a prediction error.
  • the functions of the prediction error calculation unit 110 are realized, for example, by the CPU 11 that executes a control program.
  • the driver attention state estimation unit 120 estimates the driver's attention state based on the prediction error calculated by the prediction error calculation unit 110. At this time, the driver attention state estimation unit 120 divides the image acquired from the exterior camera 41 into multiple areas and estimates how likely each area is to attract the driver's attention. This allows data indicating the driver's attention state for each individual area to be obtained.
  • driver attention state estimation unit 120 The functions of the driver attention state estimation unit 120 are realized, for example, by the CPU 11 that executes a control program.
  • the output control unit 130 determines which of the multiple areas in the image should be used to alert the driver, based on the driver's attention state estimated by the driver attention state estimation unit 120.
  • the output control unit 130 also outputs driving support information including information about the determined area for which the driver's attention should be alerted to the HMI control device 30.
  • the driving support information includes, for example, presentation information to be presented to the driver and the manner of presentation, etc., linked to the area for which the driver's attention should be alerted.
  • the functions of the output control unit 130 are realized, for example, by a CPU 11 that executes a control program, and an I/O port 15 that operates under the control of the CPU 11.
  • the HMI control device 30 selects a device to present information to the driver from among the HUD 61, the in-vehicle monitor 62, the speaker 63, etc., provided in the information presentation device 60 described above, based on the driving assistance information output from the driving assistance device 10, and transmits commands to the selected information presentation device 60, including the area in the image in which to present information and the mode of presentation, etc.
  • the information presentation device 60 presents information in a predetermined manner, for example, in an area that calls attention among multiple areas in an image. That is, when the HUD 61 or the in-vehicle monitor 62 of the information presentation device 60 is the information presentation target, the HUD 61 or the in-vehicle monitor 62 displays an image from the exterior camera 41 and displays the presented information superimposed on a predetermined area of the image. Also, when the speaker 63 of the information presentation device 60 is the information presentation target, the speaker 63 outputs audio such as an announcement or a warning sound inside the vehicle, warning the driver to pay attention to a predetermined area of the vehicle 100, such as the direction of travel of the vehicle 100.
  • FIG. 3 is a schematic diagram showing the flow of operations performed by the driving assistance device 10 according to the first embodiment to calculate a prediction error.
  • the prediction error calculation unit 110 of the driving assistance device 10 generates a prediction image based on the prediction model "PredNet.”
  • PredNet is a prediction model that mimics the predictive coding process in the cerebral cortex and is constructed, for example, within the framework of deep learning.
  • PredNet is described in detail in literature such as "Lotter, W., Kreiman, G., and Cox, D., "Deep predictive coding networks for video prediction and unsupervised learning", https://arxiv.org/abs/1605.08104".
  • the prediction error calculation unit 110 when the prediction error calculation unit 110 is supplied with multiple frames of images, such as 20 frames, captured by the exterior camera 41, it generates a predicted image corresponding to a future frame for the multiple frames of images based on the prediction model "PredNet.”
  • the prediction error calculation unit 110 generates a predicted image of a future frame at time t 0 based on the prediction model "PredNet.” Similarly, the prediction error calculation unit 110 generates a predicted image of a future frame at time t 1 from images from time t -19 to time t -0 . Similarly, the prediction error calculation unit 110 generates a predicted image of a future frame at time t 2 from images from time t -18 to time t -1 .
  • the prediction error calculation unit 110 generates prediction images of future frames for all images using images that are shifted in time by one frame at a time.
  • the number of image frames used to generate the prediction images may be any number of frames depending on the design, etc., such as 30 frames.
  • the prediction error calculation unit 110 uses the actual image captured by the exterior camera 41 at the time of the generated predicted image as the correct image, compares the generated predicted image with the correct image on a pixel-by-pixel basis, and generates a prediction error image based on the difference between each pixel value between the two.
  • FIG. 3 shows an example in which a prediction error image at time t 0 is generated based on the difference in each pixel value between a predicted image at time t 0 and an actual image at time t 0 which is a correct image.
  • the prediction error calculation unit 110 also calculates the value of each pixel in the prediction error image, and sets each of these as the value of the prediction error.
  • the prediction error calculation unit 110 also divides the entire image area of the generated prediction image into multiple areas, and calculates the sum or average value of the prediction error for each area.
  • values related to the prediction error such as the sum or average of the prediction errors for each individual area, serve as indicators of which areas are more likely to attract the driver's attention than other areas.
  • FIG. 4 is a graph showing the correlation between the prediction error relied upon by the driving assistance device 10 according to the first embodiment and the direction in which the participants in the experiment looked.
  • the horizontal axis of the graph shown in FIG. 4 is the percentage of randomly selected pixels in which the prediction error is equal to or greater than a threshold.
  • the vertical axis of the graph is the percentage of participants in which the prediction error is equal to or greater than a threshold.
  • the graph in FIG. 4 can be obtained as follows.
  • the prediction error value of the pixel in the direction the driver is looking at in the forward image seen by the driver while driving is obtained.
  • the prediction error value of pixels randomly extracted from the same image is also obtained.
  • the prediction error threshold is then changed from the minimum to maximum value, and the percentage of obtained prediction errors that are equal to or greater than the threshold is calculated.
  • the horizontal axis of the graph is the percentage of randomly selected pixels whose prediction error is above a threshold, and the vertical axis is the percentage of where the prediction error is above a threshold in the direction the participant directed their gaze, to obtain the graph shown in Figure 4. From this, the area under the curve (AUC: Area Under Curve) value shown in Figure 4 is used to evaluate the correlation between the prediction error and where the driver directed their gaze.
  • AUC Area Under Curve
  • the AUC value is greater than 0.5, there is a tendency for attention to be drawn to areas with large prediction errors. Similarly, if the AUC value is 0.5, there is no correlation between the two.
  • the driver attention state estimation unit 120 of the driving assistance device 10 is configured to estimate the driver's attention state based on the above evaluation. That is, the driver attention state estimation unit 120 estimates the area that is likely to attract the driver's attention based on the value or variance of the prediction error. More specifically, the driver attention state estimation unit 120 estimates, as the driver's attention state, a state in which the area that is likely to attract the driver's attention or the area that is unlikely to attract the driver's attention estimated from the prediction error is biased to the left or right of the center of the image, is too concentrated in one part, or is too dispersed overall. In this way, the driver attention state estimation unit 120 estimates the driver's attention state based not only on the level of the prediction error value or variance, but also on the spatial arrangement of the prediction error.
  • the driver attention state estimation unit 120 divides the entire image area of the image from the exterior camera 41 into multiple areas similar to the multiple areas of the predicted image, and estimates the driver's attention state in the multiple areas. In other words, for example, the larger the prediction error in a target area, the more likely that area is to attract the driver's attention. Furthermore, as described above, the driver attention state estimation unit 120 estimates the driver's attention state by adding the spatial arrangement of the prediction error to the criteria for determining the driver's attention state.
  • the output control unit 130 of the driving assistance device 10 determines the areas in which the driver's attention should be issued, etc., depending on the driver's state of attention in each area. In other words, if the driver's state of attention is estimated to be inappropriate, such as a bias in the driver's state of attention, based on the value of the prediction error or the variance value, etc., it is considered that there is an area in which the driver's attention is negligent. Therefore, the output control unit 130 extracts the area in which the driver's attention is estimated to be negligent as an area in which the driver's attention needs to be issued, or an area in which attention needs to be paid when the driver's attention is returned to the appropriate level.
  • areas where the driver is not paying sufficient attention and where the driver needs to be alerted or have their attention corrected may contain potential dangers that have not yet become apparent at that time.
  • an event that has already occurred such as a pedestrian running out onto the road
  • a situation in which the driver's attention is unconsciously drawn to a hedge on the left edge of the road, a vehicle parked on the road, or a bicycle parked on the sidewalk may hinder a quick reaction to a vehicle or the like appearing from the right side, and this could become a potential danger.
  • the driving assistance device 10 is capable of presenting the driver with information that indicates such potential dangers.
  • information notified to the driver by the driving assistance device 10 will also be referred to as potential information.
  • Figure 5 shows an example of the display of latent information on the HUD 61 and in-vehicle monitor 62 based on the above.
  • FIG. 5 is a schematic diagram showing the flow of the information presentation operation of the driving assistance device 10 according to the first embodiment.
  • FIGS. 5(Aa)-(Ab) are examples of displaying latent information on the HUD 61
  • FIGS. 5(Ba)-(Bb) are examples of displaying latent information on the in-vehicle monitor 62.
  • FIG. 5 shows an example in which information is presented on at least one of the HUD 61 and the in-vehicle monitor 62.
  • information may be presented in different ways on the HUD 61 and the in-vehicle monitor 62, and different information may be presented.
  • the display contents of the HUD 61 and the in-vehicle monitor 62 may be different.
  • the driver attention state estimation unit 120 divides the image from the exterior camera 41 into multiple regions, for example 5 x 5 vertical x 5 horizontal regions, totaling 25 regions, and estimates the driver's attention state based on the sum of the prediction error values in each region.
  • Figures 5 (Aa) and (Ba) do not show actual display examples of the HUD 61 and the in-vehicle monitor 62.
  • the driver attention state estimation unit 120 determines the value and variance of the prediction error based on one or more thresholds, and accordingly estimates whether the areas that are likely to attract the driver's attention or areas that are unlikely to attract the driver's attention are biased to the left or right of the center of the image, are too concentrated in one area, or are too dispersed throughout.
  • the prediction error is classified as low, medium, high, etc. according to how easily it attracts the driver's attention, and the bias, degree of concentration, or degree of dispersion of the driver's attention is associated with low, medium, high, etc.
  • the output control unit 130 determines the area in which to alert the driver based on the driver's attention state estimated by the driver attention state estimation unit 120.
  • the area on the right side of the image facing the area including a parent and child in the foreground on the left side and two people in the background on the left side, which are likely to attract the driver's attention and the area on the left side of the image facing the area including a person walking on the sidewalk in the foreground on the right side of the image, can be areas in which to alert the driver.
  • the output control unit 130 outputs to the HMI control device 30 the presentation information to be displayed in the area on the right side of the image corresponding to the area likely to attract the driver's attention, and the area on the left side of the image, and driving support information including the mode of presentation, etc.
  • the output control unit 130 may include in the mode of presentation information information on the strength of attention-calling of the presentation information to be displayed in each area based on the bias, degree of concentration, or degree of dispersion of the driver's attention estimated according to the value of the prediction error and the variance value, etc.
  • the HMI control device 30 displays information to be presented to the driver on the HUD 61 or the in-vehicle monitor 62 based on the driving assistance information output from the driving assistance device 10.
  • latent information 601-603 and an arrow 604 are displayed as presented information on the HUD 61 or the in-vehicle monitor 62.
  • the latent information 601-603 are, for example, circles indicating pedestrians, etc.
  • the arrow 604 points, for example, ahead of the vehicle 100, and indicates the traveling direction of the vehicle 100.
  • the size of the latent information 601 to 603, that is, the diameter of the circles, increases in sequence. This indicates that the driver's attentional bias, etc., inferred from the prediction error of the areas corresponding to the display areas of the latent information 601 to 603, increases in sequence.
  • the driver's attention is likely to be drawn to the area including a family on the foreground left side of the image, which corresponds to the area where latent information 601 indicating a person on the foreground right side of the image is displayed, and the driver's attention is unlikely to be drawn to the area including people on the foreground right side of the image, which corresponds to the area where latent information 603 indicating this family is displayed.
  • the driver's attention is moderately biased to the area in the back left side of the image, which corresponds to the area where latent information 602 indicating two people on the back left side of the image is displayed.
  • the latent information tail 501 indicating the person on the right side can be displayed relatively large, which can more strongly attract the driver's attention.
  • the driver's attention bias, etc. can be estimated according to the prediction error of each area, and the effect of directing the driver's attention can be adjusted by changing the size of the latent information 601-603 displayed in the area corresponding to such bias.
  • the output control unit 130 may adjust the effect of attracting the driver's attention by changing the brightness, color, etc. of the latent information 601-603 in place of or in addition to the size of the latent information 601-603 depending on the degree of bias, concentration, or dispersion of the driver's attention.
  • the arrow 604 indicating the traveling direction of the vehicle 100 can redirect the driver's attention, who tends to be distracted to the left and right of the traveling direction of the vehicle 100, back to the traveling direction of the vehicle 100.
  • FIG. 6 is a schematic diagram showing another example of information presentation by the driving assistance device 10 according to the first embodiment.
  • FIG. 6(a) is an example of latent information displayed on the HUD 61
  • FIG. 6(b) is an example of latent information displayed on the in-vehicle monitor 62.
  • the driving assistance device 10 causes the HUD 61 or in-vehicle monitor 62 via the HMI control device 30 to display latent information 602 indicating these people in the area corresponding to the area where the driver's attention was moderately biased, that is, the area including the two people in the back left side of the image.
  • the driving assistance device 10 can output driving assistance information including latent information 602 of a size according to the degree of the driver's attention bias to the HMI control device 30.
  • the output control unit 130 may also adjust the effect of attracting the driver's attention by changing the brightness, color, etc. of the latent information 601-603 in place of or in addition to the size of the latent information 601-603 depending on the bias of the driver's attention.
  • the driving assistance device 10 can hide the latent information when the vehicle 100 is traveling at a low speed, for example, or when the vehicle 100 is stopped. This makes it possible to prevent unnecessary information from being displayed and annoying the driver.
  • the driver's attention state includes not only cases in which attention is biased, but also the degree of concentration or dispersion of the driver's attention, and the driving assistance device 10 can comprehensively detect cases in which it is estimated that the driver's attention state is not appropriate.
  • the driving assistance device 10 may present information that has the effect of making the driver pay attention to the entire area around the vehicle 100 or the entire image. Also, if the driving assistance device 10 estimates, for example, based on the prediction error value and variance value, that the driver's attention is too scattered overall, the driving assistance device 10 may present information that has the effect of drawing the driver's attention back to the traveling direction of the vehicle 100 or the center of the image.
  • the driving assistance device 10 of embodiment 1 presents information to draw the driver's attention in an area corresponding to such an area.
  • the volume of announcements, warning sounds, etc. can be adjusted to present information to the driver at an intensity that corresponds to the degree of the driver's attention being biased, concentrated, or scattered.
  • the intensity of the vibration can be adjusted to present information to the driver at an intensity that corresponds to the degree of the driver's attention being biased, concentrated, or scattered.
  • Fig. 7 is a flow diagram showing an example of the procedure of the driving assistance process performed by the driving assistance device 10 according to the first embodiment.
  • the prediction error calculation unit 110 of the driving assistance device 10 generates a prediction image corresponding to each of a plurality of images based on the images, and divides the prediction image into a plurality of regions (step S110). In addition, the prediction error calculation unit 110 calculates values related to the prediction error, such as the sum or average of the prediction errors for each of the plurality of regions, that can be used to estimate the driver's attention state (step S120).
  • the driver attention state estimation unit 120 similarly divides the image captured by the exterior camera 41 into multiple regions, and determines whether the degree to which the driver's attention state is not appropriate in a specified region is greater than the threshold value TH1 based on the above value related to the prediction error (step S130).
  • step S130 If the prediction error is greater than the threshold value TH1 (step S130: Yes), the driver attention state estimation unit 120 estimates that the driver's attention to that area is biased, too concentrated, or too scattered, and that the degree of the attention state is inappropriate (step S132).
  • the output control unit 130 extracts an area corresponding to that area, and selects mode ST1 having a strong attention-calling intensity as the mode of presentation information to be displayed in the extracted area (step S133).
  • the driver attention state estimation unit 120 determines whether the degree to which the driver's attention state is not appropriate in that area is greater than the threshold value TH2 based on the above value related to the prediction error (step S140).
  • the threshold value TH2 is set to a value smaller than the threshold value TH1.
  • step S140 If the prediction error is greater than the threshold value TH2 (step S140: Yes), the driver attention state estimation unit 120 estimates that the degree to which the driver's attention state for that area is inappropriate is moderate (step S142).
  • the output control unit 130 extracts an area corresponding to that area, and selects mode ST2, which has a moderate attention-calling intensity, as the mode of presentation information to be displayed in the extracted area (step S143).
  • the driver attention state estimation unit 120 determines whether the degree to which the driver's attention state is not appropriate in that area is greater than the threshold value TH3 based on the above value related to the prediction error (step S150).
  • the threshold value TH3 is set to a value even smaller than the threshold value TH2.
  • step S150 If the prediction error is greater than the threshold value TH3 (step S150: Yes), the driver attention state estimation unit 120 estimates that the degree to which the driver's attention state for that area is inappropriate is low (step S152).
  • the output control unit 130 extracts an area corresponding to that area, and selects mode ST3, which has a low level of attention-calling intensity, as the mode of presentation information to be displayed in the extracted area (step S153).
  • step S150 the driver attention state estimation unit 120 determines that the driver's attention state is not inappropriate between that area and the area opposite to that area to the extent that it would cause problems in driving the vehicle 100, and proceeds to processing in step S160.
  • the driving assistance device 10 determines whether or not processing has been completed for all divided areas (step S160). If there are unprocessed areas (step S160: No), the driving assistance device 10 repeats the processing from step S120. If processing has been completed for all areas (step S160: Yes), the output control unit 130 outputs the generated driving assistance information to the HMI control device 30 (step S170).
  • the driver's attention state is estimated for each of multiple areas in the image based on a prediction error, which is the difference between a predicted image predicted from an image of the vehicle 100 in the direction of travel captured by the exterior camera 41, and an actual image capturing the actual situation, and driving assistance information including information regarding an area among the multiple areas in the image where the driver's attention should be called, based on the estimated attention state, is output.
  • a prediction error which is the difference between a predicted image predicted from an image of the vehicle 100 in the direction of travel captured by the exterior camera 41, and an actual image capturing the actual situation
  • driving assistance information including information regarding an area among the multiple areas in the image where the driver's attention should be called, based on the estimated attention state
  • regions in which the prediction error is greater than a predetermined threshold are extracted, and at least one of the following states is estimated: whether the extracted region is biased from the center of the multiple regions, whether it is too concentrated in one part, or whether it is too dispersed throughout. Furthermore, if it is estimated that the driver's attention state corresponds to any of the above, an area corresponding to the extracted region is extracted as an area for calling the driver's attention. In this way, an area corresponding to an area in which the driver's attention state is highly inappropriate can be extracted as an area in which the driver is likely to make a cognitive error.
  • information such as latent information 601-603 and arrow 604 to be presented to the driver, linked to the area where the driver's attention is to be called, is output to the HMI control device 30, and the information presentation device 60 presents the latent information 601-603 and arrow 604, linked to the area where the driver's attention is to be called.
  • This allows the driver to pay close attention to areas where the driver is likely to neglect attention and make cognitive errors.
  • the larger the area in which the driver's attention is called, the higher the degree of inappropriateness of the driver's attention state, and the more information such as latent information 601-603 with a higher intensity of the driver's attention call or with a high effect of guiding the driver's attention to an appropriate state is output.
  • the driving support device according to the first modified example differs from the first embodiment in that the number, amount, position, type, etc. of information presented by the information presentation device 60 are changed.
  • FIG. 8 is a schematic diagram showing an example in which a driving assistance device according to Variation 1 of Embodiment 1 changes the number or amount of presented information.
  • the driving assistance device of variant 1 displays on the HUD 61 or in-vehicle monitor 62 only latent information 603 based on the greatest degree of inappropriateness of the latent information 601-603 based on the degree of inappropriateness of the driver's attention state, which is separated, for example, by multiple thresholds TH1-TH3.
  • FIGS. 9 and 10 are schematic diagrams showing an example in which the driving assistance device according to Variation 1 of Embodiment 1 changes the type of presented information.
  • the driving assistance device of variant 1 displays a message 614 on the HUD 61 or in-vehicle monitor 62 to alert the driver, such as "Slow down," instead of an arrow 604 indicating the vehicle's traveling direction.
  • the driving assistance device of the first modification may output, from the speaker 63, an announcement 624 to call attention, such as "Slow down," instead of an arrow 604 indicating the traveling direction of the vehicle.
  • the presented information output from the speaker 63 may be a warning sound, etc.
  • Figures 9 and 10 present a type of presentation information different from the latent information 601-603, which makes it easier to ensure that the driver's attention is directed to each piece of information. Also, depending on the content of the attention alert, the information can be presented to the driver in the form of linguistic information such as a message 614 or announcement 624, allowing the driver to more accurately grasp the information.
  • FIG. 11 is a schematic diagram showing an example in which a driving assistance device according to Variation 1 of Embodiment 1 changes the position of presented information.
  • the driving assistance device of variant 1 extracts multiple areas in which the driver's attention state is highly inappropriate.
  • the driving assistance device of variant 1 determines the ease of recognition by the driver based on the extracted areas, and prioritizes the presentation of information in areas that are more difficult for the driver to recognize and where recognition errors are more likely to occur.
  • the ease of recognition by the driver may be preset, for example, for each area of the image divided into multiple parts.
  • the ease of recognition by the driver may be appropriately determined by the driving assistance device of variant 1 according to the road conditions in the direction of travel of the vehicle as understood from the image at that time.
  • the driving assistance device of variant 1 determines that, of the multiple extracted areas, the area including a person in the foreground on the right side, which faces the area including a family, is the area that is more difficult for the driver to recognize, and displays latent information 612 indicating the person in the foreground on the right side.
  • the driving assistance device of variant 1 determines that, of the multiple extracted areas, an area including a family on the foreground left side, and two people on the background left side, which faces an area including a person on the foreground right side, is an area that is more difficult for the driver to recognize, and displays latent information 612 indicating the family and people.
  • the driving assistance device of Modification 1 achieves the same effects as the driving assistance device 10 of the above-mentioned embodiment 1.
  • the driving assistance device according to the second modification differs from the first embodiment in that it generates driving assistance information based on time-series data.
  • FIG. 12 is a schematic diagram showing an example of driving assistance information generated by a driving assistance device according to a second modification of the first embodiment when areas that attract a large degree of attention of the driver are scattered in a time series.
  • FIGS. 12(Aa) to 12(Ac) show time-series data that the driving assistance device of variant 2 refers to when generating driving assistance information.
  • FIGS. 12(Aa) to 12(Ac) areas that are estimated to be highly likely to attract the driver's attention are hatched. However, this does not mean that the images shown in FIGS. 12(Aa) to 12(Ac) are actually displayed on the HUD 61, etc.
  • the driving assistance device of Modification 2 extracts an area on the left side of the image that is likely to attract the driver's attention.
  • the driving assistance device of Modification 2 extracts an area on the right side of the image that is likely to attract the driver's attention.
  • the driving assistance device of Modification 2 extracts an area on the front right side of the image that is likely to attract the driver's attention.
  • FIGS. 12(Ba) to 12(Bc) show how the driving assistance device of variant 2 generates driving assistance information based on time-series data. That is, FIG. 12(Ba) to FIG. 12(Bc) show processing that is performed at the same time as the images shown in FIG. 12(Aa) to FIG. 12(Ac).
  • the driving assistance device of variant 2 displays latent information 622 in the right-hand area corresponding to the area extracted on the left side of the image that is likely to attract attention, in accordance with the display timing of the image in FIG. 12 (Aa).
  • the driving assistance device of variant 2 displays latent information 622 in the left-hand area corresponding to the area extracted on the right-hand side of the image that is likely to attract attention, in accordance with the display timing of the image in FIG. 12 (Ab).
  • the driving assistance device of variant 2 displays latent information 622 in an area on the left side of the image, corresponding to an area extracted on the right side of the image that is likely to attract attention, in accordance with the display timing of the image in FIG. 12 (Ac).
  • the driving assistance device of variant 2 When areas that attract a large amount of the driver's attention are scattered over time, the driving assistance device of variant 2 appropriately presents information in areas that correspond to these areas, as described above.
  • Fig. 12 (Ba) to Fig. 12 (Bc) if the driver's attention state is biased in the area on the image, for example, latent information 622 is displayed. However, if the driver's attention state is biased, information other than the above may also be presented.
  • FIGS. 13 to 15 are schematic diagrams showing other examples of information presentation by the driving assistance device according to Variation 2 of Embodiment 1 when the driver's attention state is biased.
  • the driving assistance device of variant 2 extracts an area in the front right side of the image that is likely to attract the driver's attention.
  • the driving assistance device of variant 2 may display a triangular icon 622a pointing to an area extracted on the right side of the image and having a high degree of attracting attention, instead of latent information 622, in a region on the left side of the image that faces the area, in synchronization with the display timing of the image in FIG. 13(a).
  • the presented information pointing to the area may be of another shape or form, such as an arrow.
  • the driving assistance device of variant 2 extracts an area in the front left side of the image that is likely to attract the driver's attention.
  • the driving assistance device of variant 2 may display a straight line 622b extending from the front left and right sides of the center of the screen to the back, instead of the latent information 622, in accordance with the display timing of the image in FIG. 14 (Aa).
  • the information presented may be in a shape or form other than line 622b.
  • the driving assistance device of variant 2 extracts an area in the front left side of the image that is likely to attract the driver's attention.
  • the driving assistance device of the second modification may output, from the speaker 63, an announcement 622d that calls attention, such as "Pay attention to the right side as well," in place of the latent information 622, in accordance with the display timing of the image in FIG. 15(a).
  • the presented information output from the speaker 63 may be a warning sound, etc.
  • FIG. 16 is a schematic diagram showing an example of driving assistance information generated by a driving assistance device according to a second modification of the first embodiment when an area that attracts the driver's attention is localized in a time series.
  • FIGS. 16(a) to 16(d) show time-series data that the driving assistance device of variant 2 refers to when generating driving assistance information.
  • FIGS. 16(a) to 16(d) areas that are estimated to be highly likely to attract the driver's attention are hatched. However, this does not mean that the images shown in FIGS. 16(a) to 16(d) are actually displayed on the HUD 61, etc.
  • the driving assistance device of Modification 2 extracts an area in the front left side of the image that is likely to attract the driver's attention.
  • the driving assistance device of Modification 2 extracts an area in the front center left side of the image that is likely to attract the driver's attention.
  • the driving assistance device of Modification 2 extracts an area in the front center left side of the image that is likely to attract the driver's attention.
  • the driving assistance device of Modification 2 extracts an area in the left side of the image that is likely to attract the driver's attention.
  • FIG. 16(e) shows how the driving assistance device of variant 2 generates driving assistance information based on time-series data.
  • FIG. 16(e) shows the processing that is performed after the images shown in FIGS. 16(a) to 16(d) are acquired.
  • the driving assistance device of variant 2 displays latent information 632 in an area to the right of an area that is extracted biased toward the left side of the image and that is likely to attract a lot of attention, based on the images of FIG. 16(a) to FIG. 16(d).
  • the driving assistance device of variant 2 can present information such as latent information 632 in an area corresponding to the area that attracts the driver's attention in time series, rather than switching the information presentation position one after another at the same timing as the images shown in Figures 16(a) to 16(d).
  • FIG. 17 is a schematic diagram showing an example of driving assistance information generated by a driving assistance device according to a second modification of the first embodiment when areas that attract a large degree of attention of the driver are ubiquitous in a time series.
  • Figures 17(a) to 17(d) show time-series data that the driving assistance device of variant 2 refers to when generating driving assistance information.
  • areas that are estimated to be highly likely to attract the driver's attention are hatched. However, this does not mean that the images shown in Figures 17(a) to 17(d) are actually displayed on the HUD 61, etc.
  • the driving assistance device of Modification 2 extracts an area with a large v in the front right side of the image.
  • the driving assistance device of Modification 2 extracts an area toward the center of the left side of the image that is likely to attract the driver's attention.
  • the driving assistance device of Modification 2 extracts an area in the front left side of the image that is likely to attract the driver's attention.
  • the driving assistance device of Modification 2 extracts an area in the back right side of the image that is likely to attract the driver's attention.
  • FIG. 17(e) shows how the driving assistance device of variant 2 generates driving assistance information based on time-series data.
  • FIG. 17(e) shows the processing that is performed after the images shown in FIGS. 17(a) to 17(d) are acquired.
  • the driving assistance device of variant 2 determines, based on the images in FIG. 17(a) to FIG. 17(d), that it is not necessary for the HUD 61 to display presented information such as latent information 622.
  • the driving assistance device of variant 2 can assume that the driver is paying attention to the entire area ahead of the vehicle and can deliberately refrain from presenting information such as latent information 622.
  • FIG. 18 is a schematic diagram showing an example of driving assistance information generated by a driving assistance device according to Variation 2 of Embodiment 1 when an area that attracts the driver's attention increases or decreases over time.
  • FIGS. 18(a) to 18(d) show time-series data that the driving assistance device of variant 2 refers to when generating driving assistance information.
  • FIGS. 18(a) to 18(d) areas that are estimated to be highly likely to attract the driver's attention are hatched. However, this does not mean that the images shown in FIGS. 18(a) to 18(d) are actually displayed on the HUD 61, etc.
  • the driving assistance device of Modification 2 extracts one area near the center of the left side of the image that attracts the driver's attention.
  • the driving assistance device of Modification 2 extracts two areas further toward the center of the left side of the image that attract the driver's attention.
  • the driving assistance device of Modification 2 extracts three areas near the front left side of the image that attract the driver's attention.
  • the driving assistance device of Modification 2 extracts five areas near the front center of the left side of the image that attract the driver's attention.
  • FIG. 18(e) shows how the driving assistance device of variant 2 generates driving assistance information based on time-series data.
  • FIG. 18(e) shows the processing that is performed after the images shown in FIGS. 18(a) to 18(d) are acquired.
  • the driving assistance device of variant 2 does not display latent information 622, etc., in a specific area of the image based on the images of FIG. 18(a) to FIG. 18(d), but instead displays a message 642 indicating that the driver's cognitive load is increasing, such as "Please slow down," on the HUD 61.
  • the presentation of information indicating that the driver's cognitive load is increasing may be made, for example, by an announcement from the speaker 63.
  • the driving assistance device of variant 2 can detect that the driver's cognitive load is increasing and present information that reduces the driver's cognitive load, rather than presenting information linked to a specific area of the image.
  • FIG. 19 is a schematic diagram showing an example of driving assistance information generated by a driving assistance device according to variant 2 of embodiment 1 when areas that attract a large degree of driver attention rarely occur in a time series.
  • FIGS. 19(A) to 19(D) show time-series data that the driving assistance device of variant 2 refers to when generating driving assistance information.
  • hatching is applied to areas that are likely to attract the driver's attention and are estimated to have a high degree of inappropriateness of the driver's attention state.
  • this does not mean that the images shown in FIGS. 19(A) to 19(D) are actually displayed on the HUD 61, etc.
  • no area is extracted where the degree of inappropriateness of the driver's attention state exceeds a predetermined threshold.
  • no area is extracted where the degree of inappropriateness of the driver's attention state exceeds a predetermined threshold.
  • the driving assistance device of variant 2 extracts an area in the front right side of the image where the degree of inappropriateness of the driver's attention state is large.
  • the state in which no area is extracted where the degree of inappropriateness of the driver's attention state exceeds a predetermined threshold is repeated.
  • FIG. 19(Ea) shows how the driving assistance device of variant 2 generates driving assistance information based on time-series data.
  • FIG. 19(Ea) shows the processing that is performed after the images shown in FIG. 19(A) to FIG. 19(D) are acquired.
  • the driving assistance device of variant 2 does not display latent information 622, etc., in a specific area of the image based on the images of FIG. 19 (A) to FIG. 19 (D), but instead displays a message 642a on the HUD 61 indicating that the driver is not paying attention to the entire area ahead of the vehicle, such as "Pay attention to what's ahead.”
  • the presentation of information indicating that the driver is not paying attention to the entire area ahead of the vehicle may be made, for example, by an announcement from the speaker 63.
  • FIG. 19(Eb) is another example showing how the driving assistance device of variant 2 generates driving assistance information based on time-series data.
  • FIG. 19(Eb) also shows an example of processing that is performed at a timing after the images shown in FIGS. 19(A) to 19(D) are acquired.
  • the driving assistance device of the second modification may display, based on the images of FIG. 19 (A) to FIG. 19 (D), a straight line 642b extending from the near side to the far side of the center of the screen, instead of displaying a message 642a such as "Pay attention to what's ahead.” This can alert the driver to what is ahead of the vehicle, similar to the example shown in FIG. 14 (Ba) and (Bb) above.
  • the driving assistance device of variant 2 can determine that the driver is not paying attention to the entire area ahead of the vehicle and can present information to discourage the driver from driving aimlessly.
  • presentation information for preventing the driver from mindless driving is not limited to the example in FIG. 19, and may be presented in a manner different from that described above.
  • FIG. 20 is a schematic diagram showing another example of a presentation when the driving assistance device according to the second modification of the first embodiment suppresses the driver from mindless driving.
  • Figure 20(a) shows only the state of Figure 19(C) from the time series data shown in Figures 19(A) to 19(D) above.
  • the driving assistance device of variant 2 detects, based on time-series data including FIG. 20(a), that the driver is in a state where he or she is prone to careless driving, and displays a message 642c on the HUD 61 that advises the driver to "drive in a way that may cause a problem," such as "drive slowly.”
  • Driving with the possibility of danger means driving with a high level of safety awareness and anticipating dangerous situations. For example, when approaching a pedestrian crossing, you would prepare for danger by predicting that "a pedestrian may jump out in front of you," or when turning right at an intersection, you would prepare for danger by predicting that "an oncoming vehicle may speed up.” These are examples of “driving with the possibility of danger.”
  • FIG. 21 is a schematic diagram showing yet another example of a presentation in which the driving assistance device according to the second modification of the first embodiment suppresses the driver from mindless driving.
  • FIG. 21(a) also shows only the state of FIG. 19(C) out of the time series data shown in FIG. 19(A) to FIG. 19(D) above.
  • the driving assistance device of variant 2 detects, based on time-series data including FIG. 20(a), that the driver is in a state where he or she is prone to careless driving, and, for example, if the driver is driving slowly, displays a message 642d on the HUD 61 praising the "possible driving,” such as "You are driving slowly appropriately.”
  • Such "possible driving" by the driver can be detected, for example, by the driving assistance device of variant 2 by acquiring the detection results of detection devices 40 (see FIG. 1), such as a vehicle speed sensor 43, an accelerator sensor 44, a brake sensor 45, and a steering angle sensor 46, directly or via the above-mentioned ECU 20 (see FIG. 1).
  • detection devices 40 such as a vehicle speed sensor 43, an accelerator sensor 44, a brake sensor 45, and a steering angle sensor 46, directly or via the above-mentioned ECU 20 (see FIG. 1).
  • the driving assistance device of Modification 2 can detect, for example, from the detection results of the vehicle speed sensor 43, the accelerator sensor 44, and the brake sensor 45, that the driver is decelerating the vehicle and driving slowly.
  • the driving assistance device of Modification 2 can detect, for example, from the detection results of the steering angle sensor 46, etc., that the driver is appropriately steering the vehicle.
  • information praising the driver's "potential driving” may be presented, for example, by an announcement from the speaker 63.
  • the driver By presenting information praising the driver for their "potential driving,” the driver is able to recognize that the vehicle's current driving operation is correct, and is motivated to continue to drive the vehicle while maintaining a high level of safety awareness.
  • the driving assistance device of Modification 2 may also present the various information shown in the above-mentioned Figures 12 to 21 on the in-vehicle monitor 62.
  • the driving assistance device of variant 2 can return the driver's effective visual field VF to an appropriate position as in the examples of Figures 14 and 15 described above, reduce the driver's cognitive load as in the example of Figure 18, suppress the driver's mindless driving as in the example of Figure 19, or encourage "what if driving" as in the example of Figure 20 or Figure 21, and can encourage at least one of a more appropriate state of attention and a change in behavior and awareness regarding driving operations based on the driver's state of attention at each moment.
  • the attention state estimated by the attention state estimation unit can unconsciously change visual behavior by correcting the bias when it is biased, dispersing it when it is too concentrated in one area, and concentrating it when it is too dispersed all over the body, and can change or establish driving behavior such as slowing down to create enough time to give the necessary attention.
  • the driving assistance device of Modification 2 achieves the same effects as the driving assistance device 10 of the above-mentioned embodiment 1.
  • a driving support device according to a third modification of the first embodiment will be described with reference to Fig. 22 and Fig. 23.
  • the driving support device according to the third modification differs from the first embodiment in that the image is divided into a different number of divisions.
  • FIG. 22 is a schematic diagram showing an example in which a driving assistance device according to variant 3 of embodiment 1 divides an image into two and generates driving assistance information.
  • the driving support device of variant 3 divides an image captured in the direction of travel of the vehicle into two, left and right, and calculates whether the degree of inappropriateness of the driver's attention state exceeds a predetermined threshold for each of the left and right regions. If the difference in the degree of inappropriateness of the attention state in either region exceeds the predetermined threshold, the driving support device of variant 3 displays latent information 652a in the entire region opposite that region.
  • the degree of inappropriateness of the driver's attention state exceeds a predetermined threshold in the left region of the region divided into left and right, and the driving support device of variant 3 displays latent information 652a in the entire right region opposite the left region.
  • the driving support device of variant 3 may adjust the strength of the driver's attention alert by, for example, changing the brightness, color, etc. of the latent information 652a depending on the level of inappropriateness of the driver's attention state.
  • FIG. 23 is a schematic diagram showing another example in which a driving assistance device according to variant 3 of embodiment 1 divides an image into two and generates driving assistance information.
  • the driving support device of variant 3 also divides the image captured in the direction of travel of the vehicle into two, left and right, and calculates whether the degree of inappropriateness of the driver's attention state exceeds a predetermined threshold for each of the left and right regions. If the degree of inappropriateness of the attention state in either region exceeds the predetermined threshold, the driving support device of variant 3 displays latent information 652b in part of the region opposite that region, but not in the entirety of it.
  • the degree of inappropriateness of the driver's attention state exceeds a predetermined threshold in the left region of the region divided into left and right
  • the driving assistance device of variant 3 displays latent information 652b in a presentation area in a rectangular area at the bottom of the windshield along the dashboard at the bottom end of the right region opposite the left region.
  • the driving assistance device of variant 3 may adjust the strength of the driver's attention alert by, for example, changing the length, thickness, brightness, color, etc. of the latent information 652b depending on the level of inappropriateness of the driver's attention state.
  • the driving assistance device of variant 3 may display latent information 652a, 652b in the region corresponding to the region where the degree of inappropriateness of the driver's attention state is greater.
  • the information presented to the driver can be simplified, preventing the driver's attention from being distracted and providing the driver with more appropriate information.
  • the driving assistance device of variant 3 also provides the same effects as the driving assistance device 10 of embodiment 1 described above.
  • an example was shown in which an image is divided into two. Also, in the above-mentioned embodiment 1, an example was shown in which an image is divided into a total of 25 regions, 5 x 5 in length and width.
  • the image division example is not limited to this, and the image can be divided into various numbers and arrangements. For example, the image may be divided by pixel. In this case, the image will be divided into 160 x 120 or 1920 x 1080 in length and width, etc.
  • a driving assistance device 10a according to a fourth modification of the first embodiment will be described with reference to Fig. 24 and Fig. 25.
  • the driving assistance device 10a according to the fourth modification is different from the first embodiment in that the driving assistance device 10a outputs driving assistance information to the ECU 20.
  • FIG. 24 is a block diagram showing an example of the functional configuration of a driving assistance device 10a according to Variation 4 of Embodiment 1, together with peripheral devices.
  • a vehicle 101 of the fourth modification is equipped with a driving assistance device 10a of the fourth modification, instead of the driving assistance device 10 of the first embodiment described above.
  • the driving assistance device 10a includes an output control unit 130a that outputs driving assistance information to the ECU 20, instead of the output control unit 130 of the first embodiment described above.
  • the output control unit 130a generates driving assistance information linked to an area where the driver's attention is to be called.
  • the driving assistance information includes, for example, operation information instructing the operation of the vehicle 101, and the degree of operation determined based on the level of inappropriateness of the driver's attention state, which are linked to the area where the attention is to be called.
  • the operation instructions for the vehicle 101 included in the driving assistance information include, for example, at least one of an instruction to brake the vehicle 101 and an instruction to suppress the acceleration of the vehicle 101.
  • the degree of the operation included in the driving assistance information may be, for example, the degree of deceleration effect of the vehicle 101.
  • the output control unit 130a can output driving assistance information including operation information that has a greater deceleration effect on the vehicle 101 when the area in which the driver's attention is to be alerted is based on a greater degree of inappropriateness of the driver's attention state.
  • the ECU 20 which serves as an on-board electronic unit, causes at least one of the brake actuator 51 and the engine controller 52 (see FIG. 1) provided in the vehicle control device 50 described above to perform an operation to decelerate the vehicle 101 based on the driving assistance information output from the driving assistance device 10a to the ECU 20.
  • the ECU 20 applies the brakes to the vehicle 101, for example, by using a brake actuator 51 as a braking device. Also, instead of or in addition to the braking operation of the vehicle 101 by the brake actuator 51, the ECU 20 suppresses the acceleration of the vehicle 101 by using an engine controller 52 as an engine control device.
  • the vehicle 101 can be made to take action to avoid danger that may exist in that area.
  • the vehicle 101 can be slowed down to avoid contact with the pedestrian.
  • the output control unit 130a also generates driving support information that is linked to an area where the driver's attention is to be drawn and output to the HMI control device 30 (see FIG. 1).
  • the driving support information output to the HMI control device 30 includes, for example, presentation information that informs the driver of the operation that the vehicle 101 has performed, which is linked to the area where the attention is to be drawn.
  • the HMI control device 30 causes the information presentation device 60 (see FIG. 1) to present information to inform the driver that the vehicle 101 has performed the above-mentioned avoidance operation based on the driving assistance information output from the driving assistance device 10a.
  • FIG. 25 is a schematic diagram showing an example of information presentation by the driving assistance device 10a according to the fourth modification of the first embodiment.
  • the driving assistance device 10a of variant 4 when the driving assistance device 10a of variant 4 causes the vehicle 101 to perform the above-mentioned avoidance action, it outputs the above-mentioned driving assistance information to the HMI control device 30, and displays a message 634 indicating that deceleration control of the vehicle 101 has been performed, such as "Slowed down," on the HUD 61 or the in-vehicle monitor 62.
  • the information indicating that deceleration control of the vehicle 101 has been performed may be presented, for example, by an announcement from the speaker 63.
  • the driving assistance device 10a causes the vehicle 101 to perform an avoidance operation, it is possible to prevent the driver from mistaking the unintended vehicle deceleration control for a vehicle malfunction, etc.
  • operation information that is linked to an area where the driver's attention is to be drawn and that instructs the operation of the vehicle 101 is output to the ECU 20 that controls the vehicle 101.
  • the ECU 20 causes the brake actuator 51 that decelerates the vehicle, the engine controller 52, and the like to perform operations based on the operation information output from the driving assistance device 10a. This makes it possible to more reliably avoid dangers that the driver may overlook.
  • the driving assistance device 10a of the fourth modification example provides the same effects as the driving assistance device 10 of the first embodiment described above.
  • the driving support device according to the fifth modification differs from the first embodiment in that it presents explicit information in addition to latent information.
  • FIG. 26 is a block diagram showing an example of the functional configuration of a driving assistance device 10b according to variant 5 of embodiment 1, together with peripheral devices.
  • the vehicle 102 of the fifth modification is equipped with a driving assistance device 10b of the fifth modification instead of the driving assistance device 10 of the first embodiment described above.
  • the driving assistance device 10b includes a manifest information calculation unit 111 that generates manifest information, and instead of the output control unit 130 of the above-mentioned embodiment 1, an output control unit 130b is provided that acquires the driver's attention state estimated by the driver attention state estimation unit 120 and the manifest information generated by the manifest information calculation unit 111, and outputs driving assistance information.
  • dangers that occur while the vehicle is traveling include dangers that are manifested at the time, and potential dangers that are not manifested at the time.
  • the manifest information calculation unit 111 In response to the various types of potential information described above that inform the driver of potential dangers, the manifest information calculation unit 111 generates manifest information that informs the driver of dangers that are manifested at the time.
  • the manifest information calculation unit 111 extracts dangers that are apparent at that time, such as a pedestrian suddenly running out onto the roadway, from images captured by the exterior camera 41 in the direction of travel of the vehicle 102, and generates manifest information that includes such danger information.
  • the manifest information includes, for example, presented information that notifies the driver of an apparent danger, the manner in which the information is presented, and information on the strength of the warning of the presented information, all of which are linked to the area in which the warning is given.
  • the driver attention state estimation unit 120 passes the estimated driver attention state and the manifest information generated by the manifest information calculation unit 111 to the output control unit 130b.
  • the output control unit 130b outputs driving support information to the HMI control device 30, including information on areas for which the driver's attention is to be alerted, extracted based on the driver's attention state, explicit information passed from the driver attention state estimation unit 120, and implicit information.
  • FIG. 27 is a schematic diagram showing an example of information presentation by the driving assistance device 10b according to the fifth modification of the first embodiment.
  • the driving assistance device 10b of variant 5 displays explicit information 662a and latent information 605a on the HUD 61 or the in-vehicle monitor 62.
  • the area for which the driver's attention is called is, for example, an area that includes a person in the foreground on the right side.
  • the driving assistance device 10b of the fifth modification displays oval-shaped explicit information 662a indicating a person in the foreground on the right side at the feet of that person.
  • the driving assistance device 10b of the fifth modification also displays rectangular latent information 605a indicating a person in the foreground on the right side at a lower position away from the feet of that person.
  • FIG. 28 is a schematic diagram showing another example of information presentation by the driving assistance device 10b according to the fifth modification of the first embodiment.
  • the driving assistance device 10b of variant 5 displays rectangular explicit information 662b indicating a person in the foreground on the right side, so as to surround that person.
  • the driving assistance device 10b of variant 5 displays oval latent information 605b indicating a person in the foreground on the right side, in a lower position away from the person's feet.
  • the driving assistance device 10b of the fifth modification may adjust the strength of the driver's attention by changing the size, brightness, color, etc. of the manifest information 662a, 662b.
  • the driving assistance device 10b of the fifth modification may adjust the strength of the driver's attention by changing the size, brightness, color, etc. of the latent information 605a, 605b depending on the level of inappropriateness of the driver's attention state.
  • the shape, presentation position, and presentation manner of the manifest information 662 and latent information 605 can be presented in a variety of different ways.
  • the above configuration makes it possible to not only inform the driver of potential dangers, but also of dangers that have already appeared, thereby raising the driver's level of attention. This makes it possible to present information to the driver in a more appropriate manner.
  • the explicit and implicit information may be presented by different information presentation devices 60.
  • potential information indicating a relatively low risk can be presented to a component that can present information without diverting the driver's attention to what is ahead or to objects that require attention.
  • the following describes a case where latent information is presented on the meter display 64 (see FIG. 29), the pillar display 65 (see FIG. 33), the speaker 63, the peripheral area of the HUD 61, the LED display 66 (see FIG. 40), and the mirror display 67 (see FIG. 44), etc.
  • FIG. 29 is a schematic diagram showing an example of the configuration of a meter display 64 in which the driving assistance device 10b according to the fifth modification of the first embodiment presents latent information.
  • the meter display 64 is provided on an instrument panel or the like and includes various meters 642 such as a speedometer, engine tachometer, fuel gauge, water temperature gauge, and distance gauge, as well as a CID (Center Information Display) 641 provided between these meters 642 and around these meters 624.
  • the meter 642 may be a meter having a physical configuration, or the meter 624 itself may be an image displayed on a display.
  • FIG. 30 is a schematic diagram showing an example of presentation of latent information on the meter display 64 of the driving assistance device 10b according to the fifth modification of the first embodiment.
  • the driving assistance device 10b of variant 5 displays latent information 615 that surrounds the outer periphery of the meter display 64 all around the meter display 64.
  • the latent information that calls for strong attention over the entire area over the front of the vehicle may have a different shape or form from the latent information 615.
  • the driving assistance device 10b of variant 5 displays the paired latent information 619a at both the left and right ends of the meter display 64.
  • the latent information 619a may be, for example, a shape formed by combining a pair of triangles that point to the vicinity of the center of the meter display 64 as viewed from the front of the vehicle.
  • the latent information that calls for a low level of attention to the entire area in front of the vehicle may be in other shapes or forms, such as an arrow.
  • the driving assistance device 10b of variant 5 can display latent information 619b in the shape of a triangle pointing to the center of the meter display 64 at the bottom center of the meter display 64.
  • the driving assistance device 10b of variant 5 displays latent information 616a indicating the left side area corresponding to that area on the left end of the meter display 64.
  • the latent information 616a can be presented information that is presented in a rectangular area that is arranged along the left edge of the meter display 64, which is likened to the left area of the vehicle.
  • the latent information that calls for strong attention from a driver who is highly biased in his or her attention state may be in a shape or form different from the latent information 616a described above.
  • the driving assistance device 10b of variant 5 can display latent information 616b indicating the left side area corresponding to that area at the bottom left end of the meter display 64.
  • the latent information 616b can be presented information that is presented in a rectangular area arranged along the lower left edge of the meter display 64, which is likened to the left side area of the vehicle, for example.
  • the driving assistance device 10b of variant 5 displays latent information 616a indicating the left side area corresponding to the right side area of the vehicle, as well as latent information 617a indicating the right side area corresponding to the left side area of the vehicle, at the right end of the meter display 64.
  • the latent information 617a can be presented information, for example, in a rectangular area arranged along the right edge of the meter display 64, which is likened to the left side area of the vehicle.
  • the latent information 617a can be presented in a manner different from the above-mentioned latent information 616a in terms of brightness, color, etc., so that the strength of the attention call can be kept lower than that of the latent information 616a.
  • the latent information that prompts a driver with a low degree of bias in his/her attention state to issue a low level of attention may have a shape or form other than the latent information 617a described above.
  • the driving assistance device 10b of variant 5 can display latent information 617b indicating the right side area corresponding to the above-mentioned left side area at the lower left end of the meter display 64, in addition to the above-mentioned latent information 616b.
  • the latent information 617b can be presented information that is presented in a rectangular area that is arranged along the lower right edge of the meter display 64, which is likened to the left side area of the vehicle.
  • the latent information 617b is also in a form that is less intensive in calling attention than the latent information 616b.
  • the driving assistance device 10b of variant 5 displays latent information 616a indicating the left side area corresponding to the right side area of the vehicle, as well as latent information 618a indicating the right side area corresponding to the left side area of the vehicle, at the right end of the meter display 64.
  • the latent information 618a can be presented information, for example, in a rectangular area arranged along the right edge of the meter display 64, which is likened to the left side area of the vehicle.
  • the latent information 618a in a manner different from the above-mentioned latent information 616a, 617a in terms of brightness, color, etc., the strength of the attention call can be made higher than that of the latent information 617a, while being lower than that of the latent information 616a.
  • the latent information that prompts a driver with a moderate bias in his/her attention state to pay moderate attention may have a shape or form other than the latent information 618a described above.
  • the driving assistance device 10b of variant 5 can display latent information 618b indicating the right side area corresponding to the above-mentioned left side area at the lower left end of the meter display 64, in addition to the above-mentioned latent information 616b.
  • Latent information 618b can be presented information that is presented in a rectangular area that is arranged along the lower right edge of meter display 64, which is likened to the left side area of the vehicle.
  • latent information 617b has a stronger attention-calling power than latent information 617b, but a weaker attention-calling power than latent information 616b.
  • various latent information 615, 616a-619a, 616b-619b, etc. based on the level of inappropriateness of the driver's attention state and the position within the image of the area where the level of inappropriateness of the attention state is above a predetermined threshold can be displayed on the meter display 64.
  • the driving assistance device 10b of variant 5 combines the HUD 61 and the meter display 64 to present information.
  • FIG. 31 is a schematic diagram showing an example in which the presentation information generated by the driving assistance device 10b according to the fifth modification of the first embodiment is split and displayed on the HUD 61 and the meter display 64.
  • the driving assistance device 10b of variant 5 detects a potential danger, such as a driver's biased attention state, but does not detect an obvious danger, such as a pedestrian that may collide with the vehicle.
  • the driving support device 10b of the modified example 5 displays the rectangular latent information 605a or the elliptical latent information 605b on the HUD 61, for example, to indicate a person in front on the right side.
  • the driving support device 10b of the modified example 5 does not display any information on the meter display 64.
  • the driving assistance device 10b of variant 5 can display potential information 605a, 605b, etc. preferentially on the HUD 61, which has high visibility, as described above.
  • the driving assistance device 10b of variant 5 is in a state where it detects not only potential danger but also obvious danger.
  • the driving assistance device 10b of the fifth modification causes the HUD 61 to display the above-mentioned elliptical obvious information 662a or the above-mentioned rectangular obvious information 662b, for example, so as to point out a person in front on the right side.
  • the driving assistance device 10b of the fifth modification changes the size, brightness, color, etc. of the obvious information 662a, 662b according to the magnitude of the detected obvious danger.
  • the driving assistance device 10b of variant 5 displays the above-mentioned potential information 616a, etc. on the meter display 64.
  • the example in FIG. 31 (Ab) shows an example in which potential information 616a is displayed, but the driving assistance device 10b in variant 5 can display any one of the above-mentioned potential information 615, 616a to 619a, 616b to 619b on the meter display 64 depending on the level of potential danger detected, that is, the level of inadequacy of the driver's attention state.
  • the driving assistance device 10b of variant 5 can display the apparent information 662a, 662b, etc. on the highly visible HUD 61, and display the latent information 616a, etc. on the meter display 64, which is less likely to distract the driver, as described above.
  • FIG. 32 is a schematic diagram showing another example in which the presentation information generated by the driving assistance device 10b according to the fifth modification of the first embodiment is displayed separately on the HUD 61 and the meter display 64.
  • the driving assistance device 10b of variant 5 detects a potential danger but does not detect an obvious danger, that is, the same state as the examples shown in Figures 31(Aa), (Ba), and (Ca) above.
  • the driving assistance device 10b of the fifth modification can display the above-mentioned latent information 616a, etc., on the meter display 64. Also, in this case, the driving assistance device 10b of the fifth modification does not display information on the HUD 61.
  • the driving assistance device 10b of variant 5 may always display potential information 616a, etc. on the meter display 64, as described above.
  • FIG. 33 is a schematic diagram showing an example of the configuration of a pillar display 65 in which the driving assistance device 10b according to the fifth modification of the first embodiment presents latent information.
  • the pillar displays 65 are provided, for example, on the pillars PL on both sides of the windshield.
  • the driving assistance device 10b of variant 5 displays latent information on such pillar displays 65, for example.
  • FIG. 34 is a schematic diagram showing an example of presentation of latent information on the pillar display 65 of the driving assistance device 10b according to the fifth modification of the first embodiment.
  • the driving assistance device 10b of variant 5 displays potential information 625 on both pillar displays 65 on both sides of the windshield.
  • the latent information 625 can be presented in a rectangular area arranged along the pillars PL on both sides of the windshield. However, the latent information that calls for strong attention to the entire area in front of the vehicle may be in a shape or form different from the latent information 625 described above.
  • the driving assistance device 10b of variant 5 displays the paired latent information 629 on the pillar displays 65 on both sides of the windshield.
  • the latent information 629 may be, for example, a shape formed by combining a pair of triangles that point to the vicinity of the center of the windshield located in front of the vehicle.
  • latent information that calls for a low level of attention to the entire area in front of the vehicle may also be in other shapes or forms, such as an arrow.
  • the driving assistance device 10b of variant 5 displays latent information 626 indicating the left side area corresponding to that area on the pillar display 65 on the left side of the windshield.
  • the latent information 626 can be presented information, for example, in a rectangular area arranged along the pillar PL on the left side of the windshield located in front of the vehicle.
  • the latent information that strongly calls attention to a driver who is highly biased in his/her attention state may have a shape or form different from the latent information 626 described above.
  • the driving assistance device 10b of variant 5 displays latent information 626 indicating the left side area corresponding to the right side area of the vehicle, as well as latent information 627 indicating the right side area corresponding to the left side area of the vehicle, on the pillar displays 65 on both sides of the windshield.
  • Latent information 627 can be presented information, for example, in a rectangular area arranged along a pillar PL on the right side of the windshield located in front of the vehicle. In addition, by presenting latent information 627 in a manner different from that of latent information 626, such as brightness and color, the strength of the attention call can be kept lower than that of latent information 626.
  • the latent information that prompts a driver with a low degree of bias in his/her attention state to pay a low degree of attention may have a shape or form other than the latent information 627 described above.
  • the driving assistance device 10b of variant 5 displays latent information 626 indicating the left side area corresponding to the right side area of the vehicle, as well as latent information 628 indicating the right side area corresponding to the left side area of the vehicle, on the pillar displays 65 on both sides of the windshield.
  • Latent information 628 can be presented information, for example, in a rectangular area arranged along a pillar PL on the right side of the windshield located in front of the vehicle.
  • latent information 628 in a manner different from the above-mentioned latent information 626, 627 in terms of brightness, color, etc., it is possible to make the strength of the attention call higher than that of latent information 627, while keeping it lower than that of latent information 626.
  • the latent information that prompts a driver with a moderate bias in his/her attention state to pay moderate attention may have a shape or form other than the latent information 628 described above.
  • various latent information 625, 626-629, etc. based on the level of inappropriateness of the driver's attention state and the position within the image of the area where the level of inappropriateness of the attention state is above a predetermined threshold can be displayed on the pillar display 65.
  • the driving assistance device 10b of variant 5 combines the HUD 61 and pillar display 65 to present information.
  • FIG. 35 is a schematic diagram showing an example in which the presentation information generated by the driving assistance device 10b according to the fifth modification of the first embodiment is split and displayed on the HUD 61 and the pillar display 65.
  • the driving assistance device 10b of variant 5 detects a potential danger, such as a driver's biased attention state, but does not detect an obvious danger, such as a pedestrian that may collide with the vehicle.
  • the driving assistance device 10b of the fifth modification causes the HUD 61 to display the rectangular latent information 605a or the elliptical latent information 605b, for example, to indicate a person in the foreground on the right side.
  • the driving assistance device 10b of the fifth modification does not display any information on the pillar display 65.
  • the driving assistance device 10b of variant 5 can display potential information 605a, 605b, etc. preferentially on the HUD 61, which has high visibility, as described above.
  • the driving assistance device 10b of variant 5 is in a state where it detects not only potential danger but also obvious danger.
  • the driving assistance device 10b of the fifth modification causes the HUD 61 to display the above-mentioned elliptical obvious information 662a or the above-mentioned rectangular obvious information 662b, for example, so as to point out a person in front on the right side.
  • the driving assistance device 10b of the fifth modification changes the size, brightness, color, etc. of the obvious information 662a, 662b according to the magnitude of the detected obvious danger.
  • the driving assistance device 10b of variant 5 displays the above-mentioned latent information 626, etc., on the pillar display 65 on the right side of the windshield.
  • Figures 35 (Ab) and (Bb) show an example in which potential information 626 is displayed, but the driving assistance device 10b of variant 5 can display any of the above-mentioned potential information 625, 626 to 629 on the pillar display 65 depending on the level of potential danger detected, that is, the level of inadequacy of the driver's attention state.
  • the driving assistance device 10b of variant 5 can display the apparent information 662a, 662b, etc. on the highly visible HUD 61, and display the latent information 626, etc. on the pillar display 65, which is less likely to distract the driver, as described above.
  • FIG. 36 is a schematic diagram showing another example in which the presentation information generated by the driving assistance device 10b according to the fifth modification of the first embodiment is split and displayed on the HUD 61 and the pillar display 65.
  • the driving assistance device 10b of variant 5 detects a potential danger but does not detect an obvious danger, that is, the same state as the example shown in Figures 35(Aa) and (Ba) above.
  • the driving assistance device 10b of the fifth modification can display the above-mentioned latent information 626, etc., on the pillar display 65. Also, in this case, the driving assistance device 10b of the fifth modification does not display information on the HUD 61.
  • the driving assistance device 10b of variant 5 may always display potential information 626, etc., on the pillar display 65, as described above.
  • the driving assistance device 10b of variant example 5 combines the HUD 61 and the speaker 63 to present information.
  • FIG. 37 is a schematic diagram showing an example in which the presentation information generated by the driving assistance device 10b according to the fifth modification of the first embodiment is divided and presented on the HUD 61 and the speaker 63.
  • the driving assistance device 10b of variant 5 detects a potential danger, such as a driver's biased attention state, but does not detect an obvious danger, such as a pedestrian that may collide with the vehicle.
  • the driving assistance device 10b of the fifth modification causes the HUD 61 to display the rectangular latent information 605a or the elliptical latent information 605b, for example, so as to point out a person in the foreground on the right side.
  • the driving assistance device 10b of the fifth modification does not cause the speaker 63 to output information.
  • the driving assistance device 10b of variant 5 can display potential information 605a, 605b, etc. preferentially on the HUD 61, which has high visibility, as described above.
  • the driving assistance device 10b of variant 5 is in a state where it detects not only potential danger but also obvious danger.
  • the driving assistance device 10b of the fifth modification causes the HUD 61 to display the above-mentioned elliptical obvious information 662a or the above-mentioned rectangular obvious information 662b, for example, so as to point out a person in front on the right side.
  • the driving assistance device 10b of the fifth modification changes the size, brightness, color, etc. of the obvious information 662a, 662b according to the magnitude of the detected obvious danger.
  • the driving assistance device 10b of variant 5 causes the speaker 63 to output audio 636 including latent information such as an announcement or warning sound warning the driver to pay attention to the right-hand area.
  • the driving assistance device 10b of variant 5 can display the apparent information 662a, 662b, etc. on the highly visible HUD 61, and output potential information such as audio 636 to the speaker 63, which is unlikely to obstruct the driver's field of vision, as described above.
  • FIG. 38 is a schematic diagram showing another example in which the presentation information generated by the driving assistance device 10b according to the fifth modification of the first embodiment is split and displayed on the HUD 61 and the speaker 63.
  • the driving assistance device 10b of variant 5 detects a potential danger but does not detect an obvious danger, that is, the same state as the example shown in Figures 37(Aa) and (Ba) above.
  • the driving assistance device 10b of the fifth modification causes the speaker 63 to output the voice 636 including the latent information. Also, in this case, the driving assistance device 10b of the fifth modification does not cause the HUD 61 to display the information.
  • the driving assistance device 10b of variant 5 may always output potential information such as audio 636 to the speaker 63, as described above.
  • FIG. 39 is a schematic diagram showing an example of presentation of latent information of the driving assistance device 10b in the peripheral area of the HUD 61 according to the fifth modification of the first embodiment.
  • the display of latent information using the peripheral area of the HUD 61 may be performed in the same manner as the display of latent information using the meter display 64 shown in FIG. 30 above, for example.
  • the driving assistance device 10b of variant 5 displays latent information 645 that surrounds the outer periphery of the HUD 61 all around the HUD 61.
  • the latent information that calls for strong attention to the entire area in front of the vehicle may have a different shape or form from the latent information 645.
  • the driving assistance device 10b of variant 5 displays paired latent information 649a at both the left and right ends of the HUD 61.
  • the latent information 649a may be, for example, a shape formed by combining a pair of triangles that point to the vicinity of the center of the HUD 61 located in front of the vehicle.
  • latent information that calls for a low level of attention to the entire area in front of the vehicle may also be in other shapes or forms, such as an arrow.
  • the driving assistance device 10b of variant 5 can display latent information 649b in the form of a triangle pointing to the center of the HUD 61 at the bottom center of the HUD 61.
  • the driving assistance device 10b of variant 5 displays latent information 646a indicating the left side area corresponding to that area on the left end of the HUD 61.
  • the latent information 646a can be presented information, for example, in a rectangular area arranged along the left edge of the HUD 61 that is placed in front of the vehicle.
  • the latent information that calls strong attention to a driver who is highly biased in his/her attention state may be in a shape or form different from the above-mentioned latent information 646a.
  • the driving assistance device 10b of variant 5 can display latent information 646b indicating the left side area corresponding to that area at the bottom left end of the HUD 61.
  • the latent information 646b can be presented information, for example, in a rectangular area arranged along the lower left edge of the HUD 61 placed in front of the vehicle.
  • the driving assistance device 10b of variant 5 displays latent information 646a indicating the left side area corresponding to the right side area of the vehicle, as well as latent information 647a indicating the right side area corresponding to the left side area of the vehicle, at the right end of the HUD 61.
  • the latent information 647a can be presented information, for example, in a rectangular area arranged along the right side of the A-pillar of the HUD 61 arranged in front of the vehicle.
  • the strength of the attention call can be kept lower than that of the latent information 646a.
  • the latent information that prompts a driver with a low degree of bias in his/her attention state to issue a low level of attention may have a shape or form other than the latent information 647a described above.
  • the driving assistance device 10b of variant 5 can display, in addition to the above-mentioned latent information 646b, latent information 647b indicating the right-side area corresponding to the above-mentioned left-side area at the lower left end of the HUD 61.
  • the latent information 647b can be presented information, for example, in a rectangular area arranged along the lower right edge of the HUD 61 placed in front of the vehicle. Furthermore, the latent information 647b has a lower level of attention-grabbing power than the latent information 646b.
  • the driving assistance device 10b of variant 5 displays latent information 646a indicating the left side area corresponding to the right side area of the vehicle, as well as latent information 648a indicating the right side area corresponding to the left side area of the vehicle, at the right end of the HUD 61.
  • Latent information 648a can be presented information, for example, in a rectangular area arranged along the right edge of HUD 61 arranged in front of the vehicle. Furthermore, by presenting latent information 648a in a manner different from the above-mentioned latent information 646a, 647a in terms of brightness, color, etc., it is possible to make the intensity of the attention call higher than that of latent information 647a, while keeping it lower than that of latent information 646a.
  • the latent information that prompts a driver with a moderate bias in his/her attention state to pay moderate attention may have a shape or form other than the latent information 648a described above.
  • the driving assistance device 10b of variant 5 can display, in addition to the above-mentioned latent information 646b, latent information 658b indicating the right-side area corresponding to the above-mentioned left-side area at the lower left end of the HUD 61.
  • Latent information 648b can be presented information that is presented in a rectangular area arranged along the lower right edge of HUD 61 that is placed in front of the vehicle. Furthermore, latent information 648b has a stronger warning than latent information 647b, but a weaker warning than latent information 646b.
  • the above configuration allows the HUD 61 to display various latent information 645, 646a-649a, 646b-649b, etc., based on the level of inappropriateness of the driver's attention state and the position within the image of the area where the level of inappropriateness of the attention state is above a predetermined threshold.
  • peripheral area of the HUD 61 is used to display various types of latent information 645, 646a-649a, 646b-649b, etc.
  • the various images shown in Figures 31 and 32, etc., described above are displayed in the central area of the HUD 61 excluding the peripheral area.
  • FIG. 40 is a schematic diagram showing an example of the configuration of an LED display 66 on which the driving assistance device 10b according to the fifth modification of the first embodiment presents latent information.
  • the LED display 66 as a light-emitting device includes a number of LEDs arranged along the lower end of the HUD 61 that is disposed on the windshield, for example.
  • the driving assistance device 10b of variant 5 causes the LED display 66 to present latent information by turning these LEDs on and off in a predetermined manner.
  • FIG. 41 is a schematic diagram showing an example of presentation of latent information on the LED display 66 of the driving assistance device 10b according to the fifth modification of the first embodiment.
  • the driving assistance device 10b of variant 5 presents latent information 655 by lighting up the entire LED display 66 that extends along the bottom end of the HUD 61.
  • the latent information 655 can be presented information in a state where all of the multiple LEDs arranged along the bottom edge of the HUD 61 are lit.
  • the latent information that strongly calls attention to the entire area ahead of the vehicle may be in a form different from the latent information 655 described above.
  • the driving assistance device 10b of variant 5 presents latent information 659 by lighting up the center portion of the LED display 66 that extends along the bottom end of the HUD 61.
  • the latent information 659 can be presented by turning on some of the LEDs arranged in the center of the multiple LEDs arranged along the bottom edge of the HUD 61.
  • the latent information that calls for a low level of attention to the entire area ahead of the vehicle may be in a form different from the latent information 655 described above.
  • the driving assistance device 10b of variant 5 causes the LED display 66 to present latent information 656 indicating the area to the left of that area.
  • the latent information 656 can be presented information in a state where the left portion of the LED display 66 extending along the bottom end of the HUD 61 is lit. In other words, of the multiple LEDs arranged along the bottom end of the HUD 61, some of the LEDs arranged on the left side are lit.
  • the latent information that calls strong attention to a driver who is highly biased in his/her attention state may be in a shape or form different from the latent information 656 described above.
  • the driving assistance device 10b of variant 5 causes the LED display 66 to present latent information 657 indicating the right side area corresponding to the left side area of the vehicle, in addition to latent information 656 indicating the left side area corresponding to the right side area of the vehicle.
  • Latent information 657 can be presented information in a state where the right side of LED display 66 extending along the bottom edge of HUD 61 is lit. In other words, of the multiple LEDs arranged along the bottom edge of HUD 61, some of the LEDs arranged on the right side are lit. Also, by presenting latent information 657 in a manner different from that of latent information 656 described above in terms of the number, brightness, color, etc. of the LEDs to be lit, the strength of the attention call can be kept lower than that of latent information 656.
  • the latent information that prompts a driver with a low degree of bias in his/her attention state to pay low attention may have a shape or form other than the latent information 657 described above.
  • the driving assistance device 10b of variant 5 causes the LED display 66 to present latent information 658 indicating the right side area corresponding to the left side area of the vehicle, in addition to latent information 656 indicating the left side area corresponding to the right side area of the vehicle.
  • Latent information 658 can be presented as information in a state where the right side portion of LED display 66 extending along the bottom end of HUD 61 is lit. Furthermore, by presenting latent information 658 in a manner different from the latent information 656, 657 described above in terms of the number, brightness, color, etc. of lit LEDs, it is possible to make the strength of the attention call higher than that of latent information 657, while keeping it lower than that of latent information 656.
  • the latent information that prompts a driver with a moderate bias in his/her attention state to pay moderate attention may have a shape or form other than the latent information 658 described above.
  • the above configuration allows the LED display 66 to present various latent information 655, 656-659, etc., based on the level of inappropriateness of the driver's attention state and the position within the image of the area where the level of inappropriateness of the attention state is above a predetermined threshold.
  • the number, brightness, color, etc. of the lit LEDs are presented in different ways to present the strength of the attention call for the latent information 655, 656 to 659 in different ways.
  • the method of presenting the strength of the attention call in different ways using the LED display 66 is not limited to the above.
  • FIG. 42 is a schematic diagram showing an example in which presentation information generated by the driving assistance device 10b according to the fifth modification of the first embodiment is presented on the LED display 66 by blinking the LED.
  • the driving assistance device 10b of the fifth modification can present latent information on the LED display 66 by blinking the LED for which the latent information is to be presented.
  • the LED brightness is set to 100% and a transition is made to an on period. After the end of the on period, when transitioning to the off period, the LED brightness is set to 0%.
  • the strength of the attention to the latent information can be increased, and by keeping the brightness of the LED during the lighting period low, the strength of the attention to the latent information can be decreased.
  • the strength of the attention to the latent information can be increased, and by lengthening the blinking cycle of the LED, the strength of the attention to the latent information can be decreased.
  • the strength of the attention to the latent information can be increased, and by making the LED on period shorter than the off period, the strength of the attention to the latent information can be decreased.
  • the more abrupt the increase or decrease in the brightness of the LED the higher the strength of the attention alert for the latent information can be, and the more gradual the increase or decrease in the brightness of the LED, the lower the strength of the attention alert for the latent information can be.
  • FIG. 43 is a schematic diagram showing an example in which presentation information generated by the driving assistance device 10b according to the fifth modification of the first embodiment is presented on the LED display 66 by lighting the LEDs in multiple colors.
  • the driving assistance device 10b of the fifth modification can present latent information on the LED display 66 by periodically lighting the LEDs for which latent information is to be presented in different colors.
  • the LEDs are alternately lit in color X and color Y.
  • the strength of the attention to the latent information can be increased, and by decreasing the difference between the hue, saturation, brightness, etc. of colors X and Y, the strength of the attention to the latent information can be decreased.
  • colors X and Y for example, complementary colors can be used as colors X and Y.
  • similar colors can be used as colors X and Y.
  • a high saturation color and a low saturation color can be combined to create colors X and Y.
  • a high brightness color and a low brightness color can be combined to create colors X and Y.
  • the individual LEDs in the LED array that is the subject of latent information presentation may be alternately lit with color X or color Y. Furthermore, it is also possible to present the latent information by having the colors X and Y flow across such an LED array.
  • the LEDs that are odd numbers in the array are lit with color X
  • the LEDs that are even numbers in the array are lit with color Y.
  • the odd LEDs are lit with color Y
  • the even LEDs are lit with color X.
  • the driving assistance device 10b of variant 5 makes the lighting period of color X longer than the lighting period of color Y.
  • the strength of the attention drawn to the latent information can be increased.
  • the strength of the attention drawn to the latent information can be decreased.
  • the above configuration also makes it possible to adjust the strength of the attention to the potential information presented on the LED display 66.
  • the LED display 66 is provided at the bottom end of the HUD 61, but the location of the LED display 66 is not limited to this.
  • the LED display 66 may be provided at both ends of the HUD 61, or may be provided so as to surround the outer periphery of the HUD 61.
  • various latent information can be presented based on the level of inappropriateness of the driver's attention state, and the position within the image of the area where the level of inappropriateness of the attention state is above a predetermined threshold, in a manner similar to the various aspects shown in FIG. 41 above.
  • FIG. 44 is a schematic diagram showing an example of the configuration of a mirror display 67 on which the driving assistance device 10b according to the fifth modification of the first embodiment presents latent information.
  • the mirror display 67 is installed, for example, in the position of the rearview mirror for checking the rear of the vehicle, in place of the rearview mirror.
  • the mirror display 67 is configured, for example, in a rearview mirror type, and performs the same function as a rearview mirror by displaying an image behind the vehicle.
  • the driving assistance device 10b of the fifth modified example displays latent information on, for example, such a mirror display 67.
  • FIG. 45 is a schematic diagram showing an example of presentation of latent information on the mirror display 67 of the driving assistance device 10b according to the fifth modification of the first embodiment.
  • the display of latent information using the peripheral area of the mirror display 67 may be performed in the same manner as the display of latent information using the meter display 64 shown in FIG. 30 described above.
  • the driving assistance device 10b of variant 5 displays latent information 665 that surrounds the outer periphery of the mirror display 67, all around the mirror display 67.
  • the latent information that calls for strong attention to the entire area in front of the vehicle may have a different shape or form from the latent information 665.
  • the driving assistance device 10b of variant 5 displays paired latent information 669a at both the left and right ends of the mirror display 67.
  • the latent information 669a may be, for example, a shape formed by combining a pair of triangles pointing to the vicinity of the center of the mirror display 67 as seen in front of the vehicle.
  • the latent information that calls for a low level of attention to the entire area in front of the vehicle may be in other shapes or forms, such as an arrow.
  • the driving assistance device 10b of variant 5 can display latent information 669b in the form of a triangle pointing to the center of the mirror display 67 at the bottom center of the mirror display 67.
  • the driving assistance device 10b of variant 5 displays latent information 666a indicating the area to the left of that area on the left edge of the mirror display 67.
  • the latent information 666a can be presented information, for example, in a rectangular area arranged along the left edge of the mirror display 67, which is likened to the left side area of the vehicle.
  • the latent information that calls strong attention to a driver who is highly biased in his/her attention state may be in a shape or form other than the above-mentioned latent information 666a.
  • the driving assistance device 10b of variant 5 can display latent information 666b indicating the left side area corresponding to that area at the bottom left end of the mirror display 67.
  • the latent information 666b can be presented information that is presented in a rectangular area arranged along the lower left edge of the mirror display 67, which is likened to the left side area of the vehicle, for example.
  • the driving assistance device 10b of variant 5 displays latent information 667a indicating the right side area corresponding to the left side area of the vehicle on the right end of the mirror display 67, in addition to latent information 666a indicating the left side area corresponding to the right side area of the vehicle.
  • the latent information 667a can be presented information, for example, in a rectangular area arranged along the right edge of the mirror display 67, which is likened to the right area of the vehicle.
  • the latent information 667a can be presented in a manner different from the latent information 666a, such as brightness and color, to reduce the strength of the attention call compared to the latent information 666a.
  • the latent information that prompts a driver with a low degree of bias in his/her attention state to pay low attention may have a shape or form other than the latent information 667a described above.
  • the driving assistance device 10b of variant 5 can display, in addition to the above-mentioned latent information 666b, latent information 667b indicating the right-side area corresponding to the above-mentioned left-side area at the lower left end of the mirror display 67.
  • the latent information 667b can be presented information that is presented in a rectangular area arranged along the lower right edge of the mirror display 67, which is likened to the right side of the vehicle.
  • the latent information 667b is also in a form that is less intensive in calling attention than the latent information 666b.
  • the driving assistance device 10b of variant 5 displays latent information 666a indicating the left side area corresponding to the right side area of the vehicle, as well as latent information 668a indicating the right side area corresponding to the left side area of the vehicle, on the right end of the mirror display 67.
  • the latent information 668a can be presented information, for example, in a rectangular area arranged along the right edge of the mirror display 67, which is likened to the right area of the vehicle.
  • the latent information 668a in a manner different from the above-mentioned latent information 666a, 667a in terms of brightness, color, etc., the strength of the attention call can be made higher than that of the latent information 667a, while being lower than that of the latent information 666a.
  • the latent information that prompts a driver with a moderate bias in his/her attention state to pay moderate attention may have a shape or form other than the latent information 668a described above.
  • the driving assistance device 10b of variant 5 can display latent information 668b indicating the right side area corresponding to the above-mentioned left side area at the lower left end of the mirror display 67, in addition to the above-mentioned latent information 666b.
  • the latent information 668b can be presented information that is presented in a rectangular area that is arranged along the lower right edge of the mirror display 67, which is likened to the right side of the vehicle.
  • the latent information 668b has a stronger attention-calling power than the latent information 667b, but a weaker attention-calling power than the latent information 666b.
  • various latent information 665, 666a-669a, 666b-669b, etc. based on the level of inappropriateness of the driver's attention state and the position within the image of the area where the level of inappropriateness of the attention state is above a predetermined threshold can be displayed on the mirror display 67.
  • two or more information presentation devices among the HUD 61, the in-vehicle monitor 62, the speaker 63, the meter display 64, the pillar display 65, the LED display 66, and the mirror display 67 each present information divided into multiple parts.
  • the HUD 61, in-vehicle monitor 62, speaker 63, meter display 64, pillar display 65, LED display 66, and mirror display 67 those that have high visibility and are likely to attract the driver's attention can be presented with explicit information, for example indicating a higher risk, and those that can present information without diverting the driver's attention can be presented with latent information, for example indicating a relatively lower risk.
  • the driving assistance device 10b of variant 5 also provides the same effects as the driving assistance device 10 of embodiment 1 described above.
  • the HUD 61 or the in-vehicle monitor 62 mainly presents explicit information, and other components present latent information, and these components are combined to present information to the driver.
  • the latent information may be presented using other components alone, such as the speaker 63, meter display 64, pillar display 65, the peripheral area of the HUD 61, the LED display 66, or the mirror display 67, without combining it with the HUD 61 or the in-vehicle monitor 62, etc.
  • the driving support device according to the sixth modification takes into consideration the time to collision (TTC: Time-To-Collision) when presenting the latent information and the explicit information.
  • TTC Time-To-Collision
  • FIG. 46 is a block diagram showing an example of the functional configuration of a driving assistance device 10c according to variant 6 of embodiment 1, together with peripheral devices.
  • the vehicle 103 of the sixth modification is equipped with the driving assistance device 10c of the sixth modification instead of the driving assistance device 10b of the fifth modification described above.
  • the driving assistance device 10c includes a TTC calculation unit 112 that calculates the TTC, and instead of the output control unit 130b of the above-mentioned modified example 5, the driving assistance device 10c includes an output control unit 130c that acquires the driver's attention state estimated by the driver attention state estimation unit 120, the manifest information generated by the manifest information calculation unit 111, and the TTC information calculated by the TTC calculation unit 112, and outputs driving assistance information.
  • the TTC calculated by the TTC calculation unit 112 is the time until the vehicle 103 actually collides with an obstacle that may cause a collision with the vehicle 103, such as a pedestrian in front of the vehicle 103.
  • the smaller the TTC value the less time there is before the vehicle 103 collides with the obstacle.
  • the larger the TTC value the more time there is before the vehicle 103 collides with the obstacle.
  • the TTC calculation unit 112 calculates the TTC for an obstacle, such as a pedestrian, included in the area for which information is to be presented, based on the distance between the obstacle and the vehicle 103, the speed of the vehicle 103, etc.
  • the driver attention state estimation unit 120 passes the estimated driver attention state, the manifest information generated by the manifest information calculation unit 111, and the TTC information calculated for each obstacle by the TTC calculation unit 112 to the output control unit 130c.
  • the output control unit 130c outputs to the HMI control device 30 information on the area in which the driver's attention is to be called, extracted based on the driver's attention state, and driving assistance information including the apparent information passed from the driver attention state estimation unit 120.
  • the output control unit 130c also determines whether or not to include latent information in the above driving assistance information, which includes explicit information, based on the TTC information calculated by the TTC calculation unit 112. When the TTC is equal to or greater than a predetermined threshold, the output control unit 130c outputs the above driving assistance information, including the latent information, to the HMI control unit 30. When the TTC is less than the predetermined threshold, the output control unit 130c outputs the above driving assistance information to the HMI control unit 30 without including the latent information.
  • FIG. 47 is a schematic diagram showing an example of information presentation by the driving assistance device 10c according to the sixth modification of the first embodiment.
  • the areas in which the driver's attention is drawn are, for example, an area including a person in the foreground on the right side, and an area including a family with a child in the foreground on the left side.
  • the TTC for the person in the foreground on the right side is equal to or greater than a predetermined threshold
  • the TTC for the family with a child in the foreground on the left side is less than the predetermined threshold.
  • the driving assistance device 10c of variant 6 displays the above-mentioned elliptical visible information 662a, which indicates a person in the foreground on the right side and a family in the foreground on the left side, on the HUD 61 or the in-vehicle monitor 62, respectively.
  • the driving support device 10c of the sixth modification also displays the rectangular latent information 605a described above, which indicates a person in front on the right side whose TTC was equal to or greater than a predetermined threshold, on the HUD 61 or the in-vehicle monitor 62. On the other hand, the driving support device 10c of the sixth modification does not display latent information for a parent and child whose TTC was less than the predetermined threshold.
  • the latent information 605a can be displayed to allow the driver to perform appropriate operations in accordance with the latent information.
  • the latent information is not displayed to prevent the driver from being distracted by the latent information and thus preventing the driver from performing appropriate operations.
  • FIG. 48 is a schematic diagram showing another example of information presentation by the driving assistance device 10c according to the sixth modification of the first embodiment.
  • the driving assistance device 10c of variant 6 displays rectangular explicit information 662b indicating a person in the foreground on the right side and a family in the foreground on the left side, surrounding the person and the family.
  • the driving assistance device 10c of variant 6 displays oval latent information 605b indicating a person in the foreground on the right side, in a lower position away from the person's feet.
  • the driving assistance device 10c of the sixth modification may adjust the strength of the driver's attention by changing, for example, the size, brightness, color, etc. of the manifest information 662a, 662b depending on the length of the TTC.
  • the driving assistance device 10c of the sixth modification may also adjust the strength of the driver's attention by changing, for example, the size, brightness, color, etc. of the latent information 605a, 605b depending on the level of inappropriateness of the driver's attention state.
  • the shape, presentation position, and presentation manner of the manifest information 662 and latent information 605 can be presented in a variety of different ways.
  • the driving assistance device 10c of the sixth modification may also have different information presentation devices 60 present the explicit information and the implicit information, as shown in Figures 29 to 45 of the fifth modification described above.
  • the driving assistance device 10c of the sixth modification may present information different from the examples of Figures 47 and 48 described above, based on the prediction error and the TTC.
  • FIG. 49 is a schematic diagram showing yet another example of information presentation by the driving support device 10c according to the sixth modification of the first embodiment.
  • the driving support device 10c according to the sixth modification presents potential information with different strengths of attention to the driver based on an index that combines the level of prediction error and the length of the TTC.
  • Figure 49(a) shows an example of a presentation mode table of latent information provided to the driving assistance device 10c of variant 6.
  • the presentation mode table of latent information defines a number of modes of latent information with different strengths of attention. The strength of attention of these pieces of latent information is determined by two parameters, the prediction error and the TTC.
  • the presentation mode table for latent information defines the mode of latent information for nine patterns that combine the cases where the prediction error is low, medium, and high with the cases where the TTC is short, medium, and long.
  • the strength of the attention alert for the latent information is greater than when the prediction error is low and the TTC is long. Furthermore, when the prediction error is low and the TTC is medium, and when the prediction error and TTC are both medium, the strength of the attention alert for the latent information is greater than when the prediction error is medium and the TTC is long. Furthermore, when the prediction error is high and the TTC is long, the strength of the attention alert for the latent information is greater than when the prediction error is low and the TTC is medium, etc.
  • the latent information presentation mode table defines four latent information modes for nine combinations of high and low prediction errors and long and short TTCs.
  • the definition of the latent information mode shown in Figure 49(a) is merely an example, and the latent information mode can be defined in various ways.
  • the stages of high and low prediction error and long and short TTC may be two stages or four or more stages instead of the three stages described above.
  • the form of latent information for combination patterns of high and low prediction error and long and short TTC may be three or less or five or more stages instead of the four stages described above.
  • the driving assistance device 10c of variant 6 determines the presentation mode of the latent information according to the latent information presentation mode table shown in FIG. 49(a), for example.
  • FIGS. 49(Aa) to (Cb) show examples of displaying latent information on the HUD 61 or the in-vehicle monitor 62.
  • the driving assistance device 10c of variant 6 divides the image into two regions, left and right, and calculates the prediction error and TTC for each region.
  • the prediction error and TTC are both determined to be medium for the left side area that includes a parent and child in the foreground on the left side, while the prediction error is determined to be low and the TTC is determined to be long for the right side area that does not include any people.
  • the driving assistance device 10c of the sixth modified example displays potential information 676b presented in a rectangular area arranged along the bottom edge of the left side area.
  • the potential information 676b has a warning strength when both the prediction error and the TTC are medium.
  • the driving assistance device 10c of the sixth modified example also displays potential information 676a presented in a rectangular area arranged along the bottom edge of the right side area.
  • the potential information 676a has a strength of attention when the prediction error is low and the TTC is long.
  • the driving assistance device 10c of the sixth modified example displays latent information 676c presented in a rectangular area arranged along the bottom edge of the left side area.
  • the latent information 676c has a warning strength when the prediction error is high and the TTC is long.
  • the driving assistance device 10c of variant 6 also displays latent information 676a that extends along the bottom edge of the right-side area, similar to the examples of Figures 49 (Aa) and (Ba) described above.
  • the driving assistance device 10c of variant 6 when the driving assistance device 10c of variant 6 visually displays the latent information 676a-676c, etc. on the HUD 61 or the in-vehicle monitor 62, etc., as shown in FIG. 49 above, the driving assistance device 10c of variant 6 can adjust the strength of the driver's attention by, for example, changing the length, thickness, brightness, color, etc. of the latent information 676a-676c.
  • the driving assistance device 10c of the sixth modification achieves the same effects as the driving assistance device 10b of the fifth modification described above.
  • a driving assistance device 10d according to a seventh modification of the first embodiment will be described with reference to Fig. 50.
  • the driving assistance device 10d according to the seventh modification is different from the first embodiment in that the driving assistance device 10d outputs driving assistance information to an external server 90.
  • FIG. 50 is a block diagram showing an example of the functional configuration of a driving assistance device 10d according to variant 7 of embodiment 1, together with peripheral devices.
  • a vehicle 104 of the seventh modification is equipped with a driving assistance device 10d of the seventh modification, instead of the driving assistance device 10 of the first embodiment described above.
  • the driving assistance device 10d includes an output control unit 130d that outputs driving assistance information to an external server 90, instead of the output control unit 130 of the first embodiment described above.
  • the output control unit 130d generates driving assistance information linked to the area in which the driver's attention is to be alerted, and outputs it to the external server 90.
  • the external server 90 is connected to a plurality of vehicles, including the vehicle 104 of the seventh modified example, via, for example, a wireless LAN (Local Area Network) or the like, so that information can be exchanged between the vehicles.
  • the external server 90 acquires and stores driving assistance information generated by the driving assistance devices of the plurality of vehicles, including the driving assistance device 10d of the seventh modified example.
  • the driving assistance information stored in the external server 90 is, for example, organized into a database and used to provide driving assistance to drivers in other vehicles. This allows driving assistance information generated by a specific vehicle to be shared between multiple vehicles to provide driving assistance to the driver. In addition, by arranging the driving assistance information collected from multiple vehicles into a database, the accuracy of driving assistance can be improved.
  • the driving assistance device 10d of the seventh modification example provides the same effects as the driving assistance device 10 of the first embodiment described above.
  • the second embodiment is different from the first embodiment in that the driving assistance device generates driving assistance information by taking the line of sight of the driver into consideration.
  • FIG. 51 is a block diagram showing an example of the functional configuration of the driving assistance device 210 according to the second embodiment, together with peripheral devices.
  • a vehicle 200 of the second embodiment is equipped with a driving assistance device 210 of the second embodiment instead of the driving assistance device 10 of the first embodiment described above.
  • the driving assistance device 210 includes a gaze estimation unit 140 that estimates the direction in which the driver's gaze is directed, and instead of the driver attention state estimation unit 120 of the above-mentioned embodiment 1, it includes a driver attention state estimation unit 220 that acquires information from the prediction error calculation unit 110 and the gaze estimation unit 140 and estimates the driver's attention state.
  • the gaze estimation unit 140 estimates where the driver is looking from, for example, an image of the driver's face captured by the in-vehicle camera 42. More specifically, if the image of the vehicle 200's traveling direction captured by the exterior camera 41 is divided into, for example, multiple regions as described above, the gaze estimation unit 140 estimates which of these multiple regions the driver is looking at.
  • the driver attention state estimation unit 220 calculates the degree of likelihood of attracting the driver's attention in multiple regions within the image. In addition, the driver attention state estimation unit 220 estimates the driver's attention state for each of the multiple regions based on the degree of inappropriateness of the attention state in the multiple regions and the direction of the driver's gaze estimated by the gaze estimation unit 140.
  • the driver attention state estimation unit 220 estimates the likelihood of the driver's attention being attracted based on the prediction error of the area to which the driver is looking and the prediction error of any area to which the driver is not looking, in accordance with the method shown in FIG. 4.
  • the driver attention state estimation unit 220 extracts the area where the driver is looking and an arbitrary area, calculates the AUC value for the area where the driver is looking from the proportion of areas where the predicted error is equal to or greater than a predetermined threshold, and uses information including areas where the AUC value is greater than the predetermined threshold to estimate the driver's attention state.
  • the AUC value calculated as above will also be referred to as the attention state index.
  • FIG. 52 is a flow diagram showing an example of the procedure of the driving assistance process performed by the driving assistance device 210 according to the second embodiment.
  • step S101 is a new process added to the process shown in FIG. 7 of the first embodiment described above.
  • the gaze estimation unit 140 included in the driving assistance device 210 of the second embodiment estimates the direction in which the driver is looking from the face image of the driver captured by the in-vehicle camera 42 (step S101).
  • the driver attention state estimation unit 220 divides the image captured by the exterior camera 41 into multiple regions (step S110) and calculates a prediction error for each region (step S120).
  • the driver attention state estimation unit 220 estimates that the degree of inappropriateness of the driver's attention state for that area is high (step S132).
  • the output control unit 130 selects a state ST1 with a strong attention-calling intensity for the information to be presented in the area opposite that area.
  • step S130 No, step S140: Yes
  • the driver attention state estimation unit 220 estimates that the degree of inappropriateness of the driver's attention state for that area is moderate (step S142).
  • the output control unit 130 selects mode ST2, which has a medium level of attention-calling strength, for the driving information to be presented in the area opposite that area.
  • step S140 If the attention state index for a given area is greater than threshold TH23, which is less than threshold TH22 (step S140: No, step S150: Yes), the driver attention state estimation unit 220 estimates that the degree of inappropriateness of the driver's attention state for that area is low (step S152).
  • the output control unit 130 selects mode ST2, which has a low level of attention-calling intensity, for the driving information to be presented in the area opposite that area.
  • step S150: No If the attention state index for a given area is smaller than the threshold value TH23 (step S150: No), the driver attention state estimation unit 220 determines that the driver's attention state for that area is sufficiently appropriate, and the output control unit 130 does not generate driving assistance information to be presented in the area opposite that area.
  • the driving assistance device 210 of embodiment 2 repeats the above process for all areas (step S160: No), and after processing of all areas is completed (step S160: Yes), outputs the generated driving assistance information to the HMI control device 30 (step S170).
  • the driving assistance device 210 divides an image into multiple regions and performs various processes, similar to the driving assistance device 10 of embodiment 1. However, in embodiment 2, it is sufficient to extract the direction in which the driver's gaze is directed and any other location, and it is not necessary to divide the image into multiple regions. In other words, the above processes may be performed by extracting pixels for each pixel, such as pixels in the image where the driver's gaze is directed and pixels where the driver's gaze is not directed.
  • the information included in the driving assistance information output to the HMI control device 30 by the driving assistance device 210 of embodiment 2 as described above can be presented by the information presentation device 60 in various ways, for example, as described above in embodiment 1 and variants 1 to 3.
  • the attention state estimation unit estimates that the driver's attention is likely to be drawn, the driver's visual behavior can be unconsciously changed to guide the driver to an appropriate attention state, and the driver can be made aware of the situation and alerted.
  • the driving assistance device 210 of embodiment 2 may be equipped with a manifest information calculation unit 111, a TTC calculation unit 112, etc., as in the above-mentioned modified examples 5 and 6 of embodiment 1, so that it may be possible to present the latent information and manifest information contained in the driving assistance information.
  • the driving assistance device 210 of embodiment 2 may be configured to output driving assistance information to the ECU 20 or an external server 90, etc., similar to the above-mentioned modified examples 4 and 7 of embodiment 1.
  • the driver's attention state is estimated based on the direction of the driver's gaze in addition to the prediction error. This makes it possible to estimate the driver's attention state with higher accuracy and present more appropriate information to the driver.
  • the likelihood of attracting attention is estimated based on the prediction error of the area in which the driver is looking and the prediction error of an arbitrary area among multiple areas in an image captured in the traveling direction of the vehicle 104.
  • the driving assistance device 210 of embodiment 2 also provides the same effects as the driving assistance device 10 of embodiment 1 described above.
  • the third embodiment is different from the first embodiment in that the driving assistance device generates driving assistance information by taking into account the driver's skill level.
  • FIG. 53 is a block diagram showing an example of the functional configuration of a driving assistance device 310 according to embodiment 3 together with peripheral devices.
  • a vehicle 300 of the third embodiment is equipped with a driving assistance device 310 of the third embodiment instead of the driving assistance device 10 of the first embodiment described above.
  • the driving assistance device 310 includes a gaze estimation unit 140 and a driver proficiency determination unit 150 that determines the driver's proficiency, and instead of the driver attention state estimation unit 120 of the above-mentioned embodiment 1, it includes a driver attention state estimation unit 320 that acquires information from the prediction error calculation unit 110, the gaze estimation unit 140, and the driver proficiency determination unit 150 and estimates the driver's attention state.
  • the driver proficiency assessment unit 150 assesses the driver's proficiency based on various detection results obtained by the ECU 20 from the detection device 40 (see FIG. 1), for example. From the various detection results of the detection device 40, the driving operation status of the driver of the vehicle 104 can be known. Therefore, for example, from detection results such as frequent sudden steering, sudden starts, and sudden stops, it is possible to estimate that the driver's proficiency is low.
  • the driver attention state estimation unit 320 estimates the driver's attention state in each of the multiple regions based on the degree of inappropriateness of the driver's attention state based on the prediction error in the multiple regions, and on the direction of the driver's gaze estimated by the gaze estimation unit 140.
  • the driver attention state estimation unit 320 changes the thresholds of the attention state index in multiple areas when estimating the driver's attention state, depending on the driver's level of proficiency. That is, the driver attention state estimation unit 320 sets the threshold of the attention state index low when the driver's level of proficiency is low. Also, the driver attention state estimation unit 320 sets the threshold of the attention state index high when the driver's level of proficiency is high.
  • the driver attention state estimation unit 320 sets this level based on the fact that drivers with low skill levels tend to direct their gaze toward areas with large prediction errors compared to drivers with high skill levels.
  • FIG. 54 is a flow diagram showing an example of the procedure of the driving assistance process performed by the driving assistance device 310 according to the third embodiment. Note that among the processes shown in FIG. 54, steps S102 and S103 are newly added to the process shown in FIG. 52 of the second embodiment described above.
  • the gaze estimation unit 140 included in the driving assistance device 310 of the third embodiment estimates the direction in which the driver is looking from the facial image of the driver captured by the in-vehicle camera 42 (step S101).
  • the driver proficiency determination unit 150 obtains the detection results of the detection device 40 from the ECU 20, and determines the driver's proficiency based on these detection results (step S102).
  • the driver attention state estimation unit 320 changes the setting of the threshold of the attention state index calculated from the prediction error and the driver's line of sight, etc., based on the judgment result of the driver proficiency judgment unit 150 (step S103).
  • the driver attention state estimation unit 320 sets a threshold value TH31, a threshold value TH32 greater than threshold value TH31, and a threshold value TH33 greater than threshold value TH32. If the driver's level of proficiency is determined to be high, the driver attention state estimation unit 320 sets a threshold value TH34 greater than threshold value TH31, a threshold value TH35 greater than threshold values TH32 and TH34, and a threshold value TH36 greater than threshold values TH33 and TH35.
  • the driver attention state estimation unit 220 also divides the image captured by the exterior camera 41 into multiple regions (step S110) and calculates a prediction error for each region (step S120).
  • the driver attention state estimation unit 220 also allocates the attention state index calculated from the prediction error and the driver's line of sight according to the thresholds TH31 to TH33 or thresholds TH34 to TH36 set based on the driver's proficiency (steps S130, S140, S150), and estimates the driver's attention state based on these attention state indexes (steps S132, S142, S152).
  • the output control unit 130 selects the manner ST1 to ST3 of presenting the latent information based on the estimation result of the driver attention state estimation unit 220 (steps S133, S143, S153).
  • the driving assistance device 310 of embodiment 3 repeats the above process for all areas (step S160: No), and after processing of all areas is completed (step S160: Yes), outputs the generated driving assistance information to the HMI control device 30 (step S170).
  • the information included in the driving assistance information output to the HMI control device 30 by the driving assistance device 310 of embodiment 3 as described above can be presented by the information presentation device 60 in various ways, for example, as described above in embodiment 1 and variations 1 to 3.
  • the driving assistance device 310 of embodiment 3 may be equipped with a manifest information calculation unit 111, a TTC calculation unit 112, etc., as in the above-mentioned modified examples 5 and 6 of embodiment 1, so that it may be possible to present the latent information and manifest information contained in the driving assistance information.
  • the driving assistance device 310 of embodiment 3 may be configured to output driving assistance information to the ECU 20 or an external server 90, etc., similar to the above-mentioned modified examples 4 and 7 of embodiment 1.
  • the driver's attention state is estimated based on the driver's driving proficiency as well as the prediction error. This makes it possible to estimate the attention state with higher accuracy according to each individual driver.
  • the driving assistance device 310 of the third embodiment when the driver's proficiency level is low, the area where the attention state index is greater than any of the threshold values TH31 to TH33 is extracted from among the multiple areas, and when the driver's proficiency level is high, the area where the attention state index is greater than any of the threshold values TH34 to TH36 is extracted from among the multiple areas.
  • the driving assistance device 310 is provided with the gaze estimation unit 140.
  • the driving assistance device 310 does not have to be provided with the gaze estimation unit 140.
  • the driving assistance device 310 of the third embodiment may be configured to perform a threshold setting and switching process according to the driver's proficiency level in addition to the processing of the driving assistance device 10 of the first embodiment.
  • the driving assistance device 10, 210, 310, etc. determines the level of an index calculated from a prediction error, etc., based on, for example, three thresholds.
  • the thresholds set for such an index may be two or less, or four or more.
  • the driving assistance device 10, 210, 310, etc. are configured as a single device such as an ECU.
  • the functions described in the above-mentioned embodiments 1 to 3 and modifications 1 to 7 may be realized by a driving assistance system configured by combining multiple devices. In this case, a device that realizes some of the functions may be provided outside the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本開示にかかる運転支援装置は、車両の周囲を撮像する車外向けカメラが撮像した車両の進行方向の画像から予測される予測画像と、実際の状況が撮像された実画像と、の差である予測誤差を算出する予測誤差演算部と、予測誤差に基づいて、車両の運転者の注意状態を推定する注意状態推定部と、注意状態に基づいて、その時々の運転に対しより適正な注意状態、かつ／または運転操作への行動変容かつ／または意識変容を促す運転支援情報を出力する出力制御部と、を備える。

Description

運転支援装置、運転支援システム、及び運転支援方法
　本開示は、運転支援装置、運転支援システム、及び運転支援方法に関する。
　運転者は、信号機、道路標識、車線等に基づき、歩行者および障害物等に注意しながら、交通法規に従って車両の運転を行う。車両が走行する道路状況は、刻々と変化するため、道路状況の変化に応じて運転を支援する情報を提示できれば、安全運転等に資することができる。
　例えば特許文献１には、運転者の周囲環境および運転者の視線の動きに基づいて、運転者の注意機能低下状態を推定し、運転支援を行う手法が開示されている。また、特許文献２には、視線方向情報、走行環境情報、運転技能情報等に基づいて、運転者の視覚による認識のしやすさを示す視覚的認識度を算出し、運転者に提示する表示情報の表示位置等を制御する手法が開示されている。
特開２０２１－１３０３８９号公報 国際公開第２０２０／２０８８０４号
　しかしながら、疲労などによる注意機能低下が起こっていないときや、交通環境が視覚による認識をしやすいときであっても、人は認知要因の交通事故や交通ヒヤリハットを起こすことがある。したがって、特許文献１，２の技術であっても、運転者の認知要因の交通事故や交通ヒヤリハットを充分に抑制することは困難である。
　本開示は、運転者が運転に対して万全な状態であっても、かつ／または交通環境が認識しやすい状況にあっても、注意すべき対象に注意しにくい状態を把握して、運転者への情報提示を適切に行うことができる運転支援装置、運転支援システム、及び運転支援方法を提供することを目的とする。
　本開示にかかる運転支援装置は、車両の周囲を撮像する車外向けカメラが撮像した前記車両の進行方向の画像から予測される予測画像と、実際の状況が撮像された実画像と、の差である予測誤差を算出する予測誤差演算部と、前記予測誤差に基づいて、運転者の注意状態を推定する注意状態推定部と、前記注意状態に基づいて、その時々の運転に対しより適正な注意状態、かつ／または運転操作への行動変容かつ／または意識変容を促す運転支援情報を出力する出力制御部と、を備える。
　本開示にかかる運転支援装置、運転支援システム、及び運転支援方法によれば、運転者の日常の運転で、運転に対して万全な状態であっても、かつ／または交通環境が認識しやすい状況にあっても、注意すべき対象に注意しにくい状態を把握し、その時々の運転に対しより適正な注意状態、かつ／または運転操作への行動変容かつ／または意識変容を促す情報提示を行うことができる。
図１は、実施形態１にかかる車両の構成の一例を示すブロック図である。 図２は、実施形態１にかかる運転支援装置の機能構成の一例を周辺機器とともに示すブロック図である。 図３は、実施形態１にかかる運転支援装置が予測誤差を算出する動作の流れを示す模式図である。 図４は、実施形態１にかかる運転支援装置が依拠する予測誤差と、実験の参加者が視線を向けた先との相関関係を表すグラフである。 図５は、実施形態１にかかる運転支援装置の情報提示動作の流れを示す模式図である。 図６は、実施形態１にかかる運転支援装置の他の情報提示例を示す模式図である。 図７は、実施形態１にかかる運転支援装置が行う運転支援処理の手順の一例を示すフロー図である。 図８は、実施形態１の変形例１にかかる運転支援装置が提示情報の数または量を変更する場合の例を示す模式図である。 図９は、実施形態１の変形例１にかかる運転支援装置が提示情報の種類を変更する場合の例を示す模式図である。 図１０は、実施形態１の変形例１にかかる運転支援装置が提示情報の種類を変更する場合の例を示す模式図である。 図１１は、実施形態１の変形例１にかかる運転支援装置が提示情報の位置を変更する場合の例を示す模式図である。 図１２は、実施形態１の変形例２にかかる運転支援装置が、予測誤差が大きい領域が時系列で散在している場合に生成する運転支援情報の一例を示す模式図である。 図１３は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意状態に偏りがある場合の他の情報提示例を示す模式図である。 図１４は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意状態に偏りがある場合の他の情報提示例を示す模式図である。 図１５は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意状態に偏りがある場合の他の情報提示例を示す模式図である。 図１６は、実施形態１の変形例２にかかる運転支援装置が、予測誤差が大きい領域が時系列で局在している場合に生成する運転支援情報の一例を示す模式図である。 図１７は、実施形態１の変形例２にかかる運転支援装置が、予測誤差が大きい領域が時系列で遍在している場合に生成する運転支援情報の一例を示す模式図である。 図１８は、実施形態１の変形例２にかかる運転支援装置が、予測誤差が大きい領域が時系列で増減していく場合に生成する運転支援情報の一例を示す模式図である。 図１９は、実施形態１の変形例２にかかる運転支援装置が、予測誤差が大きい領域が時系列で殆ど発生しない場合に生成する運転支援情報の一例を示す模式図である。 図２０は、実施形態１の変形例２にかかる運転支援装置が運転者の漫然運転を抑制する場合の他の提示例を示す模式図である。 図２１は、実施形態１の変形例２にかかる運転支援装置が運転者の漫然運転を抑制する場合の更に他の提示例を示す模式図である。 図２２は、実施形態１の変形例３にかかる運転支援装置が画像を２分割して運転支援情報を生成する場合の一例を示す模式図である。 図２３は、実施形態１の変形例３にかかる運転支援装置が画像を２分割して運転支援情報を生成する場合の他の例を示す模式図である。 図２４は、実施形態１の変形例４にかかる運転支援装置の機能構成の一例を周辺機器とともに示すブロック図である。 図２５は、実施形態１の変形例４にかかる運転支援装置の情報提示例を示す模式図である。 図２６は、実施形態１の変形例５にかかる運転支援装置の機能構成の一例を周辺機器とともに示すブロック図である。 図２７は、実施形態１の変形例５にかかる運転支援装置の情報提示例を示す模式図である。 図２８は、実施形態１の変形例５にかかる運転支援装置の他の情報提示例を示す模式図である。 図２９は、実施形態１の変形例５にかかる運転支援装置が潜在情報を提示させるメータディスプレイの構成の一例を示す模式図である。 図３０は、実施形態１の変形例５にかかる運転支援装置の潜在情報のメータディスプレイへの提示例を示す模式図である。 図３１は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＨＵＤとメータディスプレイとに分割して表示させる例を示す模式図である。 図３２は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＨＵＤとメータディスプレイとに分割して表示させる他の例を示す模式図である。 図３３は、実施形態１の変形例５にかかる運転支援装置が潜在情報を提示させるピラーディスプレイの構成の一例を示す模式図である。 図３４は、実施形態１の変形例５にかかる運転支援装置の潜在情報のピラーディスプレイへの提示例を示す模式図である。 図３５は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＨＵＤとピラーディスプレイとに分割して表示させる例を示す模式図である。 図３６は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＨＵＤとピラーディスプレイとに分割して表示させる他の例を示す模式図である。 図３７は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＨＵＤとスピーカとに分割して提示させる例を示す模式図である。 図３８は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＨＵＤとスピーカとに分割して表示させる他の例を示す模式図である。 図３９は、実施形態１の変形例５にかかる運転支援装置の潜在情報のＨＵＤの外周領域への提示例を示す模式図である。 図４０は、実施形態１の変形例５にかかる運転支援装置が潜在情報を提示させるＬＥＤディスプレイの構成の一例を示す模式図である。 図４１は、実施形態１の変形例５にかかる運転支援装置の潜在情報のＬＥＤディスプレイへの提示例を示す模式図である。 図４２は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＬＥＤの点滅によってＬＥＤディスプレイに提示させる例を示す模式図である。 図４３は、実施形態１の変形例５にかかる運転支援装置が生成した提示情報を、ＬＥＤを複数色で点灯させることによってＬＥＤディスプレイに提示させる例を示す模式図である。 図４４は、実施形態１の変形例５にかかる運転支援装置が潜在情報を提示させるミラーディスプレイの構成の一例を示す模式図である。 図４５は、実施形態１の変形例５にかかる運転支援装置の潜在情報のミラーディスプレイへの提示例を示す模式図である。 図４６は、実施形態１の変形例６にかかる運転支援装置の機能構成の一例を周辺機器とともに示すブロック図である。 図４７は、実施形態１の変形例６にかかる運転支援装置の情報提示例を示す模式図である。 図４８は、実施形態１の変形例６にかかる運転支援装置の他の情報提示例を示す模式図である。 図４９は、実施形態１の変形例６にかかる運転支援装置の更に他の情報提示例を示す模式図である。 図５０は、実施形態１の変形例７にかかる運転支援装置の機能構成の一例を周辺機器とともに示すブロック図である。 図５１は、実施形態２にかかる運転支援装置の機能構成の一例を周辺機器とともに示すブロック図である。 図５２は、実施形態２にかかる運転支援装置が行う運転支援処理の手順の一例を示すフロー図である。 図５３は、実施形態３にかかる運転支援装置の機能構成の一例を周辺機器とともに示すブロック図である。 図５４は、実施形態３にかかる運転支援装置が行う運転支援処理の手順の一例を示すフロー図である。
　以下、図面を参照しながら、本開示にかかる運転支援装置、運転支援システム、及び運転支援方法の実施形態について説明する。
［実施形態１］
　実施形態１について図面を用いて説明する。
（車両の構成例）
　図１は、実施形態１にかかる車両１００の構成の一例を示すブロック図である。図１には、車両１００に搭載される各種車載装置を示す。
　図１に示すように、実施形態１の車両１００は、運転支援装置１０、電子制御ユニット（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）２０、ＨＭＩ（Ｈｕｍａｎ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｒｆａｃｅ）制御部３０、検出装置４０、車両制御装置５０、及び情報提示装置６０を備えている。
　車両１００が備えるこれらの車載装置は、例えばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等の車載ネットワークによって、互いに情報の授受が可能に接続されている。
　運転支援装置１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍｅ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３、記憶装置１４、及びＩ／Ｏ（Ｉｎ／Ｏｕｔ）ポート１５を備えるコンピュータとして構成されている。運転支援装置１０は、車両１００に搭載されるＥＣＵの１つであってもよい。
　ＣＰＵ１１は、運転支援装置１０の全体を制御する。ＲＯＭ１２は、運転支援装置１０における保存領域として機能する。ＲＯＭ１２に記憶された情報は、運転支援装置１０の電源が切られても保持される。ＲＡＭ１３は、一次記憶装置として機能し、ＣＰＵ１１の作業領域となる。
　ＣＰＵ１１が、例えばＲＯＭ１２等に格納された制御プログラムをＲＡＭ１３に展開して実行することで、以下に詳述する運転支援装置１０の各種機能が実現される。
　記憶装置１４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等であり、ＣＰＵ１１の補助記憶装置として機能する。Ｉ／Ｏポート１５は、例えばＨＭＩ制御装置３０、及び後述する車外向けカメラ４１等と各種情報の送受信が可能に構成されている。
　このような構成により、運転支援装置１０は、ＨＭＩ制御装置３０及び情報提示装置６０を介して、少なくとも車両１００の進行方向の特定領域への注意喚起を促す情報を車両１００の運転者に提示して、運転者による車両１００の運転を支援する。
　ＥＣＵ２０は、例えば図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を備える車載電子ユニット等のコンピュータとして構成されている。ＥＣＵ２０は、車両１００の各部の状態を検出する検出装置４０から検出結果を受信する。また、ＥＣＵ２０は、受信した検出結果に基づいて車両制御装置５０に各種指令を送信し、車両１００の動作を制御させる。
　情報提示制御装置としてのＨＭＩ制御装置３０は、例えば図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を備えるコンピュータとして構成されている。ＨＭＩ制御装置３０は、ＣＰＵに替えて、あるいは加えて、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を備えていてもよい。ＨＭＩ制御装置３０は、車両１００の運転者に各種情報を提示する情報提示装置６０を制御して、運転支援装置１０から出力される各種情報を提示させる。
　検出装置４０は、車外向けカメラ４１、車内向けカメラ４２、車速センサ４３、アクセルセンサ４４、ブレーキセンサ４５、及び操舵角センサ４６等を備え、車両１００の各部の状態を検出し、ＥＣＵ２０へと送信する。
　車外向けカメラ４１及び車内向けカメラ４２は、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、またはＣＩＳ（ＣＭＯＳ　Ｉｍａｇｅ　Ｓｅｎｓｏｒ）等の撮像素子を内蔵するデジタルカメラである。
　車外向けカメラ４１は、車両１００の周囲を撮像する。車両１００には、車両１００の前方、後方、及び側方等をそれぞれ撮像する複数の車外向けカメラ４１が取り付けられていてもよい。車外向けカメラ４１は、少なくとも車両１００の進行方向を撮像した画像データを運転支援装置１０に送信する。
　車内向けカメラ４２は、車両１００の車室内に取り付けられており、例えば運転者の顔面等、車室内の様子を撮像する。
　車速センサ４３は、車両１００が備える車輪の回転量から車両１００の速度を検知する。アクセルセンサ４４は、運転者によるアクセルペダルの操作量を検知する。ブレーキセンサ４５は、運転者によるブレーキペダルの操作量を検知する。操舵角センサ４６は、運転者によるステアリングホイールの操作量、つまり、操舵角を検知する。
　車両制御装置５０は、ブレーキアクチュエータ５１、及びエンジンコントローラ５２を備え、ＥＣＵ２０からの指令にしたがって車両１００を減速させる等、危険を回避する動作等を車両１００に行わせる。
　ブレーキアクチュエータ５１は、通常走行時はブレーキセンサ４５の検知結果に基づいて車両１００の車輪に制動をかける。エンジンコントローラ５２は、通常走行時はアクセルセンサ４４の検知結果に基づいてエンジンの出力制御を行って、車両１００の加減速制御を実行する。
　車両制御装置５０は、ＥＣＵ２０からの指令にしたがって、例えばブレーキアクチュエータ５１を制御して車両１００に制動をかけることで、車両１００と障害物等との衝突回避を図る。これに替えて、または加えて、車両制御装置５０は、エンジンコントローラ５２により、エンジンの出力を例えば数秒間抑制させて車両１００の加速を抑制することで、車両１００と障害物等との衝突回避を図る。
　情報提示装置６０は、ヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ　Ｕｐ　Ｄｉｓｐｌａｙ）６１、車内モニタ６２、及びスピーカ６３等を車両１００の車室内に備え、ＨＭＩ制御装置３０からの指令にしたがって各種情報を運転者に提示する。
　ＨＵＤ６１は、速度、シフト位置、進行案内、及び警告等を、運転席の前方のフロントガラス（ウィンドウシールド）に投影する。
　車内モニタ６２は、例えば液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、または有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等として構成されたインダッシュモニタ、またはオンダッシュモニタ等である。車内モニタ６２は、車両１００の周辺画像、進行案内、及び警告等を表示する。
　スピーカ６３は、例えばダッシュボード等に組み込まれ、車両１００の周囲環境、進行案内、及び警告等を音声により運転者に提示する。
　このような構成により、情報提示装置６０は、映像および音声等によって運転者に各種情報を提示する。情報提示装置６０が、発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）ディスプレイ等の上記以外のディスプレイを備えていてもよい。また、情報提示装置６０が、ステアリングホイール、アクセルペダル、ブレーキペダル、座席、ヘッドレスト、またはシートベルト等に設けられたバイブレータ等、振動などによって運転者に情報を提示する構成を備えていてもよい。
（運転支援装置の構成例）
　次に、図２を用いて、実施形態１の運転支援装置１０の詳細構成について説明する。
　図２は、実施形態１にかかる運転支援装置１０の機能構成の一例を周辺機器とともに示すブロック図である。図２に示すように、運転支援装置１０は、予測誤差演算部１１０、運転者注意状態推定部１２０、及び出力制御部１３０を機能構成として備える。
　予測誤差演算部１１０は、車外向けカメラ４１により撮像された車両１００周辺の画像であって、例えば車両１００の進行方向の画像に基づいて、将来を予測した予測画像を生成する。また、予測画像時点における実画像を車外向けカメラ４１から取得し、予測画像と実画像との間の誤差を予測誤差として算出する。
　このような予測誤差演算部１１０の機能は、例えば制御プログラムを実行するＣＰＵ１１によって実現される。
　運転者注意状態推定部１２０は、予測誤差演算部１１０により算出された予測誤差に基づいて、運転者の注意状態を推定する。このとき、運転者注意状態推定部１２０は、車外向けカメラ４１から取得した画像を複数の領域に分割し、それぞれの領域がどれくらい運転者の注意を惹き付けやすいかを推定する。これにより、個々の領域ごとに運転者の注意状態を示すデータが得られる。
　このような運転者注意状態推定部１２０の機能は、例えば制御プログラムを実行するＣＰＵ１１によって実現される。
　出力制御部１３０は、運転者注意状態推定部１２０により推定された運転者の注意状態に基づいて、画像内の複数領域のうち、運転者への注意喚起を行う領域を決定する。また、出力制御部１３０は、決定した注意喚起を行う領域に関する情報を含む運転支援情報をＨＭＩ制御装置３０に出力する。運転支援情報には、例えば運転者に提示する提示情報、及び提示の態様等が、注意喚起を行う領域に紐づけられて含まれている。
　このような出力制御部１３０の機能は、例えば制御プログラムを実行するＣＰＵ１１、及びＣＰＵ１１の制御下で動作するＩ／Ｏポート１５によって実現される。
　ＨＭＩ制御装置３０は、運転支援装置１０から出力された運転支援情報に基づいて、上述の情報提示装置６０が備えるＨＵＤ６１、車内モニタ６２、及びスピーカ６３等の中から、運転者へ情報の提示を行わせる装置を選択し、画像内の複数領域のうち情報を提示する領域、及び提示の態様等を含む指令を選択した情報提示装置６０へと送信する。
　これにより、情報提示装置６０は、例えば画像内の複数領域のうち注意喚起を行う領域に、所定の態様で情報提示を行う。すなわち、情報提示装置６０のうちＨＵＤ６１または車内モニタ６２が情報提示対象である場合には、ＨＵＤ６１または車内モニタ６２は、車外向けカメラ４１の画像を表示するとともに、及び画像の所定領域に提示情報を重畳して表示する。また、情報提示装置６０のうちスピーカ６３が情報提示対象である場合には、スピーカ６３は、例えば車両１００の進行方向等、車両１００の所定領域に注意を払うよう警告するアナウンス、警告音等の音声を車内に出力する。
（運転支援情報の生成例）
　次に、図３～図５を用いて、実施形態１の運転支援装置１０による運転支援情報の生成例について説明する。
　図３は、実施形態１にかかる運転支援装置１０が予測誤差を算出する動作の流れを示す模式図である。図３に示すように、運転支援装置１０の予測誤差演算部１１０は、予測モデル「ＰｒｅｄＮｅｔ」に基づいて予測画像を生成する。
　ここで、「ＰｒｅｄＮｅｔ」は、大脳皮質における予測符号化の処理を模倣し、例えば深層学習の枠組みで構築された予測モデルである。「ＰｒｅｄＮｅｔ」については、例えば「Ｌｏｔｔｅｒ，Ｗ．，Ｋｒｅｉｍａｎ，Ｇ．，ａｎｄＣｏｘ，Ｄ．，「Ｄｅｅｐ　ｐｒｅｄｉｃｔｉｖｅ　ｃｏｄｉｎｇ　ｎｅｔｗｏｒｋｓ　ｆｏｒ　ｖｉｄｅｏ　ｐｒｅｄｉｃｔｉｏｎ　ａｎｄ　ｕｎｓｕｐｅｒｖｉｓｅｄ　ｌｅａｒｎｉｎｇ」，ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０５．０８１０４」等の文献に詳述されている。
　具体的には、予測誤差演算部１１０は、車外向けカメラ４１で撮像された２０フレーム等の複数フレーム分の画像が供給されると、予測モデル「ＰｒｅｄＮｅｔ」に基づいて、複数フレーム分の画像に対する将来フレームに相当する予測画像を生成する。
　すなわち、例えば時刻ｔ－２０～時刻ｔ－１までの画像が供給されたとすると、予測誤差演算部１１０は、予測モデル「ＰｒｅｄＮｅｔ」に基づいて、時刻ｔ０の将来フレームの予測画像を生成する。同様に、予測誤差演算部１１０は、時刻ｔ－１９～時刻ｔ－０までの画像から、時刻ｔ１の将来フレームの予測画像を生成する。同様に、予測誤差演算部１１０は、時刻ｔ－１８～時刻ｔ－１までの画像から、時刻ｔ２の将来フレームの予測画像を生成する。
　このように、予測誤差演算部１１０は、１フレームずつ時刻がずれた画像を用いて、全ての画像について将来フレームの予測画像を生成する。なお、予測画像の生成に用いる画像のフレーム数は、例えば３０フレーム等の、設計等に応じた任意のフレーム数であってよい。
　予測誤差演算部１１０は、生成した予測画像の時刻に、車外向けカメラ４１で実際に撮像された実画像を正解画像として、生成した予測画像と正解画像とをピクセル単位で比較し、両者の各ピクセル値の差分に基づいて予測誤差画像を生成する。
　図３には、時刻ｔ０における予測画像と、正解画像である時刻ｔ０の実画像との各ピクセル値の差分に基づいて、時刻ｔ０の予測誤差画像が生成された例を示している。
　また、予測誤差演算部１１０は、予測誤差画像の各ピクセルの値を算出し、それぞれを予測誤差の値とする。また、予測誤差演算部１１０は、生成した予測画像の全体の画像領域を複数領域に分割し、個々の領域ごとに予測誤差の総和や平均値等を算出する。
　ここで、個々の領域ごとの予測誤差の総和や平均値等、予測誤差に関わる値は、どの領域が、他の領域より運転者の注意を惹きやすいかを表す指標となる。
　図４は、実施形態１にかかる運転支援装置１０が依拠する予測誤差と、実験の参加者が視線を向けた先との相関関係を表すグラフである。図４に示すグラフの横軸は、ランダムに選んだピクセルの予測誤差が閾値以上となる割合である。グラフの縦軸は、参加者が視線を向けた先の予測誤差が閾値以上となる割合である。図４のグラフは、以下のようにして得ることができる。
　まず、運転者が見る運転時の前方映像のうち、運転者が視線を向けた先のピクセルの予測誤差の値を取得する。また、同様の映像からランダムに抽出したピクセルの予測誤差の値を取得する。また、予測誤差の閾値を最小値から最大値まで変化させ、取得した予測誤差が閾値以上となる割合を算出する。
　グラフの横軸に、ランダムに選んだピクセルの予測誤差が閾値以上の割合をプロットし、グラフの縦軸に、参加者が視線を向けた先の予測誤差が閾値以上の割合をプロットし、図４に示すグラフを得る。これにより、図４のように描かれる曲線の下側の面積（ＡＵＣ：Ａｒｅａ　Ｕｎｄｅｒ　Ｃｕｒｖｅ）値から、予測誤差と、運転者が視線を向けた先との相関関係を評価する。
　ここで、ＡＵＣ値が０．５より大きければ、予測誤差が大きい箇所に注意が惹き付けられる傾向があるとする。同様に、ＡＵＣ値が０．５であれば、これらの間には相関関係がないものとする。
　運転支援装置１０の運転者注意状態推定部１２０は、以上の評価に基づいて、運転者の注意状態を推定するよう構成されている。すなわち、運転者注意状態推定部１２０は、予測誤差の値または分散値等に基づいて、運転者の注意を惹きやすい領域を推定する。より具体的には、運転者注意状態推定部１２０は、運転者の注意状態として、予測誤差から推定される運転者の注意を惹きやすい領域または運転者の注意を惹き難い領域が画像の中心部に対して左右等に偏っていたり、一部に集中し過ぎていたり、全体に分散し過ぎていたりする場合の状態等を推定する。このように、運転者注意状態推定部１２０は、予測誤差の値または分散値等の高低のみならず、予測誤差の空間的な配置等にも基づいて、運転者の注意状態を推定する。
　実際の手順として、運転者注意状態推定部１２０は、車外向けカメラ４１の画像の全体の画像領域を、予測画像の複数領域と同様の複数領域に分割し、複数の領域における運転者の注意状態を推定する。つまり、例えば対象となる領域の予測誤差が大きいほど、その領域が運転者の注意を惹き付けやすいものと推定する。また、運転者注意状態推定部１２０は、上記のように、予測誤差の空間的な配置も運転者の注意状態の判定要件に加え、運転者の注意状態を推定する。
　運転支援装置１０の出力制御部１３０は、個々の領域における運転者の注意状態に応じて、運転者への注意喚起等を行う領域を決定する。すなわち、予測誤差の値または分散値等に基づいて、運転者の注意状態に偏り等、運転者の注意状態が不適正な状態にあると推定された場合、運転者の注意が疎かになっている領域があると考えられる。したがって、出力制御部１３０は、運転者の注意が疎かになっていると推定された領域を、運転者への注意喚起を促す必要のある領域、あるいは運転者の注意を適正に戻す際に注意が行き届く必要のある領域として抽出する。
　このように、運転者が充分に注意を払っておらず、運転者への注意喚起、あるいは注意補正を促す必要のある領域には、その時点で顕在化されていない潜在的な危険が含まれている可能性がある。例えば歩行者が車道に飛び出してきたなど、既に発生している事象を、その時点で顕在化されている危険とすると、車道の左端の生垣や路上駐車する車両や歩道に駐車する自転車などに運転者が無意識に注意を惹きつけられている状況は、右側から現れる車両等に対して素早く反応することを阻害する可能性があり、潜在的な危険となりうる。運転支援装置１０は、このような潜在的な危険を表す情報であっても運転者に提示することが可能である。運転支援装置１０によって運転者に知らされる情報を、これ以降、潜在情報などとも呼ぶ。
　以上に基づく、ＨＵＤ６１及び車内モニタ６２における潜在情報の表示例を図５に示す。
　図５は、実施形態１にかかる運転支援装置１０の情報提示動作の流れを示す模式図である。図５（Ａａ）～（Ａｂ）はＨＵＤ６１における潜在情報の表示例であり、図５（Ｂａ）～（Ｂｂ）は車内モニタ６２における潜在情報の表示例である。
　なお、図５においては、ＨＵＤ６１及び車内モニタ６２の少なくともいずれかに情報提示を行う場合の例である。ただし、ＨＵＤ６１と車内モニタ６２とにそれぞれ異なる態様で情報を提示してもよく、また、異なる情報を提示してもよい。つまり、ＨＵＤ６１及び車内モニタ６２の両方に情報を提示する場合において、ＨＵＤ６１と車内モニタ６２との表示内容は異なっていてもよい。
　図５（Ａａ）（Ｂａ）に示すように、運転者注意状態推定部１２０は、車外向けカメラ４１の画像を例えば縦×横が５個×５個の計２５個の複数領域に分割し、それぞれの領域における予測誤差の値の総和に基づいて、運転者の注意状態を推定する。
　図５（Ａａ）（Ｂａ）では、予測誤差が高く、運転者の注意を惹きやすい領域にハッチングを施している。つまり、図５（Ａａ）（Ｂａ）の例では、例えば画像の左側手前の親子連れ、左側奥の２人の人物、及び画像の右側手前の歩道を歩く人物を含む領域等が、運転者の注意状態に偏りがあると推定される領域である。
　ただし、運転者の注意状態の推定は、運転者注意状態推定部１２０の内部動作により行われるため、図５（Ａａ）（Ｂａ）は、ＨＵＤ６１及び車内モニタ６２の実際の表示例を示すものではない。
　運転者注意状態推定部１２０は、運転者の注意状態を推定する際、１つ以上の閾値に基づいて予測誤差の値および分散値等を判定し、それに応じて、運転者の注意を惹きやすい領域または運転者の注意を惹き難い領域が画像の中心部に対して左右等に偏っていたり、一部に集中し過ぎていたり、全体に分散し過ぎていたりする等の状態を推定する。すなわち、例えば３つの閾値に基づいて予測誤差を、運転者の注意の惹き付けやすさに応じて低、中、高などに振り分け、運転者の注意の偏り、集中度合い、または分散度合い等を低、中、高などと対応させる。
　出力制御部１３０は、運転者注意状態推定部１２０が推定した運転者の注意状態に基づいて、運転者への注意喚起を行う領域を決定する。つまり、運転者の注意を惹きつけやすい左側手前の親子連れ、及び左側奥の２人の人物を含む領域に相対する画像右側の領域、並びに画像の右側手前の歩道を歩く人物を含む領域に相対する画像左側の領域等は、運転者への注意喚起を行う領域となりうる。
　出力制御部１３０は、運転者の注意を惹きやすい領域に相対する画像右側の領域、及び画像左側の領域に表示させる提示情報、及び提示の態様等を含む運転支援情報をＨＭＩ制御装置３０に出力する。このとき、出力制御部１３０は、予測誤差の値および分散値等に応じて推定された運転者の注意の偏り、集中度合い、または分散度合い等に基づいて、各々の領域に表示させる提示情報の注意喚起の強度の高低の情報を提示の態様に含めてもよい。
　図５（Ａｂ）（Ｂｂ）に示すように、ＨＭＩ制御装置３０は、運転支援装置１０から出力された運転支援情報に基づいて、ＨＵＤ６１または車内モニタ６２に運転者に提示する情報を表示させる。
　図５（Ａｂ）（Ｂｂ）の例では、ＨＵＤ６１または車内モニタ６２には、提示情報として、例えば潜在情報６０１～６０３、及び矢印６０４が表示されている。潜在情報６０１～６０３は、例えば歩行者等を示す丸印である。矢印６０４は、例えば車両１００の前方を指しており、車両１００の進行方向を示している。
　また、図５（Ａｂ）（Ｂｂ）の例では、潜在情報６０１～６０３は、順に大きさ、つまり、丸印の直径が増している。これは、潜在情報６０１～６０３の表示領域に相対する領域の予測誤差から推察した運転者の注意の偏り等が順に増していることを示している。
　すなわち、画像の右側手前の人物を示す潜在情報６０１が表示される領域に相対する、画像の左側手前の親子連れを含む領域に運転者の注意は惹かれやすく、これらの親子連れを示す潜在情報６０３が表示される領域に相対する、画像の右側手前の人物を含む領域に運転者の注意は惹かれにくいと考えられる。また、画像の左側奥の２人の人物を示す潜在情報６０２が表示される領域に相対する、画像の左側奥の領域の運転者の注意の偏りは中程度である。
　実際のところ、運転者が、左側手前の親子連れに気を取られて、右側手前の人物に対する注意が疎かになることはあり得ることである。これに対し、右側手前の人物を示す潜在情報尾５０１を相対的に大きく表示することで、運転者の注意をより強力に喚起することができる。
　このように、各領域の予測誤差に応じて運転者の注意の偏り等を推定し、このような偏りに相対する領域に表示する潜在情報６０１～６０３のサイズを変更することで、運転者の注意を行き届けさせる効果を調整することができる。
　なお、出力制御部１３０が、潜在情報６０１～６０３のサイズに替えて、あるいは加えて、潜在情報６０１～６０３の輝度、色等を運転者の注意の偏り、集中度合い、または分散度合い等に応じて変更することで、運転者の注意を行き届けさせる効果を調整してもよい。
　また、車両１００の進行方向を示す矢印６０４は、車両１００の進行方向の左右に気を取られがちな運転者の注意を車両１００の進行方向に戻すことができる。
　なお、上記のように運転者の注意の偏り、集中度合い、または分散度合い等に１つ以上の閾値を設けた場合であっても、その閾値を超える大きさの運転者の注意の偏り、集中度合い、または分散度合い等が画像に含まれないこともありうる。このような場合の表示の一例を図６に示す。
　図６は、実施形態１にかかる運転支援装置１０の他の情報提示例を示す模式図である。図６（ａ）はＨＵＤ６１における潜在情報の表示例であり、図６（ｂ）は車内モニタ６２における潜在情報の表示例である。
　図６の例では、例えば３つの閾値に基づいて運転者の注意の偏り、集中度合い、または分散度合い等を判定した場合において、低、中、高のうち中程度の大きさに該当する運転者の注意の偏りしか画像に含まれていなかったものとする。
　図６に示すように、このような場合、運転支援装置１０は、ＨＭＩ制御装置３０を介してＨＵＤ６１または車内モニタ６２により、運転者の注意の偏りの大きさが中程度であった領域に相対する領域、つまり、画像の左側奥の２人の人物を含む領域に、これらの人物を示す潜在情報６０２を表示させる。このとき、運転支援装置１０は、運転者の注意の偏りの大きさに応じたサイズの潜在情報６０２を含む運転支援情報をＨＭＩ制御装置３０に出力することができる。
　なお、この場合にも、出力制御部１３０が、潜在情報６０１～６０３のサイズに替えて、あるいは加えて、潜在情報６０１～６０３の輝度、色等を運転者の注意の偏りに応じて変更することで、運転者の注意を行き届けさせる効果を調整してもよい。
　このように、例えば潜在情報６０１～６０３の全てが表示されない場合等であっても、運転者の注意状態に応じた強度で、潜在情報６０１～６０３のいずれかを表示させることが好ましい。
　また、運転支援装置１０は、車両１００が例えば低速度で走行している場合、あるいは、車両１００が停止している場合等には潜在情報を非表示とすることができる。これにより、不必要な情報を表示して、運転者を煩わせてしまうことを抑制可能である。
　なお、上述の図５及び図６では、予測誤差の値または分散値等に基づいて、運転者の注意に偏りがあると推定された場合について説明した。しかし、上述のように、運転者の注意状態には、注意が偏っている場合の他、運転者の注意の集中度合いや分散度合い等も含まれ、運転支援装置１０は、このような運転者の注意状態が適正な状態にないと推定される場合を包括的に検出しうる。
　したがって、運転支援装置１０は、予測誤差の値および分散値等に基づいて、例えば運転者の注意が１点に集中し過ぎている等と推定した場合には、運転者に車両１００周辺全体や画像全体に注意を払わせる効果のある情報提示を行ってもよい。また、運転支援装置１０は、予測誤差の値および分散値等に基づいて、例えば運転者の注意が全体に分散し過ぎている等と推定した場合には、運転者の注意を車両１００の進行方向や画像の中央部に惹き戻す効果のある情報提示を行ってもよい。
　実施形態１の運転支援装置１０は、このように、予測誤差から推定される運転者の注意を惹きやすい領域または運転者の注意を惹き難い領域が画像の中心部に対して偏っていたり、一部に集中し過ぎていたり、全体に分散し過ぎていたりする場合等に、そのような領域に相対する領域に運転者の注意を喚起する情報を提示する。
　また、スピーカ６３等に情報を提示させる場合、アナウンス、警告音等の音声の音量を調整することで、運転者の注意の偏り、集中度合い、または分散度合い等の大きさに応じた強度で運転者に情報を提示することができる。また、ステアリングホイール、アクセルペダル、ブレーキペダル、座席、ヘッドレスト、またはシートベルト等に設けられたバイブレータ等に情報を提示させる場合、振動の強度を調整することで、運転者の注意の偏り、集中度合い、または分散度合い等の大きさに応じた強度で運転者に情報を提示することができる。
（運転支援装置の処理例）
　次に、図７を用いて、実施形態１の運転支援装置１０における運転支援処理の例について説明する。図７は、実施形態１にかかる運転支援装置１０が行う運転支援処理の手順の一例を示すフロー図である。
　図７に示すように、運転支援装置１０の予測誤差演算部１１０は、複数の画像に基づき、それぞれの画像に対応する予測画像を生成し、これらの予測画像を複数領域に分割する（ステップＳ１１０）。また、予測誤差演算部１１０は、複数領域ごとに予測誤差の総和や平均値等、予測誤差に関わる値であって、運転者の注意状態の推定に使用可能な値を算出する（ステップＳ１２０）。
　運転者注意状態推定部１２０は、車外向けカメラ４１が撮像した画像を同様に複数領域に分割し、予測誤差に関わる上記値に基づいて、所定の領域において運転者の注意状態が適正な状態にない度合いが閾値ＴＨ１より大きいか否かを判定する（ステップＳ１３０）。
　予測誤差が閾値ＴＨ１より大きい場合（ステップＳ１３０：Ｙｅｓ）、運転者注意状態推定部１２０は、その領域に対する運転者の注意が偏っていたり、集中し過ぎていたり、分散し過ぎていたりする等、注意状態が不適正なものとなっている度合いが高いと推定する（ステップＳ１３２）。出力制御部１３０は、その領域に相対する領域を抽出し、抽出した領域に表示する提示情報の態様として、強度の注意喚起の強度を有する態様ＳＴ１を選択する（ステップＳ１３３）。
　予測誤差が閾値ＴＨ１以下の場合（ステップＳ１３０：Ｎｏ）、運転者注意状態推定部１２０は、予測誤差に関わる上記値に基づいて、その領域において運転者の注意状態が適正な状態にない度合いが閾値ＴＨ２より大きいか否かを判定する（ステップＳ１４０）。閾値ＴＨ２には、閾値ＴＨ１より小さい値が設定されている。
　予測誤差が閾値ＴＨ２より大きい場合（ステップＳ１４０：Ｙｅｓ）、運転者注意状態推定部１２０は、その領域に対する運転者の注意状態が不適正なものとなっている度合いが中程度であると推定する（ステップＳ１４２）。出力制御部１３０は、その領域に相対する領域を抽出し、抽出した領域に表示する提示情報の態様として、中程度の注意喚起の強度を有する態様ＳＴ２を選択する（ステップＳ１４３）。
　予測誤差が閾値ＴＨ２以下の場合（ステップＳ１４０：Ｎｏ）、運転者注意状態推定部１２０は、予測誤差に関わる上記値に基づいて、その領域において運転者の注意状態が適正な状態にない度合いが閾値ＴＨ３より大きいか否かを判定する（ステップＳ１５０）。閾値ＴＨ３には、閾値ＴＨ２より更に小さい値が設定されている。
　予測誤差が閾値ＴＨ３より大きい場合（ステップＳ１５０：Ｙｅｓ）、運転者注意状態推定部１２０は、その領域に対する運転者の注意状態が不適正なものとなっている度合いが低いと推定する（ステップＳ１５２）。出力制御部１３０は、その領域に相対する領域を抽出し、抽出した領域に表示する提示情報の態様として、低度の注意喚起の強度を有する態様ＳＴ３を選択する（ステップＳ１５３）。
　予測誤差が閾値ＴＨ３以下の場合（ステップＳ１５０：Ｎｏ）、運転者注意状態推定部１２０は、その領域と、その領域に相対する領域との間で、車両１００の運転に支障が生じうるほどには運転者の注意状態が不適正な状態にはないものとして、ステップＳ１６０の処理へと進む。
　これらの処理を経た後、運転支援装置１０は、分割した全ての領域に対する処理が終了したか否かを判定する（ステップＳ１６０）。未処理の領域がある場合には（ステップＳ１６０：Ｎｏ）、運転支援装置１０は、ステップＳ１２０からの処理を繰り返す。全ての領域に対する処理が終了した場合（ステップＳ１６０：Ｙｅｓ）、出力制御部１３０は、生成した運転支援情報をＨＭＩ制御装置３０に出力する（ステップＳ１７０）。
　以上により、実施形態１の運転支援装置１０による運転支援処理が終了する。
（概括）
　実施形態１の運転支援装置１０によれば、車外向けカメラ４１が撮像した車両１００の進行方向の画像から予測される予測画像と、実際の状況が撮像された実画像と、の差である予測誤差に基づいて、画像内の複数領域について運転者の注意状態をそれぞれ推定し、推定した注意状態に基づいて、画像内の複数領域のうち運転者への注意喚起を行う領域に関する情報を含む運転支援情報を出力する。
　これにより、運転者の注意機能は正常であっても認知ミスを起こしやすい領域、認識がしやすい情報提示がなされてもなお、認知ミスを起こしやすい領域等を、運転者への注意喚起を行う領域、あるいは運転者の注意を適正に戻す際に注意が行き届く必要のある領域として把握して、運転者への情報提示を適切に行うことができる。
　実施形態１の運転支援装置１０によれば、画像内の複数領域のうち予測誤差が所定の閾値より大きい領域を抽出し、抽出した領域が前記複数領域の中央から偏っているか、一部に集中し過ぎているか、全体に分散し過ぎているか、の少なくともいずれかの状態を推定する。また、運転者の注意状態が上記いずれかに該当すると推定された場合には、抽出した領域に相対する領域を、運転者への注意喚起を行う領域として抽出する。これにより、運転者の注意状態が不適正なものである度合いが大きい領域に相対する領域を、運転者が認知ミスを起こしやすい領域として抽出することができる。
　実施形態１の運転支援装置１０によれば、運転者への注意喚起を行う領域に紐づけられ、運転者に提示する潜在情報６０１～６０３、及び矢印６０４等の情報をＨＭＩ制御装置３０に出力し、注意喚起を行う領域に紐づけて潜在情報６０１～６０３、及び矢印６０４等を情報提示装置６０に提示させる。これにより、運転者の注意が疎かになりがちで認知ミスを起こしやすい領域に、運転者の注意を行き届かせることができる。
　実施形態１の運転支援装置１０によれば、運転者への注意喚起を行う領域がより大きな注意状態の不適正度合いが高いほど、運転者への注意喚起の強度が高い、あるいは運転者の注意を適正な状態へ誘導する効果が高い潜在情報６０１～６０３等の情報を出力する。これにより、運転者の注意状態が不適正である度合いの大きさに応じて、運転者への注意喚起の強度を調整して潜在情報６０１～６０３等を情報提示装置６０に提示させることができる。
（変形例１）
　次に、図８～図１１を用いて、実施形態１の変形例１の運転支援装置について説明する。変形例１の運転支援装置は、情報提示装置６０に提示させる情報の数、量、位置、及び種類等を変更する点が上述の実施形態１とは異なる。
　図８は、実施形態１の変形例１にかかる運転支援装置が提示情報の数または量を変更する場合の例を示す模式図である。
　図８（ａ）（ｂ）に示すように、変形例１の運転支援装置は、例えば複数の閾値ＴＨ１～ＴＨ３により分別した、運転者の注意状態の不適正度合いの大きさに基づく潜在情報６０１～６０３のうち、最も大きな不適正度合いに基づく潜在情報６０３に限定して、ＨＵＤ６１または車内モニタ６２に表示させる。
　これにより、運転者の注意が非常に疎かになっており、より危険度が高い領域に、優先的に潜在情報６０３等の情報提示を行わせることができる。よって、複数の情報が提示され、運転者の注意が却って散漫になってしまうことを抑制し、より重要な箇所に運転者の注意を行き届けさせることができる。
　図９及び図１０は、実施形態１の変形例１にかかる運転支援装置が提示情報の種類を変更する場合の例を示す模式図である。
　図９（ａ）（ｂ）に示すように、変形例１の運転支援装置は、車両の進行方向を示す矢印６０４に替えて、例えば「減速しましょう」等の注意を喚起するメッセージ６１４をＨＵＤ６１または車内モニタ６２に表示させる。
　図１０（ａ）（ｂ）に示すように、変形例１の運転支援装置は、車両の進行方向を示す矢印６０４に替えて、例えば「減速しましょう」等の注意を喚起するアナウンス６２４をスピーカ６３から出力させてもよい。スピーカ６３から出力される提示情報は警告音等であってもよい。
　図９及び図１０の構成により、潜在情報６０１～６０３とは異なる種類の提示情報が提示されるため、個々の情報に運転者の注意をより確実に行き届けさせやすくなる。また、注意喚起の内容によっては、メッセージ６１４またはアナウンス６２４等の言語情報で運転者に情報提示を行うことで、運転者がより的確に情報を把握することができる。
　図１１は、実施形態１の変形例１にかかる運転支援装置が提示情報の位置を変更する場合の例を示す模式図である。
　図１１（Ａａ）（Ｂａ）に示すように、変形例１の運転支援装置によって、運転者の注意状態の不適正度合いが大きい複数の領域が抽出されたものとする。変形例１の運転支援装置は、抽出された領域に応じて運転者の認識しやすさを判定し、運転者がより認識し難く、認知ミスがより生じやすい領域に優先的に情報提示を行う。
　運転者の認識しやすさは、例えば複数に分割された画像の領域ごとに予め設定されていてよい。あるいは、運転者の認識しやすさは、そのときの画像から把握される車両の進行方向の道路状況等に応じて、変形例１の運転支援装置が適宜判定してもよい。
　図１１（Ａｂ）（Ｂｂ）に示す例では、変形例１の運転支援装置は、抽出された複数の領域のうち、親子連れを含む領域に相対する、右側手前の人物を含む領域が、運転者がより認識し難い領域であると判定し、右側手前の人物を示す潜在情報６１２を表示させている。
　図１１（Ａｃ）（Ｂｃ）に示す例では、変形例１の運転支援装置は、抽出された複数の領域のうち、右側手前の人物を含む領域に相対する、左側手前の親子連れ、及び左側奥の２人の人物を含む領域が、運転者がより認識し難い領域であると判定し、これらの親子連れ及び人物たちを示す潜在情報６１２を表示させている。
　これにより、運転者がより認知ミスを起こしやすい領域に、優先的に潜在情報６１２等の提示情報を提示させることができる。よって、運転者による認知ミスをいっそう抑制することができる。
　変形例１の運転支援装置によれば、上記の他、上述の実施形態１の運転支援装置１０と同様の効果を奏する。
（変形例２）
　次に、図１２～図２１を用いて、実施形態１の変形例２の運転支援装置について説明する。変形例２の運転支援装置は、時系列データに基づいて運転支援情報を生成する点が上述の実施形態１とは異なる。
　図１２は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意を惹きつける度合いが大きい領域が時系列で散在している場合に生成する運転支援情報の一例を示す模式図である。
　図１２（Ａａ）～図１２（Ａｃ）は、変形例２の運転支援装置が、運転支援情報を生成する際に参照する時系列データを示している。図１２（Ａａ）～図１２（Ａｃ）では、運転者の注意を惹きつける度合いが高いと推定された領域にハッチングを施している。ただし、図１２（Ａａ）～図１２（Ａｃ）に示す画像が、実際にＨＵＤ６１等に表示されることを意味しない。
　図１２（Ａａ）に示す例では、変形例２の運転支援装置によって、画像の左側に運転者の注意を惹きつける度合いの大きな領域が抽出されている。図１２（Ａｂ）に示す例では、変形例２の運転支援装置によって、画像の右側に運転者の注意を惹きつける度合いの大きな領域が抽出されている。図１２（Ａｃ）に示す例では、変形例２の運転支援装置によって、画像の右側手前に運転者の注意を惹きつける度合いの大きな領域が抽出されている。
　このように、図１２（Ａａ）～図１２（Ａｃ）の例では、運転者の注意を惹きつける度合いが大きい領域が時系列で散在している。
　図１２（Ｂａ）～図１２（Ｂｃ）は、変形例２の運転支援装置が、時系列データに基づいて運転支援情報を生成する様子を示す。すなわち、図１２（Ｂａ）～図１２（Ｂｃ）は、図１２（Ａａ）～図１２（Ａｃ）に示す画像とそれぞれ同タイミングで行われる処理を示している。
　図１２（Ｂａ）に示すように、変形例２の運転支援装置は、図１２（Ａａ）の画像の表示タイミングに合わせ、画像の左側に抽出された、注意を惹きつける度合いの大きな領域に相対する右側の領域に潜在情報６２２を表示させる。
　図１２（Ｂｂ）に示すように、変形例２の運転支援装置は、図１２（Ａｂ）の画像の表示タイミングに合わせ、画像の右側に抽出された、注意を惹きつける度合いの大きな領域に相対する左側の領域に潜在情報６２２を表示させる。
　図１２（Ｂｃ）に示すように、変形例２の運転支援装置は、図１２（Ａｃ）の画像の表示タイミングに合わせ、画像の右側手前に抽出された、注意を惹きつける度合いの大きな領域に相対する左側手前の領域に潜在情報６２２を表示させる。
　運転者の注意を惹きつける度合いが大きい領域が時系列で散在している場合には、以上のように、変形例２の運転支援装置は、適宜、これらの領域に相対する領域に情報提示を行わせる。
　なお、図１２（Ｂａ）～図１２（Ｂｃ）の例では、画像上の領域において運転者の注意状態に偏りがある場合に、例えば潜在情報６２２を表示させることとした。しかし、運転者の注意状態に偏りがある場合に、上記以外の情報提示を行わせてもよい。
　図１３～図１５は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意状態に偏りがある場合の他の情報提示例を示す模式図である。
　図１３（ａ）に示す例では、変形例２の運転支援装置によって、画像の右側手前に運転者の注意を惹きつける度合いの大きな領域が抽出されている。
　図１３（ｂ）に示すように、変形例２の運転支援装置は、図１３（ａ）の画像の表示タイミングに合わせ、画像の右側手前に抽出された、注意を惹きつける度合いの大きな領域に相対する左側手前の領域に、潜在情報６２２に替えて、この領域を指し示す三角形のアイコン６２２ａを表示させてもよい。ただし、領域を指し示す提示情報は矢印等の他の形状または態様であってもよい。
　図１４（Ａａ）に示す例では、変形例２の運転支援装置によって、画像の左側手前に運転者の注意を惹きつける度合いの大きな領域が抽出されている。
　図１４（Ａｂ）に示すように、運転者の注意を惹きつける度合いの大きな領域が画像の左側手前にある場合、その領域を運転者が注視することにより、運転者の有効視野ＶＦもまた、車両の左側手前に偏っていることが推定される。この場合、例えば車両前方の道路中央付近は、運転者の有効視野外ＯＦとなっていると考えられる。
　図１４（Ｂａ）に示すように、変形例２の運転支援装置は、図１４（Ａａ）の画像の表示タイミングに合わせ、潜在情報６２２に替えて、画面中央の左右手前側から奥側に向けて伸びる直線状のライン６２２ｂを表示させてもよい。
　図１４（Ｂｂ）に示すように、図１４（Ｂａ）のライン６２２ｂ等を表示することで運転者がライン６２２ｂに視線を向けるため、運転者の有効視野ＶＦもまた、車両前方の道路中央付近に移り、運転者の注意を適正な状態へ戻すことができる。
　なお、運転者の有効視野ＶＦを道路中央付近に戻すことができれば、提示される情報は、ライン６２２ｂ以外の形状または態様であってよい。
　図１５（ａ）に示す例では、変形例２の運転支援装置によって、画像の左側手前に運転者の注意を惹きつける度合いの大きな領域が抽出されている。
　図１５（ｂ）に示すように、変形例２の運転支援装置は、図１５（ａ）の画像の表示タイミングに合わせ、潜在情報６２２に替えて、例えば「右側にも注意しましょう」等の注意を喚起するアナウンス６２２ｄをスピーカ６３から出力させてもよい。スピーカ６３から出力される提示情報は警告音等であってもよい。
　図１６は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意を惹きつける度合いが大きい領域が時系列で局在している場合に生成する運転支援情報の一例を示す模式図である。
　図１６（ａ）～図１６（ｄ）は、変形例２の運転支援装置が、運転支援情報を生成する際に参照する時系列データを示している。図１６（ａ）～図１６（ｄ）では、運転者の注意を惹きつける度合いが高いと推定された領域にハッチングを施している。ただし、図１６（ａ）～図１６（ｄ）に示す画像が、実際にＨＵＤ６１等に表示されることを意味しない。
　図１６（ａ）に示す例では、変形例２の運転支援装置によって、画像の左側手前に運転者の注意を惹きつける度合いの大きな領域が抽出されている。図１６（ｂ）に示す例では、変形例２の運転支援装置によって、画像の左側中央手前寄りに運転者の注意を惹きつける度合いの大きな領域が抽出されている。図１６（ｃ）に示す例では、変形例２の運転支援装置によって、画像の左側中央寄りに予運転者の注意を惹きつける度合いの大きな領域が抽出されている。図１６（ｄ）に示す例では、変形例２の運転支援装置によって、画像の左側に運転者の注意を惹きつける度合いの大きな領域が抽出されている。
　このように、図１６（ａ）～図１６（ｄ）の例では、運転者の注意を惹きつける度合いが大きい領域が時系列で画像の左側に偏っている。
　図１６（ｅ）は、変形例２の運転支援装置が、時系列データに基づいて運転支援情報を生成する様子を示す。つまり、図１６（ｅ）は、図１６（ａ）～図１６（ｄ）に示す画像の取得後のタイミングで行われる処理を示している。
　図１６（ｅ）に示すように、変形例２の運転支援装置は、図１６（ａ）～図１６（ｄ）の画像に基づいて、画像の左側に偏って抽出された、注意を惹きつける度合いの大きな領域に相対する右側の領域に潜在情報６３２を表示させる。
　運転者の注意を惹きつける度合いが大きい領域が時系列で局在している場合には、以上のように、変形例２の運転支援装置は、図１６（ａ）～図１６（ｄ）に示す画像と同タイミングで次々に情報の提示位置を切り替えるのではなく、運転者の注意を惹きつける度合いが時系列で局在している領域に相対する領域に、潜在情報６３２等の情報を提示させることができる。
　図１７は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意を惹きつける度合いが大きい領域が時系列で遍在している場合に生成する運転支援情報の一例を示す模式図である。
　図１７（ａ）～図１７（ｄ）は、変形例２の運転支援装置が、運転支援情報を生成する際に参照する時系列データを示している。図１７（ａ）～図１７（ｄ）では、運転者の注意を惹きつける度合いが高いと推定された領域にハッチングを施している。ただし、図１７（ａ）～図１７（ｄ）に示す画像が、実際にＨＵＤ６１等に表示されることを意味しない。
　図１７（ａ）に示す例では、変形例２の運転支援装置によって、画像の右側手前にｖの大きな領域が抽出されている。図１７（ｂ）に示す例では、変形例２の運転支援装置によって、画像の左側中央寄りに運転者の注意を惹きつける度合いの大きな領域が抽出されている。図１７（ｃ）に示す例では、変形例２の運転支援装置によって、画像の左側手前に運転者の注意を惹きつける度合いの大きな領域が抽出されている。図１７（ｄ）に示す例では、変形例２の運転支援装置によって、画像の右側奥に運転者の注意を惹きつける度合いの大きな領域が抽出されている。
　このように、図１７（ａ）～図１７（ｄ）の例では、運転者の注意を惹きつける度合いが大きい領域が時系列で画像全体に偏りなく現れている。
　図１７（ｅ）は、変形例２の運転支援装置が、時系列データに基づいて運転支援情報を生成する様子を示す。つまり、図１７（ｅ）は、図１７（ａ）～図１７（ｄ）に示す画像の取得後のタイミングで行われる処理を示している。
　図１７（ｅ）に示すように、変形例２の運転支援装置は、図１７（ａ）～図１７（ｄ）の画像に基づいて、ＨＵＤ６１による潜在情報６２２等の提示情報の表示は不要であると判定する。
　運転者の注意を惹きつける度合いが大きい領域が時系列で遍在している場合には、以上のように、変形例２の運転支援装置は、運転者が車両の前方全体に満遍なく注意を払っているものとして、潜在情報６２２等の情報を敢えて提示しないようにすることができる。
　図１８は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意を惹きつける度合いが大きい領域が時系列で増減していく場合に生成する運転支援情報の一例を示す模式図である。
　図１８（ａ）～図１８（ｄ）は、変形例２の運転支援装置が、運転支援情報を生成する際、参照する時系列データを示している。図１８（ａ）～図１８（ｄ）では、運転者の注意を惹きつける度合いが高いと推定された領域にハッチングを施している。ただし、図１８（ａ）～図１８（ｄ）に示す画像が、実際にＨＵＤ６１等に表示されることを意味しない。
　図１８（ａ）に示す例では、変形例２の運転支援装置によって、画像の左側中央寄りに運転者の注意を惹きつける度合いの大きな１つの領域が抽出されている。図１８（ｂ）に示す例では、変形例２の運転支援装置によって、画像の左側の更に中央寄りに運転者の注意を惹きつける度合いの大きな２つの領域が抽出されている。図１８（ｃ）に示す例では、変形例２の運転支援装置によって、画像の左側手前に運転者の注意を惹きつける度合いの大きな３つの領域が抽出されている。図１８（ｄ）に示す例では、変形例２の運転支援装置によって、画像の左側中央手前寄りに運転者の注意を惹きつける度合いの大きな５つ領域が抽出されている。
　このように、図１８（ａ）～図１８（ｄ）の例では、運転者の注意を惹きつける度合いが大きい領域が時系列で次第に増加している。
　図１８（ｅ）は、変形例２の運転支援装置が、時系列データに基づいて運転支援情報を生成する様子を示す。つまり、図１８（ｅ）は、図１８（ａ）～図１８（ｄ）に示す画像の取得後のタイミングで行われる処理を示している。
　図１８（ｅ）に示すように、変形例２の運転支援装置は、図１８（ａ）～図１８（ｄ）の画像に基づいて、ＨＵＤ６１による潜在情報６２２等、画像の特定領域への表示を行わず、例えば「徐行しましょう」等の、運転者の認知負荷が増加していることを示すメッセージ６４２をＨＵＤ６１に表示させる。運転者の認知負荷が増加していることを示す情報提示は、例えばスピーカ６３からのアナウンス等によってなされてもよい。
　運転者の注意を惹きつける度合いが大きい領域が時系列で増加していく場合には、以上のように、変形例２の運転支援装置は、運転者の認知負荷が増加していることを検知して、画像の特定領域に紐づいた提示情報ではなく、運転者の認知負荷を低減させる情報を提示させることができる。
　図１９は、実施形態１の変形例２にかかる運転支援装置が、運転者の注意を惹きつける度合いが大きい領域が時系列で殆ど発生しない場合に生成する運転支援情報の一例を示す模式図である。
　図１９（Ａ）～図１９（Ｄ）は、変形例２の運転支援装置が、運転支援情報を生成する際に参照する時系列データを示している。図１９（Ａ）～図１９（Ｄ）では、運転者の注意を惹きつけやすく、運転者の注意状態の不適正度合いが高いと推定された領域にハッチングを施している。ただし、図１９（Ａ）～図１９（Ｄ）に示す画像が、実際にＨＵＤ６１等に表示されることを意味しない。
　図１９（Ａ）に示す例では、運転者の注意状態の不適正度合いが所定の閾値を上回る領域は抽出されていない。図１９（Ｂ）に示す例でもまた、運転者の注意状態の不適正度合いが所定の閾値を上回る領域は抽出されていない。図１９（Ｃ）に示す例では、変形例２の運転支援装置によって、画像の右側手前に運転者の注意状態の不適正度合いの大きな領域が抽出されている。図１９（Ｄ）に示す例では、運転者の注意状態の不適正度合いが所定の閾値を上回る領域が抽出されない状態が繰り返されている。
　このように、図１９（Ａ）～図１９（Ｄ）の例では、運転者の注意を惹きつけやすく、運転者の注意状態の不適正度合いが大きい領域が、時系列で見ても殆ど現れていない。
　図１９（Ｅａ）は、変形例２の運転支援装置が、時系列データに基づいて運転支援情報を生成する様子を示す。つまり、図１９（Ｅａ）は、図１９（Ａ）～図１９（Ｄ）に示す画像の取得後のタイミングで行われる処理を示している。
　図１９（Ｅａ）に示すように、変形例２の運転支援装置は、図１９（Ａ）～図１９（Ｄ）の画像に基づいて、ＨＵＤ６１による潜在情報６２２等、画像の特定領域への表示を行わず、例えば「前方に注意しましょう」等の、車両の前方全体への運転者の注意が疎かになっていることを示すメッセージ６４２ａをＨＵＤ６１に表示させる。車両の前方全体への注意が疎かになっていることを示す情報提示は、例えばスピーカ６３からのアナウンス等によってなされてもよい。
　図１９（Ｅｂ）は、変形例２の運転支援装置が、時系列データに基づいて運転支援情報を生成する様子を示す他の例である。図１９（Ｅｂ）もまた、図１９（Ａ）～図１９（Ｄ）に示す画像の取得後のタイミングで行われる処理例を示す。
　図１９（Ｅａ）に示すように、変形例２の運転支援装置は、図１９（Ａ）～図１９（Ｄ）の画像に基づいて、「前方に注意しましょう」等のメッセージ６４２ａの表示に替えて、例えば画面中央の左右手前側から奥側に向けて伸びる直線状のライン６４２ｂを表示させてもよい。これにより、上述の図１４（Ｂａ）（Ｂｂ）に示した例と同様、車両の前方への運転者の注意を促すことができる。
　運転者の注意を惹きつける度合いが大きい領域が、時系列で見ても殆ど生じない場合には、以上のように、変形例２の運転支援装置は、車両の前方全体への運転者の注意が疎かになっているものとして、運転者の漫然運転を抑制する情報を提示させることができる。
　なお、運転者の漫然運転を抑制する提示情報は図１９の例に限られず、上記とは異なる態様で提示されてもよい。
　図２０は、実施形態１の変形例２にかかる運転支援装置が運転者の漫然運転を抑制する場合の他の提示例を示す模式図である。
　図２０（ａ）には、上述の図１９（Ａ）～図１９（Ｄ）に示した時系列データのうち、図１９（Ｃ）の状態のみを示している。
　図２０（ｂ）に示すように、変形例２の運転支援装置は、図２０（ａ）を含む時系列データに基づいて、運転者が漫然運転に陥りがちな状態にあることを検知して、例えば「徐行しましょう」等の、運転者に「かもしれない運転」を勧めるメッセージ６４２ｃをＨＵＤ６１に表示させる。
　「かもしれない運転」とは、高い安全意識を保って、危険な状況になることを予測して運転することである。例えば横断歩道に差し掛かったときなどに「歩行者が飛び出してくるかもしれない」ことを予測して危険に備えること、また、交差点で右折する際に「対向車がスピードを上げてくるかもしれない」ことを予測して危険に備えること等が「かもしれない運転」として挙げられる。
　このように、運転者に「かもしれない運転」勧める情報提示は、例えばスピーカ６３からのアナウンス等によってなされてもよい。
　図２１は、実施形態１の変形例２にかかる運転支援装置が運転者の漫然運転を抑制する場合の更に他の提示例を示す模式図である。
　図２１（ａ）にもまた、上述の図１９（Ａ）～図１９（Ｄ）に示した時系列データのうち、図１９（Ｃ）の状態のみを示す。
　図２１（ｂ）に示すように、変形例２の運転支援装置は、図２０（ａ）を含む時系列データに基づいて、運転者が漫然運転に陥りがちな状態であることを検知したうえで、例えば運転者が徐行運転をしていれば、「適切な徐行ができています」等の、「かもしれない運転」を誉めるメッセージ６４２ｄをＨＵＤ６１に表示させる。
　このような、運転者の「かもしれない運転」は、例えば変形例２の運転支援装置が、車速センサ４３、アクセルセンサ４４、ブレーキセンサ４５、及び操舵角センサ４６等の検出装置４０（図１参照）の検出結果を、直接的に、あるいは、上述のＥＣＵ２０（図１参照）を介して取得することで検知することができる。
　変形例２の運転支援装置は、例えば車速センサ４３、アクセルセンサ４４、及びブレーキセンサ４５の検出結果から、運転者が車両を減速させて徐行運転を行っていること等を検知することができる。また、変形例２の運転支援装置は、例えば操舵角センサ４６等の検出結果から、運転者が車両を適切に操舵できていること等を検知することができる。
　このように、運転者の「かもしれない運転」を誉める情報提示は、例えばスピーカ６３からのアナウンス等によってなされてもよい。
　運転者の「かもしれない運転」を誉める情報提示によって、運転者は、車両の現在の走行操作が正しいことを認識でき、引き続き、高い安全意識を保って走行操作を行うモチベーションが得られる。
　なお、上述の図１２～図２１では、変形例２の運転支援装置が、専らＨＵＤ６１に情報を提示させる例を示した。しかし、変形例２の運転支援装置が、上述の図１２～図２１に示した各種情報を車内モニタ６２に提示させてもよい。
　変形例２の運転支援装置によれば、上述の図１４及び図１５の例のように運転者の有効視野ＶＦを適正な位置に戻したり、図１８の例のように運転者の認知負荷を低減させたり、図１９の例のように運転者の漫然運転を抑制したり、図２０または図２１の例のように「かもしれない運転」を奨励するなど、運転者の注意状態に基づいて、その時々の運転に対し、より適正な注意状態、並びに運転操作への行動変容および意識変容の少なくともいずれかを促すことができる。
　つまり、注意状態推定部が推定した注意状態が、偏っているときには偏りを正し、一部に集中し過ぎているときには分散させ、全体に分散し過ぎているときには集中させるように、視認行動を無意識に変容させ、必要な注意が行き届かせることができるだけの時間を作り出すために徐行するなどの運転行動を変容や定着させることができる。
　変形例２の運転支援装置によれば、上記の他、上述の実施形態１の運転支援装置１０と同様の効果を奏する。
（変形例３）
　次に、図２２及び図２３を用いて、実施形態１の変形例３の運転支援装置について説明する。変形例３の運転支援装置は、異なる分割数で画像を分割する点が上述の実施形態１とは異なる。
　図２２は、実施形態１の変形例３にかかる運転支援装置が画像を２分割して運転支援情報を生成する場合の一例を示す模式図である。
　図２２（ａ）（ｂ）に示すように、変形例３の運転支援装置は、車両の進行方向を撮像した画像を左右に２分割し、左右それぞれの領域について、運転者の注意状態の不適正度合いが所定の閾値を超えているか否かを算出する。いずれかの領域において注意状態の不適正度合い差が所定の閾値を超えていた場合には、変形例３の運転支援装置は、その領域に相対する領域全体に潜在情報６５２ａを表示させる。
　図２２（ａ）（ｂ）に示す例では、左右に分割された領域のうち左側領域において、運転者の注意状態の不適正度合いが所定の閾値を超えており、変形例３の運転支援装置が、左側領域に相対する右側領域全体に潜在情報６５２ａを表示させている。このとき、変形例３の運転支援装置は、運転者の注意状態の不適正度合いの高低に応じて、例えば潜在情報６５２ａの輝度、色等を変化させて、運転者への注意喚起の強度の高低を調整してもよい。
　図２３は、実施形態１の変形例３にかかる運転支援装置が画像を２分割して運転支援情報を生成する場合の他の例を示す模式図である。
　図２３（ａ）（ｂ）に示す例でも、変形例３の運転支援装置は、車両の進行方向を撮像した画像を左右に２分割し、左右それぞれの領域について、運転者の注意状態の不適正度合いが所定の閾値を超えているか否かを算出する。いずれかの領域において注意状態の不適正度合いが所定の閾値を超えていた場合には、変形例３の運転支援装置は、その領域に相対する領域の全体ではなく一部に潜在情報６５２ｂを表示させる。
　図２３（ａ）（ｂ）に示す例では、左右に分割された領域のうち左側領域において、運転者の注意状態の不適正度合いが所定の閾値を超えており、変形例３の運転支援装置が、左側領域に相対する右側領域の下端部に、例えば、ダッシュボードに沿ってフロントガラスの下部の矩形領域の提示領域へ潜在情報６５２ｂを表示させている。このとき、変形例３の運転支援装置は、運転者の注意状態の不適正度合いの高低に応じて、例えば潜在情報６５２ｂの長さ、太さ、輝度、色等を変化させて、運転者への注意喚起の強度の高低を調整してもよい。
　なお、変形例３の運転支援装置が、左右それぞれの領域において共に、運転者の注意状態の不適正度合いが所定の閾値を超えていた場合、運転者の注意状態の不適正度合いがより大きい領域に相対する領域に潜在情報６５２ａ，６５２ｂを表示させてもよい。
　以上のように、例えば画像の分割数を削減することで、運転者に提示する情報を簡素化することができ、運転者の注意が却って散漫になってしまうことを抑制して、運転者への情報提示をいっそう適切に行うことができる。
　変形例３の運転支援装置によれば、その他、上述の実施形態１の運転支援装置１０と同様の効果を奏する。
　なお、上述の変形例３においては、画像を２分割する例について示した。また、上述の実施形態１等においては、画像を縦×横が５個×５個の計２５個の領域に分割する例について示した。しかし、画像の分割例はこれに限られず、様々な個数および配置に画像を分割することができる。例えば、画像をピクセルごとに分割してもよい。この場合、画像は、縦×横が１６０×１２０、または１９２０×１０８０等に分割されることとなる。
（変形例４）
　次に、図２４及び図２５を用いて、実施形態１の変形例４の運転支援装置１０ａについて説明する。変形例４の運転支援装置１０ａは、ＥＣＵ２０に運転支援情報を出力する点が上述の実施形態１とは異なる。
　図２４は、実施形態１の変形例４にかかる運転支援装置１０ａの機能構成の一例を周辺機器とともに示すブロック図である。
　図２４に示すように、変形例４の車両１０１には、上述の実施形態１の運転支援装置１０に替えて、変形例４の運転支援装置１０ａが搭載されている。運転支援装置１０ａは、上述の実施形態１の出力制御部１３０に替えて、ＥＣＵ２０に運転支援情報を出力する出力制御部１３０ａを備える。
　出力制御部１３０ａは、運転者への注意喚起を行う領域に紐づけられた運転支援情報を生成する。運転支援情報には、例えば車両１０１の動作を指示する動作情報、及び運転者の注意状態の不適正度合いの高低に基づいて決定された動作の度合い等が、注意喚起を行う領域に紐づけられて含まれている。
　運転支援情報に含まれる車両１０１の動作指示には、例えば車両１０１に制動をかける動作の指示、及び車両１０１の加速を抑制する動作の指示等の少なくともいずれかが含まれる。運転支援情報に含まれる動作の度合いは、例えば車両１０１の減速効果の高低等でありうる。
　つまり、出力制御部１３０ａは、運転者への注意喚起を行う領域が、運転者の注意状態のより大きな不適正度合いに基づくほど、車両１０１の減速効果が高い動作情報を含む運転支援情報を出力することができる。
　車載電子ユニットとしてのＥＣＵ２０は、運転支援装置１０ａからＥＣＵ２０に出力された運転支援情報に基づいて、上述の車両制御装置５０が備えるブレーキアクチュエータ５１、及びエンジンコントローラ５２の少なくともいずれか（図１参照）によって、車両１０１を減速させる動作を行わせる。
　すなわち、ＥＣＵ２０は、例えば制動装置としてのブレーキアクチュエータ５１によって車両１０１に制動をかける。また、ＥＣＵ２０は、ブレーキアクチュエータ５１による車両１０１の制動動作に替えて、あるいは加えて、エンジン制御装置としてのエンジンコントローラ５２によって車両１０１の加速を抑制する。
　これにより、運転支援装置１０ａによって運転者への注意喚起を行う領域が抽出された場合、その領域に存在しうる危険を回避する動作を車両１０１に行わせることができる。つまり、例えばその領域に、運転者が注意を払っておらず、車両１０１との接触の懸念がある歩行者等が居る場合等に、車両１０１を減速させて、その歩行者との接触を回避することができる。
　また、出力制御部１３０ａは、運転者への注意喚起を行う領域に紐づけられ、ＨＭＩ制御装置３０（図１参照）に出力する運転支援情報の生成も行う。ＨＭＩ制御装置３０に出力される運転支援情報には、例えば車両１０１に行わせた動作を運転者に知らせる提示情報が、注意喚起を行う領域に紐づけられて含まれている。
　ＨＭＩ制御装置３０は、運転支援装置１０ａから出力された運転支援情報に基づいて、上記のような回避動作を車両１０１に行わせたことを運転者に知らせる提示情報を情報提示装置６０（図１参照）に提示させる。
　図２５は、実施形態１の変形例４にかかる運転支援装置１０ａの情報提示例を示す模式図である。
　図２５（ａ）（ｂ）に示すように、変形例４の運転支援装置１０ａは、上記のような回避動作を車両１０１に行わせる際、ＨＭＩ制御装置３０に上記の運転支援情報を出力し、例えば「徐行しました」等の、車両１０１の減速制御を行ったことを示すメッセージ６３４を、ＨＵＤ６１または車内モニタ６２に表示させる。車両１０１の減速制御を行ったことを示す情報提示は、例えばスピーカ６３からのアナウンス等によってなされてもよい。
　これにより、運転支援装置１０ａによって車両１０１に回避動作を行わせた場合、意図しない車両の減速制御により、運転者が車両の故障等と勘違いしてしまうことを抑制することができる。
　なお、図２４及び図２５の例では、車両１０１の減速制御を行う場合について説明したが、この他、ステアリングホイールの舵角制御による走行レーンの調整、及びウインカー操作等の、他の動作制御を車両１０１に対して行ってもよい。
　変形例４の運転支援装置１０ａによれば、運転者への注意喚起を行う領域に紐づけられ、車両１０１の動作を指示する動作情報を、車両１０１を制御するＥＣＵ２０に出力する。ＥＣＵ２０は、車両を減速させるブレーキアクチュエータ５１及びエンジンコントローラ５２等に、運転支援装置１０ａから出力された動作情報に基づく動作を行わせる。これにより、運転者が見落とす恐れのある危険をより確実に回避することができる。
　変形例４の運転支援装置１０ａによれば、運転者への注意喚起を行う領域がより大きな予測誤差に基づくほど、車両１０１の減速効果が高い動作情報を出力する。これにより、危険回避の確度がよりいっそう高まる。
　変形例４の運転支援装置１０ａによれば、その他、上述の実施形態１の運転支援装置１０と同様の効果を奏する。
（変形例５）
　次に、図２６～図４５を用いて、実施形態１の変形例５の運転支援装置について説明する。変形例５の運転支援装置は、潜在情報に加えて顕在情報を提示させる点が上述の実施形態１とは異なる。
　図２６は、実施形態１の変形例５にかかる運転支援装置１０ｂの機能構成の一例を周辺機器とともに示すブロック図である。
　図２６に示すように、変形例５の車両１０２には、上述の実施形態１の運転支援装置１０に替えて、変形例５の運転支援装置１０ｂが搭載されている。
　運転支援装置１０ｂは、上述の実施形態１の運転支援装置１０の構成に加えて、顕在情報を生成する顕在情報演算部１１１を備え、また、上述の実施形態１の出力制御部１３０に替えて、運転者注意状態推定部１２０が推定した運転者の注意状態と、顕在情報演算部１１１が生成した顕在情報とを取得して、運転支援情報を出力する出力制御部１３０ｂを備えている。
　上述のように、車両の走行中の危険には、その時点で顕在化されている危険と、その時点で顕在化されていない潜在的な危険とが含まれる。潜在的な危険を運転者に知らせる上述の各種潜在情報に対し、顕在情報演算部１１１は、その時点で顕在化されている危険を運転者に知らせる顕在情報を生成する。
　より具体的には、顕在情報演算部１１１は、車外向けカメラ４１が撮像した車両１０２の進行方向の画像から、車道にいきなり飛び出してきた歩行者等、その時点で顕在化されている危険を抽出し、このような危険情報を含む顕在情報を生成する。
　顕在情報には、例えば運転者に顕在的な危険を知らせる提示情報、提示の態様、及び提示情報の注意喚起の強度の高低の情報等が、注意喚起を行う領域に紐づけられて含まれている。
　運転者注意状態推定部１２０は、推定した運転者の注意状態と、顕在情報演算部１１１が生成した顕在情報とを出力制御部１３０ｂへと受け渡す。
　出力制御部１３０ｂは、運転者の注意状態に基づいて抽出した運転者に注意喚起を行う領域に関する情報、運転者注意状態推定部１２０から受け渡された顕在情報、及び潜在情報を含む運転支援情報を、ＨＭＩ制御装置３０に出力する。
　図２７は、実施形態１の変形例５にかかる運転支援装置１０ｂの情報提示例を示す模式図である。
　図２７（ａ）（ｂ）に示すように、変形例５の運転支援装置１０ｂは、顕在情報６６２ａと潜在情報６０５ａとを、ＨＵＤ６１または車内モニタ６２に表示させる。図２７（ａ）（ｂ）の例では、運転者に注意喚起を行う領域は、例えば右側手前の人物を含む領域であるものとする。
　変形例５の運転支援装置１０ｂは、右側手前の人物を示す楕円形の顕在情報６６２ａを、その人物の足元に表示させる。また、変形例５の運転支援装置１０ｂは、右側手前の人物を示す矩形の潜在情報６０５ａを、その人物の足元から離れた下方位置に表示させる。
　ただし、このような顕在情報６６２ａ及び潜在情報６０５ａの形状、提示位置、及び提示の態様等は、上記の図２７の例に限定されない。
　図２８は、実施形態１の変形例５にかかる運転支援装置１０ｂの他の情報提示例を示す模式図である。
　図２８（ａ）（ｂ）に示す例では、変形例５の運転支援装置１０ｂは、右側手前の人物を示す矩形の顕在情報６６２ｂを、その人物を囲むように表示させる。また、変形例５の運転支援装置１０ｂは、右側手前の人物を示す楕円形の潜在情報６０５ｂを、その人物の足元から離れた下方位置に表示させる。
　なお、変形例５の運転支援装置１０ｂは、例えば顕在情報６６２ａ，６６２ｂのサイズ、輝度、色等を変化させて、運転者への注意喚起の強度の高低を調整してもよい。また、変形例５の運転支援装置１０ｂは、運転者の注意状態の不適正度合いの高低に応じて、潜在情報６０５ａ，６０５ｂのサイズ、輝度、色等を変化させて、運転者への注意喚起の強度の高低を調整してもよい。
　このように、顕在情報６６２及び潜在情報６０５の形状、提示位置、及び提示の態様等は様々に異なる態様で提示することができる。
　以上の構成により、潜在的な危険のみならず、既に顕在化している危険についても運転者に提示して、運転者の注意状態を高めることができる。よって、運転者への情報提示をよりいっそう適切に行うことができる。
　なお、上述の構成のように、顕在情報と潜在情報とを共に運転者に提示する際には、顕在情報と潜在情報とを異なる情報提示装置６０にそれぞれ提示させてもよい。このとき、情報提示装置６０に含まれる各種構成のうち、視認性が高く、運転者が気づきやすいＨＵＤ６１及び車内モニタ６２等に、より高い危険性を示す顕在情報を提示することが好ましい。
　一方、情報提示装置６０に含まれる各種構成のうち、運転者の前方あるいは注意すべき対象への注意を逸らすことなく情報の提示が可能な構成に、比較的低い危険性を示す潜在情報を提示することができる。
　このような構成の例として、以下に、メータディスプレイ６４（図２９参照）、ピラーディスプレイ６５（図３３参照）、スピーカ６３、ＨＵＤ６１の外周領域、ＬＥＤディスプレイ６６（図４０参照）、及びミラーディスプレイ６７（図４４参照）等に潜在情報を提示する場合の例について説明する。
　図２９は、実施形態１の変形例５にかかる運転支援装置１０ｂが潜在情報を提示させるメータディスプレイ６４の構成の一例を示す模式図である。
　図２９に示すように、メータディスプレイ６４は、速度計、エンジン回転計、燃料計、水温計、及び距離計等の各種のメータ６４２と、これらのメータ６４２間およびこれらのメータ６２４の周囲に設けられたＣＩＤ（Ｃｅｎｔｅｒ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｄｉｓｐｌａｙ）６４１とを含んでインストルメントパネル等に設けられている。メータ６４２は物理的な構成を有するメータであってもよく、メータ６２４自体がディスプレイに表示された映像であってもよい。
　図３０は、実施形態１の変形例５にかかる運転支援装置１０ｂの潜在情報のメータディスプレイ６４への提示例を示す模式図である。
　図３０（Ａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、メータディスプレイ６４の外周部分を取り囲む潜在情報６１５を、メータディスプレイ６４の全周に表示させる。ただし、車両の前方全体への強度の注意喚起を促す潜在情報は、潜在情報６１５とは異なる形状、または態様であってもよい。
　図３０（Ｂａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、対となった潜在情報６１９ａを、メータディスプレイ６４の左右両端部に表示させる。
　潜在情報６１９ａは、例えば車両の正面に見立てたメータディスプレイ６４の中央付近を指し示す１対の三角形を組み合わせた形状とすることができる。ただし、車両の前方全体への低度の注意喚起を促す潜在情報は、矢印等の他の形状または態様であってもよい。
　図３０（Ｂｂ）に示すように、上記の潜在情報６１９ａの他の態様として、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、メータディスプレイ６４の中央を指し示す三角形の潜在情報６１９ｂを、メータディスプレイ６４の中央下端部に表示させることができる。
　図３０（Ｃａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６１６ａを、メータディスプレイ６４の左側端部に表示させる。
　潜在情報６１６ａは、例えば車両の左側領域に見立てたメータディスプレイ６４の左側端部に沿って配置される矩形領域に提示される提示情報とすることができる。ただし、注意状態に大きな偏りのある運転者に強度の注意喚起を促す潜在情報は、上記の潜在情報６１６ａとは異なる他の形状または態様であってもよい。
　図３０（Ｃｂ）に示すように、上記の潜在情報６１６ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６１６ｂを、メータディスプレイ６４の左側下端部に表示させることができる。
　潜在情報６１６ｂは、例えば車両の左側領域に見立てたメータディスプレイ６４の左側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。
　図３０（Ｄａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６１６ａに加えて、車両の左側領域に相対する右側領域を示す潜在情報６１７ａを、メータディスプレイ６４の右側端部に表示させる。
　潜在情報６１７ａは、例えば車両の左側領域に見立てたメータディスプレイ６４の右側端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６１７ａは、輝度、色等を上記の潜在情報６１６ａとは異なる態様で提示することにより、注意喚起の強度を潜在情報６１６ａよりも低く抑えることができる。
　なお、注意状態に低度の偏りのある運転者に低度の注意喚起を促す潜在情報は、上記の潜在情報６１７ａとは異なる他の形状または態様であってもよい。
　図３０（Ｄｂ）に示すように、上記の潜在情報６１７ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、上述の潜在情報６１６ｂに加え、上記の左側領域に相対する右側領域を示す潜在情報６１７ｂを、メータディスプレイ６４の左側下端部に表示させることができる。
　潜在情報６１７ｂは、例えば車両の左側領域に見立てたメータディスプレイ６４の右側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６１７ｂは、潜在情報６１６ｂよりも注意喚起の強度の低い態様とする。
　図３０（Ｅａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６１６ａに加えて、車両の左側領域に相対する右側領域を示す潜在情報６１８ａを、メータディスプレイ６４の右側端部に表示させる。
　潜在情報６１８ａは、例えば車両の左側領域に見立てたメータディスプレイ６４の右側端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６１８ａは、輝度、色等を上記の潜在情報６１６ａ，６１７ａとは異なる態様で提示することにより、注意喚起の強度を潜在情報６１７ａよりも高くしつつ、潜在情報６１６ａよりも低く抑えることができる。
　なお、注意状態に中程度の偏りのある運転者に中程度の注意喚起を促す潜在情報は、上記の潜在情報６１８ａとは異なる他の形状または態様であってもよい。
　図３０（Ｅｂ）に示すように、上記の潜在情報６１８ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、上述の潜在情報６１６ｂに加え、上記の左側領域に相対する右側領域を示す潜在情報６１８ｂを、メータディスプレイ６４の左側下端部に表示させることができる。
　潜在情報６１８ｂは、例えば車両の左側領域に見立てたメータディスプレイ６４の右側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６１７ｂは、潜在情報６１７ｂよりも注意喚起の強度が高く、潜在情報６１６ｂよりも注意喚起の強度が低い態様とする。
　以上の構成により、運転者の注意状態の不適正度合いの高低、及び所定の閾値以上の注意状態の不適正度合いの領域の画像内の位置等に基づく種々の潜在情報６１５，６１６ａ～６１９ａ，６１６ｂ～６１９ｂ等を、メータディスプレイ６４に表示させることができる。
　次に、変形例５の運転支援装置１０ｂが、ＨＵＤ６１とメータディスプレイ６４とを組み合わせて情報提示を行わせる場合の例について説明する。
　図３１は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＨＵＤ６１とメータディスプレイ６４とに分割して表示させる例を示す模式図である。
　図３１（Ａａ）（Ｂａ）（Ｃａ）に示す例では、変形例５の運転支援装置１０ｂは、運転者の注意状態に偏りがある等、潜在的な危険を検知したものの、自車と衝突する可能性がある歩行者等、顕在的な危険は検知していない状態である。
　この場合、変形例５の運転支援装置１０ｂは、上述の矩形の潜在情報６０５ａ、または上述の楕円形の潜在情報６０５ｂ等を、例えば右側手前の人物を指し示すようにＨＵＤ６１に表示させる。一方、変形例５の運転支援装置１０ｂは、メータディスプレイ６４には情報の表示を行わせない。
　潜在的な危険のみが検知された場合には、変形例５の運転支援装置１０ｂは、以上のように、潜在情報６０５ａ，６０５ｂ等を、視認性の高いＨＵＤ６１に優先的に表示させることができる。
　図３１（Ａｂ）（Ｂｂ）（Ｃｂ）に示す例では、変形例５の運転支援装置１０ｂは、潜在的な危険に加え、顕在的な危険をも検知している状態である。
　この場合、変形例５の運転支援装置１０ｂは、上述の楕円形の顕在情報６６２ａ、または上述の矩形の顕在情報６６２ｂ等を、例えば右側手前の人物を指し示すようにＨＵＤ６１に表示させる。このとき、変形例５の運転支援装置１０ｂは、検知した顕在的な危険の大きさに応じて、顕在情報６６２ａ，６６２ｂのサイズ、輝度、色等を変化させる。
　また、変形例５の運転支援装置１０ｂは、上述の潜在情報６１６ａ等をメータディスプレイ６４に表示させる。
　このとき、図３１（Ａｂ）の例では、潜在情報６１６ａを表示させる例を示しているが、変形例５の運転支援装置１０ｂは、検知した潜在的な危険の大きさ、つまり、運転者の注意状態の不適正度合いの大きさに応じて、上述の潜在情報６１５，６１６ａ～６１９ａ，６１６ｂ～６１９ｂのいずれかをメータディスプレイ６４に表示させることができる。
　潜在的な危険と顕在的な危険とが共に検知された場合には、変形例５の運転支援装置１０ｂは、以上のように、顕在情報６６２ａ，６６２ｂ等を視認性の高いＨＵＤ６１に表示させ、潜在情報６１６ａ等を、運転者の注意を逸らす恐れの少ないメータディスプレイ６４に表示させることができる。
　図３２は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＨＵＤ６１とメータディスプレイ６４とに分割して表示させる他の例を示す模式図である。
　図３２（ａ）（ｂ）（ｃ）に示す例では、変形例５の運転支援装置１０ｂは、潜在的な危険を検知したものの、顕在的な危険は検知していない状態、つまり、上述の図３１（Ａａ）（Ｂａ）（Ｃａ）に示す例と同様の状態である。
　この場合においても、変形例５の運転支援装置１０ｂは、上述の潜在情報６１６ａ等をメータディスプレイ６４に表示させることができる。またこの場合、変形例５の運転支援装置１０ｂは、ＨＵＤ６１には情報を表示させない。
　潜在的な危険のみが検知された場合であっても、変形例５の運転支援装置１０ｂは、以上のように、潜在情報６１６ａ等を常にメータディスプレイ６４に表示させることとしてもよい。
　図３３は、実施形態１の変形例５にかかる運転支援装置１０ｂが潜在情報を提示させるピラーディスプレイ６５の構成の一例を示す模式図である。
　図３３に示すように、ピラーディスプレイ６５は、例えばフロントガラス両サイドのピラーＰＬに設けられる。運転者から見てピラーＰＬの陰になる部分の画像を、ピラーディスプレイ６５に表示させることで、例えばピラーＰＬを透視して車外を見ているかのような視界を運転者に提供することができる。変形例５の運転支援装置１０ｂは、例えばこのようなピラーディスプレイ６５に潜在情報を表示させる。
　図３４は、実施形態１の変形例５にかかる運転支援装置１０ｂの潜在情報のピラーディスプレイ６５への提示例を示す模式図である。
　図３４（Ａａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、フロントガラス両サイドのピラーディスプレイ６５に共に潜在情報６２５を表示させる。
　潜在情報６２５は、フロントガラス両サイドのピラーＰＬに沿って配置される矩形領域に提示される提示情報とすることができる。ただし、車両の前方全体への強度の注意喚起を促す潜在情報は、上記の潜在情報６２５とは異なる他の形状または態様であってもよい。
　図３４（Ａｂ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、対となった潜在情報６２９を、フロントガラス両サイドのピラーディスプレイ６５に表示させる。
　潜在情報６２９は、例えば車両の正面に配置されるフロントガラスの中央付近を指し示す１対の三角形を組み合わせた形状とすることができる。ただし、車両の前方全体への低度の注意喚起を促す潜在情報は、矢印等の他の形状または態様であってもよい。
　図３４（Ｂ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６２６を、フロントガラス左側のピラーディスプレイ６５に表示させる。
　潜在情報６２６は、例えば車両の正面に配置されるフロントガラス左側のピラーＰＬに沿って配置される矩形領域に提示される提示情報とすることができる。ただし、注意状態に大きな偏りのある運転者に強度の注意喚起を促す潜在情報は、上記の潜在情報６２６とは異なる他の形状または態様であってもよい。
　図３４（Ｃａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６２６に加えて、車両の左側領域に相対する右側領域を示す潜在情報６２７を、フロントガラス両サイドのピラーディスプレイ６５にそれぞれ表示させる。
　潜在情報６２７は、例えば車両の正面に配置されるフロントガラス右側のピラーＰＬに沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６２７は、輝度、色等を上記の潜在情報６２６とは異なる態様で提示することにより、注意喚起の強度を潜在情報６２６よりも低く抑えることができる。
　なお、注意状態に低度の偏りのある運転者に低度の注意喚起を促す潜在情報は、上記の潜在情報６２７とは異なる他の形状または態様であってもよい。
　図３４（Ｃｂ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６２６に加えて、車両の左側領域に相対する右側領域を示す潜在情報６２８を、フロントガラス両サイドのピラーディスプレイ６５にそれぞれ表示させる。
　潜在情報６２８は、例えば車両の正面に配置されるフロントガラス右側のピラーＰＬに沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６２８は、輝度、色等を上記の潜在情報６２６，６２７とは異なる態様で提示することにより、注意喚起の強度を潜在情報６２７よりも高くしつつ、潜在情報６２６よりも低く抑えることができる。
　なお、注意状態に中程度の偏りのある運転者に中程度の注意喚起を促す潜在情報は、上記の潜在情報６２８とは異なる他の形状または態様であってもよい。
　以上の構成により、運転者の注意状態の不適正度合いの高低、及び所定の閾値以上の注意状態の不適正度合いの領域の画像内の位置等に基づく種々の潜在情報６２５，６２６～６２９等を、ピラーディスプレイ６５に表示させることができる。
　次に、変形例５の運転支援装置１０ｂが、ＨＵＤ６１とピラーディスプレイ６５とを組み合わせて情報提示を行わせる場合の例について説明する。
　図３５は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＨＵＤ６１とピラーディスプレイ６５とに分割して表示させる例を示す模式図である。
　図３５（Ａａ）（Ｂａ）に示す例では、変形例５の運転支援装置１０ｂは、運転者の注意状態に偏りがある等、潜在的な危険を検知したものの、自車と衝突する可能性がある歩行者等、顕在的な危険は検知していない状態である。
　この場合、変形例５の運転支援装置１０ｂは、上述の矩形の潜在情報６０５ａ、または上述の楕円形の潜在情報６０５ｂ等を、例えば右側手前の人物を指し示すようにＨＵＤ６１に表示させる。一方、変形例５の運転支援装置１０ｂは、ピラーディスプレイ６５には情報を表示させない。
　潜在的な危険のみが検知された場合には、変形例５の運転支援装置１０ｂは、以上のように、潜在情報６０５ａ，６０５ｂ等を、視認性の高いＨＵＤ６１に優先的に表示させることができる。
　図３５（Ａｂ）（Ｂｂ）に示す例では、変形例５の運転支援装置１０ｂは、潜在的な危険に加え、顕在的な危険をも検知している状態である。
　この場合、変形例５の運転支援装置１０ｂは、上述の楕円形の顕在情報６６２ａ、または上述の矩形の顕在情報６６２ｂ等を、例えば右側手前の人物を指し示すようにＨＵＤ６１に表示させる。このとき、変形例５の運転支援装置１０ｂは、検知した顕在的な危険の大きさに応じて、顕在情報６６２ａ，６６２ｂのサイズ、輝度、色等を変化させる。
　また、変形例５の運転支援装置１０ｂは、上述の潜在情報６２６等を、フロントガラス右側のピラーディスプレイ６５に表示させる。
　このとき、図３５（Ａｂ）（Ｂｂ）の例では、潜在情報６２６を表示させる例を示しているが、変形例５の運転支援装置１０ｂは、検知した潜在的な危険の大きさ、つまり、運転者の注意状態の不適正度合いの大きさに応じて、上述の潜在情報６２５，６２６～６２９のいずれかをピラーディスプレイ６５に表示させることができる。
　潜在的な危険と顕在的な危険とが共に検知された場合には、変形例５の運転支援装置１０ｂは、以上のように、顕在情報６６２ａ，６６２ｂ等を視認性の高いＨＵＤ６１に表示させ、潜在情報６２６等を、運転者の注意を逸らす恐れの少ないピラーディスプレイ６５に表示させることができる。
　図３６は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＨＵＤ６１とピラーディスプレイ６５とに分割して表示させる他の例を示す模式図である。
　図３６（ａ）（ｂ）に示す例では、変形例５の運転支援装置１０ｂは、潜在的な危険を検知したものの、顕在的な危険は検知していない状態、つまり、上述の図３５（Ａａ）（Ｂａ）に示す例と同様の状態である。
　この場合においても、変形例５の運転支援装置１０ｂは、上述の潜在情報６２６等をピラーディスプレイ６５に表示させることができる。またこの場合、変形例５の運転支援装置１０ｂは、ＨＵＤ６１には情報を表示させない。
　潜在的な危険のみが検知された場合であっても、変形例５の運転支援装置１０ｂは、以上のように、潜在情報６２６等を常にピラーディスプレイ６５に表示させることとしてもよい。
　次に、変形例５の運転支援装置１０ｂが、ＨＵＤ６１とスピーカ６３とを組み合わせて情報提示を行わせる場合の例について説明する。
　図３７は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＨＵＤ６１とスピーカ６３とに分割して提示させる例を示す模式図である。
　図３７（Ａａ）（Ｂａ）に示す例では、変形例５の運転支援装置１０ｂは、運転者の注意状態に偏りがある等、潜在的な危険を検知したものの、自車と衝突する可能性がある歩行者等、顕在的な危険は検知していない状態である。
　この場合、変形例５の運転支援装置１０ｂは、上述の矩形の潜在情報６０５ａ、または上述の楕円形の潜在情報６０５ｂ等を、例えば右側手前の人物を指し示すようにＨＵＤ６１に表示させる。一方、変形例５の運転支援装置１０ｂは、スピーカ６３には情報を出力させない。
　潜在的な危険のみが検知された場合には、変形例５の運転支援装置１０ｂは、以上のように、潜在情報６０５ａ，６０５ｂ等を、視認性の高いＨＵＤ６１に優先的に表示させることができる。
　図３７（Ａｂ）（Ｂｂ）に示す例では、変形例５の運転支援装置１０ｂは、潜在的な危険に加え、顕在的な危険をも検知している状態である。
　この場合、変形例５の運転支援装置１０ｂは、上述の楕円形の顕在情報６６２ａ、または上述の矩形の顕在情報６６２ｂ等を、例えば右側手前の人物を指し示すようにＨＵＤ６１に表示させる。このとき、変形例５の運転支援装置１０ｂは、検知した顕在的な危険の大きさに応じて、顕在情報６６２ａ，６６２ｂのサイズ、輝度、色等を変化させる。
　また、変形例５の運転支援装置１０ｂは、右側領域に注意を払うよう警告するアナウンス、警告音等の潜在情報を含む音声６３６をスピーカ６３に出力させる。
　潜在的な危険と顕在的な危険とが共に検知された場合には、変形例５の運転支援装置１０ｂは、以上のように、顕在情報６６２ａ，６６２ｂ等を視認性の高いＨＵＤ６１に表示させ、運転者の視界を妨げる恐れの少ないスピーカ６３に音声６３６等の潜在情報を出力させることができる。
　図３８は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＨＵＤ６１とスピーカ６３とに分割して表示させる他の例を示す模式図である。
　図３８（ａ）（ｂ）に示す例では、変形例５の運転支援装置１０ｂは、潜在的な危険を検知したものの、顕在的な危険は検知していない状態、つまり、上述の図３７（Ａａ）（Ｂａ）に示す例と同様の状態である。
　この場合においても、変形例５の運転支援装置１０ｂは、潜在情報を含む音声６３６をスピーカ６３に出力させる。またこの場合、変形例５の運転支援装置１０ｂは、ＨＵＤ６１には情報を表示させない。
　潜在的な危険のみが検知された場合であっても、変形例５の運転支援装置１０ｂは、以上のように、音声６３６等の潜在情報を常にスピーカ６３に出力させることとしてもよい。
　図３９は、実施形態１の変形例５にかかる運転支援装置１０ｂの潜在情報のＨＵＤ６１の外周領域への提示例を示す模式図である。
　以下に説明するように、ＨＵＤ６１の外周領域を用いた潜在情報の表示は、例えば上述の図３０に示すメータディスプレイ６４を用いた潜在情報の表示と同様に行われてよい。
　図３９（Ａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、ＨＵＤ６１の外周部分を取り囲む潜在情報６４５を、ＨＵＤ６１の全周に表示させる。ただし、車両の前方全体への強度の注意喚起を促す潜在情報は、潜在情報６４５とは異なる形状、または態様であってもよい。
　図３９（Ｂａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、対となった潜在情報６４９ａを、ＨＵＤ６１の左右両端部に表示させる。
　潜在情報６４９ａは、例えば車両の正面に配置されるＨＵＤ６１の中央付近を指し示す１対の三角形を組み合わせた形状とすることができる。ただし、車両の前方全体への低度の注意喚起を促す潜在情報は、矢印等の他の形状または態様であってもよい。
　図３９（Ｂｂ）に示すように、上記の潜在情報６４９ａの他の態様として、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、ＨＵＤ６１の中央を指し示す三角形の潜在情報６４９ｂを、ＨＵＤ６１の中央下端部に表示させることができる。
　図３９（Ｃａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６４６ａを、ＨＵＤ６１の左側端部に表示させる。
　潜在情報６４６ａは、例えば車両の正面に配置されるＨＵＤ６１の左側端部に沿って配置される矩形領域に提示される提示情報とすることができる。ただし、注意状態に大きな偏りのある運転者に強度の注意喚起を促す潜在情報は、上記の潜在情報６４６ａとは異なる他の形状または態様であってもよい。
　図３９（Ｃｂ）に示すように、上記の潜在情報６４６ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６４６ｂを、ＨＵＤ６１の左側下端部に表示させることができる。
　潜在情報６４６ｂは、例えば車両の正面に配置されるＨＵＤ６１の左側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。
　図３９（Ｄａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６４６ａに加えて、車両の左側領域に相対する右側領域を示す潜在情報６４７ａを、ＨＵＤ６１の右側端部に表示させる。
　潜在情報６４７ａは、例えば車両の正面に配置されるＨＵＤ６１のAピラー右側に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６４７ａは、輝度、色等を上記の潜在情報６４６ａと異なる態様で提示することにより、注意喚起の強度を潜在情報６４６ａよりも低く抑えることができる。
　なお、注意状態に低度の偏りのある運転者に低度の注意喚起を促す潜在情報は、上記の潜在情報６４７ａとは異なる他の形状または態様であってもよい。
　図３９（Ｄｂ）に示すように、上記の潜在情報６４７ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、上述の潜在情報６４６ｂに加え、上記の左側領域に相対する右側領域を示す潜在情報６４７ｂを、ＨＵＤ６１の左側下端部に表示させることができる。
　潜在情報６４７ｂは、例えば車両の正面に配置されるＨＵＤ６１の右側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６４７ｂは、潜在情報６４６ｂよりも注意喚起の強度の低い態様とする。
　図３９（Ｅａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６４６ａに加えて、車両の左側領域に相対する右側領域を示す潜在情報６４８ａを、ＨＵＤ６１の右側端部に表示させる。
　潜在情報６４８ａは、例えば車両の正面に配置されるＨＵＤ６１の右側端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６４８ａは、輝度、色等を上記の潜在情報６４６ａ，６４７ａとは異なる態様で提示することにより、注意喚起の強度を潜在情報６４７ａよりも高くしつつ、潜在情報６４６ａよりも低く抑えることができる。
　なお、注意状態に中程度の偏りのある運転者に中程度の注意喚起を促す潜在情報は、上記の潜在情報６４８ａとは異なる他の形状または態様であってもよい。
　図３９（Ｅｂ）に示すように、上記の潜在情報６４８ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、上述の潜在情報６４６ｂに加え、上記の左側領域に相対する右側領域を示す潜在情報６５８ｂを、ＨＵＤ６１の左側下端部に表示させることができる。
　潜在情報６４８ｂは、例えば車両の正面に配置されるＨＵＤ６１の右側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６４８ｂは、潜在情報６４７ｂよりも注意喚起の強度が高く、潜在情報６４６ｂよりも注意喚起の強度が低い態様とする。
　以上の構成により、運転者の注意状態の不適正度合いの高低、及び所定の閾値以上の注意状態の不適正度合いの領域の画像内の位置等に基づく種々の潜在情報６４５，６４６ａ～６４９ａ，６４６ｂ～６４９ｂ等を、ＨＵＤ６１に表示させることができる。
　なお、ＨＵＤ６１の外周領域を用いて各種の潜在情報６４５，６４６ａ～６４９ａ，６４６ｂ～６４９ｂ等を表示させる場合にも、外周領域を除くＨＵＤ６１の中央領域には、上述の図３１及び図３２等に示す種々の画像が表示される。
　図４０は、実施形態１の変形例５にかかる運転支援装置１０ｂが潜在情報を提示させるＬＥＤディスプレイ６６の構成の一例を示す模式図である。
　図４０に示すように、発光装置としてのＬＥＤディスプレイ６６は、例えばフロントガラスに配置されるＨＵＤ６１の下端部に沿って配列される複数のＬＥＤ等を備える。変形例５の運転支援装置１０ｂは、これらのＬＥＤを所定の態様で点灯／消灯させることで、ＬＥＤディスプレイ６６に潜在情報を提示させる。
　図４１は、実施形態１の変形例５にかかる運転支援装置１０ｂの潜在情報のＬＥＤディスプレイ６６への提示例を示す模式図である。
　図４１（Ａａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、ＨＵＤ６１の下端部に沿って延びるＬＥＤディスプレイ６６の全体を点灯させた潜在情報６５５を提示させる。
　すなわち、潜在情報６５５は、ＨＵＤ６１の下端部に沿って配列される複数のＬＥＤの全てを点灯させた状態の提示情報とすることができる。ただし、車両の前方全体への強度の注意喚起を促す潜在情報は、上記の潜在情報６５５とは異なる他の態様であってもよい。
　図４１（Ａｂ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、ＨＵＤ６１の下端部に沿って延びるＬＥＤディスプレイ６６の中央部分を点灯させた潜在情報６５９を提示させる。
　すなわち、潜在情報６５９は、ＨＵＤ６１の下端部に沿って配列される複数のＬＥＤのうち、中央部分に配列される幾つかのＬＥＤを点灯させた状態の提示情報とすることができる。ただし、車両の前方全体への低度の注意喚起を促す潜在情報は、上記の潜在情報６５５とは異なる他の態様であってもよい。
　図４１（Ｂ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６５６をＬＥＤディスプレイ６６に提示させる。
　潜在情報６５６は、ＨＵＤ６１の下端部に沿って延びるＬＥＤディスプレイ６６の左側部分を点灯させた状態の提示情報とすることができる。すなわち、ＨＵＤ６１の下端部に沿って配列される複数のＬＥＤのうち、左側に配列される幾つかのＬＥＤを点灯させる。ただし、注意状態に大きな偏りのある運転者に強度の注意喚起を促す潜在情報は、上記の潜在情報６５６とは異なる他の形状または態様であってもよい。
　図４１（Ｃａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６５６に加えて、車両の左側領域に相対する右側領域を示す潜在情報６５７を、ＬＥＤディスプレイ６６に提示させる。
　潜在情報６５７は、ＨＵＤ６１の下端部に沿って延びるＬＥＤディスプレイ６６の右側部分を点灯させた状態の提示情報とすることができる。すなわち、ＨＵＤ６１の下端部に沿って配列される複数のＬＥＤのうち、右側に配列される幾つかのＬＥＤを点灯させる。また、潜在情報６５７は、点灯させるＬＥＤの数、輝度、色等を上記の潜在情報６５６とは異なる態様で提示することにより、注意喚起の強度を潜在情報６５６よりも低く抑えることができる。
　なお、注意状態に低度の偏りのある運転者に低度の注意喚起を促す潜在情報は、上記の潜在情報６５７とは異なる他の形状または態様であってもよい。
　図４１（Ｃｂ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６５６に加えて、車両の左側領域に相対する右側領域を示す潜在情報６５８を、ＬＥＤディスプレイ６６に提示させる。
　潜在情報６５８は、ＨＵＤ６１の下端部に沿って延びるＬＥＤディスプレイ６６の右側部分を点灯させた状態の提示情報とすることができる。また、潜在情報６５８は、点灯させるＬＥＤの数、輝度、色等を上記の潜在情報６５６，６５７とは異なる態様で提示することにより、注意喚起の強度を潜在情報６５７よりも高くしつつ、潜在情報６５６よりも低く抑えることができる。
　なお、注意状態に中程度の偏りのある運転者に中程度の注意喚起を促す潜在情報は、上記の潜在情報６５８とは異なる他の形状または態様であってもよい。
　以上の構成により、運転者の注意状態の不適正度合いの高低、及び所定の閾値以上の注意状態の不適正度合いの領域の画像内の位置等に基づく種々の潜在情報６５５，６５６～６５９等を、ＬＥＤディスプレイ６６に提示させることができる。
　ところで、上述の図４１では、例えば点灯させるＬＥＤの数、輝度、色等をそれぞれ異なる態様で提示することで、潜在情報６５５，６５６～６５９の注意喚起の強度を異なる態様で提示することとした。しかし、ＬＥＤディスプレイ６６によって注意喚起の強度を異なる態様で提示する手法は上記に限られない。
　図４２は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＬＥＤの点滅によってＬＥＤディスプレイ６６に提示させる例を示す模式図である。
　図４２（ａ）に示すように、変形例５の運転支援装置１０ｂは、潜在情報の提示対象のＬＥＤを点滅させることによって、ＬＥＤディスプレイ６６に潜在情報を提示させることができる。図４２（ａ）の例では、ＬＥＤの輝度を０％とする消灯期間終了後、ＬＥＤの輝度を１００％として点灯期間に移行する。点灯期間の終了後、消灯期間の移行時には、ＬＥＤの輝度を０％とする。
　このとき、点灯期間のＬＥＤの輝度を高めることで、潜在情報の注意喚起の強度を高めることができ、点灯期間のＬＥＤの輝度を低く抑えることで、潜在情報の注意喚起の強度を低下させることができる。
　または、ＬＥＤの点滅の周期を短くすることで、潜在情報の注意喚起の強度を高めることができ、ＬＥＤの点滅の周期を長くすることで、潜在情報の注意喚起の強度を低下させることができる。
　または、ＬＥＤの点灯期間を消灯期間より長くすることで、潜在情報の注意喚起の強度を高めることができ、ＬＥＤの点灯期間を消灯期間より短くすることで、潜在情報の注意喚起の強度を低下させることができる。
　また、図４２（ａ）とは異なる手法で、ＬＥＤの点灯と消灯との切り替えを行うこともできる。
　図４２（ｂ）の例では、ＬＥＤの輝度を０％とする消灯期間終了後、ＬＥＤの輝度を徐々に１００％まで高めていって点灯期間に移行する。点灯期間の終了後、消灯期間の移行時には、ＬＥＤの輝度を徐々に０％まで落としていく。
　この場合、図４２（ａ）における注意喚起の強度の調整手法に加え、例えばＬＥＤの輝度の増減が急峻であるほど、潜在情報の注意喚起の強度を高めることができ、ＬＥＤの輝度の増減が緩慢であるほど、潜在情報の注意喚起の強度を低下させることができる。
　図４３は、実施形態１の変形例５にかかる運転支援装置１０ｂが生成した提示情報を、ＬＥＤを複数色で点灯させることによってＬＥＤディスプレイ６６に提示させる例を示す模式図である。
　図４３（ａ）に示すように、変形例５の運転支援装置１０ｂは、潜在情報の提示対象のＬＥＤを周期的に異なる色で点灯させることによって、ＬＥＤディスプレイ６６に潜在情報を提示させることができる。図４３（ａ）の例では、ＬＥＤを交互に色Ｘと色Ｙとで点灯させている。
　このとき、色Ｘ，Ｙの色相、彩度、明度等の差を大きくすることで、潜在情報の注意喚起の強度を高めることができ、色Ｘ，Ｙの色相、彩度、明度等の差を小さくすることで、潜在情報の注意喚起の強度を低下させることができる。
　すなわち、色Ｘ，Ｙの色相差を高めるには、例えば補色の関係にある色を色Ｘ，Ｙとして使用することができる。また、色Ｘ，Ｙの色相差を低く抑えるには、例えば同系色の色を色Ｘ，Ｙとして使用することができる。
　色Ｘ，Ｙの彩度差を高めるには、例えば彩度の高い色と低い色とを組み合わせて色Ｘ，Ｙとすることができる。色Ｘ，Ｙの明度差を高めるには、例えば明度の高い色と低い色とを組み合わせて色Ｘ，Ｙとすることができる。
　また、上記の場合、潜在情報の提示対象のＬＥＤの配列上で、個々のＬＥＤを交互に色Ｘまたは色Ｙで点灯させてもよい。更には、このようなＬＥＤの配列上を、色Ｘ，Ｙの各色が流れていくように潜在情報を提示させることも可能である。
　すなわち、時刻ｔ１では、配列上の順番が奇数のＬＥＤを色Ｘで点灯させ、配列上の順番が偶数のＬＥＤを色Ｙで点灯させる。その後の時刻ｔ２では、奇数のＬＥＤを色Ｙで点灯させ、偶数のＬＥＤを色Ｘで点灯させる。これを交互に繰り返すことで、上記のような視覚効果が得られる。
　また、図４３（ａ）とは異なる手法で、ＬＥＤディスプレイ６６に提示させる潜在情報の注意喚起の強度を調整することも可能である。
　図４３（ｂ）の例では、変形例５の運転支援装置１０ｂは、色Ｘの点灯期間を色Ｙの点灯時間より長くしている。
　このとき、色相、彩度、明度の高い色を色Ｘとして使用し、色相、彩度、明度の低い色を色Ｙとして使用することで、潜在情報の注意喚起の強度を高めることができる。また、色相、彩度、明度の低い色を色Ｘとして使用し、色相、彩度、明度の高い色を色Ｙとして使用することで、潜在情報の注意喚起の強度を低下させることができる。
　以上の構成によっても、ＬＥＤディスプレイ６６に提示させる潜在情報の注意喚起の強度を調整することができる。
　なお、上述の例では、ＬＥＤディスプレイ６６は、ＨＵＤ６１の下端部に設けられることとしたが、ＬＥＤディスプレイ６６の配置位置はこれに限られない。ＬＥＤディスプレイ６６が、例えばＨＵＤ６１の下端部に替えて、あるいは加えて、ＨＵＤ６１の両端部に設けられていてもよく、または、ＨＵＤ６１の外周を取り囲むように設けられていてもよい。
　このような場合であっても、上述の図４１に示した各種態様に準じる態様で、運転者の注意状態の不適正度合いの高低、及び所定の閾値以上の注意状態の不適正度合いの領域の画像内の位置等に基づく種々の潜在情報を提示させることができる。
　図４４は、実施形態１の変形例５にかかる運転支援装置１０ｂが潜在情報を提示させるミラーディスプレイ６７の構成の一例を示す模式図である。
　図４４に示すように、ミラーディスプレイ６７は、例えば車両の後方確認用のバックミラー位置に、バックミラーに替えて設置されている。ミラーディスプレイ６７は、例えばバックミラー型に構成され、車両の後方画像を映し出すことにより、バックミラーと同等の機能を果たす。変形例５の運転支援装置１０ｂは、例えばこのようなミラーディスプレイ６７に潜在情報を表示させる。
　図４５は、実施形態１の変形例５にかかる運転支援装置１０ｂの潜在情報のミラーディスプレイ６７への提示例を示す模式図である。
　以下に説明するように、ミラーディスプレイ６７の外周領域を用いた潜在情報の表示は、例えば上述の図３０に示すメータディスプレイ６４を用いた潜在情報の表示と同様に行われてよい。
　図４５（Ａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、ミラーディスプレイ６７の外周部分を取り囲む潜在情報６６５を、ミラーディスプレイ６７の全周に表示させる。ただし、車両の前方全体への強度の注意喚起を促す潜在情報は、潜在情報６６５とは異なる形状、または態様であってもよい。
　図４５（Ｂａ）に示すように、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、対となった潜在情報６６９ａを、ミラーディスプレイ６７の左右両端部に表示させる。
　潜在情報６６９ａは、例えば車両の正面に見立てたミラーディスプレイ６７の中央付近を指し示す１対の三角形を組み合わせた形状とすることができる。ただし、車両の前方全体への低度の注意喚起を促す潜在情報は、矢印等の他の形状または態様であってもよい。
　図４５（Ｂｂ）に示すように、上記の潜在情報６６９ａの他の態様として、例えば車両の前方全体に亘って、運転者の注意状態の不適正度合いが比較的小さな領域があった場合には、変形例５の運転支援装置１０ｂは、ミラーディスプレイ６７の中央を指し示す三角形の潜在情報６６９ｂを、ミラーディスプレイ６７の中央下端部に表示させることができる。
　図４５（Ｃａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６６６ａを、ミラーディスプレイ６７の左側端部に表示させる。
　潜在情報６６６ａは、例えば車両の左側領域に見立てたミラーディスプレイ６７の左側端部に沿って配置される矩形領域に提示される提示情報とすることができる。ただし、注意状態に大きな偏りのある運転者に強度の注意喚起を促す潜在情報は、上記の潜在情報６６６ａとは異なる他の形状または態様であってもよい。
　図４５（Ｃｂ）に示すように、上記の潜在情報６６６ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域があった場合には、変形例５の運転支援装置１０ｂは、その領域に相対する左側領域を示す潜在情報６６６ｂを、ミラーディスプレイ６７の左側下端部に表示させることができる。
　潜在情報６６６ｂは、例えば車両の左側領域に見立てたミラーディスプレイ６７の左側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。
　図４５（Ｄａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６６６ａに加えて、車両の左側領域に相対する右側領域を示す潜在情報６６７ａを、ミラーディスプレイ６７の右側端部に表示させる。
　潜在情報６６７ａは、例えば車両の右側領域に見立てたミラーディスプレイ６７の右側端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６６７ａは、輝度、色等を上記の潜在情報６６６ａとは異なる態様で提示することにより、注意喚起の強度を潜在情報６６６ａよりも低く抑えることができる。
　なお、注意状態に低度の偏りのある運転者に低度の注意喚起を促す潜在情報は、上記の潜在情報６６７ａとは異なる他の形状または態様であってもよい。
　図４５（Ｄｂ）に示すように、上記の潜在情報６６７ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが比較的小さな領域と、があった場合には、変形例５の運転支援装置１０ｂは、上述の潜在情報６６６ｂに加え、上記の左側領域に相対する右側領域を示す潜在情報６６７ｂを、ミラーディスプレイ６７の左側下端部に表示させることができる。
　潜在情報６６７ｂは、例えば車両の右側領域に見立てたミラーディスプレイ６７の右側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６６７ｂは、潜在情報６６６ｂよりも注意喚起の強度の低い態様とする。
　図４５（Ｅａ）に示すように、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、車両の右側領域に相対する左側領域を示す潜在情報６６６ａに加えて、車両の左側領域に相対する右側領域を示す潜在情報６６８ａを、ミラーディスプレイ６７の右側端部に表示させる。
　潜在情報６６８ａは、例えば車両の右側領域に見立てたミラーディスプレイ６７の右側端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６６８ａは、輝度、色等を上記の潜在情報６６６ａ，６６７ａとは異なる態様で提示することにより、注意喚起の強度を潜在情報６６７ａよりも高くしつつ、潜在情報６６６ａよりも低く抑えることができる。
　なお、注意状態に中程度の偏りのある運転者に中程度の注意喚起を促す潜在情報は、上記の潜在情報６６８ａとは異なる他の形状または態様であってもよい。
　図４５（Ｅｂ）に示すように、上記の潜在情報６６８ａの他の態様として、例えば車両の右側に偏って、運転者の注意状態の不適正度合いが大きな領域と、車両の左側に偏って、運転者の注意状態の不適正度合いが中程度の領域と、があった場合には、変形例５の運転支援装置１０ｂは、上述の潜在情報６６６ｂに加え、上記の左側領域に相対する右側領域を示す潜在情報６６８ｂを、ミラーディスプレイ６７の左側下端部に表示させることができる。
　潜在情報６６８ｂは、例えば車両の右側領域に見立てたミラーディスプレイ６７の右側下端部に沿って配置される矩形領域に提示される提示情報とすることができる。また、潜在情報６６８ｂは、潜在情報６６７ｂよりも注意喚起の強度が高く、潜在情報６６６ｂよりも注意喚起の強度が低い態様とする。
　以上の構成により、運転者の注意状態の不適正度合いの高低、及び所定の閾値以上の注意状態の不適正度合いがの領域の画像内の位置等に基づく種々の潜在情報６６５，６６６ａ～６６９ａ，６６６ｂ～６６９ｂ等を、ミラーディスプレイ６７に表示させることができる。
　変形例５の運転支援装置１０ｂによれば、ＨＵＤ６１、車内モニタ６２、スピーカ６３、メータディスプレイ６４、ピラーディスプレイ６５、ＬＥＤディスプレイ６６、及びミラーディスプレイ６７のうち、２以上の情報提示装置に、複数部分に分割した提示情報をそれぞれ提示させる。
　これにより、情報提示装置６０に含まれる各種構成のうち、ＨＵＤ６１、車内モニタ６２、スピーカ６３、メータディスプレイ６４、ピラーディスプレイ６５、ＬＥＤディスプレイ６６、及びミラーディスプレイ６７のうち、視認性が高く、運転者の注意を惹き付けやすい構成に、例えばより高い危険性を示す顕在情報を提示し、運転者の注意を逸らすことなく情報の提示が可能な構成に、例えば比較的低い危険性を示す潜在情報を提示することができる。
　変形例５の運転支援装置１０ｂによれば、その他、上述の実施形態１の運転支援装置１０と同様の効果を奏する。
　なお、上述の変形例５の運転支援装置１０ｂにおいては、例えばＨＵＤ６１または車内モニタ６２に主に顕在情報を提示させ、その他の構成に潜在情報を提示させ、これらの構成を組み合わせて、運転者に情報を提示することとした。
　しかし、例えば上述の実施形態１の運転支援装置１０のように、専ら潜在情報を提示する構成において、ＨＵＤ６１または車内モニタ６２等と組み合わせることなく、スピーカ６３、メータディスプレイ６４、ピラーディスプレイ６５、ＨＵＤ６１の外周領域、ＬＥＤディスプレイ６６、またはミラーディスプレイ６７等の、その他の構成を単独で用いて潜在情報を提示させてもよい。
（変形例６）
　次に、図４６～図４８を用いて、実施形態１の変形例６の運転支援装置について説明する。変形例６の運転支援装置は、潜在情報と顕在情報とを提示させる際、衝突余裕時間（ＴＴＣ：Ｔｉｍｅ－Ｔｏ－Ｃｏｌｌｉｓｉｏｎ）も考慮に入れる点が上述の変形例５とは異なる。
　図４６は、実施形態１の変形例６にかかる運転支援装置１０ｃの機能構成の一例を周辺機器とともに示すブロック図である。
　図２６に示すように、変形例６の車両１０３には、上述の変形例５の運転支援装置１０ｂに替えて、変形例６の運転支援装置１０ｃが搭載されている。
　運転支援装置１０ｃは、上述の変形例５の運転支援装置１０ｂの構成に加えて、ＴＴＣを算出するＴＴＣ演算部１１２を備え、また、上述の変形例５の出力制御部１３０ｂに替えて、運転者注意状態推定部１２０が推定した運転者の注意状態、顕在情報演算部１１１が生成した顕在情報、及びＴＴＣ演算部１１２が算出したＴＴＣ情報を取得して、運転支援情報を出力する出力制御部１３０ｃを備えている。
　ＴＴＣ演算部１１２により算出されるＴＴＣは、車両１０３前方の歩行者等、車両１０３との衝突の恐れがある障害物と実際に衝突するまでの時間である。ＴＴＣの値が小さくなるほど障害物と車両１０３との衝突までに時間的な余裕がないことを意味する。また、ＴＴＣの値が大きくなるほど障害物と車両１０３との衝突までに時間的な余裕があることを意味する。
　ＴＴＣ演算部１１２は、情報提示の対象となる領域に含まれる歩行者等の障害物と車両１０３との距離、車両１０３の速度等から、その障害物についてＴＴＣを算出する。
　運転者注意状態推定部１２０は、推定した運転者の注意状態、顕在情報演算部１１１が生成した顕在情報、及びＴＴＣ演算部１１２がそれぞれの障害物について算出したＴＴＣの情報を、出力制御部１３０ｃへと受け渡す。
　出力制御部１３０ｃは、運転者の注意状態に基づいて抽出した運転者に注意喚起を行う領域に関する情報、及び運転者注意状態推定部１２０から受け渡された顕在情報を含む運転支援情報を、ＨＭＩ制御装置３０に出力する。
　また、出力制御部１３０ｃは、ＴＴＣ演算部１１２が算出したＴＴＣ情報に基づいて、顕在情報を含む上記の運転支援情報に、潜在情報を含めるか否かを決定する。出力制御部１３０ｃは、ＴＴＣが所定の閾値以上の場合には、上記の運転支援情報に、潜在情報も含めてＨＭＩ制御装置３０に出力する。出力制御部１３０ｃは、ＴＴＣが所定の閾値未満の場合には、潜在情報を含めることなく上記の運転支援情報をＨＭＩ制御装置３０に出力する。
　図４７は、実施形態１の変形例６にかかる運転支援装置１０ｃの情報提示例を示す模式図である。
　図４７（ａ）（ｂ）の例では、運転者に注意喚起を行う領域は、例えば右側手前の人物を含む領域、及び左側手前の親子連れを含む領域であるものとする。また、右側手前の人物についてのＴＴＣは所定の閾値以上であり、左側手前の親子連れについてのＴＴＣは所定の閾値未満であったものとする。
　図４７（ａ）（ｂ）に示すように、変形例６の運転支援装置１０ｃは、右側手前の人物、及び左側手前の親子連れを示す、上述の楕円形の顕在情報６６２ａをそれぞれ、ＨＵＤ６１または車内モニタ６２に表示させる。
　また、変形例６の運転支援装置１０ｃは、ＴＴＣが所定の閾値以上であった右側手前の人物を示す上述の矩形の潜在情報６０５ａを、ＨＵＤ６１または車内モニタ６２に表示させる。一方、変形例６の運転支援装置１０ｃは、ＴＴＣが所定の閾値未満であった親子連れに対しては潜在情報を表示させない。
　このように、ＴＴＣが充分に長く、衝突までの時間的な余裕がある状態であれば、潜在情報６０５ａを表示させることで、運転者に、その潜在情報に応じて適切な操作を行わせることができる。一方で、ＴＴＣが短く、衝突までの時間的な余裕がない状態のときは、潜在情報を表示させないことで、潜在情報に気を取られて運転者が適切な操作を行う妨げになることを抑制できる。
　ただし、このような顕在情報６６２ａ及び潜在情報６０５ａの形状、提示位置、及び提示の態様等は、上記の図４７の例に限定されない。
　図４８は、実施形態１の変形例６にかかる運転支援装置１０ｃの他の情報提示例を示す模式図である。
　図４８（ａ）（ｂ）に示す例では、変形例６の運転支援装置１０ｃは、右側手前の人物、及び左側手前の親子連れを示す矩形の顕在情報６６２ｂをそれぞれ、それらの人物および親子連れを囲むように表示させる。また、変形例６の運転支援装置１０ｃは、右側手前の人物を示す楕円形の潜在情報６０５ｂを、その人物の足元から離れた下方位置に表示させる。
　なお、変形例６の運転支援装置１０ｃは、ＴＴＣの長短に応じて、例えば顕在情報６６２ａ，６６２ｂのサイズ、輝度、色等を変化させて、運転者への注意喚起の強度の高低を調整してもよい。また、変形例６の運転支援装置１０ｃは、運転者の注意状態の不適正度合いの高低に応じて、潜在情報６０５ａ，６０５ｂのサイズ、輝度、色等を変化させて、運転者への注意喚起の強度の高低を調整してもよい。
　このように、顕在情報６６２及び潜在情報６０５の形状、提示位置、及び提示の態様等は、様々に異なる態様で提示することができる。
　なお、変形例６の運転支援装置１０ｃも、上述の変形例５の図２９～図４５等に示したように、顕在情報と潜在情報とを異なる情報提示装置６０にそれぞれ提示させてもよい。
　また、変形例６の運転支援装置１０ｃが、予測誤差とＴＴＣとに基づいて、上述の図４７及び図４８の例とは異なる情報を提示させてもよい。
　図４９は、実施形態１の変形例６にかかる運転支援装置１０ｃの更に他の情報提示例を示す模式図である。図４９の例では、変形例６の運転支援装置１０ｃは、予測誤差の高低とＴＴＣの長短とを組み合わせた指標に基づいて、運転者への注意喚起の強度の異なる潜在情報を提示させる。
　図４９（ａ）は、変形例６の運転支援装置１０ｃに与えられる潜在情報の提示態様表の一例を示している。図４９（ａ）に示すように、潜在情報の提示態様表には、注意喚起の強度の異なる複数の潜在情報の態様が定義されている。これらの潜在情報の注意喚起の強度は、予測誤差とＴＴＣとの２つのパラメータにより決定される。
　すなわち、予測誤差には、低、中、及び高の３つの閾値が設定されており、ＴＴＣには、短、中、及び長の３つの閾値が設定されている。潜在情報の提示態様表には、予測誤差が低、中、及び高の場合と、ＴＴＣが短、中、及び長の場合とを組み合わせた９通りのパターンについて潜在情報の態様が定義づけられている。
　これら９通りのパターンのうち、予測誤差が低でＴＴＣが長の場合、潜在情報の注意喚起の強度は最小となる。また、予測誤差が低でＴＴＣが短の場合、予測誤差が中でＴＴＣが短の場合、予測誤差が高でＴＴＣが短または中の場合、潜在情報の注意喚起の強度は最大となる。
　また、予測誤差が中でＴＴＣが長の場合、潜在情報の注意喚起の強度は、予測誤差が低でＴＴＣが長の場合よりも大きくなる。また、予測誤差が低でＴＴＣが中の場合、及び予測誤差およびＴＴＣが共に中の場合、潜在情報の注意喚起の強度は、予測誤差が中でＴＴＣが長の場合よりも大きくなる。また、予測誤差が高でＴＴＣが長の場合、潜在情報の注意喚起の強度は、予測誤差が低でＴＴＣが中の場合等よりも大きくなる。
　このように、潜在情報の提示態様表には、予測誤差の高低とＴＴＣの長短とを組み合わせた９通りのパターンに対して、４通りの潜在情報の態様が定義されている。ただし、図４９（ａ）に示す潜在情報の態様の定義はあくまでも一例であって、潜在情報の態様は種々に定義されうる。
　例えば、予測誤差の高低、及びＴＴＣの長短の段階は、上記の３段階ではなく、２段階、または４段階以上であってもよい。また例えば、予測誤差の高低とＴＴＣの長短との組み合わせパターンに対し、潜在情報の態様が上記の４通りではなく、３通り以下または５通り以上であってもよい。
　変形例６の運転支援装置１０ｃは、例えば図４９（ａ）に示す潜在情報の提示態様表にしたがって、潜在情報の提示の態様を決定する。図４９（Ａａ）～（Ｃｂ）に、ＨＵＤ６１または車内モニタ６２に潜在情報を表示する場合の例を示す。
　図４９に示すように、変形例６の運転支援装置１０ｃは、例えば画像を左右の領域に２分割し、それぞれの領域について予測誤差およびＴＴＣを算出する。
　図４９（Ａａ）（Ｂａ）の例では、左側手前に親子連れを含む左側領域について、予測誤差およびＴＴＣが共に中と判定され、いずれの人物も含まれない右側領域について、予測誤差が低でＴＴＣが長と判定されたものとする。
　この場合、変形例６の運転支援装置１０ｃは、左側領域の下端部に沿って配置される矩形領域に提示される潜在情報６７６ｂを表示させる。潜在情報６７６ｂは、予測誤差およびＴＴＣが共に中の場合の注意喚起の強度を有する。
　また、変形例６の運転支援装置１０ｃは、右側領域の下端部に沿って配置される矩形領域に提示される潜在情報６７６ａを表示させる。潜在情報６７６ａは、予測誤差が低でＴＴＣが長の場合の注意喚起の強度を有する。
　図４９（Ａｂ）（Ｂｂ）の例では、左側手前に親子連れを含み、左側奥に２人の人物を含む左側領域について、予測誤差が高でＴＴＣが長と判定され、いずれの人物も含まれない右側領域について、予測誤差が低でＴＴＣが長と判定されたものとする。
　この場合、変形例６の運転支援装置１０ｃは、左側領域の下端部に沿って配置される矩形領域に提示される潜在情報６７６ｃを表示させる。潜在情報６７６ｃは、予測誤差が高でＴＴＣが長の場合の注意喚起の強度を有する。
　また、変形例６の運転支援装置１０ｃは、上述の図４９（Ａａ）（Ｂａ）の例と同様、右側領域の下端部に沿って延びる潜在情報６７６ａを表示させる。
　なお、変形例６の運転支援装置１０ｃは、上記の図４９のように、ＨＵＤ６１または車内モニタ６２等に視覚的に潜在情報６７６ａ～６７６ｃ等を表示させる場合には、例えば潜在情報６７６ａ～６７６ｃの長さ、太さ、輝度、色等を変化させて、運転者への注意喚起の強度の高低を調整することができる。
　以上のように、予測誤差とＴＴＣとの２つのパラメータに基づいて潜在情報を提示させることで、より多くの情報に基づく運転支援情報を高精度に生成することができる一方、提示の態様を、例えば潜在情報６７６ａ～６７６ｃのみにするなどして簡素化することができる。
　変形例６の運転支援装置１０ｃによれば、上記の他、上述の変形例５の運転支援装置１０ｂと同様の効果を奏する。
（変形例７）
　次に、図５０を用いて、実施形態１の変形例７の運転支援装置１０ｄについて説明する。変形例７の運転支援装置１０ｄは、外部サーバ９０に運転支援情報を出力する点が上述の実施形態１とは異なる。
　図５０は、実施形態１の変形例７にかかる運転支援装置１０ｄの機能構成の一例を周辺機器とともに示すブロック図である。
　図５０に示すように、変形例７の車両１０４には、上述の実施形態１の運転支援装置１０に替えて、変形例７の運転支援装置１０ｄが搭載されている。運転支援装置１０ｄは、上述の実施形態１の出力制御部１３０に替えて、外部サーバ９０に運転支援情報を出力する出力制御部１３０ｄを備える。
　出力制御部１３０ｄは、運転者への注意喚起を行う領域に紐づけられた運転支援情報を生成し、外部サーバ９０に出力する。
　外部サーバ９０は、例えば無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等によって、互いに情報の授受が可能に、変形例７の車両１０４を含む複数の車両と接続されている。外部サーバ９０は、変形例７の運転支援装置１０ｄを含む、複数の車両の運転支援装置から、それらの運転支援装置が生成した運転支援情報を取得し蓄積する。
　外部サーバ９０に蓄積された運転支援情報は、例えばデータベース化されて、他の車両における運転者への運転支援に活用される。これにより、所定の車両により生成された運転支援情報を複数の車両間で共有して、運転者への運転支援を行うことができる。また、複数の車両から収集された運転支援情報がデータベース化されることで、運転支援の精度を高めることができる。
　変形例７の運転支援装置１０ｄによれば、その他、上述の実施形態１の運転支援装置１０と同様の効果を奏する。
［実施形態２］
　実施形態２について図面を用いて説明する。実施形態２においては、運転支援装置が運転者の視線も考慮に入れて運転支援情報を生成する点が、上述の実施形態１とは異なる。
　図５１は、実施形態２にかかる運転支援装置２１０の機能構成の一例を周辺機器とともに示すブロック図である。
　図５１に示すように、実施形態２の車両２００には、上述の実施形態１の運転支援装置１０に替えて、実施形態２の運転支援装置２１０が搭載されている。
　運転支援装置２１０は、上述の実施形態１の運転支援装置１０の構成に加えて、運転者の視線の向いた先を推定する視線推定部１４０を備え、また、上述の実施形態１の運転者注意状態推定部１２０に替えて、予測誤差演算部１１０と視線推定部１４０とから情報を取得して、運転者の注意状態を推定する運転者注意状態推定部２２０を備えている。
　視線推定部１４０は、例えば車内向けカメラ４２が撮像した運転者の顔画像から、運転者が視線を向けた先を推定する。より具体的には、車外向けカメラ４１が撮像した車両２００の進行方向の画像を、上述のように、例えば複数領域に分割した場合には、視線推定部１４０は、これらの複数領域のうち、運転者が視線を向けた領域を推定する。
　運転者注意状態推定部２２０は、上述の実施形態１の運転者注意状態推定部１２０と同様、画像内の複数領域において、運転者の注意の惹き付けやすさの高低を算出する。また、運転者注意状態推定部２２０は、複数領域における注意状態の不適正度合いの高低、及び視線推定部１４０が推定した運転者の視線の向きに基づいて、複数領域に対する運転者の注意状態をそれぞれ推定する。
　ここで、上述の実施形態１の図４で説明したとおり、運転者は予測誤差が大きい箇所に注意を向ける傾向がある。運転者注意状態推定部２２０は、図４に示した手法に則って、運転者が視線を向けている領域の予測誤差と、視線を向けていない任意の領域の予測誤差と、に基づいて、運転者の注意の惹かれやすさを推定する。
　すなわち、運転者注意状態推定部２２０は、運転者が視線を向けている領域と、任意の領域とを抽出し、それぞれの領域の予想誤差が所定の閾値以上となる割合から、運転者が視線を向けている領域についてＡＵＣ値を算出し、ＡＵＣ値が所定の閾値より大きかった領域を含む情報を運転者の注意状態の推定に用いる。
　このように、予測誤差のみならず、運転者の視線を考慮に入れることで、所定の領域に対して運転者の注意状態が適正な状態にあるか否かをより高精度に推定することが可能となる。なお、これ以降、上記のように算出されるＡＵＣ値を注意状態指標とも呼ぶ。
　図５２は、実施形態２にかかる運転支援装置２１０が行う運転支援処理の手順の一例を示すフロー図である。なお、図５２に示す処理のうち、ステップＳ１０１が、上述の実施形態１の図７に示す処理から新たに加わった処理である。
　図５２に示すように、実施形態２の運転支援装置２１０が備える視線推定部１４０は、車内向けカメラ４２が撮像した運転者の顔画像から、運転者が視線を向けた先を推定する（ステップＳ１０１）。また、運転者注意状態推定部２２０は、車外向けカメラ４１が撮像した画像を複数領域に分割し（ステップＳ１１０）、それぞれについて予測誤差を算出する（ステップＳ１２０）。
　また、運転者注意状態推定部２２０は、算出した予測誤差と推定された視線とから求めた所定の領域のＡＵＣ値、つまり、注意状態指標が閾値ＴＨ２１より大きい場合（ステップＳ１３０：Ｙｅｓ）、その領域に対する運転者の注意状態の不適正度合いが高いと推定する（ステップＳ１３２）。
　運転者注意状態推定部２２０のこのような推定に基づいて、出力制御部１３０は、その領域に相対する領域に提示する情報について、強度の注意喚起の強度を有する態様ＳＴ１を選択する。
　運転者注意状態推定部２２０は、所定の領域の注意状態指標が閾値ＴＨ２１未満である閾値ＴＨ２２より大きい場合（ステップＳ１３０：Ｎｏ、ステップＳ１４０：Ｙｅｓ）、その領域に対する運転者の注意状態の不適正度合いが中程度と推定する（ステップＳ１４２）。
　運転者注意状態推定部２２０のこのような推定に基づいて、出力制御部１３０は、その領域に相対する領域に提示する運転情報について、中程度の注意喚起の強度を有する態様ＳＴ２を選択する。
　運転者注意状態推定部２２０は、所定の領域の注意状態指標が閾値ＴＨ２２未満である閾値ＴＨ２３より大きい場合（ステップＳ１４０：Ｎｏ、ステップＳ１５０：Ｙｅｓ）、その領域に対する運転者の注意状態の不適正度合いが低いと推定する（ステップＳ１５２）。
　運転者注意状態推定部２２０のこのような推定に基づいて、出力制御部１３０は、その領域に相対する領域に提示する運転情報について、低度の注意喚起の強度を有する態様ＳＴ２を選択する。
　運転者注意状態推定部２２０は、所定の領域の注意状態指標が閾値ＴＨ２３より小さい場合（ステップＳ１５０：Ｎｏ）、その領域に対する運転者の注意状態が充分に適正であるものとし、出力制御部１３０は、その領域に相対する領域に提示する運転支援情報の生成を行わない。
　実施形態２の運転支援装置２１０は、全ての領域について上記処理を繰り返し（ステップＳ１６０：Ｎｏ）、全ての領域の処理が終了した後（ステップＳ１６０：Ｙｅｓ）、生成した運転支援情報をＨＭＩ制御装置３０に出力する（ステップＳ１７０）。
　以上により、実施形態２の運転支援装置２１０による運転支援処理が終了する。
　以上のように、上記説明においては、運転支援装置２１０が、実施形態１の運転支援装置１０と同様、画像を複数領域に分割して種々の処理を行うこととした。しかし、実施形態２においては、運転者の視線が向いた先と、そうではない任意の個所とを抽出すれば良く、必ずしも画像を複数領域に分割する必要は無い。すなわち、例えば画像内の運転者の視線が向いた先のピクセルと運転者の視線が向いていないピクセル、というように、ピクセルごとに抽出を行って上記処理を実行してもよい。
　なお、実施形態２の運転支援装置２１０によって、上記のようにＨＭＩ制御装置３０に出力された運転支援情報に含まれる情報は、例えば上述の実施形態１及び変形例１～３で説明した種々の態様で情報提示装置６０によって提示されることができる。
　これにより、注意状態推定部が推定した注意の惹かれやすいときに、運転者を適正な注意状態に誘導させるように視認行動を無意識に変容させることができ、また、運転者に自覚させるように注意喚起することができる。
　このとき、実施形態２の運転支援装置２１０が、上述の実施形態１の変形例５，６等と同様、顕在情報演算部１１１、ＴＴＣ演算部１１２等を備えることにより、運転支援情報に含まれる潜在情報と顕在情報とを提示させることが可能であってもよい。
　あるいは、実施形態２の運転支援装置２１０が、上述の実施形態１の変形例４，７等と同様、ＥＣＵ２０または外部サーバ９０等に運転支援情報が出力可能に構成されていてもよい。
　実施形態２の運転支援装置２１０によれば、予測誤差に加えて運転者の視線の向きにも基づいて運転者の注意状態を推定する。これにより、より高精度に運転者の注意状態を推定し、より適切な情報を運転者に提示することができる。
　実施形態２の運転支援装置２１０によれば、車両１０４の進行方向を撮像した画像内の複数領域のうち、運転者が視線を向けている領域の予測誤差と、任意の領域の予測誤差と、に基づいて注意の惹かれやすさを推定する。
　これにより、例えば予測誤差が高い領域であっても、運転者の注意状態に偏りがない場合には、不要な情報提示を行わないこととすることができる。
　実施形態２の運転支援装置２１０によれば、その他、上述の実施形態１の運転支援装置１０と同様の効果を奏する。
［実施形態３］
　実施形態３について図面を用いて説明する。実施形態３においては、運転支援装置が運転者の熟練度も考慮に入れて運転支援情報を生成する点が、上述の実施形態１とは異なる。
　図５３は、実施形態３にかかる運転支援装置３１０の機能構成の一例を周辺機器とともに示すブロック図である。
　図５３に示すように、実施形態３の車両３００には、上述の実施形態１の運転支援装置１０に替えて、実施形態３の運転支援装置３１０が搭載されている。
　運転支援装置３１０は、上述の実施形態１の運転支援装置１０の構成に加えて、視線推定部１４０、及び運転者の熟練度を判定する運転者熟練度判定部１５０を備え、また、上述の実施形態１の運転者注意状態推定部１２０に替えて、予測誤差演算部１１０、視線推定部１４０、及び運転者熟練度判定部１５０から情報を取得して、運転者の注意状態を推定する運転者注意状態推定部３２０を備えている。
　運転者熟練度判定部１５０は、例えばＥＣＵ２０が検出装置４０（図１参照）から取得した各種検出結果に基づいて、運転者の熟練度を判定する。検出装置４０の各種検出結果からは、その運転者による車両１０４の運転操作の状況を知ることができる。よって、例えば急ハンドル、急発進、急停車が多い等の検知結果から、その運転者の熟練度が低いと推定することが可能である。
　運転者注意状態推定部３２０は、上述の実施形態２の運転者注意状態推定部２２０と同様、複数領域における予測誤差に基づく運転者の注意状態の不適正度合いの高低、及び視線推定部１４０が推定した運転者の視線の向きに基づいて、複数領域に対する運転者の注意状態をそれぞれ推定する。
　このとき、運転者注意状態推定部３２０は、運転者の熟練度に応じて、運転者の注意状態を推定する際の複数領域における注意状態指標の閾値を変更する。すなわち、運転者注意状態推定部３２０は、運転者の熟練度が低い場合には注意状態指標の閾値を低く設定する。また、運転者注意状態推定部３２０は、運転者の熟練度が高い場合には注意状態指標の閾値を高く設定する。
　運転者注意状態推定部３２０による、このような設定は、熟練度が低い運転者は、熟練度が高い運転者に比べて、予測誤差の大きな領域に視線を向ける傾向がより高いことに基づく。
　図５４は、実施形態３にかかる運転支援装置３１０が行う運転支援処理の手順の一例を示すフロー図である。なお、図５４に示す処理のうち、ステップＳ１０２，Ｓ１０３が、上述の実施形態２の図５２に示す処理から新たに加わった処理である。
　図５４に示すように、実施形態３の運転支援装置３１０が備える視線推定部１４０は、車内向けカメラ４２が撮像した運転者の顔画像から、運転者が視線を向けた先を推定する（ステップＳ１０１）。また、運転者熟練度判定部１５０は、ＥＣＵ２０から検出装置４０の検出結果を取得し、これらの検出結果に基づいて運転者の熟練度を判定する（ステップＳ１０２）。
　運転者注意状態推定部３２０は、運転者熟練度判定部１５０の判定結果に基づいて、予測誤差および運転者の視線等から算出される注意状態指標の閾値の設定を変更する（ステップＳ１０３）。
　運転者の熟練度が低いと判定された場合、運転者注意状態推定部３２０は、閾値ＴＨ３１、閾値ＴＨ３１よりも大きい閾値ＴＨ３２、閾値ＴＨ３２よりも大きい閾値ＴＨ３３を設定する。運転者の熟練度が高いと判定された場合、運転者注意状態推定部３２０は、閾値ＴＨ３１よりも大きい閾値ＴＨ３４、閾値ＴＨ３２，ＴＨ３４よりも大きい閾値ＴＨ３５、閾値ＴＨ３３，ＴＨ３５よりも大きい閾値ＴＨ３６を設定する。
　また、運転者注意状態推定部２２０は、車外向けカメラ４１が撮像した画像を複数領域に分割し（ステップＳ１１０）、それぞれについて予測誤差を算出する（ステップＳ１２０）。
　また、運転者注意状態推定部２２０は、運転者の熟練度に基づいて設定した閾値ＴＨ３１～ＴＨ３３、または閾値ＴＨ３４～ＴＨ３６に応じて、予測誤差と運転者の視線とから算出した注意状態指標を振り分け（ステップＳ１３０，Ｓ１４０，Ｓ１５０）、これらの注意状態指標に基づいて運転者の注意状態を推定する（ステップＳ１３２，Ｓ１４２，Ｓ１５２）。
　出力制御部１３０は、運転者注意状態推定部２２０の推定結果に基づいて、潜在情報の提示の態様ＳＴ１～ＳＴ３を選択する（ステップＳ１３３，Ｓ１４３，Ｓ１５３）。
　実施形態３の運転支援装置３１０は、全ての領域について上記処理を繰り返し（ステップＳ１６０：Ｎｏ）、全ての領域の処理が終了した後（ステップＳ１６０：Ｙｅｓ）、生成した運転支援情報をＨＭＩ制御装置３０に出力する（ステップＳ１７０）。
　以上により、実施形態３の運転支援装置３１０による運転支援処理が終了する。
　なお、実施形態３の運転支援装置３１０によって、上記のようにＨＭＩ制御装置３０に出力された運転支援情報に含まれる情報は、例えば上述の実施形態１及び変形例１～３で説明した種々の態様で情報提示装置６０によって提示されることができる。
　このとき、実施形態３の運転支援装置３１０が、上述の実施形態１の変形例５，６等と同様、顕在情報演算部１１１、ＴＴＣ演算部１１２等を備えることにより、運転支援情報に含まれる潜在情報と顕在情報とを提示させることが可能であってもよい。
　あるいは、実施形態３の運転支援装置３１０が、上述の実施形態１の変形例４，７等と同様、ＥＣＵ２０または外部サーバ９０等に運転支援情報が出力可能に構成されていてもよい。
　実施形態３の運転支援装置３１０によれば、予測誤差に加えて運転者の運転の熟練度にも基づいて運転者の注意状態を推定する。これにより、個々の運転者に応じて、より高精度に注意状態を推定することができる。
　実施形態３の運転支援装置３１０によれば、運転者の熟練度が低い場合には、複数領域のうち注意状態指標がいずれかの閾値ＴＨ３１～ＴＨ３３より大きい領域を抽出し、運転者の熟練度が高い場合には、複数領域のうち注意状態指標がいずれかの閾値ＴＨ３４～ＴＨ３６を超える領域を抽出する。
　これにより、運転者の熟練度に応じて、運転者の注意状態の不適正度合い検知を行うことができる。よって、個々の運転者に応じて、適切な情報提示を行うことができる。
　なお、上述の実施形態３では、運転支援装置３１０が視線推定部１４０を備えることとした。しかし、運転支援装置３１０は、視線推定部１４０を備えていなくともよく、その場合、実施形態３の運転支援装置３１０は、実施形態１の運転支援装置１０の処理に加えて、運転者の熟練度に応じた閾値の設定切り替え処理を行う構成であってもよい。
　また、上述の実施形態１～３及び変形例１～７では、運転支援装置１０，２１０，３１０等が、例えば３つの閾値に基づいて予測誤差等から算出される指標の高低を判定することとした。しかし、このような指標について設定される閾値は、２つ以下であってもよく、または４つ以上であってもよい。
　また、上述の実施形態１～３及び変形例１～７では、運転支援装置１０，２１０，３１０等が、例えばＥＣＵ等の１つの装置として構成されているものとした。しかし、複数の装置を組み合わせて構成される運転支援システムによって、上述の実施形態１～３及び変形例１～７で説明した機能が実現されてもよい。この場合、一部機能を実現する装置が、車両外に設けられていてもよい。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，２１０，３１０　運転支援装置
２０　ＥＣＵ
３０　ＨＭＩ制御装置
４０　検出装置
４１　車外向けカメラ
４２　車内向けカメラ
５０　車両制御装置
５１　ブレーキアクチュエータ
５２　エンジンコントローラ
６０　情報提示装置
６１　ＨＵＤ
６２　車内モニタ
６３　スピーカ
６４　メータディスプレイ
６５　ピラーディスプレイ
６６　ＬＥＤディスプレイ
６７　ミラーディスプレイ
９０　外部サーバ
１００，１０１～１０４，２００，３００　車両
１１０　予測誤差演算部
１１１　顕在情報演算部
１１２　ＴＴＣ演算部
１２０，２２０，３２０　運転者注意状態推定部
１３０，１３０ａ，１３０ｂ，１３０ｃ，１３０ｄ　出力制御部 
 

Claims (21)

  1. 　車両の周囲を撮像する車外向けカメラが撮像した前記車両の進行方向の画像から予測される予測画像と、実際の状況が撮像された実画像と、の差である予測誤差を算出する予測誤差演算部と、
    　前記予測誤差に基づいて、運転者の注意状態を推定する注意状態推定部と、
    　前記注意状態に基づいて、その時々の運転に対しより適正な注意状態、かつ／または運転操作への行動変容かつ／または意識変容を促す運転支援情報を出力する出力制御部と、を備える、
    運転支援装置。
  2. 　前記注意状態推定部は、
    　前記画像内の複数領域のうち前記予測誤差が所定の閾値より大きい領域を抽出し、前記抽出した領域が前記複数領域の中央から偏っているか、一部に集中し過ぎているか、全体に分散し過ぎているか、の１つ以上の状態を推定する、
    請求項１に記載の運転支援装置。
  3. 　前記注意状態推定部は、
    　時間的に連続する画像群の複数領域のうち前記予測誤差の時間分散値が所定の閾値より大きい領域を抽出し、前記抽出した領域が前記複数領域の中央から偏っているか、一部に集中し過ぎているか、全体に分散し過ぎているか、の１つ以上の状態を推定する、
    請求項１に記載の運転支援装置。
  4. 　前記出力制御部は、
    　前記注意状態推定部が推定した注意状態が、偏っているときに偏りを正し、一部に集中し過ぎているときに分散させ、全体に分散し過ぎているときに集中させるように、視認行動を無意識に変容させる運転支援情報を出力する、
    請求項１乃至請求項３のいずれか１項に記載の運転支援装置。
  5. 　前記出力制御部は、
    　前記注意状態推定部が推定した注意状態が、偏っているときに偏りを正し、一部に集中し過ぎているときに分散させ、全体に分散し過ぎているときに集中させるように、注意喚起する運転支援情報を出力する、
    請求項１乃至請求項３のいずれか１項に記載の運転支援装置。
  6. 　前記車両内を撮像する車内向けカメラが撮像した前記運転者の顔画像から、前記予測誤差のうち前記運転者が視線を向けている領域を推定する視線推定部を更に備え、
    　前記注意状態推定部は、
    　前記予測誤差に加えて前記視線の向きにも基づいて前記運転者の注意状態を推定する、
    請求項１乃至請求項５のいずれか１項に記載の運転支援装置。
  7. 　前記注意状態推定部は、
    　前記運転者が視線を向けている領域の予測誤差と、視線を向けていない任意の領域の予測誤差と、に基づいて注意の惹かれやすさを推定する、
    請求項６に記載の運転支援装置。
  8. 　前記出力制御部は、
    　前記注意状態推定部が推定した注意状態が、注意の惹かれやすさの高いときに、適正な注意状態に誘導させるように、視認行動を無意識に変容させる運転支援情報を出力する、
    請求項７に記載の運転支援装置。
  9. 　前記出力制御部は、
    　前記注意状態推定部が推定した注意状態が、注意の惹かれやすさの高いときに、運転者に自覚させるように、注意喚起する運転支援情報を出力する、
    請求項７に記載の運転支援装置。
  10. 　前記車両の各部の状態を検出する検出装置から得られる前記運転者による前記車両の操作情報に基づいて、前記運転者による運転の熟練度を判定する熟練度判定部を更に備え、
    　前記注意状態推定部は、
    　前記予測誤差に加えて前記熟練度にも基づいて前記出力制御部を制御する、
    請求項１乃至請求項９のいずれか１項に記載の運転支援装置。
  11. 　前記出力制御部は、
    　前記注意状態推定部が推定した注意状態が、偏っているときに偏りを正し、一部に集中し過ぎているときに分散させ、全体に分散し過ぎているときに集中させるように、視認行動を無意識に変容させる運転支援情報を、前記熟練度が低い場合に、より目立つ態様で出力する、
    請求項１０に記載の運転支援装置。
  12. 　前記出力制御部は、
    　前記注意状態推定部が推定した注意状態が、偏っているときに偏りを正し、一部に集中し過ぎているときに分散させ、全体に分散し過ぎているときに集中させるように、注意喚起する運転支援情報を、前記熟練度が低い場合に、より目立つ態様で出力する、
    請求項１０に記載の運転支援装置。
  13. 　前記出力制御部は、
    　前記運転者に情報を提示する情報提示装置を制御する情報提示制御装置に前記運転支援情報を出力し、
    　前記情報提示装置は、
    　ヘッドアップディスプレイ、並びに前記車両内に搭載された車内モニタ、メータディスプレイ、ピラーディスプレイ、ミラーディスプレイ、発光装置、及びスピーカを含み、
    　前記情報提示制御装置は、
    　前記ヘッドアップディスプレイ、前記車内モニタ、前記メータディスプレイ、前記ピラーディスプレイ、前記ミラーディスプレイ、前記発光装置、及び前記スピーカの少なくともいずれかに、前記情報を提示させる、
    請求項１乃至請求項１２のいずれか１項に記載の運転支援装置。
  14. 　前記出力制御部は、
    　前記運転者に情報を提示する情報提示装置を制御する情報提示制御装置に前記運転支援情報を出力し、
    　前記情報提示装置は、
    　ヘッドアップディスプレイ、並びに前記車両内に搭載された車内モニタ、メータディスプレイ、ピラーディスプレイ、ミラーディスプレイ、発光装置、及びスピーカを含み、
    　前記情報提示制御装置は、
    　前記ヘッドアップディスプレイ、前記車内モニタ、前記メータディスプレイ、前記ピラーディスプレイ、前記ミラーディスプレイ、前記発光装置、及び前記スピーカのうち、２以上の情報提示装置に、複数部分に分割した前記情報をそれぞれ提示させる、
    請求項１乃至請求項１２のいずれか１項に記載の運転支援装置。
  15. 　前記出力制御部は、
    　前記運転者への注意喚起を行う領域に紐づけられ、前記車両の動作を指示する動作情報を、前記車両を制御する車載電子制御ユニットに出力し、
    　前記車載電子制御ユニットは、
    　前記車両を減速させる車両制御装置に、前記動作情報に基づく動作を行わせる、
    請求項１乃至請求項１４のいずれか１項に記載の運転支援装置。
  16. 　前記車両制御装置は、
    　前記車両に制動をかける制動装置、及び前記車両のエンジン出力の制御を行うエンジン制御装置を含み、
    　前記車載電子制御ユニットは、
    　前記制動装置によって前記車両に制動をかけること、及び
    　前記エンジン制御装置によって前記車両の加速を抑制すること、の少なくともいずれかを行わせて前記車両を減速させる、
    請求項１５に記載の運転支援装置。
  17. 　前記出力制御部は、
    　前記運転者への注意喚起を行う領域がより大きな前記予測誤差に基づくほど、前記車両の減速効果が高い前記動作情報を出力する、
    請求項１５または請求項１６に記載の運転支援装置。
  18. 　前記出力制御部は、
    　前記注意状態の情報と、車両ネットワークから取得する車両操作情報を、前記注意状態の情報を蓄積する外部サーバに出力する、
    請求項１乃至請求項１７のいずれか１項に記載の運転支援装置。
  19. 　前記外部サーバは、
    　前記車両を含む複数の車両から収集した前記注意状態の情報と、前記車両操作情報とに基づき、前記運転者が注意状態に対して適切な車両操作できているかを評価し、運転支援装置に出力する、
    請求項１８に記載の運転支援装置。
  20. 　車両の周囲を撮像する車外向けカメラが撮像した前記車両の進行方向の画像から予測される予測画像と、実際の状況が撮像された実画像と、の差である予測誤差を算出する予測誤差演算部と、
    　前記予測誤差に基づいて、運転者の注意状態を推定する注意状態推定部と、
    　前記注意状態に基づいて、その時々の運転に対しより適正な注意状態、かつ／または運転操作への行動変容かつ／または意識変容を促す運転支援情報を出力する出力制御部と、を備える、
    運転支援システム。
  21. 　車両の周囲を撮像する車外向けカメラが撮像した前記車両の進行方向の画像から予測される予測画像と、実際の状況が撮像された実画像と、の差である予測誤差を算出し、
    　前記予測誤差に基づいて、運転者の注意状態を推定し、
    　前記注意状態に基づいて、その時々の運転に対しより適正な注意状態、かつ／または運転操作への行動変容かつ／または意識変容を促す運転支援情報を出力する、
    運転支援方法。
PCT/JP2023/025912 2022-10-13 2023-07-13 運転支援装置、運転支援システム、及び運転支援方法 WO2024079956A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022165091A JP2024058015A (ja) 2022-10-13 2022-10-13 運転支援装置、運転支援システム、及び運転支援方法
JP2022-165091 2022-10-13

Publications (1)

Publication Number Publication Date
WO2024079956A1 true WO2024079956A1 (ja) 2024-04-18

Family

ID=90669452

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/025912 WO2024079956A1 (ja) 2022-10-13 2023-07-13 運転支援装置、運転支援システム、及び運転支援方法

Country Status (2)

Country Link
JP (1) JP2024058015A (ja)
WO (1) WO2024079956A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180750A1 (ja) * 2017-03-30 2018-10-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置および情報処理方法
WO2021132566A1 (ja) * 2019-12-26 2021-07-01 パナソニックＩｐマネジメント株式会社 表示制御装置、表示システム、表示制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180750A1 (ja) * 2017-03-30 2018-10-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置および情報処理方法
WO2021132566A1 (ja) * 2019-12-26 2021-07-01 パナソニックＩｐマネジメント株式会社 表示制御装置、表示システム、表示制御方法

Also Published As

Publication number Publication date
JP2024058015A (ja) 2024-04-25

Similar Documents

Publication Publication Date Title
US10099613B2 (en) Stopped vehicle traffic resumption alert
US20190337533A1 (en) Driving assistance device
JP5287746B2 (ja) 運転支援装置、及び運転支援方法
JP5568345B2 (ja) 安全確認支援装置及びプログラム
EP2767450A1 (en) Lane departure warning system and a method for a lane departure warning system
US11351992B2 (en) Method and system for assisting drivers to drive with precaution
JP7222216B2 (ja) 運転支援装置
JP6555646B2 (ja) 車両運転支援システム
US10399563B2 (en) Driving support apparatus, driving support method, and computer program product
CN1802273A (zh) 根据被解释的驾驶员活动控制车辆子系统的方法和装置
US20200031339A1 (en) Driving assistant apparatus, driving assistant method, moving object, and program
JP6593011B2 (ja) 安全運転促進装置及び安全運転促進方法
JP2009244959A (ja) 運転支援装置、運転支援方法
WO2013081533A1 (en) Safety system for a vehicle
JP7460870B2 (ja) 表示制御装置、表示システム、表示制御方法
JP3183594B2 (ja) 自動車の潜在危険検知装置
EP3868621B1 (en) Driver state estimation device and movable body
US20180086265A1 (en) Method, system and vehicle for use of an object displaying device in a vehicle
EP3868622A1 (en) Driver state estimation device and movable body
WO2024079956A1 (ja) 運転支援装置、運転支援システム、及び運転支援方法
CN116691722A (zh) 车辆碰撞的预警方法、装置、电子设备及存储介质
JP6669956B2 (ja) 車両用表示装置とその制御方法
CN116279553A (zh) 用于辅助道路车辆的驾驶员的方法和系统
JP7384130B2 (ja) 車両の運転支援装置、車両の運転支援方法、およびプログラム
JP2016159658A (ja) 情報表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23876965

Country of ref document: EP

Kind code of ref document: A1