WO2021200121A1 - 提示制御装置および提示制御プログラム - Google Patents

提示制御装置および提示制御プログラム Download PDF

Info

Publication number
WO2021200121A1
WO2021200121A1 PCT/JP2021/010652 JP2021010652W WO2021200121A1 WO 2021200121 A1 WO2021200121 A1 WO 2021200121A1 JP 2021010652 W JP2021010652 W JP 2021010652W WO 2021200121 A1 WO2021200121 A1 WO 2021200121A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
specific action
presentation
transition
automatic driving
Prior art date
Application number
PCT/JP2021/010652
Other languages
English (en)
French (fr)
Inventor
拓弥 久米
雄大 松本
晋彦 千葉
一輝 小島
しおり 間根山
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021016687A external-priority patent/JP7331875B2/ja
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2021200121A1 publication Critical patent/WO2021200121A1/ja
Priority to US17/954,550 priority Critical patent/US20230019934A1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/28
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • B60K2360/172
    • B60K2360/175
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means

Definitions

  • the disclosure in this specification relates to a technique for controlling the presentation of information to a driver of a vehicle capable of performing autonomous driving.
  • Patent Document 1 discloses a technique for switching from manual operation to automatic operation.
  • the purpose of disclosure is to provide a presentation control device and a presentation control program capable of presenting highly convenient information.
  • One of the disclosed presentation control devices is a presentation control device that controls the presentation of information to the driver of a vehicle capable of performing autonomous driving. Distinguish between a specific action permission state that allows a driver to perform a specific action other than driving during automatic driving, a specific action prohibition state that prohibits a specific action during automatic driving, and an automatic driving prohibition state that prohibits automatic driving. And the discriminator A presentation control unit that presents the first transition information regarding the transition from the automatic driving prohibited state to the specific action permitted state in a presentation mode emphasized more than the second transition information regarding the transition from the specific action prohibited state to the specific action permitted state. To be equipped.
  • One of the disclosed presentation control programs is a presentation control program that includes an instruction stored in a storage medium and executed by a processor in order to control the presentation of information to a driver of a vehicle capable of performing autonomous driving.
  • the instruction is Distinguish between a specific action permission state that allows a driver to perform a specific action other than driving during automatic driving, a specific action prohibition state that prohibits a specific action during automatic driving, and an automatic driving prohibition state that prohibits automatic driving.
  • Discrimination process to make A presentation control process in which the first transition information regarding the transition from the automatic driving prohibited state to the specific action permitted state is presented in a presentation mode emphasized more than the second transition information regarding the transition from the specific action prohibited state to the specific action permitted state. including.
  • the first transition information regarding the transition from the automatic driving prohibited state to the specific action permitted state is emphasized more than the second transition information regarding the transition from the specific action prohibited state to the specific action permitted state. Presented. Therefore, the driver can more reliably recognize the transition from the automatic driving prohibition state to the specific action permission state, which requires more attention.
  • a presentation control device and a presentation control program capable of presenting highly convenient information can be provided.
  • One of the disclosed presentation control devices is a presentation control device that controls the presentation of information to the driver of a vehicle capable of performing autonomous driving.
  • a discriminator that discriminates between a specific action permission state that allows a driver to perform a specific action other than driving during automatic driving and a specific action prohibition state that prohibits a specific action during automatic driving.
  • a presentation control unit that presents prohibited transition information related to the transition from the specific action permitted state to the specific action prohibited state in a presentation mode emphasized more than the permission transition information regarding the transition from the specific action prohibited state to the specific action prohibited state. To be equipped.
  • One of the disclosed presentation control programs is a presentation control program that includes an instruction stored in a storage medium and executed by a processor in order to control the presentation of information to a driver of a vehicle capable of performing autonomous driving.
  • the instruction is A discrimination process that discriminates between a specific action permission state that allows a driver to perform a specific action other than driving during automatic driving and a specific action prohibition state that prohibits a specific action during automatic driving.
  • a presentation control process that causes the prohibited transition information related to the transition from the specific action permitted state to the specific action prohibited state to be presented in a presentation mode emphasized more than the permission transition information regarding the transition from the specific action prohibited state to the specific action prohibited state. including.
  • the prohibition transition information regarding the transition from the specific act prohibited state to the specific act prohibited state is presented in a presentation mode emphasized more than the permission transition information regarding the transition from the specific act prohibited state to the specific act permitted state. NS. Therefore, the driver can more reliably recognize the transition from the specific action permission state to the specific action prohibition state, which requires more attention.
  • a presentation control device, a presentation control method, and a presentation control program capable of presenting highly convenient information can be provided.
  • One of the disclosed presentation control devices is a presentation control device that controls the presentation of information to the driver of a vehicle capable of performing autonomous driving. Distinguish between a specific action permission state that allows a driver to perform a specific action other than driving during automatic driving, a specific action prohibition state that prohibits a specific action during automatic driving, and an automatic driving prohibition state that prohibits automatic driving. And the discriminator A presentation control unit that presents in a presentation mode that emphasizes the second transition information regarding the transition from the specific action prohibited state to the specific action permitted state rather than the first transition information regarding the transition from the automatic driving prohibited state to the specific action permitted state. To be equipped.
  • One of the disclosed presentation control programs is a presentation control program that includes an instruction stored in a storage medium and executed by a processor in order to control the presentation of information to a driver of a vehicle capable of performing autonomous driving.
  • the instruction is Distinguish between a specific action permission state that allows a driver to perform a specific action other than driving during automatic driving, a specific action prohibition state that prohibits a specific action during automatic driving, and an automatic driving prohibition state that prohibits automatic driving.
  • Discrimination process to make A presentation control process that emphasizes the second transition information regarding the transition from the specific action prohibited state to the specific action permitted state rather than the first transition information regarding the transition from the automatic driving prohibited state to the specific action permitted state. including.
  • the second transition information regarding the transition from the specific action prohibited state to the specific action permitted state is emphasized more than the first transition information regarding the transition from the automatic driving prohibited state to the specific action permitted state. Presented. Therefore, the driver can more reliably recognize the transition from the automatic driving prohibition state to the specific action permission state, which requires more attention.
  • a presentation control device and a presentation control program capable of presenting highly convenient information can be provided.
  • One of the disclosed presentation control devices is a presentation control device that controls the presentation of information to the driver of a vehicle capable of performing autonomous driving. Distinguish between a specific action permission state that allows a driver to perform a specific action other than driving during automatic driving, a specific action prohibition state that prohibits a specific action during automatic driving, and an automatic driving prohibition state that prohibits automatic driving.
  • the discriminator A lane identification unit that identifies the type of lane in which the vehicle is traveling, A presentation control unit that presents the first transition information regarding the transition from the automatic driving prohibited state to the specific action permitted state and the second transition information regarding the transition from the specific action prohibited state to the specific action permitted state. With The presentation control unit changes the degree of emphasis of the presentation mode of the first transition information and the second transition information according to the type of lane.
  • One of the disclosed presentation control programs is a presentation control program that includes an instruction stored in a storage medium and executed by a processor in order to control the presentation of information to a driver of a vehicle capable of performing autonomous driving.
  • the instruction is Distinguish between a specific action permission state that allows a driver to perform a specific action other than driving during automatic driving, a specific action prohibition state that prohibits a specific action during automatic driving, and an automatic driving prohibition state that prohibits automatic driving.
  • Discrimination process to make A lane identification process that allows the vehicle to identify the type of lane in which it is traveling, A presentation control process for presenting the first transition information regarding the transition from the automatic driving prohibited state to the specific action permitted state and the second transition information regarding the transition from the specific action prohibited state to the specific action permitted state.
  • the degree of emphasis of the presentation mode of the first transition information and the second transition information is changed according to the type of lane.
  • the degree of emphasis of the first transition information and the second transition information is changed according to the type of the lane in which the vehicle is traveling. Therefore, the driver can recognize each transition information with a degree of emphasis according to the lane in which the driver is traveling.
  • a presentation control device and a presentation control program capable of presenting highly convenient information can be provided.
  • the presentation control device of the first embodiment will be described with reference to FIGS. 1 to 24.
  • the presentation control device of the first embodiment is provided by an HCU (Human Machine Interface Control Unit) 100 mounted on the vehicle A.
  • the HCU 100 constitutes an HMI (Human Machine Interface) system used in the vehicle A together with a plurality of display devices, an audio device 24, an operation device 26, and the like.
  • the HMI system has an input interface function that accepts an operation by an occupant (for example, a driver) of the vehicle A, and an output interface function that presents information to the driver.
  • the HCU 100 is connected to the locator 30, the peripheral monitoring sensor 40, the in-vehicle communication device 50, the first automatic driving ECU 60, the second automatic driving ECU 70, the DSM 27, and the vehicle control ECU 80 via a communication bus 99 or the like.
  • the locator 30 generates own vehicle position information and the like by compound positioning that combines a plurality of acquired information.
  • the locator 30 includes a GNSS (Global Navigation Satellite System) receiver 31, an inertial sensor 32, a map database (hereinafter, “map DB”) DB 33, and a locator ECU 34.
  • the GNSS receiver 31 receives positioning signals from a plurality of positioning satellites.
  • the inertial sensor 32 is a sensor that detects the inertial force acting on the vehicle A.
  • the inertial sensor 32 includes, for example, a gyro sensor and an acceleration sensor.
  • the map DB 33 is a non-volatile memory and stores map data such as link data, node data, road shape, and structures.
  • the map data may be a three-dimensional map composed of point clouds of road shapes and feature points of structures.
  • the three-dimensional map may be generated by REM (Road Experience Management) based on the captured image.
  • the map data may include traffic regulation information, road construction information, weather information, signal information, and the like.
  • the map data stored in the map DB is updated regularly or at any time based on the latest information received by the in-vehicle communication device 50 described later.
  • the locator ECU 34 has a configuration mainly including a microcomputer provided with a processor, a memory, an input / output interface, a bus connecting them, and the like.
  • the locator ECU 34 sequentially positions the position of the vehicle A (hereinafter referred to as the own vehicle position) by combining the positioning signal received by the GNSS receiver 31, the map data of the map DB 33, and the measurement result of the inertial sensor 32.
  • the position of the own vehicle may be, for example, configured to be represented by the coordinates of latitude and longitude.
  • the position of the own vehicle may be determined by using the mileage obtained from the signals sequentially output from the vehicle speed sensor mounted on the vehicle A.
  • the locator ECU 34 detects the three-dimensional map and the peripheral monitoring sensor 40 without using the GNSS receiver 31.
  • the position of the own vehicle may be specified by using the result.
  • the peripheral monitoring sensor 40 is an autonomous sensor that monitors the surrounding environment of the vehicle A. From the detection range around the vehicle A, the peripheral monitoring sensor 40 includes moving objects such as pedestrians, cyclists, non-human animals, and other vehicles, as well as falling objects on the road, guardrails, curbs, road markings, traveling lane markings, and the like. It is possible to detect road markings and stationary objects such as roadside structures.
  • the peripheral monitoring sensor 40 provides the detection information of detecting an object around the vehicle A to the first automatic driving ECU 60, the second automatic driving ECU 70, and the like through the communication bus 99.
  • the peripheral monitoring sensor 40 has a front camera 41 and a millimeter wave radar 42 as a detection configuration for object detection.
  • the front camera 41 outputs at least one of the imaging data obtained by photographing the front range of the vehicle A and the analysis result of the imaging data as detection information.
  • a plurality of millimeter-wave radars 42 are arranged, for example, on the front and rear bumpers of the vehicle A at intervals from each other.
  • the millimeter wave radar 42 irradiates the millimeter wave or the quasi-millimeter wave toward the front range, the front side range, the rear range, the rear side range, and the like of the vehicle A.
  • the millimeter wave radar 42 generates detection information by a process of receiving reflected waves reflected by a moving object, a stationary object, or the like.
  • the peripheral monitoring sensor 40 includes other detection configurations such as LiDAR (Light Detection and Ringing / Laser Imaging Detection and Ringing) that detects a point cloud of feature points of a feature, and sonar that receives reflected ultrasonic waves. It may be.
  • LiDAR Light Detection and Ringing / Laser Imaging Detection and Ringing
  • the in-vehicle communication device 50 is a communication module mounted on the vehicle A.
  • the in-vehicle communication device 50 has at least a V2N (Vehicle to cellular Network) communication function in accordance with communication standards such as LTE (Long Term Evolution) and 5G, and has a radio wave with a base station around the vehicle A. To send and receive.
  • the in-vehicle communication device 50 may further have functions such as road-to-vehicle (Vehicle to roadside Infrastructure, hereinafter “V2I”) communication and vehicle-to-vehicle (Vehicle to Vehicle, hereinafter “V2V”) communication.
  • V2I road-to-vehicle to roadside Infrastructure
  • V2V2V vehicle-to-vehicle to Vehicle
  • the in-vehicle communication device 50 enables cooperation (Cloud to Car) between the cloud and the in-vehicle system by V2N communication.
  • the vehicle A becomes a connected car that can be connected to the Internet.
  • the in-vehicle communication device 50 acquires the traffic congestion information distributed from the traffic information center or the like and provides it to the second automatic driving ECU 70, the HCU 100 or the like.
  • the first automatic operation ECU 60 and the second automatic operation ECU 70 are configured to mainly include a computer including processors 62, 72, memories 61, 71, an input / output interface, a bus connecting them, and the like, respectively.
  • the first automatic driving ECU 60 and the second automatic driving ECU 70 are ECUs capable of executing automatic driving control that partially or substantially completely controls the traveling of the vehicle A.
  • the first automatic driving ECU 60 has a partially automatic driving function that partially substitutes the driving operation of the driver.
  • the second automatic driving ECU 70 has an automatic driving function capable of acting as a driver's driving operation.
  • the first automatic driving ECU 60 enables partially automatic driving control (advanced driving support) of level 2 or lower. That is, the first automatic driving ECU 60 makes it possible to carry out automatic driving control in which peripheral monitoring is required for the driver. In other words, the first automatic operation ECU 60 enables automatic operation in which the second task described later is prohibited.
  • the first automatic driving ECU 60 can execute one or both of the vertical control and the horizontal control of the vehicle A.
  • the vertical direction is a direction that coincides with the front-rear direction of the vehicle A
  • the horizontal direction is a direction that coincides with the width direction of the vehicle A.
  • the first automatic driving ECU 60 executes acceleration / deceleration control of the vehicle A as vertical control. Further, the first automatic driving ECU 60 executes the steering angle control of the steering wheel of the vehicle A as the lateral control.
  • the first automatic driving ECU 60 constructs a plurality of functional units that realize the above-mentioned advanced driving support by causing the processor 62 to execute a plurality of instructions by the driving support program stored in the memory 61. Specifically, as shown in FIG. 2, the first automatic operation ECU 60 constructs an environment recognition unit 63, an ACC control unit 64, an LTA control unit 65, and the like as functional units.
  • the environment recognition unit 63 recognizes the traveling environment around the vehicle A based on the detection information acquired from the peripheral monitoring sensor 40.
  • the environment recognition unit 63 provides the analysis result of the detection information performed for the driving environment recognition to the ACC control unit 64 and the LTA control unit 65 as the analyzed detection information.
  • the environment recognition unit 63 uses information (lane information) indicating the relative positions and shapes of the left and right lane markings or roadsides of the lane in which the vehicle A is currently traveling (hereinafter referred to as the current lane) as the analyzed detection information. Generate.
  • the environment recognition unit 63 has already analyzed information (preceding vehicle information) indicating the presence or absence of a preceding vehicle ahead of the vehicle A in the current lane and the position and speed of the preceding vehicle when there is a preceding vehicle. Generate as information.
  • the environment recognition unit 63 sequentially provides the preceding vehicle information to the ACC control unit 64, and sequentially provides the lane information to the LTA control unit 65.
  • the environment recognition unit 63 may be configured to recognize the MD area, the AD area, the ST section, and the non-ST section, which will be described later.
  • the ACC control unit 64 executes ACC (Adaptive Cruise Control) control that realizes constant speed traveling of vehicle A at a target speed or traveling following the preceding vehicle.
  • the LTA control unit 65 executes LTA (Lane Tracing Assist) control for maintaining the vehicle A traveling in the lane based on the lane information.
  • the control units 64 and 65 generate acceleration / deceleration or steering angle control commands and sequentially provide them to the vehicle control ECU 80 described later.
  • ACC control is an example of vertical control
  • LTA control is an example of horizontal control.
  • the first automatic operation ECU 60 realizes level 2 automatic operation by executing both ACC control and LTA control.
  • the first automatic operation ECU 60 may be able to realize level 1 automatic operation by executing either ACC control or LTA control.
  • the second automatic driving ECU 70 enables automatic driving control of level 3 or higher at the above-mentioned automatic driving level. That is, the second automatic driving ECU 70 enables the automatic driving in which the driver is allowed to interrupt the peripheral monitoring. In other words, the second automatic operation ECU 70 enables automatic operation in which the second task is permitted.
  • the second task is an act other than driving permitted to the driver, and is a predetermined specific act.
  • the driver in this case gives control of driving from the automatic driving system when leaving the limited area or in an emergency.
  • the person who takes over (passenger).
  • the driver may be legally permitted to perform a second task until a request to perform a driving operation by the autonomous driving system, that is, a request to change driving (Take Over Request) is generated.
  • the second task can be called a secondary activity or another activity.
  • the second task must not prevent the driver from responding to a request to take over the driving operation from the autonomous driving system.
  • viewing of contents such as videos, operation of smartphones, reading, and eating are assumed as second tasks.
  • the second automatic operation ECU 70 constructs a plurality of functional units that realize the above-mentioned automatic operation by causing the processor 72 to execute a plurality of instructions by the automatic operation program stored in the memory 71. Specifically, the second automatic driving ECU 70 constructs an environment recognition unit 73, an action determination unit 74, a trajectory generation unit 75, and the like as functional units.
  • the environment recognition unit 73 recognizes the driving environment around the vehicle A based on the detection information acquired from the peripheral monitoring sensor 40, the vehicle position and map data acquired from the locator ECU 34, the communication information acquired from the in-vehicle communication device 50, and the like. do. As an example, the environment recognition unit 73 recognizes the position of the current lane of the vehicle A, the shape of the current lane, the relative position and the relative speed of the moving body around the vehicle A, and the like. The environment recognition unit 73 sequentially provides the above recognition results to the action determination unit 74 and the trajectory generation unit 75.
  • the environment recognition unit 73 discriminates the manual driving area (MD area) and the automatic driving area (AD area) in the traveling area of the vehicle A, discriminates the ST section and the non-ST section in the AD area, and the recognition result. Is sequentially provided to the HCU 100.
  • the MD area is an area where automatic driving is prohibited.
  • the MD area is an area defined by the driver to perform all of the vertical control, horizontal control and peripheral monitoring of the vehicle A.
  • the MD area is an area where the travel path is a general road.
  • the AD area is an area where automatic driving is permitted.
  • the AD area is an area in which the vehicle A can substitute one or more of the vertical control, the horizontal control, and the peripheral monitoring.
  • the AD area is an area where the driving road is a highway or a motorway.
  • the AD area is divided into a non-ST section capable of automatic operation of level 2 or lower and an ST section capable of automatic operation of level 3 or higher.
  • a non-ST section capable of automatic operation of level 2 or lower
  • an ST section capable of automatic operation of level 3 or higher.
  • the ST section is, for example, a traveling section (congested section) in which congestion is occurring. Further, the ST section is, for example, a traveling section in which a high-precision map is maintained.
  • the peripheral state grasping unit 110 determines that the vehicle A is in the ST section when the traveling speed of the vehicle A is within the threshold range for a predetermined period of time. Alternatively, the peripheral state grasping unit 110 may determine whether or not the vehicle is in the ST section by combining the position of the own vehicle and the traffic congestion information acquired from the in-vehicle communication device 50. In addition to the traffic jam section, the peripheral state grasping unit 110 may set a section in which a specific condition other than the traffic jam is satisfied with respect to the surrounding environment of the vehicle A as an ST section.
  • the action judgment unit 74 determines the future action planned for the vehicle A based on the recognition result of the driving environment. Specifically, when the action judgment unit 74 has acquired the instruction to start the automatic driving in collaboration with the HCU 100 described later, the action judgment unit 74 sets the type of behavior that the vehicle A should take in order to arrive at the destination as a future action. decide. The type includes, for example, going straight, turning right, turning left, changing lanes, and the like. Further, when the action determination unit 74 determines that it is necessary to transfer the driving control right to the driver, the action determination unit 74 generates a replacement request and provides it to the HCU 100.
  • the track generation unit 75 generates a running track of the vehicle A in a section in which automatic driving can be executed, based on the recognition result of the running environment and the determined future action.
  • the traveling track includes, for example, a target position of the vehicle A according to the progress, a target speed at each target position, and the like.
  • the track generation unit 75 sequentially provides the generated traveling track to the vehicle control ECU 80 as a control command to be followed by the vehicle A in automatic traveling.
  • level 2 and level 3 equivalent automatic driving can be executed in the vehicle A.
  • a state in which automatic operation equivalent to level 2 is being executed may be referred to as a “level 2 execution mode”
  • a state in which automatic operation equivalent to level 3 is being executed may be referred to as a “level 3 execution mode”.
  • the vehicle control ECU 80 is an electronic control device that controls acceleration / deceleration and steering of the vehicle A.
  • the vehicle control ECU 80 includes a steering ECU that performs steering control, a power unit control ECU that performs acceleration / deceleration control, a brake ECU, and the like.
  • the vehicle control ECU 80 acquires detection signals output from each sensor such as a steering angle sensor and a vehicle speed sensor mounted on the vehicle A, and controls each traveling of an electronically controlled throttle, a brake actuator, an EPS (Electric Power Steering) motor, and the like. Output the control signal to the device.
  • the vehicle control ECU 80 controls each driving control device so as to realize automatic driving according to the control instruction by acquiring the control instruction of the vehicle A from the first automatic driving ECU 60 or the second automatic driving ECU 70.
  • the vehicle control ECU 80 is connected to an in-vehicle sensor 81 that detects driving operation information of the driving member by the driver.
  • the in-vehicle sensor 81 includes, for example, a pedal sensor that detects the amount of depression of the accelerator pedal, a steering sensor that detects the amount of steering of the steering wheel, and the like.
  • the vehicle control ECU 80 sequentially provides the detected driving operation information to the HCU 100.
  • the DSM27 has a configuration including a near-infrared light source, a near-infrared camera, and a control unit for controlling them.
  • the DSM 27 is installed in a posture in which the near-infrared camera is directed toward the headrest portion of the driver's seat, for example, on the upper surface of the steering column portion or the upper surface of the instrument panel 9.
  • the DSM27 uses a near-infrared camera to photograph the head of the driver irradiated with near-infrared light by a near-infrared light source.
  • the image captured by the near-infrared camera is image-analyzed by the control unit.
  • the control unit extracts information such as the position of the driver's eye point and the line-of-sight direction from the captured image, and provides the extracted driver state information to the HCU 100 and the like via the communication bus 99.
  • the plurality of display devices include a head-up display (hereinafter, HUD) 21, a meter display 22, a center information display (hereinafter, CID) 23, and the like.
  • the plurality of display devices may further include each display EMB, EML, EMR of the electronic mirror system.
  • the HUD 21, the meter display 22, and the CID 23 are indicators that present image contents such as still images or moving images to the driver as visual information.
  • the HUD 21 Based on the control signal and video data acquired from the HCU 100, the HUD 21 projects the light of the image formed in front of the driver onto the projection area PA defined by the windshield WS or the like. The light of the image reflected on the vehicle interior side by the windshield WS is perceived by the driver sitting in the driver's seat. In this way, the HUD 21 displays a virtual image in the space in front of the projection area PA. The driver visually recognizes the virtual image in the angle of view VA displayed by the HUD 21 so as to overlap the foreground of the vehicle A.
  • the meter display 22 and the CID 23 are mainly composed of, for example, a liquid crystal display or an OLED (Organic Light Emitting Diode) display.
  • the meter display 22 and the CID 23 display various images on the display screen based on the control signal and the video data acquired from the HCU 100.
  • the meter display 22 is installed, for example, in front of the driver's seat.
  • the CID 23 is provided in the central region in the vehicle width direction in front of the driver.
  • the CID 23 is installed above the center cluster in the instrument panel 9.
  • the CID 23 has a touch panel function, and detects, for example, a touch operation and a swipe operation on the display screen by a driver or the like.
  • CID23 is an example of a "central display".
  • the audio device 24 has a plurality of speakers installed in the vehicle interior.
  • the audio device 24 presents a notification sound, a voice message, or the like as auditory information to the driver based on the control signal and voice data acquired from the HCU 100. That is, the audio device 24 is an information presenting device capable of presenting information in a mode different from visual information. Auditory information is an example of "information of a specific mode different from visual information”.
  • the operation device 26 is an input unit that receives a user device such as a driver. For example, user operations related to the start and stop of each level of the automatic driving function are input to the operation device 26.
  • the operation device 26 includes, for example, a steering switch provided on the spoke portion of the steering wheel, an operation lever provided on the steering column portion, a voice input device for recognizing the utterance content of the driver, and the like.
  • the HCU 100 controls the presentation of information to the driver based on the information from the first automatic driving ECU 60, the second automatic driving ECU 70, and the like described above.
  • the HCU 100 mainly includes a computer including a memory 101, a processor 102, an input / output interface, and a bus connecting them.
  • the processor 102 is hardware for arithmetic processing.
  • the processor 102 includes, for example, at least one type of CPU (Central Processing Unit), GPU (Graphics Processing Unit), RISC (Reduced Instruction Set Computer) -CPU, and the like as a core.
  • the memory 101 non-transiently stores or stores a computer-readable program, data, or the like, for example, at least one type of non-transitional substantive storage medium (non-transitional memory, magnetic medium, optical medium, or the like) among semiconductor memories, magnetic media, optical media, and the like. transitory tangible storage medium).
  • the memory 101 stores various programs executed by the processor 102, such as a presentation control program described later.
  • the processor 102 executes a plurality of instructions included in the presentation control program stored in the memory 101.
  • the HCU 100 constructs a plurality of functional units for controlling the presentation to the driver.
  • a plurality of functional units are constructed by causing the processor 102 to execute a plurality of instructions by the presentation control program stored in the memory 101.
  • the HCU 100 is constructed with functional units such as a peripheral state grasping unit 110, an operating state determination unit 120, a driver state estimation unit 130, and a presentation information adjusting unit 140.
  • the peripheral state grasping unit 110 acquires the recognition result of the driving environment from the environment recognition unit 63 of the first automatic driving ECU 60 or the environment recognition unit 73 of the second automatic driving ECU 70.
  • the peripheral state grasping unit 110 grasps the peripheral state of the vehicle A based on the acquired recognition result. Specifically, the peripheral state grasping unit 110 grasps the approach to the AD area, the approach to the AD area, the approach to the ST section, the approach to the ST section, and the like.
  • the peripheral state grasping unit 110 sequentially provides the grasped peripheral state information to the operating state determining unit 120.
  • the peripheral state grasping unit 110 may grasp the peripheral state based on the information directly acquired from the locator ECU 34, the peripheral monitoring sensor 40, etc., instead of the recognition result acquired from each of the automatic driving ECUs 60 and 70.
  • the driver state estimation unit 130 estimates the driver state based on the information from the DSM 27, the vehicle control ECU 80, and the like. For example, the driver state estimation unit 130 estimates whether or not the driver is involved in the driving operation of each body part as the driver state. Specifically, the driver state estimation unit 130 determines whether or not the driver's eye portion is performing peripheral monitoring based on the state information regarding the driver's line-of-sight direction acquired from the DSM 27. Further, the driver state estimation unit 130 determines whether or not the driver holds the steering by hand based on the steering amount acquired from the vehicle control ECU 80. In addition, the driver state estimation unit 130 determines whether or not the driver has put his foot on the accelerator pedal based on the amount of depression of the accelerator pedal acquired from the vehicle control ECU 80.
  • the state in which the eye is monitoring the periphery may be referred to as eye-on, and the state in which the eye is not monitoring may be referred to as eye-off.
  • the state in which the steering is gripped by hand may be referred to as hands-on, and the state in which the steering is not gripped may be referred to as hands-off.
  • the state in which the foot is placed on the accelerator pedal may be referred to as leg-on, and the state in which the foot is not placed may be referred to as leg-off.
  • the driver state estimation unit 130 sequentially provides the estimated state of each body part to the driving state determination unit 120.
  • the driver state estimation unit 130 may also determine whether or not the driver conditions described later are satisfied.
  • the operation state determination unit 120 determines the operation state related to the automatic operation in collaboration with the second automatic operation ECU 70 and the first automatic operation ECU 60. Specifically, the driving state determination unit 120 determines the automatic driving level permitted to the driver and the automatic driving level actually executed as the driving state.
  • the driving state determination unit 120 determines that the automatic driving cannot be permitted when the vehicle A is traveling in the MD area. On the other hand, the driving state determination unit 120 determines that automatic driving of level 2 or higher can be permitted when traveling in the AD area. Further, the driving state determination unit 120 determines that the level 2 automatic driving can be permitted when traveling in the non-ST section of the AD area, and when traveling in the ST section, the driving state determination unit 120 determines that the level 3 automatic driving is possible. Judge that automatic driving can be permitted.
  • level 2 permitted state the state in which level 2 automatic driving is permitted
  • level 3 automatic driving a state in which level 3 automatic driving is permitted
  • a state in which all automatic driving of level 1 or higher is prohibited may be referred to as an “automatic driving prohibited state”.
  • the level 2 permission state is an example of the “specific act prohibition state”
  • the level 3 permission state is an example of the "specific action permission state”.
  • the operation state determination unit 120 determines whether or not the hands-off is permitted at the level 2. Specifically, the driving state determination unit 120 sets specific conditions based on the execution state of the LTA, the presence / absence of high-precision map data around the vehicle A, the lane state, the driver's peripheral monitoring state, the road shape around the vehicle A, and the like. If is satisfied, the hands-off permission is determined.
  • Specific conditions include, for example, that LTA control is being executed, that there is high-precision map data around vehicle A, that at least one of the left and right lane markings of the current lane can be detected, and that the driver monitors the surroundings. It is included that at least one of the fact that it can be determined that the vehicle is being driven and that the traveling section is not a complicated section of the road structure.
  • the complex section of the road structure includes, for example, a confluence section and a branch section.
  • the state in which hands-off is permitted may be referred to as “hands-off permitted state”
  • the state in which hands-off is prohibited may be referred to as “hands-off prohibited state”.
  • the hands-off permission state is an example of the "release permission state”
  • the hands-off prohibition state is an example of the "release prohibition state”.
  • the operation state determination unit 120 permits leg-off when at least ACC is executed in automatic operation of level 2 or lower.
  • the state in which leg-off is permitted may be referred to as “leg-off permitted state”
  • the state in which leg-off is prohibited may be referred to as “leg-off prohibited state”.
  • the driving state determination unit 120 permits eyes-off when level 3 automatic driving is permitted. That is, it can be said that the level 3 permission state is the eyes-off permission state.
  • the driving state determination unit 120 determines the automatic driving level to be actually executed based on the currently permitted automatic driving level, the driver status information, the input information to the operation device 26, and the like. That is, the operation state determination unit 120 determines the execution of the automatic operation level when the currently permitted start instruction of the automatic operation level is acquired as input information. However, the operation state determination unit 120 determines the execution of level 3 without acquiring the input information when the automatic operation of level 3 is permitted while the automatic operation of level 2 is being executed and in the hands-on state. do.
  • the above-mentioned operating state determination unit 120 is an example of the “discrimination unit”.
  • the presentation information adjustment unit 140 has a presentation information selection unit 141, a content arbitration unit 142, and a presentation information generation unit 143 as sub-function units.
  • the presentation information adjusting unit 140 is an example of the “presentation control unit”.
  • the presentation information selection unit 141 controls the presentation of content related to automatic driving in cooperation with the content arbitration unit 142 based on the information acquired from the peripheral state grasping unit 110, the driving state determination unit 120, and the driver state estimation unit 130. do. Specifically, the presentation information selection unit 141 selects the content to be presented to each presentation device based on various information.
  • the content arbitration unit 142 arbitrates the content to be displayed on each display device.
  • the content arbitration unit 142 comprehensively determines the priority of each content based on various information from the presentation information selection unit 141.
  • the content arbitration unit 142 selects the content determined to have a high priority as the content to be presented.
  • the content arbitration unit 142 can sequentially change the display size and display layout of each content to be displayed on each display device according to the priority. As an example, the content arbitration unit 142 increases the display size as the priority content increases. As another example, the content arbitration unit 142 is positioned on the front side of each display area as the content has a higher priority.
  • the presentation information generation unit 143 provides control signals and video data to each display device, and control signals and audio to be provided to the audio device 24, based on the selection result of the presentation information selection unit 141 and the arbitration result of the content arbitration unit 142. Generate data and.
  • the presentation information generation unit 143 outputs the generated control signal and each data to each presentation device to present information on each presentation device.
  • the HCU100 issues AD area approach notification, AD area approach notification, level 2 start notification, level 3 approach notification, driver preparation notification, level 3 possible notification, level 3 start notification, level 3 end notification, etc. in relation to automatic driving. implement.
  • the AD area approach notification is executed when approaching the AD area while traveling in the MD area. Specifically, the AD area approach notification is executed when the peripheral state grasping unit 110 determines that the distance from the vehicle A to the AD area is less than the threshold distance.
  • the presentation information adjusting unit 140 displays the AD area approach messages N1h and N1m on the HUD 21 and the meter display 22 as shown in FIG.
  • the AD area approach messages N1h and N1m are image contents representing the approach to the AD area as visual information.
  • the AD area approach message N1h displayed on the HUD 21 is displayed in the angle of view VA together with the digital speedometer, the operation status STh, and the like.
  • the AD area approach message N1h is arranged to the left or right of the operation status STh arranged in the central region in the angle of view VA.
  • the AD area approach message N1h includes a message image and a frame-shaped window image surrounding the message image.
  • the message image is, for example, textual information of a description indicating the approach of the AD area, such as "It is an area where automatic driving is possible soon".
  • the AD area approach message N1m displayed on the meter display 22 is displayed in the display screen together with the operation status STm and the like.
  • the AD area approach message N1m is arranged, for example, at the lower edge in the display screen.
  • the AD area approach message N1m is displayed on the front side of the operation status STm.
  • the AD area approach message N1m includes a message image and a band-shaped window image in which the message image is arranged on the front side. Similar to HUD21, the message image is character information indicating the approach of the AD area.
  • the window image has a display color (for example, blue) different from the background of the operation status STm.
  • AD area approach notification is implemented regardless of the level of automatic driving that is possible after entering the AD area. That is, as shown in FIG. 4, not only when the MD area approaches the AD area where level 2 is possible, but also when the MD area approaches the AD area where automatic operation of level 3 or higher is possible, the AD area is approached. Notification will be implemented.
  • the AD area entry notification is executed when the peripheral state grasping unit 110 determines that the vehicle A has entered the AD area after the AD area approach notification.
  • the presentation information adjusting unit 140 displays the AD area entry messages N2h and N2m on the HUD 21 and the meter display 22 as shown in FIGS. Display it.
  • the AD area entry messages N2h, N2m, and N2c are image contents that represent the entry into the AD area as visual information.
  • the display mode of the AD area entry messages N2h and N2m displayed on the HUD 21 and the meter display 22 is changed when a predetermined change time elapses from the start of the display.
  • the AD area entry message before the change will be referred to as the first AD area entry message N2fh, N2fm
  • the AD area entry message after the change will be referred to as the second AD area entry message N2sh, N2sm.
  • the first AD area entry message N2fh displayed on the HUD 21 is arranged at substantially the same position as the AD area approach message N1h, and includes a message image and a frame-shaped window image as in the AD area approach message N1h. ing.
  • the message image is character information related to the entry into the AD area, and for example, a message indicating a method of starting automatic driving is described. Specifically, the message image includes a description of "automatic operation mode", a description of "ENTER” indicating an input to the operation device 26, and an arrow pointing to the "ENTER".
  • the first AD area approach message N1fh notifies the driver that the automatic driving mode can be started when input to the operation device 26, and thus indicates to the driver that the vehicle A has entered the AD area where the automatic driving is possible. ..
  • the first AD area approach message N2fm displayed on the meter display 22 is arranged at substantially the same position as, for example, the AD area approach message N1m.
  • the first AD area approach message N2fm is configured to include a message image and a band-shaped window image in which the message image is arranged on the front side, similarly to the AD area approach message N1m.
  • the message image is character information related to the entry into the AD area, similarly to the first AD area entry message N2fh. Specifically, the message image includes a description of "using the automatic operation mode", a description of "ENTER” indicating an input to the operation device 26, and an arrow pointing to the "ENTER".
  • the above first AD area entry messages N2fh and N2fm are changed to the second AD area entry messages N2sh and N2sm after a predetermined change time (for example, several seconds) has elapsed.
  • the second AD area entry messages N2sh and N2sm are displayed in a display mode having lower visibility than the first AD area entry messages N2fh and N2fm. Specifically, at least one of the display size reduction, display color change, display position change, display brightness reduction, partial non-display, etc. is applied to the second AD area entry message N2sh, N2sm. , It is a display mode with low visibility.
  • the window image is hidden, the display position is set to the lower display position within the angle of view VA, and the display size is further reduced.
  • the second AD area entry message N2sm displayed on the meter display 22 a part of the message image and the window image are hidden, and the display size is reduced.
  • the AD area notification content CTMc displayed on the CID 23 is a map image displayed in the map display area Am in a display mode different from that before the notification of the AD area.
  • the AD area notification content CTMc is a map image that distinguishes the AD area from the MD area in the area around the vehicle A. Specifically, it is a region image displayed in different display colors.
  • the AD area notification image N2c is started to be displayed substantially at the same time as the first AD area entry messages N2fh and N2fm.
  • the display mode of the AD area notification content CTMa is not changed even after the predetermined change time has elapsed.
  • the AD area entry messages N2h, N2m, and CTMc are displayed for an allowable display time (for example, about 5 to 10 seconds). If the input information for starting automatic operation is not acquired from the operation device 26 during the permissible display time, the AD area entry messages N2h and N2m are hidden after the permissible time has elapsed. On the other hand, the AD area notification content CTMc continues to be displayed even after the allowable display time has elapsed (see FIG. 8). That is, after the permissible display time has elapsed, the entry notification will be continued with fewer display devices. The AD area notification content CTMc is continuously displayed until, for example, input information for starting automatic operation is acquired.
  • an allowable display time for example, about 5 to 10 seconds.
  • the level 2 start notification is executed when the operation status determination unit 120 determines that the level 2 automatic operation has started.
  • the presentation information adjusting unit 140 displays the level 2 start messages N3h and N3m on the HUD 21 and the meter display 22 as shown in FIG.
  • Level 2 start messages N3h and N3m are image contents representing the start of level 2 automatic operation as visual information.
  • the level 2 start messages N3h and N3m are configured to include, for example, a message image in which character information related to the start of automatic operation is described and a window image for partitioning the message image in the display area.
  • the message image is a description that there is a possibility that the automatic driving to be started may be canceled, for example, "automatic driving will be canceled depending on the surrounding road conditions”.
  • the level 2 start messages N3h and N3m are arranged in the central portion of the display area.
  • the level 2 start messages N3h and N3m are displayed on the front side of the operation status STh and STm.
  • the level 3 approach notification notifies the approach to the ST section where level 3 automatic driving is possible.
  • the level 3 approach notification is executed when the remaining distance from the vehicle A to the ST section falls below the threshold value (for example, about 10 km) while traveling in the MD area or the non-ST section of the AD area.
  • the presentation information adjusting unit 140 displays the level 3 approach messages N4h and N4m on the HUD 21 and the meter display 22 as shown in FIG.
  • Level 3 approach messages N4h and N4m are image contents that represent the approach to the ST section as visual information.
  • the level 3 approach message N4h displayed on the HUD 21 is arranged at substantially the same position as the AD area approach message N1h, and is configured to include a message image and a frame-shaped window image similar to the AD area approach message N1h. There is.
  • the message image is, for example, character information of a description indicating the approach of the ST section, such as "about 10 km ahead, during traffic jam, 2nd task can be used".
  • the level 3 approach message N4m displayed on the meter display 22 is arranged at substantially the same position as, for example, the AD area approach message N1m.
  • the level 3 approach message N4m is configured to include a message image and a band-shaped window image in which the message image is arranged on the front side, similarly to the AD area approach message N1m.
  • the message image is, for example, character information of a description indicating the approach of the ST section, similar to the display of HUD21, such as "traffic jam about 10 km ahead, 2nd task can be used during traffic jam".
  • the level 3 approach notification and the AD area approach notification are executed at the same time. At this time, the level 3 approach notification and the AD area approach notification may be performed as one notification.
  • the driver preparation notification is a notification that urges the driver to meet the conditions (driver conditions) for implementing Level 3.
  • the driver preparation notification is executed when the driver condition is not satisfied at the start of the level 3 approach notification.
  • the driver conditions are, for example, that the arousal level of the driver exceeds the threshold level, the posture type of the driver is a predetermined posture type, and the like. Further, the driver conditions may be that the stress level is lower than the threshold level, the elapsed time from the start of traveling exceeds the predetermined time, and the like.
  • the driver preparation notification may be executed at the same time as the level 3 approach notification. For example, it is started after executing the level 3 approach notification. As shown in FIG. 14, the presentation information adjusting unit 140 causes the driver preparation messages Nph and Npm to be displayed on the HUD 21 and the meter display 22 in the driver preparation notification.
  • Each driver preparation message Nph, Npm is configured to include, for example, a window image and a message image.
  • the message image is a description that urges the driver to take a predetermined action so that the driver condition that is not satisfied is satisfied.
  • the driver preparation message Nph displayed on the HUD 21 is displayed at the same position as the level 3 approach message N4h, for example.
  • the driver preparation message Npm displayed on the meter display 22 is displayed below the driver status STD, for example, in the same display area as the driver status STD.
  • the level 3 possible notification notifies that the level 3 possible state has been reached by entering the ST section.
  • the level 3 possible notification is executed when entering the ST section from the non-ST section of the AD area, that is, when the transition from the level 2 possible state to the level 3 possible state (second transition).
  • the level 3 possible notification is executed when the driver enters the ST section from the MD area, that is, when the automatic operation prohibited state is changed to the level 3 possible state (first transition). That is, the level 3 possible notification may be executed at the same time as the AD area intrusion notification. Further, the level 3 possible notification and the AD area intrusion notification may be performed as one notification.
  • the presentation information adjusting unit 140 displays the level 3 possible messages N5h and N5m on the HUD 21 and the meter display 22 as shown in FIG.
  • the presentation information adjusting unit 140 causes the audio device 24 to present the level 3 possible notification sound when the first transition occurs.
  • the presentation information adjusting unit 140 presents the information regarding the first transition (first transition information) to the driver with emphasis on the information regarding the second transition (second transition information).
  • Level 3 possible messages N5h and N5m are image contents that represent the entry into the ST section as visual information.
  • the level 3 possible message N5h displayed on the HUD 21 is arranged at substantially the same position as the AD area approach message N1h, and is configured to include a message image and a frame-shaped window image similar to the AD area approach message N1h. There is.
  • the message image is, for example, character information of a description indicating entry into the ST section, such as "2nd task is available".
  • the level 3 possible message N5m displayed on the meter display 22 is arranged at substantially the same position as, for example, the AD area approach message N1m.
  • the level 3 approach message N4m is configured to include a message image and a band-shaped window image in which the message image is arranged on the front side, similarly to the AD area approach message N1m.
  • the message image is substantially the same as that displayed on, for example, the HUD 21.
  • the level 3 possible notification sound is a sound content indicating that level 3 automatic driving has become possible as auditory information.
  • the level 3 possible notification sound may be a sound effect or a voice message.
  • the level 3 start notification notifies the start of level 3 automatic operation.
  • the level 3 start notification is executed after receiving the level 3 start instruction from the driver in the case of transitioning from manual operation, level 1 or level 2 hands-on to level 3. ..
  • the level 3 start notification will be executed when entering the ST section.
  • the level 3 start notification is executed at the same time as the level 3 possible notification.
  • the presentation information adjusting unit 140 displays the level 3 start messages N6h, N6m, and N6c on the HUD 21, the meter display 22, and the CID 23, as shown in FIG.
  • Level 3 start messages N6h, N6m, N6c are image contents representing the start of level 3 automatic operation as visual information.
  • the level 3 start message N6h displayed on the HUD 21 is arranged at substantially the same position as the level 2 start message N3h, and includes a message image and a frame-shaped window image.
  • the message image is textual information related to the start of Level 3 autonomous driving, such as "Please be careful about the information from the vehicle. Automatic driving will be canceled depending on the surrounding road conditions.”
  • the level 3 start message N6m displayed on the meter display 22 is arranged at substantially the same position as the level 2 start message N3h, for example, and includes a message image and a frame-shaped window image.
  • the message image is substantially the same as that displayed on, for example, the HUD 21.
  • the level 3 start message N6c displayed on the CID23 is displayed near the center area of the entertainment display area Ae, for example.
  • the level 3 start message N6c is displayed in front of other display contents in the entertainment display area Ae.
  • the level 3 start message N6c includes a message image and a window image arranged behind the message image.
  • the message image is related to the start of Level 3 autonomous driving, which is similar to the message image on the HUD 21 and meter display 22, such as "Automatic driving will be canceled due to the surrounding road environment. Please be careful about the information transmitted from the vehicle.” It is said that the description was made.
  • the presentation information adjustment unit 140 replaces the map display area Am and the entertainment display area Ae of the CID23. Specifically, the presentation information adjusting unit 140 displays the entertainment display area Ae above the map display area Am.
  • the level 3 end notification is executed when transitioning from level 3 automatic operation to level 2 or lower automatic operation or manual operation.
  • the presentation information adjusting unit 140 makes a transition from the information presentation of FIG. 17 to the information presentation of FIG. 10 or FIG. 11 as a level 3 end notification.
  • the presentation information adjusting unit 140 performs a transition from the information presentation of FIG. 17 to the information presentation of FIG. 8 as a level 3 end notification.
  • the presentation information adjusting unit 140 displays the level 3 end message N7m on the meter display 22 as a level 3 end notification, as shown in FIG.
  • the presentation information adjusting unit 140 causes the audio device 24 to output the level 3 end notification sound.
  • the level 3 end message N7m is an image content indicating the end of level 3 automatic driving as visual information.
  • the level 3 end message N7m is a message image including character information of a description related to the end of automatic operation such as "during automatic operation mode cancellation" (see FIG. 18).
  • the message image may include the character information of the description that urges the end of the second task, the start of the necessary driving operation, and the like.
  • the presentation information adjusting unit 140 temporarily cancels the automatic driving mode as shown in FIG. 18 when an override in which the driver operates the steering wheel is executed during automatic driving of level 2 or higher. Notify that. Then, the presentation information adjusting unit 140 stops or hides the display content of the entertainment display area Ae during the override.
  • the level 3 end notification sound is a sound content that indicates the end of level 3 automatic driving as auditory information.
  • the level 3 end notification sound may be a sound effect or a voice message.
  • the presentation information adjustment unit 140 interrupts the presentation of the level 3 end notification sound. That is, the presentation information adjusting unit 140 presents a level 3 end notification sound when transitioning to the hands-off prohibited state (third transition) after the transition, and level 3 end notification when hands-on is unnecessary after the transition. Does not present sound. As a result, the presentation information adjusting unit 140 presents the information regarding the third transition (third transition information) to the driver with emphasis on the information regarding the fourth transition (fourth transition information).
  • the presentation information adjusting unit 140 displays the operation status STh, STm, the status icon ICsh, ICsm, the driver status STD, and the like during the execution of automatic operation of level 2 or lower.
  • the operation statuses STh and STm are contents displayed on the HUD 21 and the meter display 22.
  • the operation statuses STh and STm present the operating states of the vertical control and the horizontal control, that is, the ACC function and the LTA function in the automatic operation of level 2 or lower.
  • Each driving status STh, STm includes another vehicle icon ICv2, ACC icon ICa, and LTA icon ICl.
  • the own vehicle icon ICv1 is also displayed on the driving status STm displayed on the meter display 22.
  • the other vehicle icon ICv2 is an icon that imitates another vehicle, and is displayed at least during the execution of the ACC function or the detection of the preceding vehicle.
  • the ACC icons ICach and ICam are icons that indicate the execution of the ACC control, are displayed during the execution of the ACC control, and are hidden during the stop or displayed differently from those during the execution.
  • the ACC icon ICa is a figure arranged below the other vehicle icon ICv2, and is visually recognized as being arranged following the preceding vehicle indicated by the other vehicle icon ICv2 by the perspective method.
  • the LTA icons ICrh and ICLm are icons that indicate the execution of the LTA control, are displayed during the execution of the LTA control, and are hidden during the stop or displayed differently from those during the execution.
  • the LTA icon ICl is arranged on both the left and right sides of the other vehicle icon ICv2 and the ACC icon ICa, and is visually recognized as a pair of lines extending from the front side to the back side.
  • the operation status STm on the meter display 22 is collectively displayed in one of a plurality of divided display areas of the display screen of the meter display 22.
  • the display area of the meter display 22 is divided into four, for example, an upper region DAu, a lower left region DAl, a lower central region DAc, and a lower right region DAr.
  • Each display area is apparently divided by the change of the background color for each display area by the presentation information adjusting unit 140, the display of the frame image, and the like.
  • the operation status STm is displayed in the lower central region DAc.
  • the status icons ICsh and ICsm are icons indicating the execution status of the vertical control and the horizontal control, as in the operation status STh and STm.
  • the status icon ICsm is displayed in the upper area DAu.
  • an icon imitating another vehicle, an icon indicating the execution of ACC control, and an icon indicating the execution of LTA control are simplified as compared with the driving status STh and STm. ..
  • the status icons ICsh and ICsm may be continuously displayed even in automatic operation of level 3 or higher.
  • the future action content is the content that notifies the vehicle A of the planned future action, and is displayed in the lower right area DAr.
  • the future action content includes, for example, an icon showing the future action and a numerical image showing the distance to the point where the future action is executed.
  • Future actions include changing lanes, turning left and right, merging, etc.
  • future actions may include a change of control with the driver, a change in the level of autonomous driving, and the like.
  • the driver status STD is a content that presents the driver status related to the driving operation.
  • the driver status STD is displayed in the lower left region DAL of the meter display 22.
  • the driver status STD presents, for each of the plurality of types of body parts of the driver, a state in which the interruption of the driving operation is permitted and a state in which the interruption of the driving operation is prohibited is prohibited. ..
  • the driver status STD presents a suspension permitted state or a suspension prohibited state for driving operations such as monitoring the periphery of the eye, grasping the steering by hand, and placing the foot on the pedal.
  • the driver status STD is displayed in the same display area with respect to the state of each body part.
  • the driver status STD includes a driver icon ICd, a steer icon ICs, a pedal icon ICp, and a line-of-sight icon ICv.
  • the driver icon ICd is a humanoid icon. More specifically, the driver icon ICd has a shape that imitates a human body including the head, which is a part including the arms, legs, and eyes, as a body part. That is, the driver icon ICd is a content that collectively displays each body part. As a result, the driver icon ICd presents the body parts close to each other in the lower left region DAL.
  • the driver icon ICd may be a single piece of content, or may be content in which the body parts are separated from each other.
  • Stair icon ICs are icon images that imitate the steering wheel.
  • the pedal icon ICp is an icon that imitates an accelerator pedal.
  • the line-of-sight icon ICv is an icon indicating the line-of-sight of the driver.
  • the line-of-sight icon ICv has, for example, an arrow shape extending from the vicinity of the head of the driver icon ICd in the direction in which the head is facing (leftward in the case of FIGS. 10 to 12 and the like).
  • the driver status STD displays the status permitted to the driver regarding the driving operation by the joint operation of each icon. For example, in the hands-off prohibited state in which hands-off is prohibited, the hand part of the driver icon ICd and the steer icon ICs are displayed overlapping. Hands-off is permitted In the hands-off permitted state, the hand part of the driver icon ICd and the steer icon ICs are displayed separately. In addition, the visibility of the steer icon ICs is reduced.
  • leg-off prohibited state where leg-off is prohibited
  • the foot of the driver icon ICd and the pedal icon ICp are displayed overlapping.
  • the visibility of the pedal icon ICp is reduced.
  • Leg-off is permitted
  • the foot of the driver icon ICd and the pedal icon ICp are displayed apart from each other.
  • the line-of-sight icon ICv is displayed, and in the eye-off permitted state in which the eye-off is permitted, the visibility of the line-of-sight icon ICv is lowered.
  • the presentation information adjustment unit 140 notifies the state transition between the interruption prohibition state and the interruption permission state for each body part by using the driver status STD described above (transition notification).
  • the interruption prohibition state includes a hands-off prohibition state, a leg-off prohibition state, and an eyes-off prohibition state.
  • the suspension permission state includes the hands-off permission state, the leg-off permission state, and the eyes-off permission state.
  • the presentation information adjusting unit 140 changes the mode of the driver status STD by displaying an animation. Specifically, the presentation information adjusting unit 140 presents the state transition by animation display for the display part corresponding to the body part in which the state changes in the driver icon ICd.
  • the animation display is stopped when it is estimated that the body part of the corresponding driver actually shifts to the state corresponding to the state.
  • the presentation information adjusting unit 140 also stops the animation even if the corresponding driver's body part does not transition to the interrupted state (hands-off, leg-off, eyes-off) within a predetermined period.
  • the presentation information adjusting unit 140 may set the mode after the animation is stopped as a display mode of the interruption prohibition state, that is, a mode corresponding to the current state of the body part.
  • the presentation information adjusting unit 140 displays an animation in which the hand part of the driver icon ICd moves from the position in the hands-off prohibited state to the position in the hands-off permitted state when shifting from the hands-off prohibited state to the hands-off permitted state (FIG. 11).
  • the presentation information adjustment unit 140 repeatedly displays the above animation.
  • the presentation information adjusting unit 140 stops the animation and sets the display mode to the hands-off state (see FIG. 12).
  • the presentation information adjusting unit 140 may repeatedly execute the reduction in visibility of the steer icon ICs in synchronization with the animation display of the driver icon ICd, or may execute the reduction after the animation of the driver icon ICd is stopped.
  • the presentation information adjusting unit 140 also displays an animation in which the foot of the driver icon ICd moves from the position in the leg-off prohibited state to the position in the leg-off permitted state when the transition from the leg-off prohibited state to the leg-off permitted state is made. do. In addition, the presentation information adjusting unit 140 reduces the visibility of the pedal icon ICp.
  • the presentation information adjustment unit 140 also presents the transition of the state by the animation display even when the transition from the interruption permission state to the interruption prohibition state is made. In this case, the presentation information adjusting unit 140 may continue the animation display until the corresponding driver's body part actually transitions to the driving involvement state.
  • the driver status STD is displayed in a different mode in the level 3 execution state than in the case of the level 2 or lower state.
  • the driver status STD in the level 3 execution state is displayed in a display mode in which the driver icon ICd is seated on the chair icon ICc.
  • the driver icon ICd is displayed as a humanoid with a posture of reclining backward compared to the case of level 2 or lower.
  • the steer icon ICs and pedal icon ICp are hidden.
  • the line-of-sight icon ICv, the steer icon ICs, and the pedal icon ICp may be hidden separately from reducing the visibility.
  • the line-of-sight icon ICv, the steer icon ICs, and the pedal icon ICp may be displayed when there is a change in the driving operation that needs to be displayed together with the driver icon ICd.
  • the line-of-sight icon ICv and the steer icon ICs are displayed or displayed from hidden in order to encourage eyes-on and hands-on. Highlighted from the display. At this time, the line-of-sight icon ICv and the steer icon ICs may be displayed at the same time, or may be displayed in order.
  • the driver when transitioning from the level 3 automatic driving state to the hands-on level 2 automatic driving state, the driver needs to perform many driving operations, which increases the number of tasks for the driver and causes confusion. May invite. Therefore, by displaying the line-of-sight icon ICv and the steer icon ICs in order, the driver can be made to perform tasks that should be performed one by one, so that the driving operation can be performed safely.
  • FIGS. 19 to 24 the meter display 22 is described as "MD".
  • S means a plurality of steps of the flow executed by a plurality of instructions included in the presentation control program.
  • the process determines whether or not the peripheral state grasping unit 110 is approaching the AD area. If it is determined that the AD area is not approaching, the process waits until the AD area is approached. When it is determined that the vehicle is approaching the AD area, the peripheral state grasping unit 110 determines in S102 whether or not the level 3 automatic operation is possible after entering the AD area. If it is determined that level 3 automatic operation is not possible, that is, only level 2 or lower automatic operation is possible, the process proceeds to S103.
  • the presentation information adjustment unit 140 executes the AD area approach notification. Specifically, the AD area approach messages N1h and N1m are displayed on the HUD 21 and the meter display 22.
  • the peripheral state grasping unit 110 determines whether or not the AD area has been entered. When it is determined that the user has entered the AD area, the process proceeds to S111 and the AD area entry notification is executed.
  • the operation state determination unit 120 determines whether or not the driver has permitted level 2 automatic operation. If it is determined that the permission is not permitted, the presentation information adjusting unit 140 determines in S113 whether or not the permissible time has elapsed from entering the AD area. If it is determined that the permissible time has not elapsed, the process returns to S112. On the other hand, when it is determined that the permissible time has elapsed, in S114, the presentation information adjusting unit 140 stops the AD area entry notification on the HUD 21 and the meter display 22, and continues the AD area entry notification on the CID 23. Then, the process returns to S112.
  • S115 the presentation information adjusting unit 140 executes the level 2 start notification.
  • the process proceeds to S116 of FIG.
  • the peripheral state grasping unit 110 determines whether or not the AD area has been entered. When it is determined that the user has entered the AD area, the process proceeds to S117, and the presentation information adjusting unit 140 executes the AD area entry notification and the level 3 possible notification.
  • the operating state determination unit 120 determines whether or not a level 3 start instruction has been acquired from the driver. When it is determined that the start instruction has been acquired, the presentation information adjusting unit 140 executes the level 3 start notification in S119. When the process of S119 is executed, a series of processes is completed.
  • the driving state determination unit 120 determines whether or not the state (interruption permitted state and interrupted prohibited state) relating to the driver's body part has changed. If it is determined that there is no change, the display of the current state is maintained in S122. On the other hand, when it is determined that the state has changed, the presentation information adjusting unit 140 starts the state change notification in S121.
  • the driver state estimation unit 130 determines whether or not the actual operating state of the driver has shifted to the state corresponding to the corresponding state. If the transition has not occurred, S124 determines whether or not a predetermined time has elapsed from the start of the transition notification, and if not, the process returns to S123. When it is determined that the predetermined time has elapsed, the presentation information adjusting unit 140 interrupts the transition notification in S125 and ends a series of processes. On the other hand, when it is determined in S123 that the migration has occurred, the status after the migration is displayed and a series of processes is completed.
  • S130 it is determined whether or not the peripheral state grasping unit 110 is approaching the ST section. If it is determined that the ST section is not approaching, the process waits until the ST section is approaching. When it is determined that the driver is approaching the ST section, the presentation information adjusting unit 140 executes the level 3 approach notification and the driver preparation notification in S131. If the driver preparation notification is unnecessary, the driver preparation notification may be interrupted.
  • the peripheral state grasping unit 110 determines whether or not the ST section has been entered.
  • the process proceeds to S133, and the operating state determination unit 120 determines whether or not the vehicle has entered the ST section in the hands-on state.
  • the process proceeds to S134.
  • the presentation information adjusting unit 140 executes the level 3 possible notification.
  • the driving state determination unit 120 determines whether or not the driver has instructed the level 3 automatic driving control. If it is determined that the instruction has been given, the presentation information adjusting unit 140 executes the level 3 start notification in S136. When the process of S136 is executed, a series of processes is completed.
  • the operating state determination unit 120 determines whether or not to shift to level 2 or lower driving control. If it is determined that the transition is made, the process proceeds to S141, and the operation state determination unit 120 determines whether or not to shift to the level 2 hands-off permission state. If it is determined that the state shifts to the level 2 hands-off permission state, the process proceeds to S142, and the presentation information adjusting unit 140 executes the level 3 end notification. Specifically, the display device executes the display of the level 3 end message N7m. After executing the process of S142, a series of processes is completed.
  • the process proceeds to S143.
  • the presentation information adjusting unit 140 executes the level 3 end notification. Specifically, in addition to the level 3 end message N7m on the display device, the level 3 end notification sound output on the audio device 24 is executed.
  • S116 and S132 are examples of the "discrimination process"
  • S117, S134 and S137 are examples of the "presentation control process”.
  • the first transition information regarding the transition from the automatic driving prohibited state to the specific action permitted state is emphasized more than the second transition information regarding the transition from the specific action prohibited state to the specific action permitted state. It is presented according to the presentation mode. Therefore, the driver can more reliably recognize the transition from the automatic driving prohibition state to the specific action permission state, which requires more attention. As described above, it is possible to present highly convenient information.
  • the audio device 24 when the presentation information adjusting unit 140 shifts from the level 3 permitted state to the level 2 permitted state, the audio device 24 also outputs the transition notification sound even in the transition to the hands-off permitted state. That is, when the presentation information adjustment unit 140 transitions from the level 2 permission state to the level 3 permission state, the presentation information adjustment unit 140 notifies by the display device. Then, when the presentation information adjusting unit 140 shifts from the level 3 permitted state to the level 2 permitted state, the presentation information adjustment unit 140 gives a notification by the audio device 24 in addition to the notification by the display device.
  • the presentation information coordinating unit 140 is prohibited from performing the second task from the state in which the second task is prohibited to the state in which the second task is permitted (permission transition) and the state in which the second task is permitted.
  • Information on each transition is presented in different presentation modes depending on the transition to the state (prohibited transition). In particular, in the present embodiment, the information regarding the prohibited transition (prohibited transition information) is presented with more emphasis than the information regarding the permitted transition (permitted transition information).
  • the flow of the presentation control method executed by the HCU 100 in the second embodiment will be described below with reference to FIG. 25.
  • the processing of S240 is the same as the processing of S140 in the first embodiment. If it is determined in S240 that the vehicle will shift to level 2 or lower, the presentation information adjusting unit 140 executes the level 3 end notification in S241. Specifically, in addition to the display of the level 3 end message by each display device, the level 3 end sound output by the audio device 24 is executed. When the process of S241 is executed, a series of processes is completed.
  • the prohibited transition information relating to the transition from the specific act prohibited state to the specific act prohibited state is emphasized more than the permission transition information relating to the transition from the specific act prohibited state to the specific act permitted state. Presented by. Therefore, the driver can more reliably recognize the transition from the specific action permission state to the specific action prohibition state, which requires more attention. As described above, it is possible to present highly convenient information.
  • the presentation information adjusting unit 140 may display the level 3 end message in the prohibited transition in a display mode emphasized more than the level 3 end message in the permitted transition. ..
  • the presentation information adjusting unit 140 may emphasize the level 3 end message rather than the permission transition by changing the display color, size, and the like of the level 3 end message.
  • the third embodiment a modified example of the HCU 100 in the first embodiment will be described.
  • the second automatic driving ECU 70 shifts to the automatic driving of level 3 or higher when the hands-off of level 2 is permitted and there is no override by the driver, that is, when the hands-off is actually in the state. do.
  • the presentation information adjusting unit 140 executes a non-transferable notification notifying that the automatic driving of level 3 or higher cannot be performed.
  • a non-migratory notification for example, a message image is displayed on the HUD 21 and the meter display 22.
  • the message image may directly describe that migration is not possible, or indirectly indicates that migration is not possible by describing that it is possible to move to level 3 if hands-off occurs. You may.
  • the level 2 hands-off state is maintained up to a predetermined torque amount.
  • an override state is set.
  • the processing of S330 is the same as the processing of S130 in the first embodiment.
  • the driver state estimation unit 130 determines in S331 whether or not the current driver state is in the hands-off state. If it is determined that the state is not in the hands-off state (it is in the hands-on state), the presentation information adjusting unit 140 executes the non-transferability notification in S332.
  • the peripheral state grasping unit 110 determines whether or not it is before entering the ST section at the stage when it is in the hands-off state. If it is determined that the vehicle has not entered the ST section, the process proceeds to S334. S334 is the same as the process of S131. In S335, the peripheral state grasping unit 110 determines whether or not the ST section has been entered. If it is determined that the vehicle has entered the ST section, the process proceeds to S336. S336 is the same as the process of S137.
  • the presentation information adjusting unit 140 is supposed to present the non-transitionable notification before entering the ST section, but it may be presented after entering the ST section. Further, in the present embodiment, the presentation information adjusting unit 140 presents the non-transferable notification unless it is in the hands-off state while approaching the ST section. Instead of this, if the driver state is hands-on in the hands-off permitted state, the presentation information adjusting unit 140 may be configured to present a non-shiftable notification regardless of whether or not the driver is approaching the ST section.
  • the presentation information adjusting unit 140 causes the audio device 24 to present the level 3 possible notification sound when the first transition occurs, so that the information regarding the first transition can be obtained. It was decided to emphasize the information on the two transitions and present it to the driver. Instead of this, the presentation information adjusting unit 140 sets the level 3 possible messages N5h and N5m to be displayed on the display device in the first transition in a display mode emphasized more than the second transition, so that the information regarding the first transition can be obtained. It may be emphasized more than the information about the second transition. For example, the presentation information adjusting unit 140 may emphasize the level 3 possible messages N5h and N5m more than the second transition by changing the display color, size and the like of the level 3 possible messages N5h and N5m.
  • the presentation information adjusting unit 140 when the driver state estimation unit 130 determines that the driver condition for executing the level 3 is not satisfied by the driver state estimation unit 130, the presentation information adjusting unit 140 is the first in the level 3 possible notification. Stop emphasizing information about the transition. Specifically, the presentation information adjusting unit 140 prohibits the presentation of the level 3 possible notification sound in the audio device 24. As a result, the level 3 possible notification when the driver condition is satisfied depends on the case of transitioning from the automatic driving prohibited state to the level 3 possible state and the case of transitioning from the level 2 possible state to the level 3 possible state. , The embodiment is substantially the same. In the fifth embodiment, the driver state estimation unit 130 is an example of the “preparation determination unit”. The establishment of the driver condition corresponds to the preparation for the execution of the automatic driving in which the specific action is permitted.
  • the presentation information adjusting unit 140 executes the AD area entry notification and the level 3 possible notification in which the emphasis is stopped. That is, in S117a, the notification by the audio device 24 is not executed in the level 3 possible notification.
  • the presentation of the first transition information in the emphasized presentation mode is stopped. Therefore, transition information can be highlighted and presented only when the driver is not ready for autonomous driving. Therefore, it may be possible to use the information presentation mode more appropriately.
  • the presentation information adjusting unit 140 when the number of occurrences of the first transition (number of transitions) within a predetermined period is out of the permissible range, the presentation information adjusting unit 140 relates to the first transition after the number of times out of the permissible range. Stop emphasizing information. Cancellation of emphasis corresponds to a relatively lower degree of emphasis than when the number of occurrences of the first transition is within the permissible range.
  • the predetermined period here may be a period from when the vehicle A starts traveling to when it stops, or may be a period during which the vehicle travels for a predetermined threshold distance or threshold time.
  • the permissible range here is defined as a numerical range that is equal to or less than the threshold number or less than the threshold number. For example, the permissible range of the number of occurrences is one.
  • the presentation information adjustment unit 140 prohibits the presentation of the level 3 possible notification sound in the audio device 24 as a processing for canceling the emphasis. That is, the level 3 possible notification in the second and subsequent first transitions within the predetermined period has substantially the same mode as in the case of the second transition.
  • this flow shifts to S117a.
  • the presentation information adjusting unit 140 executes the AD area entry notification and the level 3 possible notification in which the emphasis is stopped. That is, in S117a, the notification by the audio device 24 is not executed in the level 3 possible notification.
  • the degree of emphasis of the first transition information is higher than when it is within the permissible range. Is relatively low. Therefore, the transition information can be emphasized and presented only at the stage where the number of occurrences of the first transition is relatively small. Therefore, it may be possible to use the information presentation mode more appropriately.
  • the presentation information adjusting unit 140 determines whether or not the driver has executed the start operation of the automatic driving level 3 before entering the ST section, which is an AD area where the automatic driving level 3 is possible. When it is determined that the execution has been performed, the presentation information adjusting unit 140 executes the emphasis of the information regarding the first transition. On the other hand, if it is determined that the driver has not executed the start operation of the automatic operation level 3 by the time the driver enters the ST section, the presentation information adjusting unit 140 stops emphasizing the information regarding the first transition. That is, the presentation information adjusting unit 140 emphasizes the information regarding the first transition when the driver executes the start operation of the automatic driving level 3 before entering the AD area where the automatic driving level 3 is possible. Executing the start operation before entering the AD area where the automatic operation level 3 is possible corresponds to executing the start operation before the transition to the specific action permission state.
  • the driver if it is determined that the driver has not executed the start operation of the automatic driving level 3 by the time the driver enters the AD area where the automatic driving level 3 is possible, it is determined that the driver has executed the start operation.
  • the degree of emphasis of the first transition information is relatively lower than in the case. Therefore, the transition information can be emphasized and presented only when the start operation of the automatic operation level 3 is executed before entering the AD area where the automatic operation level 3 is possible. Therefore, if there is a time lag between the start operation of the automatic driving level 3 and the actual execution of the automatic driving level 3, the driver can be notified more reliably that the automatic driving level 3 can be executed. ..
  • the presentation information adjusting unit 140 presents the information regarding the second transition to the driver with more emphasis than the information regarding the first transition. Specifically, the presentation information coordinating unit 140 emphasizes the level 3 possible notification in the second transition more than the level 3 possible notification in the first transition. For example, the presentation information adjusting unit 140 may present the level 3 possible notification sound by the audio device 24 in the level 3 possible notification in the second transition, and cancel the presentation in the level 3 possible notification in the first transition.
  • the presentation information adjusting unit 140 sets the level 3 possible messages N5h and N5m to be displayed on the display device in the second transition in a display mode in which the information regarding the second transition is emphasized in the first transition. May be emphasized rather than information about.
  • S134a the presentation information coordinating unit 140 executes the emphasized level 3 possible notification.
  • this flow shifts to S135.
  • the second transition information regarding the transition from the specific action prohibited state to the specific action permitted state is emphasized more than the first transition information regarding the transition from the automatic driving prohibited state to the specific action permitted state. It is presented according to the presentation mode. Therefore, the driver can more reliably recognize the transition from the automatic driving prohibition state to the specific action permission state, which requires more attention. As described above, it is possible to present highly convenient information.
  • the peripheral state grasping unit 110 determines the type of the lane in which the vehicle is currently traveling. For example, the peripheral state grasping unit 110 determines which of the overtaking lane, the climbing lane, and the other normal lanes corresponds to the traveling lane.
  • the peripheral state grasping unit 110 is an example of a “lane identification unit”.
  • the presentation information adjustment unit 140 changes the degree of emphasis of the presentation mode of the first transition information and the second transition information according to the type of the determined lane. Specifically, the presentation information adjustment unit 140 changes the degree of emphasis of the level 3 possible notification when the current lane is the overtaking lane, the normal lane, or the climbing lane. For example, the presentation information adjusting unit 140 emphasizes transition information more than the predetermined lane for a lane in which overtaking or overtaking is permitted by traffic regulations with respect to another vehicle traveling in the predetermined lane. As an example, the presentation information adjustment unit 140 presents the level 3 possible notification with more emphasis in the order of the climbing lane, the normal lane, and the overtaking lane.
  • the presentation information adjustment unit 140 executes the level 3 possible notification while traveling in the climbing lane, the level 3 possible message is displayed in normal color and the level 3 possible notification is performed by the audio device 24. Do not perform sound presentation.
  • the normal color is a color (for example, white, blue, etc.) that is inconspicuous as compared with the emphasized color described later. Then, when executing the level 3 possible notification while traveling in the normal lane, the presentation information adjusting unit 140 displays the level 3 possible message in the normal color and executes the presentation of the level 3 possible notification sound by the audio device 24. ..
  • the presentation information adjustment unit 140 executes the level 3 possible notification while driving in the overtaking lane
  • the presentation information adjustment unit 140 displays the level 3 possible message in an emphasized color (for example, a warning color such as red or yellow) and is an audio device.
  • the presentation of the level 3 possible notification sound by 24 is executed.
  • the presentation information adjusting unit 140 is level 3 of the presentation mode in which the AD area entry notification is emphasized more than when the vehicle is traveling in the climbing lane and the emphasis is weaker than when the vehicle is traveling in the overtaking lane. Execute with possible notification.
  • the presentation information adjusting unit 140 executes the AD area entry notification and the level 3 possible notification of the presentation mode in which the emphasis is weakened as compared with the case where the vehicle is traveling in the normal lane and the climbing lane.
  • S133 of FIG. 33 If it is determined in S133 of FIG. 33 that the user has entered the AD area in the hands-on state, the process proceeds to S133a.
  • the peripheral state grasping unit 110 determines the type of the lane in which the vehicle is currently traveling.
  • the presentation information adjusting unit 140 executes the level 3 possible notification in a presentation mode in which the emphasis is emphasized more than when the vehicle is traveling in the uphill lane and the emphasis is weaker than when the vehicle is traveling in the overtaking lane.
  • the presentation information adjusting unit 140 executes the level 3 possible notification in a presentation mode in which the degree of emphasis is weakened as compared with the case where the vehicle is traveling in the normal lane and the climbing lane.
  • S133 determines whether it is in the hands-on state. If it is determined in S133 that it is not in the hands-on state, the process proceeds to S133b in FIG.
  • S133b similarly to S133a, the peripheral state grasping unit 110 determines the type of the lane in which the vehicle is currently traveling.
  • this flow shifts to S137c.
  • the presentation information adjusting unit 140 executes a level 3 possible notification and a level 3 start notification in a presentation mode emphasized more than when traveling in the normal lane and the climbing lane.
  • the presentation information adjusting unit 140 gives a level 3 possible notification of a presentation mode in which the emphasis is emphasized more than when traveling in the climbing lane and the emphasis is weaker than when traveling in the overtaking lane, and level 3 starts. Notify and execute.
  • the presentation information adjusting unit 140 executes a level 3 possible notification and a level 3 start notification in a presentation mode in which the degree of emphasis is weakened as compared with the case where the vehicle is traveling in the normal lane and the climbing lane.
  • emphasis is placed on the mode of presenting the first transition information regarding the transition from the automatic driving prohibited state to the specific action permitted state and the second transition information regarding the transition from the specific action prohibited state to the specific action permitted state.
  • the degree is changed according to the type of lane in which the vehicle is driving. Therefore, the driver can be made to recognize each information by the degree of emphasis according to the lane in which the vehicle is traveling. As described above, it is possible to present highly convenient information.
  • the presentation information adjusting unit 140 presents the auditory information by the audio device 24 as information in a specific mode different from the visual information, but the information in the specific mode is not limited to this.
  • the presentation information adjusting unit 140 may be configured to present tactile information.
  • the presentation information adjusting unit 140 presents tactile information by vibrating a vibrating member provided in a seat on which the driver sits, a steering wheel, a seatbelt device, or the like.
  • the presentation information adjusting unit 140 may emphasize the information presentation by presenting both the auditory information and the tactile information.
  • the presentation information adjusting unit 140 may combine the visual information of the emphasized display mode with the auditory information and / or the tactile information.
  • the presentation information coordinating unit 140 may emphasize the information presentation by increasing the number of notifications.
  • the presentation information adjusting unit 140 may emphasize the information presentation by increasing the amount of information to be presented.
  • the presentation information adjusting unit 140 when the number of occurrences of the first transition within a predetermined period is out of the permissible range, the presentation information adjusting unit 140 obtains information on the first transition after the number of times the first transition is out of the permissible range. He said he would stop emphasizing. Instead of or in addition to this, when the number of occurrences of the second transition within a predetermined period is out of the permissible range, the presentation information adjusting unit 140 makes a second transition after the number of times the second transition is out of the permissible range. The emphasis on information about may be relatively low.
  • the presentation information adjusting unit 140 changes the degree of emphasis of each transition information according to the type of the overtaking lane, the climbing lane, and the normal lane in which the traveling lane corresponds.
  • the presentation information adjusting unit 140 may be configured to change the degree of emphasis of each transition information according to the type to which the lane in which the vehicle is traveling among the lanes of the general road and the lane of the expressway corresponds.
  • the presentation information adjusting unit 140 may emphasize each transition information when the traveling lane is a highway lane rather than when the traveling lane is a general road lane. That is, the presentation information adjusting unit 140 may increase the degree of emphasis of each transition information as the traveling speed allowed for the traveling lane increases.
  • the specific action permission state has been described mainly as the state in which the automatic driving level 3 is permitted, but the automatic driving level 4 or higher may be permitted. Further, although the specific action prohibition state has been described as the state in which the automatic driving level 2 is permitted, the automatic driving level 1 may be permitted.
  • the HCU 100 may be a dedicated computer configured to include at least one of a digital circuit and an analog circuit as a processor.
  • digital circuits include, for example, ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), SOC (System on a Chip), PGA (Programmable Gate Array), CPLD (Complex Programmable Logic Device), and the like. Of these, at least one. Further, such a digital circuit may include a memory for storing a program.
  • the HCU 100 may be provided by one computer, or a set of computer resources linked by a data communication device. For example, some of the functions provided by the HCU 100 in the above-described embodiment may be realized by another ECU.

Abstract

提示制御装置(100)は、自動運転を実行可能な車両のドライバに対する情報の提示を制御する。提示制御装置は、自動運転中にドライバに対して運転以外の特定行為を許可する特定行為許可状態と、自動運転中に特定行為を禁止する特定行為禁止状態と、自動運転を禁止する自動運転禁止状態と、を判別する判別部(120)を備える。提示制御装置は、自動運転禁止状態から特定行為許可状態への遷移に関する第1遷移情報を、特定行為禁止状態から特定行為許可状態への遷移に関する第2遷移情報よりも強調した提示態様により提示する提示制御部(140)を備える。

Description

提示制御装置および提示制御プログラム 関連出願の相互参照
 この出願は、2020年3月31日に日本に出願された特許出願第2020-062634号、および、2021年2月4日に日本に出願された特許出願第2021-016687号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
 この明細書における開示は、自動運転を実行可能な車両のドライバに対する情報の提示を制御する技術に関する。
 特許文献1には、手動運転から自動運転へと切り替える技術が開示されている。
国際公開2017/154396号
 ところで、自動運転の制御内容に応じて、例えばセカンドタスクと呼称されるような運転以外の特定行為をドライバに許可する状況と、当該特定行為をドライバに禁止する状況とが発生する可能性が生じてきている。こうした状況の遷移に応じて利便性の高い情報提示を行うことは、特許文献1に記載されていない。
 開示される目的は、利便性の高い情報提示が可能な提示制御装置および提示制御プログラムを提供することである。
 この明細書に開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。また、請求の範囲およびこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、技術的範囲を限定するものではない。
 開示された提示制御装置のひとつは、自動運転を実行可能な車両のドライバに対する情報の提示を制御する提示制御装置であって、
 自動運転中にドライバに対して運転以外の特定行為を許可する特定行為許可状態と、自動運転中に特定行為を禁止する特定行為禁止状態と、自動運転を禁止する自動運転禁止状態と、を判別する判別部と、
 自動運転禁止状態から特定行為許可状態への遷移に関する第1遷移情報を、特定行為禁止状態から特定行為許可状態への遷移に関する第2遷移情報よりも強調した提示態様により提示する提示制御部と、
 を備える。
 開示された提示制御プログラムのひとつは、自動運転を実行可能な車両のドライバに対する情報の提示を制御するために、記憶媒体に格納され、プロセッサに実行させる命令を含む提示制御プログラムであって、
 命令は、
 自動運転中にドライバに対して運転以外の特定行為を許可する特定行為許可状態と、自動運転中に特定行為を禁止する特定行為禁止状態と、自動運転を禁止する自動運転禁止状態と、を判別させる判別プロセスと、
 自動運転禁止状態から特定行為許可状態への遷移に関する第1遷移情報を、特定行為禁止状態から特定行為許可状態への遷移に関する第2遷移情報よりも強調した提示態様により提示させる提示制御プロセスと、
 を含む。
 これらの開示によれば、自動運転禁止状態から特定行為許可状態への遷移に関する第1遷移情報が、特定行為禁止状態から特定行為許可状態への遷移に関する第2遷移情報よりも強調した提示態様により提示される。故に、ドライバは、より注意が必要な自動運転禁止状態から特定行為許可状態への遷移を、より確実に認識し得る。以上により、利便性の高い情報提示が可能な提示制御装置および提示制御プログラムが提供され得る。
 開示された提示制御装置のひとつは、自動運転を実行可能な車両のドライバに対する情報の提示を制御する提示制御装置であって、
 自動運転中にドライバに対して運転以外の特定行為を許可する特定行為許可状態と、自動運転中に特定行為を禁止する特定行為禁止状態とを判別する判別部と、
 特定行為許可状態から特定行為禁止状態への遷移に関する禁止遷移情報を、特定行為禁止状態から特定行為許可状態への遷移に関する許可遷移情報よりも強調した提示態様により提示する提示制御部と、
 を備える。
 開示された提示制御プログラムのひとつは、自動運転を実行可能な車両のドライバに対する情報の提示を制御するために、記憶媒体に格納され、プロセッサに実行させる命令を含む提示制御プログラムであって、
 命令は、
 自動運転中にドライバに対して運転以外の特定行為を許可する特定行為許可状態と、自動運転中に特定行為を禁止する特定行為禁止状態とを判別させる判別プロセスと、
 特定行為許可状態から特定行為禁止状態への遷移に関する禁止遷移情報を、特定行為禁止状態から特定行為許可状態への遷移に関する許可遷移情報よりも強調した提示態様により提示させる提示制御プロセスと、
 を含む。
 これらの開示によれば、特定行為許可状態から特定行為禁止状態への遷移に関する禁止遷移情報が、特定行為禁止状態から特定行為許可状態への遷移に関する許可遷移情報よりも強調した提示態様により提示される。故に、ドライバは、より注意が必要な特定行為許可状態から特定行為禁止状態への遷移を、より確実に認識し得る。以上により、利便性の高い情報提示が可能な提示制御装置、提示制御方法、および提示制御プログラムが提供され得る。
 開示された提示制御装置のひとつは、自動運転を実行可能な車両のドライバに対する情報の提示を制御する提示制御装置であって、
 自動運転中にドライバに対して運転以外の特定行為を許可する特定行為許可状態と、自動運転中に特定行為を禁止する特定行為禁止状態と、自動運転を禁止する自動運転禁止状態と、を判別する判別部と、
 自動運転禁止状態から特定行為許可状態への遷移に関する第1遷移情報よりも、特定行為禁止状態から特定行為許可状態への遷移に関する第2遷移情報を強調した提示態様により提示する提示制御部と、
 を備える。
 開示された提示制御プログラムのひとつは、自動運転を実行可能な車両のドライバに対する情報の提示を制御するために、記憶媒体に格納され、プロセッサに実行させる命令を含む提示制御プログラムであって、
 命令は、
 自動運転中にドライバに対して運転以外の特定行為を許可する特定行為許可状態と、自動運転中に特定行為を禁止する特定行為禁止状態と、自動運転を禁止する自動運転禁止状態と、を判別させる判別プロセスと、
 自動運転禁止状態から特定行為許可状態への遷移に関する第1遷移情報よりも、特定行為禁止状態から特定行為許可状態への遷移に関する第2遷移情報を強調した提示態様により提示させる提示制御プロセスと、
 を含む。
 これらの開示によれば、特定行為禁止状態から特定行為許可状態への遷移に関する第2遷移情報が、自動運転禁止状態から特定行為許可状態への遷移に関する第1遷移情報よりも強調した提示態様により提示される。故に、ドライバは、より注意が必要な自動運転禁止状態から特定行為許可状態への遷移を、より確実に認識し得る。以上により、利便性の高い情報提示が可能な提示制御装置および提示制御プログラムが提供され得る。
 開示された提示制御装置のひとつは、自動運転を実行可能な車両のドライバに対する情報の提示を制御する提示制御装置であって、
 自動運転中にドライバに対して運転以外の特定行為を許可する特定行為許可状態と、自動運転中に特定行為を禁止する特定行為禁止状態と、自動運転を禁止する自動運転禁止状態と、を判別する判別部と、
 車両が走行中の車線の種別を識別する車線識別部と、
 自動運転禁止状態から特定行為許可状態への遷移に関する第1遷移情報と、特定行為禁止状態から特定行為許可状態への遷移に関する第2遷移情報とを提示する提示制御部と、
 を備え、
 提示制御部は、車線の種別に応じて第1遷移情報および第2遷移情報の提示態様の強調度合を変更する。
 開示された提示制御プログラムのひとつは、自動運転を実行可能な車両のドライバに対する情報の提示を制御するために、記憶媒体に格納され、プロセッサに実行させる命令を含む提示制御プログラムであって、
 命令は、
 自動運転中にドライバに対して運転以外の特定行為を許可する特定行為許可状態と、自動運転中に特定行為を禁止する特定行為禁止状態と、自動運転を禁止する自動運転禁止状態と、を判別させる判別プロセスと、
 車両が走行中の車線の種別を識別させる車線識別プロセスと、
 自動運転禁止状態から特定行為許可状態への遷移に関する第1遷移情報と、特定行為禁止状態から特定行為許可状態への遷移に関する第2遷移情報とを提示させる提示制御プロセスと、
 を含み、
 提示制御プロセスでは、車線の種別に応じて第1遷移情報および第2遷移情報の提示態様の強調度合を変更させる。
 これらの開示によれば、第1遷移情報および第2遷移情報の強調度合が、走行中の車線の種別に応じて変更される。故に、ドライバは、走行中の車線に応じた強調度合にて、各遷移情報を認識し得る。以上により、利便性の高い情報提示が可能な提示制御装置および提示制御プログラムが提供され得る。
HCUを含むシステムを示す図である。 HCUが有する機能の一例を示すブロック図である。 車室内を示す図である。 各表示デバイスにおいて実行される通知の一例を示すタイムチャートである。 情報提示の一例を示す図である。 情報提示の一例を示す図である。 情報提示の一例を示す図である。 情報提示の一例を示す図である。 情報提示の一例を示す図である。 情報提示の一例を示す図である。 情報提示の一例を示す図である。 情報提示の一例を示す図である。 情報提示の一例を示す図である。 情報提示の一例を示す図である。 情報提示の一例を示す図である。 情報提示の一例を示す図である。 情報提示の一例を示す図である。 情報提示の一例を示す図である。 HCUの実行する提示制御方法の一例を示すフローチャートである。 HCUの実行する提示制御方法の一例を示すフローチャートである。 HCUの実行する提示制御方法の一例を示すフローチャートである。 HCUの実行する提示制御方法の一例を示すフローチャートである。 HCUの実行する提示制御方法の一例を示すフローチャートである。 HCUの実行する提示制御方法の一例を示すフローチャートである。 第2実施形態においてHCUの実行する提示制御方法の一例を示すフローチャートである。 第3実施形態においてHCUの実行する提示制御方法の一例を示すフローチャートである。 第5実施形態においてHCUの実行する提示制御方法の一例を示すフローチャートである。 第6実施形態においてHCUの実行する提示制御方法の一例を示すフローチャートである。 第7実施形態においてHCUの実行する提示制御方法の一例を示すフローチャートである。 第8実施形態においてHCUの実行する提示制御方法の一例を示すフローチャートである。 第8実施形態においてHCUの実行する提示制御方法の一例を示すフローチャートである。 第9実施形態においてHCUの実行する提示制御方法の一例を示すフローチャートである。 第9実施形態においてHCUの実行する提示制御方法の一例を示すフローチャートである。 図33のフローチャートの続きを示すフローチャートである。
 (第1実施形態)
 第1実施形態の提示制御装置について、図1~図24を参照しながら説明する。第1実施形態の提示制御装置は、車両Aに搭載されたHCU(Human Machine Interface Control Unit)100により提供される。HCU100は、車両Aにおいて用いられるHMI(Human Machine Interface)システムを、複数の表示デバイス、オーディオ装置24および操作デバイス26等と共に構成している。HMIシステムは、車両Aの乗員(例えばドライバ等)による操作を受け付ける入力インターフェース機能と、ドライバへ向けて情報を提示する出力インターフェース機能とを備えている。HCU100は、ロケータ30、周辺監視センサ40、車載通信器50、第1自動運転ECU60、第2自動運転ECU70、DSM27および車両制御ECU80と、通信バス99等を介して接続されている。
 ロケータ30は、複数の取得情報を組み合わせる複合測位により、自車位置情報等を生成する。ロケータ30は、GNSS(Global Navigation Satellite System)受信機31、慣性センサ32、地図データベース(以下、「地図DB」)DB33、およびロケータECU34を備えている。GNSS受信機31は、複数の測位衛星からの測位信号を受信する。慣性センサ32は、車両Aに作用する慣性力を検出するセンサである。慣性センサ32は、例えばジャイロセンサおよび加速度センサを備える。
 地図DB33は、不揮発性メモリであって、リンクデータ、ノードデータ、道路形状、構造物等の地図データを格納している。地図データは、道路形状および構造物の特徴点の点群からなる三次元地図であってもよい。なお、3次元地図は、REM(Road Experience Management)によって撮像画像をもとに生成されたものであってもよい。また、地図データには、交通規制情報、道路工事情報、気象情報、および信号情報等が含まれていてもよい。地図DBに格納された地図データは、後述の車載通信器50にて受信される最新の情報に基づいて、定期的または随時に更新される。
 ロケータECU34は、プロセッサ、メモリ、入出力インターフェース、およびこれらを接続するバス等を備えたマイクロコンピュータを主体として含む構成である。ロケータECU34は、GNSS受信機31で受信する測位信号、地図DB33の地図データ、および慣性センサ32の計測結果を組み合わせることにより、車両Aの位置(以下、自車位置)を逐次測位する。自車位置は、例えば緯度経度の座標で表される構成とすればよい。なお、自車位置の測位には、車両Aに搭載された車速センサから逐次出力される信号から求めた走行距離を用いる構成としてもよい。地図データとして、道路形状および構造物の特徴点の点群からなる3次元地図を用いる場合、ロケータECU34は、GNSS受信機31を用いずに、この3次元地図と、周辺監視センサ40での検出結果とを用いて、自車位置を特定する構成としてもよい。
 周辺監視センサ40は、車両Aの周辺環境を監視する自律センサである。周辺監視センサ40は、車両A周囲の検出範囲から、歩行者、サイクリスト、人間以外の動物、および他車両等の移動物体、さらに路上の落下物、ガードレール、縁石、道路標識、走行区画線等の路面表示、および道路脇の構造物等の静止物体などを検出可能である。周辺監視センサ40は、車両Aの周囲の物体を検出した検出情報を、通信バス99を通じて、第1自動運転ECU60、第2自動運転ECU70等に提供する。
 周辺監視センサ40は、物体検出のための検出構成として、フロントカメラ41およびミリ波レーダ42を有している。フロントカメラ41は、車両Aの前方範囲を撮影した撮像データ、および撮像データの解析結果の少なくとも一方を、検出情報として出力する。ミリ波レーダ42は、例えば車両Aの前後の各バンパーに互いに間隔を開けて複数配置されている。ミリ波レーダ42は、ミリ波または準ミリ波を、車両Aの前方範囲、前側方範囲、後方範囲および後側方範囲等へ向けて照射する。ミリ波レーダ42は、移動物体および静止物体等で反射された反射波を受信する処理により、検出情報を生成する。なお、地物の特徴点の点群を検出するLiDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)、超音波の反射波を受信するソナー等の他の検出構成が、周辺監視センサ40に含まれていてもよい。
 車載通信器50は、車両Aに搭載される通信モジュールである。車載通信器50は、LTE(Long Term Evolution)および5G等の通信規格に沿ったV2N(Vehicle to cellular Network)通信の機能を少なくとも有しており、車両Aの周囲の基地局との間で電波を送受信する。車載通信器50は、路車間(Vehicle to roadside Infrastructure,以下「V2I」)通信および車車間(Vehicle to Vehicle,以下「V2V」)通信等の機能をさらに有していてもよい。車載通信器50は、V2N通信により、クラウドと車載システムとの連携(Cloud to Car)を可能にする。車載通信器50の搭載により、車両Aは、インターネットに接続可能なコネクテッドカーとなる。車載通信器50は、交通情報センタ等から配信される渋滞情報を取得し、第2自動運転ECU70およびHCU100等に提供する。
 第1自動運転ECU60および第2自動運転ECU70は、それぞれプロセッサ62,72、メモリ61,71、入出力インターフェース、およびこれらを接続するバス等を備えたコンピュータを主体として含む構成である。第1自動運転ECU60および第2自動運転ECU70は、車両Aの走行を部分的または実質全て制御する自動走行制御を実行可能なECUである。
 第1自動運転ECU60は、ドライバの運転操作を部分的に代行する部分的自動運転機能を備えている。第2自動運転ECU70は、ドライバの運転操作を代行可能な自動運転機能を備えている。一例として、米国自動車技術会の規定する自動運転レベルにおいて、第1自動運転ECU60は、レベル2以下の部分的な自動走行制御(高度運転支援)を可能にする。すなわち、第1自動運転ECU60は、周辺監視がドライバに必要とされる自動走行制御を、実施可能にする。換言すると、第1自動運転ECU60は、後述のセカンドタスクが禁止される自動運転を、実施可能にする。
 例えば、第1自動運転ECU60は、車両Aの縦方向制御および横方向制御の一方または両方を実行可能である。ここで縦方向は、車両Aの前後方向と一致する方向であり、横方向は、車両Aの幅方向と一致する方向である。第1自動運転ECU60は、縦方向制御として、車両Aの加減速の制御を実行する。また、第1自動運転ECU60は、横方向制御として、車両Aの操舵輪の舵角制御を実行する。
 第1自動運転ECU60は、メモリ61に記憶された運転支援プログラムが複数の命令をプロセッサ62に実行させることで、上述の高度運転支援を実現する複数の機能部を構築する。具体的には、第1自動運転ECU60は、図2に示すように、環境認識部63、ACC制御部64、およびLTA制御部65等を機能部として構築する。
 環境認識部63は、周辺監視センサ40から取得する検出情報に基づき、車両Aの周囲の走行環境を認識する。環境認識部63は、走行環境認識のために実施した検出情報の解析結果を、解析済みの検出情報として、ACC制御部64およびLTA制御部65に提供する。一例として、環境認識部63は、車両Aが現在走行する車線(以下、現在車線)の左右の区画線または道路端の相対位置および形状を示す情報(車線情報)を、解析済みの検出情報として生成する。加えて、環境認識部63は、現在車線にて車両Aに先行する先行車の有無と、先行車が有る場合のその位置および速度と、を示す情報(先行車情報)を、解析済みの検出情報として生成する。環境認識部63は、先行車情報をACC制御部64に逐次提供し、車線情報をLTA制御部65に逐次提供する。なお、環境認識部63は、後述のMDエリア、ADエリア、並びにST区間、非ST区間を認識する構成であってもよい。
 ACC制御部64は、先行車情報に基づいて、目標速度での車両Aの定速走行または先行車への追従走行を実現するACC(Adaptive Cruise Control)制御を実行する。LTA制御部65は、車線情報に基づいて、車両Aの車線内走行を維持するLTA(Lane Tracing Assist)制御を実行する。具体的には、各制御部64,65は、加減速または舵角の制御指令を生成し、後述の車両制御ECU80へと逐次提供する。ACC制御が縦方向制御の一例であり、LTA制御が横方向制御の一例である。
 第1自動運転ECU60は、ACC制御およびLTA制御の両方を実行することで、レベル2の自動運転を実現する。なお、第1自動運転ECU60は、ACC制御およびLTA制御のいずれか一方を実行することで、レベル1の自動運転を実現可能であってもよい。
 一方、第2自動運転ECU70は、上述の自動運転レベルにおいて、レベル3以上の自動走行制御を可能にする。すなわち、第2自動運転ECU70は、周辺監視の中断がドライバに許可される自動運転を、実施可能にする。換言すると、第2自動運転ECU70は、セカンドタスクが許可される自動運転を、実施可能にする。
 ここでセカンドタスクとは、ドライバに対して許可される運転以外の行為であって、予め規定された特定行為である。第2自動運転ECU70によるレベル3の自動運転機能によって車両Aが自動走行する自動走行期間にて、この場合のドライバは、限定領域から出るときまたは緊急時において、自動運転システムから運転の制御権を引き継ぐ者(搭乗者)である。自動運転システムによる運転操作の実施要求、即ち、運転交代の要請(Take Over Request)が発生するまで、ドライバには、セカンドタスクの実施が法規的に許可され得る。
 セカンドタスクは、セカンダリアクティビティまたはアザーアクティビティ等と呼ばれ得る。セカンドタスクは、自動運転システムからの運転操作の引き継ぎ要求にドライバが対応することを妨げてはならないとされる。一例として、動画等のコンテンツの視聴、スマートフォン等の操作、読書、および食事等の行為が、セカンドタスクとして想定される。
 第2自動運転ECU70は、メモリ71に記憶された自動運転プログラムが複数の命令をプロセッサ72に実行させることで、上述の自動運転を実現する複数の機能部を構築する。具体的には、第2自動運転ECU70は、環境認識部73、行動判断部74、および軌道生成部75等を機能部として構築する。
 環境認識部73は、周辺監視センサ40から取得する検出情報、ロケータECU34から取得する自車位置および地図データ、車載通信器50から取得する通信情報等に基づき、車両Aの周囲の走行環境を認識する。一例として、環境認識部73は、車両Aの現在車線の位置、現在車線の形状、並びに車両A周辺の移動体の相対位置および相対速度等を認識する。環境認識部73は、以上の認識結果を行動判断部74および軌道生成部75に逐次提供する。
 加えて、環境認識部73は、車両Aの走行地域における手動運転エリア(MDエリア)および自動運転エリア(ADエリア)の判別、ADエリアにおけるST区間および非ST区間の判別を行い、その認識結果をHCU100に逐次提供する。
 MDエリアは、自動運転が禁止されるエリアである。換言すれば、MDエリアは、車両Aの縦方向制御、横方向制御および周辺監視の全てをドライバが実行すると規定されたエリアである。例えば、MDエリアは、走行路が一般道路であるエリアとされる。
 ADエリアは、自動運転が許可されるエリアである。換言すれば、ADエリアは、縦方向制御、横方向制御および周辺監視のうち1つ以上を、車両Aが代替可能なエリアである。例えば、ADエリアは、走行路が高速道路または自動車専用道路であるエリアとされる。
 ADエリアは、レベル2以下の自動運転が可能な非ST区間と、レベル3以上の自動運転が可能なST区間とに区分される。なお、第1実施形態において、レベル1の自動運転が許可される非ST区間と、レベル2の自動運転が許可される非ST区間は、同等であるとする。
 ST区間は、例えば、渋滞が発生している走行区間(渋滞区間)であるとされる。また、ST区間は、例えば、高精度地図が整備された走行区間であるとされる。周辺状態把握部110は、車両Aの走行速度が閾範囲内である状態が所定期間継続している場合に、ST区間であると判断する。または、周辺状態把握部110は、自車位置と、車載通信器50から取得した渋滞情報とを組み合わせて、ST区間であるか否かを判断してもよい。なお、周辺状態把握部110は、渋滞区間に加えて、車両Aの周辺環境に関して渋滞以外の特定の条件が成立する区間をST区間としてもよい。
 行動判断部74は、走行環境の認識結果に基づいて、車両Aに予定される将来行動を判断する。具体的には、行動判断部74は、後述のHCU100との共同により自動運転の開始指示を取得している場合、目的地に到着するために、車両Aが取るべき振る舞いの類型を将来行動として決定する。類型とは、例えば、直進、右折、左折、車線変更等を含む。また、行動判断部74は、ドライバへの運転制御権の移譲が必要であると判断した場合には、交代要請を生成し、HCU100へと提供する。
 軌道生成部75は、走行環境の認識結果および決定された将来行動に基づき、自動運転を実行可能な区間での車両Aの走行軌道を生成する。走行軌道には、例えば進行に応じた車両Aの目標位置および各目標位置での目標速度等が含まれている。軌道生成部75は、生成した走行軌道を、自動走行において車両Aが従う制御指令として車両制御ECU80に逐次提供する。
 以上の自動運転ECU60,70を含んで構成される自動運転システムにより、車両Aにおいてレベル2およびレベル3相当の自動運転が少なくとも実行可能となる。以下において、レベル2相当の自動運転を実行している状態を「レベル2実行モード」、レベル3相当の自動運転を実行している状態を「レベル3実行モード」と表記する場合がある。
 車両制御ECU80は、車両Aの加減速制御および操舵制御を行う電子制御装置である。車両制御ECU80としては、操舵制御を行う操舵ECU、加減速制御を行うパワーユニット制御ECUおよびブレーキECU等がある。車両制御ECU80は、車両Aに搭載された舵角センサ、車速センサ等の各センサから出力される検出信号を取得し、電子制御スロットル、ブレーキアクチュエータ、EPS(Electric Power Steering)モータ等の各走行制御デバイスへ制御信号を出力する。車両制御ECU80は、車両Aの制御指示を第1自動運転ECU60または第2自動運転ECU70から取得することで、当該制御指示に従う自動走行を実現するように、各走行制御デバイスを制御する。
 また、車両制御ECU80は、ドライバによる運転部材の運転操作情報を検出する車載センサ81と接続されている。車載センサ81は、例えば、アクセルペダルの踏込量を検出するペダルセンサ、およびステアリングの操舵量を検出するステアセンサ等を含んでいる。車両制御ECU80は、検出されたこれら運転操作情報を、HCU100へと逐次提供する。
 DSM27は、近赤外光源及び近赤外カメラと、これらを制御する制御ユニットとを含む構成である。DSM27は、運転席のヘッドレスト部分に近赤外カメラを向けた姿勢にて、例えばステアリングコラム部の上面またはインスツルメントパネル9の上面等に設置されている。DSM27は、近赤外光源によって近赤外光を照射されたドライバの頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、ドライバのアイポイントの位置および視線方向等の情報を撮像画像から抽出し、抽出したドライバの状態情報を、通信バス99を通じて、HCU100等に提供する。
 次に、HMIシステムに含まれる複数の表示デバイス、オーディオ装置24、操作デバイス26およびHCU100の各詳細を説明する。
 複数の表示デバイスは、ヘッドアップディスプレイ(以下、HUD)21、メータディスプレイ22、およびセンタインフォメーションディスプレイ(以下、CID)23等を含んでいる。複数の表示デバイスには、電子ミラーシステムの各ディスプレイEMB,EML,EMRがさらに含まれていてもよい。HUD21、メータディスプレイ22およびCID23は、静止画または動画等の画像コンテンツを、視覚情報としてドライバに提示する表示器である。
 HUD21は、HCU100から取得する制御信号および映像データに基づき、ドライバ前方に結像される画像の光を、ウィンドシールドWS等に規定された投影領域PAに投影する。ウィンドシールドWSにて車室内側に反射された画像の光は、運転席に着座するドライバによって知覚される。こうしてHUD21は、投影領域PAよりも前方の空間中に虚像を表示させる。ドライバは、HUD21によって表示される画角VA内の虚像を、車両Aの前景と重ねて視認する。
 メータディスプレイ22およびCID23は、例えば液晶ディスプレイまたはOLED(Organic Light Emitting Diode)ディスプレイ等を主体とする構成である。メータディスプレイ22およびCID23は、HCU100から取得する制御信号および映像データに基づき、種々の画像を表示画面に表示させる。メータディスプレイ22は、例えば運転席の正面に設置されている。CID23は、ドライバの前方において車幅方向の中央領域に設けられている。例えばCID23は、インスツルメントパネル9におけるセンタクラスタの上方に設置されている。CID23は、タッチパネルの機能を有しており、例えばドライバ等による表示画面へのタッチ操作およびスワイプ操作等を検出する。CID23は、「中央表示器」の一例である。
 オーディオ装置24は、車室内に設置された複数のスピーカを有している。オーディオ装置24は、HCU100から取得する制御信号および音声データに基づき、報知音または音声メッセージ等を、聴覚情報としてドライバに提示する。すなわち、オーディオ装置24は、視覚情報と異なる態様の情報を提示可能な情報提示デバイスである。聴覚情報は、「視覚情報と異なる特定態様の情報」の一例である。
 操作デバイス26は、ドライバ等によるユーザ装置を受け付ける入力部である。操作デバイス26には、例えば自動運転機能の各レベルの開始および停止に関連するユーザ操作等が入力される。操作デバイス26には、例えば、ステアリングホイールのスポーク部に設けられたステアスイッチ、ステアリングコラム部に設けられた操作レバー、およびドライバの発話内容を認識する音声入力装置等が含まれる。
 HCU100は、上述の第1自動運転ECU60および第2自動運転ECU70等からの情報に基づき、ドライバに対する情報提示を制御する。HCU100は、メモリ101、プロセッサ102、入出力インターフェース、およびこれらを接続するバス等を備えたコンピュータを主体として含む構成である。プロセッサ102は、演算処理のためのハードウェアである。プロセッサ102は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)およびRISC(Reduced Instruction Set Computer)-CPU等のうち、少なくとも一種類をコアとして含む。
 メモリ101は、コンピュータにより読み取り可能なプログラムおよびデータ等を非一時的に格納または記憶する、例えば半導体メモリ、磁気媒体および光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。メモリ101は、後述の提示制御プログラム等、プロセッサ102によって実行される種々のプログラムを格納している。
 プロセッサ102は、メモリ101に格納された提示制御プログラムに含まれる複数の命令を、実行する。これによりHCU100は、ドライバへの提示制御ための機能部を、複数構築する。このようにHCU100では、メモリ101に格納された提示制御プログラムが複数の命令をプロセッサ102に実行させることで、複数の機能部が構築される。具体的に、HCU100には、図2に示すように、周辺状態把握部110、運転状態判断部120、ドライバ状態推定部130および提示情報調整部140等の機能部が構築される。
 周辺状態把握部110は、第1自動運転ECU60の環境認識部63または第2自動運転ECU70の環境認識部73から、走行環境の認識結果を取得する。周辺状態把握部110は、取得した認識結果に基づいて、車両Aの周辺状態を把握する。具体的には、周辺状態把握部110は、ADエリアへの接近、ADエリアへの進入、ST区間への接近およびST区間への進入等を把握する。周辺状態把握部110は、把握した周辺状態情報を、運転状態判断部120へと逐次提供する。なお、周辺状態把握部110は、各自動運転ECU60、70から取得した認識結果に代えて、ロケータECU34や周辺監視センサ40等から直接取得した情報に基づいて周辺状態を把握してもよい。
 ドライバ状態推定部130は、DSM27および車両制御ECU80等からの情報に基づいて、ドライバ状態を推定する。例えば、ドライバ状態推定部130は、ドライバの各身体部位の運転動作への関与有無を、ドライバ状態として推定する。具体的には、ドライバ状態推定部130は、DSM27から取得したドライバの視線方向に関する状態情報等に基づいて、ドライバの眼部が周辺監視を行っているか否かを判定する。また、ドライバ状態推定部130は、車両制御ECU80から取得した操舵量に基づいて、ドライバがステアリングを手で把持しているか否かを判定する。加えて、ドライバ状態推定部130は、車両制御ECU80から取得したアクセルペダルの踏込量に基づいて、ドライバがアクセルペダルに足を置いているか否かを判定する。
 なお、以下において、眼部が周辺監視を行っている状態をアイズオン、行っていない状態をアイズオフと表記する場合がある。また、ステアリングを手で把持している状態をハンズオン、把持していない状態をハンズオフと表記する場合がある。加えて、アクセルペダルに足を置いている状態をレッグオン、置いていない状態をレッグオフと表記する場合がある。ドライバ状態推定部130は、推定した各身体部位の状態を、運転状態判断部120へと逐次提供する。なお、ドライバ状態推定部130は、後述のドライバ条件が成立しているか否かも判定してよい。
 運転状態判断部120は、第2自動運転ECU70および第1自動運転ECU60との共同により、自動運転に関する運転状態を判断する。具体的には、運転状態判断部120は、ドライバに対して許可する自動運転レベルと、実際に実行する自動運転レベルとを、運転状態として判断する。
 運転状態判断部120は、周辺状態把握部110からの情報に基づいて、車両AがMDエリアを走行している場合に、自動運転を許可できないと判断する。一方で、運転状態判断部120は、ADエリアを走行している場合に、レベル2以上の自動運転を許可できると判断する。さらに、運転状態判断部120は、ADエリアのうち非ST区間を走行している場合に、レベル2の自動運転を許可できると判定し、ST区間を走行している場合には、レベル3の自動運転を許可できると判定する。
 以下において、レベル2の自動運転を許可した状態を、「レベル2許可状態」、レベル3の自動運転を許可した状態を、「レベル3許可状態」と表記する場合がある。また、レベル1以上の自動運転が全て禁止された状態を、「自動運転禁止状態」と表記する場合がある。レベル2許可状態は、「特定行為禁止状態」の一例であり、レベル3許可状態は、「特定行為許可状態」の一例である。
 加えて、運転状態判断部120は、レベル2の自動運転を許可すると判断した場合には、レベル2においてハンズオフを許可するか否かを判定する。具体的には、運転状態判断部120は、LTAの実行状態、車両A周辺の高精度地図データの有無、車線状態、ドライバの周辺監視状態、車両A周辺の道路形状等に基づき、特定の条件が成立した場合に、ハンズオフ許可の判定を下す。
 特定の条件には、例えば、LTA制御が実行であること、車両A周辺の高精度地図データが有ること、現在車線の左右の区画線のうち少なくとも一方を検出可能であること、ドライバが周辺監視を行っていると判断可能であること、走行区間が道路構造の複雑な区間でないことのうち少なくとも1つが含まれる。道路構造の複雑な区間とは、例えば合流区間や分岐区間等を含む。以下において、ハンズオフを許可した状態を「ハンズオフ許可状態」、ハンズオフを禁止した状態を「ハンズオフ禁止状態」と表記する場合がある。ハンズオフ許可状態は、「手放し許可状態」の一例であり、ハンズオフ禁止状態は、「手放し禁止状態」の一例である。
 また、運転状態判断部120は、レベル2以下の自動運転において少なくともACCが実行されている場合、レッグオフを許可する。以下において、レッグオフを許可した状態を「レッグオフ許可状態」、レッグオフを禁止した状態を「レッグオフ禁止状態」と表記する場合がある。加えて、運転状態判断部120は、レベル3の自動運転が許可されている場合、アイズオフを許可する。すなわち、レベル3許可状態は、アイズオフ許可状態であるということもできる。
 運転状態判断部120は、現在許可されている自動運転レベル、ドライバの状態情報、および操作デバイス26への入力情報等に基づいて、実際に実行する自動運転レベルを判断する。すなわち、運転状態判断部120は、現在許可されている自動運転レベルの開始指示が入力情報として取得された場合に、当該自動運転レベルの実行を決定する。ただし、運転状態判断部120は、レベル2の自動運転を実行中で且つハンズオンの状態下にて、レベル3の自動運転が許可された場合、入力情報を取得することなくレベル3の実行を判断する。以上の運転状態判断部120は、「判別部」の一例である。
 提示情報調整部140は、サブ機能部として、提示情報選定部141と、コンテンツ調停部142と、提示情報生成部143とを有している。提示情報調整部140は、「提示制御部」の一例である。
 提示情報選定部141は、周辺状態把握部110、運転状態判断部120およびドライバ状態推定部130から取得される情報に基づいて、自動運転に関するコンテンツの提示を、コンテンツ調停部142と連携して制御する。具体的には、提示情報選定部141は、各種情報に基づき各提示デバイスに提示させるコンテンツを選定する。
 コンテンツ調停部142は、各表示デバイスに表示させるコンテンツの調停を行う。コンテンツ調停部142は、提示情報選定部141からの各種情報に基づき、各コンテンツの優先度を総合的に判断する。コンテンツ調停部142は、優先度が高いと判断したコンテンツを、提示対象のコンテンツとして選定する。加えてコンテンツ調停部142は、各表示デバイスに表示させる各コンテンツの表示サイズおよび表示レイアウトを、優先度に応じて逐次変更可能である。一例として、コンテンツ調停部142は、優先度の高いコンテンツほど、表示サイズを大きくする。別の一例として、コンテンツ調停部142は、優先度の高いコンテンツほど、各表示領域の手前側に位置させる。
 提示情報生成部143は、提示情報選定部141の選定結果およびコンテンツ調停部142の調停結果に基づいて、各表示デバイスに提供する制御信号および映像データと、オーディオ装置24に提供する制御信号および音声データとを生成する。提示情報生成部143は、生成した制御信号および各データを各提示デバイスへと出力することで、各提示デバイスにて情報提示を実施する。
 次に、HCU100が提示するコンテンツについて、図4のタイムチャートを参照しつつ、図5~図18を用いて以下に説明する。HCU100は、自動運転に関連して、ADエリア接近通知、ADエリア進入通知、レベル2開始通知、レベル3接近通知、ドライバ準備通知、レベル3可能通知、レベル3開始通知、レベル3終了通知等を実施する。
 ADエリア接近通知は、MDエリアの走行中に、ADエリアへと接近した場合に実施される。具体的には、ADエリア接近通知は、周辺状態把握部110にて車両AからADエリアまでの距離が閾距離を下回ったと判断された場合に、実施される。ADエリア接近通知において、提示情報調整部140は、図5に示すように、ADエリア接近メッセージN1h,N1mを、HUD21およびメータディスプレイ22に表示させる。
 ADエリア接近メッセージN1h,N1mは、ADエリアへの接近を視覚情報として表す画像コンテンツである。HUD21に表示されるADエリア接近メッセージN1hは、デジタルスピードメータおよび運転ステータスSTh等とともに、画角VA内に表示される。ADエリア接近メッセージN1hは、画角VA内の中央領域に配置された運転ステータスSThの左方または右方に配置される。ADエリア接近メッセージN1hは、メッセージ画像と、当該メッセージ画像を囲む枠形状のウィンドウ画像とを含んで構成されている。メッセージ画像は、例えば、「まもなく自動運転可能エリアです」等、ADエリアの接近を示す記述の文字情報とされる。
 メータディスプレイ22に表示されるADエリア接近メッセージN1mは、運転ステータスSTm等とともに、表示画面内に表示される。ADエリア接近メッセージN1mは、例えば、表示画面内の下縁に配置される。ADエリア接近メッセージN1mは、運転ステータスSTmよりも手前側に表示される。ADエリア接近メッセージN1mは、メッセージ画像と、当該メッセージ画像が手前側に配置された帯状のウィンドウ画像とを含んで構成されている。メッセージ画像は、HUD21と同様に、ADエリアの接近を示す文字情報とされる。ウィンドウ画像は、運転ステータスSTmの背景と異なる表示色(例えば青色)とされる。
 なお、以上のADエリア接近通知は、ADエリア進入後にて可能な自動運転のレベルに関わらず実施される。すなわち、図4に示すようにMDエリアからレベル2が可能なADエリアに接近した場合のみでなく、MDエリアからレベル3以上の自動運転が可能なADエリアに接近した場合にも、ADエリア接近通知が実施される。
 ADエリア進入通知は、ADエリア接近通知の後、周辺状態把握部110にて車両AがADエリアへと進入したと判断された場合に、実施される。ADエリア進入通知において、提示情報調整部140は、図6,7,8に示すように、ADエリア進入メッセージN2h,N2mを、HUD21およびメータディスプレイ22に表示させ、ADエリア通知コンテンツCTMcをCID23に表示させる。
 ADエリア進入メッセージN2h,N2m,N2cは、ADエリアへの進入を視覚情報として表す画像コンテンツである。HUD21およびメータディスプレイ22に表示されるADエリア進入メッセージN2h,N2mは、表示開始から所定変更時間経過すると、表示態様が変更される。以下において、変更前のADエリア進入メッセージを、第1ADエリア進入メッセージN2fh,N2fmとし、変更後のADエリア進入メッセージを、第2ADエリア進入メッセージN2sh,N2smとする。
 HUD21に表示される第1ADエリア進入メッセージN2fhは、例えば、ADエリア接近メッセージN1hと実質同じ位置に配置され、ADエリア接近メッセージN1hと同様にメッセージ画像および枠形状のウィンドウ画像とを含んで構成されている。メッセージ画像は、ADエリアへの進入に関連する文字情報とされ、例えば、自動運転の開始方法を示すメッセージが記述される。具体的には、「自動運転モード」との記述、操作デバイス26への入力を示す「ENTER」との記述、および当該「ENTER」を指し示す矢印が、メッセージ画像に含まれる。これにより、第1ADエリア接近メッセージN1fhは、操作デバイス26へ入力すると自動運転モードを開始可能であることを通知し、ひいては車両Aが自動運転可能なADエリアへと進入したことをドライバに提示する。
 メータディスプレイ22に表示される第1ADエリア進入メッセージN2fmは、例えば、ADエリア接近メッセージN1mと実質的に同じ位置に配置される。第1ADエリア進入メッセージN2fmは、ADエリア接近メッセージN1mと同様にメッセージ画像および当該メッセージ画像が手前側に配置された帯状のウィンドウ画像とを含んで構成されている。メッセージ画像は、第1ADエリア進入メッセージN2fhと同様にADエリアへの進入に関連する文字情報とされる。具体的には、「自動運転モード使用」との記述、操作デバイス26への入力を示す「ENTER」との記述、および当該「ENTER」を指し示す矢印が、メッセージ画像に含まれる。
 以上の第1ADエリア進入メッセージN2fh,N2fmは、所定変更時間(例えば数秒)経過後に、第2ADエリア進入メッセージN2sh,N2smへと変更される。第2ADエリア進入メッセージN2sh,N2smは、第1ADエリア進入メッセージN2fh,N2fmよりも視認性の低い表示態様とされる。具体的には、第2ADエリア進入メッセージN2sh,N2smは、表示サイズの縮小、表示色の変更、表示位置の変更、表示輝度の低下、一部分の非表示等のうち少なくとも1つが適用されることで、視認性の低い表示態様とされる。例えば、HUD21に表示される第2ADエリア進入メッセージN2shは、ウィンドウ画像が非表示とされ、表示位置が画角VA内のより下方の表示位置とされ、さらに表示サイズが縮小される。また、メータディスプレイ22に表示される第2ADエリア進入メッセージN2smは、メッセージ画像の一部およびウィンドウ画像が非表示とされ、表示サイズが縮小される。
 CID23に表示されるADエリア通知コンテンツCTMcは、地図表示領域AmにおいてADエリアの通知前と異なる表示態様にて表示された地図画像である。例えば、ADエリア通知コンテンツCTMcは、車両Aの周辺地域のうち、ADエリアをMDエリアと区別して示す地図画像とされる。具体的には、異なる表示色で表示した領域画像である。ADエリア通知画像N2cは、車両AがADエリアへと進入したと判断された場合に、第1ADエリア進入メッセージN2fh,N2fmと実質同時に表示開始される。ADエリア通知コンテンツCTMaは、所定変更時間経過しても表示態様を変更されない。
 以上のADエリア進入メッセージN2h,N2m,CTMcのうち、HUD21およびメータディスプレイ22に表示されるADエリア進入メッセージN2h,N2mは、表示許容時間(例えば5~10秒程度)表示される。表示許容時間の間、操作デバイス26から自動運転開始の入力情報が取得されなかった場合、許容時間経過後にADエリア進入メッセージN2h,N2mは非表示とされる。一方、ADエリア通知コンテンツCTMcは、表示許容時間経過後も表示が継続される(図8参照)。すなわち、表示許容時間経過後は、より少ない表示デバイスにて進入通知が継続されることになる。ADエリア通知コンテンツCTMcは、例えば自動運転開始の入力情報が取得されるまで継続して表示される。
 レベル2開始通知は、運転状態判断部120にてレベル2の自動運転開始が判断された場合に、実施される。レベル2開始通知において、提示情報調整部140は、図9に示すように、レベル2開始メッセージN3h,N3mを、HUD21およびメータディスプレイ22に表示させる。
 レベル2開始メッセージN3h,N3mは、レベル2の自動運転開始を視覚情報として表す画像コンテンツである。レベル2開始メッセージN3h,N3mは、例えば、自動運転開始に関連した文字情報が記述されたメッセージ画像と、当該メッセージ画像を表示領域内で区画するウィンドウ画像とを含んで構成されている。メッセージ画像は、例えば、「周辺の道路状況により自動運転が解除されます」等、開始する自動運転が解除される可能性が有る旨の記述とされる。各レベル2開始メッセージN3h,N3mは、表示領域内の中央部分に配置される。各レベル2開始メッセージN3h,N3mは、運転ステータスSTh,STmよりも手前側に表示される。
 レベル3接近通知は、レベル3の自動運転が可能なST区間への接近を通知する。レベル3接近通知は、MDエリアまたはADエリアの非ST区間を走行中において、車両AからST区間までの残距離が閾値(例えば10km程度)を下回った場合に実行される。レベル3接近通知において、提示情報調整部140は、図13に示すように、レベル3接近メッセージN4h,N4mを、HUD21およびメータディスプレイ22に表示させる。
 レベル3接近メッセージN4h,N4mは、ST区間への接近を視覚情報として表す画像コンテンツである。HUD21に表示されるレベル3接近メッセージN4hは、例えば、ADエリア接近メッセージN1hと実質同じ位置に配置され、ADエリア接近メッセージN1hと同様にメッセージ画像および枠形状のウィンドウ画像とを含んで構成されている。メッセージ画像は、例えば、「およそ10km先 渋滞中 2ndタスク利用可能」等、ST区間の接近を示す記述の文字情報とされる。
 メータディスプレイ22に表示されるレベル3接近メッセージN4mは、例えば、ADエリア接近メッセージN1mと実質的に同じ位置に配置される。レベル3接近メッセージN4mは、ADエリア接近メッセージN1mと同様にメッセージ画像および当該メッセージ画像が手前側に配置された帯状のウィンドウ画像とを含んで構成されている。メッセージ画像は、例えば、「およそ10km先渋滞 渋滞中は2ndタスクが利用可能です」等、HUD21の表示と同様に、ST区間の接近を示す記述の文字情報とされる。
 なお、自動運転禁止状態からレベル3可能状態へと遷移(第1遷移)する場合には、レベル3接近通知とADエリア接近通知とが同時に実施される。このとき、レベル3接近通知とADエリア接近通知とを一つの通知として行うようにしてもよい。
 ドライバ準備通知は、ドライバにレベル3を実施するための条件(ドライバ条件)を満たすことを促す通知である。ドライバ準備通知は、レベル3接近通知の開始時にドライバ条件が満たされていなかった場合に実行される。ドライバ条件は、例えば、ドライバの覚醒度が閾値レベルを上回ること、ドライバの姿勢種類が予め規定された姿勢種類であること等である。さらに、ドライバ条件は、ストレスレベルが閾値レベルを下回ること、走行開始からの経過時間が所定時間を上回ること等であってもよい。ドライバ準備通知は、レベル3接近通知と同時に実行されてもよい。例えば、レベル3接近通知の実行後に開始される。提示情報調整部140は、図14に示すように、ドライバ準備通知において、ドライバ準備メッセージNph,NpmをHUD21およびメータディスプレイ22に表示させる。
 各ドライバ準備メッセージNph,Npmは、例えば、ウィンドウ画像と、メッセージ画像とを含んで構成されている。メッセージ画像は、成立していないドライバ条件が成立するように、ドライバに所定の行動を促す記述とされる。HUD21に表示されるドライバ準備メッセージNphは、例えばレベル3接近メッセージN4hと同様の位置に表示される。メータディスプレイ22に表示されるドライバ準備メッセージNpmは、例えばドライバステータスSTDと同じ表示領域内において、ドライバステータスSTDより下方に表示される。
 レベル3可能通知は、ST区間への進入により、レベル3可能状態となったことを通知する。レベル3可能通知は、ADエリアの非ST区間からST区間へと進入した場合、すなわちレベル2可能状態からレベル3可能状態へと遷移(第2遷移)した場合に実行される。加えて、レベル3可能通知は、MDエリアからST区間へと進入した場合、すなわち自動運転禁止状態からレベル3可能状態へと遷移(第1遷移)した場合に実行される。つまり、レベル3可能通知は、ADエリア侵入通知と同時に実行されることもある。また、レベル3可能通知と、ADエリア侵入通知とを一つの通知として行うようにしてもよい。
 レベル3可能通知において、提示情報調整部140は、図15に示すように、レベル3可能メッセージN5h,N5mを、HUD21、およびメータディスプレイ22に表示させる。加えて、提示情報調整部140は、第1遷移が発生する場合に、レベル3可能通知音をオーディオ装置24に提示させる。これにより、提示情報調整部140は、第1遷移に関する情報(第1遷移情報)を、第2遷移に関する情報(第2遷移情報)よりも強調してドライバに提示する。
 レベル3可能メッセージN5h,N5mは、ST区間への進入を視覚情報として表す画像コンテンツである。HUD21に表示されるレベル3可能メッセージN5hは、例えば、ADエリア接近メッセージN1hと実質同じ位置に配置され、ADエリア接近メッセージN1hと同様にメッセージ画像および枠形状のウィンドウ画像とを含んで構成されている。メッセージ画像は、例えば、「2ndタスクが利用可能になりました」等、ST区間への進入を示す記述の文字情報とされる。
 メータディスプレイ22に表示されるレベル3可能メッセージN5mは、例えば、ADエリア接近メッセージN1mと実質的に同じ位置に配置される。レベル3接近メッセージN4mは、ADエリア接近メッセージN1mと同様に、メッセージ画像および当該メッセージ画像が手前側に配置された帯状のウィンドウ画像とを含んで構成されている。メッセージ画像は、例えばHUD21に表示されるものと実質同じとされる。
 レベル3可能通知音は、レベル3自動運転が可能となったことを聴覚情報として示す音コンテンツである。レベル3可能通知音は、効果音でもよいし、音声メッセージであってもよい。
 レベル3開始通知は、レベル3自動運転の開始を通知する。第1実施形態において、レベル3開始通知は、手動運転、レベル1、またはレベル2のハンズオンからレベル3に遷移した場合には、ドライバによるレベル3の開始指示を受けてから実行されることになる。一方、レベル2のハンズオフからレベル3に遷移した場合、レベル3開始通知は、ST区間へと進入した場合に実行されることになる。この場合、レベル3開始通知は、レベル3可能通知と同時に実行される。レベル3開始通知において、提示情報調整部140は、図16に示すように、レベル3開始メッセージN6h,N6m,N6cを、HUD21、メータディスプレイ22およびCID23に表示させる。
 レベル3開始メッセージN6h,N6m,N6cは、レベル3自動運転の開始を視覚情報として表す画像コンテンツである。HUD21に表示されるレベル3開始メッセージN6hは、例えば、レベル2開始メッセージN3hと実質同じ位置に配置され、メッセージ画像および枠形状のウィンドウ画像とを含んで構成されている。メッセージ画像は、例えば、「車両からの情報にご注意ください 周辺の道路状況により自動運転が解除されます」等、レベル3自動運転の開始に関連した記述の文字情報とされる。
 メータディスプレイ22に表示されるレベル3開始メッセージN6mは、例えば、レベル2開始メッセージN3hと実質同じ位置に配置され、メッセージ画像および枠形状のウィンドウ画像とを含んで構成されている。メッセージ画像は、例えばHUD21に表示されるものと実質同じとされる。
 CID23に表示されるレベル3開始メッセージN6cは、例えば、エンタメ表示領域Aeの中央領域付近に表示される。レベル3開始メッセージN6cは、エンタメ表示領域Aeにおける他の表示コンテンツよりも手前側に表示される。レベル3開始メッセージN6cは、メッセージ画像および当該メッセージ画像の奥側に配置されたウィンドウ画像を含んで構成されている。メッセージ画像は、例えば、「周辺の道路環境により自動運転が解除されます 車両から発信する情報にご注意ください」等、HUD21およびメータディスプレイ22におけるメッセージ画像と類似の、レベル3自動運転の開始に関連した記述とされる。
 加えて、レベル3開始通知において、提示情報調整部140は、CID23の地図表示領域Amおよびエンタメ表示領域Aeを入れ替える。具体的には、提示情報調整部140は、エンタメ表示領域Aeを地図表示領域Amの上方に表示させる。
 レベル3終了通知は、レベル3の自動運転からレベル2以下の自動運転または手動運転へと遷移する場合に実行される。提示情報調整部140は、レベル3の自動運転からレベル2許可状態へと遷移する場合、レベル3終了通知として、図17の情報提示から図10または図11の情報提示への遷移を行う。また、提示情報調整部140は、レベル3の自動運転から手動運転状態へと遷移する場合、レベル3終了通知として、図17の情報提示から図8の情報提示への遷移を行う。そのほかに、提示情報調整部140は、レベル3終了通知として、図18に示すように、レベル3終了メッセージN7mを、メータディスプレイ22に表示させる。加えて、提示情報調整部140は、レベル3終了通知音をオーディオ装置24に出力させる。
 レベル3終了メッセージN7mは、レベル3自動運転の終了を視覚情報として表す画像コンテンツである。例えば、手動運転へと遷移する場合、レベル3終了メッセージN7mは、「自動運転モード解除中」等の自動運転の終了に関連する記述の文字情報を含むメッセージ画像とされる(図18参照)。また、レベル2以下の自動運転へと遷移する場合には、メッセージ画像は、セカンドタスクの終了や、必要な運転動作の開始等を喚起する記述の文字情報を含むものであればよい。
 なお、提示情報調整部140は、レベル2以上の自動運転中において、ドライバがハンドル操作を行うオーバーライドが実行された場合、図18に示すように、一時的に自動運転モードが解除されていることを示す通知を行う。そして、提示情報調整部140は、オーバーライド中、エンタメ表示領域Aeの表示コンテンツを停止または非表示とする。
 レベル3終了通知音は、レベル3自動運転の終了を聴覚情報として表す音コンテンツである。レベル3終了通知音は、効果音でもよいし、音声メッセージであってもよい。
 ただし、提示情報調整部140は、ハンズオフ許可状態に遷移(第4遷移)する場合には、レベル3終了通知音の提示を中断する。すなわち、提示情報調整部140は、遷移後にハンズオフ禁止状態へと遷移(第3遷移)する場合には、レベル3終了通知音を提示し、遷移後にハンズオンが不要な場合には、レベル3終了通知音を提示しない。これにより、提示情報調整部140は、第3遷移に関する情報(第3遷移情報)を、第4遷移に関する情報(第4遷移情報)よりも強調してドライバに提示する。
 ここで、自動運転の実施中に、提示情報調整部140が継続的に表示させるコンテンツについて、図10~12等を参照して説明する。提示情報調整部140は、運転ステータスSTh,STm、ステータスアイコンICsh,ICsm、およびドライバステータスSTD等を、レベル2以下の自動運転の実施中にて表示させる。
 運転ステータスSTh,STmは、HUD21およびメータディスプレイ22にて表示されるコンテンツである。運転ステータスSTh,STmは、レベル2以下の自動運転における縦方向制御および横方向制御、すなわちACC機能およびLTA機能の作動状態を提示する。各運転ステータスSTh,STmは、他車アイコンICv2、ACCアイコンICa、およびLTAアイコンIClを含む。なお、メータディスプレイ22にて表示される運転ステータスSTmには、上述の各コンテンツに加えて自車アイコンICv1も表示される。
 他車アイコンICv2は、他車両を模ったアイコンであり、ACC機能の実行中または先行車の検出中に少なくとも表示される。ACCアイコンICah,ICamは、ACC制御の実行を提示するアイコンであり、ACC制御の実行中に表示され、停止中に非表示または実行中とは異なる表示態様とされる。ACCアイコンICaは、他車アイコンICv2の下方に並べられる図形であり、遠近法により他車アイコンICv2にて示される先行車に続いて並んでいるように視認される。LTAアイコンIClh,IClmは、LTA制御の実行を提示するアイコンであり、LTA制御の実行中に表示され、停止中に非表示または実行中とは異なる表示態様とされる。LTAアイコンIClは、他車アイコンICv2およびACCアイコンICaの左右両側に配置され、手前側から奥側へと延びる一対のライン状に視認される形状である。
 メータディスプレイ22における運転ステータスSTmは、メータディスプレイ22の表示画面を複数分割した表示領域のうちの1つにまとめて表示される。メータディスプレイ22の表示領域は、例えば、上部領域DAu、下部左方領域DAl、下部中央領域DAc、下部右方領域DArの4つに分割される。なお、各表示領域は、提示情報調整部140による表示領域ごとの背景色の変化や枠画像の表示等により見かけ上分割されたものである。運転ステータスSTmは、下部中央領域DAc内に表示される。
 ステータスアイコンICsh,ICsmは、運転ステータスSTh,STmと同様に、縦方向制御および横方向制御の実行状態を示すアイコンである。ステータスアイコンICsmは、上部領域DAu内に表示される。ステータスアイコンICsh,ICsmは、例えば、他車両を模ったアイコン、ACC制御の実行を示すアイコン、LTA制御の実行を示すアイコンが、運転ステータスSTh,STmよりも簡略化されたものとなっている。なお、ステータスアイコンICsh,ICsmは、レベル3以上の自動運転においても継続的に表示されてもよい。
 将来行動コンテンツは、車両Aに予定される将来行動を通知するコンテンツであり、下部右方領域DAr内に表示される。将来行動コンテンツは、例えば、将来行動を示すアイコンと、当該将来行動を実施する地点までの距離を示す数値画像とを含む。将来行動には、車線変更、右左折、合流等を含む。加えて、将来行動には、ドライバとの間での制御権の交代や、自動運転レベルの変更等を含んでいてもよい。
 ドライバステータスSTDは、運転動作に関するドライバの状態を提示するコンテンツである。ドライバステータスSTDは、メータディスプレイ22の下部左方領域DAl内に表示される。ドライバステータスSTDは、ドライバの複数種類の身体部位の各々に関して、運転動作の中断が許可された中断許可状態と、運転動作の中断が禁止された中断禁止状態とのうちで該当する状態を提示する。例えば、ドライバステータスSTDは、眼部の周辺監視、手でのステアリングの把持、ペダルへの足の載置といった運転動作について、中断許可状態または中断禁止状態を提示する。ドライバステータスSTDは、各身体部位の状態に関して同一の表示領域にて表示する。
 具体的には、ドライバステータスSTDは、ドライバアイコンICd、ステアアイコンICs、ペダルアイコンICpおよび視線アイコンICvを含む。ドライバアイコンICdは、人型のアイコンである。詳記すると、ドライバアイコンICdは、手腕部、足部、および眼部を含む部位である頭部を身体部位として含む一人の人間の身体を模った形状とされる。すなわち、ドライバアイコンICdは、各身体部位をひとまとめに表示するコンテンツである。これにより、ドライバアイコンICdは、各身体部位同士を下部左方領域DAl内で近接して提示する。このドライバアイコンICdは、まとまった一つのコンテンツでもよいし、それぞれの身体部位が離間したコンテンツであってもよい。
 ステアアイコンICsは、ステアリングホイールを模したアイコン画像である。また、ペダルアイコンICpは、アクセルペダルを模したアイコンである。視線アイコンICvは、ドライバの視線を示すアイコンである。視線アイコンICvは、例えば、ドライバアイコンICdの頭部付近から、当該頭部が向いている方向(図10~12等の場合は左方向)へと延びる矢印形状とされる。
 ドライバステータスSTDは、各アイコンの共同により、運転動作に関してドライバに許可される状態を表示する。例えば、ハンズオフが禁止されるハンズオフ禁止状態の場合、ドライバアイコンICdの手部とステアアイコンICsとが重なって表示される。ハンズオフが許可されるハンズオフ許可状態の場合、ドライバアイコンICdの手部とステアアイコンICsとが離れて表示される。加えて、ステアアイコンICsの視認性が低下される。
 また、レッグオフが禁止されるレッグオフ禁止状態の場合、ドライバアイコンICdの足部とペダルアイコンICpとが重なって表示される。加えて、ペダルアイコンICpの視認性が低下される。レッグオフが許可されるレッグオフ許可状態の場合、ドライバアイコンICdの足部とペダルアイコンICpとが離れて表示される。さらに、アイズオフが禁止されるアイズオフ禁止状態の場合、視線アイコンICvが表示され、アイズオフが許可されるアイズオフ許可状態の場合、視線アイコンICvの視認性が低下される。
 提示情報調整部140は、各身体部位に関して、中断禁止状態と中断許可状態との間の状態移行を、上述したドライバステータスSTDを利用して通知する(移行通知)。中断禁止状態は、ハンズオフ禁止状態、レッグオフ禁止状態、アイズオフ禁止状態を含む。中断許可状態は、ハンズオフ許可状態、レッグオフ許可状態、アイズオフ許可状態を含む。このとき、提示情報調整部140は、ドライバステータスSTDをアニメーション表示により態様変更させる。具体的には、提示情報調整部140は、ドライバアイコンICdのうち状態が遷移する身体部位に対応する表示部位について、アニメーション表示により状態の遷移を提示する。
 アニメーション表示は、対応するドライバの身体部位が実際に状態に対応する状態に移行したと推定された際に、停止される。また、提示情報調整部140は、所定期間内に、対応するドライバの身体部位が中断状態(ハンズオフ、レッグオフ、アイズオフ)へと遷移しなかった場合にも、アニメーションを停止させる。この場合、提示情報調整部140は、アニメーション停止後の態様を中断禁止状態の表示態様、すなわち現在の身体部位の状態と対応する態様とすればよい。
 例えば、提示情報調整部140は、ハンズオフ禁止状態からハンズオフ許可状態へと移行する場合、ドライバアイコンICdの手部がハンズオフ禁止状態における位置からハンズオフ許可状態における位置へと移動するアニメーションを表示する(図11参照)。提示情報調整部140は、以上のアニメーションを繰り返し表示する。提示情報調整部140は、ドライバがハンズオフ状態へと実際に遷移すると、アニメーションを停止させ、ハンズオフ状態の表示態様とする(図12参照)。
 加えて、提示情報調整部140は、ハンズオフ禁止状態からハンズオフ許可状態へと遷移した場合、輝度を低下させる等により、ステアアイコンICsの視認性を低下させる。提示情報調整部140は、ステアアイコンICsの視認性低下を、ドライバアイコンICdのアニメーション表示と同期させて繰り返し実行してもよく、ドライバアイコンICdのアニメーション停止後に実行してもよい。
 また、提示情報調整部140は、レッグオフ禁止状態からレッグオフ許可状態へと遷移した場合も同様に、ドライバアイコンICdの足部がレッグオフ禁止状態における位置からレッグオフ許可状態における位置へと移動するアニメーションを表示する。加えて、提示情報調整部140は、ペダルアイコンICpの視認性を低下させる。
 なお、提示情報調整部140は、中断許可状態から中断禁止状態へと遷移した場合にも、同様にアニメーション表示にて状態の遷移を提示する。この場合、提示情報調整部140は、対応するドライバの身体部位が運転関与状態へと実際に遷移するまで、アニメーション表示を継続すればよい。
 また、ドライバステータスSTDは、レベル3実行状態において、レベル2以下の状態の場合と異なる態様で表示される。例えば、レベル3実行状態におけるドライバステータスSTDは、ドライバアイコンICdが椅子アイコンICcに着座している表示態様にて表示される。このとき、ドライバアイコンICdは、レベル2以下の場合よりも後方にリクライニングしたような姿勢の人型として表示される。ステアアイコンICsおよびペダルアイコンICpは、非表示とされる。
 なお、視線アイコンICv、ステアアイコンICs、ペダルアイコンICpは、視認性を低下させるとは別に、非表示とするようにしてもよい。視線アイコンICv、ステアアイコンICs、ペダルアイコンICpは、ドライバアイコンICdと共に表示する必要がある運転動作の変化があった場合に表示するようにしてもよい。
 また、レベル3の自動運転状態から、ハンズオンのレベル2の自動運転状態へと遷移する場合、アイズオンと、ハンズオンとを促すべく、視線アイコンICvとステアアイコンICsとは、非表示から表示、または、表示から強調表示される。このとき、視線アイコンICvとステアアイコンICsとを同時に表示させてもよいし、順番に表示させてもよい。
 視線アイコンICvとステアアイコンICsとを同時に表示させることで、運転動作に関してドライバに許可される状態を、ドライバに素早く伝えることができる。
 一方、レベル3の自動運転状態から、ハンズオンのレベル2の自動運転状態へと遷移する場合、ドライバが多くの運転操作をする必要となるため、ドライバにとってはするべきタスクが増えてしまい、混乱を招く可能性がある。そこで、視線アイコンICvとステアアイコンICsとを順番に表示させることで、ドライバに一つずつするべきタスクをさせることができるため、安全に運転操作を行うことができる。
 次に、機能ブロックの共同により、HCU100が実行する提示制御方法のフローを、図2~18を参照しつつ、図19~24に従って以下に説明する。図19~24において、メータディスプレイ22は、「MD」と表記されている。なお、後述するフローにおいて「S」とは、提示制御プログラムに含まれた複数命令によって実行される、フローの複数ステップを意味する。
 まず、MDエリアからADエリアへと進入するシーンにおけるフローを説明する(図19~21参照)。図19のS101では、周辺状態把握部110が、ADエリアに接近しているか否かを判定する。ADエリアに接近していないと判定した場合、ADエリアに接近している状態となるまで待機する。ADエリアに接近していると判定すると、S102にて、周辺状態把握部110が、ADエリア進入後にレベル3自動運転が可能であるか否かを判定する。レベル3自動運転が不可能である、すなわちレベル2以下の自動運転のみ可能であると判定した場合には、S103へと進む。
 S103では、提示情報調整部140が、ADエリア接近通知を実行する。具体的には、HUD21およびメータディスプレイ22にてADエリア接近メッセージN1h,N1mが表示される。
 S103の後、図22のS110に移る。S100では、周辺状態把握部110が、ADエリアに進入したか否かを判定する。ADエリアに進入したと判定されると、S111へと進み、ADエリア進入通知を実行する。
 次に、S112では、運転状態判断部120が、ドライバがレベル2自動運転を許可したか否かを判定する。許可していないと判定されると、S113にて、提示情報調整部140が、ADエリア進入から許容時間経過したか否かを判定する。許容時間経過していないと判定すると、S112へと戻る。一方で、許容時間経過したと判定すると、S114にて、提示情報調整部140が、HUD21およびメータディスプレイ22でのADエリア進入通知を停止し、且つCID23でのADエリア進入通知を継続させた状態とし、S112へと戻る。
 S112にてドライバがレベル2自動運転を許可したと判定した場合には、S115へと進む。S115では、提示情報調整部140が、レベル2開始通知を実行する。S115の処理を実行すると、一連の処理を終了する。
 一方、図21のS102にて、周辺状態把握部110が、ADエリア進入後にレベル3自動運転が可能であると判定した場合には、図23のS116へと進む。S116では、周辺状態把握部110が、ADエリアに進入したか否かを判定する。ADエリアに進入したと判定されると、S117へと進み、提示情報調整部140が、ADエリア進入通知およびレベル3可能通知を実行する。次に、S118では、運転状態判断部120が、ドライバからレベル3の開始指示を取得したか否かを判定する。開始指示を取得したと判定すると、S119にて、提示情報調整部140が、レベル3開始通知を実行する。S119の処理を実行すると、一連の処理を終了する。
 次に、レベル2の自動走行におけるドライバ状態の提示制御方法のフローについて図22に従って説明する。まず、S120では、運転状態判断部120が、ドライバの身体部位に関する状態(中断許可状態および中断禁止状態)が変化したか否かを判定する。変化していないと判定されると、S122にて、現在の状態の表示を維持する。一方、状態が移行したと判定されると、S121にて、提示情報調整部140が、状態の移行通知を開始する。
 その後、S123にて、ドライバ状態推定部130が、ドライバの実際の動作状態が該当状態と対応する状態へと移行したか否かを判定する。移行していない場合には、S124にて、移行通知開始から所定時間経過したか否かを判定し、経過していない場合にはS123へと戻る。所定時間経過したと判定した場合には、S125にて、提示情報調整部140が移行通知を中断し、一連の処理を終了する。一方で、S123にて移行したと判定された場合には、移行後の状態を表示し、一連の処理を終了する。
 次に、レベル2の自動走行からレベル3の自動走行へと遷移する場合の提示制御方法について、図23のフローを参照しながら説明する。
 まず、S130では、周辺状態把握部110が、ST区間に接近しているか否かを判定する。ST区間に接近していないと判定した場合、ST区間に接近している状態となるまで待機する。ST区間に接近していると判定すると、S131にて、提示情報調整部140が、レベル3接近通知およびドライバ準備通知を実行する。なお、ドライバ準備通知が不要である場合には、ドライバ準備通知を中断してよい。
 S131の後、S132に移る。S132では、周辺状態把握部110が、ST区間に進入したか否かを判定する。ST区間に進入したと判定されると、S133へと進み、運転状態判断部120が、ハンズオン状態でST区間に進入したか否かを判定する。
 S133にて、ハンズオン状態でST区間に進入したと判定した場合には、S134へと進む。S134では、提示情報調整部140が、レベル3可能通知を実行する。次に、S135では、運転状態判断部120が、ドライバがレベル3自動走行制御を指示したか否かを判定する。指示したと判定すると、S136にて、提示情報調整部140が、レベル3開始通知を実行する。S136の処理を実行すると、一連の処理を終了する。
 一方で、S133にて、ハンズオフ状態でST区間に進入したと判定された場合には、S137へと進む。S137では、レベル3可能通知およびレベル3開始通知を同時に実行し、一連の処理を終了する。
 次に、レベル3の自動走行が終了する場合の提示制御方法について、図24のフローを参照しながら説明する。
 S140では、運転状態判断部120が、レベル2以下の走行制御に移行するか否かを判定する。移行すると判定すると、S141へと進み、運転状態判断部120が、レベル2のハンズオフ許可状態へと移行するか否かを判定する。レベル2のハンズオフ許可状態へと移行すると判定すると、S142へと進み、提示情報調整部140が、レベル3終了通知を実行する。具体的には、表示デバイスにてレベル3終了メッセージN7mの表示が実行される。S142の処理の実行の後、一連の処理が終了される。
 一方で、S141にて、レベル2のハンズオフ以外の状態、すなわち、レベル2ハンズオン、レベル1およびレベル0(手動運転)のいずれかに移行すると判定すると、S143へと進む。S143では、提示情報調整部140が、レベル3終了通知を実行する。具体的には、表示デバイスでのレベル3終了メッセージN7mに加え、オーディオ装置24でのレベル3終了通知音出力が実行される。
 なお、上述のS116,S132が「判別プロセス」、S117,S134,S137が「提示制御プロセス」の一例である。
 以上の第1実施形態によれば、自動運転禁止状態から特定行為許可状態への遷移に関する第1遷移情報が、特定行為禁止状態から特定行為許可状態への遷移に関する第2遷移情報よりも強調した提示態様により提示される。故に、ドライバは、より注意が必要な自動運転禁止状態から特定行為許可状態への遷移を、より確実に認識し得る。以上により、利便性の高い情報提示が可能となり得る。
 (第2実施形態)
 第2実施形態では、第1実施形態におけるHCU100の変形例について説明する。第2実施形態において、提示情報調整部140は、レベル3許可状態からレベル2許可状態に移行する場合、ハンズオフ許可状態への移行においてもオーディオ装置24にて移行通知音の出力を実行する。すなわち、提示情報調整部140は、レベル2許可状態からレベル3許可状態へと遷移する場合には、表示デバイスによる通知を行う。そして、提示情報調整部140は、レベル3許可状態からレベル2許可状態へと移行する場合には、表示デバイスによる通知に加えてオーディオ装置24による通知を行う。
 これにより、提示情報調整部140は、セカンドタスクを禁止された状態からセカンドタスクを許可された状態へと遷移(許可遷移)する場合と、セカンドタスクを許可された状態からセカンドタスクを禁止された状態へと遷移(禁止遷移)する場合とで、異なる提示態様にて各遷移に関する情報を提示する。特に、本実施形態では、禁止遷移に関する情報(禁止遷移情報)が、許可遷移に関する情報(許可遷移情報)よりも強調されて提示されることになる。
 第2実施形態において、HCU100が実行する提示制御方法のフローを、図25に従って以下に説明する。S240の処理は、第1実施形態におけるS140の処理と同様である。S240にてレベル2以下の走行へと移行すると判定された場合には、S241にて、提示情報調整部140がレベル3終了通知を実行する。具体的には、各表示デバイスによるレベル3終了メッセージの表示に加えて、オーディオ装置24によるレベル3終了音出力が実行される。S241の処理を実行すると、一連の処理を終了する。
 第2実施形態において、上述のS132,S240が「判別プロセス」、S134,S137,S241が「提示制御プロセス」の一例である。
 以上の第2実施形態によれば、特定行為許可状態から特定行為禁止状態への遷移に関する禁止遷移情報が、特定行為禁止状態から特定行為許可状態への遷移に関する許可遷移情報よりも強調した提示態様により提示される。故に、ドライバは、より注意が必要な特定行為許可状態から特定行為禁止状態への遷移を、より確実に認識し得る。以上により、利便性の高い情報提示が可能となり得る。
 なお、提示情報調整部140は、レベル3終了音出力に代えて、または加えて、禁止遷移におけるレベル3終了メッセージを、許可遷移におけるレベル3終了メッセージよりも強調した表示態様で表示させてもよい。例えば、提示情報調整部140は、レベル3終了メッセージの表示色、大きさ等を変更することで、レベル3終了メッセージを許可遷移よりも強調すればよい。
 (第3実施形態)
 第3実施形態では、第1実施形態におけるHCU100の変形例について説明する。第3実施形態において、第2自動運転ECU70は、レベル2のハンズオフが許可された状態で、且つドライバによるオーバーライドが無い、すなわち実際にハンズオフ状態である場合に、レベル3以上の自動走行へと移行する。
 この場合、提示情報調整部140は、ハンズオフ許可状態において、ドライバ状態がハンズオン状態であると判断される場合、レベル3以上の自動走行へと移行できないことを通知する移行不能通知を実行する。移行不能通知では、例えば、HUD21およびメータディスプレイ22にメッセージ画像が表示される。メッセージ画像は、移行不能の旨を直接記述したものであってもよいし、ハンズオフになればレベル3に移行できる旨を記述することで、間接的に移行不能であることを提示するものであってもよい。
 なお、レベル2のハンズオフ状態であるときに、ドライバがハンドル操作を行ったとしても、所定のトルク量まではレベル2のハンズオフ状態が維持される。一方、所定のトルク量以上である場合、オーバーライド状態となる。
 第3実施形態において、HCU100が実行する提示制御方法のフローを、図26に従って以下に説明する。S330の処理は、第1実施形態におけるS130の処理と同様である。S330にてST区間の接近が判定された場合には、S331にて、ドライバ状態推定部130が、現在のドライバ状態がハンズオフ状態であるか否かを判定する。ハンズオフ状態ではない(ハンズオン状態である)と判定すると、S332にて、提示情報調整部140が移行不能通知を実行する。
 一方で、S331にてハンズオフ状態であると判定すると、S333にて、周辺状態把握部110が、ハンズオフ状態となった段階でST区間に進入前であるか否かを判定する。ST区間に進入前であると判定されると、S334へと進む。S334は、S131の処理と同様である。S335では、周辺状態把握部110が、ST区間に進入したか否かを判定する。ST区間に進入したと判定すると、S336へと進む。S336は、S137の処理と同様である。一方で、S333にて、ハンズオフ状態となった段階で既にST区間に進入していると判定すると、S334およびS335をスキップしてS336へと進む。S336の処理を実行すると、一連の処理を終了する。
 なお、本実施形態において、提示情報調整部140は、ST区間の進入前から移行不能通知を提示するとしたが、ST区間の進入後に提示する構成であってもよい。また、本実施形態において、提示情報調整部140は、ST区間に接近した状態でハンズオフ状態になっていなければ移行不能通知を提示するとした。これに代えて、提示情報調整部140は、ハンズオフ許可状態においてドライバ状態がハンズオンであれば、ST区間に接近しているか否かに関わらず移行不能通知を提示する構成であってもよい。
 (第4実施形態)
 上述の実施形態のレベル3終了通知において、提示情報調整部140は、第1遷移が発生する場合に、レベル3可能通知音をオーディオ装置24に提示させることで、第1遷移に関する情報を、第2遷移に関する情報よりも強調してドライバに提示するとした。これに代えて、提示情報調整部140は、第1遷移において表示デバイスに表示させるレベル3可能メッセージN5h,N5mを、第2遷移よりも強調した表示態様とすることで、第1遷移に関する情報を第2遷移に関する情報よりも強調してもよい。例えば、提示情報調整部140は、レベル3可能メッセージN5h,N5mの表示色、大きさ等を変更することで、レベル3可能メッセージN5h,N5mを第2遷移よりも強調すればよい。
 (第5実施形態)
 第5実施形態では、第1実施形態におけるHCU100の変形例について説明する。図27において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
 第5実施形態において、提示情報調整部140は、ドライバ状態推定部130にてドライバにレベル3を実施するためのドライバ条件が成立していないと判定された場合、レベル3可能通知において、第1遷移に関する情報の強調を中止する。具体的には、提示情報調整部140は、オーディオ装置24におけるレベル3可能通知音の提示を禁止する。これにより、ドライバ条件が成立していた場合のレベル3可能通知は、自動運転禁止状態からレベル3可能状態へと遷移する場合と、レベル2可能状態からレベル3可能状態へと遷移する場合とで、実質同様の態様とされる。第5実施形態において、ドライバ状態推定部130が、「準備判定部」の一例である。ドライバ条件の成立は、特定行為を許可された自動運転の実行に対する準備ができたことに相当する。
 第5実施形態においてHCU100の実行する処理について、図27のフローを参照して説明する。S116にてADエリアに進入したと判定された場合には、本フローがS116aへと移行する。S116aでは、ドライバ状態推定部130が、ドライバ条件が成立しているか否かを判定する。ドライバ条件が成立していないと判定されると、本フローがS117へと移行する。すなわち、S117にてADエリア進入通知と、強調されたレベル3可能通知とが実行される。
 一方で、ドライバ条件が成立していると判定されると、本フローがS117aへと移行する。S117aでは、提示情報調整部140が、ADエリア進入通知と、強調を中止したレベル3可能通知とを実行する。すなわち、S117aでは、レベル3可能通知にてオーディオ装置24による通知が実行されない。
 以上の第5実施形態によれば、ドライバの自動運転に対する準備ができたと判定された場合には、強調された提示態様による第1遷移情報の提示が中止される。故に、ドライバの自動運転に対する準備ができていない場合にのみ遷移情報が強調して提示され得る。したがって、より適切に情報の提示態様の使い分けが可能となり得る。
 (第6実施形態)
 第6実施形態では、第1実施形態におけるHCU100の変形例について説明する。図28において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
 第6実施形態において、提示情報調整部140は、所定の期間内における第1遷移の発生回数(遷移回数)が許容範囲外となる場合、許容範囲外となった回数以降に、第1遷移に関する情報の強調を中止する。強調の中止は、第1遷移の発生回数が許容範囲内である場合よりも強調度合が相対的に低くなることに相当する。ここでの所定の期間は、車両Aが走行を開始してから停止するまでの期間でもよいし、所定の閾距離または閾時間走行する期間でもよい。また、ここでの許容範囲は、閾回数以下または閾回数未満となる数値範囲として規定される。例えば、発生回数の許容範囲は、1回とされる。
 具体的には、提示情報調整部140は、強調の中止処理として、オーディオ装置24におけるレベル3可能通知音の提示を禁止する。すなわち、所定期間内における2回目以降の第1遷移におけるレベル3可能通知は、第2遷移の場合と実質同様の態様とされる。
 第6実施形態においてHCU100の実行する処理について、図28のフローを参照して説明する。S116にてADエリアに進入したと判定された場合には、本フローがS116bへと移行する。S116bでは、提示情報調整部140が、第1遷移の発生回数が許容範囲内か否かを判定する。許容範囲内であると判定されると、本フローがS117へと移行する。すなわち、S117にてADエリア進入通知と、強調されたレベル3可能通知とが実行される。
 一方で、第1遷移の発生回数が許容範囲外であると判定されると、本フローがS117aへと移行する。S117aでは、提示情報調整部140が、ADエリア進入通知と、強調を中止したレベル3可能通知とを実行する。すなわち、S117aでは、レベル3可能通知にてオーディオ装置24による通知が実行されない。
 以上の第6実施形態によれば、所定期間内における第1遷移の発生回数が許容範囲外であったと判断された場合には、許容範囲内であった場合よりも第1遷移情報の強調度合が相対的に低くされる。故に、第1遷移の発生回数が比較的少ない段階にのみ遷移情報が強調して提示され得る。したがって、より適切に情報の提示態様の使い分けが可能となり得る。
 (第7実施形態)
 第7実施形態では、第1実施形態におけるHCU100の変形例について説明する。図29において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
 第7実施形態において、提示情報調整部140は、自動運転レベル3の可能なADエリアであるST区間に進入するまでにドライバが自動運転レベル3の開始操作を実行したか否かを判定する。実行したと判定した場合に、提示情報調整部140は、第1遷移に関する情報の強調を実行する。一方で、ST区間に進入するまでにドライバが自動運転レベル3の開始操作を実行していないと判定した場合、提示情報調整部140は、第1遷移に関する情報の強調を中止する。すなわち、提示情報調整部140は、自動運転レベル3の可能なADエリアへの進入前にドライバが自動運転レベル3の開始操作を実行した場合に、第1遷移に関する情報の強調を実行する。自動運転レベル3の可能なADエリアへの進入前に開始操作を実行することは、特定行為許可状態への遷移前に開始操作を実行することに相当する。
 第7実施形態においてHCU100の実行する処理について、図29のフローを参照して説明する。S116にてADエリアに進入したと判定された場合には、本フローがS116cへと移行する。S116cでは、提示情報調整部140が、自動運転レベル3の可能なADエリアに進入するまでにドライバが自動運転レベル3の開始操作を実行したか否かを判定する。実行したと判定されると、本フローがS117へと移行する。すなわち、S117にてADエリア進入通知と、強調されたレベル3可能通知とが実行される。
 一方で、自動運転レベル3の可能なADエリアに進入するまでにドライバが自動運転レベル3の開始操作を実行していないと判定されると、本フローがS117aへと移行する。S117aでは、提示情報調整部140が、ADエリア進入通知と、強調を中止したレベル3可能通知とを実行する。すなわち、S117aでは、レベル3可能通知にてオーディオ装置24による通知が実行されない。
 以上の第6実施形態によれば、自動運転レベル3の可能なADエリアに進入するまでにドライバが自動運転レベル3の開始操作を実行していないと判定されると、実行したと判定された場合よりも第1遷移情報の強調度合を相対的に低くする。故に、自動運転レベル3の可能なADエリアに進入する前の段階に自動運転レベル3の開始操作が実行された場合のみ遷移情報が強調して提示され得る。したがって、自動運転レベル3の開始操作から実際に自動運転レベル3を実行可能となる場合までにタイムラグがある場合に、自動運転レベル3を実行可能となったことがより確実にドライバに通知され得る。
 (第8実施形態)
 第8実施形態では、第1実施形態におけるHCU100の変形例について説明する。図30,31において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
 第8実施形態において、提示情報調整部140は、第2遷移に関する情報を、第1遷移に関する情報よりも強調してドライバに提示する。具体的には、提示情報調整部140は、第2遷移におけるレベル3可能通知を、第1遷移におけるレベル3可能通知よりも強調する。例えば、提示情報調整部140は、オーディオ装置24によるレベル3可能通知音を第2遷移におけるレベル3可能通知において提示し、第1遷移におけるレベル3可能通知において提示中止すればよい。なお、提示情報調整部140は、第2遷移において表示デバイスに表示させるレベル3可能メッセージN5h,N5mを、第1遷移よりも強調した表示態様とすることで、第2遷移に関する情報を第1遷移に関する情報よりも強調してもよい。
 第8実施形態においてHCU100の実行する処理について、図30,31のフローを参照して説明する。図30のS116にてADエリアに進入したと判定された場合には、本フローがS117bへと移行する。S117bでは、提示情報調整部140が、ADエリア進入通知と、強調しないレベル3可能通知とを実行する。すなわち、S117bでは、オーディオ装置24によるレベル3可能通知が実行されない。S117bの処理の後に、本フローはS118に移行する。
 図31のS133にてハンズオン状態でST区間に進入したと判定した場合には、S134aへと進む。S134aでは、提示情報調整部140が、強調したレベル3可能通知を実行する。S134aの処理が実行されると、本フローはS135へと移行する。
 一方で、S133にて、ハンズオフ状態でST区間に進入したと判定された場合には、S137aへと進む。S137aでは、強調したレベル3可能通知およびレベル3開始通知を同時に実行し、一連の処理を終了する。
 以上の第8実施形態によれば、特定行為禁止状態から特定行為許可状態への遷移に関する第2遷移情報が、自動運転禁止状態から特定行為許可状態への遷移に関する第1遷移情報よりも強調した提示態様により提示される。故に、ドライバは、より注意が必要な自動運転禁止状態から特定行為許可状態への遷移を、より確実に認識し得る。以上により、利便性の高い情報提示が可能となり得る。
 (第9実施形態)
 第9実施形態では、第1実施形態におけるHCU100の変形例について説明する。図32~図34において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
 第9実施形態では、周辺状態把握部110が、現在走行している車線の種別を判別する。例えば、周辺状態把握部110は、走行中の車線が追越車線、登坂車線、およびそれら以外の通常車線のうちいずれに該当するかを判別する。周辺状態把握部110は、「車線識別部」の一例である。
 提示情報調整部140は、判別された車線の種類に応じて、第1遷移情報および第2遷移情報の提示態様の強調度合を変更する。具体的には、提示情報調整部140は、現在車線が追越車線の場合、通常車線の場合、登坂車線の場合で、レベル3可能通知の強調度合を変更する。例えば、提示情報調整部140は、所定車線を走行中の他車両に対して追い越しまたは追い抜きが交通法規により認められている車線について、当該所定車線よりも遷移情報を強調する。一例として、提示情報調整部140は、登坂車線、通常車線、追越車線の順に、レベル3可能通知をより強調して提示する。
 強調度合の変化の一例として、提示情報調整部140は、登坂車線の走行中にレベル3可能通知を実行する場合、レベル3可能メッセージを通常色で表示し、且つオーディオ装置24によるレベル3可能通知音の提示を実行しない。ここで通常色とは、後述の強調色と比較して目立たない色(例えば、白色、青色等)である。そして、提示情報調整部140は、通常車線の走行中にレベル3可能通知を実行する場合、レベル3可能メッセージを通常色で表示し、且つオーディオ装置24によるレベル3可能通知音の提示を実行する。加えて、提示情報調整部140は、追越車線の走行中にレベル3可能通知を実行する場合、レベル3可能メッセージを強調色(例えば、赤色、黄色等の警戒色)で表示し、且つオーディオ装置24によるレベル3可能通知音の提示を実行する。
 第9実施形態においてHCU100の実行する処理について、図32~34のフローを参照して説明する。まず、図32のS116にてADエリアに進入したと判定された場合には、本フローがS116cへと移行する。S116cでは、周辺状態把握部110が、現在走行中の車線の種別を判別する。
 S116cにて追越車線を走行中であると判定されると、本フローがS117cへと移行する。S117cでは、提示情報調整部140が、ADエリア進入通知と、通常車線および登坂車線を走行中である場合よりも強調した提示態様のレベル3可能通知とを実行する。
 また、S116cにて通常車線を走行中であると判定されると、本フローがS117dへと移行する。S117dでは、提示情報調整部140が、ADエリア進入通知と、登坂車線を走行中である場合よりも強調されて追越車線を走行中の場合よりは強調度合を弱められた提示態様のレベル3可能通知とを実行する。
 さらにS116cにて登坂車線を走行中であると判定されると、本フローがS117eへと移行する。S117eでは、提示情報調整部140が、ADエリア進入通知と、通常車線および登坂車線を走行中である場合よりも強調度合を弱められた提示態様のレベル3可能通知とを実行する。
 S117c,S117d,S117eのいずれかの処理が実行されると、本フローがS118へと移行する。なお、上述のS116c,S133a,S133cが、「車線識別プロセス」の一例である。また、上述のS117c,S117d,S117e,S134c,S134d,S134e,S137c,S137d,S137eが「提示制御プロセス」の一例である。
 次に図33のフローチャートについて説明する。図33のS133にてハンズオン状態でADエリアに進入したと判定された場合は、S133aへと進む。S133aでは、周辺状態把握部110が、現在走行中の車線の種別を判別する。
 S133aにて追越車線を走行中であると判定されると、本フローがS134cへと移行する。S134cでは、提示情報調整部140が、通常車線および登坂車線を走行中の場合よりも強調した提示態様にてレベル3可能通知を実行する。
 また、S133aにて通常車線を走行中のであると判定されると、本フローがS134dへと移行する。S134dでは、提示情報調整部140が、登坂車線を走行中の場合よりも強調され且つ追越車線を走行中の場合よりも強調度合を弱められた提示態様にてレベル3可能通知を実行する。
 そして、S133aにて登坂車線を走行中であると判定されると、本フローがS134eへと移行する。S134eでは、提示情報調整部140が、通常車線および登坂車線を走行中の場合よりも強調度合を弱められた提示態様にてレベル3可能通知を実行する。
 また、S133にてハンズオン状態ではないと判定された場合は、図34のS133bへと進む。S133bでは、S133aと同様に、周辺状態把握部110が、現在走行中の車線の種別を判別する。
 S133bにて追越車線を走行中であると判定されると、本フローがS137cへと移行する。S137cでは、提示情報調整部140が、通常車線および登坂車線を走行中の場合よりも強調した提示態様のレベル3可能通知と、レベル3開始通知と、を実行する。
 また、S133bにて通常車線を走行中のであると判定されると、本フローがS137dへと移行する。S137dでは、提示情報調整部140が、登坂車線を走行中の場合よりも強調され且つ追越車線を走行中の場合よりも強調度合を弱められた提示態様のレベル3可能通知と、レベル3開始通知と、を実行する。
 そして、S133bにて登坂車線を走行中であると判定されると、本フローがS137eへと移行する。S137eでは、提示情報調整部140が、通常車線および登坂車線を走行中の場合よりも強調度合を弱められた提示態様のレベル3可能通知と、レベル3開始通知と、を実行する。
 以上の第9実施形態によれば、自動運転禁止状態から特定行為許可状態への遷移に関する第1遷移情報および特定行為禁止状態から特定行為許可状態への遷移に関する第2遷移情報の提示態様の強調度合が、走行中の車線の種別に応じて変更される。故に、走行中の車線に応じた強調度合にて、ドライバに各情報を認識させ得る。以上により、利便性の高い情報提示が可能となり得る。
 (他の実施形態)
 この明細書における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および/または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および/または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および/または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、さらに請求の範囲の記載と均等の意味及び範囲内での全ての変更を含むものと解されるべきである。
 上述の実施形態において、提示情報調整部140は、オーディオ装置24による聴覚情報を、視覚情報と異なる特定態様の情報として提示するとしたが、特定態様の情報はこれに限定されない。例えば、提示情報調整部140は、触覚情報を提示する構成であってもよい。具体的には、提示情報調整部140は、ドライバの着座する座席、ステアリングホイール、またはシートベルト装置等に設けられた振動部材を振動させることで、触覚情報を提示する。なお、提示情報調整部140は、聴覚情報および触覚情報の両方を提示することで情報提示を強調してもよい。また、提示情報調整部140は、強調された表示態様の視覚情報と、聴覚情報および/または触覚情報を組み合わせてもよい。または、提示情報調整部140は、通知の回数を多くすることで、情報提示を強調してもよい。または、提示情報調整部140は、提示する情報量を多くすることで、情報提示を強調してもよい。
 上述の第6実施形態において、提示情報調整部140は、所定の期間内における第1遷移の発生回数が許容範囲外となる場合、許容範囲外となった回数以降に、第1遷移に関する情報の強調を中止するとした。これに代えて、またはこれに加えて、提示情報調整部140は、所定の期間内における第2遷移の発生回数が許容範囲外となる場合、許容範囲外となった回数以降に、第2遷移に関する情報の強調度合を相対的に低くしてもよい。
 上述の第9実施形態において、提示情報調整部140は、追越車線、登坂車線、および通常車線のうち走行中の車線が該当する種別に応じて、各遷移情報の強調度合を変更するとした。これに代えて、提示情報調整部140は、一般道の車線および高速道路の車線うち走行中の車線が該当する種別に応じて、各遷移情報の強調度合を変更する構成であってもよい。この場合、提示情報調整部140は、走行中の車線が一般道の車線である場合よりも、高速道路の車線である場合の各遷移情報の強調度合を強くすればよい。すなわち、提示情報調整部140は、走行中の車線に許容される走行速度が大きいほど、各遷移情報の強調度合を強くすればよい。
 上述の実施形態において、特定行為許可状態について主に自動運転レベル3を許可された状態として説明したが、自動運転レベル4以上を許可された状態であってもよい。また、特定行為禁止状態について、自動運転レベル2を許可された状態として説明したが、自動運転レベル1を許可された状態であってもよい。
 HCU100は、デジタル回路およびアナログ回路のうち少なくとも一方をプロセッサとして含んで構成される、専用のコンピュータであってもよい。ここで特にデジタル回路とは、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)、およびCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、備えていてもよい。
 HCU100は、1つのコンピュータ、またはデータ通信装置によってリンクされた一組のコンピュータ資源によって提供され得る。例えば、上述の実施形態におけるHCU100の提供する機能の一部は、他のECUによって実現されてもよい。

Claims (18)

  1.  自動運転を実行可能な車両(A)のドライバに対する情報の提示を制御する提示制御装置であって、
     前記自動運転中に前記ドライバに対して運転以外の特定行為を許可する特定行為許可状態と、前記自動運転中に前記特定行為を禁止する特定行為禁止状態と、前記自動運転を禁止する自動運転禁止状態と、を判別する判別部(120)と、
     前記自動運転禁止状態から前記特定行為許可状態への遷移に関する第1遷移情報を、前記特定行為禁止状態から前記特定行為許可状態への遷移に関する第2遷移情報よりも強調した提示態様により提示する提示制御部(140)と、
     を備える提示制御装置。
  2.  前記提示制御部は、前記第2遷移情報を視覚情報として提示し、前記第1遷移情報を前記視覚情報および前記視覚情報と異なる特定態様の情報として提示する請求項1に記載の提示制御装置。
  3.  前記提示制御部は、前記第2遷移情報を視覚情報として提示し、前記第1遷移情報を前記第2遷移情報よりも強調された態様の前記視覚情報として提示する請求項1または請求項2に記載の提示制御装置。
  4.  前記ドライバの前記特定行為許可状態での前記特定行為を許可された前記自動運転の実行に対する準備ができたか否かを判定する準備判定部(130)をさらに備え、
     前記提示制御部は、前記準備ができたと判定された場合には、強調した提示態様による前記第1遷移情報の提示を中止する請求項1から請求項3のいずれか1項に記載の提示制御装置。
  5.  前記提示制御部は、所定期間内における前記自動運転禁止状態から前記特定行為許可状態への遷移回数が許容範囲外であったと判断した場合には、前記許容範囲内であった場合よりも前記第1遷移情報の強調度合を相対的に低くする請求項1から請求項4のいずれか1項に記載の提示制御装置。
  6.  前記提示制御部は、前記特定行為許可状態への遷移後に前記ドライバによる前記特定行為を許可された前記自動運転の開始操作を取得した場合に、前記特定行為許可状態への遷移前に前記開始操作を取得した場合よりも、前記第1遷移情報の強調度合を相対的に低くする請求項1から請求項5のいずれか1項に記載の提示制御装置。
  7.  自動運転を実行可能な車両(A)のドライバに対する情報の提示を制御する提示制御装置であって、
     前記自動運転中に前記ドライバに対して運転以外の特定行為を許可する特定行為許可状態と、前記自動運転中に前記特定行為を禁止する特定行為禁止状態と、前記自動運転を禁止する自動運転禁止状態と、を判別する判別部(120)と、
     前記自動運転禁止状態から前記特定行為許可状態への遷移に関する第1遷移情報よりも、前記特定行為禁止状態から前記特定行為許可状態への遷移に関する第2遷移情報を強調した提示態様により提示する提示制御部(140)と、
     を備える提示制御装置。
  8.  前記提示制御部は、前記第1遷移情報を視覚情報として提示し、前記第2遷移情報を前記視覚情報および前記視覚情報と異なる特定態様の情報として提示する請求項7に記載の提示制御装置。
  9.  前記提示制御部は、前記第1遷移情報を視覚情報として提示し、前記第2遷移情報を前記第1遷移情報よりも強調された態様の前記視覚情報として提示する請求項7または請求項8に記載の提示制御装置。
  10.  前記判別部は、前記特定行為禁止状態において、ステアリングからの手放しを許可する手放し許可状態と、前記手放しを禁止する手放し禁止状態とをさらに判別し、
     前記提示制御部は、前記特定行為許可状態から前記自動運転禁止状態への遷移、または前記特定行為許可状態から前記手放し禁止状態への遷移に関する第3遷移情報を、前記特定行為許可状態から前記手放し許可状態への遷移に関する第4遷移情報よりも、強調した提示態様により提示する請求項1から請求項9のいずれか1項に記載の提示制御装置。
  11.  自動運転を実行可能な車両(A)のドライバに対する情報の提示を制御する提示制御装置であって、
     前記自動運転中に前記ドライバに対して運転以外の特定行為を許可する特定行為許可状態と、前記自動運転中に前記特定行為を禁止する特定行為禁止状態とを判別する判別部(120)と、
     前記特定行為許可状態から前記特定行為禁止状態への遷移に関する禁止遷移情報を、前記特定行為禁止状態から前記特定行為許可状態への遷移に関する許可遷移情報よりも強調した提示態様により提示する提示制御部(140)と、
     を備える提示制御装置。
  12.  前記提示制御部は、前記許可遷移情報を視覚情報として提示し、前記禁止遷移情報を前記視覚情報および前記視覚情報と異なる特定態様の情報として提示する請求項11に記載の提示制御装置。
  13.  前記提示制御部は、前記許可遷移情報を視覚情報として提示し、前記禁止遷移情報を前記許可遷移情報よりも強調された態様の前記視覚情報として提示する請求項11または請求項12に記載の提示制御装置。
  14.  自動運転を実行可能な車両(A)のドライバに対する情報の提示を制御する提示制御装置であって、
     前記自動運転中に前記ドライバに対して運転以外の特定行為を許可する特定行為許可状態と、前記自動運転中に前記特定行為を禁止する特定行為禁止状態と、前記自動運転を禁止する自動運転禁止状態と、を判別する判別部(120)と、
     前記車両が走行中の車線の種別を識別する車線識別部(110)と、
     前記自動運転禁止状態から前記特定行為許可状態への遷移に関する第1遷移情報と、前記特定行為禁止状態から前記特定行為許可状態への遷移に関する第2遷移情報とを提示する提示制御部(140)と、
     を備え、
     前記提示制御部は、前記車線の前記種別に応じて前記第1遷移情報および前記第2遷移情報の提示態様の強調度合を変更する提示制御装置。
  15.  自動運転を実行可能な車両(A)のドライバに対する情報の提示を制御するために、記憶媒体(101)に格納され、プロセッサ(102)に実行させる命令を含む提示制御プログラムであって、
     前記命令は、
     前記自動運転中に前記ドライバに対して運転以外の特定行為を許可する特定行為許可状態と、前記自動運転中に前記特定行為を禁止する特定行為禁止状態と、前記自動運転を禁止する自動運転禁止状態と、を判別させる判別プロセス(S116,S132)と、
     前記自動運転禁止状態から前記特定行為許可状態への遷移に関する第1遷移情報を、前記特定行為禁止状態から前記特定行為許可状態への遷移に関する第2遷移情報よりも強調した提示態様により提示させる提示制御プロセス(S117,S134,S137)と、
     を含む提示制御プログラム。
  16.  自動運転を実行可能な車両(A)のドライバに対する情報の提示を制御するために、記憶媒体(101)に格納され、プロセッサ(102)に実行させる命令を含む提示制御プログラムであって、
     前記命令は、
     前記自動運転中に前記ドライバに対して運転以外の特定行為を許可する特定行為許可状態と、前記自動運転中に前記特定行為を禁止する特定行為禁止状態とを判別させる判別プロセス(S132,S240)と、
     前記特定行為許可状態から前記特定行為禁止状態への遷移に関する禁止遷移情報を、前記特定行為禁止状態から前記特定行為許可状態への遷移に関する許可遷移情報よりも強調した提示態様により提示させる提示制御プロセス(S134,S137,S241)と、
     を含む提示制御プログラム。
  17.  自動運転を実行可能な車両(A)のドライバに対する情報の提示を制御するために、記憶媒体(101)に格納され、プロセッサ(102)に実行させる命令を含む提示制御プログラムであって、
     命令は、
     自動運転中にドライバに対して運転以外の特定行為を許可する特定行為許可状態と、自動運転中に特定行為を禁止する特定行為禁止状態と、自動運転を禁止する自動運転禁止状態と、を判別させる判別プロセス(S116,S132)と、
     前記自動運転禁止状態から前記特定行為許可状態への遷移に関する第1遷移情報よりも、前記特定行為禁止状態から前記特定行為許可状態への遷移に関する第2遷移情報を強調した提示態様により提示させる提示制御プロセス(S117b,S134a,S137a)と、
     を含む提示制御プログラム。
  18.  自動運転を実行可能な車両(A)のドライバに対する情報の提示を制御するために、記憶媒体(101)に格納され、プロセッサ(102)に実行させる命令を含む提示制御プログラムであって、
     命令は、
     自動運転中にドライバに対して運転以外の特定行為を許可する特定行為許可状態と、自動運転中に特定行為を禁止する特定行為禁止状態と、自動運転を禁止する自動運転禁止状態と、を判別させる判別プロセス(S116,S132)と、
     前記車両が走行中の車線の種別を識別させる車線識別プロセス(S116c,S133a,S133c)と、
     前記自動運転禁止状態から前記特定行為許可状態への遷移に関する第1遷移情報と、前記特定行為禁止状態から前記特定行為許可状態への遷移に関する第2遷移情報とを提示させる提示制御プロセス(S117c,S117d,S117e,S134c,S134d,S134e,S137c,S137d,S137e)と、
     を含み、
     前記提示制御プロセスでは、前記車線の前記種別に応じて前記第1遷移情報および前記第2遷移情報の提示態様の強調度合を変更させる提示制御プログラム。
PCT/JP2021/010652 2020-03-31 2021-03-16 提示制御装置および提示制御プログラム WO2021200121A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/954,550 US20230019934A1 (en) 2020-03-31 2022-09-28 Presentation control apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020-062634 2020-03-31
JP2020062634 2020-03-31
JP2021016687A JP7331875B2 (ja) 2020-03-31 2021-02-04 提示制御装置および提示制御プログラム
JP2021-016687 2021-02-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/954,550 Continuation US20230019934A1 (en) 2020-03-31 2022-09-28 Presentation control apparatus

Publications (1)

Publication Number Publication Date
WO2021200121A1 true WO2021200121A1 (ja) 2021-10-07

Family

ID=77930354

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010652 WO2021200121A1 (ja) 2020-03-31 2021-03-16 提示制御装置および提示制御プログラム

Country Status (3)

Country Link
US (1) US20230019934A1 (ja)
JP (1) JP2023139314A (ja)
WO (1) WO2021200121A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017210027A (ja) * 2016-05-23 2017-11-30 三菱自動車工業株式会社 車両の安全運転支援システムおよび安全運転支援方法
WO2018056103A1 (ja) * 2016-09-26 2018-03-29 ソニー株式会社 車両制御装置、車両制御方法、および移動体
JP2019075073A (ja) * 2017-10-12 2019-05-16 矢崎総業株式会社 自動運転時情報伝達方法および車両用情報提示装置
JP2019119262A (ja) * 2017-12-28 2019-07-22 株式会社小糸製作所 ヘッドアップディスプレイ装置
JP2019185211A (ja) * 2018-04-04 2019-10-24 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017210027A (ja) * 2016-05-23 2017-11-30 三菱自動車工業株式会社 車両の安全運転支援システムおよび安全運転支援方法
WO2018056103A1 (ja) * 2016-09-26 2018-03-29 ソニー株式会社 車両制御装置、車両制御方法、および移動体
JP2019075073A (ja) * 2017-10-12 2019-05-16 矢崎総業株式会社 自動運転時情報伝達方法および車両用情報提示装置
JP2019119262A (ja) * 2017-12-28 2019-07-22 株式会社小糸製作所 ヘッドアップディスプレイ装置
JP2019185211A (ja) * 2018-04-04 2019-10-24 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2023139314A (ja) 2023-10-03
US20230019934A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
CN109032124B (zh) 车辆控制系统、车辆控制方法及存储介质
JP7074432B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN110678371B (zh) 车辆控制系统、车辆控制方法及存储介质
JP6447481B2 (ja) 起動提案装置及び起動提案方法
CN110709304B (zh) 车辆控制系统、车辆控制方法及存储介质
CN108973682B (zh) 车辆控制系统、车辆控制方法及存储介质
CN110730740B (zh) 车辆控制系统、车辆控制方法及存储介质
JP7480894B2 (ja) 車両用表示装置
US20230013492A1 (en) Presentation control device and non-transitory computer readable storage medium
JP2016112987A (ja) 車両用表示制御装置及び車両用表示制御方法
US20230182572A1 (en) Vehicle display apparatus
WO2022224721A1 (ja) 提示制御装置、提示制御プログラム、自動運転制御装置および自動運転制御プログラム
US20230373309A1 (en) Display control device
JP7331875B2 (ja) 提示制御装置および提示制御プログラム
JP7363833B2 (ja) 提示制御装置、提示制御プログラム、自動走行制御システムおよび自動走行制御プログラム
WO2016157814A1 (ja) 起動提案装置及び起動提案方法
WO2021200121A1 (ja) 提示制御装置および提示制御プログラム
JP7283491B2 (ja) 提示制御装置および提示制御プログラム
WO2021199964A1 (ja) 提示制御装置、提示制御プログラム、自動走行制御システムおよび自動走行制御プログラム
JP7384126B2 (ja) 車両用渋滞判断装置、および車両用表示制御装置
JP7484689B2 (ja) 制御システム、制御装置および制御プログラム
JP7327426B2 (ja) 車両用表示装置、および表示方法
WO2023085064A1 (ja) 車両制御装置
JP7294091B2 (ja) 表示制御装置および表示制御プログラム
WO2022030317A1 (ja) 車両用表示装置、および車両用表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21779982

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21779982

Country of ref document: EP

Kind code of ref document: A1