WO2018220832A1 - 車両制御システム、車両制御方法、およびプログラム - Google Patents

車両制御システム、車両制御方法、およびプログラム Download PDF

Info

Publication number
WO2018220832A1
WO2018220832A1 PCT/JP2017/020648 JP2017020648W WO2018220832A1 WO 2018220832 A1 WO2018220832 A1 WO 2018220832A1 JP 2017020648 W JP2017020648 W JP 2017020648W WO 2018220832 A1 WO2018220832 A1 WO 2018220832A1
Authority
WO
WIPO (PCT)
Prior art keywords
control unit
occupant
unit
driving
vehicle
Prior art date
Application number
PCT/JP2017/020648
Other languages
English (en)
French (fr)
Inventor
嘉崇 味村
達也 岩佐
大庭　吉裕
峰由生 吉田
優子 大内
芙衣 久保田
加治　俊之
熊切　直隆
直宏 坂本
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to JP2019521909A priority Critical patent/JP6771670B2/ja
Priority to CN201780091315.3A priority patent/CN110709272B/zh
Priority to PCT/JP2017/020648 priority patent/WO2018220832A1/ja
Priority to US16/616,507 priority patent/US11203360B2/en
Publication of WO2018220832A1 publication Critical patent/WO2018220832A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/28—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B60W60/0055—Handover processes from vehicle to occupant only part of driving tasks shifted to occupants
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B60K2360/172—
    • B60K2360/175—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/10—Accelerator pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/12—Brake pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Definitions

  • the present invention relates to a vehicle control system, a vehicle control method, and a program.
  • the automatic driving level is determined based on the system state of the autonomous driving vehicle, and according to the automatic driving level, the image of the operation unit of the vehicle and the image of the part of the person operating the operation unit are simultaneously displayed.
  • a technique for displaying on a display unit is disclosed (for example, see Patent Document 1).
  • the present invention has been made in consideration of such circumstances, and a vehicle control system and a vehicle control system that can easily present to the occupant the contents required by the occupant with changes in the degree of driving assistance.
  • An object is to provide a method and a program.
  • the information output unit is a reflection unit provided in the front windshield of the vehicle or in the vicinity of the front windshield, and a reflection display unit (460) for reflecting light from a predetermined light source.
  • the output control unit performs a predetermined operation on the reflective display unit when the degree of driving support by the driving support control unit changes to a level that requires the occupant to watch the front of the vehicle.
  • the vehicle further includes a driving operator (80) operated by the occupant during manual driving of the vehicle, and the information output unit is a light emitting unit ( 430), and the output control unit is provided in the driving operator when the degree of driving support by the driving support control unit changes to a degree that requires the occupant to operate the driving operator. Lights up, flashes, or stops emitting light.
  • the vehicle further includes a driving operator operated by the occupant during manual driving of the vehicle, and the information output unit is a light emitting unit provided in the driving operator,
  • the output control unit causes the light emitting unit to emit light, blink, or stop light emission according to the degree of the driving support by the driving support control unit, and further, the degree of the driving support operates the driving operator on the occupant. In the case where the light emission state is changed to the degree required, the light emission state of the light emitting unit is different from the light emission state before the change.
  • the output control unit performs the driving support by causing the light-emitting unit to emit light and blink in both states when the driving support is performed and when an operation request is made to the occupant. At least one of light emission, blinking, light emission color, or light emission luminance is made different depending on the time and when the operation is requested to the passenger.
  • the output control unit In any one of (3) to (5), the output control unit, when the degree of driving assistance changes to a lower degree than the degree of driving assistance before the change, Light emission, blinking, or light emission of the light emitting unit is stopped.
  • a seat belt device (482) that holds the occupant with a seat belt (482A) in a state where the occupant is seated on the seat, and the seat belt is vibrated.
  • a vibration unit (484) for causing the vibration control unit to operate the vibration unit when a degree of driving support by the driving support control unit changes.
  • an occupant state monitoring unit (130, 140) that monitors the state of the occupant is further provided, and the output control unit includes the occupant state monitoring unit Until it is determined that the occupant has performed a predetermined motion, the output of information suggesting the occupant's monitoring target or operation target requested to the occupant is continued.
  • the camera further includes an external recognition unit (321) for recognizing the surrounding situation of the vehicle
  • the information output unit includes a display unit (450) for displaying information related to driving support
  • the output The control unit causes the display unit to display the surrounding situation of the vehicle recognized by the external recognition unit in correspondence with the degree of driving support, and when the degree of driving support by the driving support control unit changes, Until the occupant state monitoring unit determines that the occupant has performed a predetermined action, information indicating the occupant's monitoring target or operation target that is requested from the occupant with emphasis over the display of the surrounding situation of the vehicle. Display on the display unit.
  • the vehicle-mounted computer executes vehicle driving support at a plurality of degrees different from each other, and information indicating the occupant's monitoring target or operation target requested to the occupant based on the change in the driving support level
  • the vehicle-mounted computer is caused to execute driving support of the vehicle at a plurality of degrees different from each other, and information indicating the occupant's monitoring target or operation target requested to the occupant based on the change in the driving support level
  • This is a program for controlling the information output unit to output.
  • FIG. 1 is a configuration diagram of a vehicle system 1 including a vehicle control system of an embodiment. It is a figure which shows a mode that the relative position and attitude
  • FIG. It is a figure which shows a mode that a target track is produced
  • FIG. It is the figure which illustrated one side of the positional relationship of the 3rd display part 470 and the light emission part 472.
  • FIG. It is the figure which illustrated the other side of the positional relationship of the 3rd display part 470 and the light emission part 472.
  • FIG. It is a figure for demonstrating notifying that the 3rd display part 470 can be used using the one part area
  • FIG. It is a figure which shows the various scenes until the own vehicle M starts automatic driving
  • FIG. 10 is a flowchart illustrating an example of a flow of processing executed by an HMI control unit 120 in scenes (1) to (3).
  • 12 is a flowchart illustrating an example of processing in which the HMI control unit 120 displays the third screen IM3-1 on the first display unit 450. It is a flowchart which shows an example of the display control process in case the event in which the behavior of the own vehicle M changes generate
  • FIG. 10 is a flowchart illustrating an example of a flow of processing executed by an HMI control unit 120 in scenes (4) to (6).
  • 5 is a flowchart showing a flow of execution processing of a specific function by an HMI control unit 120.
  • FIG. 10 is a flowchart showing an example of a flow of processing executed by an HMI control unit 120 in scenes (7) to (9). It is a figure for demonstrating the switching timing of the various apparatuses relevant to driving assistance, or control. It is a figure for demonstrating the switching control of the driving assistance in embodiment.
  • the vehicle control system is applied to an automatic driving vehicle capable of automatic driving (autonomous driving).
  • Automatic driving means that the vehicle travels in a state that does not require operation by a passenger in principle, and is considered a kind of driving assistance.
  • the autonomous driving vehicle can also be driven by manual driving.
  • the “occupant” refers to an occupant seated on a driver seat, that is, a seat provided with a driving operation element.
  • the degree of driving assistance includes, for example, a first degree in which driving assistance is performed by operating a driving assistance device such as ACC (Adaptive Cruise Control System) or LKAS (Lane Keeping Assistance System).
  • the degree of control is higher than the first degree, and the occupant performs automatic driving by automatically controlling at least one of acceleration / deceleration or steering of the vehicle without performing any operation on the driving operator of the vehicle.
  • the second degree that imposes a certain degree of peripheral monitoring duty, and the degree of control is higher than the second degree and does not impose the peripheral monitoring duty on the occupant (or impose a lower peripheral monitoring duty than the second degree). It is assumed that there is a degree of 3.
  • driving assistance of the second degree and the third degree corresponds to automatic driving.
  • FIG. 1 is a configuration diagram of a vehicle system 1 including a vehicle control system according to an embodiment.
  • a vehicle on which the vehicle system 1 is mounted (hereinafter referred to as a host vehicle M) is, for example, a vehicle such as a two-wheel, three-wheel, or four-wheel vehicle, and a drive source thereof is an internal combustion engine such as a diesel engine or a gasoline engine, an electric motor, Or a combination of these.
  • the electric motor operates using electric power generated by a generator connected to the internal combustion engine or electric discharge power of a secondary battery or a fuel cell.
  • the vehicle system 1 includes, for example, a camera 10, a radar device 12, a finder 14, an object recognition device 16, a communication device 20, a navigation device 50, an MPU (Map Positioning Unit) 60, a vehicle sensor 70, Driving operator 80, in-vehicle camera 90, master control unit 100, driving support control unit 200, automatic driving control unit 300, HMI (HumanMIMachine Interface) 400, traveling driving force output device 500, brake A device 510 and a steering device 520; These devices and devices are connected to each other by a multiple communication line such as a CAN (Controller Area Network) communication line, a serial communication line, a wireless communication network, or the like.
  • CAN Controller Area Network
  • serial communication line a wireless communication network
  • the “vehicle control system” includes, for example, a master control unit 100, a driving support control unit 200, an automatic driving control unit 300, and an HMI 400.
  • the HMI control unit 120 is an example of an “output control unit”.
  • a combination of the operator state determination unit 130 and the occupant state monitoring unit 140 is an example of the “occupant state monitoring unit”.
  • a combination of the driving support control unit 200 and the automatic driving control unit 300 is an example of the “driving support control unit”.
  • the HMI 400 is an example of an “information output unit”.
  • the camera 10 is a digital camera using a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • One or a plurality of cameras 10 are attached to any part of the host vehicle M on which the vehicle system 1 is mounted.
  • the camera 10 When imaging the front, the camera 10 is attached to the upper part of the front windshield, the rear surface of the rearview mirror, or the like.
  • the camera 10 When imaging the rear, the camera 10 is attached to an upper part of the rear windshield, a back door, or the like.
  • the camera 10 is attached to a door mirror or the like.
  • the camera 10 periodically and repeatedly images the periphery of the host vehicle M.
  • the camera 10 may be a stereo camera.
  • the radar device 12 radiates a radio wave such as a millimeter wave around the host vehicle M, and detects a radio wave (reflected wave) reflected by the object to detect at least the position (distance and direction) of the object.
  • a radio wave such as a millimeter wave around the host vehicle M
  • the radar apparatus 12 may detect the position and speed of an object by FMCW (Frequency Modulated Continuous Wave) method.
  • the finder 14 is a LIDAR (Light Detection and Ranging or Laser Imaging Detection and Ranging) that measures the scattered light with respect to the irradiated light and detects the distance to the target.
  • LIDAR Light Detection and Ranging or Laser Imaging Detection and Ranging
  • One or a plurality of the finders 14 are attached to arbitrary locations of the host vehicle M.
  • the object recognition device 16 performs sensor fusion processing on the detection results of some or all of the camera 10, the radar device 12, and the finder 14 to recognize the position, type, speed, and the like of the object.
  • the object recognition device 16 outputs the recognition result to the driving support control unit 200 and the automatic driving control unit 300.
  • the communication device 20 uses, for example, a cellular network, a Wi-Fi network, Bluetooth (registered trademark), DSRC (Dedicated Short Range Communication) or the like to communicate with other vehicles around the host vehicle M or wirelessly. It communicates with various server apparatuses via a base station. The communication device 20 communicates with a terminal device owned by a person outside the vehicle.
  • a cellular network for example, a Wi-Fi network, Bluetooth (registered trademark), DSRC (Dedicated Short Range Communication) or the like to communicate with other vehicles around the host vehicle M or wirelessly. It communicates with various server apparatuses via a base station.
  • the communication device 20 communicates with a terminal device owned by a person outside the vehicle.
  • the navigation device 50 includes, for example, a GNSS (Global Navigation Satellite System) receiver 51, a navigation HMI 52, and a route determination unit 53.
  • the first map information 54 is stored in a storage device such as an HDD (Hard Disk Drive) or a flash memory. Holding.
  • the GNSS receiver 51 specifies the position of the host vehicle M based on the signal received from the GNSS satellite. The position of the host vehicle M may be specified or supplemented by INS (Inertial Navigation System) using the output of the vehicle sensor 70.
  • the navigation HMI 52 includes a display device, a speaker, a touch panel, keys, and the like. The navigation HMI 52 may be partly or wholly shared with the HMI 400 described later.
  • the route determination unit 53 is, for example, a route from the position of the host vehicle M specified by the GNSS receiver 51 (or any input position) to the destination input by the occupant using the navigation HMI 52 (for example, (Including information on waypoints when traveling to the destination) is determined with reference to the first map information 54.
  • the first map information 54 is information in which a road shape is expressed by, for example, a link indicating a road and nodes connected by the link.
  • the first map information 54 may include road curvature, POI (Point Of Interest) information, and the like.
  • the route determined by the route determination unit 53 is output to the MPU 60. Further, the navigation device 50 may perform route guidance using the navigation HMI 52 based on the route determined by the route determination unit 53.
  • the navigation apparatus 50 may be implement
  • the MPU 60 functions as the recommended lane determining unit 61, for example, and holds the second map information 62 in a storage device such as an HDD or a flash memory.
  • the recommended lane determining unit 61 divides the route provided from the navigation device 50 into a plurality of blocks (for example, every 100 [m] with respect to the vehicle traveling direction), and refers to the second map information 62 for each block. Determine the recommended lane.
  • the recommended lane determining unit 61 performs determination such as what number of lanes from the left to travel.
  • the recommended lane determining unit 61 determines a recommended lane so that the host vehicle M can travel on a reasonable travel route for proceeding to the branch destination when there is a branching point, a joining point, or the like on the route.
  • the second map information 62 is map information with higher accuracy than the first map information 54.
  • the second map information 62 includes, for example, information on the center of the lane or information on the boundary of the lane.
  • the second map information 62 may include road information, traffic regulation information, address information (address / postal code), facility information, telephone number information, and the like.
  • Road information includes information indicating the type of road such as expressway, toll road, national road, prefectural road, number of road lanes, emergency parking area, width of each lane, road gradient, road position (longitude , Latitude and height (three-dimensional coordinates), lane curve curvature, lane merging and branch point positions, road markings, and other information.
  • the second map information 62 may be updated at any time by accessing another device using the communication device 20.
  • the vehicle sensor 70 includes a vehicle speed sensor that detects the speed of the host vehicle M, an acceleration sensor that detects acceleration, a yaw rate sensor that detects angular velocity around the vertical axis, an orientation sensor that detects the direction of the host vehicle M, and the like.
  • the driving operator 80 may include, for example, an accelerator pedal, a brake pedal, a shift lever, a steering wheel, and other operators.
  • a sensor for detecting the operation amount or the presence / absence of an operation is attached to the driving operator 80, and the detection result is obtained from the master control unit 100, the driving support control unit 200, the automatic driving control unit 300, or the traveling driving force.
  • the output is output to any one or more of the output device 500, the brake device 510, and the steering device 520.
  • the vehicle interior camera 90 captures an image centered on the face of an occupant seated on a seat installed in the vehicle interior (particularly, an occupant seated in the driver's seat).
  • the vehicle interior camera 90 is a digital camera using a solid-state image sensor such as a CCD or CMOS.
  • the vehicle interior camera 90 images a passenger periodically, for example.
  • the captured image of the vehicle interior camera 90 is output to the master control unit 100.
  • the vehicle system 1 includes, for example, a master control unit 100, a driving support control unit 200, and an automatic driving control unit 300 as a part of the configuration of the control system.
  • the master control unit 100 may be integrated into either the driving support control unit 200 or the automatic driving control unit 300.
  • the master control unit 100 performs switching of the degree of driving support, control of the HMI 400 related thereto, and the like.
  • the master control unit 100 includes, for example, a switching control unit 110, an HMI control unit 120, an operator state determination unit 130, and an occupant state monitoring unit 140.
  • the switching control unit 110, the HMI control unit 120, the operator state determination unit 130, and the occupant state monitoring unit 140 are each realized by a processor such as a CPU (Central Processing Unit) executing a program.
  • a processor such as a CPU (Central Processing Unit) executing a program.
  • Some or all of these functional units may be realized by hardware such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), etc. And hardware cooperation.
  • the switching control unit 110 switches the degree of driving support based on an operation signal input from a predetermined switch (for example, a main switch and an auto switch described later) included in the HMI 400, for example. Further, the switching control unit 110 may cancel the driving assistance and switch to manual driving based on an operation for instructing acceleration, deceleration, or steering with respect to the driving operator 80 such as an accelerator pedal, a brake pedal, and a steering wheel. Good. Details of the function of the switching control unit 110 will be described later.
  • the switching control unit 110 may switch the degree of driving support based on the action plan generated by the action plan generation unit 323. For example, the switching control unit 110 may end the driving support at the scheduled end point of the automatic driving specified by the action plan.
  • the HMI control unit 120 causes the HMI 400 to output notifications related to switching of the degree of driving support.
  • the HMI control unit 120 switches the content to be output to the HMI 400 when a predetermined event occurs for the host vehicle M.
  • the HMI control unit 120 may cause the HMI 400 to output information related to the determination result by one or both of the operator state determination unit 130 and the occupant state monitoring unit 140.
  • the HMI control unit 120 may output information received by the HMI 400 to one or both of the driving support control unit 200 and the automatic driving control unit 300. Details of the function of the HMI control unit 120 will be described later.
  • the operation element state determination unit 130 is, for example, a state in which the steering wheel included in the driving operation element 80 is operated (specifically, a state in which the steering wheel can be operated immediately when an intentional operation is actually performed, or a gripping state) It is determined whether or not it indicates a state). Details of the function of the operator state determination unit 130 will be described later.
  • the occupant state monitoring unit 140 monitors the state of the occupant seated at least in the driver's seat of the host vehicle M based on the captured image of the vehicle interior camera 90. For example, the occupant state monitoring unit 140 determines whether the occupant is monitoring the surroundings of the host vehicle M as one of monitoring. Details of the function of the occupant state monitoring unit 140 will be described later.
  • the driving support control unit 200 performs driving support of the first degree.
  • the driving support control unit 200 executes, for example, ACC, LKAS, or other driving support control.
  • ACC based on information input from the camera 10, the radar device 12, and the finder 14 via the object recognition device 16, the driving support control unit 200 and the preceding vehicle M
  • the traveling driving force output device 500 and the brake device 510 are controlled so as to travel in a state where the distance between the vehicle and the vehicle is kept constant. That is, the driving support control unit 200 performs acceleration / deceleration control (speed control) based on the inter-vehicle distance from the preceding vehicle.
  • the driving support control unit 200 controls the steering device 520 so that the host vehicle M travels while maintaining the lane in which the vehicle is currently traveling (lane keeping). That is, the driving support control unit 200 performs steering control for maintaining the lane.
  • various types of control other than automatic driving (second degree and third degree) that do not require an operation to the driving operator 80 may be included.
  • the automatic operation control unit 300 performs driving assistance of the second degree and the third degree.
  • the automatic operation control unit 300 includes, for example, a first control unit 320 and a second control unit 340.
  • the first control unit 320 and the second control unit 340 are each realized by a processor such as a CPU executing a program. Some or all of these functional units may be realized by hardware such as an LSI, an ASIC, or an FPGA, or may be realized by cooperation of software and hardware.
  • the 1st control part 320 is provided with the external world recognition part 321, the own vehicle position recognition part 322, and the action plan production
  • the external environment recognition unit 321 recognizes the surrounding situation of the vehicle M.
  • the external environment recognition unit 321 recognizes the position, speed, acceleration, and the like of surrounding vehicles based on information input from the camera 10, the radar device 12, and the finder 14 via the object recognition device 16.
  • the position of the surrounding vehicle may be represented by a representative point such as the center of gravity or corner of the surrounding vehicle, or may be represented by an area expressed by the outline of the surrounding vehicle.
  • the “state” of the surrounding vehicle may include acceleration and jerk of the surrounding vehicle, or “behavioral state” (for example, whether or not the lane is changed or is about to be changed).
  • the external environment recognition unit 321 may recognize at least one of the above-described surrounding vehicles, obstacles (for example, guardrails, utility poles, parked vehicles, persons such as pedestrians), road shapes, and other objects.
  • obstacles for example, guardrails, utility poles, parked vehicles, persons such as pedestrians
  • road shapes for example, road shapes, and other objects.
  • the own vehicle position recognition unit 322 recognizes, for example, the lane (traveling lane) in which the host vehicle M is traveling, and the relative position and posture of the host vehicle M with respect to the traveling lane.
  • the own vehicle position recognition unit 322 for example, includes a road marking line pattern (for example, an array of solid lines and broken lines) obtained from the second map information 62, and a periphery of the own vehicle M recognized from an image captured by the camera 10.
  • the traveling lane is recognized by comparing the road marking line pattern. In this recognition, the position of the host vehicle M acquired from the navigation device 50 and the processing result by INS may be taken into account.
  • FIG. 2 is a diagram illustrating how the vehicle position recognition unit 322 recognizes the relative position and posture of the vehicle M with respect to the travel lane L1.
  • the own vehicle position recognizing unit 322 performs, for example, a line connecting the deviation OS of the reference point (for example, the center of gravity) of the own vehicle M from the travel lane center CL and the travel lane center CL in the traveling direction of the own vehicle M.
  • the angle ⁇ is recognized as the relative position and posture of the host vehicle M with respect to the traveling lane L1.
  • the host vehicle position recognition unit 322 recognizes the position of the reference point of the host vehicle M with respect to any side edge of the travel lane L1 as the relative position of the host vehicle M with respect to the travel lane. Also good.
  • the relative position of the host vehicle M recognized by the host vehicle position recognition unit 322 is provided to the recommended lane determination unit 61 and the action plan generation unit 323.
  • the action plan generation unit 323 generates an action plan for the host vehicle M to automatically drive the destination or the like.
  • the action plan generation unit 323 performs events sequentially executed in the automatic driving control so as to travel in the recommended lane determined by the recommended lane determination unit 61 and to cope with the surrounding situation of the host vehicle M. decide.
  • the event in the automatic driving of the embodiment includes, for example, a constant speed traveling event that travels in the same traveling lane at a constant speed, and a low speed tracking that follows a preceding vehicle on the condition of a low speed (for example, 60 [km / h] or less).
  • lane change events that change the driving lane of the own vehicle M, overtaking events that overtake the preceding vehicle, merging events that cause the vehicles to merge at the merging point, and branch events that cause the own vehicle M to travel in the target direction at the junction of the road
  • emergency stop event for stopping the own vehicle M in an emergency.
  • actions for avoidance may be planned based on the surrounding situation of the host vehicle M (the presence of surrounding vehicles and pedestrians, lane narrowing due to road construction, etc.).
  • the action plan generation unit 323 generates a target track on which the host vehicle M will travel in the future.
  • the target track is expressed as a sequence of points (track points) that the host vehicle M should reach.
  • the trajectory point is a point where the host vehicle M should reach for each predetermined travel distance.
  • the target speed and target acceleration for each predetermined sampling time are the target trajectory. Generated as part of.
  • the track point may be a position to which the host vehicle M should arrive at the sampling time for each predetermined sampling time. In this case, information on the target speed and target acceleration is expressed by the interval between the trajectory points.
  • FIG. 3 is a diagram illustrating a state in which a target track is generated based on the recommended lane.
  • the recommended lane is set so as to be convenient for traveling along the route to the destination.
  • the action plan generation unit 323 activates a lane change event, a branch event, a merge event, or the like when a predetermined distance before the recommended lane switching point (may be determined according to the type of event) is reached. If it becomes necessary to avoid an obstacle during the execution of each event, an avoidance trajectory is generated as shown in the figure.
  • FIG. 4 and FIG. 5 are diagrams for explaining the processing when changing lanes.
  • the action plan generation unit 323 is an adjacent lane adjacent to the lane (own lane) L1 in which the host vehicle M travels, and two peripheral vehicles from the surrounding vehicle that travels in the adjacent lane L2 to which the lane is changed. And the lane change target position TAs is set between these peripheral vehicles.
  • a peripheral vehicle that travels immediately before the lane change target position TAs in the adjacent lane is referred to as a front reference vehicle mB
  • a peripheral vehicle that travels immediately after the lane change target position TAs in the adjacent lane is referred to as a rear reference vehicle mC.
  • the lane change target position TAs is a relative position based on the positional relationship between the host vehicle M, the front reference vehicle mB, and the rear reference vehicle mC.
  • FIG. 4 shows a state where the action plan generation unit 323 sets the lane change target position TAs.
  • mA represents a preceding vehicle
  • mB represents a front reference vehicle
  • mC represents a rear reference vehicle.
  • An arrow d represents the traveling (traveling) direction of the host vehicle M.
  • the action plan generation unit 323 sets the lane change target position TAs between the front reference vehicle mB and the rear reference vehicle mC on the adjacent lane L2.
  • the action plan generation unit 323 satisfies the primary condition for determining whether or not the lane change target position TAs can change the lane (that is, between the front reference vehicle mB and the rear reference vehicle mC). Determine whether.
  • the primary condition is, for example, that there is no surrounding vehicle in the prohibited area RA provided in the adjacent lane, and the collision margin time TTC between the host vehicle M and the front reference vehicle mB and the rear reference vehicle mC is a threshold value, respectively. Is bigger than that.
  • This determination condition is an example when the lane change target position TAs is set to the side of the host vehicle M.
  • the action plan generation unit 323 resets the lane change target position TAs. In this case, the speed control for waiting until the lane change target position TAs satisfying the primary condition can be set or changing the lane change target position TAs and moving to the side of the lane change target position TAs is performed. It may be done.
  • the action plan generation unit 323 projects the host vehicle M onto the lane L2 to which the lane is changed, and sets a prohibited area RA having a slight margin before and after.
  • the prohibited area RA is set as an area extending from one end to the other end in the lateral direction of the lane L2.
  • the action plan generation unit 323 calculates the collision margin time TTC (B) between the extension line FM and the front reference vehicle mB, and the collision margin time TTC (C) between the extension line RM and the rear reference vehicle mC.
  • the collision margin time TTC (B) is a time derived by dividing the distance between the extension line FM and the front reference vehicle mB by the relative speed of the host vehicle M and the front reference vehicle mB.
  • the collision margin time TTC (C) is a time derived by dividing the distance between the extension line RM and the rear reference vehicle mC by the relative speed of the host vehicle M and the rear reference vehicle mC.
  • the trajectory generation unit 118 determines that the primary condition is satisfied when the collision margin time TTC (B) is larger than the threshold value Th (B) and the collision margin time TTC (C) is larger than the threshold value Th (C).
  • the threshold values Th (B) and Th (C) may be the same value or different values.
  • the action plan generation unit 323 When the primary condition is satisfied, the action plan generation unit 323 generates a track candidate for lane change.
  • the action plan generation unit 323 assumes that the preceding vehicle MA, the front reference vehicle mB, and the rear reference vehicle mC travel with a predetermined speed model. Based on the speed of the vehicle M, a candidate for a track is generated so that the host vehicle M is positioned between the front reference vehicle mB and the rear reference vehicle mC at a certain time in the future without interfering with the preceding vehicle MA. To do.
  • the action plan generation unit 323 uses a spline curve or the like from the current position of the host vehicle M to the position of the forward reference vehicle mB at a certain time in the future, the center of the lane to which the lane is changed, and the end point of the lane change. Are smoothly connected to each other, and a predetermined number of orbit points K are arranged on the curve at equal or unequal intervals. At this time, the action plan generation unit 323 generates a track so that at least one of the track points K is arranged in the lane change target position TAs.
  • the action plan generation unit 323 generates a plurality of target trajectory candidates, and selects an optimal target trajectory that matches the route to the destination at that time.
  • the second control unit 340 includes, for example, a travel control unit 342.
  • the travel control unit 342 controls the travel driving force output device 500, the brake device 510, and the steering device 520 so that the host vehicle M passes the target track generated by the action plan generation unit 323 according to a scheduled time. To do.
  • the HMI 400 presents various information to the passengers in the vehicle and accepts input operations by the passengers.
  • the HMI 400 includes, for example, some or all of various display devices, light emitting units, speakers, buzzers, touch panels, various operation switches, keys, and the like. Further, the HMI 400 may include a part of a seat belt device that holds the occupant with the seat belt in a state of being seated on the seat. Details of the functions of the HMI 400 will be described later.
  • the driving force output device 500 outputs a driving force (torque) for driving the vehicle to the driving wheels.
  • the travel driving force output device 500 includes, for example, a combination of an internal combustion engine, an electric motor, a transmission, and the like, and an ECU (Electronic Control Unit) that controls these.
  • the ECU controls the above-described configuration according to information input from the travel control unit 342 or information input from the driving operator 80.
  • the brake device 510 includes, for example, a brake caliper, a cylinder that transmits hydraulic pressure to the brake caliper, an electric motor that generates hydraulic pressure in the cylinder, and a brake ECU.
  • the brake ECU controls the electric motor in accordance with information input from the travel control unit 342 or information input from the driving operation element 80 so that brake torque corresponding to the braking operation is output to each wheel.
  • the brake device 510 may include, as a backup, a mechanism that transmits the hydraulic pressure generated by operating the brake pedal included in the driving operator 80 to the cylinder via the master cylinder.
  • the brake device 510 is not limited to the configuration described above, and controls the actuator in accordance with information input from the travel control unit 342 or information input from the driving operator 80, and transmits the hydraulic pressure of the master cylinder to the cylinder. It may be an electronically controlled hydraulic brake device. Further, the brake device 510 may include a plurality of brake devices such as hydraulic pressure and electric power.
  • the steering device 520 includes, for example, a steering ECU and an electric motor.
  • the electric motor changes the direction of the steered wheels by applying a force to a rack and pinion mechanism.
  • the steering ECU drives the electric motor in accordance with information input from the travel control unit 342 or information input from the driving operator 80, and changes the direction of the steered wheels.
  • input information from the driving operator 80 is directly output to the traveling driving force output device 500, the brake device 510, and the steering device 520.
  • input information from the driving operator 80 may be output to the traveling driving force output device 500, the brake device 510, and the steering device 520 via the automatic driving control unit 300.
  • the ECUs of the travel driving force output device 500, the brake device 510, and the steering device 520 perform their operations based on input information from the driving operator 80 or the like.
  • FIG. 6 is a diagram illustrating an example of the HMI 400 in the host vehicle M.
  • the HMI 400 includes, for example, a first operation unit 410, a second operation unit 420, light emitting units 430R and 430L, a third operation unit 440, a first display unit 450, and a HUD (Head Up Display). (Second display unit) 460 and a third display unit 470 are provided.
  • the HUD 460 is an example of a “reflection display unit”.
  • the first operation unit 410, the second operation unit 420, and the light emitting units 430R and 430L are provided on the steering wheel 82 which is one of the driving operators 80.
  • the steering wheel 82 is provided with a grip sensor 82A.
  • the grip sensor 82A is, for example, a capacitance sensor provided along the circumferential direction of the steering wheel 82.
  • the grip sensor 82A detects that an object has approached or contacted the detection target region as a change in capacitance.
  • the grip sensor 82 ⁇ / b> A outputs a predetermined detection signal to the operator state determination unit 130 of the master control unit 100 when the capacitance is equal to or greater than the threshold value.
  • the threshold value is set to a value lower than the capacitance generated when the occupant is holding the steering wheel 82.
  • the grip sensor 82A may output a detection signal indicating the capacitance to the operator state determination unit 130 regardless of whether or not the grip sensor 82A is equal to or greater than the threshold value.
  • the first operation unit 410 includes, for example, a main switch 412 and an auto switch 414.
  • the main switch 412 is a switch for enabling driving support.
  • a switch for starting processing (internal processing) at a preparatory stage before executing driving support which will be described later, or a switch for determining whether driving support can be started or not It is.
  • the host vehicle M When the main switch 412 is operated, the host vehicle M does not immediately start execution of driving assistance but performs processing in a preparation stage before executing driving assistance.
  • the process in the preparation stage is, for example, the start of an object recognition process (specifically, an operation start of a Kalman filter, etc.).
  • the auto switch 414 When the auto switch 414 is operated in a state in which the main switch 412 is operated so that driving support can be started (that is, after a certain period of time has elapsed since the operation was performed), control for driving support is performed. Is started. That is, the auto switch 414 is a switch for actually starting the driving assistance of the first degree in a state where the driving assistance can be started.
  • the second operation unit 420 includes an operation switch 422 for starting to provide a call function with an image (also referred to as a videophone).
  • the light emitting portions 430R and 430L are disposed, for example, in spoke portions that extend from the central boss portion of the steering wheel 82 toward the annular rim portion. The lighting states of the light emitting units 430R and 430L are controlled by the control of the HMI control unit 120.
  • the third operation unit 440 includes, for example, a rotation operation unit 442 that protrudes toward the front as viewed from the passenger, and a switch operation unit 444.
  • the rotation operation unit 442 is formed in a substantially cylindrical shape and can be rotated around an axis.
  • the switch operation unit 444 is provided around the rotation operation unit 442 or on the top surface of the rotation operation unit 442.
  • the third operation unit 440 includes a rotation sensor (not shown) such as an encoder that detects the rotation angle and rotation speed of the rotation operation unit 442, and a displacement sensor (not shown) that detects the displacement of the switch operation unit 444.
  • the detection value output from the sensor is output to the master control unit 100.
  • the detection value output to the master control unit 100 is used for operations such as an arrow, a selection button, and a determination button output on the screen of the third display unit 470, selection and determination of input characters, and the like.
  • the third operation unit 440 may be a so-called touch panel type operation unit that performs a selection or confirmation operation by touching the display screen with a fingertip.
  • the third operation unit 440 is provided with a light emitting unit 446 that can emit light in a predetermined color.
  • the first display unit 450 is, for example, a display device that is provided in the vicinity of the front of the driver's seat on the instrument panel and is visible to the passenger through the steering wheel 82 or through the steering wheel 82.
  • the first display unit 450 is, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display device.
  • the first display unit 450 displays information necessary for traveling when the host vehicle M is operated manually or automatically, or information related to instructions to the passenger.
  • the information necessary for traveling of the host vehicle M during manual operation is, for example, the speed of the host vehicle M, the engine speed, the remaining amount of fuel, the radiator water temperature, the travel distance, and other information.
  • the information necessary for traveling of the host vehicle M at the time of automatic driving is information such as the future track of the host vehicle M, the degree of driving support, and instructions to the passengers.
  • the HUD 460 is disposed at a position higher than the first display unit 450, for example.
  • the HUD 460 projects an image on a predetermined imaging unit.
  • the HUD 460 causes a virtual image to be visually recognized by the eyes of an occupant seated in the driver seat by, for example, projecting an image onto a part of the front windshield in front of the driver seat.
  • the image display area projected by the HUD 460 is smaller than the image display area in the first display unit 450. This is to prevent an occupant from overlooking an actual object ahead of the image projected by the HUD 460.
  • the front windshield of the host vehicle M may be used as the reflective display unit instead of the HUD 460.
  • the HMI control unit 120 emits a predetermined light source such as an LED (Light Emitting Diode) incorporated in the instrument panel, and reflects light from the light source by the front windshield.
  • a predetermined light source such as an LED (Light Emitting Diode) incorporated in the instrument panel
  • the reflection part provided in the vicinity of the front windshield may be a reflection display part.
  • the HMI control unit 120 causes a predetermined light source such as an LED to emit light, and reflects light from the light source at the reflection unit.
  • 3rd display part 470 is attached to the center part of an instrument panel, for example.
  • the third display unit 470 is, for example, an LCD or an organic EL display device.
  • the third display unit 470 displays, for example, an image corresponding to the navigation process executed by the navigation device 50, the video of the other party in the videophone, or the like.
  • the third display unit 470 may display a television program, play a DVD, or display content such as a downloaded movie.
  • the third display unit 470 may be provided with a light emitting unit 472.
  • FIG. 7 is a view illustrating one aspect of the positional relationship between the third display unit 470 and the light emitting unit 472.
  • the light emitting unit 472 is provided in part of or near the third display unit 470.
  • the vicinity means a range in which the shortest distance between the light emitting portion 472 and the third display portion 470 is, for example, several [cm] (more specifically, about 3 [cm]) or less.
  • a light emitting unit 472 extending along at least one side forming the screen shape of the third display unit 470 is attached.
  • FIG. 8 is a diagram illustrating another aspect of the positional relationship between the third display unit 470 and the light emitting unit 472.
  • the third display unit 470 is provided in the lower part of the visor part 474 of the instrument panel part in the upper part in front of the third display part 470. Further, the light emitted from the light emitting unit 472 is visible by a passenger without being blocked by the visor unit 474.
  • the visor unit 474 can suppress the irradiation of the external light such as sunlight to the third display unit 470 and can block at least a part of the external light inserted into the light emitting unit 472. Therefore, the visibility of light emission by the occupant can be improved.
  • the light emitting unit 472 is controlled by the HMI control unit 120 to emit light when the third display unit 470 is usable.
  • “Useable” means, for example, that the second operation unit 420 is operated to display a screen related to the call function with an image on the third display unit 470 or the operation of the third operation unit 440 causes a movie or television to be displayed. An image related to the program can be displayed on the third display unit 470.
  • FIG. 9 is a diagram for explaining the notification that the third display unit 470 can be used by using a partial area of the screen of the third display unit 470.
  • the HMI control unit 120 assigns the first display area 476 and the second display area 478 to the entire screen area of the third display unit 470.
  • the first display area 476 is a pixel area extending along any side of the entire screen of the third display unit 470.
  • the HMI control unit 120 lights or blinks the first display area 476 in one or both of a predetermined color and a predetermined shape. Accordingly, it is possible to notify the occupant that the third display unit 470 can be used without providing the light emitting unit 472.
  • the HMI control unit 120 displays the content operated by the second operation unit 420 or the third operation unit 440 or the content executed by the operation in the second display area 478.
  • FIG. 10 is a diagram showing various scenes from when the host vehicle M starts automatic driving to manual driving and when lane change is performed by automatic driving.
  • the scene (1) is a scene in which the host vehicle M enters the highway from a general road by manual driving.
  • Scene (2) is a scene in which the host vehicle M is switched from manual operation to automatic operation.
  • Scene (3) is a scene in which the host vehicle M changes lanes by automatic driving. The display control corresponding to each of the scenes (1) to (3) will be described below.
  • Scene (1) is, for example, a scene before entering a highway.
  • the HMI control unit 120 causes the first display unit 450 to display information necessary for the passenger in the driver's seat to manually drive the host vehicle M using the driving operator 80.
  • the HMI control unit 120 causes the HUD 460 to display a part of the information displayed on the first display unit 450. A screen in this case is shown in FIG.
  • FIG. 11 is a diagram showing an example of the first screen IM1-1 and the second screen IM2-1 displayed during manual operation.
  • the first screen IM1-1 is a screen that is displayed by the first display unit 450
  • the second screen IM2-1 is a screen that is projected on the occupant's eyes by being projected by the HUD 460.
  • the HMI control unit 120 displays, on the first screen IM1-1, information necessary for traveling of the host vehicle M at the time of manual driving, for example, the battery remaining amount, the rotation speed, the shift position, the room temperature, the travel distance of the host vehicle M, Information such as traveling speed and remaining fuel amount is displayed.
  • the HMI control unit 120 causes the second screen IM2-1 to display speed information out of the images displayed on the first screen IM1-1 smaller than the first screen IM1-1.
  • the recognition area of the image projected on the occupant's eyes by being projected by the HUD 460 is smaller than the image display area of the first display unit 450.
  • the HMI control unit 120 causes the first display unit 450 to display relatively detailed first information (detailed information) related to driving assistance of the host vehicle M, and the HUD 460 is simpler than the detailed information. It is information, and the 2nd information (simple information) regarding driving assistance is displayed. Simple information is, for example, information with a smaller information amount than detailed information.
  • the simple information may be information in which the types and number of items to be displayed are smaller than the types and number of items to be displayed as detailed information.
  • the simple information may be an image obtained by reducing the resolution, simplifying, or deforming an image displayed as detailed information.
  • the second information may be highly important information or highly urgent information among the first information.
  • the HMI control unit 120 displays information extracted from a part of the detailed information on the HUD 460 as simple information. For example, in FIG. 11, the HMI control unit 120 extracts information indicating the speed of the host vehicle M from the detailed information displayed on the first screen IM1-1, and extracts the extracted information on the second screen IM2-1. To display. As described above, by displaying detailed information on the first display unit 450 and displaying simple information on the HUD 460, it is possible to appropriately provide information related to driving assistance and to prevent the eyes of the occupant from getting tired. .
  • FIG. 12 is a diagram showing an example of the third screen IM3-1 and the fourth screen IM4-1 displayed when the main switch 412 is operated.
  • the third screen IM3-1 is a screen that is displayed by the first display unit 450
  • the fourth screen IM4-1 is a screen that is projected to the passenger's eyes by being projected by the HUD 460.
  • the third screen IM3-X and the fourth screen IM4-X are continuously displayed in a state where the driving support can be executed and in a state where the driving support is being executed.
  • the third screen IM3-1 includes a periphery detection information display area 600-1, a driving support state display area 620-1, and a driving support start operation guide area 640-1 as areas for displaying information related to driving support. ing.
  • the respective regions on the third screen IM3-X are referred to as a peripheral detection information display region 600-X, a driving support state display region 620-X, and a driving support start operation guide region 640-X.
  • the HMI control unit 120 displays an image indicating the road shape ahead of the host vehicle M acquired from the second map information 62 and the host vehicle M recognized by the host vehicle position recognition unit 322 in the surrounding detection information display area 600-1. And an image showing the surrounding vehicle m recognized by the external recognition unit 321 are displayed.
  • the HMI control unit 120 causes the first display unit 450 to display an image showing all the surrounding vehicles m recognized by the external environment recognition unit 321.
  • the HMI control unit 120 causes the first display unit 450 to display only the surrounding vehicle m that affects the future track of the host vehicle M among all the surrounding vehicles m recognized by the external environment recognition unit 321. Also good. As a result, the number of vehicles to be monitored by the occupant can be reduced, and the monitoring burden can be reduced.
  • the HMI control unit 120 displays all information indicating candidates for the state of driving assistance (including automatic driving) executable by the host vehicle M in the driving assistance state display area 620-1.
  • an image 621 showing three indicators of “Assist”, “Hands Off”, and “Eyes Off” is shown as information indicating the candidate driving assistance status.
  • the degree of driving support is represented by each indicator alone or a combination of a plurality of indicators.
  • the indicator “Assist” indicates that the host vehicle M is performing driving support at a first degree such as ACC or LKAS, or can be shifted to driving assistance at the first degree. Whether the driving assistance is being executed at the first degree or whether the driving assistance can be shifted to the driving assistance at the first degree can be grasped from the request action notification image 622 described later.
  • the indicator “Hands Off” indicates that the host vehicle M does not have to operate the driver 80, but is providing driving assistance at a second degree in which the driver is obliged to monitor the surroundings. Or it shows that it is in the state which can be changed to the driving assistance in the 2nd degree. It can be grasped from the request action notification image 622 whether the driving assistance is being executed at the second degree or whether the driving assistance can be shifted to the driving assistance at the second degree.
  • the indicator “Eyes Off” indicates that the host vehicle M is performing driving support at a third degree in which the occupant does not need to perform an operation on the driving operator 80 and the occupant is not obligated to monitor the surroundings, or , It shows that it is in the state which can be changed to the driving assistance in the 3rd degree. Whether the driving assistance is being executed at the third degree or whether the driving assistance can be shifted to the driving assistance at the third degree can be grasped from the request action notification image 622. In the example of FIG. 12, the driving assistance of the host vehicle M is not executed (manual driving state).
  • the HMI control unit 120 displays a requested action notification image at a display position corresponding to an image 621 showing three indicators “Assist”, “Hands Off”, and “Eyes Off” in the driving assistance state display area 620-1. 622 is displayed.
  • “Corresponding” means that the correspondence can be recognized by a person, such as a guideline indicating horizontal alignment, vertical alignment, and correspondence.
  • the “display position corresponding to the image 621” is a display position adjacent to the image 621 and is a few [cm] or less (for example, 3 [cm]) in at least one of the top, bottom, left, and right with respect to the display position of the image 621. The following shows the display position.
  • the requested action notification image 622 is, for example, an image indicating a predetermined action that the occupant performs on the driving operation member 80.
  • the request action notification image 622 includes, for example, an image showing the driving operator 80 and an image showing a predetermined part of the occupant.
  • the requested action notification image 622 is an image schematically showing the positional relationship between the steering wheel 82 and the occupant's hand, for example.
  • the HMI control unit 120 causes the driving assistance start operation guide area 640-1 to display information for guiding the operation of the occupant for starting the driving assistance.
  • the driving assistance start operation guide region 640-1 it is guided that driving assistance is started by the occupant operating the auto switch 414.
  • the HMI control unit 120 allows the occupant to switch to the auto switch 414.
  • a sound indicating that driving support is started by operating may be output from a speaker included in the HMI 400.
  • At least part of the information displayed in each of the surrounding detection information display area 600-1, the driving support state display area 620-1, and the driving support start operation guide area 640-1 may be displayed in another display area.
  • the third screen IM3-1 may display information related to the travel distance, the in-vehicle temperature, the fuel, the speed, and the shift position of the host vehicle M.
  • the HMI control unit 120 displays simple information extracted from a part of the detailed information on the fourth screen IM4-1 of the HUD 460 with respect to the detailed information displayed on the third screen IM3-1.
  • the fourth screen IM4-1 of the HUD 460 includes information related to the road shape ahead of the host vehicle M and the speed of the host vehicle M among the information related to driving assistance displayed on the display screen IM3-1 of the first display unit 450. Is displayed.
  • the master control unit 100 causes the driving support control unit 200 to execute driving support of the first degree. Further, the HMI control unit 120 changes the screen displayed on the first display unit 450 and the HUD 460 to, for example, the screen shown in FIG.
  • FIG. 13 is a diagram showing an example of screens IM3-2 and IM4-2 displayed on the first display unit 450 and the HUD 460 when the auto switch 414 is operated.
  • the HMI control unit 120 displays an image indicating the degree of driving assistance being executed so that the image can be distinguished from other images indicating the degree of driving assistance. For example, the HMI control unit 120 highlights the image of the indicator “Assist” in the driving assistance state display area 620-2 of the third screen IM3-2. Thereby, the passenger
  • the HMI control unit 120 requests, as the requested action notification image 622, a requested action notification image that requests the occupant to perform an action necessary for shifting to the degree of driving support (automatic driving) corresponding to “Hands Off”. It is displayed as an image 622.
  • a moving image is, for example, an image including a dynamic object in which a predetermined object moves dynamically with time.
  • the moving image may include an animation.
  • the HMI control unit 120 is configured to switch to the second degree of driving assistance when the first degree of driving assistance is being executed and the second degree of driving assistance is feasible.
  • the requested action notification image 622 schematically showing the occupant's operation contents for putting the occupant's hand away from the steering wheel 82 is displayed on the third screen IM3-2 as driving assistance It is displayed in the status display area 620-2.
  • FIG. 14 is a diagram illustrating an example of an image displayed in the driving assistance state display area 620-2 when the driving assistance of the first degree is executed.
  • the HMI control unit 120 displays an image 621 showing three indicators and a requested action notification image 622 in the driving assistance state display area 620-2.
  • the requested action notification image 622 includes, for example, an image 622A showing the steering wheel 82 and images 622BL and 622BR showing the occupant's hands.
  • the HMI control unit 120 displays an animation in which the images 622BL and 622BR showing the occupant's hands are separated from the image 622A showing the steering wheel 82 in the directions of arrows A and B. Further, the HMI control unit 120 may highlight the image 622A showing the steering wheel 82 and the images 622BL and 622BR showing the occupant's hands. Thereby, the occupant intuitively understands that the first degree of driving assistance is being executed because the image indicating the “Assist” indicator is highlighted among the images 621 indicating the three indicators. In addition, it is possible to intuitively understand that the action of releasing the hand from the steering wheel 82 is requested by the animation of the request action notification image 622.
  • the HMI control unit 120 determines the positional relationship between the accelerator pedal and the occupant's foot instead of or in addition to the image 622A indicating the steering wheel 82 and the image 622BL and 622BR requesting operation notification image 622 indicating the hand of the occupant.
  • An image schematically shown or an image schematically showing the positional relationship between the brake pedal and the occupant's feet is displayed as a requested action notification image 623 in the driving support state display area 620-2 of the third screen IM3-2. May be.
  • FIG. 15 is a diagram showing a display example of the requested action notification image 623 including the accelerator pedal and the occupant's feet.
  • the HMI control unit 120 displays an image 621 showing three indicators and a requested action notification image 623 in the driving assistance state display area 620-2 shown in FIG.
  • the requested action notification image 623 includes an image 623A showing an accelerator pedal and an image 623B showing a passenger's foot.
  • the HMI control unit 120 is configured to switch to the second degree of driving assistance when the first degree of driving assistance is being executed and the second degree of driving assistance is feasible.
  • an animation is displayed in which the image 623B indicating the foot of the occupant is separated from the image 623A indicating the accelerator pedal in the direction of arrow C.
  • the HMI control unit 120 may highlight the image 623A indicating the accelerator pedal and the image 623B indicating the occupant's foot. Thereby, the passenger
  • the HMI control unit 120 may display information indicating that driving support is started by the occupant executing the operation corresponding to the requested operation notification image 622 in the periphery detection information display area 600-2. Good.
  • information indicating that driving assistance (“automatic driving” in the figure) is started by releasing the hand from the steering wheel 82 (“steering wheel” in the figure) is displayed in the periphery detection information display area 600-2. Is displayed.
  • the HMI control unit 120 may turn on or blink the light emitting units 430R and 430L provided on the steering wheel 82 when requesting the occupant to release the hand from the steering wheel 82.
  • the HMI control unit 120 may output a sound indicating that from a speaker included in the HMI 400.
  • the HMI control unit 120 may output from various devices by combining the display of the requested action notification image 622 corresponding to the action of releasing the hand from the steering wheel 82, lighting or blinking of the light emitting parts 430R and 430L, and sound output. .
  • the HMI control unit 120 displays the same information as the fourth screen IM4-1 on the fourth screen IM4-2 of the HUD 460.
  • the operator state determination unit 130 determines whether or not the steering wheel 82 is gripped by the occupant. For example, the operator state determination unit 130 determines whether or not the steering wheel 82 is being operated based on the output from the grip sensor 82A described above.
  • the switching control unit 110 is driven by the driving support control unit 200.
  • the driving assistance of the first degree is continued.
  • the switching control unit 110 satisfies the various conditions for shifting to the second degree of driving support in a state where the auto switch 414 is operated, and the steering wheel 82 is not gripped by the occupant. If it is determined by the operator state determination unit 130, the automatic operation control unit 300 is caused to execute the second degree of driving assistance (that is, automatic driving).
  • the HMI control unit 120 changes the screen displayed on the first display unit 450 and the HUD 460 to, for example, the screen illustrated in FIG. 16 when the automatic driving control unit 300 performs the second degree of driving support. .
  • FIG. 16 is a diagram illustrating an example of a screen displayed on the first display unit 450 and the HUD 460 during driving assistance of the second degree.
  • the HMI control unit 120 highlights the “Hands Off” image corresponding to the second degree of driving assistance in the driving assistance state display area 620-3 of the third screen IM3-3. Thereby, the occupant can grasp that the driving assistance of the second degree is performed.
  • the HMI control unit 120 is recognized in the periphery detection information display area 600-3 by, for example, an image showing the road shape ahead of the host vehicle M acquired from the second map information 62 and the host vehicle position recognition unit 322.
  • An image showing the own vehicle M, an image showing the surrounding vehicle m acquired by the external environment recognition unit 321, and a future track image 602 showing the future track of the host vehicle M generated by the action plan generation unit 323 are displayed.
  • the HMI control unit 120 starts driving assistance (automatic traveling in the figure) in the second degree in the surrounding detection information display area 600-3, but allows the passenger to continuously monitor the surrounding traffic situation. Display information.
  • the occupant state monitoring unit 140 of the master control unit 100 monitors that the occupant continuously monitors the surrounding traffic conditions. For example, the occupant state monitoring unit 140 acquires a face image of an occupant seated in the driver's seat from an image captured by the vehicle interior camera 90, and acquires a line-of-sight direction from the acquired face image. For example, the occupant state monitoring unit 140 may acquire the sight line direction of the occupant from the captured image of the vehicle interior camera 90 by deep learning using a neural network or the like. For example, pre-constructed a neural network that learns to output eye gaze direction using feature information of eyes, nose, mouth, etc. obtained by analyzing an unspecified number of face images and the position of the eyeball's black eye Keep it. And the passenger
  • the occupant state monitoring unit 140 determines whether or not the occupant is monitoring the periphery of the host vehicle M based on whether or not the sight line direction of the occupant is included in a range of directions in which the predetermined periphery can be monitored. To do. The occupant state monitoring unit 140 does not monitor the periphery when the occupant's line-of-sight direction is not included in the range of directions in which the predetermined periphery can be monitored, or when the occupant's line-of-sight direction cannot be acquired. Is determined. When it is determined that the periphery monitoring is not performed, the HMI control unit 120 may issue a warning by voice or the like in order to monitor the periphery of the occupant.
  • the occupant state monitoring unit 140 determines that the occupant is monitoring the periphery when the sight line direction of the occupant is included in a range of directions in which the predetermined periphery can be monitored. In this case, the automatic driving control unit 300 continues the driving assistance of the second degree. Note that when driving support for the host vehicle M is being started, nothing is displayed in the driving support start operation guide region 640-3.
  • the HMI control unit 120 causes the fourth screen IM4-3 of the HUD 460 to display a future trajectory image 602 indicating the future trajectory of the host vehicle M in addition to the same information as the fourth screen IM4-2.
  • the automatic driving control unit 300 changes the lane of the host vehicle M by driving assistance of the second degree.
  • the HMI control unit 120 displays a screen corresponding to driving assistance on one or both of the first display unit 450 and the HUD 460.
  • the HMI control unit 120 displays the image indicating the occurrence of the lane change event of the host vehicle M executed by the automatic driving control unit 300 at the first timing before the behavior of the host vehicle M changes (for example, the behavior changes). Display 5 seconds before) in the first display mode.
  • FIG. 17 is a diagram illustrating an example of the third screen IM3-4 and the fourth screen IM4-4 displayed at the first timing before the behavior of the host vehicle M changes.
  • the HMI control unit 120 changes the lane in the periphery detection information display area 600-4 of the third screen IM3-4, for example.
  • An image 604 indicating the direction is displayed.
  • an image 604 in which the host vehicle M changes the lane to the right lane adjacent to the traveling lane is displayed.
  • the image 604 is, for example, an image that does not include text information.
  • the image 604 is a graphic showing the course changing direction of the host vehicle M along the road width direction.
  • the HMI control unit 120 adds an outer frame to a figure indicating the course change direction of the host vehicle M, and causes the first display unit 450 to display the added outer frame image.
  • the HMI control unit 120 divides the image 604 into a plurality of regions, and adds an outer frame to each of the divided regions for display. Further, the HMI control unit 120 may display an outer frame of each of the plurality of divided areas with an animation that is displayed in order along the course changing direction of the host vehicle M.
  • the HMI control unit 120 displays a turn signal indicator 624 indicating the course change of the host vehicle M in the driving support state display area 620-4.
  • the blinker indicator 624 is, for example, a figure such as an arrow indicating a course change direction.
  • the HMI control unit 120 displays the blinker indicator 624 on the first display unit 450 at a timing synchronized with the first timing at which the image 604 is displayed.
  • the HMI control unit 120 displays the same information as the fourth screen IM4-3 on the fourth screen IM4-4 of the HUD 460.
  • the HMI control unit 120 displays the image 604 at a second timing after the first timing and before the behavior of the host vehicle M changes (for example, two seconds before the behavior changes).
  • the highlighted image is displayed in the peripheral detection information display area 600-4.
  • FIG. 18 is a diagram illustrating an example of the third screen IM3-5 and the fourth screen IM4-5 displayed at the second timing before the behavior of the host vehicle M changes.
  • the HMI control unit 120 displays an image 606 in which the image 604 is highlighted in the periphery detection information display area 600-5 of the third screen IM3-5.
  • the HMI control unit 120 displays a display mode (second display mode) in which the inside of the outer frame of the image 604 is colored in the peripheral detection information display area 600-5.
  • the HMI control unit 120 may display an animation so that the outer frames of the plurality of regions divided in the image 604 are highlighted in order along the course change direction of the host vehicle M. Good.
  • the HMI control unit 120 may display the image 606 at the first timing and blink the image 606 at the second timing. Further, the HMI control unit 120 may display the image 606 at the first timing, and display the image 606 at a color that is more conspicuous than the color displayed at the first timing. As a result, the occupant can intuitively grasp the course change direction.
  • the HMI control unit 120 changes the future trajectory image 602 displayed in the peripheral detection information display area 600-5 in a direction corresponding to the course change direction at a timing synchronized with the second timing. Thereby, the passenger
  • the HMI control unit 120 displays the same information as the fourth screen IM4-4 on the fourth screen IM4-5 of the HUD 460. Further, the HMI control unit 120 displays the future trajectory image 602 to be displayed on the fourth screen IM4-5 of the HUD 460 while changing in a direction corresponding to the course change at a timing synchronized with the second timing.
  • FIG. 19 is a flowchart showing an example of the flow of processing executed by the HMI control unit 120 in scenes (1) to (3).
  • the HMI control unit 120 determines whether or not the operation of the main switch 412 has been accepted (step S100). When the operation of the main switch 412 is not accepted, the HMI control unit 120 displays the first screen IM1-1 on the first display unit 450 of the host vehicle M (step S102), and the second screen IM2- on the HUD 460. 1 is displayed (step S104).
  • the HMI control unit 120 displays the third screen IM3-1 on the first display unit 450 (step S106), and displays the fourth screen IM4-1 on the HUD 460. (Step S108). Details of the processing in step S106 will be described later.
  • the HMI control unit 120 notifies the occupant of an operation request for operating the auto switch 414 (step S110).
  • the HMI control unit 120 determines whether or not the operation of the auto switch 414 has been accepted (step S112).
  • the HMI control unit 120 displays an image indicating that the first degree of driving assistance is being executed on the third screen IM3-1 and the fourth screen IM4-1. (Step S114).
  • the HMI control unit 120 notifies the occupant of an operation request for releasing the hand from the steering wheel 82 (step S116).
  • the HMI control unit 120 determines whether or not the occupant's hand has left the steering wheel 82 by the operator state determination unit 130 (step S118). When the occupant's hand leaves the steering wheel 82, the HMI control unit 120 displays an image indicating that the second degree of driving assistance is being executed on the third screen IM3-3 (step S120). Details of the processing in step S120 will be described later. Thereby, the processing of this flowchart ends.
  • FIG. 20 is a flowchart illustrating an example of processing in which the HMI control unit 120 displays the third screen IM3-1 on the first display unit 450.
  • the HMI control unit 120 displays an image showing the road shape ahead of the vehicle, an image showing the vehicle, and an image showing the surrounding vehicle in the surrounding detection information display area 600-1 (step S200).
  • the HMI control unit 120 causes the driving support state display area 620-1 to display an image indicating the degree of driving support and an image related to an operation requested by the occupant (step S202).
  • the HMI control unit 120 displays in the driving support start operation guide area 640-1 information that guides the occupant's operation for starting driving support (step S204). Thereby, the processing of this flowchart ends.
  • FIG. 21 is a flowchart illustrating an example of display control processing when an event in which the behavior of the host vehicle M changes occurs.
  • the process of FIG. 21 is repeatedly executed during execution of the driving assistance of the second degree or the third degree.
  • the automatic operation control unit 300 determines whether an event that changes the behavior of the host vehicle M occurs due to the automatic operation (step S300).
  • the HMI control unit 120 displays a first image before the behavior of the host vehicle M is generated as an image showing the occurrence of an event accompanied by a change in the behavior of the host vehicle M. It is displayed at the timing (step S302).
  • the HMI control unit 120 determines whether or not the second timing before the change of the behavior of the host vehicle M has been reached (step S304).
  • the HMI control unit 120 waits until the second timing is reached, and when the second timing is reached, An image indicating the occurrence of an event accompanied by a change in the behavior of the vehicle M is highlighted (step S306). Thereby, the processing of this flowchart ends.
  • the processing of FIG. 21 can make it easier for the occupant to grasp the timing when the behavior of the vehicle changes.
  • FIG. 22 is a diagram illustrating various scenes from when the driving assistance is performed with respect to the host vehicle M at the third degree and then after the third degree is performed with the driving assistance at the second degree.
  • the scene (4) is a scene where the driving assistance of the host vehicle M is switched from the second degree to the third degree as the host vehicle M follows the surrounding vehicle m in a traffic jam.
  • Scene (5) is a scene in which the host vehicle M is executing low-speed following traveling, which is an example of driving assistance of the third degree.
  • Low-speed following traveling (TJP; TrafficTrJam Pilot) is a control mode for following a preceding vehicle at a predetermined speed or less.
  • the predetermined speed is (for example, 60 [km / h] or less).
  • the low-speed following traveling is activated when the speed of M of the host vehicle is equal to or lower than a predetermined speed and the distance between the vehicle and the preceding vehicle m is within a predetermined distance (confirmation).
  • the low-speed follow-up running may be performed under a predetermined speed or below or following the preceding vehicle.
  • a scene (6) is a scene where the driving assistance of the own vehicle M is switched from the third degree to the second degree. The display control corresponding to each of the scenes (4) to (6) will be described below.
  • the automatic driving control unit 300 has not yet reached the low-speed following traveling and performs the acceleration control of the host vehicle M.
  • the HMI control unit 120 displays a screen corresponding to driving assistance on one or both of the first display unit 450 and the HUD 460.
  • FIG. 23 is a diagram illustrating an example of the third screen IM3-6 and the fourth screen IM4-6 displayed during acceleration control of the host vehicle M.
  • the HMI control unit 120 displays an image 608 indicating that acceleration control is being executed in the periphery detection information display area 600-6 of the third screen IM3-6.
  • An image 608 is a graphic showing acceleration of the host vehicle M.
  • the image 608 is displayed in front of an image showing the host vehicle M.
  • the HMI control unit 120 displays the image 608 in the display mode with the outer frame added at the first timing before the host vehicle M accelerates, and at the second timing before the host vehicle M accelerates.
  • the inside of the outer frame of the image may be displayed in a colored display mode.
  • the HMI control unit 120 may display an animation such that the image 608 moves toward the traveling direction of the host vehicle during acceleration.
  • the HMI control unit 120 may display an animation such that the image 608 moves toward the host vehicle M during deceleration.
  • the HMI control unit 120 displays the same information as the fourth screen IM4-5 on the fourth screen IM4-6 of the HUD 460.
  • the HMI control unit 120 displays a screen corresponding to the low-speed following traveling on the first display unit 450 and the HUD 460.
  • FIG. 24 is a diagram showing an example of the third screen IM3-7 and the fourth screen IM4-7 displayed during low-speed following traveling.
  • the HMI control unit 120 displays a periphery detection image 610A indicating that the third degree of driving support is being executed in the periphery detection information display region 600-7.
  • the periphery detection image 610A is an image indicating that the surroundings of the host vehicle M are being monitored by, for example, the camera 10, the radar device 12, the finder 14, the object recognition device 16, and the external environment recognition unit 321.
  • the periphery detection image 610A is an animation in which ripples spread from the center of the host vehicle M toward the outside, for example.
  • the HMI control unit 120 displays an indicator “Eyes Off” indicating that the host vehicle M does not impose the occupant's surrounding monitoring obligation in the driving support state display area 620-7 of the third screen IM3-7.
  • An image of an indicator “Hands OFF” indicating that the operation of the driving operator 80 is not required is highlighted.
  • the HMI control unit 120 monitors the surroundings of the host vehicle M in the driving assistance state display area 620-7 by the camera 10, the radar device 12, the finder 14, the object recognition device 16, and the external environment recognition unit 321.
  • An image 626 indicating that the image is displayed is displayed.
  • the HMI control unit 120 displays, on the fourth screen IM4-7 of the HUD 460, the periphery detection image indicating that the third degree of driving support is being executed in addition to the same information as the fourth screen IM4-6 610B is displayed.
  • the surrounding detection image 610B is an animation in which ripples spread from the center of the host vehicle M toward the outside, for example.
  • the HMI control unit 120 links one or both of the operation speed and the operation cycle of the periphery detection image 610A displayed on the third screen IM3-7 and the periphery detection image 610B displayed on the fourth screen IM4-8. .
  • the occupant can intuitively grasp that the periphery detection image 610A displayed on the third screen IM3-7 and the periphery detection image 610B displayed on the fourth screen IM4-8 are the same information. it can.
  • the HMI control unit 120 displays the peripheral detection image displayed on the fourth screen IM4-8, with the display mode thinned out from the display mode (detailed display mode) of the animation in the peripheral detection image 610A displayed on the third screen IM3-7. It is good also as a display mode (simple display mode) of 610B.
  • the HMI control unit 120 sets the display mode in which one or both of the operation speed and the operation cycle of the dynamic object (circular ripples) of the periphery detection image 610A displayed in the detailed display mode are delayed as the simple display mode. To do.
  • the HMI control unit 120 may use a display mode in which the number of dynamic objects in the detailed display mode is reduced as a simple display mode.
  • the HMI control unit 120 displays the range of the visual field of the outside world to be displayed in the peripheral detection information display area 600-7 of the third screen IM3-7 as a detailed display mode and the fourth screen IM4-8 as a simple display mode.
  • the range of the visual field of the outside world may be varied.
  • the range of the visual field of the outside world is a range determined by the direction in which the outside world is viewed from the occupant and how much the zoom is viewed.
  • the size (for example, the maximum radius) of the annular dynamic object corresponds to the range of the external field of view in each image.
  • the HMI control unit 120 performs control for notifying the occupant of usable devices among the various devices of the HMI 400.
  • the third display unit 470 can be used when the automatic driving control unit 300 is performing driving assistance according to the third degree.
  • the HMI control unit 120 causes the light emitting unit 472 provided in a part or the vicinity of the third display unit 470 to emit light in a predetermined color.
  • the HMI control unit 120 displays the first display area 476 among the display areas of the screen in the third display unit 470 as shown in FIG. It may be displayed in one or both of a predetermined color or a predetermined shape.
  • the HMI control unit 120 emits light emitted from the third operation unit 440.
  • the unit 446 is controlled to emit light with a predetermined color.
  • the HMI control unit 120 causes the light emitting unit 472 and the light emitting unit 446 to emit light in the same color.
  • the HMI control unit 120 causes the third display unit 470 to display a screen corresponding to the operation content.
  • the HMI control unit 120 also displays the image of the other party who is talking to the third display unit 470 when the operation switch 422 of the second operation unit 420 is operated while the third display unit 470 is usable. Is displayed. Thereby, the occupant can enjoy a call while looking at the other party displayed on the third display unit 470. That is, the occupant can use a videophone.
  • the HMI control unit 120 associates the image captured by the vehicle interior camera 90 with the occupant's voice acquired by a microphone (not shown) provided in the vehicle interior, so that the other party's vehicle or terminal device Send to.
  • the image sensor included in the vehicle interior camera 90 has sensitivity in the wavelength range of infrared light and visible light.
  • the vehicle interior camera 90 may include a lens filter that blocks infrared light and transmits visible light toward the image sensor.
  • the lens filter is moved to a position where the infrared light incident on the in-vehicle camera 90 is blocked (set position) or a position where the lens filter is not blocked (non-set position) by operating a mechanical mechanism under the control of the HMI control unit 120. Be controlled.
  • the HMI control unit 120 controls the lens filter to the set position, and when the image is used for occupant monitoring, the lens filter is controlled to the non-set position.
  • the image imaged only by visible light is used for a videophone, and the image imaged by visible light and infrared light is used for a passenger
  • an image suitable for the application is acquired.
  • an image without a sense of incongruity is transmitted to the device or the like of the other party.
  • the own vehicle M may be provided with a videophone dedicated camera instead of the in-vehicle camera 90.
  • the HMI control unit 120 associates the image captured by the videophone dedicated camera and the sound acquired by the microphone, and transmits them to the other party's vehicle or terminal device.
  • the automatic driving control unit 300 switches the host vehicle M from the third degree to the second degree of driving assistance because there is no preceding vehicle m that follows at a low speed.
  • the HMI control unit 120 displays information indicating the occupant's monitoring target or operation target requested from the occupant based on the change in the degree of driving support, as shown in FIG. Displayed on one or both of HUD460.
  • FIG. 25 is a diagram showing an example of the third screen IM3-8 and the fourth screen IM4-8 that are displayed to request the occupant to monitor the surroundings.
  • the HMI control unit 120 has information indicating that the low-speed following driving (“congestion following automatic driving” in the figure) is completed and information indicating that the occupant confirms the surrounding traffic situation in the vicinity detection information display area 600-8. Is displayed.
  • the HMI control unit 120 displays a forward gaze request image 650 that requests the occupant to gaze ahead of the host vehicle M on the fourth screen IM4-8.
  • the forward gaze request image 650 is an image including an elliptical area indicating a predetermined area in front of the vehicle M. Further, the forward gaze request image 650 may have a predetermined shape such as a circle or a rectangle, or may be information such as a mark or a symbol character that alerts the occupant.
  • the HMI control unit 120 lights or blinks the forward gaze request image 650 in a predetermined color. Further, the HMI control unit 120 may prompt the occupant to gaze forward by causing the LED incorporated in the instrument panel to emit light and reflecting the light emission of the LED by the front windshield or the reflecting unit.
  • the occupant state monitoring unit 140 determines whether the occupant is monitoring the surroundings based on the captured image of the in-vehicle camera 90. When it is determined that the occupant is monitoring the periphery, the switching control unit 110 causes the automatic driving control unit 300 to switch the driving assistance of the host vehicle M from the third degree to the second degree. As shown in FIG. 26, the HMI control unit 120 causes one or both of the first display unit 450 and the HUD 460 to display a screen corresponding to driving assistance based on the second degree.
  • FIG. 26 is a diagram illustrating an example of the third screen IM3-9 and the fourth screen IM4-9 when the third degree is switched to the second degree.
  • the host vehicle M accelerates to a target speed (for example, 80 [km / h]) determined by the action plan generation unit 323 with the second degree of driving assistance.
  • the HMI control unit 120 displays, for example, an image 608 indicating that acceleration control is being executed in the periphery detection information display area 600-9 of the third screen IM3-9.
  • the HMI control unit 120 highlights the “Hands OFF” image corresponding to the second degree of driving assistance of the host vehicle M in the driving assistance state display area 620-9 of the third screen IM3-9. .
  • the HMI control unit 120 displays a requested action notification image 622 indicating the operation contents of the occupant corresponding to the second degree of driving assistance in the driving assistance state display area 620-9. As a result, the occupant can intuitively grasp that the driving assistance of the host vehicle M has been switched from the third degree to the second degree.
  • FIG. 27 is a flowchart showing an example of the flow of processing executed by the HMI control unit 120 in scenes (4) to (6).
  • the HMI control unit 120 determines whether or not the automatic driving control unit 300 has started low-speed following traveling (step S400). When the low-speed following traveling is started, the HMI control unit 120 displays an image indicating that the third degree of driving assistance is being executed on the third screen IM3 and the fourth screen IM4 (step S402). Next, the HMI control unit 120 causes the light emitting unit provided in the device that can be used by the third degree of driving support to emit light (step S404).
  • the HMI control unit 120 determines whether or not the automatic driving control unit 300 ends the low-speed following traveling of the host vehicle M (step S406).
  • the image display and the light emission of the light emitting unit are continued by the processes of steps S402 and S404. That is, in the process of S404, the HMI control unit 120 continues the light emission of the light emitting unit provided in the device while the device is usable.
  • the HMI control unit 120 displays information for allowing the occupant to perform the periphery monitoring on the third screen IM3 and the fourth screen IM4 (step S408).
  • the HMI control unit 120 displays an image indicating that the second degree of driving assistance is being executed (step S410). Thereby, the processing of this flowchart ends.
  • the HMI control unit 120 is used when the vehicle is not stopped or the degree of driving assistance is not the third degree.
  • the use restriction of the specific function that deviates from the periphery is performed, and when the vehicle is stopped or the degree of driving support is the third degree, the use restriction of the specific function is canceled.
  • the specific function is, for example, a function that includes a videophone function and displays content that is not related to control of the host vehicle M or traveling on the third display unit 470.
  • the content not related to the control of the host vehicle M or traveling is, for example, an image stored on a DVD viewed by an occupant as entertainment, an image transmitted from a broadcasting station (TV image), or a call partner in a videophone It is the image etc. which show.
  • FIG. 28 is a flowchart showing a flow of execution processing of a specific function by the HMI control unit 120.
  • the specific function is described as being a videophone function.
  • the videophone function is a function for transmitting and receiving images (real-time images) and voices and making a call while watching an image showing a call partner.
  • the image of the other party is displayed on the third display unit 470.
  • the HMI control unit 120 controls the communication device 20 to establish communication with the communication device of the other party of the call, thereby transmitting and receiving information including images and sounds, thereby realizing a videophone function.
  • the HMI control unit 120 determines whether or not the host vehicle M is stopped based on the information acquired from the driving support control unit 200 and the automatic driving control unit 300 (step S500). When the host vehicle M is stopped, the HMI control unit 120 cancels the use restriction of the videophone function (step S502). Thereby, the passenger can use the videophone function.
  • the HMI control unit 120 determines whether or not the own vehicle M is traveling at a low speed following based on the information acquired from the automatic driving control unit 300 (step S504).
  • the HMI control unit 120 cancels the use restriction of the videophone function (step S502). Thereby, the passenger can use the videophone.
  • the HMI control unit 120 permits the use of only voice (step S506). Thereby, the process of one routine of this flowchart is completed.
  • FIG. 29 is a diagram illustrating an example of a state in which an image displayed on the third display unit 470 changes depending on the degree of driving.
  • FIG. 29A for example, when the third degree of driving support is being executed, the video of the other party is displayed on the third display unit 470, and the voice of the other party is output from the speaker. . Thereby, the passenger can use the videophone.
  • FIG. 29B for example, when the driving assistance at the third degree is changed to driving assistance at another degree or manual driving, it is displayed on the third display unit 470.
  • FIG. 29A for example, when the third degree of driving support is being executed, the video of the other party is displayed on the third display unit 470, and the voice of the other party is output from the speaker. .
  • the passenger crew can monitor the periphery of the own vehicle M.
  • the HMI control unit 120 shifts the driving assistance to the third degree, and the passenger of the host vehicle M does not need to monitor the surroundings (when it reaches time T4 in FIG. 37 described later).
  • the specific function can be more appropriately controlled by releasing the restriction on the use of the specific function.
  • FIG. 30 is a diagram illustrating various scenes until the host vehicle M is switched from driving assistance of the second degree to traveling by manual driving.
  • the scene (7) is a scene in which the host vehicle M changes the lane for exiting the highway based on the action plan.
  • Scene (8) is a scene in which the host vehicle M switches to manual operation.
  • the scene (9) is a scene in which the host vehicle M moves from a highway to a general road by manual operation.
  • display control corresponding to each of the scenes (7) to (9) will be described.
  • the automatic driving control unit 300 performs driving support for the host vehicle M to change the lane to the left side.
  • the HMI control unit 120 displays a screen corresponding to driving assistance on one or both of the first display unit 450 and the HUD 460.
  • the contents of the lane change to the right lane of the host vehicle M shown in FIGS. 17 and 18 are replaced with the lane change to the left lane. In order to do so, the specific explanation here is omitted.
  • the automatic driving control unit 300 performs control for the host vehicle M to switch to manual driving.
  • the HMI control unit 120 displays an image for causing the occupant to perform the manual operation on one or both of the first display unit 450 and the HUD 460.
  • FIG. 31 is a diagram showing an example of the third screen IM3-10 and the fourth screen IM4-10 displayed at the time of a request for switching to manual operation. Since the exit of the highway is approaching, the HMI control unit 120 requests the occupant to operate the steering wheel 82 in the periphery detection information display area 600-10 on the third screen IM3-10. Is displayed. Further, the HMI control unit 120 may display an animation such that an image showing the occupant's hand approaches from the image showing the steering wheel 82 as the requested action notification image 628.
  • the HMI control unit 120 displays the “Hands OFF” image corresponding to the second degree of driving assistance and the first degree of driving assistance in the driving assistance state display area 620-10 of the third screen IM3-10.
  • the image of “Assist” corresponding to is highlighted.
  • the HMI control unit 120 determines whether or not the occupant is holding the steering wheel 82 based on the determination result of the operator state determination unit 130.
  • the HMI control unit 120 determines one or both of the first display unit 450 and the HUD 460 when the operator state determination unit 130 determines that the occupant is not holding the steering wheel 82 even after a predetermined time has elapsed.
  • an image for intensifying the warning step by step and causing the occupant to perform manual operation is displayed.
  • FIG. 32 is a diagram illustrating an example of the third screen IM3-11 and the fourth screen IM4-11 in which a warning for causing the occupant to perform manual driving is strengthened.
  • the HMI control unit 120 emphasizes the driving support state display area 600-11 on the third screen IM-11 more than the display of the surrounding situation of the host vehicle M, and monitors the occupant to be monitored or operated. Information that suggests is displayed. Specifically, the HMI control unit 120 displays an image showing the road shape ahead of the host vehicle M, an image showing the host vehicle M, the host vehicle M in the driving support state display area 600-11 of the third screen IM-11. Instead of the image indicating the future trajectory, information indicating that the occupant's steering wheel 82 is operated is superimposed and displayed.
  • the HMI control unit 120 displays a request action notification image 660 that schematically shows the positional relationship between the steering wheel 82 and the occupant's hand on the fourth screen IM4-11.
  • the HMI control unit 120 may display an animation such that the image indicating the occupant's hand approaches and grips the image indicating the steering wheel 82 as the requested action notification image 660.
  • the HMI control unit 120 may give a warning by voice or the like in order to cause the occupant to hold the steering wheel 82.
  • the HMI control unit 120 causes the light emitting units 430R and 430L provided on the steering wheel 82 to emit light, blink, or stop light emission so that the occupant can hold the steering wheel 82. As a result, it is possible to make it easier for the occupant to recognize the content required of the occupant with the change in the degree of driving assistance.
  • the HMI control unit 120 changes the light emission state of the light emitting units 430R and 430L to the light emission before the degree changes. Different from the state. For example, when the HMI control unit 120 requests the occupant to hold the steering wheel 82 in a state where the light emitting units 430R and 430L emit light and blink according to the degree of driving assistance of the host vehicle M, for example.
  • the light emission states of the light emitting units 430R and 430L are different from the current light emission state.
  • the HMI control unit 120 changes at least one of light emission, blinking, light emission color, and light emission luminance of the light emitting units 430R and 430L with respect to the current light emission state.
  • the HMI control unit 120 emits and blinks the light emitting unit in either state of driving support execution or when an operation request is made to the occupant, and when driving support is executed or when an operation request is made to the occupant.
  • At least one of light emission, blinking, light emission color, or light emission luminance is made different.
  • the HMI control unit 120 causes the light emitting units 430R and 430L to emit light, blink, or stop light emission when the degree of driving assistance changes to a lower degree than the current degree of driving assistance. Thereby, it is possible to inform the occupant that the driving assistance is highly necessary to hold the steering wheel 82.
  • the HMI control unit 120 increases the warning step by step when the operator state determination unit 130 determines that the occupant is not holding the steering wheel 82 after a predetermined time has elapsed. May be output. Further, the HMI control unit 120 may actuate a vibration unit that vibrates the seat or the seat belt, and may vibrate the seat or the seat belt with a stepwise strength to give a warning.
  • FIG. 33 is a diagram for explaining that the passenger is warned by vibrating the seat belt.
  • a seat 480 of the host vehicle M for example, a seat 480 of the host vehicle M, a seat belt device 482, and a vibration unit 484 are provided.
  • the seat belt device 482 is a so-called three-point seat belt device.
  • the seat belt device 482 includes, for example, a seat belt 482A, a winding portion 482B that winds up the seat belt 482A, an anchor 482C that fixes the seat belt 482A at a predetermined position of the seat 480, and a tongue provided on the seat belt 482A. And a buckle 482D that can be attached to and detached from the vehicle.
  • the vibration unit 484 vibrates the seat belt with a predetermined cycle and a predetermined strength under the control of the HMI control unit 120.
  • the HMI control unit 120 operates the vibration unit 484 at a timing when the occupant grips the steering wheel 82. Thus, the occupant can intuitively grasp that the steering wheel 82 is gripped and the manual operation is started.
  • the operator state determination unit 130 determines that the occupant does not hold the steering wheel 82 after a predetermined time has elapsed since the HMI control unit 120 performed the display shown in FIG. 32, the HMI control unit 120 As shown in FIG. 34, a screen to end the driving assistance (for example, automatic driving) is displayed.
  • the driving assistance for example, automatic driving
  • FIG. 34 is a diagram illustrating an example of the third screen IM3-12 and the fourth screen IM4-12 that display information indicating that automatic driving is to be terminated.
  • the HMI control unit 120 displays the image showing the road shape ahead of the host vehicle M, the image showing the host vehicle M, and the future track of the host vehicle M in the driving support state display area 600-12 of the third screen IM-12.
  • the information for prompting the change of the driving operation is displayed so as to be overlaid on the displayed image to end the automatic driving.
  • the HMI control unit 120 highlights the “Hands Off” image in the driving support state display area 620-12 of the third screen IM3-12, but the color is different from the highlight display shown in FIG. Etc., and may be highlighted.
  • the HMI control unit 120 displays a requested action notification image 660 that schematically shows the positional relationship between the steering wheel 82 and the occupant's hand on the fourth screen IM4-12.
  • the HMI control unit 120 issues a warning with a stronger voice or the like than the display on the third screen IM3-11 and the fourth screen IM4-12 shown in FIG. 30 in order to cause the occupant to hold the steering wheel 82. May be.
  • the HMI control unit 120 may turn on or blink the light emitting units 430R and 430L in order to allow the occupant to hold the steering wheel 82.
  • the HMI control unit 120 shortens the blinking cycle in order to increase the warning, or turns on or blinks the light emitting units 430R and 430L with a plurality of colors.
  • the HMI control unit 120 operates the vibrating unit 484 at the timing when the third screen IM3-12 is displayed on the first display unit 450 and the fourth screen IM4-12 is displayed on the HUD 460, for example.
  • the belt 482A may be vibrated.
  • the HMI control unit 120 causes the vibration unit 484 to vibrate more strongly than the vibration of the seat belt 482A when images are displayed on the third screen IM3-11 and the fourth screen IM4-11. May be activated. Thereby, the passenger
  • the master control unit 100 causes the automatic driving control unit 300 to perform automatic driving for emergency stop of the host vehicle M at a predetermined position (for example, a road shoulder or the nearest parking area).
  • a predetermined position for example, a road shoulder or the nearest parking area.
  • the HMI control unit 120 displays on the third screen IM3-13 a screen indicating that the emergency stop of the host vehicle M is to be executed by automatic driving.
  • FIG. 35 is a diagram illustrating an example of the third screen IM3-13 and the fourth screen IM4-13 when the host vehicle M is in an emergency stop.
  • the HMI control unit 120 displays information indicating that an emergency stop is performed in the driving support state display area 600-13 of the third screen IM3-13. Note that the notification of the mode of the third screen IM3-13 is a stronger alarm than the notifications of the modes of the third screens IM3-10 to IM3-12.
  • ⁇ Scene (9)> In the scene (9), when an occupant receives an instruction to grip the steering wheel 82, the steering wheel 82 is gripped by the time the driving support is finished, manual driving is started, and the general road is entered from the expressway. It is a scene.
  • the switching control unit 110 switches the traveling state of the host vehicle M to a state performed by the occupant's manual operation.
  • the HMI control unit 120 displays the first screen IM1-1 on the first display unit 450 and displays the second screen IM1-2 on the HUD 460.
  • FIG. 36 is a flowchart showing an example of the flow of processing executed by the HMI control unit 120 in scenes (7) to (9).
  • the HMI control unit 120 notifies the occupant of the host vehicle M of a predetermined action (for example, gripping the steering wheel 82) when the automatic driving is being executed.
  • a predetermined action for example, gripping the steering wheel 82
  • the notification mode is changed so that the notification is emphasized step by step, and the output unit outputs the notification.
  • the output unit is a display unit that displays an image, a speaker that outputs sound, or the like.
  • the predetermined action is to hold the steering wheel 82 as an example, but instead (in addition), the occupant monitors the surroundings or the driving operator 80 (for example, a foot may be placed so that an occupant can operate an accelerator pedal or a brake pedal.
  • the HMI control unit 120 determines whether or not to end driving support (step S600).
  • the HMI control unit 120 displays an image (for example, for urging the occupant to hold the steering wheel 82 in a state where the image indicating the trajectory on which the host vehicle M travels is maintained on the first display unit 450.
  • the screen IM3-10) is displayed (step S602).
  • the HMI control unit 120 determines whether or not the occupant grips the steering wheel 82 within the first predetermined time based on the determination result by the operator state determination unit 130 (step S604).
  • the HMI control unit 120 displays the first screen IM1 on the first display unit 450 (step S606), and the HUD 460 displays the second screen. IM2 is displayed (step S608). That is, in the processing of step S606 and step S608, the HMI control unit 120 returns the screen displayed on the first display unit 450 and the HUD 460 to the screen before the main switch 412 is pressed. In addition to or instead of the process of step S606 or step S608, the HMI control unit 120 may return the state of the main switch 412 to the state before the switch is pressed.
  • step S604 If it is not determined in step S604 that the occupant has gripped the steering wheel within the first predetermined time, the HMI control unit 120 displays an icon indicating the track on which the host vehicle M travels on the first display unit 450. Instead, an image (for example, screen IM3-11) indicating that the passenger is requested to hold the steering wheel 82 is displayed (step S610).
  • an image for example, screen IM3-11
  • the HMI control unit 120 determines whether or not the occupant grips the steering wheel 82 within the second predetermined time based on the determination result by the operator state determination unit 130 (step S612). When it is determined that the occupant has gripped the steering wheel within the second predetermined time, the HMI control unit 120 displays the first screen IM1 on the first display unit 450 (step S606) and causes the HUD 460 to display the second screen. IM2 is displayed (step S608).
  • step S612 if it is not determined that the occupant has gripped the steering wheel within the second predetermined time, the HMI control unit 120 displays an image (for example, the first display unit 450) indicating that driving assistance is ended. 3 screens IM3-12) are displayed (step S614). At this time, the HMI control unit 120 operates the vibration unit 484 that vibrates the seat belt 482A.
  • the sheet 480 may be provided with a vibration unit that vibrates the sheet 480. In this case, if it is not determined that the occupant has gripped the steering wheel within the second predetermined time, the HMI control unit 120 may activate the vibration unit provided in the seat 480.
  • the HMI control unit 120 determines whether or not the occupant grips the steering wheel 82 within the third predetermined time based on the determination result by the operator state determination unit 130 (step S616). When it is determined that the occupant has gripped the steering wheel within the third predetermined time, the HMI control unit 120 displays the first screen IM1 on the first display unit 450 (step S606) and causes the HUD 460 to display the second screen. IM2 is displayed (step S608).
  • step S616 If it is not determined in step S616 that the occupant has gripped the steering wheel within the third predetermined time, the HMI control unit 120 causes the first display unit 450 to execute an emergency stop of the host vehicle M. Is displayed (step S618). Thereby, the processing of this flowchart ends.
  • FIG. 37 is a diagram for describing switching timings of various devices or controls related to driving support.
  • FIG. 37 as switching related to driving support, (A) ON / OFF of the main switch 412, (B) ON / OFF of the auto switch 414, (C) ON / OFF of the manual operation mode display, (D) driving ON / OFF of support mode display, (E) ON / OFF of driving assistance at first degree, (F) Driving / not holding steering wheel 82, (G) Driving assistance at second degree ON / OFF, (H) ON / OFF of driving assistance at the third degree, and (I) switching timing with respect to the passage of time required / unnecessary for passenger driving monitoring.
  • the host vehicle M is traveling due to the manual operation of the passenger.
  • the main switch 412 and the auto switch 414 are not operated, and the screens in the manual operation mode (the first screen IM1 and the second screen IM2) are displayed on the first display unit 450 and the HUD 460.
  • driving assistance first degree to third degree
  • the host vehicle M is not performed, and the occupant needs to grasp the steering wheel 82 and monitor the surroundings.
  • an operation to turn on the main switch 412 is performed by a passenger.
  • the screen (the third screen IM3, the fourth screen IM4) in the driving support mode is displayed on the first display unit 450 and the HUD 460.
  • the driving control by the driving assistance is not performed, and the manual driving is continued.
  • an operation to turn on the auto switch 414 is performed by a passenger.
  • the master control unit 100 causes the driving support control unit 200 to execute the first degree of driving support.
  • the HMI control unit 120 displays an image indicating that the second degree of driving support is executed by releasing the hand from the steering wheel 82.
  • the switching control unit 110 causes the driving assistance of the second degree by the automatic driving control unit 300 to be executed from the driving assistance of the first degree by the driving assistance control unit 200.
  • the third degree of driving assistance is executed. In this case, it is not necessary to monitor the occupant's surroundings.
  • the third degree of driving assistance ends, and the second degree of driving assistance switches. Therefore, it is necessary to monitor the occupants' surroundings.
  • a display for switching from the second degree of driving assistance to manual driving is performed.
  • the HMI control unit 120 displays information for causing the occupant to hold the steering wheel 82 in the driving support mode display.
  • the switching control unit 110 switches from the second degree of driving assistance by the automatic driving control unit 300 to the first degree of driving assistance by the driving assistance control unit 200. Further, the switching control unit 110 switches to manual driving after the first degree of driving support has elapsed for a predetermined time.
  • the host vehicle M is switched to manual operation.
  • the main switch 412 and the auto switch 414 are switched off in response to the timing at which the host vehicle M switches to manual operation.
  • FIG. 38 is a diagram for describing driving assistance switching control according to the embodiment.
  • the driving control of the host vehicle M according to the embodiment includes driving control by driving assistance of the first to third degrees and driving control by manual driving of the occupant.
  • the switching control unit 110 switches the driving control in accordance with the switching patterns shown in FIGS. 38A to 38H based on the traveling state of the host vehicle M and the state of the occupant.
  • the switching control unit 110 switches the driving control of the host vehicle M from manual driving to driving assistance of the first degree.
  • the switching control unit 110 causes the driving support control unit 200 to execute the first degree of driving support.
  • the switching control unit 110 switches from the first degree of driving assistance to the second degree of driving assistance.
  • the switching control unit 110 causes the automatic driving control unit 300 to execute driving assistance of the second degree.
  • the switching control unit 110 switches from the second degree of driving assistance to the third degree of driving assistance.
  • the switching control unit 110 causes the automatic driving control unit 300 to execute a third degree of driving assistance.
  • the switching control unit 110 switches from the third degree of driving assistance to the second degree of driving assistance.
  • the switching control unit 110 causes the automatic driving control unit 300 to execute driving assistance of the second degree.
  • the switching control unit 110 switches from the second degree of driving assistance to the first degree of driving assistance.
  • the switching control unit 110 causes the driving support control unit 200 to execute the first degree of driving support.
  • the switching control unit 110 switches from the first degree of driving assistance to manual driving. In this case, the switching control unit 110 executes operation control by manual operation.
  • the switching control unit 110 switches from the second degree of driving assistance to the manual driving when a predetermined event occurs in the host vehicle M during execution of the second degree of driving assistance.
  • the predetermined event is, for example, when a value received by the automatic operation control unit 300 is different from a value in a predetermined range assumed in advance, or when a signal from another device is cut off, and transmission of a signal to the control target device This is the case where it is impossible.
  • the switching control unit 110 causes the automatic driving control unit 300 to continue the driving assistance of the second degree when the occupant is holding the steering wheel 82 in a specific scene.
  • the specific screen is, for example, a scene in which the host vehicle M travels on a ramp (communication path) such as an interchange or a junction.
  • the switching control unit 110 switches the driving control of the host vehicle M in correspondence with each switching pattern.
  • SYMBOLS 1 ... Vehicle system, 10 ... Camera, 12 ... Radar apparatus, 14 ... Finder, 16 ... Object recognition apparatus, 20 ... Communication apparatus, 50 ... Navigation apparatus, 60 ... MPU, 70 ... Vehicle sensor, 80 ... Driving operator, 90 ... In-vehicle camera, 100 ... Master control unit, 110 ... Switch control unit, 120 ... HMI control unit, 130 ... Operator state determination unit, 140 ... Occupant state monitoring unit, 200 ... Driving support control unit, 300 ... Automatic driving control Unit: 320 ... 1st control part, 340 ... 2nd control part, 400 ... HMI, 500 ... Traveling driving force output device, 510 ... Brake device, 520 ... Steering device, M ... Own vehicle

Abstract

車両制御システムにおいて、互いに異なる複数の度合で車両の運転支援を実行する運転支援制御部と、情報を出力する情報出力部と、前記運転支援制御部による運転支援の度合の変化に基づいて、乗員に要求する前記乗員の監視対象または操作対象を示唆する情報を出力するように前記情報出力部を制御する出力制御部と、を備える。

Description

車両制御システム、車両制御方法、およびプログラム
　本発明は、車両制御システム、車両制御方法、およびプログラムに関する。
　車両の加減速または操舵の少なくとも一方を自動的に制御して車両を走行させる技術（以下、「自動運転」と称する）についての研究が進められている。これに関連して、自動運転車両のシステム状態に基づいて自動運転レベルを判断し、その自動運転レベルに応じて、車両の操作部の画像および操作部を操作する人の部分の画像を、同時に表示部に表示させる技術が開示されている（例えば、特許文献１参照）。
特開２０１５－１８２６２４号公報
　しかしながら、従来技術の手法では、乗員の行動を示す画像が表示部に表示されるだけであるため、車両から要求されている内容を乗員が瞬時に認識するのが困難な場合があった。
　本発明は、このような事情を考慮してなされたものであり、運転支援の度合の変化に伴って乗員に要求する内容を、乗員に認識し易く提示することができる車両制御システム、車両制御方法、およびプログラムを提供することを目的の一つとする。
　（１）：互いに異なる複数の度合で車両の運転支援を実行する運転支援制御部（２００、３００）と、情報を出力する情報出力部（４００）と、前記運転支援制御部による運転支援の度合の変化に基づいて、乗員に要求する前記乗員の監視対象または操作対象を示唆する情報を出力するように前記情報出力部を制御する出力制御部（１２０）と、を備える車両制御システムである。
　（２）：（１）において、前記情報出力部は、前記車両のフロントウインドシールドまたは前記フロントウインドシールド近傍に設けられる反射部で、所定の光源からの光を反射させる反射表示部（４６０）を含み、前記出力制御部は、前記運転支援制御部による運転支援の度合が、前記乗員に前記車両の前方を注視させることを要求する度合に変化する場合に、前記反射表示部に所定の動作をさせる。
　（３）：（１）または（２）において、前記車両の手動運転時に前記乗員が操作する運転操作子（８０）を更に備え、前記情報出力部は、前記運転操作子に設けられる発光部（４３０）であり、前記出力制御部は、前記運転支援制御部による運転支援の度合が、前記乗員に運転操作子を操作することを要求する度合に変化する場合に、前記運転操作子に設けられた発光部を発光、点滅、または発光を停止させる。
　（４）：（１）または（２）において、前記車両の手動運転時に前記乗員が操作する運転操作子を更に備え、前記情報出力部は、前記運転操作子に設けられる発光部であり、前記出力制御部は、前記運転支援制御部による前記運転支援の度合に応じて前記発光部を発光、点滅、または発光を停止させ、更に前記運転支援の度合が、前記乗員に運転操作子を操作することを要求する度合に変化する場合に、前記発光部の発光状態を変化する前の発光状態とは異ならせる。
　（５）：（４）において、前記出力制御部は、前記運転支援の実行時と前記乗員への操作要求時とのいずれの状態でも前記発光部の発光、点滅を行い、前記運転支援の実行時時と前記乗員への操作要求時とで、互いの発光、点滅、発光色、または発光輝度のうち少なくとも一つを異ならせる。
　（６）：（３）～（５）のうち何れか一つにおいて、前記出力制御部は、前記運転支援の度合が、変化する前の運転支援の度合よりも低い度合に変化する場合に、前記発光部の発光、点滅、または発光を停止させる。
　（７）：（１）～（６）のうち何れか一つにおいて、前記乗員をシートに着座させた状態でシートベルト（４８２Ａ）によって保持するシートベルト装置（４８２）と、前記シートベルトを振動させる振動部（４８４）と、を更に備え、前記出力制御部は、前記運転支援制御部による運転支援の度合が変化する場合に前記振動部を作動させる。
　（８）：（１）～（７）のうち何れか一つにおいて、前記乗員の状態を監視する乗員状態監視部（１３０、１４０）を更に備え、前記出力制御部は、前記乗員状態監視部により前記乗員が所定の動作を行ったと判定されるまで、前記乗員に要求する前記乗員の監視対象または操作対象を示唆する情報の出力を継続する。
　（９）：（８）において、前記車両の周辺状況を認識する外界認識部（３２１）を更に備え、前記情報出力部は、運転支援に関する情報を表示する表示部（４５０）を含み、前記出力制御部は、前記運転支援の度合に対応させて前記外界認識部により認識された前記車両の周辺状況を前記表示部に表示させ、前記運転支援制御部による運転支援の度合が変化する場合に、前記乗員状態監視部により前記乗員が所定の動作を行ったと判定されるまで、前記車両の周辺状況の表示よりも強調して前記乗員に要求する前記乗員の監視対象または操作対象を示唆する情報を前記表示部に表示させる。
　（１０）：車載コンピュータが、互いに異なる複数の度合で車両の運転支援を実行し、前記運転支援の度合の変化に基づいて、乗員に要求する前記乗員の監視対象または操作対象を示唆する情報を出力するように情報出力部を制御する車両制御方法である。
　（１１）：車載コンピュータに、互いに異なる複数の度合で車両の運転支援を実行させ、前記運転支援の度合の変化に基づいて、乗員に要求する前記乗員の監視対象または操作対象を示唆する情報を出力するように情報出力部を制御させるプログラムである。
　（１）～（１１）によれば、運転支援の度合の変化に伴って乗員に要求する内容を、乗員に認識し易く提示することができる。
実施形態の車両制御システムを含む車両システム１の構成図である。 自車位置認識部３２２により走行車線Ｌ１に対する自車両Ｍの相対位置および姿勢が認識される様子を示す図である。 推奨車線に基づいて目標軌道が生成される様子を示す図である。 車線変更の際の処理について説明するための図（その１）である。 車線変更の際の処理について説明するための図（その２）である。 自車両ＭにおけるＨＭＩ４００の一例を示す図である。 第３の表示部４７０と発光部４７２の位置関係の一つの側面を例示した図である。 第３の表示部４７０と発光部４７２の位置関係の他の側面を例示した図である。 第３の表示部４７０の画面の一部の領域を用いて、第３の表示部４７０が使用可能であること通知することについて説明するための図である。 自車両Ｍが手動運転から自動運転が開始され、自動運転による車線変更が実行されるまでの各種場面を示す図である。 手動運転時に表示される第１画面ＩＭ１－１および第２画面ＩＭ２－１の一例を示す図である。 メインスイッチ４１２が操作されたことで表示される第３画面ＩＭ３－１および第４画面ＩＭ４－１の一例を示す図である。 オートスイッチ４１４が操作されたときに、第１の表示部４５０およびＨＵＤ４６０に表示される画面ＩＭ３－２およびＩＭ４－２の一例を示す図である。 第１の度合の運転支援の実行時に運転支援状態表示領域６２０－２に表示される画像の一例を示す図である。 アクセルペダルと乗員の足とを含む要求動作通知画像６２３の表示例を示す図である。 第２の度合の運転支援中において、第１の表示部４５０およびＨＵＤ４６０に表示される画面の一例を示す図である。 車線変更の開始時に表示される第３画面ＩＭ３－４および第４画面ＩＭ４－４の一例を示す図である。 車線変更の実行中に表示される第３画面ＩＭ３－５および第４画面ＩＭ４－５の一例を示す図である。 場面（１）～（３）において、ＨＭＩ制御部１２０により実行される処理の流れの一例を示すフローチャートである。 ＨＭＩ制御部１２０が第１の表示部４５０に第３画面ＩＭ３－１を表示させる処理の一例を示すフローチャートである。 自車両Ｍの挙動が変化するイベントが発生する場合の表示制御処理の一例を示すフローチャートである。 自車両Ｍに対して第３の度合での運転支援を実行し、その後、第３の度合から第２の度合での運転支援を実行するまでの各種場面を示す図である。 自車両Ｍの加速制御時に表示される第３画面ＩＭ３－６および第４画面ＩＭ４－６の一例を示す図である。 低速追従走行時に表示される第３画面ＩＭ３－７および第４画面ＩＭ４－７の一例を示す図である。 乗員に周辺監視を要求するために表示される第３画面ＩＭ３－８および第４画面ＩＭ４－８の一例を示す図である。 第３の度合から第２の度合に切り替わった場合の第３画面ＩＭ３－９および第４画面ＩＭ４－９の一例を示す図である。 場面（４）～（６）において、ＨＭＩ制御部１２０により実行される処理の流れの一例を示すフローチャートである。 ＨＭＩ制御部１２０による特定機能の実行処理の流れを示すフローチャートである。 運転の度合によって第３の表示部４７０に表示される画像が変化する様子の一例を示す図である。 自車両Ｍを第２の度合の運転支援から手動運転による走行に切り替わるまでの各種場面を示す図である。 手動運転時への切り替え要求時に表示される第３画面ＩＭ３－１０および第４画面ＩＭ４－１０の一例を示す図である。 乗員に手動運転を実行させるための警告を強めた第３画面ＩＭ３－１１および第４画面ＩＭ４－１１の一例を示す図である。 シートベルトを振動させて乗員に警告を行うことについて説明するための図である。 自動運転を終了する旨の情報を表示する第３画面ＩＭ３－１２および第４画面ＩＭ４－１２の一例を示す図である。 自車両Ｍの緊急停止時における第３画面ＩＭ３－１３および第４画面ＩＭ４－１３の一例を示す図である。 場面（７）～（９）において、ＨＭＩ制御部１２０により実行される処理の流れの一例を示すフローチャートである。 運転支援に関連する各種機器または制御の切り替えタイミングについて説明するための図である。 実施形態における運転支援の切り替え制御について説明するための図である。
　以下、図面を参照し、本発明の車両制御システム、車両制御方法、および車両制御プログラムの実施形態について説明する。実施形態では、車両制御システムが自動運転（自律運転）可能な自動運転車両に適用される。自動運転は、乗員による操作を原則として必要としない状態で車両が走行することをいい、運転支援の一種であると考えられる。なお、自動運転車両は手動運転により走行させることもできる。なお、以下の説明において、「乗員」とは、運転席すなわち運転操作子が設けられたシートに着座した乗員を指すものとする。
　本実施形態において、運転支援の度合には、例えば、ＡＣＣ（Adaptive Cruise Control System）やＬＫＡＳ（Lane Keeping Assistance System）等の運転支援装置が作動することで運転支援を実行する第１の度合と、第１の度合よりも制御度合が高く、乗員が車両の運転操作子に対する操作を行わずに、車両の加減速または操舵のうち少なくとも一方を自動的に制御して自動運転を実行するが、乗員に、ある程度の周辺監視義務を課す第２の度合と、第２の度合よりも制御度合が高く、乗員に周辺監視義務を課さない（或いは第２の度合よりも低い周辺監視義務を課す）第３の度合とがあるものとする。本実施形態において、第２の度合および第３の度合の運転支援が自動運転に相当する。
　［全体構成］
　図１は、実施形態の車両制御システムを含む車両システム１の構成図である。車両システム１が搭載される車両（以下、自車両Ｍと称する）は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
　車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、車両センサ７０と、運転操作子８０と、車室内カメラ９０と、マスター制御部１００と、運転支援制御部２００と、自動運転制御ユニット３００と、ＨＭＩ（Human Machine Interface）４００と、走行駆動力出力装置５００と、ブレーキ装置５１０と、ステアリング装置５２０と、とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
　実施形態において「車両制御システム」は、例えば、マスター制御部１００と、運転支援制御部２００と、自動運転制御ユニット３００と、ＨＭＩ４００とを含む。ＨＭＩ制御部１２０は、「出力制御部」の一例である。また、操作子状態判定部１３０と、乗員状態監視部１４０とを組み合わせたものが「乗員状態監視部」の一例である。また、運転支援制御部２００と、自動運転制御ユニット３００とを組み合わせたものが、「運転支援制御部」の一例である。また、ＨＭＩ４００は、「情報出力部」の一例である。
　カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。後方を撮像する場合、カメラ１０は、リアウインドシールド上部やバックドア等に取り付けられる。側方を撮像する場合、カメラ１０は、ドアミラー等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。
　レーダ装置１２は、自車両Ｍの周辺にミリ波等の電波を放射するとともに、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。レーダ装置１２は、ＦＭＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。
　ファインダ１４は、照射光に対する散乱光を測定し、対象までの距離を検出するＬＩＤＡＲ（Light Detection and Ranging、或いはLaser Imaging Detection and Ranging）である。ファインダ１４は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。
　物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識する。物体認識装置１６は、認識結果を運転支援制御部２００および自動運転制御ユニット３００に出力する。
　通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）等を利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。また、通信装置２０は、車外の人物が所持する端末装置と通信する。
　ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備え、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ７０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビＨＭＩ５２は、後述するＨＭＩ４００と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（例えば、目的地まで走行するときの経由地に関する情報を含む）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報等を含んでもよい。経路決定部５３により決定された経路は、ＭＰＵ６０に出力される。また、ナビゲーション装置５０は、経路決定部５３により決定された経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。なお、ナビゲーション装置５０は、例えば、ユーザの保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。また、ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから返信された経路を取得してもよい。
　ＭＰＵ６０は、例えば、推奨車線決定部６１として機能し、ＨＤＤやフラッシュメモリ等の記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、経路において分岐箇所や合流箇所等が存在する場合、自車両Ｍが、分岐先に進行するための合理的な走行経路を走行できるように、推奨車線を決定する。
　第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報等が含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の車線数、非常駐車帯の領域、各車線の幅員、道路の勾配、道路の位置（経度、緯度、高さを含む３次元座標）、車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識等の情報が含まれる。第２地図情報６２は、通信装置２０を用いて他装置にアクセスすることにより、随時、アップデートされてよい。
　車両センサ７０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。
　運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイールその他の操作子を含んでよい。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、マスター制御部１００、運転支援制御部２００、自動運転制御ユニット３００、もしくは、走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０のうち、何れか一つまたは複数に出力される。
　車室内カメラ９０は、例えば、車室内に設置されたシートに着座する乗員（特に、運転席に着座する乗員）の顔を中心に撮像する。車室内カメラ９０は、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。車室内カメラ９０は、例えば、周期的に乗員を撮像する。車室内カメラ９０の撮像画像は、マスター制御部１００に出力される。
　［各種制御装置］
　車両システム１は、制御系の構成の一部として、例えば、マスター制御部１００と、運転支援制御部２００と、自動運転制御ユニット３００とを備える。なお、マスター制御部１００は、運転支援制御部２００または自動運転制御ユニット３００のどちらかに統合されてもよい。
　［マスター制御部］
　マスター制御部１００は、運転支援の度合の切り替えと、それに関連するＨＭＩ４００の制御等を行う。マスター制御部１００は、例えば、切替制御部１１０と、ＨＭＩ制御部１２０と、操作子状態判定部１３０と、乗員状態監視部１４０とを備える。切替制御部１１０、ＨＭＩ制御部１２０、操作子状態判定部１３０、および乗員状態監視部１４０は、それぞれ、ＣＰＵ（Central Processing Unit）等のプロセッサがプログラムを実行することで実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
　切替制御部１１０は、例えば、ＨＭＩ４００に含まれる所定のスイッチ（例えば後述するメインスイッチおよびオートスイッチ）から入力される操作信号に基づいて運転支援の度合を切り替える。また、切替制御部１１０は、例えば、アクセルペダルやブレーキペダル、ステアリングホイール等の運転操作子８０に対する加速、減速または操舵を指示する操作に基づいて、運転支援をキャンセルして手動運転に切り替えてもよい。切替制御部１１０の機能の詳細については後述する。
　なお、切替制御部１１０は、行動計画生成部３２３により生成される行動計画に基づいて、運転支援の度合を切り替えてもよい。例えば、切替制御部１１０は、行動計画によって規定される自動運転の終了予定地点で、運転支援を終了するようにしてもよい。
　ＨＭＩ制御部１２０は、運転支援の度合の切り替えに関連する通知等を、ＨＭＩ４００に出力させる。また、ＨＭＩ制御部１２０は、自車両Ｍに対する所定の事象が発生した場合に、ＨＭＩ４００に出力する内容を切り替える。また、ＨＭＩ制御部１２０は、操作子状態判定部１３０または乗員状態監視部１４０の一方または双方による判定結果に関する情報を、ＨＭＩ４００に出力させてもよい。また、ＨＭＩ制御部１２０は、ＨＭＩ４００により受け付けられた情報を運転支援制御部２００または自動運転制御ユニット３００の一方または双方に出力してもよい。ＨＭＩ制御部１２０の機能の詳細については後述する。
　操作子状態判定部１３０は、例えば、運転操作子８０に含まれるステアリングホイールが操作されている状態（具体的には、現に意図的な操作を行っている場合、直ちに操作可能な状態、または把持状態を指すものとする）であるか否かを判定する。操作子状態判定部１３０の機能の詳細については後述する。
　乗員状態監視部１４０は、車室内カメラ９０の撮像画像に基づいて、自車両Ｍの少なくとも運転席に着座した乗員の状態を監視する。乗員状態監視部１４０は、例えば、監視の一つとして、当該乗員が自車両Ｍの周囲を監視しているか否かを判定する。乗員状態監視部１４０の機能の詳細については後述する。
　［運転支援制御部］
　運転支援制御部２００は、第１の度合の運転支援を実行する。運転支援制御部２００は、例えば、ＡＣＣやＬＫＡＳその他の運転支援制御を実行する。例えば、運転支援制御部２００は、ＡＣＣを実行する際には、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力される情報に基づいて、自車両Ｍと、前走車両との車間距離を一定に保った状態で走行するように走行駆動力出力装置５００およびブレーキ装置５１０を制御する。すなわち、運転支援制御部２００は、前走車両との車間距離に基づく加減速制御（速度制御）を行う。また、運転支援制御部２００は、ＬＫＡＳを実行する際には、自車両Ｍが、現在走行中の走行車線を維持（レーンキープ）しながら走行するようにステアリング装置５２０を制御する。すなわち、運転支援制御部２００は、車線維持のための操舵制御を行う。第１の度合の運転支援の種類に関しては、運転操作子８０への操作を要求しない自動運転（第２の度合および第３の度合）以外の種々の制御を含んでよい。
　［自動運転制御ユニット］
　自動運転制御ユニット３００は、第２の度合および第３の度合の運転支援を実行する。自動運転制御ユニット３００は、例えば、第１制御部３２０と、第２制御部３４０とを備える。第１制御部３２０と、第２制御部３４０とは、それぞれ、ＣＰＵ等のプロセッサがプログラムを実行することで実現される。また、これらの各機能部のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
　第１制御部３２０は、例えば、外界認識部３２１と、自車位置認識部３２２と、行動計画生成部３２３とを備える。
　外界認識部３２１は、自車両Ｍの周辺状況を認識する。例えば、外界認識部３２１は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力される情報に基づいて、周辺車両の位置および速度、加速度等の状態を認識する。周辺車両の位置は、その周辺車両の重心やコーナー等の代表点で表されてもよいし、周辺車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、周辺車両の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。
　外界認識部３２１は、上述した周辺車両、障害物（例えば、ガードレールや電柱、駐車車両、歩行者等の人物）、道路形状、その他の物体のうち、少なくとも一つを認識してもよい。
　自車位置認識部３２２は、例えば、自車両Ｍが走行している車線（走行車線）、並びに走行車線に対する自車両Ｍの相対位置および姿勢を認識する。自車位置認識部３２２は、例えば、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。
　そして、自車位置認識部３２２は、例えば、走行車線に対する自車両Ｍの位置や姿勢を認識する。図２は、自車位置認識部３２２により走行車線Ｌ１に対する自車両Ｍの相対位置および姿勢が認識される様子を示す図である。自車位置認識部３２２は、例えば、自車両Ｍの基準点（例えば重心）の走行車線中央ＣＬからの乖離ＯＳ、および自車両Ｍの進行方向の走行車線中央ＣＬを連ねた線に対してなす角度θを、走行車線Ｌ１に対する自車両Ｍの相対位置および姿勢として認識する。なお、これに代えて、自車位置認識部３２２は、走行車線Ｌ１の何れかの側端部に対する自車両Ｍの基準点の位置等を、走行車線に対する自車両Ｍの相対位置として認識してもよい。自車位置認識部３２２により認識される自車両Ｍの相対位置は、推奨車線決定部６１および行動計画生成部３２３に提供される。
　行動計画生成部３２３は、自車両Ｍが目的地等に対して自動運転を行うための行動計画を生成する。例えば、行動計画生成部３２３は、推奨車線決定部６１により決定された推奨車線を走行するように、且つ、自車両Ｍの周辺状況に対応できるように、自動運転制御において順次実行されるイベントを決定する。実施形態の自動運転におけるイベントには、例えば、一定速度で同じ走行車線を走行する定速走行イベント、低速度（例えば６０［ｋｍ／ｈ］以下）を条件に、前走車両に追従する低速追従イベント、自車両Ｍの走行車線を変更する車線変更イベント、前走車両を追い越す追い越しイベント、合流地点で車両を合流させる合流イベント、道路の分岐地点で自車両Ｍを目的の方向に走行させる分岐イベント、自車両Ｍを緊急停車させる緊急停車イベント等がある。また、これらのイベントの実行中に、自車両Ｍの周辺状況（周辺車両や歩行者の存在、道路工事による車線狭窄等）に基づいて、回避のための行動が計画される場合もある。
　行動計画生成部３２３は、自車両Ｍが将来走行する目標軌道を生成する。目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、所定の走行距離ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。
　図３は、推奨車線に基づいて目標軌道が生成される様子を示す図である。図示するように、推奨車線は、目的地までの経路に沿って走行するのに都合が良いように設定される。行動計画生成部３２３は、推奨車線の切り替わり地点の所定距離手前（イベントの種類に応じて決定されてよい）に差し掛かると、車線変更イベント、分岐イベント、合流イベント等を起動する。各イベントの実行中に、障害物を回避する必要が生じた場合には、図示するように回避軌道が生成される。
　また、行動計画生成部３２３は、車線変更イベントを起動すると、車線変更のための目標軌道を生成する。図４および図５は、車線変更の際の処理について説明するための図である。まず、行動計画生成部３２３は、自車両Ｍが走行する車線（自車線）Ｌ１に対して隣接する隣接車線であって、車線変更先の隣接車線Ｌ２を走行する周辺車両から２台の周辺車両を選択し、これらの周辺車両の間に車線変更ターゲット位置ＴＡｓを設定する。以下、隣接車線において車線変更ターゲット位置ＴＡｓの直前を走行する周辺車両を前方基準車両ｍＢと称し、隣接車線において車線変更ターゲット位置ＴＡｓの直後を走行する周辺車両を後方基準車両ｍＣと称して説明する。車線変更ターゲット位置ＴＡｓは、自車両Ｍと前方基準車両ｍＢおよび後方基準車両ｍＣとの位置関係に基づく相対的な位置である。
　図４の例では、行動計画生成部３２３が車線変更ターゲット位置ＴＡｓを設定した様子を示している。図中、ｍＡは前走車両を表し、ｍＢは前方基準車両を表し、ｍＣは後方基準車両を表している。また、矢印ｄは自車両Ｍの進行（走行）方向を表している。図４の例の場合、行動計画生成部３２３は、隣接車線Ｌ２上において、前方基準車両ｍＢと後方基準車両ｍＣとの間に車線変更ターゲット位置ＴＡｓを設定する。
　次に、行動計画生成部３２３は、車線変更ターゲット位置ＴＡｓに（すなわち前方基準車両ｍＢと後方基準車両ｍＣとの間に）車線変更が可能か否かを判定するための一次条件を満たすか否かを判定する。
　一次条件は、例えば、隣接車線に設けた禁止領域ＲＡに周辺車両が一部でも存在せず、且つ、自車両Ｍと、前方基準車両ｍＢおよび後方基準車両ｍＣとの衝突余裕時間ＴＴＣがそれぞれ閾値よりも大きいことである。なお、この判定条件は、自車両Ｍの側方に車線変更ターゲット位置ＴＡｓを設定した場合の一例である。一次条件を満たさない場合、行動計画生成部３２３は、車線変更ターゲット位置ＴＡｓを再設定する。この際に、一次条件を満たすような車線変更ターゲット位置ＴＡｓが設定できるタイミングまで待機したり、或いは車線変更ターゲット位置ＴＡｓを変更し、車線変更ターゲット位置ＴＡｓの側方に移動するための速度制御が行われてもよい。
　図４に示すように、行動計画生成部３２３は、例えば、自車両Ｍを車線変更先の車線Ｌ２に射影し、前後に若干の余裕距離を持たせた禁止領域ＲＡを設定する。禁止領域ＲＡは、車線Ｌ２の横方向の一端から他端まで延在する領域として設定される。
　禁止領域ＲＡ内に周辺車両が存在しない場合、行動計画生成部３２３は、例えば、自車両Ｍの前端および後端を車線変更先の車線Ｌ２側に仮想的に延出させた延出線ＦＭおよび延出線ＲＭを想定する。行動計画生成部３２３は、延出線ＦＭと前方基準車両ｍＢの衝突余裕時間ＴＴＣ（Ｂ）、および延出線ＲＭと後方基準車両ｍＣの衝突余裕時間ＴＴＣ（Ｃ）を算出する。衝突余裕時間ＴＴＣ（Ｂ）は、延出線ＦＭと前方基準車両ｍＢとの距離を、自車両Ｍおよび前方基準車両ｍＢの相対速度で除算することで導出される時間である。衝突余裕時間ＴＴＣ（Ｃ）は、延出線ＲＭと後方基準車両ｍＣとの距離を、自車両Ｍおよび後方基準車両ｍＣの相対速度で除算することで導出される時間である。軌道生成部１１８は、衝突余裕時間ＴＴＣ（Ｂ）が閾値Ｔｈ（Ｂ）よりも大きく、且つ衝突余裕時間ＴＴＣ（Ｃ）が閾値Ｔｈ（Ｃ）よりも大きい場合に、一次条件を満たすと判定する。閾値Ｔｈ（Ｂ）とＴｈ（Ｃ）は同じ値であってもよいし、異なる値であってもよい。
　一次条件を満たす場合、行動計画生成部３２３は、車線変更のための軌道の候補を生成する。図５の例では、行動計画生成部３２３は、前走車両ＭＡ、前方基準車両ｍＢおよび後方基準車両ｍＣが所定の速度モデルで走行するものと仮定し、これら３台の車両の速度モデルと自車両Ｍの速度とに基づいて、自車両Ｍが前走車両ＭＡと干渉せずに、将来のある時刻において前方基準車両ｍＢと後方基準車両ｍＣとの間に位置するように軌道の候補を生成する。例えば、行動計画生成部３２３は、現在の自車両Ｍの位置から、将来のある時刻における前方基準車両ｍＢの位置や、車線変更先の車線の中央、且つ車線変更の終了地点までをスプライン曲線等の多項式曲線を用いて滑らかに繋ぎ、この曲線上に等間隔あるいは不等間隔で軌道点Ｋを所定個数配置する。この際、行動計画生成部３２３は、軌道点Ｋの少なくとも１つが車線変更ターゲット位置ＴＡｓ内に配置されるように軌道を生成する。
　各種場面において、行動計画生成部３２３は、複数の目標軌道の候補を生成し、その時点で目的地までの経路に適合する最適な目標軌道を選択する。
　第２制御部３４０は、例えば、走行制御部３４２を備える。走行制御部３４２は、行動計画生成部３２３によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０を制御する。
　ＨＭＩ４００は、車内の乗員に対して各種情報を提示するとともに、乗員による入力操作を受け付ける。ＨＭＩ４００は、例えば、各種表示装置、発光部、スピーカ、ブザー、タッチパネル、各種操作スイッチ、キー等のうち一部または全部を含む。また、ＨＭＩ４００には、乗員をシートに着座させた状態でシートベルトによって保持するシートベルト装置の一部が含まれてよい。ＨＭＩ４００の機能の詳細については後述する。
　走行駆動力出力装置５００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置５００は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。
　ブレーキ装置５１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置５１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置５１０は、上記説明した構成に限らず、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。また、ブレーキ装置５１０は、油圧や電動等の複数系統のブレーキ装置を備えていてもよい。
　ステアリング装置５２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
　なお、手動運転時には、運転操作子８０からの入力情報が、直接的に走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０に出力される。また、運転操作子８０からの入力情報は、自動運転制御ユニット３００を介して走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０に出力されてもよい。走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０の各ＥＣＵは、運転操作子８０等からの入力情報に基づいて、それぞれの動作を行う。
　［ＨＭＩ４００の構成］
　以下、実施形態のＨＭＩ４００の構成例について説明する。図６は、自車両ＭにおけるＨＭＩ４００の一例を示す図である。ＨＭＩ４００は、例えば、第１の操作部４１０と、第２の操作部４２０と、発光部４３０Ｒおよび４３０Ｌと、第３の操作部４４０と、第１の表示部４５０と、ＨＵＤ（Head Up Display）（第２の表示部）４６０と、第３の表示部４７０とを備える。ＨＵＤ４６０は、「反射表示部」の一例である。
　第１の操作部４１０、第２の操作部４２０、および発光部４３０Ｒ、４３０Ｌは、運転操作子８０の一つであるステアリングホイール８２に設けられている。また、ステアリングホイール８２には、把持センサ８２Ａが設けられている。把持センサ８２Ａは、例えば、ステアリングホイール８２の周方向に沿うように設けられた静電容量センサである。把持センサ８２Ａは、検出対象の領域に物体が接近または接触したことを、静電容量の変化として検出する。把持センサ８２Ａは、静電容量が閾値以上である場合、所定の検出信号をマスター制御部１００の操作子状態判定部１３０に出力する。この閾値は、例えば、乗員がステアリングホイール８２を把持している場合に生じる静電容量よりも低い値に設定されている。また、把持センサ８２Ａは、閾値以上であるか否かに関わらずに、静電容量を示す検出信号を操作子状態判定部１３０に出力してもよい。
　第１の操作部４１０は、例えば、メインスイッチ４１２と、オートスイッチ４１４とを備える。メインスイッチ４１２は、運転支援を開始可能な状態にするためのスイッチである。換言すれば後述する、運転支援を実行する前の準備段階における処理（内部処理）を開始するためのスイッチ、或いは運転支援を開始可能な状態か否かを判定することを可能にするためのスイッチである。
　メインスイッチ４１２が操作された場合、自車両Ｍは、運転支援の実行をすぐに開始するのではなく、運転支援を実行する前の準備段階における処理を行う。準備段階における処理とは、例えば、物体認識の処理の開始（具体的にはカルマンフィルタの動作開始等）である。メインスイッチ４１２が操作されて運転支援が開始可能な状態となっている状態で（すなわち操作されてから、ある程度の時間が経過した後）オートスイッチ４１４が操作されると、運転支援のための制御が開始される。すなわち、オートスイッチ４１４は、運転支援が開始可能な状態において、実際に第１の度合の運転支援を開始させるためのスイッチである。
　第２の操作部４２０は、画像付通話機能（テレビ電話とも称する）の提供を開始させるための操作スイッチ４２２を備える。発光部４３０Ｒ、４３０Ｌは、例えば、ステアリングホイール８２の中央のボス部から環状のリム部に向かって延びるスポーク部に配置される。発光部４３０Ｒ、４３０Ｌは、ＨＭＩ制御部１２０の制御により点灯状態が制御される。
　第３の操作部４４０は、例えば、乗員から見て手前側に突出する回動操作部４４２と、スイッチ操作部４４４とを備える。回動操作部４４２は、略円筒状に形成され、軸線回りに回転操作可能である。スイッチ操作部４４４は、回動操作部４４２の周辺や、回動操作部４４２の天面に設けられる。第３の操作部４４０は、回動操作部４４２の回転角度と回転速度を検出するエンコーダ等の図示しない回転センサと、スイッチ操作部４４４の変位を検出する図示しない変位センサとを備え、それぞれのセンサから出力される検出値をマスター制御部１００に出力する。マスター制御部１００に出力される検出値は、第３の表示部４７０の画面に出力される矢印や選択ボタン、確定ボタン等の操作や、入力文字の選択や確定等に用いられる。
　また、第３の操作部４４０は、表示画面を指先でタッチすることによって選択や確定操作等を行う、いわゆるタッチパネル式の操作部でもよい。また、第３の操作部４４０には、所定の色で発光可能な発光部４４６が設けられている。
　第１の表示部４５０は、例えば、インストルメントパネルにおける運転席の正面付近に設けられ、乗員がステアリングホイール８２の間隙から、或いはステアリングホイール８２越しに視認可能な表示装置である。第１の表示部４５０は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）表示装置等である。第１の表示部４５０には、自車両Ｍの手動運転時または自動運転時の走行に必要な情報、あるいは乗員への指示に関する情報が表示される。手動運転時の自車両Ｍの走行に必要な情報とは、例えば、自車両Ｍの速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報である。一方、自動運転時における自車両Ｍの走行に必要な情報とは、例えば、自車両Ｍの将来の軌道、運転支援の度合、乗員に対する指示等の情報である。
　ＨＵＤ４６０は、例えば、第１の表示部４５０よりも高い位置に配置される。ＨＵＤ４６０は、所定の結像部に映像を投影する。例えば、ＨＵＤ４６０は、例えば、運転席前方のフロントウインドシールドの一部に画像を投影することで、運転席に着座した乗員の眼に虚像を視認させる。ＨＵＤ４６０により投影される画像の表示領域は、第１の表示部４５０における画像の表示領域に比して小さい。これは、ＨＵＤ４６０により投影された画像によって、その先にある現実の物体を乗員が見逃すことを抑制するためである。なお、実施形態では、ＨＵＤ４６０の代わりに、自車両Ｍのフロントウインドシールドを反射表示部としてもよい。この場合、例えば、ＨＭＩ制御部１２０は、インストルメントパネルに組み込まれたＬＥＤ（Light Emitting Diode）等の所定の光源を発光させ、光源からの光をフロントウインドシールドで反射させる。また、実施形態では、フロントウインドシールド近傍に設けられる反射部を反射表示部としてもよい。この場合、ＨＭＩ制御部１２０は、ＬＥＤ等の所定の光源を発光させ、光源からの光を反射部で反射させる。
　第３の表示部４７０は、例えば、インストルメントパネルの中央部に取り付けられる。第３の表示部４７０は、例えば、ＬＣＤや有機ＥＬ表示装置等である。第３の表示部４７０は、例えば、ナビゲーション装置５０により実行されるナビゲーション処理に対応する画像、またはテレビ電話における相手の映像等を表示する。また、第３の表示部４７０は、テレビ番組を表示したり、ＤＶＤを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。
　また、第３の表示部４７０には、発光部４７２が設けられてもよい。図７は、第３の表示部４７０と発光部４７２の位置関係の一つの側面（aspect）を例示した図である。例えば、発光部４７２は、第３の表示部４７０の一部または近傍に設けられる。近傍とは、発光部４７２と、第３の表示部４７０との最短距離が例えば数［ｃｍ］（より具体的には３［ｃｍ］程度）以下の範囲である。図７の例では、第３の表示部４７０の画面形状を形成する少なくとも一つの辺に沿って延在する発光部４７２が取り付けられている。
　図８は、第３の表示部４７０と発光部４７２の位置関係の他の側面を例示した図である。図８の例では、第３の表示部４７０は、その前方の上部にあるインストルメントパネル部のバイザー部４７４の下部に設けられる。また、発光部４７２の発光は、バイザー部４７４に遮られずに、乗員により視認可能である。この形態を採用することで、バイザー部４７４が、日光等の外光の第３の表示部４７０への照射を抑制するとともに、発光部４７２に差し込む外光の少なくとも一部を遮蔽することができるため、乗員による発光の視認性を向上させることができる。
　発光部４７２は、第３の表示部４７０が使用可能である場合に発光するようにＨＭＩ制御部１２０によって制御される。使用可能とは、例えば、第２の操作部４２０が操作されることで画像付通話機能に関する画面が第３の表示部４７０に表示されたり、第３の操作部４４０の操作によって、映画やテレビ番組に関する画像が第３の表示部４７０に表示されたりすることができることである。
　図９は、第３の表示部４７０の画面の一部の領域を用いて、第３の表示部４７０が使用可能であること通知することについて説明するための図である。ＨＭＩ制御部１２０は、第３の表示部４７０の全画面領域に対して、第１の表示領域４７６と、第２の表示領域４７８とを割り当てる。第１の表示領域４７６は、第３の表示部４７０の画面全体のうち、何れかの辺に沿って延在する画素領域である。ＨＭＩ制御部１２０は、第３の表示部４７０が使用可能となった場合に、第１の表示領域４７６を、所定の色または所定の形状の一方または双方で、点灯または点滅させる。これにより、発光部４７２を設けずに第３の表示部４７０が使用可能な状態であることを乗員に通知することができる。
　また、ＨＭＩ制御部１２０は、第２の表示領域４７８に、第２の操作部４２０または第３の操作部４４０で操作された内容、或いは操作により実行される内容を表示する。
　［自動運転に関連するＨＭＩ４００の表示制御］
　次に、自動運転に関連するＨＭＩ４００の表示制御について説明する。なお、以下に示す表示画面におけるレイアウトについては、あくまで一例であり、任意に変更可能である。レイアウトとは、配置、色彩、縮尺、その他をいう。
　図１０は、自車両Ｍが手動運転から自動運転が開始され、自動運転による車線変更が実行されるまでの各種場面を示す図である。図１０の例において、場面（１）は、自車両Ｍが手動運転により一般道路から高速道路に進入する場面である。場面（２）は、自車両Ｍが手動運転から自動運転に切り替わる場面である。場面（３）は、自車両Ｍが自動運転により車線変更を実行する場面である。以下場面（１）～（３）のそれぞれの場面に対応する表示制御について説明する。
　＜場面（１）＞
　場面（１）は、例えば、高速道路に進入する前の場面である。この場面では、第１の操作部４１０のメインスイッチ４１２およびオートスイッチ４１４が操作されていないため、運転支援が実行されず、手動運転が行われる。手動運転が行われる場合、ＨＭＩ制御部１２０は、運転席の乗員が運転操作子８０を用いて自車両Ｍを手動運転するために必要な情報を第１の表示部４５０に表示させる。また、ＨＭＩ制御部１２０は、第１の表示部４５０に表示される情報のうち一部の情報をＨＵＤ４６０に表示させる。この場合の画面を図１１に示す。
　図１１は、手動運転時に表示される第１画面ＩＭ１－１および第２画面ＩＭ２－１の一例を示す図である。第１画面ＩＭ１－１は、第１の表示部４５０により表示される画面であり、第２画面ＩＭ２－１は、ＨＵＤ４６０により投影されることで乗員の眼に映る画面である。ＨＭＩ制御部１２０は、第１画面ＩＭ１－１に、手動運転時の自車両Ｍの走行に必要な情報として、例えば、自車両Ｍのバッテリ残量、回転速度、シフトポジション、室内気温、走行距離、走行速度、燃料残量等の情報を表示させる。また、ＨＭＩ制御部１２０は、第２画面ＩＭ２－１に、第１画面ＩＭ１－１に表示された画像のうち、速度の情報を、第１画面ＩＭ１－１よりも小さく表示させる。前述したように、ＨＵＤ４６０により投影されることで乗員の眼に映る画像の認識領域は、第１の表示部４５０による画像の表示領域に比して小さい。このため、ＨＭＩ制御部１２０は、第１の表示部４５０に、自車両Ｍの運転支援に関する比較的詳細な第１の情報（詳細情報）を表示させ、ＨＵＤ４６０には、詳細情報よりも簡易な情報であって、運転支援に関する第２の情報（簡易情報）を表示させる。簡易情報とは、例えば、詳細情報に対して情報量が少ない情報である。また、簡易情報とは、表示する項目の種類や数が、詳細情報として表示する項目の種類や数に比して少ない情報であってもよい。また、簡易情報とは、詳細情報として表示する画像に対し、解像度を低下させたり、単純化あるいはデフォルメさせた画像であってもよい。また、第２の情報は、第１の情報のうち、重要度の高い情報や緊急性の高い情報であってもよい。
　例えば、ＨＭＩ制御部１２０は、詳細情報の一部を抜粋した情報を簡易情報としてＨＵＤ４６０に表示させる。例えば、図１１において、ＨＭＩ制御部１２０は、第１画面ＩＭ１－１に表示された詳細の情報のうち、自車両Ｍの速度を示す情報を抜粋し、抜粋した情報を第２画面ＩＭ２－１に表示させる。このように、第１の表示部４５０に詳細情報を表示させ、ＨＵＤ４６０に簡易情報を表示させることで、運転支援に関する情報を適切に提供すると共に、乗員の眼を疲れさせないようにすることができる。
　＜場面（２）＞
　場面（２）では、自車両Ｍが高速道路に進入している。ＨＭＩ制御部１２０は、乗員によりメインスイッチ４１２が操作されたことを受け付けると、第１の表示部４５０およびＨＵＤ４６０に表示させる画面を変更する。変更後の画面の表示内容を、図１２に示す。
　図１２は、メインスイッチ４１２が操作されたことで表示される第３画面ＩＭ３－１および第４画面ＩＭ４－１の一例を示す図である。第３画面ＩＭ３－１は、第１の表示部４５０により表示される画面であり、第４画面ＩＭ４－１は、ＨＵＤ４６０により投影されることで乗員の眼に映る画面である。以下の図面に示す第３画面ＩＭ３－Ｘ（Ｘは任意の自然数）および第４画面ＩＭ４－Ｘについても同様とする。第３画面ＩＭ３－Ｘおよび第４画面ＩＭ４－Ｘは、運転支援が実行可能な状態および運転支援が実行中の状態において継続的に表示される。
　第３画面ＩＭ３－１には、運転支援に関する情報を表示する領域として、周辺検知情報表示領域６００－１、運転支援状態表示領域６２０－１、および運転支援開始操作ガイド領域６４０－１が含まれている。以下、第３画面ＩＭ３－Ｘにおけるそれぞれの領域を周辺検知情報表示領域６００－Ｘ、運転支援状態表示領域６２０－Ｘ、および運転支援開始操作ガイド領域６４０－Ｘと称する。
　ＨＭＩ制御部１２０は、周辺検知情報表示領域６００－１に、第２地図情報６２から取得した自車両Ｍの前方の道路形状を示す画像と、自車位置認識部３２２により認識された自車両Ｍを示す画像と、外界認識部３２１により認識された周辺車両ｍを示す画像とを表示させる。なお、ＨＭＩ制御部１２０は、外界認識部３２１により認識された全ての周辺車両ｍを示す画像を第１の表示部４５０に表示させる。また、ＨＭＩ制御部１２０は、外界認識部３２１により認識された全ての周辺車両ｍのうち、自車両Ｍの将来の軌道に影響を与える周辺車両ｍのみを第１の表示部４５０に表示させてもよい。これにより、乗員が監視する対象の車両を減らすことができ、監視負担を軽減することができる。
　また、ＨＭＩ制御部１２０は、運転支援状態表示領域６２０－１に、自車両Ｍが実行可能な運転支援（自動運転を含む）の状態の候補を示す情報を全て表示させる。図１２の例では、運転支援の状態の候補を示す情報として、「Ａｓｓｉｓｔ」、「Ｈａｎｄｓ　Ｏｆｆ」、「Ｅｙｅｓ　Ｏｆｆ」の３つのインジケータを示す画像６２１が示されている。例えば、それぞれのインジケータ単体で、または複数のインジケータの組み合わせによって、運転支援の度合が表される。
　インジケータ「Ａｓｓｉｓｔ」は、自車両Ｍが、ＡＣＣやＬＫＡＳ等の第１の度合で運転支援を実行している、或いは、第１の度合での運転支援に遷移可能な状態であることを示す。第１の度合で運転支援を実行しているか、或いは、第１の度合での運転支援に遷移可能な状態であるかについては、後述する要求動作通知画像６２２によって把握することができる。
　インジケータ「Ｈａｎｄｓ　Ｏｆｆ」は、自車両Ｍが、乗員が運転操作子８０に対する操作を行わなくてよいが、乗員に周辺監視義務が課される第２の度合で運転支援を実行している状態、或いは、第２の度合での運転支援に遷移可能な状態であることを示す。第２の度合で運転支援を実行しているか、或いは、第２の度合での運転支援に遷移可能な状態であるかについては、要求動作通知画像６２２によって把握することができる。
　インジケータ「Ｅｙｅｓ　Ｏｆｆ」は、自車両Ｍが、乗員が運転操作子８０に対する操作を行わなくてよく、且つ乗員に周辺監視義務も課されない第３の度合で運転支援を実行している状態、或いは、第３の度合での運転支援に遷移可能な状態であることを示す。第３の度合で運転支援を実行しているか、或いは、第３の度合での運転支援に遷移可能な状態であるかについては、要求動作通知画像６２２によって把握することができる。なお、図１２の例では、自車両Ｍの運転支援が実行されていない状態（手動運転状態）を示している。
　また、ＨＭＩ制御部１２０は、運転支援状態表示領域６２０－１に、「Ａｓｓｉｓｔ」、「Ｈａｎｄｓ　Ｏｆｆ」、「Ｅｙｅｓ　Ｏｆｆ」の３つのインジケータを示す画像６２１に対応する表示位置で、要求動作通知画像６２２を表示させる。「対応する」とは、横並び、縦並び、対応付けを示すガイドラインがある等、人によって対応関係が認識可能な様をいう。一例として「画像６２１に対応する表示位置」とは、画像６２１に隣接する表示位置であり、画像６２１の表示位置を基準として上下左右の少なくとも一方に数［ｃｍ］以下（例えば、３［ｃｍ］以下）の表示位置を示す。要求動作通知画像６２２は、例えば、乗員が運転操作子８０に対して行う所定の動作を示す画像である。要求動作通知画像６２２は、例えば、運転操作子８０を示す画像と、乗員の所定の部位を示す画像とを含む。要求動作通知画像６２２は、例えば、ステアリングホイール８２と乗員の手との位置関係を模式的に示す画像である。
　ＨＭＩ制御部１２０は、運転支援開始操作ガイド領域６４０－１に、運転支援を開始させるための乗員の操作について案内する情報を表示させる。図１２の例では、運転支援開始操作ガイド領域６４０－１において、乗員がオートスイッチ４１４を操作することで運転支援が開始されることが案内される。
　ＨＭＩ制御部１２０は、乗員がオートスイッチ４１４を操作することで運転支援が開始されることを運転支援開始操作ガイド領域６４０－１に表示することに加えて、或いは代えて、乗員がオートスイッチ４１４を操作することで運転支援が開始される旨を示す音声をＨＭＩ４００に含まれるスピーカから出力させてもよい。
　周辺検知情報表示領域６００－１、運転支援状態表示領域６２０－１、および運転支援開始操作ガイド領域６４０－１のそれぞれに表示される情報の少なくとも一部は、他の表示領域に表示されてもよい。また、第３画面ＩＭ３－１には、自車両Ｍの走行距離、車内温度、燃料、速度、シフトポジションに関する情報が表示されてもよい。
　ＨＭＩ制御部１２０は、第３画面ＩＭ３－１に表示された詳細情報に対して、ＨＵＤ４６０の第４画面ＩＭ４－１に、詳細情報の一部を抜粋した簡易情報を表示させる。ＨＵＤ４６０の第４画面ＩＭ４－１には、第１の表示部４５０の表示画面ＩＭ３－１に表示される運転支援に関する情報のうち、自車両Ｍの前方の道路形状に関する情報および自車両Ｍの速度を示す情報が表示される。
　図１２に示す状態において、所定の事象として、乗員によりオートスイッチ４１４が操作されたことを検知すると、マスター制御部１００は、運転支援制御部２００に第１の度合の運転支援を実行させる。また、ＨＭＩ制御部１２０は、第１の表示部４５０およびＨＵＤ４６０に表示させる画面を、例えば図１３に示す画面に変更する。
　図１３は、オートスイッチ４１４が操作された場合に、第１の表示部４５０およびＨＵＤ４６０に表示される画面ＩＭ３－２およびＩＭ４－２の一例を示す図である。ＨＭＩ制御部１２０は、実行されている運転支援の度合を示す画像を、他の運転支援の度合を示す画像と識別可能に表示させる。例えば、ＨＭＩ制御部１２０は、第３画面ＩＭ３－２の運転支援状態表示領域６２０－２に、インジケータ「Ａｓｓｉｓｔ」の画像がハイライト表示させる。これにより、乗員は、第１の度合の運転支援が行われていることを把握することができる。
　ここで、ＨＭＩ制御部１２０は、要求動作通知画像６２２として、「Ｈａｎｄｓ　Ｏｆｆ」に対応する運転支援の度合（自動運転）に移行するために必要な動作を乗員に要求する動画像を要求動作通知画像６２２として表示させる。動画像とは、例えば、所定の物体が時間経過に伴って動的に移動する動的オブジェクトを含む画像である。また、動画像には、アニメーションが含まれてよい。
　例えば、ＨＭＩ制御部１２０は、第１の度合の運転支援が実行中であって、且つ、第２の度合の運転支援が実行可能である場合に、第２の度合の運転支援に切り替えさせるための乗員の操作方法に関する情報として、乗員の手をステアリングホイール８２から離した状態にするための乗員の操作内容を模式的に示した要求動作通知画像６２２を、第３画面ＩＭ３－２の運転支援状態表示領域６２０－２に表示させる。
　図１４は、第１の度合の運転支援の実行時に運転支援状態表示領域６２０－２に表示される画像の一例を示す図である。ＨＭＩ制御部１２０は、運転支援状態表示領域６２０－２に、３つのインジケータを示す画像６２１と、要求動作通知画像６２２とを表示させる。要求動作通知画像６２２には、例えば、ステアリングホイール８２を示す画像６２２Ａと、乗員の手を示す画像６２２ＢＬ、６２２ＢＲとが含まれる。
　例えば、ＨＭＩ制御部１２０は、乗員の手を示す画像６２２ＢＬ、６２２ＢＲがステアリングホイール８２を示す画像６２２Ａから矢印Ａ、Ｂ方向に離れていくアニメーションを表示させる。また、ＨＭＩ制御部１２０は、ステアリングホイール８２を示す画像６２２Ａおよび乗員の手を示す画像６２２ＢＬ、６２２ＢＲを強調表示させてもよい。これにより、乗員は、３つのインジケータを示す画像６２１のうち、「Ａｓｓｉｓｔ」のインジケータを示す画像がハイライト表示されているため、第１の度合の運転支援が実行されていることを直観的に把握することができ、更に要求動作通知画像６２２のアニメーションにより、ステアリングホイール８２から手を離す動作を要求されていることを直観的に把握することができる。
　また、ＨＭＩ制御部１２０は、ステアリングホイール８２を示す画像６２２Ａおよび乗員の手を示す画像６２２ＢＬ、６２２ＢＲの要求動作通知画像６２２の代わりに、或いは加えて、アクセルペダルと乗員の足との位置関係を模式的に示す画像、或いは、ブレーキペダルと乗員の足との位置関係を模式的に示す画像を要求動作通知画像６２３として、第３画面ＩＭ３－２の運転支援状態表示領域６２０－２に表示させてもよい。
　図１５は、アクセルペダルと乗員の足とを含む要求動作通知画像６２３の表示例を示す図である。ＨＭＩ制御部１２０は、図１５に示す運転支援状態表示領域６２０－２に、３つのインジケータを示す画像６２１と、要求動作通知画像６２３とを表示させる。要求動作通知画像６２３には、アクセルペダルを示す画像６２３Ａと、乗員の足を示す画像６２３Ｂとが含まれる。例えば、ＨＭＩ制御部１２０は、第１の度合の運転支援が実行中であって、且つ、第２の度合の運転支援が実行可能である場合に、第２の度合の運転支援に切り替えさせるために、乗員の足を示す画像６２３Ｂがアクセルペダルを示す画像６２３Ａから矢印Ｃ方向に離れていくアニメーションを表示させる。また、ＨＭＩ制御部１２０は、アクセルペダルを示す画像６２３Ａおよび乗員の足を示す画像６２３Ｂを強調表示させてもよい。これにより、乗員は、アクセルペダルから足を離す動作を要求されていることを直観的に把握することができる。
　また、ＨＭＩ制御部１２０は、要求動作通知画像６２２に対応する動作を乗員が実行することで、運転支援が開始される旨を示す情報を、周辺検知情報表示領域６００－２に表示させてもよい。図１３の例では、周辺検知情報表示領域６００－２に、ステアリングホイール８２（図では「ハンドル」）から手を離すことで運転支援（図では「自動走行」）が開始される旨の情報が表示される。
　また、ＨＭＩ制御部１２０は、ステアリングホイール８２から手を離す動作を乗員に要求する場合に、ステアリングホイール８２に設けられた発光部４３０Ｒ、４３０Ｌを点灯または点滅させてもよい。
　また、ＨＭＩ制御部１２０は、ステアリングホイール８２から手を離す動作を乗員に要求する場合に、その旨を示す音声をＨＭＩ４００に含まれるスピーカから出力させてもよい。ＨＭＩ制御部１２０は、ステアリングホイール８２から手を離す動作に対応する要求動作通知画像６２２の表示、発光部４３０Ｒ、４３０Ｌの点灯または点滅、音声出力の複数を組み合わせて各種機器より出力させてもよい。
　ＨＭＩ制御部１２０は、ＨＵＤ４６０の第４画面ＩＭ４－２に、第４画面ＩＭ４－１と同様の情報を表示させる。
　ここで、操作子状態判定部１３０は、乗員によって、ステアリングホイール８２が把持された状態であるか否かを判定する。操作子状態判定部１３０は、例えば、前述した把持センサ８２Ａからの出力に基づいてステアリングホイール８２が操作されている状態であるか否かを判定する。
　切替制御部１１０は、乗員によりオートスイッチ４１４が操作された後、乗員によってステアリングホイール８２が把持されている状態であると操作子状態判定部１３０により判定された場合には、運転支援制御部２００に第１の度合の運転支援を継続させる。
　また、切替制御部１１０は、オートスイッチ４１４が操作された状態において、第２の度合の運転支援に移行するための諸条件を満たし、且つ、乗員によってステアリングホイール８２が把持さされていない状態であると操作子状態判定部１３０により判定された場合に、自動運転制御ユニット３００に第２の度合の運転支援（すなわち自動運転）を実行させる。
　また、ＨＭＩ制御部１２０は、自動運転制御ユニット３００が第２の度合の運転支援を実行する場合に、第１の表示部４５０およびＨＵＤ４６０に表示する画面を、例えば図１６に示す画面に変更する。
　図１６は、第２の度合の運転支援中において、第１の表示部４５０およびＨＵＤ４６０に表示される画面の一例を示す図である。ＨＭＩ制御部１２０は、第３画面ＩＭ３－３の運転支援状態表示領域６２０－３に、第２の度合の運転支援に対応した「Ｈａｎｄｓ　Ｏｆｆ」の画像をハイライト表示させる。これにより、乗員は、第２の度合の運転支援が行われていることを把握することができる。
　また、ＨＭＩ制御部１２０は、周辺検知情報表示領域６００－３に、例えば、第２地図情報６２から取得した自車両Ｍの前方の道路形状を示す画像と、自車位置認識部３２２により認識された自車両Ｍを示す画像と、外界認識部３２１により取得した周辺車両ｍを示す画像と、行動計画生成部３２３により生成された自車両Ｍの将来の軌道を示す将来軌道画像６０２とを表示させる。また、ＨＭＩ制御部１２０は、周辺検知情報表示領域６００－３に、第２の度合における運転支援（図では自動走行）を開始するが、乗員に周辺の交通状況を継続して監視させる旨の情報を表示させる。
　マスター制御部１００の乗員状態監視部１４０は、乗員が周辺の交通状況を継続して監視していることを監視する。例えば、乗員状態監視部１４０は、車室内カメラ９０の撮像画像により運転席に着座する乗員の顔画像を取得し、取得した顔画像から視線方向を取得する。例えば、乗員状態監視部１４０は、ニューラルネットワーク等を利用したディープラーニングによって、車室内カメラ９０の撮像画像から乗員の視線方向を取得してもよい。例えば、不特定多数の顔画像を解析することで得られた目や鼻、口等の特徴情報や眼球の黒目の位置を入力として、視線方向を出力するように学習させたニューラルネットワークを予め構築しておく。そして、乗員状態監視部１４０は、このニューラルネットワークに自車両Ｍの乗員の顔画像を入力することで、その乗員の視線方向を取得する。
　また、乗員状態監視部１４０は、乗員の視線方向が予め決められた周辺を監視可能な方向の範囲に含まれるか否かにより、乗員が自車両Ｍの周辺監視を行っているか否かを判定する。乗員状態監視部１４０は、乗員の視線方向が予め決められた周辺を監視可能な方向の範囲に含まれていない場合、または乗員の視線方向が取得できなかった場合に、周辺監視を行っていないと判定する。周辺監視を行っていないと判定された場合、ＨＭＩ制御部１２０は、乗員を周辺監視させるために、音声等による警告を行ってもよい。
　また、乗員状態監視部１４０は、乗員の視線方向が予め決められた周辺を監視可能な方向の範囲に含まれている場合に、乗員が周辺監視を行っていると判定する。この場合、自動運転制御ユニット３００は、第２の度合の運転支援を継続する。なお、自車両Ｍの運転支援が開始中である場合、運転支援開始操作ガイド領域６４０－３には、何も表示されない。
　ＨＭＩ制御部１２０は、ＨＵＤ４６０の第４画面ＩＭ４－３に、第４画面ＩＭ４－２と同様の情報に加えて、自車両Ｍの将来の軌道を示す将来軌道画像６０２を表示させる。
　＜場面（３）＞
　場面（３）では、自動運転制御ユニット３００は、第２の度合の運転支援による自車両Ｍの車線変更を行う。この場合、ＨＭＩ制御部１２０は、第１の表示部４５０またはＨＵＤ４６０の一方または双方に、運転支援に対応する画面を表示させる。
　例えば、ＨＭＩ制御部１２０は、自動運転制御ユニット３００により実行される自車両Ｍの車線変更イベントの発生を示す画像を自車両Ｍの挙動が変化する前の第１のタイミング（例えば、挙動が変化する５秒前）において第１の表示態様で表示させる。
　図１７は、自車両Ｍの挙動が変化する前の第１のタイミングにおいて表示される第３画面ＩＭ３－４および第４画面ＩＭ４－４の一例を示す図である。ＨＭＩ制御部１２０は、第３画面ＩＭ３－４の周辺検知情報表示領域６００－４に、周辺検知情報表示領域６００－３で表示された内容に加えて、例えば、自車用Ｍが車線変更する方向を示す旨を示す画像６０４を表示させる。図１７の例では、自車両Ｍが走行車線に隣接する右車線に車線変更する画像６０４が表示される。
　画像６０４は、例えば、テキスト情報を含まない画像である。図１７の例において、画像６０４は道路幅方向に沿って自車両Ｍの進路変更方向を示す図形である。ＨＭＩ制御部１２０は、例えば、自車両Ｍの進路変更方向を示す図形に外枠を付与し、付与した外枠画像を第１の表示部４５０に表示させる。また、ＨＭＩ制御部１２０は、画像６０４を複数の領域に区分し、区分された複数の領域のそれぞれに外枠を付与して表示させる。また、ＨＭＩ制御部１２０は、複数の区分されたそれぞれの領域の外枠を、自車両Ｍの進路変更方向に沿って順番に表示させたアニメーションで表示させてもよい。
　また、ＨＭＩ制御部１２０は、運転支援状態表示領域６２０－４に、自車両Ｍの進路変更を示すウインカインジケータ６２４を表示させる。ウインカインジケータ６２４は、例えば、進路変更方向を示す矢印等の図形である。ＨＭＩ制御部１２０は、ウインカインジケータ６２４を、画像６０４を表示させる第１のタイミングに同期したタイミングで第１の表示部４５０に表示させる。
　ＨＭＩ制御部１２０は、ＨＵＤ４６０の第４画面ＩＭ４－４に、第４画面ＩＭ４－３と同様の情報を表示させる。
　また、ＨＭＩ制御部１２０は、第１のタイミングよりも後のタイミングであって自車両Ｍの挙動が変化する前の第２のタイミング（例えば、挙動が変化する２秒前）において、画像６０４を強調表示した画像を周辺検知情報表示領域６００－４に表示させる。
　図１８は、自車両Ｍの挙動が変化する前の第２のタイミングにおいて表示される第３画面ＩＭ３－５および第４画面ＩＭ４－５の一例を示す図である。ＨＭＩ制御部１２０は、第３画面ＩＭ３－５の周辺検知情報表示領域６００－５に、画像６０４を強調表示した画像６０６を表示させる。ＨＭＩ制御部１２０は、例えば、画像６０４の外枠の中を発色させた表示態様（第２の表示態様）を周辺検知情報表示領域６００－５に表示させる。また、ＨＭＩ制御部１２０は、画像６０４において区分された複数の領域のそれぞれの外枠に対して、自車両Ｍの進路変更方向に沿って順番に強調表示されるようにアニメーションで表示させてもよい。また、ＨＭＩ制御部１２０は、第１のタイミングで画像６０６を表示させ、第２のタイミングで画像６０６を点滅表示させてもよい。また、ＨＭＩ制御部１２０は、第１のタイミングで画像６０６を表示させ、第２のタイミングで画像６０６を、第１のタイミングで表示させた色より目立つ色で表示させてもよい。これにより、乗員に進路変更方向を直観的に把握させることができる。
　また、ＨＭＩ制御部１２０は、周辺検知情報表示領域６００－５に表示させた将来軌道画像６０２を、第２のタイミングに同期したタイミングで進路変更方向に対応する方向に変化させる。これにより、乗員は、自車両Ｍの車線変更における挙動の変化が開始されることを直観的に把握することができる。
　ＨＭＩ制御部１２０は、ＨＵＤ４６０の第４画面ＩＭ４－５に、第４画面ＩＭ４－４と同様の情報を表示させる。また、ＨＭＩ制御部１２０は、ＨＵＤ４６０の第４画面ＩＭ４－５に表示させる将来軌道画像６０２を、第２のタイミングに同期したタイミングで進路変更に対応する方向に変化して表示させる。
　＜場面（１）～（３）に対応する処理フロー＞
　図１９は、場面（１）～（３）において、ＨＭＩ制御部１２０により実行される処理の流れの一例を示すフローチャートである。まず、ＨＭＩ制御部１２０は、メインスイッチ４１２の操作を受け付けられたか否かを判定する（ステップＳ１００）。メインスイッチ４１２の操作が受け付けられていない場合、ＨＭＩ制御部１２０は、自車両Ｍの第１の表示部４５０に第１画面ＩＭ１－１を表示し（ステップＳ１０２）、ＨＵＤ４６０に第２画面ＩＭ２－１を表示する（ステップＳ１０４）。
　また、メインスイッチ４１２の操作が受け付けられた場合、ＨＭＩ制御部１２０は、第１の表示部４５０に第３画面ＩＭ３－１を表示し（ステップＳ１０６）、ＨＵＤ４６０に第４画面ＩＭ４－１を表示する（ステップＳ１０８）。ステップＳ１０６の処理の詳細については後述する。
　次に、ＨＭＩ制御部１２０は、乗員にオートスイッチ４１４を操作させる動作要求を通知する（ステップＳ１１０）。次に、ＨＭＩ制御部１２０は、オートスイッチ４１４の操作が受け付けられたか否かを判定する（ステップＳ１１２）。オートスイッチ４１４の操作が受け付けられた場合、ＨＭＩ制御部１２０は、第３画面ＩＭ３－１および第４画面ＩＭ４－１に第１の度合の運転支援が実行されていることを示す画像を表示する（ステップＳ１１４）。次に、ＨＭＩ制御部１２０は、乗員にステアリングホイール８２から手を離す動作要求を通知する（ステップＳ１１６）。
　次に、ＨＭＩ制御部１２０は、操作子状態判定部１３０により乗員の手がステアリングホイール８２から離れたか否かを判定する（ステップＳ１１８）。乗員の手がステアリングホイール８２から離れた場合、ＨＭＩ制御部１２０は、第３画面ＩＭ３－３は、第２の度合の運転支援が実行されていることを示す画像を表示する（ステップＳ１２０）。ステップＳ１２０の処理の詳細については後述する。これにより、本フローチャートの処理は終了する。
　次に、ステップＳ１０６の処理の詳細について説明する。図２０は、ＨＭＩ制御部１２０が第１の表示部４５０に第３画面ＩＭ３－１を表示させる処理の一例を示すフローチャートである。図２０の例において、ＨＭＩ制御部１２０は、周辺検知情報表示領域６００－１に、車両の前方の道路形状を示す画像と、車両を示す画像と、周辺車両を示す画像とを表示させる（ステップＳ２００）。次に、ＨＭＩ制御部１２０は、運転支援状態表示領域６２０－１に、運転支援の度合を示す画像と、乗員に要求される動作に関する画像とを表示させる（ステップＳ２０２）。次に、ＨＭＩ制御部１２０は、運転支援開始操作ガイド領域６４０－１に、運転支援を開始させるための乗員の操作について案内する情報を表示させる（ステップＳ２０４）。これにより、本フローチャートの処理は終了する。
　次に、ステップＳ１２０の処理において、第２の度合の運転支援が実行されていることを示す画像が表示されている状態において、自車両Ｍの挙動が変化するイベントが発生する場合の表示制御処理について説明する。図２１は、自車両Ｍの挙動が変化するイベントが発生する場合の表示制御処理の一例を示すフローチャートである。図２１の処理は、第２の度合または第３の度合の運転支援の実行中において、繰り返し実行される。実行運転実行中図２１において、自動運転制御ユニット３００は、自動運転により、自車両Ｍの挙動が変化するイベントが発生するか否かを判定する（ステップＳ３００）。自車両Ｍの挙動が変化するイベントが発生する場合、ＨＭＩ制御部１２０は、自車両Ｍの挙動の変化を伴うイベントの発生を示す画像を、自車両Ｍの挙動が発生する前の第１のタイミングで表示させる（ステップＳ３０２）。
　次に、ＨＭＩ制御部１２０は、自車両Ｍの挙動の変化が発生する前の第２のタイミングに到達したか否かを判定する（ステップＳ３０４）。自車両の挙動の変化が発生する前の第２のタイミングに到達していない場合、ＨＭＩ制御部１２０は、第２のタイミングに到達するまで待機し、第２のタイミングに到達した場合に、自車両Ｍの挙動の変化を伴うイベントの発生を示す画像を強調表示させる（ステップＳ３０６）。これにより、本フローチャートの処理は終了する。図２１の処理により、乗員に車両の挙動が変化するタイミングを把握し易くさせることができる
　次に、場面（４）～（６）について説明する。図２２は、自車両Ｍに対して第３の度合での運転支援を実行し、その後、第３の度合から第２の度合での運転支援を実行するまでの各種場面を示す図である。図２２の例において、場面（４）は、自車両Ｍが渋滞中の周辺車両ｍに追従することで、自車両Ｍの運転支援が第２の度合から第３の度合に切り替わる場面である。場面（５）は、自車両Ｍが第３の度合の運転支援の一例である低速追従走行を実行している場面である。低速追従走行（ＴＪＰ；Traffic Jam Pilot）とは、所定速度以下で前走車両に追従する制御態様である。所定速度とは、（例えば、６０［ｋｍ／ｈ］以下で）である。低速追従走行は、自車両のＭの速度が所定速度以下であり、且つ前走車両ｍとの車間距離が所定距離（確認）以内であるときに発動する。低速追従走行では、混雑した道路で前走車両に追従するという、比較的容易な制御を継続することで、信頼性の高い自動運転を実現することができる。なお、低速追従走行は、所定速度以下、または前走車両に追従していることを発動条件としてもよい。場面（６）は、自車両Ｍの運転支援が第３の度合から第２の度合に切り替わる場面である。以下場面（４）～（６）のそれぞれの場面に対応する表示制御について説明する。
　＜場面（４）＞
　場面（４）では、自動運転制御ユニット３００は、まだ低速追従走行に至らず、自車両Ｍの加速制御を行っている。この場合、ＨＭＩ制御部１２０は、第１の表示部４５０またはＨＵＤ４６０の一方または双方に、運転支援に対応する画面を表示する。
　図２３は、自車両Ｍの加速制御時に表示される第３画面ＩＭ３－６および第４画面ＩＭ４－６の一例を示す図である。この図に示す場面では、まだ低速追従走行の発動条件を満たしていない。ＨＭＩ制御部１２０は、第３画面ＩＭ３－６の周辺検知情報表示領域６００－６に、加速制御が実行されていることを示す画像６０８を表示させる。画像６０８は、自車両Ｍの加速を示す図形である。画像６０８は、自車両Ｍを示す画像の前方に表示される。この場合、ＨＭＩ制御部１２０は、自車両Ｍが加速する前の第１のタイミングにおいて、画像６０８の外枠を付与した表示態様で表示させ、自車両Ｍが加速する前の第２のタイミングにおいて、画像の外枠の中を着色した表示態様で表示させてもよい。また、ＨＭＩ制御部１２０は、加速時には、画像６０８が自車両の進行方向に向かって移動するようなアニメーションを表示させてもよい。この逆に、ＨＭＩ制御部１２０は、減速時には、画像６０８が自車両Ｍに向かって移動するようなアニメーションを表示させてもよい。これにより、乗員は、自車両Ｍの加速制御が実行されていることを直観的に把握することができる。
　ＨＭＩ制御部１２０は、ＨＵＤ４６０の第４画面ＩＭ４－６に、第４画面ＩＭ４－５と同様の情報を表示させる。
　＜場面（５）＞
　場面（５）では、低速追従走行を実行する。この場合、ＨＭＩ制御部１２０は、第１の表示部４５０およびＨＵＤ４６０に、低速追従走行に対応する画面を表示する。
　図２４は、低速追従走行時に表示される第３画面ＩＭ３－７および第４画面ＩＭ４－７の一例を示す図である。ＨＭＩ制御部１２０は、周辺検知情報表示領域６００－７に、第３の度合の運転支援が実行されていることを示す周辺検知画像６１０Ａを表示させる。
　周辺検知画像６１０Ａは、例えば、カメラ１０、レーダ装置１２、ファインダ１４、物体認識装置１６、および外界認識部３２１により、自車両Ｍの周囲の監視が行われていることを示す画像である。周辺検知画像６１０Ａは、例えば、自車両Ｍの中心から外側に向かって波紋が広がっていくようなアニメーションである。
　また、ＨＭＩ制御部１２０は、第３画面ＩＭ３－７の運転支援状態表示領域６２０－７に、自車両Ｍが、乗員の周辺監視義務を課していないことを示すインジケータ「Ｅｙｅｓ　Ｏｆｆ」と、運転操作子８０の操作を必要としないことを示すインジケータ「Ｈａｎｄｓ　ＯＦＦ」の画像をハイライト表示させる。また、ＨＭＩ制御部１２０は、運転支援状態表示領域６２０－７に、カメラ１０、レーダ装置１２、ファインダ１４、物体認識装置１６、および外界認識部３２１により、自車両Ｍの周囲の監視が行われていることを示す画像６２６を表示させる。
　また、ＨＭＩ制御部１２０は、ＨＵＤ４６０の第４画面ＩＭ４－７に、第４画面ＩＭ４－６と同様の情報に加えて、第３の度合の運転支援が実行されていることを示す周辺検知画像６１０Ｂを表示させる。周辺検知画像６１０Ｂは、例えば、自車両Ｍの中心から外側に向かって波紋が広がっていくようなアニメーションである。
　ＨＭＩ制御部１２０は、第３画面ＩＭ３－７に表示させる周辺検知画像６１０Ａと、第４画面ＩＭ４－８に表示させる周辺検知画像６１０Ｂとの動作速度と動作周期とのうち一方または双方を連動させる。これにより、第３画面ＩＭ３－７に表示された周辺検知画像６１０Ａと、第４画面ＩＭ４－８に表示された周辺検知画像６１０Ｂとが同じ情報であることを乗員に直感的に把握させることができる。
　また、ＨＭＩ制御部１２０は、第３画面ＩＭ３－７に表示させる周辺検知画像６１０Ａにおけるアニメーションの表示態様（詳細表示態様）から間引いた表示態様を、第４画面ＩＭ４－８に表示させる周辺検知画像６１０Ｂの表示態様（簡易表示態様）としてもよい。例えば、ＨＭＩ制御部１２０は、詳細表示態様によって表示させる周辺検知画像６１０Ａの動的オブジェクト（円環状の波紋）の動作速度と動作周期とのうち一方または双方を遅くした表示態様を簡易表示態様とする。
　また、ＨＭＩ制御部１２０は、詳細表示態様の動的オブジェクトの数を少なくした表示態様を簡易表示態様としてもよい。
　また、ＨＭＩ制御部１２０は、詳細表示態様として第３画面ＩＭ３－７の周辺検知情報表示領域６００－７に表示させる外界の視野の範囲と、簡易表示態様として第４画面ＩＭ４－８に表示させる外界の視野の範囲を異ならせてもよい。外界の視野の範囲とは、乗員から外界をどの方向で、どれ位ズームして見るかによって決定される範囲である。例えば、円環状の動的オブジェクトの大きさ（例えば、最大半径）は、それぞれの画像における外界の視野の範囲に対応している。
　また、乗員に周辺監視義務が課されていない状態において、ＨＭＩ制御部１２０は、ＨＭＩ４００の各種機器のうち使用可能な機器を乗員に通知するための制御を行う。例えば、自動運転制御ユニット３００が第３の度合による運転支援を実行している場合に、第３の表示部４７０が使用可能であるとする。この場合、ＨＭＩ制御部１２０は、図７または図８に示すように、第３の表示部４７０の一部または近傍に設けられた発光部４７２を所定の色で発光させる。
　また、ＨＭＩ制御部１２０は、第３の表示部４７０が使用可能である場合に、図９に示すように、第３の表示部４７０における画面の表示領域のうち、第１の表示領域４７６を所定の色または所定の形状の一方または双方で表示させてもよい。
　また、第３の表示部４７０に表示させる内容の選択等を行うために第３の操作部４４０を操作する必要がある場合、ＨＭＩ制御部１２０は、第３の操作部４４０に設けられた発光部４４６を所定の色で発光するように制御する。例えば、ＨＭＩ制御部１２０は、発光部４７２および発光部４４６を同一の色で発光させる。これにより、乗員は、使用可能な機器と、その機器の操作部とを直観的に把握することができる。
　例えば、ＨＭＩ制御部１２０は、第３の表示部４７０が使用可能な状態で第３の操作部４４０が操作された場合に、操作内容に対応する画面を第３の表示部４７０に表示させる。また、ＨＭＩ制御部１２０は、第３の表示部４７０が使用可能な状態で、第２の操作部４２０の操作スイッチ４２２が操作された場合に、第３の表示部４７０に通話する相手の画像を表示させる。これにより、乗員は、第３の表示部４７０に表示される相手を見ながら通話を楽しむことができる。すなわち、乗員は、テレビ電話を利用することができる。
　また、ＨＭＩ制御部１２０は、車室内カメラ９０により撮像された画像、および車室内に設けられたマイク（不図示）により取得された乗員の音声を対応付けて、通話相手の車両や、端末装置に送信する。
　例えば、車室内カメラ９０に含まれる撮像素子は、赤外光および可視光の波長範囲に感度を有する。車室内カメラ９０は、赤外光を遮断して可視光を撮像素子の方向に透過させるレンズフィルタを備えてもよい。レンズフィルタは、ＨＭＩ制御部１２０の制御によって、機械的な機構が稼働することにより、車室内カメラ９０に入射する赤外光を遮断する位置（設定位置）または遮断しない位置（非設定位置）に制御される。例えば、ＨＭＩ制御部１２０は、画像がテレビ電話に用いられる場合、レンズフィルタは設定位置に制御され、画像が乗員の監視に用いられる場合、レンズフィルタは非設定位置に制御される。これにより、可視光のみにより撮像された画像は、テレビ電話に用いられ、可視光および赤外光により撮像された画像は、乗員の監視に用いられる。これにより、用途に適した画像が取得される。特に、画像がテレビ電話に用いられる場合、違和感のない画像が通話相手の装置等に送信される。
　なお、自車両Ｍには、車室内カメラ９０に代えて、テレビ電話専用のカメラが設けられていてもよい。この場合、ＨＭＩ制御部１２０は、テレビ電話専用のカメラにより撮像された画像、およびマイクにより取得された音声を対応付けて、通話相手の車両または端末装置に送信する。
　＜場面（６）＞
　場面（６）では、自動運転制御ユニット３００は、低速追従する前走車両ｍが存在しないため、自車両Ｍを第３の度合から第２の度合の運転支援に切り替える。この場合、ＨＭＩ制御部１２０は、運転支援の度合の変化に基づいて、図２５に示すように、乗員に要求する乗員の監視対象または操作対象を示唆する情報を、第１の表示部４５０またはＨＵＤ４６０の一方または双方に表示させる。
　図２５は、乗員に周辺監視を要求するために表示される第３画面ＩＭ３－８および第４画面ＩＭ４－８の一例を示す図である。ＨＭＩ制御部１２０は、周辺検知情報表示領域６００－８に、低速追従走行（図では「渋滞追従自動運転」）が終了する旨の情報と、乗員に周辺の交通状況を確認させる旨を示す情報とを表示させる。
　また、ＨＭＩ制御部１２０は、第４画面ＩＭ４－８に、乗員に自車両Ｍの前方を注視させることを要求する前方注視要求画像６５０を表示させる。前方注視要求画像６５０は、車両Ｍの前方の所定の領域を示す楕円状の領域を含む画像である。また、前方注視要求画像６５０は、円状や矩形状等の所定の形状でもよく、乗員に注意を促すマークや記号文字等の情報でもよい。また、ＨＭＩ制御部１２０は、前方注視要求画像６５０を所定の色で点灯または点滅させる。また、ＨＭＩ制御部１２０は、インストルメントパネルに組み込まれたＬＥＤを発光させ、フロントウインドシールドまたは反射部でＬＥＤの発光を反射させることで、乗員に前方への注視を促してもよい。
　乗員状態監視部１４０は、車室内カメラ９０の撮像画像により、乗員が周辺監視を行っているか否かを判定する。乗員が周辺監視を行っていると判定された場合、切替制御部１１０は、自動運転制御ユニット３００に、自車両Ｍの運転支援を第３の度合から第２の度合に切り替えさせる。ＨＭＩ制御部１２０は、図２６に示すように、第１の表示部４５０またはＨＵＤ４６０の一方または双方に、第２の度合による運転支援に対応する画面を表示させる。
　図２６は、第３の度合から第２の度合に切り替わった場合の第３画面ＩＭ３－９および第４画面ＩＭ４－９の一例を示す図である。図２６の例では、自車両Ｍが第２の度合の運転支援により、行動計画生成部３２３により定められた目標速度（例えば８０［ｋｍ／ｈ］）まで加速する例を示している。ＨＭＩ制御部１２０は、例えば、第３画面ＩＭ３－９の周辺検知情報表示領域６００－９に、例えば、加速制御が実行されていることを示す画像６０８を表示させる。
　また、ＨＭＩ制御部１２０は、第３画面ＩＭ３－９の運転支援状態表示領域６２０－９に、自車両Ｍの第２の度合の運転支援に対応する「Ｈａｎｄｓ　ＯＦＦ」の画像をハイライト表示させる。また、ＨＭＩ制御部１２０は、運転支援状態表示領域６２０－９に、第２の度合の運転支援に対応する乗員の操作内容を示す要求動作通知画像６２２を表示させる。これにより、乗員は、自車両Ｍの運転支援が第３の度合から第２の度合に切り替わったことを直観的に把握することができる。
　＜場面（４）～（６）に対応する処理フロー＞
　図２７は、場面（４）～（６）において、ＨＭＩ制御部１２０により実行される処理の流れの一例を示すフローチャートである。まず、ＨＭＩ制御部１２０は、自動運転制御ユニット３００が低速追従走行を開始したか否かを判定する（ステップＳ４００）。低速追従走行を開始した場合、ＨＭＩ制御部１２０は、第３画面ＩＭ３および第４画面ＩＭ４に、第３の度合の運転支援が実行されていることを示す画像を表示する（ステップＳ４０２）。次に、ＨＭＩ制御部１２０は、第３の度合の運転支援により使用可能となった機器に設けられている発光部を発光させる（ステップＳ４０４）。
　次に、ＨＭＩ制御部１２０は、自動運転制御ユニット３００が、自車両Ｍの低速追従走行を終了するか否かを判定する（ステップＳ４０６）。低速追従走行を終了しない場合には、ステップＳ４０２およびＳ４０４の処理による画像表示および発光部の発光が継続される。つまり、Ｓ４０４の処理において、ＨＭＩ制御部１２０は、機器が使用可能な間は、機器に設けられている発光部の発光を継続させる。
　また、低速追従走行を終了する場合、ＨＭＩ制御部１２０は、第３画面ＩＭ３および第４画面ＩＭ４に、乗員に周辺監視を行わせるための情報を表示する（ステップＳ４０８）。次に、ＨＭＩ制御部１２０は、第２の度合の運転支援が実行されていることを示す画像を表示する（ステップＳ４１０）。これにより、本フローチャートの処理は終了する。
　また、場面（４）～（６）のように、ＨＭＩ制御部１２０は、車両が停車中でない場合、または運転支援の度合が第３の度合でない場合、使用されることによって乗員の視線が車両周辺から外れる特定機能の使用規制を行い、車両が停車中である場合、または運転支援の度合が第３の度合である場合、特定機能の使用規制を解除する。特定機能とは、例えば、テレビ電話機能を含み、第３の表示部４７０に自車両Ｍの制御や走行には関係しないコンテンツが表示される機能である。自車両Ｍの制御や走行には関係しないコンテンツとは、例えば、エンターテイメントとして乗員に視聴されるＤＶＤに記憶された画像や、放送局から送信された画像（テレビの画像）、テレビ電話における通話相手を示す画像等である。
　図２８は、ＨＭＩ制御部１２０による特定機能の実行処理の流れを示すフローチャートである。本フローチャートの処理では、特定機能は、テレビ電話機能であるものとして説明する。テレビ電話機能とは、画像（リアルタイムの画像）と、音声とを送受信して、通話相手を示す画像を見ながら通話を行わせる機能である。通話相手の画像は、第３の表示部４７０に表示される。また、ＨＭＩ制御部１２０が、通信装置２０を制御して、通話相手の通信装置と通信を確立させることにより、画像および音声を含む情報を送受信することで、テレビ電話機能を実現する。
　まず、ＨＭＩ制御部１２０は、運転支援制御部２００および自動運転制御ユニット３００から取得した情報に基づいて、自車両Ｍが停車中である否かを判定する（ステップＳ５００）。自車両Ｍが停車中である場合、ＨＭＩ制御部１２０は、テレビ電話機能の使用規制を解除する（ステップＳ５０２）。これにより、乗員はテレビ電話機能を利用することができる。
　自車両Ｍが停車中でない場合、ＨＭＩ制御部１２０は、自動運転制御ユニット３００から取得した情報に基づいて、自車両Ｍが低速追従走行中であるか否かを判定する（ステップＳ５０４）。自車両Ｍが低速追従走行中である場合、ＨＭＩ制御部１２０は、テレビ電話機能の使用規制を解除する（ステップＳ５０２）。これにより、乗員はテレビ電話を利用することができる。
　自車両Ｍが停車中でも低速追従走行中でもない場合、ＨＭＩ制御部１２０は、音声のみの利用を許可する（ステップＳ５０６）。これにより、本フローチャートの１ルーチンの処理を終了する。
　図２９は、運転の度合によって第３の表示部４７０に表示される画像が変化する様子の一例を示す図である。図２９（Ａ）に示すように、例えば第３の度合の運転支援が実行されている場合、通話相手の映像が第３の表示部４７０に表示され、通話相手の音声がスピーカから出力される。これにより、乗員はテレビ電話を利用することができる。これに対して、図２９（Ｂ）に示すように、例えば第３の度合の運転支援から、他の度合の運転支援または手動運転に遷移した場合、第３の表示部４７０に表示されていた通話相手の映像は停止し、通話相手の音声のみがスピーカから出力される。これにより、乗員は、自車両Ｍの周辺を監視することができる。
　上述したように、ＨＭＩ制御部１２０は、運転支援が第３の度合に移行し、自車両Ｍの乗員が周辺監視をする必要がなくなった場合（後述する図３７の時刻Ｔ４に到達した場合）に、特定機能の使用規制が解除されることにより、より適切に特定機能を制御することができる。
　次に、場面（７）～（９）について説明する。図３０は、自車両Ｍを第２の度合の運転支援から手動運転による走行に切り替わるまでの各種場面を示す図である。図３０の例において、場面（７）は、自車両Ｍが行動計画に基づき高速道路を抜けるための車線変更を行う場面である。場面（８）は、自車両Ｍが手動運転に切り替わる場面である。場面（９）は、自車両Ｍが手動運転により高速道路から一般道路へ移動する場面である。以下場面（７）～（９）のそれぞれの場面に対応する表示制御について説明する。
　＜場面（７）＞
　場面（７）では、自動運転制御ユニット３００は、自車両Ｍが左側に車線変更するための運転支援を実行する。この場合、ＨＭＩ制御部１２０は、第１の表示部４５０またはＨＵＤ４６０の一方または双方に、運転支援に対応する画面を表示する。なお、車線変更の開始時および実行時における表示例については、図１７および図１８に示す自車両Ｍの右車線への車線変更の内容を、左車線への車線変更に置き換えて同様の表示を行うため、ここでの具体的な説明は省略する。
　＜場面（８）＞
　場面（８）では、自動運転制御ユニット３００は、自車両Ｍが手動運転に切り替わるための制御を行う。この場合、ＨＭＩ制御部１２０は、第１の表示部４５０またはＨＵＤ４６０の一方または双方に、乗員に手動運転を実行させるための画像を表示する。
　図３１は、手動運転時への切り替え要求時に表示される第３画面ＩＭ３－１０および第４画面ＩＭ４－１０の一例を示す図である。ＨＭＩ制御部１２０は、高速道路の出口が近づいているため、第３画面ＩＭ３－１０の周辺検知情報表示領域６００－１０に、乗員にステアリングホイール８２の操作を要求する旨の要求動作通知画像６２８を表示させる。また、ＨＭＩ制御部１２０は、要求動作通知画像６２８として、ステアリングホイール８２を示す画像から乗員の手を示す画像が近づいていくようなアニメーションを表示させてもよい。
　また、ＨＭＩ制御部１２０は、第３画面ＩＭ３－１０の運転支援状態表示領域６２０－１０に、第２の度合の運転支援に対応する「Ｈａｎｄｓ　ＯＦＦ」の画像、および第１の度合の運転支援に対応する「Ａｓｓｉｓｔ」の画像をハイライト表示させる。
　ここで、ＨＭＩ制御部１２０は、操作子状態判定部１３０の判定結果に基づいて乗員がステアリングホイール８２を把持している状態であるか否かを判定する。ＨＭＩ制御部１２０は、操作子状態判定部１３０により所定時間経過後も乗員がステアリングホイール８２を把持していない状態であると判定された場合に、第１の表示部４５０またはＨＵＤ４６０の一方または双方に、段階的に警告を強めて乗員に手動運転を実行させるための画像を表示させる。
　図３２は、乗員に手動運転を実行させるための警告を強めた第３画面ＩＭ３－１１および第４画面ＩＭ４－１１の一例を示す図である。ＨＭＩ制御部１２０は、例えば、第３画面ＩＭ－１１の運転支援状態表示領域６００－１１に、自車両Ｍの周辺状況の表示よりも強調して、乗員に要求する乗員の監視対象または操作対象を示唆する情報を表示させる。具体的には、ＨＭＩ制御部１２０は、第３画面ＩＭ－１１の運転支援状態表示領域６００－１１に、自車両Ｍの前方の道路形状を示す画像や自車両Ｍを示す画像、自車両Ｍの将来の軌道を示す画像に代えて、乗員のステアリングホイール８２を操作させることを示す情報を重畳して表示させる。
　また、ＨＭＩ制御部１２０は、第４画面ＩＭ４－１１に、ステアリングホイール８２と乗員の手との位置関係を模式的に示す要求動作通知画像６６０を表示させる。ＨＭＩ制御部１２０は、要求動作通知画像６６０として、乗員の手を示す画像がステアリングホイール８２を示す画像に近づいて把持するようなアニメーションを表示させてもよい。また、ＨＭＩ制御部１２０は、乗員にステアリングホイール８２を把持させるために、音声等による警告を行ってもよい。
　また、ＨＭＩ制御部１２０は、乗員にステアリングホイール８２を把持させるために、ステアリングホイール８２に設けられた発光部４３０Ｒ、４３０Ｌを発光させたり、点滅させたり、発光を停止させたりする。これにより、運転支援の度合の変化に伴って乗員に要求する内容を、乗員に認識し易くすることができる。
　また、ＨＭＩ制御部１２０は、運転支援の度合が、乗員にステアリングホイール８２を操作させることを要求する度合に変化する場合に、発光部４３０Ｒ、４３０Ｌの発光状態を、度合が変化する前の発光状態とは異ならせる。また、ＨＭＩ制御部１２０は、例えば、自車両Ｍの運転支援の度合に応じて発光部４３０Ｒ、４３０Ｌを発光、点滅させている状態で、乗員にステアリングホイール８２を把持させることを要求する場合に、発光部４３０Ｒ、４３０Ｌの発光状態を、現在の発光状態とは異ならせる。例えば、ＨＭＩ制御部１２０は、現在の発光状態に対して、発光部４３０Ｒ、４３０Ｌの発光、点滅、発光色、発光輝度のうち、少なくとも一つを異ならせる。換言すると、ＨＭＩ制御部１２０は、運転支援の実行時と乗員への操作要求時とのいずれの状態でも発光部の発光、点滅を行い、運転支援の実行時と乗員への操作要求時とで、互いの発光、点滅、発光色、または発光輝度のうち少なくとも一つを異ならせる。　
　また、ＨＭＩ制御部１２０は、運転支援の度合が現在の運転支援の度合よりも低い度合に変化する場合に、発光部４３０Ｒ、４３０Ｌを発光、点滅、または発光を停止させる。これにより、ステアリングホイール８２を把持させる必要性が高い運転支援であることを乗員に伝えることができる。
　また、ＨＭＩ制御部１２０は、操作子状態判定部１３０により所定時間経過後も乗員がステアリングホイール８２を把持していない状態であると判定された場合に、段階的に警告を強めてスピーカに音声を出力させてもよい。また、ＨＭＩ制御部１２０は、シートまたはシートベルトを振動させる振動部を作動させて、シートまたはシートベルトを段階的な強さで振動させて警告を行ってもよい。
　図３３は、シートベルトを振動させて乗員に警告を行うことについて説明するための図である。図３１のでは、例えば、自車両Ｍのシート４８０と、シートベルト装置４８２と、振動部４８４とを備える。シートベルト装置４８２は、いわゆる三点式のシートベルト装置である。シートベルト装置４８２は、例えば、シートベルト４８２Ａと、シートベルト４８２Ａを巻き取る巻き取り部４８２Ｂと、シートベルト４８２Ａをシート４８０の所定の位置で固定するアンカー４８２Ｃと、シートベルト４８２Ａに設けられたタングに対して着脱可能なバックル４８２Ｄとを備える。振動部４８４は、ＨＭＩ制御部１２０の制御によりシートベルトを所定の周期および所定の強さで振動させる。
　ＨＭＩ制御部１２０は、乗員にステアリングホイール８２を把持させるタイミングで振動部４８４を作動させる。これにより、乗員は、ステアリングホイール８２を把持して手動運転を開始することを直観的に把握することができる。
　また、操作子状態判定部１３０によって、ＨＭＩ制御部１２０が図３２に示す表示を行ってから所定時間を経過しても乗員がステアリングホイール８２を把持していないと判定した場合、ＨＭＩ制御部１２０は、図３４に示すように、運転支援（例えば、自動運転）を終了する旨の画面を表示する。
　図３４は、自動運転を終了する旨の情報を表示する第３画面ＩＭ３－１２および第４画面ＩＭ４－１２の一例を示す図である。ＨＭＩ制御部１２０は、第３画面ＩＭ－１２の運転支援状態表示領域６００－１２に、自車両Ｍの前方の道路形状を示す画像や自車両Ｍを示す画像、自車両Ｍの将来の軌道を示す画像に重畳して、自動運転を終了するため運転操作の交代を促す情報を表示させる。また、ＨＭＩ制御部１２０は、第３画面ＩＭ３－１２の運転支援状態表示領域６２０－１２に、「Ｈａｎｄｓ　Ｏｆｆ」の画像がハイライト表示されるが、図２９に示すハイライト表示とは異なる色等でハイライト表示させてもよい。
　また、ＨＭＩ制御部１２０は、第４画面ＩＭ４－１２に、ステアリングホイール８２と乗員の手との位置関係を模式的に示す要求動作通知画像６６０を表示させる。また、ＨＭＩ制御部１２０は、乗員にステアリングホイール８２を把持させるために、図３０に示す第３画面ＩＭ３－１１および第４画面ＩＭ４－１２を表示に比して強めの音声等による警告を行ってもよい。また、ＨＭＩ制御部１２０は、乗員にステアリングホイール８２を把持させるために、発光部４３０Ｒ、４３０Ｌを点灯または点滅させてもよい。例えば、ＨＭＩ制御部１２０は、警告を強めるために点滅周期を短くしたり、複数色で発光部４３０Ｒ、４３０Ｌを点灯または点滅させたりする。
　また、ＨＭＩ制御部１２０は、例えば、第１の表示部４５０に第３画面ＩＭ３－１２を表示し、ＨＵＤ４６０に第４画面ＩＭ４－１２を表示するタイミングで振動部４８４を作動させることで、シートベルト４８２Ａを振動させてよい。この場合、ＨＭＩ制御部１２０は、第３画面ＩＭ３－１１および第４画面ＩＭ４－１１に画像を表示させたときのシートベルト４８２Ａの振動に比して強い振動になるように、振動部４８４を作動させてよい。これにより、乗員は、自動運転が終了することを直観的に把握することができる。
　また、操作子状態判定部１３０は、ＨＭＩ制御部１２０が図３２に示す表示を行ってから所定時間を経過しても乗員がステアリングホイール８２を把持していないと判定した場合、マスター制御部１００は、自動運転制御ユニット３００に対して自車両Ｍを所定の位置（例えば、路肩や最寄のパーキングエリア）に緊急停止させるための自動運転を実行させる。この場合、ＨＭＩ制御部１２０は、図３５に示すように、第３画面ＩＭ３－１３に、自車両Ｍの緊急停止を自動運転で実行する旨を示す画面を表示させる。
　図３５は、自車両Ｍの緊急停止時における第３画面ＩＭ３－１３および第４画面ＩＭ４－１３の一例を示す図である。ＨＭＩ制御部１２０は、第３画面ＩＭ３－１３の運転支援状態表示領域６００－１３に、緊急停止を行う旨の情報を表示させる。なお、第３画面ＩＭ３－１３の態様の通知は、第３画面ＩＭ３－１０～ＩＭ３－１２の態様の通知に比して、強い警報である。
　＜場面（９）＞
　場面（９）では、乗員がステアリングホイール８２を把持する旨の指示を受けて、運転支援が終了するまでにステアリングホイール８２を把持し、手動運転を開始して、高速道路から一般道路に進入する場面である。切替制御部１１０は、自車両Ｍの走行状態を、乗員の手動運転によって行う状態に切り替える。ＨＭＩ制御部１２０は、第１の表示部４５０に第１画面ＩＭ１－１を表示させ、ＨＵＤ４６０に第２画面ＩＭ１－２を表示させる。
　＜場面（７）～（９）に対応する処理フロー＞
　図３６は、場面（７）～（９）において、ＨＭＩ制御部１２０により実行される処理の流れの一例を示すフローチャートである。本処理では、上述したようにＨＭＩ制御部１２０は、自動運転が実行されている際に、自車両Ｍの乗員に所定の行動（例えばステアリングホイール８２の把持）を要求する通知を行い、通知の開始から時間が経過するに従って、段階的に前記通知が強調されるように通知の態様を変化させて、出力部に通知を出力させる。出力部とは、画像を表示する表示部や、音声を出力するスピーカ等である。なお、本処理では、所定の行動は、一例としてステアリングホイール８２を把持することであるものとするが、これに代えて（加えて）、乗員が周辺を監視することや、運転操作子８０（例えばアクセルペダル、ブレーキペダル）を乗員が操作できるように足を置くこと等であってもよい。
　まず、ＨＭＩ制御部１２０は、運転支援を終了するか否かを判定する（ステップＳ６００）。運転支援を終了する場合、ＨＭＩ制御部１２０は、第１の表示部４５０に自車両Ｍが走行する軌道を示す画像を維持した状態において乗員にステアリングホイール８２の把持を促すことを示す画像（例えば画面ＩＭ３－１０）を表示させる（ステップＳ６０２）。
　次に、ＨＭＩ制御部１２０は、操作子状態判定部１３０による判定結果により、第１の所定時間以内に乗員がステアリングホイール８２を把持したか否かを判定する（ステップＳ６０４）。
　第１の所定時間以内に乗員がステアリングホイールを把持したと判定された場合、ＨＭＩ制御部１２０は、第１の表示部４５０に第１画面ＩＭ１を表示させ（ステップＳ６０６）、ＨＵＤ４６０に第２画面ＩＭ２を表示させる（ステップＳ６０８）。つまり、ステップＳ６０６およびステップＳ６０８の処理において、ＨＭＩ制御部１２０は、第１の表示部４５０およびＨＵＤ４６０に表示される画面を、メインスイッチ４１２が押される前の画面に戻す。また、ステップＳ６０６またはステップＳ６０８の処理に加えて、或いは代わりに、ＨＭＩ制御部１２０は、メインスイッチ４１２の状態をスイッチが押される前の状態に戻してもよい。
　また、ステップＳ６０４において、第１の所定時間以内に乗員がステアリングホイールを把持したと判定されなかった場合、ＨＭＩ制御部１２０は、第１の表示部４５０に自車両Ｍが走行する軌道を示すアイコンに代えて乗員にステアリングホイール８２の把持を要求することを示す画像（例えば画面ＩＭ３－１１）を表示させる（ステップＳ６１０）。
　次に、ＨＭＩ制御部１２０は、操作子状態判定部１３０による判定結果により、第２の所定時間以内に乗員がステアリングホイール８２を把持したか否かを判定する（ステップＳ６１２）。第２の所定時間以内に乗員がステアリングホイールを把持したと判定された場合、ＨＭＩ制御部１２０は、第１の表示部４５０に第１画面ＩＭ１を表示させ（ステップＳ６０６）、ＨＵＤ４６０に第２画面ＩＭ２を表示させる（ステップＳ６０８）。
　ステップＳ６１２において、第２の所定時間以内に乗員がステアリングホイールを把持したと判定されなかった場合、ＨＭＩ制御部１２０は、第１の表示部４５０に運転支援を終了することを示す画像（例えば第３画面ＩＭ３－１２）を表示させる（ステップＳ６１４）。また、この際、ＨＭＩ制御部１２０は、シートベルト４８２Ａを振動させる振動部４８４を作動させる。なお、実施形態では、シート４８０に、そのシート４８０を振動させる振動部が設けられてもよい。この場合、第２の所定時間以内に乗員がステアリングホイールを把持したと判定されなかった場合、ＨＭＩ制御部１２０は、シート４８０に設けられた振動部を作動させてもよい。
　次に、ＨＭＩ制御部１２０は、操作子状態判定部１３０による判定結果により、第３の所定時間以内に乗員がステアリングホイール８２を把持したか否かを判定する（ステップＳ６１６）。第３の所定時間以内に乗員がステアリングホイールを把持したと判定された場合、ＨＭＩ制御部１２０は、第１の表示部４５０に第１画面ＩＭ１を表示させ（ステップＳ６０６）、ＨＵＤ４６０に第２画面ＩＭ２を表示させる（ステップＳ６０８）。
　ステップＳ６１６において、第３の所定時間以内に乗員がステアリングホイールを把持したと判定されなかった場合、ＨＭＩ制御部１２０は、第１の表示部４５０に自車両Ｍの緊急停止を実行する旨の画像を表示する（ステップＳ６１８）。これにより、本フローチャートの処理は終了する。
　＜運転支援に関連する各種機器または制御の切り替えタイミング＞
　ここで、自車両Ｍの運転支援に関連する各種機器または制御の切り替えタイミングについて図を用いて説明する。図３７は、運転支援に関連する各種機器または制御の切り替えタイミングについて説明するための図である。
　図３７では、運転支援に関連する切り替えとして、（Ａ）メインスイッチ４１２のオン／オフ、（Ｂ）オートスイッチ４１４のオン／オフ、（Ｃ）手動運転モード表示のオン／オフ、（Ｄ）運転支援モード表示のオン／オフ、（Ｅ）第１の度合の運転支援のオン／オフ、（Ｆ）ステアリングホイール８２を把持している／把持していない、（Ｇ）第２の度合の運転支援のオン／オフ、（Ｈ）第３の度合の運転支援のオン／オフ、（Ｉ）乗員の運転監視の要／不要の時刻の経過に対する切り替えタイミングを示している。
　時刻Ｔ０では、乗員の手動運転により自車両Ｍが走行している。この場合、メインスイッチ４１２およびオートスイッチ４１４は操作おらず、第１の表示部４５０およびＨＵＤ４６０には、手動運転モードでの画面（第１画面ＩＭ１、第２画面ＩＭ２）が表示される。また、時刻Ｔ０では、自車両Ｍに対する運転支援（第１の度合～第３の度合）は、実施されておらず、乗員は、ステアリングホイール８２を把持するとともに、周辺監視を行う必要がある。
　時刻Ｔ１では、乗員によりメインスイッチ４１２をオンにする操作が実行されている。この場合、第１の表示部４５０およびＨＵＤ４６０には、運転支援モードでの画面（第３画面ＩＭ３、第４画面ＩＭ４）が表示される。時刻Ｔ１～Ｔ２までの状態では、運転支援による走行制御は行われておらず、手動運転が継続されている。
　時刻Ｔ２では、乗員によりオートスイッチ４１４をオンにする操作が実行されている。この場合、マスター制御部１００は、運転支援制御部２００に第１の度合の運転支援を実行させる。ＨＭＩ制御部１２０は、運転支援モード表示において、乗員がステアリングホイール８２から手を離すことで、第２の度合の運転支援が実行されることを示す画像を表示する。
　時刻Ｔ３では、自車両Ｍが第２の度合の運転支援が可能な状態で、乗員がステアリングホイール８２から手を離している。この場合、切替制御部１１０は、運転支援制御部２００による第１の度合の運転支援から自動運転制御ユニット３００による第２の度合の運転支援を実行させる。
　時刻Ｔ４では、例えば、自車両Ｍが低速追従走行を行うことで、第３の度合の運転支援が実行される。この場合、乗員の周辺監視は、不要となる。
　時刻Ｔ５では、第３の度合の運転支援が終了し、第２の度合の運転支援に切り替わる。したがって、乗員の周辺監視が必要になる。また、時刻Ｔ５では、第２の度合の運転支援から手動運転に切り替えるための表示を行う。この場合、ＨＭＩ制御部１２０は、運転支援モード表示において、乗員にステアリングホイール８２を把持させるための情報を表示する。
　時刻Ｔ６では、乗員がステアリングホイール８２を把持する。この場合、切替制御部１１０は、自動運転制御ユニット３００による第２の度合の運転支援から運転支援制御部２００による第１の度合の運転支援に切り替える。また、切替制御部１１０は、第１の度合の運転支援が所定時間経過された後、手動運転に切り替える。
　時刻Ｔ７では、自車両Ｍが手動運転に切り替わっている。この場合、メインスイッチ４１２およびオートスイッチ４１４は、自車両Ｍが手動運転に切り替わるタイミングに対応してオフに切り替わる。
　次に、実施形態における運転支援の切り替え制御について説明する。図３８は、実施形態における運転支援の切り替え制御について説明するための図である。実施形態による自車両Ｍの運転制御は、第１～第３の度合の運転支援による運転制御と、乗員の手動運転による運転制御とがある。切替制御部１１０は、例えば、自車両Ｍの走行状態や乗員の状態に基づいて、図３８の（ａ）～（ｈ）に示す切替パターンで運転制御の切り替えを行う。
　切替パターン（ａ）では、切替制御部１１０は、自車両Ｍの運転制御を手動運転から第１の度合の運転支援に切り替える。この場合、切替制御部１１０は、運転支援制御部２００に第１の度合の運転支援を実行させる。
　切替パターン（ｂ）では、切替制御部１１０は、第１の度合の運転支援から第２の度合の運転支援に切り替える。この場合、切替制御部１１０は、自動運転制御ユニット３００に第２の度合の運転支援を実行させる。
　切替パターン（ｃ）では、切替制御部１１０は、第２の度合の運転支援から第３の度合の運転支援に切り替える。この場合、切替制御部１１０は、自動運転制御ユニット３００に第３の度合の運転支援を実行させる。
　切替パターン（ｄ）では、切替制御部１１０は、第３の度合の運転支援から第２の度合の運転支援に切り替える。この場合、切替制御部１１０は、自動運転制御ユニット３００に第２の度合の運転支援を実行させる。
　切替パターン（ｅ）では、切替制御部１１０は、第２の度合の運転支援から第１の度合の運転支援に切り替える。この場合、切替制御部１１０は、運転支援制御部２００に第１の度合の運転支援を実行させる。
　切替パターン（ｆ）では、切替制御部１１０は、第１の度合の運転支援から手動運転に切り替える。この場合、切替制御部１１０は、手動運転による運転制御を実行させる。
　切替パターン（ｇ）では、切替制御部１１０は、第２の度合の運転支援を実行中に、自車両Ｍに所定の事象が発生した場合、第２の度合の運転支援から手動運転に切り替える。所定の事象とは、例えば、自動運転制御ユニット３００が受け付けた値が予め想定される所定範囲の値と異なる場合や、他の機器からの信号が遮断された場合、制御対象機器に対する信号の送信ができないような場合である。
　切替パターン（ｈ）では、切替制御部１１０は、特定の場面において、乗員がステアリングホイール８２を把持している状態である場合に、自動運転制御ユニット３００に第２の度合の運転支援を継続させる。特定の画面とは、例えば、自車両Ｍがインターチェンジやジャンクション等のランプ（連絡路）を走行するような場面である。切替制御部１１０は、それぞれの切替パターンに対応させて自車両Ｍの運転制御を切り替える。
　以上説明した実施形態によれば、運転支援の度合の変化に伴って乗員に要求する内容を、乗員に認識し易く提示することができる。
　以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
　１…車両システム、１０…カメラ、１２…レーダ装置、１４…ファインダ、１６…物体認識装置、２０…通信装置、５０…ナビゲーション装置、６０…ＭＰＵ、７０…車両センサ、８０…運転操作子、９０…車室内カメラ、１００…マスター制御部、１１０…切替制御部、１２０…ＨＭＩ制御部、１３０…操作子状態判定部、１４０…乗員状態監視部、２００…運転支援制御部、３００…自動運転制御ユニット、３２０…第１制御部、３４０…第２制御部、４００…ＨＭＩ、５００…走行駆動力出力装置、５１０…ブレーキ装置、５２０…ステアリング装置、Ｍ…自車両

Claims (11)

  1. 　互いに異なる複数の度合で車両の運転支援を実行する運転支援制御部と、
    　情報を出力する情報出力部と、
    　前記運転支援制御部による運転支援の度合の変化に基づいて、乗員に要求する前記乗員の監視対象または操作対象を示唆する情報を出力するように前記情報出力部を制御する出力制御部と、
    　を備える車両制御システム。
  2. 　前記情報出力部は、前記車両のフロントウインドシールドまたは前記フロントウインドシールド近傍に設けられる反射部で、所定の光源からの光を反射させる反射表示部を含み、
    　前記出力制御部は、前記運転支援制御部による運転支援の度合が、前記乗員に前記車両の前方を注視させることを要求する度合に変化する場合に、前記反射表示部に所定の動作をさせる、
    　請求項１に記載の車両制御システム。
  3. 　前記車両の手動運転時に前記乗員が操作する運転操作子を更に備え、
    　前記情報出力部は、前記運転操作子に設けられる発光部であり、
    　前記出力制御部は、前記運転支援制御部による運転支援の度合が、前記乗員に運転操作子を操作することを要求する度合に変化する場合に、前記運転操作子に設けられた発光部を発光、点滅、または発光を停止させる、
    　請求項１または２に記載の車両制御システム。
  4. 　前記車両の手動運転時に前記乗員が操作する運転操作子を更に備え、
    　前記情報出力部は、前記運転操作子に設けられる発光部であり、
    　前記出力制御部は、前記運転支援制御部による前記運転支援の度合に応じて前記発光部を発光、点滅、または発光を停止させ、更に前記運転支援の度合が、前記乗員に運転操作子を操作することを要求する度合に変化する場合に、前記発光部の発光状態を変化する前の発光状態とは異ならせる、
    　請求項１または２に記載の車両制御システム。
  5. 　前記出力制御部は、前記運転支援の実行時と前記乗員への操作要求時とのいずれの状態でも前記発光部の発光、点滅を行い、前記運転支援の実行時と前記乗員への操作要求時とで、互いの発光、点滅、発光色、または発光輝度のうち少なくとも一つを異ならせる、
    　請求項４に記載の車両制御システム。
  6. 　前記出力制御部は、前記運転支援の度合が、変化する前の運転支援の度合よりも低い度合に変化する場合に、前記発光部の発光、点滅、または発光を停止させる、
    　請求項３から５のうち何れか１項に記載の車両制御システム。
  7. 　前記乗員をシートに着座させた状態でシートベルトによって保持するシートベルト装置と、
    　前記シートベルトを振動させる振動部と、を更に備え、
    　前記出力制御部は、前記運転支援制御部による運転支援の度合が変化する場合に前記振動部を作動させる、
    　請求項１から６のうち何れか１項に記載の車両制御システム。
  8. 　前記乗員の状態を監視する乗員状態監視部を更に備え、
    　前記出力制御部は、前記乗員状態監視部により前記乗員が所定の動作を行ったと判定されるまで、前記乗員に要求する前記乗員の監視対象または操作対象を示唆する情報の出力を継続する、
    　請求項１から７のうち何れか１項に車両制御システム。
  9. 　前記車両の周辺状況を認識する外界認識部を更に備え、
    　前記情報出力部は、運転支援に関する情報を表示する表示部を含み、
    　前記出力制御部は、前記運転支援の度合に対応させて前記外界認識部により認識された前記車両の周辺状況を前記表示部に表示させ、前記運転支援制御部による運転支援の度合が変化する場合に、前記乗員状態監視部により前記乗員が所定の動作を行ったと判定されるまで、前記車両の周辺状況の表示よりも強調して前記乗員に要求する前記乗員の監視対象または操作対象を示唆する情報を前記表示部に表示させる、
    　請求項８に記載の車両制御システム。
  10. 　車載コンピュータが、
    　互いに異なる複数の度合で車両の運転支援を実行し、
    　前記運転支援の度合の変化に基づいて、乗員に要求する前記乗員の監視対象または操作対象を示唆する情報を出力するように情報出力部を制御する、
    　車両制御方法。
  11. 　車載コンピュータに、
    　互いに異なる複数の度合で車両の運転支援を実行させ、
    　前記運転支援の度合の変化に基づいて、乗員に要求する前記乗員の監視対象または操作対象を示唆する情報を出力するように情報出力部を制御させる、
    　プログラム。
PCT/JP2017/020648 2017-06-02 2017-06-02 車両制御システム、車両制御方法、およびプログラム WO2018220832A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019521909A JP6771670B2 (ja) 2017-06-02 2017-06-02 車両制御システム、車両制御方法、およびプログラム
CN201780091315.3A CN110709272B (zh) 2017-06-02 2017-06-02 车辆控制系统、车辆控制方法及存储介质
PCT/JP2017/020648 WO2018220832A1 (ja) 2017-06-02 2017-06-02 車両制御システム、車両制御方法、およびプログラム
US16/616,507 US11203360B2 (en) 2017-06-02 2017-06-02 Vehicle control system, vehicle control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020648 WO2018220832A1 (ja) 2017-06-02 2017-06-02 車両制御システム、車両制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2018220832A1 true WO2018220832A1 (ja) 2018-12-06

Family

ID=64455281

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020648 WO2018220832A1 (ja) 2017-06-02 2017-06-02 車両制御システム、車両制御方法、およびプログラム

Country Status (4)

Country Link
US (1) US11203360B2 (ja)
JP (1) JP6771670B2 (ja)
CN (1) CN110709272B (ja)
WO (1) WO2018220832A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021046033A (ja) * 2019-09-17 2021-03-25 本田技研工業株式会社 操作子

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102387614B1 (ko) * 2017-08-17 2022-04-15 엘지전자 주식회사 차량 운전 보조 장치 및 차량
JP7199150B2 (ja) * 2018-03-12 2023-01-05 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
RU2760046C1 (ru) * 2018-07-16 2021-11-22 Ниссан Мотор Ко., Лтд. Способ помощи при вождении и устройство помощи при вождении
DE102019202576A1 (de) * 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
JP2021077099A (ja) * 2019-11-08 2021-05-20 トヨタ自動車株式会社 情報提供システム
US11479268B2 (en) * 2020-07-30 2022-10-25 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous control of vehicle driving modes in certain traffic situations
JP2022041287A (ja) * 2020-08-31 2022-03-11 トヨタ自動車株式会社 車載表示制御装置、車載表示装置、表示制御方法及び表示制御プログラム
FR3116130A1 (fr) * 2020-11-10 2022-05-13 Psa Automobiles Sa Procédé d’affichage pour un dispositif d’affichage tête haute d’un véhicule
CN115461261B (zh) * 2020-12-28 2023-05-16 本田技研工业株式会社 车辆控制系统及车辆控制方法
CN114834475A (zh) * 2021-01-15 2022-08-02 郑州宇通客车股份有限公司 一种车辆输出扭矩控制方法和装置
US11685307B2 (en) * 2021-02-26 2023-06-27 Dsrj Inc. Turn signal control system and methods
US11815694B2 (en) * 2021-07-14 2023-11-14 Toyota Motor Engineering & Manufacturing North America, Inc. AR content display for rear passengers using infrared light

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010186227A (ja) * 2009-02-10 2010-08-26 Honda Motor Co Ltd 警報装置
JP2015182624A (ja) * 2014-03-25 2015-10-22 日産自動車株式会社 情報表示装置
JP2016078530A (ja) * 2014-10-14 2016-05-16 日立オートモティブシステムズ株式会社 自動運転システム
JP2016090274A (ja) * 2014-10-30 2016-05-23 トヨタ自動車株式会社 警報装置、警報システム及び携帯端末
US20160231743A1 (en) * 2013-10-01 2016-08-11 Volkswagen Ag Method for a driver assistance system of a vehicle
JP2016182906A (ja) * 2015-03-26 2016-10-20 アルパイン株式会社 運転支援システム
JP2016196228A (ja) * 2015-04-03 2016-11-24 アルパイン株式会社 表示システム
JP2017007478A (ja) * 2015-06-19 2017-01-12 トヨタ自動車株式会社 警告装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006306164A (ja) * 2005-04-26 2006-11-09 Fuji Heavy Ind Ltd 車両の走行制御装置
JP4466571B2 (ja) * 2005-05-12 2010-05-26 株式会社デンソー ドライバ状態検出装置、車載警報装置、運転支援システム
EP3300941B1 (en) * 2014-12-10 2020-05-13 Ricoh Company, Ltd. Information provision device, and information provision method
JP6237656B2 (ja) * 2015-01-19 2017-11-29 トヨタ自動車株式会社 車両システム
WO2016157891A1 (ja) * 2015-04-03 2016-10-06 株式会社デンソー 情報提示装置
JP6685008B2 (ja) * 2015-04-21 2020-04-22 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
WO2016170773A1 (ja) * 2015-04-21 2016-10-27 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援プログラム
JP6240863B2 (ja) * 2016-04-27 2017-12-06 株式会社ユピテル 運転支援システムおよび運転支援プログラム
JP6508177B2 (ja) * 2016-04-27 2019-05-08 株式会社デンソー 支援システム、携帯端末、及び車載装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010186227A (ja) * 2009-02-10 2010-08-26 Honda Motor Co Ltd 警報装置
US20160231743A1 (en) * 2013-10-01 2016-08-11 Volkswagen Ag Method for a driver assistance system of a vehicle
JP2015182624A (ja) * 2014-03-25 2015-10-22 日産自動車株式会社 情報表示装置
JP2016078530A (ja) * 2014-10-14 2016-05-16 日立オートモティブシステムズ株式会社 自動運転システム
JP2016090274A (ja) * 2014-10-30 2016-05-23 トヨタ自動車株式会社 警報装置、警報システム及び携帯端末
JP2016182906A (ja) * 2015-03-26 2016-10-20 アルパイン株式会社 運転支援システム
JP2016196228A (ja) * 2015-04-03 2016-11-24 アルパイン株式会社 表示システム
JP2017007478A (ja) * 2015-06-19 2017-01-12 トヨタ自動車株式会社 警告装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021046033A (ja) * 2019-09-17 2021-03-25 本田技研工業株式会社 操作子
JP7086907B2 (ja) 2019-09-17 2022-06-20 本田技研工業株式会社 操作子

Also Published As

Publication number Publication date
CN110709272A (zh) 2020-01-17
JPWO2018220832A1 (ja) 2019-12-12
US11203360B2 (en) 2021-12-21
JP6771670B2 (ja) 2020-10-21
CN110709272B (zh) 2022-10-25
US20200172122A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
JP6495971B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6765522B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP6460425B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP6547155B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP6795457B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6771670B2 (ja) 車両制御システム、車両制御方法、およびプログラム
CN110730740B (zh) 车辆控制系统、车辆控制方法及存储介质
WO2018220827A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN108973988B (zh) 车辆控制系统、车辆控制方法及存储介质
JP6765523B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP2019006275A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP2019006280A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
WO2018220826A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6508845B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP6853903B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP6508846B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP6840035B2 (ja) 車両制御システム
JP7043444B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17912281

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019521909

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17912281

Country of ref document: EP

Kind code of ref document: A1