WO2021145170A1 - 運転制御装置およびhmi制御装置 - Google Patents

運転制御装置およびhmi制御装置 Download PDF

Info

Publication number
WO2021145170A1
WO2021145170A1 PCT/JP2020/047991 JP2020047991W WO2021145170A1 WO 2021145170 A1 WO2021145170 A1 WO 2021145170A1 JP 2020047991 W JP2020047991 W JP 2020047991W WO 2021145170 A1 WO2021145170 A1 WO 2021145170A1
Authority
WO
WIPO (PCT)
Prior art keywords
automation level
display
driving
driver
level
Prior art date
Application number
PCT/JP2020/047991
Other languages
English (en)
French (fr)
Inventor
健史 山元
永田 麻子
静香 横山
祐司 太田
拓弥 久米
一輝 小島
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020204442A external-priority patent/JP7375735B2/ja
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112020006541.3T priority Critical patent/DE112020006541T5/de
Priority to CN202080093133.1A priority patent/CN115004277A/zh
Publication of WO2021145170A1 publication Critical patent/WO2021145170A1/ja
Priority to US17/862,524 priority patent/US20220340156A1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • B60K35/28
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0013Planning or execution of driving tasks specially adapted for occupant comfort
    • B60W60/00136Planning or execution of driving tasks specially adapted for occupant comfort for intellectual activities, e.g. reading, gaming or working
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0057Estimation of the time available or required for the handover
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • B60K2360/164
    • B60K2360/175
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • B60W2720/106Longitudinal acceleration

Definitions

  • the present disclosure relates to a driving control device that controls the driving of a vehicle that can be automatically driven, and an HMI control device that controls an HMI device mounted on the vehicle.
  • HMI is an abbreviation for human machine interface.
  • the second task is a task other than the driving operation performed by the driver.
  • the second task includes, for example, operation of a mobile terminal, viewing of video content, and the like.
  • the second task is also referred to as an "out-of-drive task" or "secondary activity".
  • Autonomous driving may end, for example, at the end of a predetermined road section where automatic driving is permitted.
  • the autonomous driving ends, it is necessary to transfer authority to the driver regarding vehicle motion control and / or driving environment monitoring.
  • the driver who is executing the second task during automatic driving is away from the driving state and driving environment of the own vehicle. Therefore, in order to smoothly transfer authority, it is necessary to raise the driver's awareness toward the end of automatic driving.
  • This disclosure has been made in view of the circumstances exemplified above. That is, the present disclosure provides, for example, a technique that makes it possible to satisfactorily raise the driver's awareness toward the shift of the driving automation level by the end of automatic driving.
  • the HMI control device is configured to control an HMI device that visually displays an image by a driver of a vehicle capable of autonomous driving.
  • the HMI controller is An automation level acquisition unit that acquires a determination result of a driving automation level in a driving control device that controls the driving of the vehicle, and an automation level acquisition unit.
  • a display control unit that controls the image display operation in the HMI device according to the operation automation level acquired by the automation level acquisition unit.
  • the HMI device displays an operation instruction display that causes the driver to take a low level corresponding state capable of executing the low automation level, which is the operation automation level, which does not execute at least one of the vertical motion control by acceleration / deceleration. Display with.
  • the driving control device is configured to control the driving of a vehicle capable of autonomous driving.
  • the operation control device is: A traveling status acquisition unit that acquires the traveling status of the vehicle, and An automation level determination unit that determines a driving automation level based on the driving condition acquired by the driving condition acquisition unit. With When the automation level determination unit ends the high automation level, which is the operation automation level included in the automatic operation, and shifts to the medium automation level, which is the operation automation level lower than the high automation level. After once shifting from the high automation level to the low automation level, which is the operation automation level lower than the medium automation level, the process shifts to the medium automation level.
  • each element may have a reference code in parentheses.
  • the reference numeral merely indicates an example of the correspondence between the same element and the specific configuration described in the embodiment described later. Therefore, the present disclosure is not limited to the description of the reference code.
  • the vehicle 1 is a so-called ordinary automobile, and is provided with a plurality of passenger seats such as a driver's seat 2 in a vehicle interior which is an internal space of a box-shaped vehicle body.
  • the occupant in the driver's seat 2 is hereinafter referred to as a "driver”.
  • the direction of the driver's line of sight in a state where the driver takes a standard driving posture in the driver's seat 2 is hereinafter referred to as "forward”.
  • the "standard driving posture” means that a driver whose left and right eyeball arrangement directions and left and right shoulder arrangement directions are substantially parallel to each other in a vehicle 1 moving forward and straight can be appropriately manually driven in the driver's seat 2. It shall mean the posture of the driver when seated.
  • An accelerator pedal 3, a brake pedal 4, and a footrest 5 are provided in front of the driver's seat 2.
  • a shift lever 6 is provided diagonally in front of the driver's seat 2.
  • the accelerator pedal 3, the brake pedal 4, and the footrest 5 are arranged below the dashboard 7 provided in front of the driver's seat 2.
  • a steering wheel 8 is attached to a steering column (not shown) extending rearward from the dashboard 7 toward the driver's seat 2.
  • a front windshield 9 is provided above the dashboard 7.
  • Vehicle 1 is equipped with an in-vehicle system 10.
  • the vehicle 1 equipped with the in-vehicle system 10 may be hereinafter referred to as "own vehicle”.
  • FIG. 2 schematically shows a block configuration of the in-vehicle system 10.
  • a schematic configuration of the in-vehicle system 10 will be described with reference to FIGS. 1 and 2.
  • the in-vehicle system 10 is configured to function as a driving automation system in the own vehicle by being mounted on the own vehicle.
  • the in-vehicle system 10 has a configuration capable of automatic operation. That is, the own vehicle is configured to be capable of automatic driving by mounting the in-vehicle system 10.
  • “Automatic driving” refers to the driving automation level corresponding to levels 3 to 5 in which the driving automation system is in charge of, that is, executes all dynamic driving tasks in the standard "SAE J3016" published by SAE International. do.
  • SAE is an abbreviation for Society of Automotive Engineers.
  • the "dynamic driving task” is all operational and tactical functions that need to be performed in real time when operating the vehicle 1 in road traffic, excluding strategic functions.
  • Strategic functions include itinerary planning, waypoint selection, etc.
  • Level X in “SAE J3016” is hereinafter simply referred to as "level X”. X is any of 0 to 5.
  • OEDR is an abbreviation for Object and Event Detection and Response, and is also referred to as "object and event detection and response”.
  • OEDR includes monitoring the operating environment. Operating environment monitoring includes detection, recognition, and classification of objects and events. Monitoring the operating environment also includes preparing to respond to objects and events as needed.
  • a "limited area” is a specific condition designed to operate a certain operation automation system or its function, and is also referred to as an operation design area or ODD.
  • ODD is an abbreviation for Operational Design Domain.
  • the limited area includes at least one of a plurality of constraints, such as geographical, environmental, velocity, and time.
  • -Level 0 Manual driving ...
  • the driver performs all dynamic driving tasks.
  • the driving automation system has a vertical vehicle motion control subtask (ie, start, acceleration / deceleration, and stop) and a lateral vehicle motion control subtask (ie, steering) among the dynamic driving tasks. ) And one of them are continuously executed in a specific limited area. However, the driving automation system does not execute both the vertical vehicle motion control subtask and the horizontal vehicle motion control subtask at the same time.
  • -Level 2 Advanced driving support: The driving automation system continuously executes the vertical vehicle motion control subtask and the lateral vehicle motion control subtask among the dynamic driving tasks in a specific limited area.
  • OEDR OEDR
  • -Level 3 Conditional automatic driving: The driving automation system continuously executes all dynamic driving tasks in a specific limited area. In principle, the driver is not obliged to perform OEDR such as monitoring around his vehicle. However, if the driving automation level becomes difficult to continue, the driving automation system requests the driver to change the driving with sufficient time. The driver needs to respond appropriately to the request.
  • -Level 4 Highly automated driving: The driving automation system continuously executes all dynamic driving tasks in a specific limited area. In the limited area, the operation automation system takes measures when the operation automation level becomes difficult to continue.
  • -Level 5 Fully automated driving: The driving automation system continuously executes all dynamic driving tasks without being limited to a specific limited area. When the operation automation level becomes difficult to continue, the operation automation system executes the operation without limitation without being limited to a specific limited area.
  • the in-vehicle system 10 is configured so that the driving automation level of levels 0 to 3 can be realized in the own vehicle. Specifically, the in-vehicle system 10 is configured to be able to execute ACC and LKA corresponding to level 1. ACC is adaptive cruise control, that is, inter-vehicle distance control. LKA is an abbreviation for Lane Keeping Assistance, which is lane keeping support control. Further, the in-vehicle system 10 is configured to be capable of executing "hands-off driving" and "highly safe driving support” corresponding to level 2.
  • “Hands-off operation” means that the operation automation system automatically executes start, steering, acceleration / deceleration, and stop control on condition that the driver appropriately responds to an intervention request from the operation automation system.
  • “Highly safe driving support” means that a driving automation system that operates in parallel, assuming that the driver drives the own vehicle, executes the driving support operation in a timely manner in a situation where there is a possibility of a collision. ..
  • level 3 automatic driving is simply referred to as “automatic driving”.
  • "hands-off operation” may be simply referred to as "level 2”.
  • “highly safe driving support” is referred to as "level 2 [G mode]”.
  • the in-vehicle system 10 is an in-vehicle network including an in-vehicle communication line 10A and a plurality of nodes connected to each other via the in-vehicle communication line 10A, and is an in-vehicle network during operation of the own vehicle. It is configured to be able to execute various vehicle controls and various display operations associated therewith.
  • the in-vehicle system 10 is configured to comply with a predetermined communication standard such as CAN (International Registered Trademark: International Registration No. 1048262A). CAN (Internationally Registered Trademark) is an abbreviation for Controller Area Network.
  • the in-vehicle system 10 includes a vehicle state sensor 11, an external state sensor 12, a peripheral monitoring sensor 13, a locator 14, a DCM 15, a navigation device 16, a driver state detection unit 17, an operation control device 18, and an HMI device. It has 20 and. DCM is an abbreviation for Data Communication Module.
  • the vehicle condition sensor 11 to the HMI device 20 are connected to the vehicle-mounted communication line 10A.
  • the HMI device 20 is configured to visually display an image by at least the occupants of the own vehicle including the driver and output audio so that the occupants of the own vehicle can hear it. Specifically, the HMI device 20 provides various information and / or various information to the occupants of the own vehicle by means of image and / or audio input / output devices including the meter panel 21, the HUD device 22, the CID device 23, and the terminal device 24. It is configured to provide entertainment.
  • CID is an abbreviation for Center Information Display.
  • HUD is an abbreviation for head-up display.
  • the terminal device 24 is a portable or wearable electronic device brought into the vehicle by an occupant of the vehicle including a driver, and is, for example, a mobile phone, a tablet terminal, a laptop computer, a portable game machine, a smart watch, or the like. And so on.
  • the HMI device 20 includes an HMI control device 25 configured to control the output of an image and / or sound on the meter panel 21 or the like. That is, the HMI control device 25 is configured to control the operation of the HMI device 20 that constitutes the in-vehicle infotainment system.
  • the meter panel 21, the HUD device 22, and the CID device 23 are connected to the HMI control device 25 so as to be capable of information communication via a sub-communication line different from the vehicle-mounted communication line 10A.
  • the terminal device 24 is brought into the own vehicle, the terminal device 24 is connected to the HMI control device 25 so as to be capable of information communication by short-range wireless communication such as Bluetooth (registered trademark) and TransferJet (registered trademark). ..
  • the HMI control device 25 is provided as a node connected to the vehicle-mounted communication line 10A. Details of the configurations of the HMI device 20 and the HMI control device 25 will be described later.
  • the vehicle state sensor 11 is provided so as to generate outputs corresponding to various quantities related to the driving state of the own vehicle.
  • the "driving state-related quantities” include, for example, various quantities related to the driving operation state by the driver or the driving automation system, such as the accelerator opening, the braking amount, the shift position, the steering angle, and the like.
  • the "various quantities related to the driving state” include physical quantities related to the behavior of the own vehicle, such as vehicle speed, angular velocity, front-rear direction acceleration, left-right direction acceleration, and the like.
  • the vehicle state sensor 11 provides well-known sensors necessary for vehicle driving control, such as an accelerator opening sensor, a steering angle sensor, a wheel speed sensor, an angular velocity sensor, and an acceleration sensor, for simplification of illustration and description. It is a general term for.
  • the vehicle condition sensor 11 is provided so as to be able to provide a detection output to each part of the operation control device 18 and the like via the vehicle-mounted communication line 10A.
  • the external state sensor 12 is provided so as to generate an output corresponding to various quantities mainly related to the natural environment in the driving environment of the own vehicle.
  • Various quantities related to the natural environment include, for example, physical quantities such as outside air temperature, rainfall, and illuminance. That is, the external state sensor 12 is a general term for well-known sensors such as an outside air temperature sensor, a raindrop sensor, and an illuminance sensor for the sake of simplification of illustration and description.
  • the external state sensor 12 is provided so as to be able to provide a detection output to each part of the operation control device 18 and the like via the vehicle-mounted communication line 10A.
  • the peripheral monitoring sensor 13 is provided so as to mainly detect a driving environment of the own vehicle other than that that can be detected by the external state sensor 12. Specifically, the peripheral monitoring sensor 13 is configured to be capable of detecting moving objects and stationary objects within a predetermined detection range around the own vehicle. “Moving objects” include pedestrians, cyclists, animals, and other vehicles in motion. "Still objects” include roadside structures (eg, walls, buildings, etc.) in addition to road fall objects, guardrails, curbs, parked vehicles, road signs, and road markings. The peripheral monitoring sensor 13 may also be referred to as an "ADAS sensor". ADAS is an abbreviation for Advanced Driver-Assistance Systems.
  • the peripheral monitoring sensor 13 has a front camera 131 and a radar sensor 132 as a configuration for detecting moving objects and stationary objects.
  • the front camera 131 is provided so as to capture images of the front side and the front side of the own vehicle.
  • the front camera 131 is a digital camera device and includes an image sensor such as a CCD or CMOS.
  • CCD is an abbreviation for Charge Coupled Device.
  • CMOS is an abbreviation for Complementary MOS.
  • the radar sensor 132 is a millimeter-wave radar sensor, a submillimeter-wave radar sensor, or a laser radar sensor configured to transmit and receive radar waves, and is mounted on the front portion of a vehicle body of the own vehicle.
  • the radar sensor 132 is configured to output a signal corresponding to the position and relative velocity of the reflection point.
  • the "reflection point” is a point on the surface of an object existing around the own vehicle, which is presumed to have reflected radar waves.
  • the "relative velocity” is the relative velocity of the reflection point, that is, the object reflecting the radar wave, with respect to the own vehicle.
  • the locator 14 is configured to acquire highly accurate position information and the like of the own vehicle by so-called compound positioning. Specifically, the locator 14 has a GNSS receiver 141, an inertia acquisition unit 142, a high-precision map DB 143, and a locator ECU 144.
  • GNSS is an abbreviation for Global Navigation Satellite System.
  • DB is an abbreviation for database.
  • ECU is an abbreviation for Electronic Control Unit.
  • the "high-precision position information" is, for example, position information having a position accuracy such that it can be used for an operation automation level of level 2 or higher, specifically, an error of less than 10 cm.
  • the GNSS receiver 141 is provided so as to receive positioning signals transmitted from a plurality of positioning satellites, that is, artificial satellites.
  • the GNSS receiver 141 is configured to be capable of receiving positioning signals from positioning satellites in at least one of satellite positioning systems such as GPS, QZSS, GLONASS, Galileo, IRNSS, Beidou satellite navigation system, and the like.
  • GPS is an abbreviation for Global Positioning System.
  • QZSS is an abbreviation for Quasi-Zenith Satellite System.
  • GLONASS is an abbreviation for Global Navigation Satellite System.
  • IRNSS is an abbreviation for Indian Regional Navigation Satellite System.
  • the inertia acquisition unit 142 is configured to acquire the acceleration and the angular velocity acting on the own vehicle.
  • the inertia acquisition unit 142 is provided as a 3-axis gyro sensor and a 3-axis acceleration sensor built in the box-shaped housing of the locator 14.
  • the high-precision map DB 143 is mainly composed of a non-volatile rewritable memory so as to store the high-precision map information in a rewritable manner and to retain the stored contents even when the power is cut off.
  • the non-volatile rewritable memory is, for example, a hard disk, EEPROM, flash ROM, or the like.
  • EEPROM is an abbreviation for Electronically Erasable and Programmable ROM.
  • ROM is an abbreviation for Read Only Memory.
  • the high-precision map information can also be referred to as high-precision map data.
  • the high-precision map information includes map information with higher accuracy than the map information used in the conventional car navigation system corresponding to a position error of about several meters.
  • the high-precision map DB143 can be used for driving automation levels of level 2 or higher, such as three-dimensional road shape information, lane number information, regulation information, etc., in accordance with predetermined standards such as ADASIS standards. Information is stored.
  • ADASIS is an abbreviation for Advanced Driver Assistance Systems Interface Specification.
  • the locator ECU 144 is configured as a so-called in-vehicle microcomputer provided with a CPU, ROM, RAM, input / output interface, etc. (not shown).
  • CPU is an abbreviation for Central Processing Unit.
  • RAM is an abbreviation for Random Access Memory.
  • the locator ECU 144 sequentially determines the position and direction of the own vehicle based on the positioning signal received by the GNSS receiver 141, the acceleration and angular velocity acquired by the inertia acquisition unit 142, the vehicle speed acquired from the vehicle state sensor 11, and the like. It is configured to determine. Then, the locator 14 is provided so that the determination result of the position, direction, etc. by the locator ECU 144 can be provided to each part of the navigation device 16, the operation control device 18, the HMI control device 25, etc. via the in-vehicle communication line 10A. There is.
  • the DCM15 is an in-vehicle communication module, and is provided so that information can be communicated with a base station around the own vehicle by wireless communication conforming to a communication standard such as LTE or 5G.
  • LTE is an abbreviation for Long Term Evolution.
  • 5G is an abbreviation for 5th Generation.
  • DCM15 is configured to acquire the latest high-precision map information from a probe server on the cloud. Further, the DCM15 stores the acquired latest high-precision map information in the high-precision map DB 143 by linking with the locator ECU 144. Further, the DCM15 is configured to acquire traffic information such as traffic congestion information from the probe server and / or a predetermined database.
  • the "traffic jam information" includes the position and length of the traffic jam section. Specifically, the traffic jam information includes a traffic jam head position, a traffic jam tail position, an estimated traffic jam distance, an estimated traffic jam time, and the like. Traffic information is also called "road traffic information".
  • the navigation device 16 is provided so as to acquire a planned travel route from the current position of the own vehicle to a predetermined destination.
  • the navigation device 16 uses the destination set by the driver of the own vehicle, the high-precision map information acquired from the locator 14, and the position information and the direction information of the own vehicle acquired from the locator 14. Based on this, it is configured to calculate the planned travel route.
  • the navigation device 16 is provided so as to be able to provide various information including the route information which is the calculation result to each part of the operation control device 18 and the HMI control device 25 via the vehicle-mounted communication line 10A. That is, the navigation device 16 displays the navigation screen display on the HMI device 20 for map display, route display, and the like.
  • the driver state detection unit 17 is provided so as to detect the driver state.
  • the “driver state” is the state of the driver in the driver's seat 2 of the own vehicle, and includes at least one of the line-of-sight direction, posture, behavior, psychological state, and the like. Further, the driver state detection unit 17 is provided so that the driver state detection result can be provided to each unit such as the operation control device 18 and the HMI control device 25 via the vehicle-mounted communication line 10A.
  • the driver state detection unit 17 includes a line-of-sight detection unit 171, a posture detection unit 172, and an operation state detection unit 173.
  • the line-of-sight detection unit 171 is provided so as to detect the direction of the driver's face and / or the direction of the line of sight by image recognition based on an image taken by an in-vehicle camera equipped with an image sensor such as a CCD or CMOS. That is, the line-of-sight detection unit 171 has the same configuration as the DSM device that gives a warning regarding the driver's inattentive operation and the like. DSM is an abbreviation for Driver Status Monitor.
  • the posture detection unit 172 is provided so as to detect the seating posture of the driver in the driver's seat 2 by using the above-mentioned in-vehicle camera and / or a physical quantity sensor such as a seating pressure sensor provided inside the driver's seat 2. ing.
  • the operation state detection unit 173 is provided so as to detect the mounted state of the driver's foot on the accelerator pedal 3, the brake pedal 4, and the footrest 5, and the operation state of the accelerator pedal 3 and the brake pedal 4. Further, the operation state detection unit 173 is provided so as to detect the gripping state and the operation state of the steering wheel 8 by the driver.
  • the operation control device 18 has a configuration as an "automatic operation ECU” or an "operation support ECU”. That is, the driving control device 18 is provided to control the driving of the own vehicle based on signals and information acquired from the vehicle state sensor 11, the external world state sensor 12, the peripheral monitoring sensor 13, the locator 14, and the like. .. Specifically, the operation control device 18 is configured to execute a predetermined operation control operation.
  • the "predetermined driving control operation” includes a vehicle control operation, that is, a dynamic driving task execution operation corresponding to the levels 1 to 3.
  • the driving control device 18 sets the driving automation level in the own vehicle to one of level 0, level 1 [ACC], level 1 [LKA], level 2, level 2 [G mode], and level 3. It is configured to be configurable to any of.
  • the operation control device 18 has a configuration as a so-called in-vehicle microcomputer provided with a CPU, ROM, non-volatile rewritable memory, RAM, input / output interface, etc. (not shown). Specifically, the operation control device 18 has the following functional configuration or functional unit realized on the in-vehicle microprocessor. That is, the operation control device 18 includes a driving status acquisition unit 181, a driver status acquisition unit 182, an operation status determination unit 183, an automation level determination unit 184, a vehicle control unit 185, and a display command transmission unit 186. is doing.
  • the traveling status acquisition unit 181 is provided so as to acquire at least the traveling status of the own vehicle.
  • the "driving situation" includes a driving state and a driving environment detected or acquired by a vehicle state sensor 11, an outside world state sensor 12, a peripheral monitoring sensor 13, and the like.
  • the traveling status acquisition unit 181 is provided so as to acquire high-precision map information of the current position of the own vehicle and its surroundings and traffic information on the road on which the own vehicle is currently traveling. That is, the traveling status acquisition unit 181 acquires information necessary for vehicle control corresponding to levels 1 to 3 from the vehicle status sensor 11, the external world status sensor 12, the peripheral monitoring sensor 13, the locator 14, the DCM 15, and the like. It has become.
  • the driver status acquisition unit 182 is provided so as to acquire the driver status. Specifically, the driver state acquisition unit 182 acquires, that is, receives the driver state detection result by the driver state detection unit 17 from the driver state detection unit 17.
  • the operation state determination unit 183 is provided so as to determine the operation operation state by the driver. Specifically, the operation state determination unit 183 acquires, that is, receives the detection result of the operation state detection unit 173 from the driver state detection unit 17. Further, the operation state determination unit 183 acquires, that is, receives the input operation state of the driver in the HMI device 20 from the HMI device 20. Then, the operation state determination unit 183 determines the operation operation state by the driver based on these acquisition results.
  • the automation level determination unit 184 is provided so as to determine the driving automation level based on the driving condition acquired by the driving condition acquisition unit 181 and the like.
  • the operation control device 18 is provided so that the operation automation level determination result by the automation level determination unit 184 can be provided to each unit such as the HMI control device 25 via the vehicle-mounted communication line 10A.
  • the details of the operation automation level determination by the automation level determination unit 184 will be described in detail in the operation outline and the description of the operation example described later.
  • the vehicle control unit 185 is provided to execute a vehicle motion control subtask according to the driving automation level. That is, the vehicle control unit 185 executes vertical and / or lateral motion control in the own vehicle based on the driving automation level determined by the automation level determination unit 184.
  • the display command transmission unit 186 is provided so that the HMI device 20 executes the level-related display related to the operation automation level by transmitting the display command information to the HMI control device 25 that controls the HMI device 20.
  • the level-related display includes an execution-related display related to the execution state of the driving automation level and a transition-related display related to the transition of the driving automation level.
  • the execution-related display is mainly a display for clearly indicating the level of operation automation during execution, such as "during automatic operation".
  • the transition-related display indicates the end of the running automation level and / or to another driving automation level when the end condition of the running automation level is satisfied or the continuation condition is not satisfied and the transition to another driving automation level is performed. It is a display about the migration of.
  • the transition-related displays are, for example, “3 km ahead, automatic driving end”, “preparation for driving change”, “hands-off driving is possible”, and the like. Further details and other specific examples of the execution-related display and the migration-related display will be described in detail in the operation outline and the description of the operation example described later.
  • the HMI device 20 is provided so as to present various information about the own vehicle to the driver at least visually and to accept an input operation of the driver corresponding to the presented contents.
  • the HMI device 20 mounted on the self-driving vehicle is configured to be capable of presenting various information related to automatic driving and accepting input operations by the driver.
  • the "information presentation" is, for example, various guidances, input operation instructions, input operation content notifications, warnings, and the like.
  • the HMI device 20 includes a meter panel 21, a HUD device 22, and a CID device 23 provided on the dashboard 7. That is, in the present embodiment, the HMI device 20 has a configuration as a so-called “dashboard HMI”. Further, the HMI device 20 includes a speaker (not shown) for executing information presentation by voice.
  • the meter panel 21 has a meter 211, a meter display 212, and a meter switch 213.
  • the meter 211 is provided so as to execute meter display such as vehicle speed, engine speed, cooling water temperature, fuel remaining amount, etc. of the own vehicle.
  • the meter display 212 is an information display unit or information display area provided in the central portion of the meter panel 21 in the vehicle width direction, and can execute various information displays such as date and time, outside air temperature, mileage, radio receiving station, and the like. It is provided in.
  • the meter display 212 has a configuration as a display device which is a liquid crystal display or an organic EL display, which has a substantially rectangular displayable area. EL is an abbreviation for electroluminescence.
  • the meter switch 213 is provided so as to be able to accept various operations related to the display state or display content on the meter 211 and / or the meter display 212, for example, a trip meter reset operation.
  • the HUD device 22 is provided so as to display a display image including characters and / or symbols in front of the driver. That is, the HUD device 22 is configured to superimpose and display the display image on the foreground including the road surface where the own vehicle is traveling by forming a virtual image display image in front of the driver using AR technology.
  • "Superimposition display” is to display related information (for example, building name) of a superimposing object (for example, a building) included in the foreground so as to overlap the superimposing object or display in the vicinity of the superimposing object. , Refers to display the superimposed object and related information while associating them with each other.
  • the route display, the direction of travel display, the traffic information display, etc. for the road surface in front also correspond to the "superimposed display”.
  • the HUD device 22 projects the display image light constituting the display image onto a predetermined projection range PA of the front windshield 9, and causes the driver to visually recognize the reflected light of the display image light by the front windshield 9. As a result, the displayed image is AR-displayed.
  • the CID device 23 is provided at a substantially central portion of the dashboard 7 in the vehicle width direction.
  • the CID device 23 is provided so that the navigation display screen can be displayed for map display, route display, and the like by the navigation device 16. Further, the CID device 23 is provided so as to be able to display information and contents different from the navigation display screen. Specifically, the CID device 23 is configured to be able to execute a display related to a driving mode such as "comfort”, "normal”, “sports", “circuit”, and the like.
  • the CID device 23 is provided so as to be able to execute a display related to the second task that can be used by the driver during automatic operation.
  • the CID device 23 is configured to be able to execute video content viewing as a second task, for example.
  • the "video content” is, for example, a movie, a concert video, a music video, a television broadcast, or the like.
  • the second task also includes the operation of the terminal device 24.
  • the CID device 23 has a CID display 231, an input device 232, and a CID switch 233.
  • the CID display 231 is provided so as to be visible to the driver at least at a substantially central position of the dashboard 7 in the vehicle width direction, that is, a position between the driver's seat 2 and the passenger seat.
  • the CID display 231 has a configuration as a display device that is a liquid crystal display or an organic EL display.
  • the CID display 231 is configured to display an image of the video content on the display device when the second task is viewing the video content.
  • the input device 232 is a transparent touch panel, and is provided so as to cover the CID display 231 by being superposed on the CID display 231. That is, the input device 232 is configured to be able to accept an input operation by the driver or the like corresponding to the display while visually recognizing the display on the CID display 231 by the driver or the like.
  • the CID switch 233 has a plurality of manually operated switches arranged around the CID display 231 and the input device 232.
  • the HMI device 20 has a steering switch and the like in addition to the meter switch 213 and the CID switch 233.
  • the steering switch is provided on the spokes and the like of the steering wheel 8.
  • the HMI device 20 is provided so that the reception result of the input operation by the driver can be provided to each part of the operation control device 18 and the like via the vehicle-mounted communication line 10A.
  • the HMI control device 25 has a configuration as an HCU that controls the operation of the meter panel 21, the CID device 23, the HUD device 22, and the like included in the HMI device 20.
  • HCU is an abbreviation for HMI Control Unit.
  • the HMI control device 25 has a configuration as a so-called in-vehicle microcomputer provided with a CPU, ROM, non-volatile rewritable memory, RAM, input / output interface, etc. (not shown).
  • the HMI control device 25 has the following functional configuration or functional unit realized on a microcomputer. That is, the HMI control device 25 includes a vehicle information acquisition unit 251, a driving environment acquisition unit 252, an automation level acquisition unit 253, a driver state acquisition unit 254, a display control unit 255, and an operation reception unit 256. ing.
  • the vehicle information acquisition unit 251 is provided to acquire information related to the driving state of the own vehicle. Specifically, the vehicle information acquisition unit 251 acquires various quantities related to the driving state of the own vehicle, which are detected or acquired by the vehicle state sensor 11, from the vehicle state sensor 11.
  • the driving environment acquisition unit 252 is provided to acquire information related to the driving environment of the own vehicle. Specifically, the driving environment acquisition unit 252 acquires various quantities related to the natural environment around the own vehicle, which are detected or acquired by the external state sensor 12, from the external state sensor 12. Further, the operating environment acquisition unit 252 acquires the object detection result by the peripheral monitoring sensor 13 from the peripheral monitoring sensor 13. Further, the driving environment acquisition unit 252 acquires the current position of the own vehicle, the planned travel route, and the traffic information including the traffic jam information on the planned travel route from the locator 14 and the navigation device 16.
  • the automation level acquisition unit 253 is provided so as to acquire the determination result of the operation automation level in the operation control device 18. Specifically, the automation level acquisition unit 253 acquires the operation automation level determination result by the automation level determination unit 184 from the operation control device 18.
  • the driver status acquisition unit 254 is provided so as to acquire the driver status. Specifically, the driver state acquisition unit 254 acquires the driver state detection result by the driver state detection unit 17 from the driver state detection unit 17.
  • the display control unit 255 is provided to control the output operation of the image and / or the sound by the HMI device 20. That is, the display control unit 255 controls the image output and the audio output of the meter panel 21, the HUD device 22, the CID device 23, and the like to present various information to the occupants of the own vehicle including the driver. ing. "Various information" includes driving state information, driving environment information, driving automation level related information, route information, traffic jam information, various messages, and the like. Further, the display control unit 255 is able to present various information on the terminal device 24 by cooperating with the terminal device 24 while the driver is executing the second task using the terminal device 24. There is.
  • the display control unit 255 is configured to control the image display operation in the HMI device 20 according to the operation automation level acquired by the automation level acquisition unit 253. That is, the display control unit 255 displays an image according to the operation automation level being executed or scheduled to be executed by the in-vehicle system 10 determined by the automation level determination unit 184, and is an image display device such as a meter panel 21 included in the HMI device 20. It is designed to be displayed in.
  • the operation reception unit 256 is provided so as to receive an input operation in the HMI device 20 by the occupants of the own vehicle including the driver. Specifically, the operation reception unit 256 is in a state of accepting input operations by the meter switch 213, the input device 232, the CID switch 233, the terminal device 24, etc., which correspond to various information presented by the display control unit 255. It is designed to monitor the results.
  • the traveling status acquisition unit 181 acquires various information including the traveling status of the own vehicle. Specifically, the driving state acquisition unit 181 acquires the driving state and the driving environment of the own vehicle from the vehicle state sensor 11, the outside world state sensor 12, and the peripheral monitoring sensor 13. Further, the traveling status acquisition unit 181 acquires high-precision map information of the current position of the own vehicle and its surroundings, the planned traveling route, and the traffic information on the planned traveling route from the locator 14 and the navigation device 16.
  • the driver status acquisition unit 182 acquires the driver status. Specifically, the driver state acquisition unit 182 receives the driver state detection result by the driver state detection unit 17 from the driver state detection unit 17.
  • the operation state determination unit 183 determines the operation operation state by the driver. Specifically, the operation state determination unit 183 acquires the detection result in the operation state detection unit 173 from the driver state detection unit 17.
  • the detection results of the operation state detection unit 173 include the driver's foot mounted on the accelerator pedal 3, the brake pedal 4, and the footrest 5, the operation state of the accelerator pedal 3 and the brake pedal 4, the gripping state of the steering wheel 8. Operation status, etc. are included.
  • the operation state determination unit 183 acquires the input operation state of the driver in the HMI device 20 from the HMI device 20. Then, the operation state determination unit 183 determines the operation operation state by the driver based on the detection result in the operation state detection unit 173 and the input operation state of the driver in the HMI device 20.
  • the automation level determination unit 184 determines the operation automation level to be executed by the in-vehicle system 10.
  • the driving automation level is determined at least based on the driving condition acquired by the driving condition acquisition unit 181.
  • the automation level determination unit 184 determines the operation automation level based on the acquisition result by the driving status acquisition unit 181 and the driver state acquisition unit 182 and the determination result by the operation state determination unit 183.
  • the automation level determination unit 184 determines the start condition of the operation automation level corresponding to the levels 1 to 3 based on various information such as the driving condition acquired by the driving condition acquisition unit 181. When the start condition of the predetermined operation automation level is satisfied, the automation level determination unit 184 determines that the operation automation level is feasible. Then, when there is an approval operation by the driver, the automation level determination unit 184 determines the execution of the operation automation level.
  • the vehicle control unit 185 executes vehicle speed control, steering control, braking control, and the like according to the driving automation level determined to be executed by the automation level determination unit 184.
  • the display command transmission unit 186 transmits the display command information to the HMI control device 25 that controls the HMI device 20, so that the HMI device 20 executes the level-related display related to the operation automation level.
  • the HMI device 20 notifies the occupants of the vehicle including the driver of the driving automation level being executed or scheduled to be executed by displaying an image and / or by voice.
  • the HMI device 20 displays the operation automation level currently being executed on the meter display 212 or the like.
  • the HMI device 20 displays on the meter display 212 or the like that the automatic operation has become possible and the approval operation instruction for accepting the approval operation for starting the automatic operation. ..
  • the driver is not obliged to monitor the area around his / her own vehicle until there is a request for driving change or a request for driving intervention by the in-vehicle system 10. Further, in principle, the steering control operation and the acceleration / deceleration control operation by the driver are not required until there is a driving change request or a driving intervention request.
  • Driving posture includes driving posture and driving consciousness.
  • the “driving posture” is a riding posture of the driver, and includes a sitting posture in the driver's seat 2, a positional relationship with the accelerator pedal 3 of the foot, a gripping and operating state of the steering wheel 8, a line-of-sight direction, and the like.
  • the “driving consciousness” is the psychological state of the driver, and includes the driving state of the own vehicle and the recognition state for the driving environment.
  • the line-of-sight direction can also be included in “driving consciousness”.
  • a level of driving consciousness that has a high level of driver's attention or monitoring with respect to the driving state and driving environment of the own vehicle and can respond to a lower level of driving automation is hereinafter referred to as "high driving consciousness".
  • high driving consciousness A level of driving consciousness that has a high level of driver's attention or monitoring with respect to the driving state and driving environment of the own vehicle and can respond to a lower level of driving automation.
  • the driver's consciousness is far from driving, the driving consciousness is low.
  • the driver is not required to hold the steering wheel 8 at all times while the automatic driving is stably executed by the in-vehicle system 10. Further, the driver is not required to always maintain a driving posture in which the accelerator pedal 3 and the brake pedal 4 can be operated at any time. Further, the driver's consciousness may be separated from the driving state and driving environment of the own vehicle until there is a driving change request or a driving intervention request by the in-vehicle system 10. Therefore, the driver can freely execute or use the second task while the automatic driving is stably executed by the in-vehicle system 10.
  • FIG. 3 shows a display example on the CID display 231 and the meter display 212 while viewing the video content by the CID device 23 as a second task during automatic operation as a typical example.
  • the information display area DA1 which is a horizontally long strip-shaped area at the upper end of the CID display 231
  • an execution-related display of "automatic operation in progress" is displayed, which clearly indicates the operation automation level during execution.
  • a video content screen, which is a second task screen, is displayed in the screen area DA2, which is located below the information display area DA1 and occupies most of the displayable area on the CID display 231.
  • the level information display area DB1 which is a horizontally long strip-shaped area at the upper end of the meter display 212 displays an execution-related display of "automatic operation in progress" which clearly indicates the operation automation level during execution.
  • the driving information display area DB2 which is located below the level information display area DB1 and occupies most of the displayable area on the meter display 212, displays various information indicating the lane in which the own vehicle is traveling during automatic driving. Will be done.
  • the automation level determination unit 184 determines the transition of the operation automation level. That is, the automation level determination unit 184 determines the end of the running automation level and the next feasible driving automation level.
  • the vehicle control unit 185 executes vehicle speed control, steering control, braking control, and the like according to the mode of transition of the driving automation level determined by the automation level determination unit 184. Further, the display command transmission unit 186 transmits the display command information to the HMI control device 25 to cause the HMI device 20 to execute the shift-related display related to the shift of the operation automation level.
  • FIG. 4 shows an example of shifting the operation automation level from automatic operation to level 2, that is, hands-off operation at the end of the automatic operation possible section as an example of a typical operation.
  • “LV” is an abbreviation for "level”.
  • the times T11 to T15 indicate the passage of time.
  • the driver is obliged to monitor the surrounding area.
  • the steering control operation and the acceleration / deceleration control operation by the driver are not required as in the automatic driving. That is, the behavior of the driver regarding the driving operation is similar between the automatic driving and the hands-off driving. Therefore, when shifting from automatic driving to hands-off driving, the driver may misunderstand the level of driving automation currently being executed.
  • the automation level determination unit 184 ends the automatic operation and shifts to the hands-off operation, the automation level determines the operation automation level once lower than the hands-off operation, and then shifts to the hands-off operation.
  • the automation level determination unit 184 ends the automatic operation and shifts to the hands-off operation, it shifts to level 0, that is, once shifts to the manual operation and then shifts to the hands-off operation. do.
  • the driver's driving consciousness is increased by causing the driver to perform the manual driving once when the automatic driving is terminated.
  • the driver can surely recognize the driving automation level during execution. This makes it possible for the driver to take an appropriate driving position adapted to the transition of the driving automation level.
  • the in-vehicle system 10 executes the operation change request.
  • the time T11 is set before a predetermined time before the scheduled time when the own vehicle reaches the end point of the automatically driving section.
  • the display command transmission unit 186 transmits the display command information for displaying the line-of-sight guidance display GA shown in FIG. 5 on the CID display 231 which is a display device for displaying the second task screen to the HMI control device 25. do.
  • the line-of-sight guidance display GA is a display that guides the driver's line of sight from the second task screen to the front display device.
  • the "front display device” is a display device arranged in front of the driver, that is, on the traveling destination side of the own vehicle with respect to the driver, and is the meter panel 21 and the HUD device 22 in the present embodiment. That is, the front display device displays information or an image in front of the driver, that is, on the traveling destination side of the own vehicle with respect to the driver.
  • the HMI control device 25 positions the line-of-sight guidance display GA “ ⁇ forward attention ⁇ ” above the screen area DA2, which is the second task screen display area, on the CID display 231. Display in the display area DA1.
  • the line-of-sight guidance display GA in animation, it is possible to further enhance the line-of-sight guidance effect.
  • the animation display for example, it is possible to move a device having a higher brightness than the others in a plurality of “ ⁇ ” in the line-of-sight guidance direction, that is, in the right direction toward the front display device.
  • the character string "forward attention" can be moved in the line-of-sight guidance direction.
  • the display command transmission unit 186 transmits the display command information for displaying the transition-related display and the operation instruction display shown in FIG. 5 on the front display device to the HMI control device 25.
  • the meter panel 21 displays a transition-related display of "3 km ahead, automatic operation end" in the level information display area DB1 at the uppermost stage of the meter display 212.
  • the meter panel 21 displays the first operation instruction display GB1, the second operation instruction display GB2, the third operation instruction display GB3, and the fourth operation instruction display GB4 in the operation information display area DB2 of the meter display 212.
  • the first operation instruction display GB1, the second operation instruction display GB2, the third operation instruction display GB3, and the fourth operation instruction display GB4 are displays instructing the driver to perform an operation for taking a predetermined driving posture.
  • the meter display 212 displays the first operation instruction display GB1 of "operation change (manual) preparation”. Further, the meter display 212 displays the second operation instruction display GB2 of "Be careful ahead!. Further, the meter display 212 displays the third operation instruction display GB3, which is "Hold the steering wheel!. Further, the meter display 212 displays the fourth operation instruction display GB4 "Set the foot on the pedal!”.
  • the first operation instruction display GB1 of "operation change (manual) preparation" corresponds to the transition-related display. Further, the first operation instruction display GB1 also corresponds to a main operation instruction display for instructing the main operation.
  • the "main operation” is an operation necessary for transferring authority to the driver due to a decrease in the level of driving automation, and includes an operation for adjusting the driving posture.
  • the second operation instruction display GB2 "Caution ahead! Corresponds to the sub-operation instruction display instructing the sub-operation.
  • the "secondary movement” is a movement that promotes or assists the main movement, and includes an adjustment movement of driving consciousness.
  • the second operation instruction display GB2 also corresponds to the main operation instruction display.
  • the third operation instruction display GB3 "Hold the steering wheel!” Corresponds to the main operation instruction display.
  • the fourth operation instruction display GB4 which says “Set your foot on the pedal!”, Corresponds to the main operation instruction display. That is, in the operation change request, the display command transmission unit 186 transmits the display command information for displaying the main operation instruction display and the sub operation instruction display shown in FIG. 5 on the HMI device 20 to the HMI control device 25. ..
  • the HUD device 22 displays a transition-related display of "operation change (manual) preparation".
  • the display by the HUD device 22 has a narrow visible range, and becomes satisfactorily visible when approaching the manual driving posture. Therefore, the driver visually recognizes the line-of-sight guidance display GA on the CID display 231 and thereby guides the driver's line-of-sight to the transition-related display by the HUD device 22, so that the driver's posture naturally approaches the manual driving posture. Then, by visually recognizing the main operation instruction display and the sub operation instruction display, the driver is effectively aware of the manual driving posture. In this way, by guiding the driver's line of sight to the transition-related display by the HUD device 22 as the front display device, it is satisfactorily promoted that the driver quickly takes a manual driving posture.
  • the operation shift operation that is, the main operation and the sub operation is started at the time T12.
  • the time lag from the display start time T11 to the operation shift operation start time T12 corresponds to the reaction time of a standard driver.
  • the operation shift operation is completed at time T13, manual operation becomes possible.
  • the automation level determination unit 184 shifts the operation automation level from the automatic operation to the manual operation at the time T13 before the time T14 when the end point of the automatic operation possible section is reached.
  • the navigation screen is displayed in the screen area DA2 on the CID display 231.
  • the display of the line-of-sight guidance display GA is continued in order to prevent the driver from gazing at the navigation screen for a long time.
  • the operation state determination unit 183 determines the operation operation state by the driver. Then, the automation level determination unit 184 permits the execution of the hands-off operation on condition that the operation state determination unit 183 determines that the operation operation state corresponding to the manual operation is stable.
  • the display command transmission unit 186 transmits the display command information for displaying the transition-related display and the approval request display on the HMI device 20 to the HMI control device 25 when the operation operation state corresponding to the manual operation is stable.
  • the approval request display is a display that prompts or requests an input operation by the driver to approve the execution of the hands-off operation.
  • the meter display 212 displays the transition-related display "Hands-off operation is possible" in the level information display area DB1. Further, the meter display 212 operates the first input request display GC1 indicating the approval button having the character string "approved” and the second input request display GC2 indicating the disapproval button having the character string "not approved”. It is displayed in the information display area DB2.
  • the automation level determination unit 184 determines the execution of the hands-off operation. As a result, the in-vehicle system 10 starts the hands-off operation.
  • the CID display 231 displays an execution-related display of "hands-off operation in progress" in the information display area DA1, and a navigation screen is displayed in the screen area DA2.
  • a navigation screen is displayed in the screen area DA2.
  • NS a navigation screen
  • an execution-related display of "hands-off operation in progress” is displayed in the level information display area DB1, and various information such as route information is displayed in the operation information display area DB2.
  • FIG. 7 shows an example in which the route information for turning right at an intersection 800 m ahead, the radio receiving station, the outside air temperature, and the current date and time are displayed in the driving information display area DB2.
  • FIG. 4 shows the transition of the driving automation level when the driver complies with the driving change request.
  • the operation automation level changes as shown in FIG.
  • the automation level determination unit 184 continues the automatic operation until the time T14 when the end point of the automatic operation possible section is reached. Meanwhile, the automation level determination unit 184 waits for the execution of the operation shift operation. When the operation shift operation is executed by the time T14, the automation level determination unit 184 switches the operation automation level from the automatic operation to the manual operation. On the other hand, if the operation change operation is not executed by the time T14, the automation level determination unit 184 shifts the operation automation level from the automatic operation to the hands-off operation at the time T14.
  • the display command transmission unit 186 displays the display command information for displaying the operation instruction display shown in FIG. 5 on the front display device even if the operation change operation that should be originally executed is not executed at the times T12 to T13. Continue to transmit to the control device 25. As a result, the driving change request for realizing the driving posture to which the hands-off operation can be continued satisfactorily is continued for a predetermined time even after the time T14 elapses. Then, if the driving posture that allows the hands-off operation to be continued satisfactorily is not realized even after the lapse of a predetermined time from the time T14, the in-vehicle system 10 executes the predetermined emergency processing at the time T16.
  • the emergency processing is, for example, a break proposal or a so-called MRM for safely stopping the own vehicle. MRM is an abbreviation for Minimal Risk Maneuver.
  • the automation level determination unit 184 ends the high automation level and shifts to the medium automation level, the automation level once shifts from the high automation level to the low automation level and then shifts to the medium automation level. do.
  • the high automation level is an operation automation level included in the automatic operation of levels 3 to 5.
  • the medium automation level is a lower level of operation automation than the high automation level.
  • the low automation level is a lower level of operation automation than the medium automation level.
  • the "high automation level” can be level 4 or 5.
  • the "low automation level” can be level 0 or 1.
  • the automation level determination unit 184 permits the execution of the medium automation level, at least on the condition that the operation state determination unit 183 determines that the operation operation state corresponding to the low automation level is stable. .. Specifically, the display command transmission unit 186 transmits display command information for displaying the approval request display on the HMI device 20 to the HMI control device 25 when the operation operation state corresponding to the low automation level is stable.
  • the approval request display is a display prompting an input operation to approve the execution of the medium automation level by the driver.
  • the automation level determination unit 184 executes the medium automation level when the predetermined medium automation level execution condition is satisfied, the predetermined operation operation state is stable, and the driver is approved. This makes it possible to shift the operation automation level even more stably.
  • the configuration of the vehicle-mounted system 10 according to the present embodiment is the same as that of the first embodiment. That is, the vehicle 1 and the in-vehicle system 10 according to the present embodiment have the configurations shown in FIGS. 1 and 2. However, in this embodiment, the operation mode and the functional configuration corresponding thereto are slightly different from those in the first embodiment.
  • the automation level determination unit 184 sets the operation automation level in the low automation level according to the cause of the end of the high automation level. That is, the operation automation level at the low automation level, which is once executed until the transition from the high automation level to the medium automation level, becomes variable according to the cause of termination of the high automation level. This makes it possible for the driver to take a more appropriate driving posture according to the cause of termination of the high automation level.
  • the driver's driving consciousness does not need to be raised to the extent that he / she can immediately respond to manual driving, but it is sufficient if the driver's driving consciousness is raised to the extent that he / she can smoothly shift to hands-off driving.
  • the automation level determination unit 184 once shifts from the automatic operation to the level 1 for example, ACC, and then shifts to the hands-off operation.
  • the times T11 to T15 shown in FIG. 9 are the same as those in FIG.
  • the automation level determination unit 184 once shifts from the automatic operation to the level 0, that is, the manual operation, and then shifts to the hands-off operation.
  • time T21 the in-vehicle system 10 executes the operation change request.
  • the time T21 can be roughly regarded as the time when the automation level determination unit 184 determines that the automatic operation should be interrupted by detecting an obstacle on the road or the like.
  • the operation change operation that is, the main operation and the sub operation is started at the time T22, which is separated from the operation change request by a predetermined time lag. Then, when the operation change operation is completed at the time T23, the operation automation level shifts from the automatic operation to the manual operation.
  • T24 indicates the time when the automatic driving interruption condition disappeared, such as passing through the detected road obstacle safely.
  • the display command transmission unit 186 controls the display command to display the transition-related display and the approval request display regarding the transition to the hands-off operation on the HMI device 20 when the operation state corresponding to the manual operation is stable. It is transmitted to the device 25.
  • the automation level determination unit 184 shifts the operation automation level from the manual operation to the hands-off operation at the time T25 when the approval operation by the driver is received.
  • the configuration of the vehicle-mounted system 10 according to the present embodiment is the same as that of the first embodiment and the second embodiment.
  • the operation mode and the functional configuration corresponding thereto are slightly different from those of the first embodiment and the second embodiment.
  • FIG. 11 shows an example in which the operation automation level is once changed from the automatic operation to the level 1 (that is, ACC) and then to the hands-off operation at the end of the automatic operation possible section.
  • the times T31 to T35 in FIG. 11 are the same as the times T11 to T15 in FIG. 4, respectively.
  • the first operation instruction display GB1 called “preparation for operation change (ACC)" corresponds to the main operation instruction display instructing the main operation essential for the operation change.
  • the second operation instruction display GB2 of "forward attention! Corresponds to the main operation instruction display and effectively functions as a sub-operation instruction display mainly instructing a sub-operation for raising driving consciousness.
  • the steering operation by the driver is indispensable, while the accelerator operation and the braking operation by the driver are not indispensable. Therefore, the third operation instruction display GB3 "Hold the steering wheel!” Corresponds to the main operation instruction display instructing the main operation. On the other hand, the fourth operation instruction display GB4, which says “Set the foot on the pedal!”, Corresponds to the sub-operation instruction display for instructing the sub-operation.
  • both the main operation and the sub operation are accurately executed from the start of the operation shift operation at the time T32 to the end point of the automatic operation possible section at the time T34.
  • the main operation is an operation essential for the continuation of the driving of the own vehicle
  • the sub-operation is an auxiliary operation for raising the driving consciousness. Therefore, as long as the main operation is executed correctly, even if the sub-operation is not executed or has some deficiencies, it is permissible to execute the transition of the operation automation level. On the contrary, even though the main operation is executed correctly, the user of the own vehicle may feel inconvenience if the emergency processing such as MRM is executed one by one due to the non-execution or improper execution of the sub-operation. possible.
  • the operation state detection unit 173 detects the execution state or execution status of the main operation and the sub operation by the driver. Then, when the main operation is not executed, the vehicle control unit 185 executes a predetermined emergency process such as MRM.
  • FIG. 13 shows the transition of the operation automation level in this case.
  • the automation level determination unit 184 reaches the end point of the automatic operation enable section at the time T34. Until, continue automatic operation. Meanwhile, the automation level determination unit 184 waits for the execution of the main operation. If the main operation is executed by the time T34, the automation level determination unit 184 switches the operation automation level from the automatic operation to the ACC. On the other hand, if the main operation is not executed by the time T34, the automation level determination unit 184 shifts the operation automation level from the automatic operation to the manual operation at the time T34. Even after shifting to manual operation, the vehicle control unit 185 can execute the collision avoidance brake, the collision damage mitigation brake, and the like at any time.
  • the display command transmission unit 186 displays the display command information for displaying the operation instruction display shown in FIG. 12 on the front display device even if the operation change operation that should be originally executed is not executed at the times T32 to T33. Continue to transmit to the control device 25. As a result, the operation change request is continued for a predetermined time even after the time T34 has elapsed. Then, if the operation change is not realized even after the lapse of a predetermined time from the time T34, the in-vehicle system 10 executes a predetermined emergency process such as MRM at the time T36.
  • a predetermined emergency process such as MRM
  • the secondary operation is not executed even though the main operation is executed. That is, for example, the driver holds the steering wheel 8 with his right hand while gazing at the front in preparation for the transition to ACC, while sitting in the driver's seat 2 with his legs crossed and his right shoulder lifted from the backrest. There may be.
  • the driving posture of the driver can correspond to ACC for the time being, it is preferable to correct the sitting posture in order to further raise the driving consciousness.
  • the vehicle control unit 185 does not execute the above-mentioned safe stop control. Specifically, as shown in FIG. 11, the automation level determination unit 184 shifts the operation automation level from automatic operation to level 1 (that is, ACC) at time T33. As a result, as shown in FIG. 14, the CID display 231 displays the execution-related display "ACC driving support in progress" in the information display area DA1, and the navigation screen is displayed in the screen area DA2. ..
  • the display command transmission unit 186 transmits the display command information for displaying the warning display on the HMI device 20 to the HMI control device 25.
  • the HUD device 22 displays a warning display "Set your foot on the pedal!”.
  • the meter display 212 continues to display the fourth operation instruction display GB4 as a warning display "Set the foot on the pedal!”.
  • FIGS. 15 and 16 The configuration of the vehicle-mounted system 10 according to the present embodiment is the same as that of each of the above-described embodiments. That is, the vehicle 1 and the in-vehicle system 10 according to the present embodiment have the configurations shown in FIGS. 1 and 2. In this embodiment, the operation mode and the functional configuration corresponding thereto are slightly different from each of the above-described embodiments.
  • the transition mode of the driving automation level is adjusted so as to induce the driver's physical exercise and effectively increase the driving consciousness.
  • the same effect can be obtained by presenting information using the HMI device 20 "apparently” even if the operation automation level is not “actually” changed to the low automation level by the operation control device 18 as in each of the above embodiments. It can also be played by transitioning.
  • the HMI device 20 executes various information presentations related to the determination and transition operation of the actual operation automation level by the operation control device 18. Therefore, if the physical movement of the driver that raises the driving consciousness can be induced by presenting the information using the HMI device 20, it is sufficient that the actual driving automation level is not changed by the driving control device 18. Therefore, in the present embodiment, the transition of the operation automation level in the first embodiment is "virtually" executed by presenting information such as a display on the HMI device 20.
  • the display control unit 255 causes the HMI device 20 to display an operation instruction display for causing the driver to take a low level correspondence state.
  • the low level support state is a driver state that can execute a low automation level.
  • the low automation level is an operation automation level in which the vehicle-mounted system 10 including the operation control device 18 does not execute at least one of lateral motion control by steering and longitudinal motion control by acceleration / deceleration. ..
  • the low level correspondence state is the driver state, that is, the driving posture, which can correspond to the operation automation level of levels 0 to 1.
  • FIG. 15 shows, as an example of a typical operation, an example in which the operation automation level is shifted from the automatic operation to the hands-off operation at the end of the automatic operation possible section as in the first embodiment.
  • the times T41 to T45 in FIG. 15 are the same as the times T11 to T15 in FIG. 4, respectively.
  • the thin solid line shows the transition of the actual operation automation level
  • the thick broken line shows the transition of the operation automation level corresponding to the execution-related display in the HMI device 20.
  • the operation control device 18 ends the automatic operation at the end of the automatic operation possible section, and shifts to the level 2 hands-off operation without shifting to the level 1 or lower. ..
  • the display control unit 255 causes the HMI device 20 to display an operation instruction display for temporarily causing the driver to take a low-level compatible state capable of manual operation.
  • the operation automation level on the system actually executed by the operation control device 18 shifts from the automatic operation to the level 2 hands-off operation without shifting from the automatic operation to the level 1 or lower.
  • the driver's conscious driving automation level due to the recognition of the display content in the HMI device 20 and the accompanying physical movement shifts from the automatic driving to the driving automation level lower than the hands-off driving, and then shifts to the hands-off driving. do.
  • the in-vehicle system 10 executes the operation change request.
  • the display command transmission unit 186 transmits the display command information for displaying the line-of-sight guidance display GA shown in FIG. 16 on the CID display 231 which is a display device for displaying the second task screen to the HMI control device 25. do.
  • the line-of-sight guidance display GA shown in FIG. 16 is similar to the first embodiment shown in FIG. Further, the display command transmission unit 186 transmits the display command information for displaying the transition-related display and the operation instruction display shown in FIG. 16 on the front display device to the HMI control device 25.
  • the meter panel 21 displays a transition-related display of "3 km ahead, automatic operation end" in the level information display area DB1 of the meter display 212. Further, the meter panel 21 displays the first operation instruction display GB1 to the fourth operation instruction display GB4 similar to the first embodiment in the operation information display area DB2 of the meter display 212.
  • the HUD device 22 displays a transition-related display of "operation change (manual) preparation”.
  • the CID device 23 displays the line-of-sight guidance display GA in the information display area DA1 on the CID display 231.
  • the first operation instruction display GB1 "preparation for operation change (manual)" corresponds to the transition-related display.
  • the first operation instruction display GB1 is a manual operation in which the operation automation level of the migration destination is lower than the original hands-off operation, it is necessary to transfer the authority from the system to the driver. There is no change in the display indicating. Therefore, the first operation instruction display GB1 also corresponds to the main operation instruction display for instructing the main operation necessary for the transfer of authority to the driver due to the decrease in the operation automation level.
  • the second operation instruction display GB2 "Caution ahead!” Corresponds to the main operation instruction display and effectively functions as a sub-operation instruction display for instructing a sub-operation including an adjustment operation of driving consciousness. Further, as described above, the shift destination of the operation automation level from the automatic operation on the system is the hands-off operation. In the hands-off operation, the steering control operation and the acceleration / deceleration control operation by the driver are not required. For this reason, the third operation instruction display GB3 corresponding to manual driving, such as "Hold the steering wheel!, Is not an operation essential for the transition from automatic driving to hands-off driving, but is related to an operation for improving driving consciousness. .. Therefore, the third operation instruction display GB3 corresponds to the sub-operation instruction display.
  • the fourth operation instruction display GB4 which says "Set the foot on the pedal!”, Corresponds to the sub-operation instruction display.
  • the display control unit 255 displays the operation instruction display of the main operation instruction display instructing the main operation including the adjustment operation of the driving posture and the sub-operation instruction display instructing the sub-operation including the adjustment operation of the driving consciousness. Is displayed on the HMI device 20.
  • the automation level determination unit 184 changes the operation automation level on the system from automatic operation to level 2 [G mode]. Migrate.
  • the display control unit 255 shifts the operation automation level on the display from automatic operation to manual operation.
  • the operation state determination unit 183 determines the operation operation state by the driver. Then, the automation level determination unit 184 permits the execution of the hands-off operation on condition that the operation state determination unit 183 determines that the operation operation state corresponding to the manual operation is stable.
  • the display control unit 255 displays an approval request prompting an input operation to approve the execution of the medium automation level when the driver state acquired by the driver state acquisition unit 254 is stable in the low level compatible state. Displayed by the HMI device 20.
  • the approval request display is the same as in FIG.
  • the automation level determination unit 184 determines the execution of the hands-off operation.
  • the in-vehicle system 10 starts the hands-off operation. That is, after the time T45, the operation automation level on the system and the operation automation level on the display match, and both are hands-off operation. In this way, by shifting to the hands-off driving in a state where the driver's driving consciousness is sufficiently raised, the shift from the automatic driving to the hands-off driving can be performed more safely.
  • the HMI device displays an operation instruction display that causes the driver to take a low level corresponding state capable of executing the low automation level as the driver state. Display at 20.
  • the display control unit 255 ends the high automation level and shifts to the medium automation level, which is the operation automation level between the high automation level and the low automation level
  • the low level compatible state is set to the driver.
  • the operation instruction display to be taken is displayed on the HMI device 20.
  • the low automation level corresponding to the operation instruction display is an apparent operation automation level different from the operation automation level actually executed by the operation control device 18 from the end of the high automation level to the start of the medium automation level. ..
  • the display control unit 255 displays the line-of-sight guidance display GA that guides the driver's line of sight from the second task screen to the HUD device 22 as the front display device on the CID display 231 that displays the second task screen. Let me. As a result, by guiding the driver's line of sight to the HUD device 22 as the front display device, it is satisfactorily promoted that the driver quickly takes a predetermined driving posture.
  • the fifth embodiment will be described with reference to FIGS. 17 to 19.
  • the configuration of the vehicle-mounted system 10 according to the present embodiment is the same as that of the fourth embodiment.
  • this embodiment is slightly different from the fourth embodiment in the operation mode and the functional configuration corresponding thereto. That is, this embodiment is a modification of a part of the fourth embodiment.
  • the fourth embodiment is obtained by changing the transition mode of the actual operation automation level in the first embodiment to a virtualization, that is, an apparent one. Similarly, in the present embodiment, the transition mode of the actual operation automation level in the second embodiment is changed to a virtualized one, that is, an apparent one.
  • the display control unit 255 sets the operation automation level in the low automation level according to the cause of the end of the high automation level. That is, the operation automation level at the low automation level that apparently shifts from the high automation level at the end of the high automation level becomes variable according to the cause of the end of the high automation level. This makes it possible for the driver to take a more appropriate driving posture according to the cause of termination of the high automation level.
  • FIG. 17 shows a case where the operation automation level is shifted from the automatic operation to the hands-off operation at the end of the automatic operation possible section, which is the same as in FIG.
  • the times T51 to T55 in FIG. 17 are the same as the times T11 to T15 in FIGS. 4 and 9, respectively.
  • the thin solid line indicates the transition of the actual operation automation level
  • the thick broken line indicates the transition of the operation automation level corresponding to the execution-related display in the HMI device 20.
  • the operation automation level on the system shifts from automatic operation to level 2 [G mode] at time T53. Then, at the time T55 when the operation operation state is stable and the approval operation by the driver is accepted, the operation automation level on the system shifts from the level 2 [G mode] to the hands-off operation.
  • the operation automation level on the display temporarily shifts from automatic operation to level 1 at time T53, and shifts from level 1 to hands-off operation at time T55. That is, the display mode at the time of the operation change request at the time T51 is the same as that in FIG.
  • FIG. 18 shows a case where automatic driving is interrupted due to road obstacle detection or the like while traveling in a section where automatic driving is possible, as in FIG.
  • the times T61 to T65 in FIG. 18 are the same as the times T21 to T25 in FIG. 10, respectively.
  • the level of driving automation on the system after the interruption is as high as possible. Therefore, in this example, the operation automation level on the system shifts from the automatic operation to the level 2 [G mode] at the time T63 when the operation change operation is completed. Then, at the time T65 when the operation operation state is stable and the approval operation by the driver is accepted, the operation automation level on the system shifts from the level 2 [G mode] to the hands-off operation.
  • the operation automation level on the display temporarily shifts from automatic operation to manual operation at time T63, and shifts from manual operation to hands-off operation at time T65. That is, the display mode at the time of the operation change request at the time T61 corresponds to the shift from the automatic operation to the manual operation as in FIG.
  • FIG. 19 shows a case where the automatic operation is terminated due to the occurrence of some abnormality in the in-vehicle system 10.
  • the display control unit 255 shifts the operation automation level on the display from the automatic operation to the manual operation.
  • the automation level determination unit 184 lowers the operation automation level on the system from the automatic operation to a predetermined level.
  • the predetermined level is the highest level that can be performed at that time.
  • the operation control device 18 determines that the automatic operation cannot be continued due to the occurrence of an abnormality, the operation control device 18 executes an operation change request for shifting to the manual operation at the time T71. That is, the display command transmission unit 186 transmits the display command information to the HMI control device 25 so that the HMI device 20 displays the display for the operation change request.
  • the operation change operation is started at the time T72. Then, when the operation change operation is completed at the time T73, the operation automation level on the display shifts from the automatic operation to the manual operation. On the other hand, the operation automation level on the system shifts to the highest level that can be executed at that time, although the automatic operation is terminated. Even if only manual driving is possible as the driving automation level on the system, by shifting the driving automation level on the display from automatic driving to manual driving, it is possible for the driver to appropriately change the driving.
  • the processing when the operation change operation is not performed may be the same as in the cases of FIGS. 8 and 13. That is, a predetermined emergency process such as MRM may be executed after waiting for a predetermined time. Alternatively, if the minimum necessary safety control operation such as collision avoidance brake and collision damage mitigation brake is possible, even if the driving shift operation is not performed, the above emergency processing is not executed. good.
  • FIG. 20 shows the case where the approval operation for the transition proposal to ACC is performed
  • FIG. 21 shows the case where such the approval operation is not performed.
  • the cause of the end of the automatic operation is the end of the automatic operation possible section and the transition to the ACC by the ACC approval.
  • the cause of the end of the automatic operation is the end of the automatic operation possible section and the shift to the hands-off operation due to the disapproval of ACC. Due to such a difference in the cause of termination, the transition mode of the operation automation level on the system and the operation automation level on the display from the automatic operation is different between FIGS. 20 and 21.
  • the in-vehicle system 10 executes the same operation change request as the time T41 in FIG. 15 or the time T51 in FIG. Further, at time T82, the in-vehicle system 10 executes a transition proposal to ACC. Then, at time T83, the driver executes an approval operation for the proposal to shift to ACC, and starts a driving shift operation in order to take a driving posture compatible with ACC.
  • the driver has a clear awareness of shifting from autonomous driving to ACC. Therefore, when the operation shift operation is completed at the time T84 before the time T85, the in-vehicle system 10 shifts both the operation automation level on the system and the operation automation level on the display from the automatic operation to the level 1 ACC.
  • Time T85 is the time to reach the end point of the section where autonomous driving is possible. After that, at the time T86 when the driver's driving operation state is stable, if the condition for shifting the driving automation level to the higher level side, for example, level 2 [G mode] is satisfied, the shift proposal can be appropriately executed.
  • Times T91 and T92 are similar to times T81 and T82 shown in FIG. 20, respectively.
  • the driver has not executed the approval operation for the transition proposal to ACC until time T93.
  • the driver may not have a clear awareness of moving from autonomous driving to a given level of driving automation. Therefore, at the time T93, the in-vehicle system 10 executes the same operation change request for the manual operation as the time T41 in FIG.
  • the automation level determination unit 184 shifts the operation automation level on the system from the automatic operation to the level 2 [G mode].
  • the time T95 is the time when the end point of the automatic driving section is reached.
  • the display control unit 255 shifts the operation automation level on the display from automatic operation to manual operation.
  • the in-vehicle system 10 shifts both the operation automation level on the system and the operation automation level on the display to hands-off operation.
  • the seventh embodiment will be described with reference to FIGS. 22 to 24.
  • the configuration of the vehicle-mounted system 10 according to the present embodiment is the same as that of the first embodiment and the like.
  • the operation mode and the functional configuration corresponding thereto are slightly different from those in the first embodiment and the like.
  • FIGS. 22 to 24 show an example of shifting from automatic operation as a high automation level (that is, level 3) to level 2 as a medium automation level, similar to the example of FIG.
  • the times TA1 to TA6 indicate the passage of time.
  • the traveling route and the traveling condition (for example, vehicle speed) of the own vehicle are the same, and the duration of the automatic driving being executed at the time TA1. Only shall be different. That is, FIG. 22 shows an example in which the duration of automatic operation is short, that is, less than a predetermined time.
  • FIGS. 23 and 24 show an example in which the duration of automatic operation is a predetermined time or longer. The duration of automatic operation in the example of FIG. 23 is shorter than that of the example of FIG. 24.
  • the change request start time TA1 is the start time of the operation change request.
  • the operation change request includes displaying a transition-related display and an operation instruction display on the front display device. That is, the change request start time TA1 corresponds to the operation instruction timing for displaying the operation instruction display (that is, at least the main operation instruction display) on the HMI device 20. Therefore, the change request start time TA1 is the same as the display start time T11 in FIG.
  • the change start time TA2 is a time when the driver starts the operation change operation in response to the operation change request, and is the same as the operation change operation start time T12 in FIG.
  • the shift end time TA3 is a time at which the driver's operation shift operation started at the shift start time TA2 ends, and is the same as the operation shift operation end time T13 in FIG.
  • the end point passage time TA4 is the time when the own vehicle reaches the end point of the section in which the autonomous driving is possible, and is the same as the time T14 in FIG.
  • FIGS. 22 to 24 are drawn so that the time axis, which is the horizontal axis, has substantially the same scale, and the position in the horizontal axis direction of the end point passage time TA4 is the same.
  • the approval period start time TA5 is a timing at which the approval operation by the driver can be executed.
  • the approval period start time TA5 corresponds to, for example, the approval request timing for displaying the approval request display on the HMI device 20.
  • the approval period start time TA5 corresponds, for example, to the approval permission timing that permits the input operation that approves the execution of the medium automation level.
  • the transition time TA6 is the approval execution timing at which the approval operation for the medium automation level execution is executed by the driver, and is the same as the time T15 in FIG.
  • the automation level determination unit 184 sets the mode of change of the operation automation level from the high automation level to the middle automation level according to the duration of the high automation level.
  • the automation level determination unit 184 when the duration of the high automation level is less than a predetermined time, the automation level determination unit 184 does not shift from the high automation level to the low automation level as shown in FIG. 22. Move to medium automation level. Further, the automation level determination unit 184 sets the operation automation level in the low automation level according to the duration of the high automation level. More specifically, in the example of FIG. 24 in which the duration of automatic driving is relatively long, the degree of decrease in driving consciousness and loss of driving sensation is higher than in the example of FIG. 23 in which the duration of automatic driving is not so long. Is also expected to be large. Therefore, in the example of FIG.
  • the automation level determination unit 184 sets the operation automation level at the low automation level lower as the duration of the higher automation level becomes longer. As a result, the longer the duration of automatic driving increases, the greater the possibility that the driver loses driving consciousness and / or driving operation sensation, so that the driver recovers driving consciousness and / or driving operation sensation at the end of automatic driving. Preparation period can be secured for a long time.
  • the display command transmission unit 186 or the display control unit 255 sets the operation instruction timing, that is, the shift request start time TA1 according to the duration of the high automation level. That is, the change request start time TA1 is set earlier as the duration of the automatic operation becomes longer.
  • the end point passage time TA4 the approval period start time TA5, and the transition time TA6 are substantially the same or almost the same between FIGS. 22 to 24. ..
  • the shift request start time TA1 is the latest in the example of FIG. 22 having the shortest duration of automatic operation, and the earliest in the example of FIG. 24 having the longest duration of automatic operation.
  • the longer the duration of the automatic operation the longer the time interval between the shift request start time TA1 and the end point passage time TA4 can be secured.
  • Such a time interval is a period available as a preparatory period for the driver to regain driving consciousness and / or driving sensation during the transition from the high automation level to the medium automation level. Therefore, according to the present embodiment, the longer the duration of the automatic driving, the longer the preparation period for restoring the driving consciousness and / or the driving operation sensation to the driver at the end of the automatic driving can be secured as long as possible.
  • the time interval from the change request start time TA1 to the approval period start time TA5 is set so as to become longer as the duration of the high automation level becomes longer.
  • the timing of the approval period start time TA5 based on the reference time is set later as the duration of the high automation level becomes longer.
  • the approval request timing or the approval permission timing defined by the approval period start time TA5 is set according to the duration of the high automation level.
  • FIGS. 22 to 24 are drawn so that the positions of the approval period start time TA5 and the transition time TA6 in the horizontal axis direction are the same.
  • this embodiment is not limited to such an embodiment. That is, for example, the time interval from the end point passage time TA4 to the approval period start time TA5 can be set to become longer as the duration of the high automation level becomes longer.
  • the horizontal axis positions of the approval period start time TA5 and the transition time TA6 in FIG. 23 may be to the right of the horizontal axis direction positions of the approval period start time TA5 and the transition time TA6 in FIG. 22.
  • the horizontal axis positions of the approval period start time TA5 and the transition time TA6 in FIG. 24 may be to the right of the horizontal axis direction positions of the approval period start time TA5 and the transition time TA6 in FIG. 23.
  • FIGS. 25 and 26 The contents of the times TA1 to TA6 in FIGS. 25 and 26 are the same as those in FIGS. 22 to 24.
  • the in-vehicle system 10 including the operation control device 18 is configured to be capable of executing level 3 and level 4 automatic operation.
  • the configuration of the vehicle-mounted system 10 according to the present embodiment is the same as that of the first embodiment and the like, except for the operation mode related to the operation automation level and the functional configuration corresponding thereto.
  • level 4 autonomous driving the driving automation system will take measures when it becomes difficult to continue the level (for example, when an obstacle on the road or a construction section appears). That is, during the execution of the level 4 automatic driving, the driver is not required to appropriately respond to the driving change request from the driving automation system. Therefore, the driver can sleep during the execution of the level 4 automatic driving.
  • level 3 automatic driving when the level becomes difficult to continue, the driver needs to appropriately respond to the driving change request from the driving automation system. Therefore, during the execution of the level 3 automatic driving, the driver is required to be awake enough to appropriately respond to the driving change request from the driving automation system.
  • FIG. 25 shows a case where the driver is in a non-sleep state during level 4 automatic driving, that is, before the shift request start time TA1.
  • FIG. 26 shows a case where the driver is in a sleeping state during the level 4 automatic driving.
  • Both level 3 and level 4 can be executed in a "specific limited area", that is, a section where autonomous driving is possible. Therefore, it is necessary to request the driver to change driving with sufficient time to reach the end point of the section where autonomous driving is possible.
  • the driver after sleep that is, awakened from sleep
  • the decrease in driving ability includes the above-mentioned loss of driving sensation.
  • the driving consciousness and / or the driving operation ability is significantly reduced immediately after waking up from sleep.
  • the driver state detection unit 17 detects whether or not the driver state during execution of the high automation level is the sleep state. Then, the automation level determination unit 184 sets the mode of change of the operation automation level from the high automation level to the transition to the medium automation level according to whether or not the driver state executing the high automation level is the sleeping state. .. Specifically, the automation level determination unit 184 ends the high automation level earlier when the driver state executing the level 4 as the high automation level is the sleeping state than in the non-sleeping state.
  • level 4 is maintained until the shift end time TA3 as shown in FIG. 25. Then, at the shift end time TA3, the operation automation level shifts from level 4 to level 1. After that, at the transition time TA6, the operation automation level shifts from level 1 to level 2.
  • Such a transition mode is the same as the level transition mode in the example of FIG. 4 in which the automatic operation is once shifted to the level 1 as the low automation level and then the level 2 is shifted to the medium automation level.
  • the level 4 ends at the change request start time TA1, and the operation automation level is sub-high. Temporarily shift to level 3 as an automation level.
  • the sub-high automation level is an operation automation level included in the automatic operation between the high automation level and the medium automation level, and is level 3 in the example of FIG. From the shift request start time TA1 to the shift end time TA3, the operation automation level is maintained at level 3. That is, at level 3, the operation shift operation is executed. After that, at the shift end time TA3, the operation automation level shifts from level 3 to level 1. After that, at the transition time TA6, the operation automation level shifts from level 1 to level 2.
  • the operation automation level is set to level 3 at the shift start time TA2 or the shift end time TA3, which indicates the period of operation in which the driver state shifts to the low level corresponding state corresponding to level 1.
  • the driver after sleep under Level 4 execution is gradually forced to take an appropriate driving position under Level 3 automatic driving execution without forcing the driver to suddenly shift to the driving position corresponding to Level 1. Can be done.
  • the automation level determination unit 184 when the driver state in which the high automation level is being executed is the sleeping state, the automation level determination unit 184 once shifts from the high automation level to the sub high automation level, and then the low automation level. Move to.
  • the driver state in which the high automation level is being executed is the non-sleep state, the automation level determination unit 184 shifts from the high automation level to the low automation level without shifting to the sub high automation level.
  • the driving automation level transition control for restoring the driving consciousness and / or the driving operation ability to the driver at the end of the automatic driving is appropriately executed depending on whether or not the driver actually slept during the automatic driving. obtain.
  • FIGS. 26 and 27 The contents of the times TA1 to TA6 in FIGS. 26 and 27 are the same as those in FIGS. 25 and 26.
  • This embodiment is a partial modification of the eighth embodiment. That is, this embodiment is a modification of the operation automation level transition mode in the example of FIG. 25 in the eighth embodiment to the mode shown in FIG. 27.
  • FIG. 26 shows a case where the driver is in a sleeping state during level 4 automatic driving, that is, before the shift request start time TA1.
  • FIG. 27 shows a case where the driver is in a non-sleep state during the level 4 automatic driving.
  • the driver after sleep has lower driving consciousness and / or driving operation ability than before the start of automatic driving. Therefore, if the driver is not sleeping during autonomous driving, the driver can cope with a lower level of driving automation than if he was sleeping.
  • the automation level determination unit 184 sets the operation automation level in the low automation level according to whether or not the driver state in which the high automation level is being executed is the sleep state.
  • the sleep state As a result, specifically, when the driver state during the automatic operation of level 4 as the high automation level is the sleep state, as shown in FIG. 26, between the shift end time TA3 and the transition time TA6.
  • the low automation level is set to level 1.
  • the driver state during the automatic operation of level 4 as the high automation level is the non-sleep state
  • the low automation level is set to level 0 as shown in FIG. 27.
  • the driving automation level transition control for restoring the driving consciousness and / or the driving operation ability to the driver at the end of the automatic driving is appropriately executed depending on whether or not the driver actually slept during the automatic driving. obtain.
  • FIG. 27 shows a case where the driver is in a non-sleep state during level 4 automatic driving, that is, before the shift request start time TA1.
  • FIG. 28 shows a case where the driver is in a sleeping state during the level 4 automatic driving.
  • the display command transmission unit 186 or the display control unit 255 sets the operation instruction timing, that is, the shift request start time TA1, according to whether or not the driver state in which the high automation level is being executed is the sleep state. That is, the shift request start time TA1 is set early when the driver state executing the high automation level is the sleep state. Specifically, referring to FIGS. 27 and 28, the end point passage time TA4, the approval period start time TA5, and the transition time TA6 are almost the same or almost different between FIGS. 27 and 28. There is no. On the other hand, the shift request start time TA1 is earlier in the example of FIG. 28 in which the driver state during execution of the high automation level is the sleep state than in the example of FIG. 27. As a result, the preparation period for recovering the driver's driving consciousness and / or driving operation ability deteriorated due to sleep during automatic driving at the end of automatic driving can be secured as long as possible.
  • the time interval from the change request start time TA1 to the approval period start time TA5 is set to be long when the driver state during execution of the high automation level is the sleep state. That is, when the change request start time TA1 is set as the reference time, the timing of the approval period start time TA5 based on the reference time is set later as the duration of the high automation level becomes longer.
  • the approval request timing or the approval permission timing defined by the approval period start time TA5 is set according to whether or not the driver state executing the high automation level is the sleep state. ..
  • the preparation period for recovering the driver's driving consciousness and / or driving operation ability deteriorated due to sleep during automatic driving at the end of automatic driving can be secured as long as possible.
  • FIGS. 27 and 28 are drawn so that the positions of the approval period start time TA5 and the transition time TA6 in the horizontal axis direction are the same.
  • this embodiment is not limited to such an embodiment. That is, for example, the time interval from the end point passage time TA4 to the approval period start time TA5 can be set according to whether or not the driver state during execution of the high automation level is the sleep state.
  • the horizontal axis positions of the approval period start time TA5 and the transition time TA6 in FIG. 28 may be to the right of the horizontal axis direction positions of the approval period start time TA5 and the transition time TA6 in FIG. 27.
  • the transition mode of the operation automation level between the high automation level and the medium automation level is the actual operation automation level. Met.
  • the mode of transition of the operation automation level in the seventh to tenth embodiments may be apparent as in the fourth embodiment and the like.
  • the transition mode of the operation automation level shown in FIGS. 23 to 28 may be an "apparent" transition by presenting information using the HMI device 20.
  • the actual operation automation level determined and executed by the automation level determination unit 184 shifts from the automatic operation to the level 2 at the shift end time TA3 in the embodiment shown in FIG.
  • the functional configuration or operation of the automation level determination unit 184 and / or the display command transmission unit 186 in each of the above embodiments is read as the functional configuration or operation of the display control unit 255.
  • the vehicle 1 equipped with the in-vehicle system 10 is not limited to an ordinary vehicle.
  • the vehicle 1 may be a large vehicle such as a freight truck.
  • the number of wheels is not particularly limited, and may be a three-wheeled vehicle or a six-wheeled or eight-wheeled vehicle such as a freight truck.
  • the type of vehicle 1 may be a conventional vehicle having only an internal combustion engine, an electric vehicle or a fuel cell vehicle not having an internal combustion engine, or a so-called hybrid vehicle.
  • the shape and structure of the vehicle body in the vehicle 1 are also not limited to a box shape, that is, a substantially rectangular shape in a plan view. There are no particular restrictions on the use of the vehicle 1, the position of the steering wheel 8, the number of occupants, and the like.
  • the communication standard constituting the in-vehicle system 10 a communication standard other than CAN (international registered trademark), for example, FlexRay (internationally registered trademark) or the like can be adopted. Further, the communication standard constituting the in-vehicle system 10 is not limited to one type. For example, the in-vehicle system 10 may have a sub-network line conforming to a communication standard such as LIN. LIN is an abbreviation for Local Interconnect Network.
  • the vehicle state sensor 11, the external state sensor 12, and the peripheral monitoring sensor 13 are not limited to the above examples.
  • the peripheral monitoring sensor 13 may be configured to include a sonar, that is, an ultrasonic sensor.
  • the peripheral monitoring sensor 13 may include two or more of a millimeter wave radar sensor, a submillimeter wave radar sensor, a laser radar sensor, and an ultrasonic sensor. There is no particular limitation on the number of various sensors installed.
  • the locator 14 is not limited to the above example.
  • the locator 14 does not have to have a configuration incorporating a gyro sensor and an acceleration sensor.
  • the inertia acquisition unit 142 may receive output signals from the angular velocity sensor and the acceleration sensor provided outside the locator 14 as the vehicle state sensor 11.
  • the DCM15 can be omitted. That is, the traffic information can be acquired by the navigation device 16.
  • the navigation device 16 may have a configuration that includes a locator 14 and a DCM 15.
  • the navigation device 16 may be connected to the HMI control device 25 so that information can be communicated via a sub-communication line different from the in-vehicle communication line 10A.
  • the navigation device 16 may have a display screen dedicated to the navigation screen display, which is different from the HMI device 20.
  • the navigation device 16 may be provided as forming a part of the HMI device 20.
  • the navigation device 16 may be integrated with the CID device 23.
  • the driver state detection unit 17 may be connected to the HMI control device 25 so that information can be communicated via a sub-communication line different from the in-vehicle communication line 10A.
  • the driver state detection unit 17 is not limited to the configuration including the line-of-sight detection unit 171, the posture detection unit 172, and the operation state detection unit 173. That is, for example, the function corresponding to the posture detection unit 172 can be achieved by image recognition using the configuration of the line-of-sight detection unit 171. Further, the driver state detection unit 17 may include a biometric information sensor that detects biometric information such as the driver's pulse. In this case, the component such as the detection electrode in the biometric information sensor can be shared with the component for detecting the gripping state of the steering wheel 8 in the operation state detection unit 173.
  • the driving control device 18 is configured to be able to execute the vehicle control operation corresponding to the levels 1 to 3.
  • the present disclosure is not limited to such embodiments. That is, for example, the present disclosure can be suitably applied even when the vehicle control operation corresponding to the levels 1 to 5 can be performed.
  • the level or category of operation automation in the present disclosure is not limited to that specified in "SAE J3016". Specifically, in “SAE J3016", it is stipulated that the higher the operation automation level, the larger the level value. However, the present disclosure is not limited to such embodiments. That is, for example, the present disclosure can be similarly applied to a standard in which the highest operation automation level is set to "level 1" and the level value increases as the operation automation level decreases.
  • the HMI device 20 is not limited to the configuration including the meter panel 21, the HUD device 22, and the CID device 23. That is, for example, the meter panel 21 and the CID device 23 can be integrated.
  • the meter 211 and the meter display 212 can be realized by one display device.
  • the meter 211 may be provided as a display area at both left and right ends of one display device, which is a liquid crystal or organic EL display. That is, the meter 211 can be realized by displaying an image of a bezel, a pointer, a scale, etc. corresponding to a tachometer, a speedometer, a water temperature gauge, and the like.
  • the meter display 212 may be provided as a display area other than the meter 211 in such a display device.
  • the input device 232 may have a pointing device or the like operated by the driver in place of or together with the touch panel superimposed on the CID display 231.
  • the input device 232 may have a voice input device that detects the driver's utterance.
  • the operation control device 18 and the HMI control device 25 have a configuration as a so-called in-vehicle microcomputer provided with a CPU and the like.
  • the present disclosure is not limited to such configurations.
  • all or part of the operation control device 18 may be configured to include a digital circuit configured to enable the above-mentioned operation, for example, an ASIC or an FPGA.
  • ASIC is an abbreviation for Application Specific Integrated Circuit.
  • FPGA is an abbreviation for Field Programmable Gate Array. That is, in the operation control device 18, the in-vehicle microprocessor portion and the digital circuit portion can coexist. The same applies to the HMI control device 25.
  • V2X is an abbreviation for Vehicle to X.
  • a program may be downloaded or upgraded via terminal equipment provided in the manufacturing plant, maintenance plant, dealership, etc. of the vehicle 1.
  • the storage destination of such a program may be a memory card, an optical disk, a magnetic disk, or the like.
  • each of the above functional configurations and methods is achieved by a dedicated computer provided by configuring a processor and memory programmed to perform one or more functions embodied by a computer program. May be done.
  • each of the above functional configurations and methods may be implemented by a dedicated computer provided by configuring the processor with one or more dedicated hardware logic circuits.
  • each of the above functional configurations and methods comprises a combination of a processor and memory programmed to perform one or more functions and a processor composed of one or more hardware logic circuits. It may be realized by one or more dedicated computers.
  • the computer program may be stored in a computer-readable non-transitional substantive storage medium as an instruction executed by the computer. That is, each of the above functional configurations and methods can be expressed as a computer program including a procedure for realizing the above, or as a non-transitional substantive storage medium that stores the program.
  • the present disclosure is not limited to the specific functional configuration and operation example shown in the above embodiment. That is, for example, in accordance with the operation automation level defined in "SAE J3016", in the above embodiment, the transition mode of the operation automation level on the system and / or the display is 3-0-2, 3-0. -1, 3-1-2, 4-0-2, 4-1-2, and so on. However, the present disclosure is not limited to such embodiments. That is, for example, such a transition mode may be 4-0-1, 5-2-3, or the like. That is, when the transition mode is LA-LB-LC, LA ⁇ 3, LB ⁇ 2, LA> LC> LB may be sufficient.
  • the display for gaze guidance and operation instruction was executed by the CID device 23.
  • the present disclosure is not limited to such embodiments. That is, for example, such a display may be executed by the terminal device 24. That is, the HMI control device 25 may execute various displays on the display screen of the terminal device 24.
  • the line-of-sight guidance display GA may be displayed in the screen area DA2, which is the second task screen display area, on the CID display 231.
  • the display mode of the line-of-sight guidance display GA and the like is not limited to the specific examples exemplified in the above embodiment. That is, for example, the line-of-sight guidance display GA may be a meteor- or comet-like display that flows in the line-of-sight guidance direction.
  • the in-vehicle system 10 may selectively execute only one of the break proposal and the MRM as a predetermined emergency process according to the road condition.
  • the in-vehicle system 10 may execute the MRM after first executing the break proposal. Then, when the in-vehicle system 10 does not take the driving posture corresponding to the level 2 or does not perform any response operation to the break proposal even after a predetermined time has passed since the driver received the break proposal, MRM may be performed.
  • MRM may be performed.
  • the transition timing at which the operation automation level shifts from the high automation level, that is, level 3, to the low automation level, that is, level 0 or level 1 can be changed from the operation shift operation end timing (that is, time T13). .. Specifically, the shift timing can be appropriately set between the timing at which the operation shift operation ends and the timing at which the end point of the automatic driving enable section is reached (that is, between times T13 and T14).
  • the transition timing at which the actual operation automation level shifts from the high automation level, that is, level 3, to the medium automation level, that is, level 2 can be changed from the operation shift operation end timing (that is, time T43). Specifically, the transition timing can be appropriately set between the times T43 and T44. The same applies to the example shown in FIG.
  • the modified example is not limited to the above example.
  • all or part of one of the embodiments and all or part of the other can be combined with each other as long as they are not technically inconsistent. There is no particular limitation on the number of combinations.
  • all or part of one of the variants and all or part of the other can be combined with each other as long as there is no technical conflict.
  • all or part of the embodiment and all or part of the modification may be combined with each other as long as there is no technical conflict.
  • each of the above embodiments and modifications can be arbitrarily combined as long as there is no technical contradiction.
  • the HMI control method is a method of controlling an HMI device (20) that visually displays an image by a driver of a vehicle (1) capable of autonomous driving.
  • the HMI control program is a program executed by the HMI control device (25) configured to control the HMI device (20) that visually displays an image by the driver of the vehicle (1) capable of autonomous driving.
  • the HMI control method and the processing executed by the HMI control device are An automation level acquisition process for acquiring a determination result of a driving automation level in the driving control device (18) that controls the driving of the vehicle, and A display control process that controls an image display operation in the HMI device according to the operation automation level acquired in the automation level acquisition process.
  • the display control process ends the high automation level, which is the operation automation level included in the automatic operation, the vehicle-mounted system (10) including the operation control device is laterally steered as the driver state, which is the state of the driver.
  • An operation instruction display that causes the driver to take a low level corresponding state capable of executing the low automation level, which is the operation automation level, which does not execute at least one of the directional motion control and the longitudinal motion control by acceleration / deceleration. This is a process of displaying on the HMI device.
  • the display control process ends the high automation level and shifts to the medium automation level which is the operation automation level between the high automation level and the low automation level.
  • This is a process of displaying the operation instruction display on the HMI device, which causes the driver to take the low-level correspondence state.
  • the HMI control method and the processing executed by the HMI control device are The driver status acquisition process for acquiring the driver status and Operation acceptance processing that accepts input operations by the driver, Have more The display control process displays an approval request display for prompting the input operation to approve the execution of the medium automation level when the driver state acquired by the driver state acquisition process is stable in the low level corresponding state. This is a process to be displayed on the HMI device.
  • the display control process displays the approval request depending on the duration of the high automation level or whether the driver state executing the high automation level is a sleep state. It is a process of setting the approval request timing to be displayed on the HMI device or the approval permission timing to permit the input operation for approving the execution of the medium automation level.
  • the display control process is a process of setting the operation automation level at the low automation level according to the cause of termination of the high automation level.
  • the display control process is performed at the low automation level depending on the duration of the high automation level or whether the driver state executing the high automation level is a sleeping state. This is a process for setting the operation automation level.
  • the display control process displays the operation instruction according to the duration of the high automation level or whether or not the driver state executing the high automation level is a sleep state. This is a process for setting the operation instruction timing to be displayed on the HMI device.
  • the display control process includes a main operation instruction display for instructing the main operation including the adjustment operation of the driving posture as the driver state, and a sub-operation including the adjustment operation of the driving consciousness as the driver state.
  • This is a process of displaying the sub-operation instruction display for instructing the operation as the operation instruction display on the HMI device.
  • the display control process is arranged on the traveling destination side of the vehicle with respect to the driver from the second task screen that displays the second task that the driver can execute during the execution of the automatic driving.
  • This is a process of displaying the line-of-sight guidance display that guides the driver's line of sight on the front display device (21, 22) on the display device (23) that displays the second task screen.
  • the front display device is a head-up display device (22).
  • the low automation level corresponding to the operation instruction display is the operation actually executed by the operation control device from the end of the high automation level to the start of the medium automation level. It is the apparent operation automation level different from the automation level.
  • the present disclosure shown by the above-described embodiment and modification includes the following viewpoints regarding an operation control method and an operation control program.
  • the following viewpoints can be applied in combination with each other as long as there is no technical contradiction.
  • the driving control method is a method of controlling the driving of a vehicle (1) capable of automatic driving.
  • the driving control program is a program executed by a driving control device (18) configured to control the driving of a vehicle (1) capable of autonomous driving.
  • the operation control method and the process executed by the operation control device are The traveling status acquisition process for acquiring the traveling status of the vehicle and The automation level determination process, which determines the driving automation level based on the driving condition acquired by the driving condition acquisition process, Have, When the automation level determination process ends the high automation level, which is the operation automation level included in the automatic operation, and shifts to the medium automation level, which is the operation automation level lower than the high automation level. This is a process of shifting from the high automation level to the low automation level, which is the operation automation level lower than the medium automation level, and then shifting to the medium automation level.
  • the automation level determination process is a process for permitting execution of the medium automation level, provided that the operation state determination process determines that the operation operation state corresponding to the low automation level is stable.
  • the automation level determination process is a process of setting the operation automation level at the low automation level according to the cause of termination of the high automation level.
  • the automation level determination process depends on the duration of the high automation level or whether the driver state running the high automation level is a sleeping state or not. This is a process for setting a change mode of the operation automation level from the process to the transition to the medium automation level.
  • the automation level determination process depends on the duration of the high automation level or whether the driver state running the high automation level is a sleeping state or not. This is the process of setting the operation automation level in.
  • the automation level determination process is a process of terminating the high automation level earlier when the driver state in which the high automation level is being executed is in the sleeping state than in the non-sleeping state. be.
  • the automation level determination process is When the driver state in which the high automation level is being executed is a sleeping state, the subs that are the operation automation levels between the high automation level and the medium automation level and are included in the automatic operation from the high automation level. After shifting to the high automation level once, the transition to the low automation level is performed. When the driver state in which the high automation level is being executed is a non-sleep state, this is a process of shifting from the high automation level to the low automation level without shifting to the sub high automation level.
  • the automation level determination process shifts from the high automation level to the medium automation level without shifting to the low automation level.
  • the operation control method and the process executed by the operation control device cause the HMI device (20) to execute the transition-related display related to the transition of the operation automation level. It further has a display command transmission process for transmitting display command information to the HMI control device (25) that controls the HMI device.
  • the display command transmission process prompts an input operation for approving the execution of the medium automation level by the driver when the operating operation state corresponding to the low automation level is stable. Is a process of transmitting the display command information to be displayed on the HMI device.
  • the display command transmission process displays the approval request depending on the duration of the high automation level or whether or not the driver state executing the high automation level is a sleeping state. Is a process of setting an approval request timing for displaying the above on the HMI device, or an approval permission timing for permitting the input operation for approving the execution of the medium automation level.
  • the display command transmission process includes a main operation instruction display for instructing a main operation including an operation for adjusting a driving posture as a driver state, which is a state of the driver, and a driving consciousness as the driver state.
  • This is a process of transmitting the display command information for displaying the sub-operation instruction display for instructing the sub-operation including the adjustment operation of the HMI device.
  • the display command transmission process is the main operation instruction depending on the duration of the high automation level or whether or not the driver state executing the high automation level is a sleep state. This is a process of setting an operation instruction timing for displaying the display on the HMI device.
  • the operation control method and the process executed by the operation control device are The driver status acquisition process for acquiring the driver status and A vehicle control process that executes motion control by steering or acceleration / deceleration in the vehicle based on the driving automation level determined by the automation level determination process.
  • the vehicle control process executes a predetermined safe stop control, and the vehicle control process executes a predetermined safe stop control.
  • the display command transmission process displays a warning display on the HMI device. It is a process of transmitting the display command information to be caused.
  • the display command transmission process is arranged on the traveling destination side of the vehicle with respect to the driver from the second task screen displaying the second task that the driver can execute during the execution of the automatic driving.
  • This is a process of transmitting the display command information for displaying the line-of-sight guidance display for guiding the driver's line of sight on the front display devices (21, 22), which is displayed on the display device (23) for displaying the second task screen.
  • the front display device is a head-up display device (22).

Abstract

HMI制御装置(25)は、自動化レベル取得部(253)と表示制御部(255)とを備える。自動化レベル取得部は、車両の運転を制御する運転制御装置(18)における運転自動化レベルの決定結果を取得する。表示制御部は、自動化レベル取得部にて取得した運転自動化レベルに応じて、HMI装置(20)における画像表示動作を制御する。表示制御部は、自動運転に含まれる高自動化レベルを終了する場合、ドライバ状態として車載システム(10)が操舵による横方向運動制御と加減速による縦方向運動制御とのうちの少なくともいずれか一方を実行しない運転自動化レベルである低自動化レベルを実行可能な低レベル対応状態をドライバに取らせる動作指示表示を、HMI装置にて表示させる。

Description

運転制御装置およびHMI制御装置 関連出願への相互参照
 本出願は、2020年1月17日に出願された日本特許出願番号2020-006066号、および、2020年12月9日に出願された日本特許出願番号2020-204442号に基づくもので、ここにその記載内容が参照により組み入れられる。
 本開示は、自動運転可能な車両の運転を制御する運転制御装置、および、当該車両に搭載されるHMI装置を制御するHMI制御装置に関する。HMIはヒューマン マシン インタフェースの略である。
 自動車等の車両における自動運転システムが種々提案されている(例えば特許文献1等参照)。自動運転中においては、車両における運転席乗員であるドライバは、セカンドタスクを自由に実行することが可能となる。セカンドタスクとは、ドライバが実行する、運転操作以外のタスクである。具体的には、セカンドタスクには、例えば、携帯端末操作、映像コンテンツ視聴、等が含まれる。セカンドタスクは、「運転外タスク」あるいは「セカンダリーアクティビティ」とも称される。
特開2017-107502号公報
 自動運転は、例えば、自動運転が許可された所定の道路区間の終了等により、終了することがある。自動運転が終了する際には、車両運動制御および/または運転環境監視に関し、ドライバに対する権限移譲が必要となる。
 一方、自動運転中にセカンドタスクを実行中のドライバは、自車両の運転状態および運転環境から、意識が離れている。このため、権限移譲をスムーズに行うためには、ドライバの自動運転終了に向けた意識付けを良好に行うことが求められる。本開示は、上記に例示した事情等に鑑みてなされたものである。すなわち、本開示は、例えば、自動運転終了による運転自動化レベルの移行に向けたドライバの意識付けを良好に行うことを可能とする技術を提供する。
 HMI制御装置は、自動運転可能な車両のドライバにより視認可能に画像表示するHMI装置を制御するように構成されている。
 本開示の1つの観点によれば、HMI制御装置は、
 前記車両の運転を制御する運転制御装置における運転自動化レベルの決定結果を取得する、自動化レベル取得部と、
 前記自動化レベル取得部にて取得した前記運転自動化レベルに応じて、前記HMI装置における画像表示動作を制御する、表示制御部と、
 を備え、
 前記表示制御部は、前記自動運転に含まれる前記運転自動化レベルである高自動化レベルを終了する場合、前記ドライバの状態であるドライバ状態として前記運転制御装置を含む車載システムが操舵による横方向運動制御と加減速による縦方向運動制御とのうちの少なくともいずれか一方を実行しない前記運転自動化レベルである低自動化レベルを実行可能な低レベル対応状態を前記ドライバに取らせる動作指示表示を、前記HMI装置にて表示させる。
 運転制御装置は、自動運転可能な車両の運転を制御するように構成されている。
 本開示の他の1つの観点によれば、運転制御装置は、
 前記車両の走行状況を取得する、走行状況取得部と、
 前記走行状況取得部により取得した前記走行状況に基づいて、運転自動化レベルを決定する、自動化レベル決定部と、
 を備え、
 前記自動化レベル決定部は、前記自動運転に含まれる前記運転自動化レベルである高自動化レベルを終了して、前記高自動化レベルよりも低レベルの前記運転自動化レベルである中自動化レベルに移行する場合、前記高自動化レベルから、前記中自動化レベルよりも低レベルの前記運転自動化レベルである低自動化レベルに一旦移行した後、前記中自動化レベルに移行する。
 なお、出願書類中の各欄において、各要素に括弧付きの参照符号が付されている場合がある。この場合、参照符号は、単に、同要素と後述する実施形態に記載の具体的構成との対応関係の一例を示すものであるにすぎない。よって、本開示は、参照符号の記載によって、何ら限定されるものではない。
運転制御装置およびHMI制御装置を含む車載システムを搭載した車両における車室内部の外観を示す概略図である。 図1に示された車載システムの概略構成を示すブロック図である。 第一実施形態におけるHMI装置の表示例を示す概略図である。 第一実施形態における運転自動化レベルの推移を示すタイムチャートである。 第一実施形態におけるHMI装置の表示例を示す概略図である。 第一実施形態におけるHMI装置の表示例を示す概略図である。 第一実施形態におけるHMI装置の表示例を示す概略図である。 第一実施形態における運転自動化レベルの推移を示すタイムチャートである。 第二実施形態における運転自動化レベルの推移を示すタイムチャートである。 第二実施形態における運転自動化レベルの推移を示すタイムチャートである。 第三実施形態における運転自動化レベルの推移を示すタイムチャートである。 第三実施形態におけるHMI装置の表示例を示す概略図である。 第三実施形態における運転自動化レベルの推移を示すタイムチャートである。 第三実施形態におけるHMI装置の表示例を示す概略図である。 第四実施形態における運転自動化レベルの推移を示すタイムチャートである。 第四実施形態におけるHMI装置の表示例を示す概略図である。 第五実施形態における運転自動化レベルの推移を示すタイムチャートである。 第五実施形態における運転自動化レベルの推移を示すタイムチャートである。 第五実施形態における運転自動化レベルの推移を示すタイムチャートである。 第六実施形態における運転自動化レベルの推移を示すタイムチャートである。 第六実施形態における運転自動化レベルの推移を示すタイムチャートである。 第七実施形態における運転自動化レベルの推移を示すタイムチャートである。 第七実施形態における運転自動化レベルの推移を示すタイムチャートである。 第七実施形態における運転自動化レベルの推移を示すタイムチャートである。 第八実施形態における運転自動化レベルの推移を示すタイムチャートである。 第八実施形態および第九実施形態における運転自動化レベルの推移を示すタイムチャートである。 第九実施形態および第十実施形態における運転自動化レベルの推移を示すタイムチャートである。 第十実施形態における運転自動化レベルの推移を示すタイムチャートである。
 (実施形態)
 以下、本開示の実施形態を、図面を参照しつつ説明する。なお、一つの実施形態に対して適用可能な各種の変形例の説明は、当該実施形態に関する一連の説明の途中に挿入されると、当該実施形態の理解が妨げられるおそれがある。このため、変形例については、当該実施形態に関する一連の説明の途中ではなく、その後にまとめて説明する。
 (第一実施形態:構成)
 図1を参照すると、車両1は、いわゆる普通自動車であって、箱状の車体の内部空間である車室内に運転席2等の乗員座席を複数備えている。運転席2に搭乗する乗員を、以下「ドライバ」と称する。また、ドライバが運転席2にて標準運転姿勢を取った状態における、ドライバの視線方向を、以下「前方」と称する。「標準運転姿勢」とは、前進且つ直進中の車両1において左右両眼の眼球配列方向と左右両肩の配列方向とを略平行にしたドライバが、運転席2にて適切に手動運転可能に着座した場合の、当該ドライバの姿勢をいうものとする。
 運転席2の前方には、アクセルペダル3と、ブレーキペダル4と、フットレスト5とが設けられている。また、運転席2の斜め前方には、シフトレバー6が設けられている。アクセルペダル3、ブレーキペダル4、およびフットレスト5は、運転席2の前方に設けられたダッシュボード7の下方に配置されている。ダッシュボード7から運転席2に向かう後方に延設された不図示のステアリングコラムには、ステアリングホイール8が取り付けられている。ダッシュボード7の上方には、フロントウィンドシールド9が設けられている。
 車両1には、車載システム10が搭載されている。車載システム10を搭載する当該車両1を、以下「自車両」と称することがある。図2は、車載システム10のブロック構成を概略的に示す。以下、図1および図2を参照しつつ、車載システム10の概略構成について説明する。
 車載システム10は、自車両に搭載されることで、当該自車両における運転自動化システムとしての機能を奏するように構成されている。本実施形態においては、車載システム10は、自動運転可能な構成を有している。すなわち、自車両は、車載システム10を搭載することで自動運転可能に構成されている。
 「自動運転」とは、SAE Internationalによって公開された規格「SAE J3016」における、運転自動化システムが全ての動的運転タスクを担当すなわち実行する、レベル3~5に該当する運転自動化レベルをいうものとする。SAEはSociety of Automotive Engineersの略である。「動的運転タスク」とは、道路交通において車両1を操作する際にリアルタイムで行う必要がある全ての操作上および戦術上の機能であって、戦略上の機能を除いたものである。「戦略上の機能」は、行程計画、経由地選択、等である。「SAE J3016」におけるレベルXを、以下単に「レベルX」と称する。Xは0~5のうちのいずれかである。以下、上記Xの数値が大きいほど、あるいは、運転自動化システムが担当すなわち実行する動的運転タスクが増えるほど、「運転自動化レベルが高い」と表現する。これに対し、上記Xの数値が小さいほど、あるいは、運転自動化システムが担当すなわち実行する動的運転タスクが減るほど、「運転自動化レベルが低い」と表現する。
 「SAE J3016」において、レベル0~5の内容は、具体的には、以下の通りである。なお、各レベルに併記した、運転自動化レベルの名称は、「SAE J3016」に記載されたものではなく、本明細書にて便宜的に用いるためのものである。なお、以下のレベル内容説明において、「OEDR」はObject and Event Detection and Responseの略であり、「対象物および事象の検知および応答」とも称される。OEDRには、運転環境の監視が含まれる。運転環境の監視には、対象物および事象の、検知、認識、および分類が含まれる。また、運転環境の監視には、対象物および事象に対して、必要に応じて応答する準備が含まれる。「限定領域」は、或る運転自動化システムまたはその機能が作動するように設計されている特定の条件であり、運行設計領域あるいはODDとも称される。ODDはOperational Design Domainの略である。限定領域は、例えば、地理的、環境的、速度的、および時間的等の、複数の制約条件のうちの、少なくとも1つを含む。
・レベル0:手動運転…ドライバが全ての動的運転タスクを実行する。
・レベル1:運転支援…運転自動化システムが、動的運転タスクのうちの、縦方向の車両運動制御サブタスク(すなわち、発進、加減速、および停止)と、横方向の車両運動制御サブタスク(すなわち操舵)とのうちの、いずれか一方を、特定の限定領域において持続的に実行する。但し、運転自動化システムは、縦方向の車両運動制御サブタスクと横方向の車両運動制御サブタスクとの両方を同時には実行しない。
・レベル2:高度運転支援…運転自動化システムが、動的運転タスクのうちの、縦方向の車両運動制御サブタスクおよび横方向の車両運動制御サブタスクを、特定の限定領域において持続的に実行する。ドライバは、動的運転タスクのサブタスクであるOEDRを実行して運転自動化システムを監督することが期待される。
・レベル3:条件付自動運転…運転自動化システムが全ての動的運転タスクを特定の限定領域において持続的に実行する。原則的に、ドライバには、自車両周辺の監視等のOEDRを実行する義務はない。但し、当該運転自動化レベルが継続困難となった場合、運転自動化システムは充分な時間的余裕をもってドライバに運転交代を要請する。ドライバは、その要請に適切に対応する必要がある。
・レベル4:高度自動運転…運転自動化システムが全ての動的運転タスクを特定の限定領域において持続的に実行する。限定領域において、当該運転自動化レベルが継続困難となった場合の対応は、運転自動化システムが実行する。
・レベル5:完全自動運転…運転自動化システムが全ての動的運転タスクを、特定の限定領域に限定されず無制限に、持続的に実行する。当該運転自動化レベルが継続困難となった場合の対応も、特定の限定領域に限定されず無制限に、運転自動化システムが実行する。
 本実施形態においては、車載システム10は、自車両にてレベル0~3の運転自動化レベルを実現可能に構成されている。具体的には、車載システム10は、レベル1に相当するACCおよびLKAを実行可能に構成されている。ACCはアダプティブ・クルーズ・コントロールすなわち車間距離制御である。LKAはLane Keeping Assistanceの略であり、車線維持支援制御である。また、車載システム10は、レベル2に相当する「ハンズオフ運転」および「高度安全運転支援」を実行可能に構成されている。「ハンズオフ運転」は、ドライバが運転自動化システムからの介入要求等に対して適切に対応することを条件として、運転自動化システムが自動的に発進、操舵、加減速、および停止制御を実行することである。「高度安全運転支援」は、ドライバが自車両を運転することを前提としつつ、並行して作動する運転自動化システムが、衝突可能性がある場面等において適時に運転支援動作を実行することである。以下、本明細書においては、特に補足説明しない限り、レベル3の自動運転を単に「自動運転」と称する。また、「ハンズオフ運転」を単に「レベル2」と称することがある。さらに、「高度安全運転支援」を「レベル2[Gモード]」と称する。
 (システム全体構成)
 図2に示されているように、車載システム10は、車載通信回線10Aおよびこの車載通信回線10Aを介して相互に接続された複数のノード等を含む車載ネットワークであって、自車両運転時の各種車両制御およびこれに伴う各種表示動作等を実行可能に構成されている。車載システム10は、CAN(国際登録商標:国際登録番号1048262A)等の所定の通信規格に準拠するように構成されている。CAN(国際登録商標)はController Area Networkの略である。
 車載システム10は、車両状態センサ11と、外界状態センサ12と、周辺監視センサ13と、ロケータ14と、DCM15と、ナビゲーション装置16と、ドライバ状態検出部17と、運転制御装置18と、HMI装置20とを備えている。DCMはData Communication Moduleの略である。車両状態センサ11~HMI装置20は、車載通信回線10Aに接続されている。
 HMI装置20は、少なくともドライバを含む自車両乗員により視認可能に画像表示するとともに、かかる自車両乗員により聴取可能に音声出力するように構成されている。具体的には、HMI装置20は、メータパネル21、HUD装置22、CID装置23、および端末装置24を含む、画像および/または音声の入出力機器により、自車両乗員に各種の情報および/または娯楽を提供するように構成されている。CIDはCenter Information Displayの略である。HUDはヘッドアップディスプレイの略である。端末装置24は、ドライバを含む自車両乗員によって自車両内に持ち込まれた、携帯型あるいはウェアラブル型の電子機器であって、例えば、携帯電話、タブレット端末、ノートパソコン、携帯ゲーム機、スマートウォッチ、等である。
 HMI装置20は、メータパネル21等における画像および/または音声の出力を制御するように構成されたHMI制御装置25を備えている。すなわち、HMI制御装置25は、車内インフォテインメントシステムを構成するHMI装置20の動作を制御するように構成されている。メータパネル21、HUD装置22、およびCID装置23は、車載通信回線10Aとは異なるサブ通信回線を介して、HMI制御装置25と情報通信可能に接続されている。端末装置24は、自車両に持ち込まれた場合に、Bluetooth(登録商標)、TransferJet(登録商標)、等の近距離無線通信によりHMI制御装置25と情報通信可能に接続されるようになっている。HMI制御装置25は、車載通信回線10Aに接続されたノードとして設けられている。HMI装置20およびHMI制御装置25の構成の詳細については後述する。
 (各種センサ)
 車両状態センサ11は、自車両の運転状態に関連する諸量に対応する出力を発生するように設けられている。「運転状態に関連する諸量」は、例えば、アクセル開度、制動量、シフトポジション、操舵角、等の、ドライバまたは運転自動化システムによる運転操作状態に関連する諸量を含む。また、「運転状態に関連する諸量」は、例えば、車速、角速度、前後方向加速度、左右方向加速度、等の、自車両の挙動に関連する物理量を含む。すなわち、車両状態センサ11は、アクセル開度センサ、操舵角センサ、車輪速センサ、角速度センサ、加速度センサ、等の、車両運転制御に必要な周知のセンサ類を、図示および説明の簡略化のために総称したものである。車両状態センサ11は、車載通信回線10Aを介して、運転制御装置18等の各部に検出出力を提供可能に設けられている。
 外界状態センサ12は、自車両の運転環境のうち、主として自然環境に関連する諸量に対応する出力を発生するように設けられている。「自然環境に関連する諸量」は、例えば、外気温、降雨量、照度、等の物理量を含む。すなわち、外界状態センサ12は、外気温センサ、雨滴センサ、照度センサ、等の周知のセンサ類を、図示および説明の簡略化のために総称したものである。外界状態センサ12は、車載通信回線10Aを介して、運転制御装置18等の各部に検出出力を提供可能に設けられている。
 周辺監視センサ13は、自車両の運転環境のうち、主として、外界状態センサ12により検知可能なもの以外を検知するように設けられている。具体的には、周辺監視センサ13は、自車両周囲の所定の検知範囲における、移動物体および静止物体を検知可能に構成されている。「移動物体」は、歩行者、サイクリスト、動物、および運転中の他車両を含む。「静止物体」は、路上落下物、ガードレール、縁石、駐停車車両、道路標識、および道路標示に加えて、道路脇の構造物(例えば、壁、建物、等。)を含む。周辺監視センサ13は「ADASセンサ」とも称され得る。ADASはAdvanced Driver-Assistance Systemsの略である。
 本実施形態においては、周辺監視センサ13は、移動物体および静止物体を検知するための構成として、フロントカメラ131とレーダセンサ132とを有している。フロントカメラ131は、自車両の前方および前側方の画像を撮影するように設けられている。フロントカメラ131は、デジタルカメラ装置であって、CCDあるいはCMOS等の画像センサを備えている。CCDはCharge Coupled Deviceの略である。CMOSはComplementary MOSの略である。
 レーダセンサ132は、レーダ波を送受信するように構成された、ミリ波レーダセンサ、サブミリ波レーダセンサ、またはレーザレーダセンサであって、自車両における車体の前面部に装着されている。レーダセンサ132は、反射点の、位置および相対速度に対応する信号を出力するように構成されている。「反射点」は、自車両の周囲に存在する物体の表面上における、レーダ波を反射したと推定される点である。「相対速度」は、反射点すなわちレーダ波を反射した物体の、自車両に対する相対速度である。
 (ロケータ)
 ロケータ14は、いわゆる複合測位により、自車両の高精度な位置情報等を取得するように構成されている。具体的には、ロケータ14は、GNSS受信器141と、慣性取得部142と、高精度地図DB143と、ロケータECU144とを有している。GNSSはGlobal Navigation Satellite Systemの略である。DBはデータベースの略である。ECUはElectronic Control Unitの略である。「高精度な位置情報」とは、例えば、レベル2以上の運転自動化レベルに利用可能な程度、具体的には、誤差が10cm未満となるような程度の位置精度を有する位置情報である。
 GNSS受信器141は、複数の測位衛星すなわち人工衛星から送信された測位信号を受信するように設けられている。本実施形態においては、GNSS受信器141は、GPS、QZSS、GLONASS、Galileo、IRNSS、北斗衛星導航系統、等の衛星測位システムのうちの少なくとも1つにおける測位衛星からの測位信号を受信可能に構成されている。GPSはGlobal Positioning Systemの略である。QZSSはQuasi-Zenith Satellite Systemの略である。GLONASSはGlobal Navigation Satellite Systemの略である。IRNSSはIndian Regional Navigation Satellite Systemの略である。
 慣性取得部142は、自車両に作用する加速度および角速度を取得するように構成されている。本実施形態においては、慣性取得部142は、ロケータ14における箱状の筐体内に内蔵された3軸ジャイロセンサおよび3軸加速度センサとして設けられている。
 高精度地図DB143は、高精度地図情報を書き換え可能に記憶するとともに電源遮断中にも記憶内容を保持するように、不揮発性リライタブルメモリを主体に構成されている。不揮発性リライタブルメモリは、例えば、ハードディスク、EEPROM、フラッシュROM、等である。EEPROMはElectronically Erasable and Programmable ROMの略である。ROMはRead Only Memoryの略である。高精度地図情報は、高精度地図データとも称され得る。高精度地図情報には、数メートル程度の位置誤差に対応する従来のカーナビゲーションシステムにて用いられていた地図情報よりも、高精度な地図情報が含まれている。具体的には、高精度地図DB143には、ADASIS規格等の所定の規格に準拠して、三次元道路形状情報、レーン数情報、規制情報、等の、レベル2以上の運転自動化レベルに利用可能な情報が格納されている。ADASISはAdvanced Driver Assistance Systems Interface Specificationの略である。
 ロケータECU144は、図示しないCPU、ROM、RAM、入出力インタフェース、等を備えた、いわゆる車載マイクロコンピュータとして構成されている。CPUはCentral Processing Unitの略である。RAMはRandom Access Memoryの略である。ロケータECU144は、GNSS受信器141にて受信した測位信号、慣性取得部142にて取得した加速度および角速度、車両状態センサ11から取得した車速、等に基づいて、自車両の位置および方角等を逐次決定するように構成されている。そして、ロケータ14は、ロケータECU144による位置および方角等の決定結果を、車載通信回線10Aを介して、ナビゲーション装置16、運転制御装置18、およびHMI制御装置25等の各部に提供可能に設けられている。
 (DCM)
 DCM15は、車載通信モジュールであって、LTEあるいは5G等の通信規格に準拠した無線通信により、自車両周囲の基地局との間で情報通信可能に設けられている。LTEはLong Term Evolutionの略である。5Gは5th Generationの略である。
 具体的には、例えば、DCM15は、クラウド上のプローブサーバから最新の高精度地図情報を取得するように構成されている。また、DCM15は、取得した最新の高精度地図情報を、ロケータECU144と連携することで、高精度地図DB143に格納するようになっている。さらに、DCM15は、渋滞情報等の交通情報を、上記のプローブサーバおよび/または所定のデータベースから取得するように構成されている。「渋滞情報」は、渋滞区間の位置および長さを含む。具体的には、渋滞情報は、渋滞先頭位置、渋滞最後尾位置、概算渋滞距離、概算渋滞時間、等を含む。交通情報は「道路交通情報」とも称される。
 (ナビゲーション装置)
 ナビゲーション装置16は、自車両の現在位置から所定の目的地までの走行予定経路を取得するように設けられている。本実施形態においては、ナビゲーション装置16は、自車両のドライバ等により設定された目的地と、ロケータ14から取得した高精度地図情報と、ロケータ14から取得した自車両の位置情報および方角情報とに基づいて、走行予定経路を算出するように構成されている。また、ナビゲーション装置16は、算出結果である経路情報を含む各種情報を、運転制御装置18およびHMI制御装置25等の各部に車載通信回線10Aを介して提供可能に設けられている。すなわち、ナビゲーション装置16は、地図表示および経路表示等のためナビゲーション画面表示を、HMI装置20にて表示させるようになっている。
 (ドライバ状態検出部)
 ドライバ状態検出部17は、ドライバ状態を検出するように設けられている。「ドライバ状態」は、自車両における運転席2に搭乗しているドライバの状態であり、視線方向、姿勢、挙動、心理状態、等のうちの少なくともいずれか1つを含む。また、ドライバ状態検出部17は、ドライバ状態の検出結果を、運転制御装置18およびHMI制御装置25等の各部に車載通信回線10Aを介して提供可能に設けられている。
 本実施形態においては、ドライバ状態検出部17は、視線検出部171と、姿勢検出部172と、操作状態検出部173とを備えている。視線検出部171は、CCDあるいはCMOS等の画像センサを備えた車内カメラによる撮影画像に基づく画像認識により、ドライバの顔の向きおよび/または視線方向を検出するように設けられている。すなわち、視線検出部171は、ドライバの脇見運転等に関する警告等を行うDSM装置と同様の構成を有している。DSMはDriver Status Monitorの略である。
 姿勢検出部172は、上記の車内カメラ、および/または、運転席2の内部に備えられた着座圧力センサ等の物理量センサを用いて、運転席2におけるドライバの着座姿勢を検出するように設けられている。操作状態検出部173は、ドライバの足のアクセルペダル3、ブレーキペダル4、およびフットレスト5への載置状態、ならびに、アクセルペダル3およびブレーキペダル4の操作状態を検出するように設けられている。また、操作状態検出部173は、ドライバによる、ステアリングホイール8の把持状態および操作状態を検出するように設けられている。
 (運転制御装置)
 運転制御装置18は、「自動運転ECU」あるいは「運転支援ECU」としての構成を有している。すなわち、運転制御装置18は、車両状態センサ11、外界状態センサ12、周辺監視センサ13、ロケータ14、等から取得した信号および情報に基づいて、自車両の運転を制御するように設けられている。具体的には、運転制御装置18は、所定の運転制御動作を実行するように構成されている。「所定の運転制御動作」は、本実施形態においては、レベル1~3に対応する、車両制御動作すなわち動的運転タスク実行動作を含む。本実施形態においては、運転制御装置18は、自車両における運転自動化レベルを、レベル0、レベル1[ACC]、レベル1[LKA]、レベル2、レベル2[Gモード]、およびレベル3のうちのいずれかに設定可能に構成されている。
 運転制御装置18は、図示しないCPU、ROM、不揮発性リライタブルメモリ、RAM、入出力インタフェース、等を備えた、いわゆる車載マイクロコンピュータとしての構成を有している。具体的には、運転制御装置18は、車載マイクロコンピュータ上にて実現される、以下の機能構成あるいは機能部を有している。すなわち、運転制御装置18は、走行状況取得部181と、ドライバ状態取得部182と、操作状態判定部183と、自動化レベル決定部184と、車両制御部185と、表示指令送信部186とを有している。
 走行状況取得部181は、少なくとも自車両の走行状況を取得するように設けられている。「走行状況」には、車両状態センサ11、外界状態センサ12、周辺監視センサ13、等によって検出あるいは取得される、運転状態および運転環境が含まれる。また、走行状況取得部181は、自車両の現在位置およびその周辺の高精度地図情報と、自車両が現在走行中の道路における交通情報とを取得するように設けられている。すなわち、走行状況取得部181は、レベル1~3に対応する車両制御に必要な情報を、車両状態センサ11、外界状態センサ12、周辺監視センサ13、ロケータ14、DCM15、等から取得するようになっている。
 ドライバ状態取得部182は、ドライバ状態を取得するように設けられている。具体的には、ドライバ状態取得部182は、ドライバ状態検出部17によるドライバ状態の検出結果を、ドライバ状態検出部17から取得すなわち受信するようになっている。
 操作状態判定部183は、ドライバによる運転操作状態を判定するように設けられている。具体的には、操作状態判定部183は、操作状態検出部173における検出結果をドライバ状態検出部17から取得すなわち受信するようになっている。また、操作状態判定部183は、HMI装置20におけるドライバの入力操作状態を、HMI装置20から取得すなわち受信するようになっている。そして、操作状態判定部183は、これらの取得結果に基づいて、ドライバによる運転操作状態を判定するようになっている。
 自動化レベル決定部184は、走行状況取得部181により取得した走行状況、等に基づいて、運転自動化レベルを決定するように設けられている。そして、運転制御装置18は、自動化レベル決定部184による運転自動化レベルの決定結果を、HMI制御装置25等の各部に車載通信回線10Aを介して提供可能に設けられている。自動化レベル決定部184による運転自動化レベルの決定の詳細については、後述の動作概要および動作例の説明にて詳述する。
 車両制御部185は、運転自動化レベルに応じた車両運動制御サブタスクを実行するように設けられている。すなわち、車両制御部185は、自動化レベル決定部184により決定した運転自動化レベルに基づいて、自車両における縦方向および/または横方向の運動制御を実行するようになっている。
 表示指令送信部186は、HMI装置20を制御するHMI制御装置25に表示指令情報を送信することで、運転自動化レベルに関連するレベル関連表示をHMI装置20に実行させるように設けられている。レベル関連表示には、運転自動化レベルの実行状態に関連する実行関連表示と、運転自動化レベルの移行に関連する移行関連表示とが含まれる。実行関連表示は、主として、実行中の運転自動化レベルを明示するための表示であり、例えば「自動運転中」等である。移行関連表示は、実行中の運転自動化レベルの終了条件成立または継続条件不成立により他の運転自動化レベルに移行する場合の、実行中の運転自動化レベルの終了、および/または、他の運転自動化レベルへの移行に関する表示である。移行関連表示は、例えば、「3km先 自動運転終了」、「運転交代準備」、「ハンズオフ運転可能です」、等である。実行関連表示および移行関連表示の、これ以上の詳細および他の具体例については、後述の動作概要および動作例の説明にて詳述する。
 (HMI装置)
 HMI装置20は、ドライバに自車両に関する各種情報を少なくとも視覚的に提示するとともに、提示内容に対応するドライバの入力操作を受け付けるように設けられている。本実施形態においては、自動運転可能な自車両に搭載されたHMI装置20は、自動運転等に関する各種の情報提示とドライバによる入力操作の受け付けとを実行可能に構成されている。「情報提示」は、例えば、各種案内、入力操作指示、入力操作内容報知、警告、等である。
 上記の通り、HMI装置20は、ダッシュボード7に設けられた、メータパネル21、HUD装置22、およびCID装置23を備えている。すなわち、本実施形態においては、HMI装置20は、いわゆる「ダッシュボードHMI」としての構成を有している。また、HMI装置20は、音声による情報提示を実行するための不図示のスピーカを備えている。
 メータパネル21は、メータ211と、メータディスプレイ212と、メータスイッチ213とを有している。メータ211は、自車両の車速、エンジン回転数、冷却水温、燃料残量、等のメータ表示を実行するように設けられている。メータディスプレイ212は、メータパネル21の車幅方向における中央部に設けられた情報表示部あるいは情報表示領域であって、日時、外気温、走行距離、ラジオ受信局、等の各種情報表示を実行可能に設けられている。本実施形態においては、メータディスプレイ212は、略矩形状の表示可能領域を備えた、液晶ディスプレイまたは有機ELディスプレイである表示デバイスとしての構成を有している。ELはエレクトロ ルミネッセンスの略である。メータスイッチ213は、メータ211および/またはメータディスプレイ212における表示状態あるいは表示内容に関する各種操作、例えば、トリップメータのリセット操作等を受け付け可能に設けられている。
 HUD装置22は、ドライバの前方に文字および/または記号を含む表示画像を表示するように設けられている。すなわち、HUD装置22は、AR技術を用いてドライバの前方に虚像表示画像を形成することで、自車両の進行先の路面を含む前景に表示画像を重畳表示するように構成されている。「重畳表示」とは、前景に含まれる重畳対象物(例えば建物)の関連情報(例えば建物名)を、重畳対象物と重なるように表示したり重畳対象物の近傍に表示したりすることで、重畳対象物と関連情報とを互いに関連付けつつ表示することをいう。前方路面に対する、経路表示、進行方向表示、交通情報表示、等も、「重畳表示」に該当する。具体的には、HUD装置22は、表示画像を構成する表示画像光をフロントウィンドシールド9における所定の投影範囲PAに投影して、表示画像光のフロントウィンドシールド9による反射光をドライバに視認させることで、表示画像をAR表示するようになっている。
 CID装置23は、ダッシュボード7の車幅方向における略中央部に設けられている。CID装置23は、ナビゲーション装置16による地図表示および経路表示等のためナビゲーション表示画面を表示可能に設けられている。また、CID装置23は、かかるナビゲーション表示画面とは異なる情報および内容も表示可能に設けられている。具体的には、CID装置23は、例えば、「コンフォート」、「ノーマル」、「スポーツ」、「サーキット」、等の走行モードに関連する表示を実行可能に構成されている。
 また、CID装置23は、自動運転中にドライバが利用可能なセカンドタスクに関連する表示を実行可能に設けられている。CID装置23は、例えば、セカンドタスクとしての映像コンテンツ視聴を実行可能に構成されている。「映像コンテンツ」は、例えば、映画、コンサート映像、ミュージックビデオ、テレビ放送、等である。なお、セカンドタスクには、端末装置24の操作も含まれる。
 CID装置23は、CIDディスプレイ231と、入力デバイス232と、CIDスイッチ233とを有している。CIDディスプレイ231は、ダッシュボード7の車幅方向における略中央位置、すなわち、運転席2と助手席との間の位置にて、少なくともドライバから視認可能に設けられている。CIDディスプレイ231は、液晶ディスプレイまたは有機ELディスプレイである表示デバイスとしての構成を有している。CIDディスプレイ231は、セカンドタスクが映像コンテンツの視聴である場合に、かかる映像コンテンツにおける映像を表示デバイスにより画像表示するように構成されている。
 入力デバイス232は、透明なタッチパネルであって、CIDディスプレイ231の上に重ねられることでCIDディスプレイ231を覆うように設けられている。すなわち、入力デバイス232は、CIDディスプレイ231における表示をドライバ等に視認させつつ、かかる表示に対応したドライバ等による入力操作を受け付け可能に構成されている。CIDスイッチ233は、CIDディスプレイ231および入力デバイス232の周囲に配置された複数の手動操作スイッチを有している。
 HMI装置20は、メータスイッチ213およびCIDスイッチ233に加えて、ステアリングスイッチ等を有している。ステアリングスイッチは、ステアリングホイール8におけるスポーク部等に設けられている。HMI装置20は、ドライバによる入力操作の受け付け結果を、車載通信回線10Aを介して、運転制御装置18等の各部に提供可能に設けられている。
 (HMI制御装置)
 HMI制御装置25は、HMI装置20に含まれる、メータパネル21、CID装置23、およびHUD装置22等の、動作を制御する、HCUとしての構成を有している。HCUはHMI Control Unitの略である。
 HMI制御装置25は、図示しないCPU、ROM、不揮発性リライタブルメモリ、RAM、入出力インタフェース、等を備えた、いわゆる車載マイクロコンピュータとしての構成を有している。HMI制御装置25は、マイクロコンピュータ上にて実現される、以下の機能構成あるいは機能部を有している。すなわち、HMI制御装置25は、車両情報取得部251と、運転環境取得部252と、自動化レベル取得部253と、ドライバ状態取得部254と、表示制御部255と、操作受付部256とを有している。
 車両情報取得部251は、自車両の運転状態に関連する情報を取得するように設けられている。具体的には、車両情報取得部251は、車両状態センサ11によって検出あるいは取得される、自車両の運転状態に関連する諸量を、車両状態センサ11から取得するようになっている。
 運転環境取得部252は、自車両の運転環境に関連する情報を取得するように設けられている。具体的には、運転環境取得部252は、外界状態センサ12によって検出あるいは取得された、自車両周囲の自然環境に関連する諸量を、外界状態センサ12から取得するようになっている。また、運転環境取得部252は、周辺監視センサ13による物体検知結果を、周辺監視センサ13から取得するようになっている。さらに、運転環境取得部252は、自車両の現在位置と、走行予定経路と、走行予定経路における渋滞情報を含む交通情報とを、ロケータ14およびナビゲーション装置16から取得するようになっている。
 自動化レベル取得部253は、運転制御装置18における運転自動化レベルの決定結果を取得するように設けられている。具体的には、自動化レベル取得部253は、自動化レベル決定部184による運転自動化レベルの決定結果を、運転制御装置18から取得するようになっている。
 ドライバ状態取得部254は、ドライバ状態を取得するように設けられている。具体的には、ドライバ状態取得部254は、ドライバ状態検出部17によるドライバ状態の検出結果を、ドライバ状態検出部17から取得するようになっている。
 表示制御部255は、HMI装置20による画像および/または音声の出力動作を制御するように設けられている。すなわち、表示制御部255は、メータパネル21、HUD装置22、CID装置23、等における、画像出力および音声出力を制御することで、ドライバを含む自車両乗員に対する各種情報の提示を行うようになっている。「各種情報」には、運転状態情報、運転環境情報、運転自動化レベル関連情報、経路情報、渋滞情報、各種メッセージ、等が含まれる。また、表示制御部255は、ドライバが端末装置24を用いたセカンドタスクを実行中に、当該端末装置24と連携することで、当該端末装置24にて各種情報の提示を行わせるようになっている。
 本実施形態においては、表示制御部255は、自動化レベル取得部253にて取得した運転自動化レベルに応じて、HMI装置20における画像表示動作を制御するように構成されている。すなわち、表示制御部255は、自動化レベル決定部184により決定され車載システム10により実行中あるいは実行予定の運転自動化レベルに応じた画像表示を、HMI装置20に含まれるメータパネル21等の画像表示機器に表示させるようになっている。
 操作受付部256は、ドライバを含む自車両乗員による、HMI装置20における入力操作を受け付けるように設けられている。具体的には、操作受付部256は、表示制御部255により提示された各種情報に対応する、メータスイッチ213、入力デバイス232、CIDスイッチ233、端末装置24、等による入力操作の受け付けの状態あるいは結果をモニターするようになっている。
 (動作概要)
 以下、本実施形態に係る運転制御装置18およびHMI制御装置25の動作、ならびに、これらにより実行される制御方法および制御プログラムの概要について、本実施形態により奏される効果とともに説明する。
 運転制御装置18において、走行状況取得部181は、自車両の走行状況を含む各種情報を取得する。具体的には、走行状況取得部181は、自車両の運転状態および運転環境を、車両状態センサ11、外界状態センサ12、および周辺監視センサ13から取得する。また、走行状況取得部181は、自車両の現在位置およびその周辺の高精度地図情報と、走行予定経路と、走行予定経路における交通情報とを、ロケータ14およびナビゲーション装置16から取得する。
 ドライバ状態取得部182は、ドライバ状態を取得する。具体的には、ドライバ状態取得部182は、ドライバ状態検出部17によるドライバ状態の検出結果を、ドライバ状態検出部17から受信する。
 操作状態判定部183は、ドライバによる運転操作状態を判定する。具体的には、操作状態判定部183は、操作状態検出部173における検出結果を、ドライバ状態検出部17から取得する。操作状態検出部173における検出結果には、ドライバの足のアクセルペダル3、ブレーキペダル4、およびフットレスト5への載置状態、アクセルペダル3およびブレーキペダル4の操作状態、ステアリングホイール8の把持状態および操作状態、等が含まれる。また、操作状態判定部183は、HMI装置20におけるドライバの入力操作状態を、HMI装置20から取得する。そして、操作状態判定部183は、操作状態検出部173における検出結果と、HMI装置20におけるドライバの入力操作状態とに基づいて、ドライバによる運転操作状態を判定する。
 自動化レベル決定部184は、車載システム10により実行する運転自動化レベルを決定する。運転自動化レベルは、少なくとも走行状況取得部181により取得した走行状況に基づいて決定される。本実施形態においては、自動化レベル決定部184は、走行状況取得部181およびドライバ状態取得部182による取得結果と、操作状態判定部183による判定結果とに基づいて、運転自動化レベルを決定する。
 具体的には、自動化レベル決定部184は、走行状況取得部181により取得した走行状況等の各種情報に基づいて、レベル1~3に相当する運転自動化レベルの開始条件を判定する。所定の運転自動化レベルの開始条件が成立した場合、自動化レベル決定部184は、当該運転自動化レベルが実行可能であることを判定する。そして、ドライバによる承認操作があった場合に、自動化レベル決定部184は、当該運転自動化レベルの実行を決定する。車両制御部185は、自動化レベル決定部184によって実行が決定された運転自動化レベルに応じて、車速制御、操舵制御、制動制御、等を実行する。
 表示指令送信部186は、HMI装置20を制御するHMI制御装置25に表示指令情報を送信することで、運転自動化レベルに関連するレベル関連表示をHMI装置20に実行させる。これにより、HMI装置20は、ドライバを含む自車両乗員に、実行中あるいはこれから実行予定の運転自動化レベルを、画像表示および/または音声で通知する。具体的には、例えば、HMI装置20は、現在実行中の運転自動化レベルを、メータディスプレイ212等にて表示する。また、自動運転が可能となった場合、HMI装置20は、自動運転が可能になったことと、自動運転開始の承認操作を受け付けるための承認操作指示とを、メータディスプレイ212等にて表示する。
 自動運転中は、車載システム10による運転交代要求あるいは運転介入要求があるまで、ドライバには、自車両周辺の監視等を行う義務はない。また、運転交代要求あるいは運転介入要求があるまで、ドライバによる操舵制御操作および加減速制御操作は原則として要求されない。
 このため、自動運転中にて、ドライバは、手動運転可能な運転体勢である手動運転体勢を取ることは要求されない。「運転体勢」には、運転姿勢と運転意識とが含まれる。「運転姿勢」は、ドライバの乗車姿勢であって、運転席2における着座姿勢、足のアクセルペダル3等との位置関係、ステアリングホイール8の把持および操作状態、視線方向、等を含む。一方、「運転意識」は、ドライバの心理状態であって、自車両の運転状態および運転環境に対する認識状態を含む。なお、視線方向は、「運転意識」にも含まれ得る。自車両の運転状態および運転環境に対するドライバの注意状態あるいは監視状態のレベルが高く、より低い運転自動化レベルに対応可能な運転意識のレベルを、以下「運転意識が高い」と称する。これに対し、ドライバの意識が運転から離れている場合、運転意識が低いこととなる。
 運転交代要求あるいは運転介入要求がなく、車載システム10により自動運転が安定的に実行されている間、ドライバは、ステアリングホイール8を常時把持することは要求されない。また、ドライバは、アクセルペダル3およびブレーキペダル4をいつでも操作可能な程度の運転姿勢を常時保持することも要求されない。さらに、車載システム10による運転交代要求あるいは運転介入要求があるまで、ドライバの意識が、自車両の運転状態および運転環境から離れても差し支えない。よって、車載システム10により自動運転が安定的に実行されている間、ドライバは、セカンドタスクを自由に実行あるいは利用することが可能となる。
 図3は、一典型例として、自動運転中のセカンドタスクとしてCID装置23による映像コンテンツの視聴を実行中の、CIDディスプレイ231およびメータディスプレイ212における表示例を示す。CIDディスプレイ231における上端部の、横長状の帯状領域である情報表示領域DA1には、実行中の運転自動化レベルを明示する「自動運転中」という実行関連表示が表示される。情報表示領域DA1の下方に位置する、CIDディスプレイ231における表示可能領域の大部分を占める画面領域DA2には、セカンドタスク画面である映像コンテンツ画面が表示される。
 メータディスプレイ212における上端部の、横長状の帯状領域であるレベル情報表示領域DB1には、実行中の運転自動化レベルを明示する「自動運転中」という実行関連表示が表示される。レベル情報表示領域DB1の下方に位置する、メータディスプレイ212における表示可能領域の大部分を占める運転情報表示領域DB2には、自動運転中における自車両の走行中の車線等を示す各種の情報が表示される。
 実行中の所定の運転自動化レベルの終了条件が成立した場合、あるいは、当該運転自動化レベルの継続条件が不成立となった場合、自動化レベル決定部184は、運転自動化レベルの移行を決定する。すなわち、自動化レベル決定部184は、実行中の運転自動化レベルの終了と、実行可能な次の運転自動化レベルとを決定する。
 すると、車両制御部185は、自動化レベル決定部184によって決定された運転自動化レベルの移行態様に応じて、車速制御、操舵制御、制動制御、等を実行する。また、表示指令送信部186は、HMI制御装置25に表示指令情報を送信することで、運転自動化レベルの移行に関連する移行関連表示をHMI装置20に実行させる。
 (動作例)
 図4は、典型的動作の一例として、自動運転可能区間の終了に伴って運転自動化レベルを自動運転からレベル2すなわちハンズオフ運転に移行させる例を示す。図中、「LV」は「レベル」を略記したものである。また、時刻T11~T15は時間経過を示す。
 自動運転中においては、上記の通り、ドライバは、周辺監視等の義務がなく、セカンドタスクを自由に実行可能である。このため、自動運転中、ドライバの意識が運転から離れている可能性が高い。
 一方、ハンズオフ運転中においては、ドライバには周辺監視等の義務がある。しかしながら、ドライバによる操舵制御操作および加減速制御操作は、自動運転中と同様に要求されない。すなわち、自動運転とハンズオフ運転とでは、運転操作に関するドライバの行動が類似している。このため、自動運転からハンズオフ運転に移行した場合、ドライバが、現在実行中の運転自動化レベルを誤解するおそれがある。
 この点、単に情報提示を受けてこれを認識および理解するに留まらず、身体運動をも伴った方が、運転自動化レベルの低下に伴うドライバの運転意識向上をよりいっそう確実にすることができるものと想定される。そこで、本実施形態においては、自動化レベル決定部184は、自動運転を終了してハンズオフ運転に移行する場合、ハンズオフ運転よりも低い運転自動化レベルに一旦移行した後にハンズオフ運転に移行する。
 この典型例においては、図4に示されているように、自動化レベル決定部184は、自動運転を終了してハンズオフ運転に移行する場合、レベル0すなわち手動運転に一旦移行した後にハンズオフ運転に移行する。これにより、自動運転を終了するに際してドライバに一旦手動運転を実行させることで、ドライバの運転意識が高まる。そして、ドライバの運転意識が充分高まってからハンズオフ運転に移行することで、ドライバは、実行中の運転自動化レベルを確実に認識することができる。これにより、ドライバに、運転自動化レベルの移行に適応した適切な運転体勢を取らせることが可能となる。
 以下、かかる典型例における、運転制御および表示制御の具体例について、図4~図7を用いて説明する。まず、時刻T11にて、車載システム10は、運転交代要求を実行する。時刻T11は、自車両が自動運転可能区間の終点に到達する予定時刻よりも所定時間前に設定される。運転交代要求において、表示指令送信部186は、セカンドタスク画面を表示する表示デバイスであるCIDディスプレイ231に図5に示された視線誘導表示GAを表示させる表示指令情報を、HMI制御装置25に送信する。
 視線誘導表示GAは、セカンドタスク画面から正面表示デバイスにドライバの視線を誘導する表示である。「正面表示デバイス」は、ドライバの前方すなわちドライバに対して自車両の進行先側に配置された表示デバイスであって、本実施形態においてはメータパネル21およびHUD装置22である。すなわち、正面表示デバイスは、ドライバの前方すなわちドライバに対して自車両の進行先側に、情報あるいは画像を表示する。
 具体的には、HMI制御装置25は、「→→→前方注意→→→」という視線誘導表示GAを、CIDディスプレイ231における、セカンドタスク画面表示領域である画面領域DA2の上方に位置する、情報表示領域DA1に表示させる。このとき、視線誘導表示GAをアニメーション表示することで、視線誘導効果をよりいっそう高めることが可能となる。アニメーション表示においては、例えば、複数の「→」における他のものよりも高輝度のものを、視線誘導方向すなわち正面表示デバイスに向かう右方向に移動させることが可能である。あるいは、例えば、「前方注意」という文字列を、視線誘導方向に移動させることが可能である。
 また、運転交代要求において、表示指令送信部186は、図5に示された移行関連表示および動作指示表示を正面表示デバイスに表示させる表示指令情報を、HMI制御装置25に送信する。これにより、メータパネル21は、メータディスプレイ212における最上段のレベル情報表示領域DB1に、「3km先 自動運転終了」という移行関連表示を表示する。また、メータパネル21は、メータディスプレイ212における運転情報表示領域DB2に、第一動作指示表示GB1、第二動作指示表示GB2、第三動作指示表示GB3、および第四動作指示表示GB4を表示する。第一動作指示表示GB1、第二動作指示表示GB2、第三動作指示表示GB3、および第四動作指示表示GB4は、ドライバに所定の運転体勢を取らせるための動作を指示する表示である。
 具体的には、図5に示された具体例においては、メータディスプレイ212は、「運転交代(手動)準備」という第一動作指示表示GB1を表示する。また、メータディスプレイ212は、「前方注意!」という第二動作指示表示GB2を表示する。また、メータディスプレイ212は、「ハンドル持て!」という第三動作指示表示GB3を表示する。さらに、メータディスプレイ212は、「足をペダルにセット!」という第四動作指示表示GB4を表示する。
 図5に示された具体例において、「運転交代(手動)準備」という第一動作指示表示GB1は、移行関連表示に対応する。また、かかる第一動作指示表示GB1は、主動作を指示する主動作指示表示にも対応する。「主動作」は、運転自動化レベルの低下に伴うドライバへの権限移譲に必要な動作であり、運転姿勢の調整動作を含む。「前方注意!」という第二動作指示表示GB2は、副動作を指示する副動作指示表示に対応する。「副動作」は、主動作を促進あるいは補助する動作であって、運転意識の調整動作を含む。かかる第二動作指示表示GB2は、主動作指示表示にも対応する。「ハンドル持て!」という第三動作指示表示GB3は、主動作指示表示に対応する。「足をペダルにセット!」という第四動作指示表示GB4は、主動作指示表示に対応する。すなわち、運転交代要求において、表示指令送信部186は、図5に示された主動作指示表示と副動作指示表示とをHMI装置20にて表示させる表示指令情報を、HMI制御装置25に送信する。
 HUD装置22は、「運転交代(手動)準備」という移行関連表示を表示する。HUD装置22による表示は、視認可能範囲が狭く、手動運転姿勢に近づくことで良好に視認可能となる。よって、ドライバがCIDディスプレイ231にて視線誘導表示GAを視認し、これによりドライバの視線がHUD装置22による移行関連表示に誘導されることで、ドライバの姿勢が自然と手動運転姿勢に近づく。そして、ドライバが主動作指示表示および副動作指示表示を視認することで、ドライバが手動運転姿勢を取ることに対する効果的な意識付けが行われる。このように、正面表示デバイスとしてのHUD装置22による移行関連表示にドライバの視線を誘導することで、ドライバが迅速に手動運転姿勢を取ることが良好に促進される。
 このように、時刻T11にて、図5に示された表示がHMI装置20にて実行されると、時刻T12にて、運転交代動作すなわち主動作および副動作が開始される。表示開始時刻T11から運転交代動作開始時刻T12までのタイムラグは、標準的なドライバの反応時間に対応する。表示開始時刻T11以降、自動化レベル決定部184は、ドライバ状態取得部182によるドライバ状態の取得結果、および、操作状態判定部183による運転操作状態の判定結果に基づいて、運転交代動作が終了したか否かをモニターする。そして、時刻T13にて運転交代動作が終了すると、手動運転可能となる。そこで、自動化レベル決定部184は、自動運転可能区間の終点に到達する時刻T14よりも前の時刻T13にて、運転自動化レベルを自動運転から手動運転に移行させる。手動運転中は、図6に示されているように、CIDディスプレイ231における画面領域DA2には、ナビゲーション画面が表示される。一方、情報表示領域DA1においては、ドライバがナビゲーション画面を長時間注視することを回避するため、視線誘導表示GAの表示を続行する。
 時刻T13にて手動運転が開始した後、ドライバの運転操作状態が安定すると、手動運転からハンズオフ運転へのスムーズな移行が可能である。そこで、操作状態判定部183は、ドライバによる運転操作状態を判定する。そして、自動化レベル決定部184は、操作状態判定部183にて手動運転に対応した運転操作状態が安定したと判定したことを条件として、ハンズオフ運転の実行を許可する。
 具体的には、表示指令送信部186は、手動運転に対応した運転操作状態が安定した場合、移行関連表示および承認要求表示をHMI装置20にて表示させる表示指令情報を、HMI制御装置25に送信する。承認要求表示は、ドライバによる、ハンズオフ運転の実行を承認する入力操作を、促すあるいは要求する表示である。
 これにより、図6に示されているように、メータディスプレイ212は、「ハンズオフ運転可能です」という移行関連表示を、レベル情報表示領域DB1にて表示する。また、メータディスプレイ212は、「承認」という文字列を有する承認ボタンを示す第一入力要求表示GC1と、「承認しない」という文字列を有する不承認ボタンを示す第二入力要求表示GC2とを、運転情報表示領域DB2にて表示する。
 時刻T15にてドライバによる承認操作が実行されると、自動化レベル決定部184は、ハンズオフ運転の実行を決定する。これにより、車載システム10は、ハンズオフ運転を開始する。
 図7に示されているように、ハンズオフ運転中において、CIDディスプレイ231には、情報表示領域DA1にて「ハンズオフ運転中」という実行関連表示が表示され、画面領域DA2にてナビゲーション画面が表示される。また、メータディスプレイ212には、レベル情報表示領域DB1にて「ハンズオフ運転中」という実行関連表示が表示され、運転情報表示領域DB2にて経路情報等の各種情報が表示される。図7は、800m先の交差点を右折する旨の経路情報と、ラジオ受信局と、外気温と、現在の日時とを、運転情報表示領域DB2にて表示する例を示す。
 図4は、ドライバが運転交代要求に従った場合の、運転自動化レベルの推移を示す。これに対し、ドライバが運転交代要求に従わずに主動作を実行しなかった場合、運転自動化レベルは、図8に示されているように推移する。
 すなわち、時刻T12~T13にて本来実行されるべき運転交代動作が実行されなかった場合、自動化レベル決定部184は、自動運転可能区間の終点に到達する時刻T14まで、自動運転を継続する。その間、自動化レベル決定部184は、運転交代動作の実行を待機する。時刻T14までに運転交代動作が実行された場合、自動化レベル決定部184は、運転自動化レベルを自動運転から手動運転に切り替える。一方、時刻T14までに運転交代動作が実行されなかった場合、自動化レベル決定部184は、時刻T14にて、運転自動化レベルを自動運転からハンズオフ運転に移行させる。
 表示指令送信部186は、時刻T12~T13にて本来実行されるべき運転交代動作が実行されなくても、図5に示された動作指示表示を正面表示デバイスに表示させる表示指令情報を、HMI制御装置25に送信し続ける。これにより、ハンズオフ運転が良好に継続され得る程度の運転体勢を実現するための運転交代要求が、時刻T14経過後も所定時間継続される。そして、時刻T14から所定時間経過しても、ハンズオフ運転が良好に継続され得る程度の運転体勢が実現されなかった場合、時刻T16にて、車載システム10は、所定の緊急時処理を実行する。緊急時処理は、例えば、休憩提案、あるいは、自車両を安全に停止させるためのいわゆるMRMである。MRMはMinimal Risk Maneuverの略である。
 (第一実施形態:総括)
 このように、本実施形態においては、自動化レベル決定部184は、高自動化レベルを終了して中自動化レベルに移行する場合、高自動化レベルから低自動化レベルに一旦移行した後、中自動化レベルに移行する。高自動化レベルは、レベル3~5の自動運転に含まれる運転自動化レベルである。中自動化レベルは、高自動化レベルよりも低レベルの運転自動化レベルである。低自動化レベルは、中自動化レベルよりもさらに低レベルの運転自動化レベルである。これにより、レベル3~5の自動運転に含まれる高自動化レベルの終了による運転自動化レベルの移行に向けたドライバの意識付けを良好に行うことが可能となる。
 なお、車載システム10がレベル4以上にも対応可能に構成されている場合、「高自動化レベル」は、レベル4または5となり得る。この場合、「低自動化レベル」は、レベル0または1となり得る。
 本実施形態においては、自動化レベル決定部184は、少なくとも、操作状態判定部183にて低自動化レベルに対応した運転操作状態が安定したと判定したことを条件として、中自動化レベルの実行を許可する。具体的には、表示指令送信部186は、低自動化レベルに対応した運転操作状態が安定した場合、承認要求表示をHMI装置20にて表示させる表示指令情報を、HMI制御装置25に送信する。承認要求表示は、ドライバによる中自動化レベルの実行を承認する入力操作を促す表示である。自動化レベル決定部184は、所定の中自動化レベル実行条件が成立し、所定の運転操作状態が安定し、且つドライバ承認があった場合に、中自動化レベルを実行する。これにより、運転自動化レベルの移行をよりいっそう安定的に行うことが可能となる。
 (第二実施形態)
 以下、第二実施形態について、図9および図10を参照しつつ説明する。なお、以下の第二実施形態の説明においては、主として、上記第一実施形態と異なる部分について説明する。また、第一実施形態と第二実施形態とにおいて、互いに同一または均等である部分には、同一符号が付されている。したがって、以下の第二実施形態の説明において、第一実施形態と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記第一実施形態における説明が適宜援用され得る。後述の第三実施形態においても同様である。
 本実施形態に係る車載システム10の構成は、上記第一実施形態と同様である。すなわち、本実施形態に係る車両1および車載システム10は、図1および図2に示された構成を有している。但し、本実施形態は、動作態様およびこれに対応する機能構成が上記第一実施形態とは若干異なる。
 本実施形態においては、自動化レベル決定部184は、高自動化レベルの終了原因に応じて、低自動化レベルにおける運転自動化レベルを設定する。すなわち、高自動化レベルから中自動化レベルに移行するまでに一旦実行される低自動化レベルにおける運転自動化レベルは、高自動化レベルの終了原因に応じて可変となる。これにより、高自動化レベルの終了原因に応じた、より適切な運転体勢を、ドライバに取らせることが可能となる。
 具体的には、例えば、自動運転可能区間の終了に伴って運転自動化レベルを自動運転からハンズオフ運転に移行させる、第一の場合を想定する。かかる第一の場合、ドライバの運転意識は、即座に手動運転に対応可能な程度まで高まる必要はなく、スムーズにハンズオフ運転に移行できる程度にまで高まれば充分である。
 そこで、この場合、図9に示されているように、自動化レベル決定部184は、自動運転からレベル1の例えばACCに一旦移行した後にハンズオフ運転に移行する。なお、図9に示された時刻T11~T15は、図4と同様である。
 これに対し、例えば、自動運転可能区間を走行中に路上障害物検知等により自動運転を中断する、第二の場合を想定する。この場合、上記の第一の場合よりも、ドライバの運転意識はより高いものであることが好ましい。そこで、この場合、図10に示されているように、自動化レベル決定部184は、自動運転からレベル0すなわち手動運転に一旦移行した後にハンズオフ運転に移行する。
 具体的には、図10を参照すると、まず、時刻T21にて、車載システム10は、運転交代要求を実行する。時刻T21は、ほぼ、路上障害物検知等により自動運転を中断すべき旨を自動化レベル決定部184が決定した時点と同視し得る。
 時刻T21にて運転交代要求がHMI装置20にて実行されると、運転交代要求から所定のタイムラグを隔てた時刻T22にて、運転交代動作すなわち主動作および副動作が開始される。そして、時刻T23にて運転交代動作が終了すると、運転自動化レベルが自動運転から手動運転に移行する。
 検知された路上障害物を無事通過する等、自動運転中断条件がなくなった時刻をT24にて示す。かかる時刻T24が経過した後、ドライバの運転操作状態が安定すると、手動運転からハンズオフ運転へのスムーズな移行が可能となる。
 そこで、表示指令送信部186は、手動運転に対応した運転操作状態が安定した場合、ハンズオフ運転への移行に関する移行関連表示および承認要求表示をHMI装置20にて表示させる表示指令情報を、HMI制御装置25に送信する。自動化レベル決定部184は、ドライバによる承認操作を受け付けた時刻T25にて、運転自動化レベルを手動運転からハンズオフ運転に移行させる。
 (第三実施形態)
 以下、第三実施形態について、図11~図14を参照しつつ説明する。本実施形態に係る車載システム10の構成は、上記第一実施形態および第二実施形態と同様である。本実施形態は、動作態様およびこれに対応する機能構成が上記第一実施形態および第二実施形態とは若干異なる。
 図11は、自動運転可能区間の終了に伴って、運転自動化レベルを、自動運転からレベル1(すなわちACC)に一旦移行した後にハンズオフ運転に移行する例を示す。図11における時刻T31~T35は、それぞれ、図4における時刻T11~T15と同様である。この例において、時刻T31における運転交代要求の際に、図12に示された第一動作指示表示GB1~第四動作指示表示GB4を表示した場合を想定する。
 この場合、「運転交代(ACC)準備」という第一動作指示表示GB1は、運転交代に必須な主動作を指示する主動作指示表示に対応する。一方、「前方注意!」という第二動作指示表示GB2は、主動作指示表示に対応するとともに、主として運転意識を高めるための副動作を指示する副動作指示表示として有効に機能する。
 自動運転からの移行先であるレベル1としてのACCにおいては、ドライバによるステアリング操作は必須である一方、ドライバによるアクセル操作およびブレーキ操作は必須ではない。よって、「ハンドル持て!」という第三動作指示表示GB3は、主動作を指示する主動作指示表示に対応する。一方、「足をペダルにセット!」という第四動作指示表示GB4は、副動作を指示する副動作指示表示に対応する。
 時刻T32にて運転交代動作が開始されてから時刻T34にて自動運転可能区間の終点に到達するまでに、主動作および副動作の双方が的確に実行されることが理想的である。但し、主動作は自車両の運転継続に必須な動作である一方、副動作は運転意識を高めるための補助的動作である。したがって、主動作が正しく実行されていれば、副動作に不実行あるいは多少の不備があったとしても、運転自動化レベルの移行を実行しても差し支えない。逆に、主動作が正しく実行されているにもかかわらず、副動作の不実行あるいは実行不備によりMRM等の緊急時処理をいちいち実行していては、自車両使用者が不便さを感じることがあり得る。
 そこで、操作状態検出部173は、ドライバによる主動作および副動作の実行状態あるいは実行状況を検出する。そして、主動作が実行されなかった場合、車両制御部185は、MRM等の所定の緊急時処理を実行する。図13は、この場合の運転自動化レベルの推移を示す。
 具体的には、時刻T32~T33にて本来実行されるべき運転交代動作のうち、少なくとも主動作が実行されなかった場合、自動化レベル決定部184は、自動運転可能区間の終点に到達する時刻T34まで、自動運転を継続する。その間、自動化レベル決定部184は、主動作の実行を待機する。時刻T34までに主動作が実行された場合、自動化レベル決定部184は、運転自動化レベルを自動運転からACCに切り替える。一方、時刻T34までに主動作が実行されなかった場合、自動化レベル決定部184は、時刻T34にて、運転自動化レベルを自動運転から手動運転に移行させる。なお、手動運転に移行した後においても、車両制御部185により、衝突回避ブレーキ、衝突被害軽減ブレーキ等が随時実行され得る。
 表示指令送信部186は、時刻T32~T33にて本来実行されるべき運転交代動作が実行されなくても、図12に示された動作指示表示を正面表示デバイスに表示させる表示指令情報を、HMI制御装置25に送信し続ける。これにより、運転交代要求が、時刻T34経過後も所定時間継続される。そして、時刻T34から所定時間経過しても運転交代が実現されなかった場合、時刻T36にて、車載システム10は、MRM等の所定の緊急時処理を実行する。
 これに対し、主動作が実行されたにもかかわらず副動作が実行されないことがあり得る。すなわち、例えば、ドライバが、ACCへの移行への準備として前方を注視しつつステアリングホイール8を右手で把持する一方で、足を組み右肩を背もたれから浮かせた姿勢で運転席2に着座している場合があり得る。この場合、ドライバの運転姿勢は一応ACCに対応可能ではあるものの、運転意識をよりいっそう高めるためには着座姿勢を正すことが好ましい。
 そこで、この場合、車両制御部185は、上記の安全停止制御を実行しない。具体的には、図11に示されているように、自動化レベル決定部184は、時刻T33にて運転自動化レベルを自動運転からレベル1(すなわちACC)に移行させる。これにより、図14に示されているように、CIDディスプレイ231には、情報表示領域DA1にて「ACC運転支援中」という実行関連表示が表示され、画面領域DA2にてナビゲーション画面が表示される。
 一方、表示指令送信部186は、HMI装置20にて警告表示を表示させる表示指令情報を、HMI制御装置25に送信する。これにより、図14に示されているように、HUD装置22は、「足をペダルにセット!」という警告表示を表示する。また、メータディスプレイ212は、「足をペダルにセット!」という警告表示としての第四動作指示表示GB4の表示を継続する。
 (第四実施形態)
 以下、第四実施形態について、図15および図16を参照しつつ説明する。本実施形態に係る車載システム10の構成は、上記各実施形態と同様である。すなわち、本実施形態に係る車両1および車載システム10は、図1および図2に示された構成を有している。本実施形態は、動作態様およびこれに対応する機能構成が上記各実施形態とは若干異なる。
 上記各実施形態においては、高自動化レベルの終了に伴う運転自動化レベル低下の際に、ドライバの身体運動を誘発して運転意識が効果的に高まるように、運転自動化レベルの推移態様を調整した。もっとも、同様の効果は、上記各実施形態のように運転制御装置18により運転自動化レベルを「実際に」低自動化レベルまで推移させなくても、HMI装置20を用いた情報提示により「見掛け上」推移させることによっても奏され得る。
 通常、運転自動化レベルの推移に際しては、運転制御装置18による実際の運転自動化レベルの決定および移行動作とともに、これに関連する各種情報提示がHMI装置20により実行される。よって、HMI装置20を用いた情報提示により、運転意識が高まるようなドライバの身体運動を誘発できれば、運転制御装置18による実際の運転自動化レベルの推移は伴わなくても充分である。そこで、本実施形態においては、上記第一実施形態における運転自動化レベルの推移を、HMI装置20における表示等の情報提示により「仮想的に」実行する。
 すなわち、本実施形態においては、高自動化レベルを終了する場合、表示制御部255は、低レベル対応状態をドライバに取らせる動作指示表示を、HMI装置20にて表示させる。低レベル対応状態は、低自動化レベルを実行可能なドライバ状態である。本実施形態において、低自動化レベルは、運転制御装置18を含む車載システム10が操舵による横方向運動制御と加減速による縦方向運動制御とのうちの少なくともいずれか一方を実行しない運転自動化レベルである。換言すれば、低レベル対応状態は、レベル0~1の運転自動化レベルに対応可能な、ドライバ状態すなわち運転体勢である。
 図15は、典型的動作の一例として、上記第一実施形態と同様の、自動運転可能区間の終了に伴って運転自動化レベルを自動運転からハンズオフ運転に移行させる例を示す。図15における時刻T41~T45は、それぞれ、図4における時刻T11~T15と同様である。また、図15において、細い実線は実際の運転自動化レベルの推移を示し、太い破線はHMI装置20における実行関連表示に対応する運転自動化レベルの推移を示す。
 図15に示された例においては、運転制御装置18は、自動運転可能区間の終了に伴って、自動運転を終了するとともに、レベル1以下には移行せずにレベル2のハンズオフ運転に移行する。一方、表示制御部255は、手動運転可能な低レベル対応状態を一旦ドライバに取らせるための動作指示表示を、HMI装置20にて表示させる。
 すると、運転制御装置18により実際に実行される、システム上の運転自動化レベルは、自動運転からレベル1以下には移行せずにレベル2のハンズオフ運転に移行する。これに対し、HMI装置20における表示内容の認識およびこれに伴う身体動作による、ドライバの意識上の運転自動化レベルは、自動運転からハンズオフ運転よりも低い運転自動化レベルに一旦移行した後にハンズオフ運転に移行する。
 このように、システム上の運転自動化レベルが自動運転からハンズオフ運転に移行する際に、ドライバに一旦手動運転姿勢を取らせることで、ドライバの運転意識が効果的に高まる。よって、ドライバに、運転自動化レベルの移行に適応した適切な運転体勢を取らせることが可能となる。したがって、自動運転終了による運転自動化レベルの移行に向けたドライバの意識付けを良好に行うことが可能となる。
 具体的には、時刻T41にて、車載システム10は、運転交代要求を実行する。運転交代要求において、表示指令送信部186は、セカンドタスク画面を表示する表示デバイスであるCIDディスプレイ231に図16に示された視線誘導表示GAを表示させる表示指令情報を、HMI制御装置25に送信する。図16に示された視線誘導表示GAは、図5に示された第一実施形態と同様である。また、表示指令送信部186は、図16に示された移行関連表示および動作指示表示を正面表示デバイスに表示させる表示指令情報を、HMI制御装置25に送信する。
 これにより、メータパネル21は、メータディスプレイ212におけるレベル情報表示領域DB1に、「3km先 自動運転終了」という移行関連表示を表示する。また、メータパネル21は、メータディスプレイ212における運転情報表示領域DB2に、上記第一実施形態と同様の第一動作指示表示GB1~第四動作指示表示GB4を表示する。HUD装置22は、「運転交代(手動)準備」という移行関連表示を表示する。CID装置23は、CIDディスプレイ231における情報表示領域DA1に、視線誘導表示GAを表示する。
 このように、時刻T41にて、運転交代要求が実行されると、時刻T42にて、運転交代動作が開始される。このとき、「運転交代(手動)準備」という第一動作指示表示GB1は、移行関連表示に対応する。また、かかる第一動作指示表示GB1は、移行先の運転自動化レベルの表示が本来のハンズオフ運転よりも運転自動化レベルが低い手動運転にはなっているものの、システムからドライバへの権限移譲の必要性を示す表示には変わりがない。このため、かかる第一動作指示表示GB1は、運転自動化レベルの低下に伴うドライバへの権限移譲に必要な主動作を指示するための主動作指示表示にも対応する。
 「前方注意!」という第二動作指示表示GB2は、主動作指示表示に対応するとともに、運転意識の調整動作を含む副動作を指示するための副動作指示表示として有効に機能する。また、上記の通り、システム上の、自動運転からの運転自動化レベルの移行先は、ハンズオフ運転である。ハンズオフ運転においては、ドライバによる操舵制御操作および加減速制御操作は要求されない。このため、「ハンドル持て!」という、手動運転に対応した第三動作指示表示GB3は、自動運転からハンズオフ運転への移行に必須な動作ではなく、運転意識の向上のための動作に関するものである。したがって、かかる第三動作指示表示GB3は、副動作指示表示に対応する。「足をペダルにセット!」という第四動作指示表示GB4についても、同様に、副動作指示表示に対応する。このように、表示制御部255は、運転姿勢の調整動作を含む主動作を指示する主動作指示表示と、運転意識の調整動作を含む副動作を指示する副動作指示表示とを、動作指示表示としてHMI装置20にて表示させる。
 時刻T43にて運転交代動作が終了し、ドライバにて手動運転可能な運転体勢が取られると、自動化レベル決定部184は、システム上の運転自動化レベルを、自動運転からレベル2[Gモード]に移行させる。一方、表示制御部255は、表示上の運転自動化レベルを、自動運転から手動運転に移行させる。これにより、時刻T43からその後実際にハンズオフ運転が開始する時刻T45までの間、外見上すなわち表示上は手動運転中であるにもかかわらず、システム上では「SAE J3016」におけるレベル2に相当する運転支援が実行中であるという状態となる。
 時刻T43にて運転交代動作が終了した後、ドライバの運転操作状態が安定すると、ハンズオフ運転へのスムーズな移行が可能である。そこで、操作状態判定部183は、ドライバによる運転操作状態を判定する。そして、自動化レベル決定部184は、操作状態判定部183にて手動運転に対応した運転操作状態が安定したと判定したことを条件として、ハンズオフ運転の実行を許可する。
 具体的には、表示制御部255は、ドライバ状態取得部254により取得されたドライバ状態が低レベル対応状態にて安定した場合、中自動化レベルの実行を承認する入力操作を促す承認要求表示を、HMI装置20にて表示させる。承認要求表示は、図6と同様である。そして、時刻T45にてドライバによる承認操作が実行されると、自動化レベル決定部184は、ハンズオフ運転の実行を決定する。これにより、車載システム10は、ハンズオフ運転を開始する。すなわち、時刻T45以降において、システム上の運転自動化レベルと表示上の運転自動化レベルとが一致して、ともにハンズオフ運転となる。このように、ドライバの運転意識が充分高まった状態でハンズオフ運転に移行することで、自動運転からハンズオフ運転への移行がよりいっそう安全に行われ得る。
 このように、本実施形態においては、表示制御部255は、高自動化レベルを終了する場合、ドライバ状態として低自動化レベルを実行可能な低レベル対応状態をドライバに取らせる動作指示表示を、HMI装置20にて表示させる。具体的には、表示制御部255は、高自動化レベルを終了して、高自動化レベルと低自動化レベルとの間の運転自動化レベルである中自動化レベルに移行する場合、低レベル対応状態をドライバに取らせる動作指示表示をHMI装置20にて表示させる。動作指示表示に対応する低自動化レベルは、高自動化レベルの終了から中自動化レベルの開始までの間に運転制御装置18により実際に実行される運転自動化レベルとは異なる見掛け上の運転自動化レベルである。これにより、自動運転終了による運転自動化レベルの移行に向けたドライバの意識付けを良好に行うことが可能となる。
 また、本実施形態においては、表示制御部255は、セカンドタスク画面から正面表示デバイスとしてのHUD装置22にドライバの視線を誘導する視線誘導表示GAを、セカンドタスク画面を表示するCIDディスプレイ231に表示させる。これにより、正面表示デバイスとしてのHUD装置22にドライバの視線を誘導することで、ドライバが迅速に所定の運転姿勢を取ることが良好に促進される。
 (第五実施形態)
 以下、第五実施形態について、図17~図19を参照しつつ説明する。本実施形態に係る車載システム10の構成は、上記第四実施形態と同様である。但し、本実施形態は、動作態様およびこれに対応する機能構成が上記第四実施形態とは若干異なる。すなわち、本実施形態は、上記第四実施形態の一部を変容したものである。
 上記第四実施形態は、上記第一実施形態における実際の運転自動化レベルの推移態様を、仮想化すなわち見掛け上のものに変更したものである。同様に、本実施形態は、上記第二実施形態における実際の運転自動化レベルの推移態様を、仮想化すなわち見掛け上のものに変更したものである。
 本実施形態においては、表示制御部255は、高自動化レベルの終了原因に応じて、低自動化レベルにおける運転自動化レベルを設定する。すなわち、高自動化レベルの終了に際して当該高自動化レベルから見掛け上移行する低自動化レベルにおける運転自動化レベルは、高自動化レベルの終了原因に応じて可変となる。これにより、高自動化レベルの終了原因に応じた、より適切な運転体勢を、ドライバに取らせることが可能となる。
 図17は、図9と同様の、自動運転可能区間の終了に伴って運転自動化レベルを自動運転からハンズオフ運転に移行させる場合を示す。図17における時刻T51~T55は、それぞれ、図4および図9における時刻T11~T15と同様である。また、図17以降において、細い実線は実際の運転自動化レベルの推移を示し、太い破線はHMI装置20における実行関連表示に対応する運転自動化レベルの推移を示す。
 図17に示された例においては、システム上の運転自動化レベルは、時刻T53にて自動運転からレベル2[Gモード]に移行する。そして、運転操作状態が安定しドライバによる承認操作を受け付けた時刻T55にて、システム上の運転自動化レベルは、レベル2[Gモード]からハンズオフ運転に移行する。
 これに対し、ドライバの運転意識は、即座に手動運転に対応可能な程度まで高まる必要はなく、スムーズにハンズオフ運転に移行できる程度にまで高まれば充分である。そこで、表示上の運転自動化レベルは、時刻T53にて自動運転から一旦レベル1に移行し、時刻T55にてレベル1からハンズオフ運転に移行する。すなわち、時刻T51における運転交代要求の際の表示態様は、図12と同様となる。
 図18は、図10と同様の、自動運転可能区間を走行中に路上障害物検知等により自動運転を中断する場合を示す。図18における時刻T61~T65は、それぞれ、図10における時刻T21~T25と同様である。
 路上障害物検知等により自動運転を中断する場合であっても、中断後のシステム上の運転自動化レベルは、可能な限り高い方が好ましい。そこで、この例においては、システム上の運転自動化レベルは、運転交代動作が完了した時刻T63にて、自動運転からレベル2[Gモード]に移行する。そして、運転操作状態が安定しドライバによる承認操作を受け付けた時刻T65にて、システム上の運転自動化レベルは、レベル2[Gモード]からハンズオフ運転に移行する。
 一方、この例においては、図17に示された自動運転可能区間終了の例よりも、ドライバの運転意識はより高いものであることが好ましい。そこで、表示上の運転自動化レベルは、時刻T63にて自動運転から一旦手動運転に移行し、時刻T65にて手動運転からハンズオフ運転に移行する。すなわち、時刻T61における運転交代要求の際の表示態様は、図16と同様の、自動運転から手動運転への移行に対応したものとなる。
 図19は、車載システム10における何らかの異常の発生により自動運転を終了する場合を示す。この場合も、図17に示された自動運転可能区間終了の例よりも、ドライバの運転意識はより高いものであることが好ましい。そこで、表示制御部255は、表示上の運転自動化レベルを、自動運転から手動運転に移行させる。
 一方、システム上の運転自動化レベルあるいは運転支援レベルは、可能な限り高い方が好ましい。そこで、自動化レベル決定部184は、システム上の運転自動化レベルを、自動運転から所定レベルに低下させる。所定レベルは、その時点で実行可能な最高レベルである。
 具体的には、運転制御装置18は、異常発生により自動運転の継続が不可能であることを判定すると、時刻T71にて、手動運転に移行するための運転交代要求を実行する。すなわち、表示指令送信部186は、かかる運転交代要求のための表示をHMI装置20に行わせるように、HMI制御装置25に表示指令情報を送信する。
 時刻T71にて運転交代要求がHMI装置20にて実行されると、時刻T72にて、運転交代動作が開始される。そして、時刻T73にて運転交代動作が終了すると、表示上の運転自動化レベルが自動運転から手動運転に移行する。一方、システム上の運転自動化レベルは、自動運転を終了するものの、その時点で実行可能な最高レベルに移行する。仮に、システム上の運転自動化レベルとして手動運転のみが可能であっても、表示上の運転自動化レベルを自動運転から手動運転に移行させることで、ドライバによる適切な運転交代が可能である。
 この例においては、運転自動化システムにて自動運転を継続不能な異常が発生している。このため、ドライバによる手動運転操作が安定したT74以降においても、運転自動化レベルを高レベル側に移行させるための承認操作要求は実行されない。但し、上記の通り、見掛け上は手動運転中であるものの、システム上は可能な限りの運転支援動作を実行することは、差し支えない。
 なお、図17~図19に示された例における、運転交代動作が行われなかった場合の処理については、図8および図13の場合と同様であってもよい。すなわち、所定時間待機後にMRM等の所定の緊急時処理が実行されてもよい。あるいは、衝突回避ブレーキ、衝突被害軽減ブレーキ等の必要最小限の安全制御動作が可能であれば、運転交代動作が行われなかった場合であっても、上記の緊急時処理は実行されなくてもよい。
 (第六実施形態)
 以下、第六実施形態について、図20および図21を参照しつつ説明する。本実施形態に係る車載システム10の構成は、上記第四~第五実施形態と同様である。但し、本実施形態は、動作態様およびこれに対応する機能構成が上記第四~第五実施形態とは若干異なる。すなわち、本実施形態は、上記第四~第五実施形態の一部を変容したものである。
 この例は、自動運転可能区間の終了に伴って、ハンズオフ運転に移行することが可能であるものの、運転意識向上のために、HMI装置20にてレベル1(すなわちACC)への移行を提案する例である。図20はACCへの移行提案に対する承認操作がなされた場合を示し、図21はかかる承認操作がなされなかった場合を示す。
 すなわち、図20に示された例における、自動運転の終了原因は、自動運転可能区間の終了およびACC承認によるACCへの移行である。一方、図21に示された例における、自動運転の終了原因は、自動運転可能区間の終了およびACC不承認によるハンズオフ運転への移行である。このような終了原因の違いにより、図20と図21とでは、自動運転からの、システム上の運転自動化レベルおよび表示上の運転自動化レベルの推移態様が異なる。
 具体的には、図20に示された例においては、まず、時刻T81にて、車載システム10は、図15における時刻T41または図17における時刻T51と同様の、運転交代要求を実行する。また、時刻T82にて、車載システム10は、ACCへの移行提案を実行する。すると、ドライバは、時刻T83にて、ACCへの移行提案に対する承認操作を実行するとともに、ACCに対応可能な運転体勢を取るべく運転交代動作を開始する。
 この例においては、ドライバは、自動運転からACCに移行するという明確な意識を有している。このため、時刻T85より前の時刻T84にて運転交代動作が終了すると、車載システム10は、システム上の運転自動化レベルおよび表示上の運転自動化レベルを、ともに、自動運転からレベル1のACCに移行させる。時刻T85は、自動運転可能区間の終点に到達する時刻である。その後、ドライバの運転操作状態が安定した時刻T86において、運転自動化レベルを高レベル側例えばレベル2[Gモード]に移行するための条件が成立した場合、移行提案が適宜実行され得る。
 一方、図21に示された例においても、まず、時刻T91にて、車載システム10は、図20に示された例と同様の運転交代要求を実行する。また、時刻T92にて、車載システム10は、ACCへの移行提案を実行する。時刻T91およびT92は、それぞれ、図20に示された時刻T81およびT82と同様である。
 この例においては、ドライバは、時刻T93まで、ACCへの移行提案に対する承認操作を実行していない。この場合、ドライバは、自動運転から所定の運転自動化レベルに移行するという明確な意識を有していない可能性がある。このため、時刻T93にて、車載システム10は、図15における時刻T41と同様の、手動運転への運転交代要求を実行する。
 時刻T95より前の時刻T94にて手動運転への運転交代動作が終了すると、自動化レベル決定部184は、システム上の運転自動化レベルを、自動運転からレベル2[Gモード]に移行させる。時刻T95は、自動運転可能区間の終点に到達する時刻である。一方、表示制御部255は、表示上の運転自動化レベルを、自動運転から手動運転に移行させる。これにより、時刻T94以降、外見上すなわち表示上は手動運転中であるにもかかわらず、システム上では「SAE J3016」におけるレベル2に相当する運転支援が実行中であるという状態となる。
 その後、ドライバの運転操作状態が安定すると、ハンズオフ運転へのスムーズな移行が可能である。そこで、ドライバの運転操作状態が安定した場合、ハンズオフ運転への移行提案が実行される。かかる移行提案に対する承認操作が時刻T96にて実行されると、車載システム10は、システム上の運転自動化レベルおよび表示上の運転自動化レベルを、ともに、ハンズオフ運転に移行させる。
 (第七実施形態)
 以下、第七実施形態について、図22~図24を参照しつつ説明する。本実施形態に係る車載システム10の構成は、上記第一実施形態等と同様である。本実施形態は、動作態様およびこれに対応する機能構成が上記第一実施形態等とは若干異なる。
 図22~図24は、図4の例と同様に、高自動化レベルとしての自動運転(すなわちレベル3)から、中自動化レベルとしてのレベル2に移行する例を示す。図22~図24において、時刻TA1~TA6は時間経過を示す。図22の例と、図23の例と、図24の例とで、自車両の走行経路および走行状況(例えば車速等)は同一であり、時刻TA1の時点で実行中の自動運転の継続時間のみが異なるものとする。すなわち、図22は、自動運転の継続時間が短時間すなわち所定時間未満である例を示す。一方、図23および図24は、自動運転の継続時間が所定時間以上である例を示す。図23の例における自動運転の継続時間は、図24の例よりも短い。
 時刻TA1~TA6の内容は、以下の通りである。交代要求開始時刻TA1は、運転交代要求の開始時刻である。運転交代要求は、移行関連表示および動作指示表示を正面表示デバイスに表示させることを含む。すなわち、交代要求開始時刻TA1は、動作指示表示(すなわち少なくとも主動作指示表示)をHMI装置20にて表示させる動作指示タイミングに相当する。したがって、交代要求開始時刻TA1は、図4における表示開始時刻T11と同様である。交代開始時刻TA2は、運転交代要求に対応してドライバが運転交代動作を開始する時刻であって、図4における運転交代動作開始時刻T12と同様である。交代終了時刻TA3は、交代開始時刻TA2にて開始したドライバの運転交代動作が終了する時刻であって、図4における運転交代動作終了時刻T13と同様である。終点通過時刻TA4は、自車両が自動運転可能区間の終点に到達する時刻であって、図4における時刻T14と同様である。内容説明の便宜のため、図22~図24は、横軸である時間軸がほぼ同尺となり、且つ、終点通過時刻TA4の横軸方向位置が同一となるように描画されている。承認期間開始時刻TA5は、ドライバによる承認操作が実行可能となるタイミングである。具体的には、承認期間開始時刻TA5は、例えば、承認要求表示をHMI装置20にて表示させる承認要求タイミングに相当する。あるいは、承認期間開始時刻TA5は、例えば、中自動化レベルの実行を承認する入力操作を許可する承認許可タイミングに相当する。移行時刻TA6は、中自動化レベル実行の承認操作がドライバにより実行される承認実行タイミングであって、図4における時刻T15と同様である。
 自動運転の継続時間が短時間である場合、ドライバの運転意識は自動運転開始前よりそれほど低下しておらず、運転操作感覚(例えば操舵量に対するレスポンス等)も失われてはいないことが想定される。これに対し、自動運転の継続時間が長くなるほど、運転意識の低下および運転操作感覚の喪失が生じる可能性がある。よって、ドライバに運転意識および運転操作感覚を効果的に回復させるために、自動運転の継続時間が長くなるほど、より低い運転自動化レベルに対応する運転体勢をドライバに取らせることが好ましい。そこで、本実施形態においては、自動化レベル決定部184は、高自動化レベルの継続時間に応じて、当該高自動化レベルから中自動化レベルに移行するまでの運転自動化レベルの変化態様を設定する。
 具体的には、自動化レベル決定部184は、高自動化レベルの継続時間が所定時間未満である場合、図22に示されているように、当該高自動化レベルから、低自動化レベルに移行することなく中自動化レベルに移行する。また、自動化レベル決定部184は、高自動化レベルの継続時間に応じて、低自動化レベルにおける運転自動化レベルを設定する。より詳細には、自動運転の継続時間が比較的長い図24の例においては、運転意識の低下および運転操作感覚の喪失の度合いが、自動運転の継続時間がそれほど長くはない図23の例よりも大きいことが想定される。そこで、図24の例においては、運転意識および運転操作感覚を大きく回復させるために、より低い運転自動化レベルであるレベル0すなわち手動運転をドライバに体験させることが効果的である。一方、図23の例においては、レベル1までの低下で、運転意識および運転操作感覚の充分な回復が見込まれる。したがって、自動化レベル決定部184は、高自動化レベルの継続時間が長いほど、低自動化レベルにおける運転自動化レベルを低く設定する。これにより、自動運転の継続時間が長くなることでドライバの運転意識および/または運転操作感覚の喪失の可能性が大きくなるほど、自動運転終了に際してドライバに運転意識および/または運転操作感覚を回復させるための準備期間が、長く確保され得る。
 また、本実施形態においては、表示指令送信部186または表示制御部255は、高自動化レベルの継続時間に応じて、動作指示タイミングすなわち交代要求開始時刻TA1を設定する。すなわち、交代要求開始時刻TA1は、自動運転の継続時間が長くなるほど、早期に設定される。具体的には、図22~図24を参照すると、終点通過時刻TA4、承認期間開始時刻TA5、および移行時刻TA6は、図22~図24の間で、ほぼ同一であるか、ほとんど差が無い。これに対し、交代要求開始時刻TA1は、自動運転の継続時間が最も短い図22の例にて最も遅くなり、自動運転の継続時間が最も長い図24の例にて最も早くなる。これにより、自動運転の継続時間が長くなるほど、交代要求開始時刻TA1と終点通過時刻TA4との時間間隔が長く確保され得る。かかる時間間隔は、高自動化レベルから中自動化レベルへの移行に際してドライバに運転意識および/または運転操作感覚を回復させるための準備期間として利用可能な期間である。したがって、本実施形態によれば、自動運転の継続時間が長くなるほど、自動運転終了に際してドライバに運転意識および/または運転操作感覚を回復させるための準備期間が、可能な限り長く確保され得る。
 図22~図24に示されているように、本実施形態においては、交代要求開始時刻TA1から承認期間開始時刻TA5までの時間間隔は、高自動化レベルの継続時間が長くなるほど長くなるように設定されている。すなわち、交代要求開始時刻TA1を基準時点とした場合、かかる基準時点を基準とした承認期間開始時刻TA5のタイミングは、高自動化レベルの継続時間が長くなるほど遅く設定されている。このように、本実施形態によれば、承認期間開始時刻TA5によって規定される承認要求タイミングあるいは承認許可タイミングは、高自動化レベルの継続時間に応じて設定される。これにより、自動運転の継続時間が長くなるほど、自動運転終了に際してドライバに運転意識および/または運転操作感覚を回復させるための準備期間が、可能な限り長く確保され得る。
 なお、図22~図24は、承認期間開始時刻TA5および移行時刻TA6の横軸方向位置が同一となるように描画されている。しかしながら、本実施形態は、かかる態様に限定されない。すなわち、例えば、終点通過時刻TA4から承認期間開始時刻TA5までの時間間隔は、高自動化レベルの継続時間が長くなるほど長くなるように設定され得る。換言すれば、図23における承認期間開始時刻TA5および移行時刻TA6の横軸方向位置は、図22における承認期間開始時刻TA5および移行時刻TA6の横軸方向位置よりも右側となり得る。同様に、図24における承認期間開始時刻TA5および移行時刻TA6の横軸方向位置は、図23における承認期間開始時刻TA5および移行時刻TA6の横軸方向位置よりも右側となり得る。
 (第八実施形態)
 以下、第八実施形態について、図25および図26を参照しつつ説明する。図25および図26における時刻TA1~TA6の内容は、図22~図24と同様である。
 本実施形態においては、運転制御装置18を含む車載システム10は、レベル3およびレベル4の自動運転を実行可能に構成されている。かかる運転自動化レベルに関連する動作態様およびこれに対応する機能構成以外は、本実施形態に係る車載システム10の構成は、上記第一実施形態等と同様である。
 レベル4の自動運転においては、当該レベルが継続困難となった場合(例えば路上障害物あるいは工事区間の出現等の場合)の対応は、運転自動化システムが実行する。すなわち、レベル4の自動運転の実行中、ドライバには、運転自動化システムからの運転交代要請に適切に対応することが要求されない。このため、レベル4の自動運転の実行中は、ドライバは、睡眠することが可能である。一方、レベル3の自動運転においては、当該レベルが継続困難となった場合、ドライバは、運転自動化システムからの運転交代要請に適切に対応する必要がある。このため、レベル3の自動運転の実行中には、ドライバは、運転自動化システムからの運転交代要請に適切に対応可能な程度に覚醒していることが求められる。
 図25の例と図26の例とでは、自車両の走行経路および走行状況は同一であり、自動運転中のドライバ状態のみが異なるものとする。具体的には、図25は、レベル4の自動運転中、すなわち、交代要求開始時刻TA1以前において、ドライバが非睡眠状態であった場合を示す。一方、図26は、レベル4の自動運転中、ドライバが睡眠状態であった場合を示す。
 レベル3もレベル4も、ともに「特定の限定領域」すなわち自動運転可能区間において実行可能である。このため、自動運転可能区間の終点に到達するまでの充分な時間的余裕をもって、ドライバに運転交代を要請する必要がある。但し、睡眠後の(すなわち睡眠から覚醒した)ドライバは、睡眠可能な自動運転の開始前よりも、運転意識および/または運転操作能力が低下していることが想定される。運転操作能力の低下は、上記の運転操作感覚の喪失を含む。特に、睡眠から覚醒した直後において、運転意識および/または運転操作能力の低下が顕著であることが想定される。
 そこで、ドライバ状態検出部17は、高自動化レベルを実行中のドライバ状態が睡眠状態か否かを検出する。そして、自動化レベル決定部184は、高自動化レベルを実行中のドライバ状態が睡眠状態か否かに応じて、当該高自動化レベルから中自動化レベルに移行するまでの運転自動化レベルの変化態様を設定する。具体的には、自動化レベル決定部184は、高自動化レベルとしてのレベル4を実行中のドライバ状態が睡眠状態の場合、非睡眠状態の場合よりも、当該高自動化レベルを早く終了させる。
 より詳細には、高自動化レベルとしてのレベル4の自動運転中におけるドライバ状態が非睡眠状態の場合、図25に示されているように、交代終了時刻TA3までレベル4が維持される。そして、交代終了時刻TA3にて、運転自動化レベルが、レベル4からレベル1に移行する。その後、移行時刻TA6にて、運転自動化レベルが、レベル1からレベル2に移行する。かかる移行態様は、図4の例における、自動運転から低自動化レベルとしてのレベル1に一旦移行した後に中自動化レベルとしてのレベル2に移行するレベル移行態様と同様である。
 これに対し、レベル4の自動運転中におけるドライバ状態が睡眠状態の場合、図26に示されているように、交代要求開始時刻TA1にて、レベル4が終了して、運転自動化レベルがサブ高自動化レベルとしてのレベル3に一旦移行する。サブ高自動化レベルは、高自動化レベルと中自動化レベルとの間の、自動運転に含まれる運転自動化レベルであって、図26の例ではレベル3である。交代要求開始時刻TA1から交代終了時刻TA3までの間は、運転自動化レベルがレベル3に維持される。すなわち、レベル3にて、運転交代動作が実行される。その後、交代終了時刻TA3にて、運転自動化レベルがレベル3からレベル1に移行する。その後、移行時刻TA6にて、運転自動化レベルが、レベル1からレベル2に移行する。すなわち、レベル1に対応する低レベル対応状態にドライバ状態が移行する動作の期間を示す交代開始時刻TA2ないし交代終了時刻TA3にて、運転自動化レベルがレベル3に設定される。これにより、レベル4実行下での睡眠後のドライバに、いきなりレベル1に対応する運転体勢に移行することを強いることなく、レベル3の自動運転実行下で徐々に適切な運転体勢を取らせることができる。
 このように、本実施形態においては、自動化レベル決定部184は、高自動化レベルを実行中のドライバ状態が睡眠状態の場合、当該高自動化レベルからサブ高自動化レベルに一旦移行した後、低自動化レベルに移行する。これに対し、自動化レベル決定部184は、高自動化レベルを実行中のドライバ状態が非睡眠状態の場合、高自動化レベルから、サブ高自動化レベルに移行することなく低自動化レベルに移行する。これにより、自動運転終了に際してドライバに運転意識および/または運転操作能力を回復させるための運転自動化レベル移行制御が、ドライバが自動運転中に実際に睡眠したか否かに応じて、適切に実行され得る。
 (第九実施形態)
 以下、第九実施形態について、図26および図27を参照しつつ説明する。図26および図27における時刻TA1~TA6の内容は、図25および図26と同様である。本実施形態は、上記第八実施形態を一部変容したものである。すなわち、本実施形態は、上記第八実施形態における図25の例における運転自動化レベル移行態様を、図27に示された態様に変容したものである。
 図26の例と図27の例とでは、自車両の走行経路および走行状況は同一であり、自動運転中のドライバ状態のみが異なるものとする。具体的には、図26は、レベル4の自動運転中、すなわち、交代要求開始時刻TA1以前において、ドライバが睡眠状態であった場合を示す。一方、図27は、レベル4の自動運転中、ドライバが非睡眠状態であった場合を示す。
 上記の通り、睡眠後のドライバは、自動運転開始前よりも、運転意識および/または運転操作能力が低下していることが想定される。このため、自動運転中に睡眠していなかった場合は、睡眠していた場合よりも、ドライバは、より低い運転自動化レベルに対応可能である。
 そこで、本実施形態においては、自動化レベル決定部184は、高自動化レベルを実行中のドライバ状態が睡眠状態か否かに応じて、低自動化レベルにおける運転自動化レベルを設定する。これにより、具体的には、高自動化レベルとしてのレベル4の自動運転中におけるドライバ状態が睡眠状態の場合、図26に示されているように、交代終了時刻TA3と移行時刻TA6との間の低自動化レベルは、レベル1に設定される。一方、高自動化レベルとしてのレベル4の自動運転中におけるドライバ状態が非睡眠状態の場合、図27に示されているように、低自動化レベルは、レベル0に設定される。これにより、自動運転終了に際してドライバに運転意識および/または運転操作能力を回復させるための運転自動化レベル移行制御が、ドライバが自動運転中に実際に睡眠したか否かに応じて、適切に実行され得る。
 (第十実施形態)
 以下、第十実施形態について、図27および図28を参照しつつ説明する。図26および図27における時刻TA1~TA6の内容は、図26および図27と同様である。本実施形態は、上記第九実施形態を一部変容したものである。すなわち、本実施形態は、上記第九実施形態における図26の例における運転自動化レベル移行態様を、図28に示された態様に変容したものである。
 図27の例と図28の例とでは、自車両の走行経路および走行状況は同一であり、自動運転中のドライバ状態のみが異なるものとする。具体的には、図27は、レベル4の自動運転中、すなわち、交代要求開始時刻TA1以前において、ドライバが非睡眠状態であった場合を示す。一方、図28は、レベル4の自動運転中、ドライバが睡眠状態であった場合を示す。
 本実施形態においては、表示指令送信部186または表示制御部255は、高自動化レベルを実行中のドライバ状態が睡眠状態か否かに応じて、動作指示タイミングすなわち交代要求開始時刻TA1を設定する。すなわち、交代要求開始時刻TA1は、高自動化レベルを実行中のドライバ状態が睡眠状態の場合に、早期に設定される。具体的には、図27および図28を参照すると、終点通過時刻TA4、承認期間開始時刻TA5、および移行時刻TA6は、図27と図28との間で、ほぼ同一であるか、ほとんど差が無い。これに対し、交代要求開始時刻TA1は、高自動化レベルを実行中のドライバ状態が睡眠状態である図28の例の方が、図27の例よりも早くなる。これにより、自動運転中の睡眠により低下したドライバの運転意識および/または運転操作能力を、自動運転終了に際して回復させるための準備期間が、可能な限り長く確保され得る。
 本実施形態においては、交代要求開始時刻TA1から承認期間開始時刻TA5までの時間間隔は、高自動化レベルを実行中のドライバ状態が睡眠状態である場合に長くなるように設定されている。すなわち、交代要求開始時刻TA1を基準時点とした場合、かかる基準時点を基準とした承認期間開始時刻TA5のタイミングは、高自動化レベルの継続時間が長くなるほど遅く設定されている。このように、本実施形態によれば、承認期間開始時刻TA5によって規定される承認要求タイミングあるいは承認許可タイミングは、高自動化レベルを実行中のドライバ状態が睡眠状態か否かに応じて設定される。これにより、自動運転中の睡眠により低下したドライバの運転意識および/または運転操作能力を、自動運転終了に際して回復させるための準備期間が、可能な限り長く確保され得る。
 なお、図27および図28は、承認期間開始時刻TA5および移行時刻TA6の横軸方向位置が同一となるように描画されている。しかしながら、本実施形態は、かかる態様に限定されない。すなわち、例えば、終点通過時刻TA4から承認期間開始時刻TA5までの時間間隔は、高自動化レベルを実行中のドライバ状態が睡眠状態か否かに応じて設定され得る。換言すれば、図28における承認期間開始時刻TA5および移行時刻TA6の横軸方向位置は、図27における承認期間開始時刻TA5および移行時刻TA6の横軸方向位置よりも右側となり得る。
 (第十一実施形態)
 上記第七~第十実施形態においては、高自動化レベルと中自動化レベルとの間、すなわち、交代要求開始時刻TA1から移行時刻TA6までの間の運転自動化レベルの移行態様は、実際の運転自動化レベルであった。しかしながら、上記第七~第十実施形態における運転自動化レベルの移行態様は、上記第四実施形態等と同様に、見掛け上のものであってもよい。
 すなわち、図23~図28に示された運転自動化レベルの移行態様は、HMI装置20を用いた情報提示による「見掛け上」の推移であってもよい。この場合、自動化レベル決定部184により決定および実行される、実際の運転自動化レベルは、図22に示された態様で、交代終了時刻TA3にて自動運転からレベル2に移行する。また、上記各実施形態における自動化レベル決定部184および/または表示指令送信部186の機能構成あるいは動作は、表示制御部255の機能構成あるいは動作に読み替えられる。
 (変形例)
 本開示は、上記実施形態に限定されるものではない。故に、上記実施形態に対しては、適宜変更が可能である。以下、代表的な変形例について説明する。以下の変形例の説明においては、上記実施形態との相違点を主として説明する。また、上記実施形態と変形例とにおいて、相互に同一または均等である部分には、同一符号が付されている。したがって、以下の変形例の説明において、上記実施形態と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記実施形態における説明が適宜援用され得る。
 本開示は、上記実施形態にて示された具体的な装置構成に、何ら限定されるものではない。すなわち、例えば、車載システム10を搭載する車両1は、普通自動車に限定されない。具体的には、かかる車両1は、貨物トラック等の大型自動車であってもよい。車輪数についても特段の限定はなく、三輪自動車であってもよいし、貨物トラック等の六輪または八輪自動車であってもよい。車両1の種類は、内燃機関のみを備えたコンベンショナル自動車であってもよいし、内燃機関を備えない電気自動車または燃料電池車であってもよいし、いわゆるハイブリッド車であってもよい。車両1における車体の形状および構造も、箱状すなわち平面視における略矩形状に限定されない。車両1の用途、ステアリングホイール8の位置、乗員数、等についても、特段の限定はない。
 車載システム10を構成する通信規格としては、CAN(国際登録商標)以外のもの、例えば、FlexRay(国際登録商標)等も採用され得る。また、車載システム10を構成する通信規格は、一種類に限定されない。例えば、車載システム10は、LIN等の通信規格に準拠したサブネットワーク回線を有していてもよい。LINはLocal Interconnect Networkの略である。
 車両状態センサ11、外界状態センサ12、および周辺監視センサ13についても、上記の例示に限定されない。例えば、周辺監視センサ13は、ソナーすなわち超音波センサを含んだ構成であってもよい。あるいは、周辺監視センサ13は、ミリ波レーダセンサ、サブミリ波レーダセンサ、レーザレーダセンサ、および超音波センサのうちの2種類以上を備えていてもよい。各種センサの設置個数についても特段の限定はない。
 ロケータ14についても、上記の例示に限定されない。例えば、ロケータ14は、ジャイロセンサおよび加速度センサを内蔵した構成ではなくてもよい。具体的には、慣性取得部142は、車両状態センサ11としてロケータ14の外部に設けられた角速度センサおよび加速度センサからの出力信号を受信するようになっていてもよい。
 DCM15は、省略され得る。すなわち、交通情報は、ナビゲーション装置16によって取得され得る。あるいは、ナビゲーション装置16は、ロケータ14およびDCM15を含んだ構成を有していてもよい。
 ナビゲーション装置16は、車載通信回線10Aとは異なるサブ通信回線を介して情報通信可能に、HMI制御装置25と接続されていてもよい。
 ナビゲーション装置16は、HMI装置20とは別の、ナビゲーション画面表示専用の表示画面を有していてもよい。あるいは、ナビゲーション装置16は、HMI装置20の一部を構成するものとして設けられていてもよい。具体的には、例えば、ナビゲーション装置16は、CID装置23と一体化されてもよい。
 ドライバ状態検出部17は、車載通信回線10Aとは異なるサブ通信回線を介して情報通信可能に、HMI制御装置25と接続されていてもよい。
 ドライバ状態検出部17は、視線検出部171と、姿勢検出部172と、操作状態検出部173とを備えた構成に限定されない。すなわち、例えば、視線検出部171の構成を用いた画像認識により、姿勢検出部172に対応する機能が奏され得る。また、ドライバ状態検出部17は、ドライバの脈拍等の生体情報を検出する生体情報センサを備えていてもよい。この場合、生体情報センサにおける検出電極等の構成部分は、操作状態検出部173におけるステアリングホイール8の把持状態を検出する構成部分と共用化され得る。
 上記実施形態において、運転制御装置18は、レベル1~3に対応する車両制御動作を実行可能に構成されている。しかしながら、本開示は、かかる態様に限定されない。すなわち、例えば、本開示は、レベル1~5に対応する車両制御動作を実行可能な場合にも、好適に適用され得る。
 また、本開示における運転自動化のレベルあるいはカテゴリも、「SAE J3016」に規定されたものに限定されない。具体的には、「SAE J3016」においては、運転自動化レベルが高いほど、レベル数値が大きくなるように規定されている。しかしながら、本開示は、かかる態様に限定されない。すなわち、例えば、最高の運転自動化レベルを「レベル1」として、運転自動化レベルが低下するほどレベル数値が大きくなるように規定された規格に対しても、本開示は同様に適用され得る。
 HMI装置20は、メータパネル21とHUD装置22とCID装置23とを備えた構成に限定されない。すなわち、例えば、メータパネル21とCID装置23とは、一体化され得る。
 メータ211とメータディスプレイ212とは、1つの表示デバイスによって実現され得る。この場合、メータ211は、液晶または有機ELディスプレイである1つの表示デバイスにおける左右両端部の表示領域として設けられ得る。すなわち、メータ211は、タコメータ、スピードメータ、水温計、等に対応する、ベゼル、指針、目盛、等を、画像表示することによって実現され得る。また、メータディスプレイ212は、かかる表示デバイスにおける、メータ211以外の表示領域として設けられ得る。
 入力デバイス232は、CIDディスプレイ231と重畳されるタッチパネルに代えて、あるいはこれとともに、ドライバの手元で操作されるポインティングデバイス等を有していてもよい。入力デバイス232は、ドライバの発話を検出する音声入力装置を有していてもよい。
 上記実施形態において、運転制御装置18およびHMI制御装置25は、CPU等を備えた、いわゆる車載マイクロコンピュータとしての構成を有していた。しかしながら、本開示は、かかる構成に限定されない。
 例えば、運転制御装置18の全部または一部は、上記のような動作を可能に構成されたデジタル回路、例えばASICあるいはFPGAを備えた構成であってもよい。ASICはApplication Specific Integrated Circuitの略である。FPGAはField Programmable Gate Arrayの略である。すなわち、運転制御装置18において、車載マイクロコンピュータ部分とデジタル回路部分とは併存し得る。HMI制御装置25についても同様である。
 上記実施形態にて説明した、各種の動作、手順、あるいは処理を実行可能とする、本開示に係るプログラムは、DCM15等によるV2X通信を介して、ダウンロードあるいはアップグレードされ得る。V2XはVehicle to Xの略である。あるいは、かかるプログラムは、車両1の製造工場、整備工場、販売店、等に設けられた端末機器を介して、ダウンロードあるいはアップグレードされ得る。かかるプログラムの格納先は、メモリーカード、光学ディスク、磁気ディスク、等であってもよい。
 このように、上記の各機能構成および方法は、コンピュータプログラムにより具体化された一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および方法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および方法は、一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移的実体的記憶媒体に記憶されていてもよい。すなわち、上記の各機能構成および方法は、これを実現するための手順を含むコンピュータプログラム、あるいは、当該プログラムを記憶した非遷移的実体的記憶媒体としても表現可能である。
 本開示は、上記実施形態にて示された具体的な機能構成および動作例に限定されない。すなわち、例えば、「SAE J3016」に規定された運転自動化レベルに準拠すると、上記実施形態においては、システム上および/または表示上の運転自動化レベルの推移態様は、3-0-2、3-0-1、3-1-2、4-0-2、4-1-2、等であった。しかしながら、本開示は、かかる態様に限定されない。すなわち、例えば、かかる推移態様は、4-0-1、5-2-3、等であってもよい。すなわち、推移態様をLA-LB-LCとした場合に、LA≧3、LB≦2、LA>LC>LBであればよい。
 上記実施形態において、視線誘導および動作指示のための表示は、CID装置23にて実行された。しかしながら、本開示は、かかる態様に限定されない。すなわち、例えば、かかる表示は、端末装置24にて実行されてもよい。すなわち、HMI制御装置25は、端末装置24における表示画面に各種表示を実行させてもよい。
 視線誘導表示GAは、CIDディスプレイ231における、セカンドタスク画面表示領域である画面領域DA2内に表示されてもよい。視線誘導表示GA等の表示態様も、上記実施形態にて例示された具体例に限定されない。すなわち、例えば、視線誘導表示GAは、視線誘導方向に向かって流れる、流星あるいは彗星のような表示であってもよい。
 図8等に示された例において、車載システム10は、所定の緊急時処理として、休憩提案とMRMとのうちのいずれか一方のみを、道路状況に応じて選択的に実行してもよい。あるいは、車載システム10は、休憩提案をまず実行した後にMRMを実行してもよい。そして、車載システム10は、ドライバが休憩提案を受けてから所定時間経過しても、ドライバがレベル2に対応する運転体勢を取らず、あるいは休憩提案に対する何らの応答操作をも行わなかった場合、MRMを実行してもよい。その他、所定の緊急時処理の内容については、特段の限定はない。
 図4および図9の例において、運転自動化レベルが高自動化レベルすなわちレベル3から低自動化レベルすなわちレベル0またはレベル1に移行する移行タイミングは、運転交代動作終了タイミング(すなわち時刻T13)から変更され得る。具体的には、かかる移行タイミングは、運転交代動作終了タイミングから自動運転可能区間の終点に到達するタイミングの間(すなわち時刻T13~T14の間)で、適宜設定され得る。
 図15の例において、実際の運転自動化レベルが高自動化レベルすなわちレベル3から中自動化レベルすなわちレベル2に移行する移行タイミングは、運転交代動作終了タイミング(すなわち時刻T43)から変更され得る。具体的には、かかる移行タイミングは、時刻T43~T44の間で適宜設定され得る。図17等の例においても同様である。
 「取得」「算出」「推定」「検出」「検知」「決定」等の類似の表現は、技術的に矛盾しない範囲内において、相互に適宜置換可能である。「検出」あるいは「検知」と「抽出」とも、技術的に矛盾しない範囲内において、適宜置換可能である。
 上記実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、構成要素の個数、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数値に限定される場合等を除き、その特定の数値に本開示が限定されることはない。同様に、構成要素等の形状、方向、位置関係等が言及されている場合、特に必須であると明示した場合および原理的に特定の形状、方向、位置関係等に限定される場合等を除き、その形状、方向、位置関係等に本開示が限定されることはない。
 変形例も、上記の例示に限定されない。例えば、複数の実施形態のうちの1つにおける全部または一部と、他の1つにおける全部または一部とが、技術的に矛盾しない限り、互いに組み合わされ得る。組み合わせる数についても特段の限定はない。同様に、複数の変形例のうちの1つにおける全部または一部と、他の1つにおける全部または一部とが、技術的に矛盾しない限り、互いに組み合わされ得る。さらに、上記実施形態の全部または一部と、上記変形例の全部または一部とが、技術的に矛盾しない限り、互いに組み合わされ得る。要するに、上記各実施形態および各変形例は、技術的に矛盾しない限り、任意に組み合わされ得る。
 (まとめ)
 上記実施形態および変形例によって示された本開示は、HMI制御方法およびHMI制御プログラムに関する、以下の各観点を含む。なお、下記の各観点は、技術的に矛盾しない限り、互いに組み合わせて適用可能である。
 HMI制御方法は、自動運転可能な車両(1)のドライバにより視認可能に画像表示するHMI装置(20)を制御する方法である。HMI制御プログラムは、自動運転可能な車両(1)のドライバにより視認可能に画像表示するHMI装置(20)を制御するように構成されたHMI制御装置(25)により実行されるプログラムである。
 第1の観点によれば、前記HMI制御方法、および、前記HMI制御装置により実行される処理は、
 前記車両の運転を制御する運転制御装置(18)における運転自動化レベルの決定結果を取得する、自動化レベル取得処理と、
 前記自動化レベル取得処理にて取得した前記運転自動化レベルに応じて、前記HMI装置における画像表示動作を制御する、表示制御処理と、
 を有し、
 前記表示制御処理は、前記自動運転に含まれる前記運転自動化レベルである高自動化レベルを終了する場合、前記ドライバの状態であるドライバ状態として前記運転制御装置を含む車載システム(10)が操舵による横方向運動制御と加減速による縦方向運動制御とのうちの少なくともいずれか一方を実行しない前記運転自動化レベルである低自動化レベルを実行可能な低レベル対応状態を前記ドライバに取らせる動作指示表示を、前記HMI装置にて表示させる処理である。
 第2の観点によれば、前記表示制御処理は、前記高自動化レベルを終了して、前記高自動化レベルと前記低自動化レベルとの間の前記運転自動化レベルである中自動化レベルに移行する場合、前記低レベル対応状態を前記ドライバに取らせる前記動作指示表示を、前記HMI装置にて表示させる処理である。
 第3の観点によれば、前記HMI制御方法、および、前記HMI制御装置により実行される処理は、
 前記ドライバ状態を取得する、ドライバ状態取得処理と、
 前記ドライバによる入力操作を受け付ける、操作受付処理と、
 をさらに有し、
 前記表示制御処理は、前記ドライバ状態取得処理により取得された前記ドライバ状態が前記低レベル対応状態にて安定した場合、前記中自動化レベルの実行を承認する前記入力操作を促す承認要求表示を、前記HMI装置にて表示させる処理である。
 第4の観点によれば、前記表示制御処理は、前記高自動化レベルの継続時間、または、当該高自動化レベルを実行中の前記ドライバ状態が睡眠状態か否かに応じて、前記承認要求表示を前記HMI装置にて表示させる承認要求タイミング、または、前記中自動化レベルの実行を承認する前記入力操作を許可する承認許可タイミングを設定する処理である。
 第5の観点によれば、前記表示制御処理は、前記高自動化レベルの終了原因に応じて、前記低自動化レベルにおける前記運転自動化レベルを設定する処理である。
 第6の観点によれば、前記表示制御処理は、前記高自動化レベルの継続時間、または、当該高自動化レベルを実行中の前記ドライバ状態が睡眠状態か否かに応じて、前記低自動化レベルにおける前記運転自動化レベルを設定する処理である。
 第7の観点によれば、前記表示制御処理は、前記高自動化レベルの継続時間、または、当該高自動化レベルを実行中の前記ドライバ状態が睡眠状態か否かに応じて、前記動作指示表示を前記HMI装置にて表示させる動作指示タイミングを設定する処理である。
 第8の観点によれば、前記表示制御処理は、前記ドライバ状態としての運転姿勢の調整動作を含む主動作を指示する主動作指示表示と、前記ドライバ状態としての運転意識の調整動作を含む副動作を指示する副動作指示表示とを、前記動作指示表示として前記HMI装置にて表示させる処理である。
 第9の観点によれば、前記表示制御処理は、前記自動運転の実行中にドライバが実行可能なセカンドタスクを表示するセカンドタスク画面から、前記ドライバに対して前記車両の進行先側に配置された正面表示デバイス(21、22)に前記ドライバの視線を誘導する視線誘導表示を、前記セカンドタスク画面を表示する表示デバイス(23)に表示させる処理である。
 第10の観点によれば、前記正面表示デバイスはヘッドアップディスプレイ装置(22)である。
 第11の観点によれば、前記動作指示表示に対応する前記低自動化レベルは、前記高自動化レベルの終了から前記中自動化レベルの開始までの間に前記運転制御装置により実際に実行される前記運転自動化レベルとは異なる見掛け上の前記運転自動化レベルである。
 上記実施形態および変形例によって示された本開示は、運転制御方法および運転制御プログラムに関する、以下の各観点を含む。なお、下記の各観点は、技術的に矛盾しない限り、互いに組み合わせて適用可能である。
 運転制御方法は、自動運転可能な車両(1)の運転を制御する方法である。運転制御プログラムは、自動運転可能な車両(1)の運転を制御するように構成された運転制御装置(18)により実行されるプログラムである。
 第1の観点によれば、前記運転制御方法、および、前記運転制御装置により実行される処理は、
 前記車両の走行状況を取得する、走行状況取得処理と、
 前記走行状況取得処理により取得した前記走行状況に基づいて、運転自動化レベルを決定する、自動化レベル決定処理と、
 を有し、
 前記自動化レベル決定処理は、前記自動運転に含まれる前記運転自動化レベルである高自動化レベルを終了して、前記高自動化レベルよりも低レベルの前記運転自動化レベルである中自動化レベルに移行する場合、前記高自動化レベルから、前記中自動化レベルよりも低レベルの前記運転自動化レベルである低自動化レベルに一旦移行した後、前記中自動化レベルに移行する処理である。
 第2の観点によれば、
 前記ドライバによる運転操作状態を判定する、操作状態判定処理をさらに有し、
 前記自動化レベル決定処理は、前記操作状態判定処理にて前記低自動化レベルに対応した前記運転操作状態が安定したと判定したことを条件として、前記中自動化レベルの実行を許可する処理である。
 第3の観点によれば、前記自動化レベル決定処理は、前記高自動化レベルの終了原因に応じて、前記低自動化レベルにおける前記運転自動化レベルを設定する処理である。
 第4の観点によれば、前記自動化レベル決定処理は、前記高自動化レベルの継続時間、または、当該高自動化レベルを実行中の前記ドライバ状態が睡眠状態か否かに応じて、当該高自動化レベルから前記中自動化レベルに移行するまでの前記運転自動化レベルの変化態様を設定する処理である。
 第5の観点によれば、前記自動化レベル決定処理は、前記高自動化レベルの継続時間、または、当該高自動化レベルを実行中の前記ドライバ状態が睡眠状態か否かに応じて、前記低自動化レベルにおける前記運転自動化レベルを設定する処理である。
 第6の観点によれば、前記自動化レベル決定処理は、前記高自動化レベルを実行中の前記ドライバ状態が睡眠状態の場合、非睡眠状態の場合よりも、当該高自動化レベルを早く終了させる処理である。
 第7の観点によれば、
 前記自動化レベル決定処理は、
 前記高自動化レベルを実行中の前記ドライバ状態が睡眠状態の場合、前記高自動化レベルから、当該高自動化レベルと前記中自動化レベルとの間の前記運転自動化レベルであって前記自動運転に含まれるサブ高自動化レベルに一旦移行した後、前記低自動化レベルに移行し、
 前記高自動化レベルを実行中の前記ドライバ状態が非睡眠状態の場合、前記高自動化レベルから、前記サブ高自動化レベルに移行することなく前記低自動化レベルに移行する処理である。
 第8の観点によれば、前記自動化レベル決定処理は、前記継続時間が所定時間未満である場合、前記高自動化レベルから、前記低自動化レベルに移行することなく前記中自動化レベルに移行する理である。
 第9の観点によれば、前記運転制御方法、および、前記運転制御装置により実行される処理は、前記運転自動化レベルの移行に関連する移行関連表示をHMI装置(20)に実行させるように、前記HMI装置を制御するHMI制御装置(25)に表示指令情報を送信する、表示指令送信処理をさらに有する。
 第10の観点によれば、前記表示指令送信処理は、前記低自動化レベルに対応した前記運転操作状態が安定した場合、前記ドライバによる前記中自動化レベルの実行を承認する入力操作を促す承認要求表示を、前記HMI装置にて表示させる前記表示指令情報を送信する処理である。
 第11の観点によれば、前記表示指令送信処理は、前記高自動化レベルの継続時間、または、当該高自動化レベルを実行中の前記ドライバ状態が睡眠状態か否かに応じて、前記承認要求表示を前記HMI装置にて表示させる承認要求タイミング、または、前記中自動化レベルの実行を承認する前記入力操作を許可する承認許可タイミングを設定する処理である。
 第12の観点によれば、前記表示指令送信処理は、前記ドライバの状態であるドライバ状態としての運転姿勢の調整動作を含む主動作を指示する主動作指示表示と、前記ドライバ状態としての運転意識の調整動作を含む副動作を指示する副動作指示表示とを、前記HMI装置にて表示させる前記表示指令情報を送信する処理である。
 第13の観点によれば、前記表示指令送信処理は、前記高自動化レベルの継続時間、または、当該高自動化レベルを実行中の前記ドライバ状態が睡眠状態か否かに応じて、前記主動作指示表示を前記HMI装置にて表示させる動作指示タイミングを設定する処理である。
 第14の観点によれば、前記運転制御方法、および、前記運転制御装置により実行される処理は、
 前記ドライバ状態を取得する、ドライバ状態取得処理と、
 前記自動化レベル決定処理により決定した前記運転自動化レベルに基づいて、前記車両における操舵または加減速による運動制御を実行する、車両制御処理と、
 をさらに有し、
 前記主動作が実行されなかった場合、前記車両制御処理は所定の安全停止制御を実行し、
 前記主動作が実行されたにもかかわらず前記副動作が実行されなかった場合、前記車両制御処理は前記安全停止制御を実行しない一方、前記表示指令送信処理は前記HMI装置にて警告表示を表示させる前記表示指令情報を送信する処理である。
 第15の観点によれば、前記表示指令送信処理は、前記自動運転の実行中にドライバが実行可能なセカンドタスクを表示するセカンドタスク画面から、前記ドライバに対して前記車両の進行先側に配置された正面表示デバイス(21、22)に前記ドライバの視線を誘導する視線誘導表示を、前記セカンドタスク画面を表示する表示デバイス(23)に表示させる前記表示指令情報を送信する処理である。
 第16の観点によれば、前記正面表示デバイスはヘッドアップディスプレイ装置(22)である。

Claims (22)

  1.  自動運転可能な車両(1)のドライバにより視認可能に画像表示するHMI装置(20)を制御するように構成された、HMI制御装置(25)であって、
     前記車両の運転を制御する運転制御装置(18)における運転自動化レベルの決定結果を取得する、自動化レベル取得部(253)と、
     前記自動化レベル取得部にて取得した前記運転自動化レベルに応じて、前記HMI装置における画像表示動作を制御する、表示制御部(255)と、
     を備え、
     前記表示制御部は、前記自動運転に含まれる前記運転自動化レベルである高自動化レベルを終了する場合、前記ドライバの状態であるドライバ状態として前記運転制御装置を含む車載システム(10)が操舵による横方向運動制御と加減速による縦方向運動制御とのうちの少なくともいずれか一方を実行しない前記運転自動化レベルである低自動化レベルを実行可能な低レベル対応状態を前記ドライバに取らせる動作指示表示を、前記HMI装置にて表示させる、
     HMI制御装置。
  2.  前記表示制御部は、前記高自動化レベルを終了して、前記高自動化レベルと前記低自動化レベルとの間の前記運転自動化レベルである中自動化レベルに移行する場合、前記低レベル対応状態を前記ドライバに取らせる前記動作指示表示を、前記HMI装置にて表示させる、
     請求項1に記載のHMI制御装置。
  3.  前記ドライバ状態を取得する、ドライバ状態取得部(254)と、
     前記ドライバによる入力操作を受け付ける、操作受付部(256)と、
     をさらに備え、
     前記表示制御部は、前記ドライバ状態取得部により取得された前記ドライバ状態が前記低レベル対応状態にて安定した場合、前記中自動化レベルの実行を承認する前記入力操作を促す承認要求表示を、前記HMI装置にて表示させる、
     請求項2に記載のHMI制御装置。
  4.  前記表示制御部は、前記高自動化レベルの継続時間、または、当該高自動化レベルを実行中の前記ドライバ状態が睡眠状態か否かに応じて、前記承認要求表示を前記HMI装置にて表示させる承認要求タイミング、または、前記中自動化レベルの実行を承認する前記入力操作を許可する承認許可タイミングを設定する、
     請求項3に記載のHMI制御装置。
  5.  前記表示制御部は、前記高自動化レベルの終了原因に応じて、前記低自動化レベルにおける前記運転自動化レベルを設定する、
     請求項1~4のいずれか1つに記載のHMI制御装置。
  6.  前記表示制御部は、前記高自動化レベルの継続時間、または、当該高自動化レベルを実行中の前記ドライバ状態が睡眠状態か否かに応じて、前記低自動化レベルにおける前記運転自動化レベルを設定する、
     請求項1~5のいずれか1つに記載のHMI制御装置。
  7.  前記表示制御部は、前記高自動化レベルの継続時間、または、当該高自動化レベルを実行中の前記ドライバ状態が睡眠状態か否かに応じて、前記動作指示表示を前記HMI装置にて表示させる動作指示タイミングを設定する、
     請求項1~6のいずれか1つに記載のHMI制御装置。
  8.  前記表示制御部は、前記ドライバ状態としての運転姿勢の調整動作を含む主動作を指示する主動作指示表示と、前記ドライバ状態としての運転意識の調整動作を含む副動作を指示する副動作指示表示とを、前記動作指示表示として前記HMI装置にて表示させる、
     請求項1~7のいずれか1つに記載のHMI制御装置。
  9.  自動運転可能な車両(1)の運転を制御するように構成された、運転制御装置(18)であって、
     前記車両の走行状況を取得する、走行状況取得部(181)と、
     前記走行状況取得部により取得した前記走行状況に基づいて、運転自動化レベルを決定する、自動化レベル決定部(184)と、
     を備え、
     前記自動化レベル決定部は、前記自動運転に含まれる前記運転自動化レベルである高自動化レベルを終了して、前記高自動化レベルよりも低レベルの前記運転自動化レベルである中自動化レベルに移行する場合、前記高自動化レベルから、前記中自動化レベルよりも低レベルの前記運転自動化レベルである低自動化レベルに一旦移行した後、前記中自動化レベルに移行する、
     運転制御装置。
  10.  ドライバによる運転操作状態を判定する、操作状態判定部(183)をさらに備え、
     前記自動化レベル決定部は、前記操作状態判定部にて前記低自動化レベルに対応した前記運転操作状態が安定したと判定したことを条件として、前記中自動化レベルの実行を許可する、
     請求項9に記載の運転制御装置。
  11.  前記自動化レベル決定部は、前記高自動化レベルの終了原因に応じて、前記低自動化レベルにおける前記運転自動化レベルを設定する、
     請求項9または10に記載の運転制御装置。
  12.  前記自動化レベル決定部は、前記高自動化レベルの継続時間、または、当該高自動化レベルを実行中のドライバ状態が睡眠状態か否かに応じて、当該高自動化レベルから前記中自動化レベルに移行するまでの前記運転自動化レベルの変化態様を設定する、
     請求項9~11のいずれか1つに記載の運転制御装置。
  13.  前記自動化レベル決定部は、前記高自動化レベルの継続時間、または、当該高自動化レベルを実行中のドライバ状態が睡眠状態か否かに応じて、前記低自動化レベルにおける前記運転自動化レベルを設定する、
     請求項12に記載の運転制御装置。
  14.  前記自動化レベル決定部は、前記高自動化レベルを実行中のドライバ状態が睡眠状態の場合、非睡眠状態の場合よりも、当該高自動化レベルを早く終了させる、
     請求項12または13に記載の運転制御装置。
  15.  前記自動化レベル決定部は、
     前記高自動化レベルを実行中のドライバ状態が睡眠状態の場合、前記高自動化レベルから、当該高自動化レベルと前記中自動化レベルとの間の前記運転自動化レベルであって前記自動運転に含まれるサブ高自動化レベルに一旦移行した後、前記低自動化レベルに移行し、
     前記高自動化レベルを実行中のドライバ状態が非睡眠状態の場合、前記高自動化レベルから、前記サブ高自動化レベルに移行することなく前記低自動化レベルに移行する、
     請求項12~14のいずれか1つに記載の運転制御装置。
  16.  前記自動化レベル決定部は、前記高自動化レベルの継続時間が所定時間未満である場合、前記高自動化レベルから、前記低自動化レベルに移行することなく前記中自動化レベルに移行する、
     請求項12~15のいずれか1つに記載の運転制御装置。
  17.  前記運転自動化レベルの移行に関連する移行関連表示をHMI装置(20)に実行させるように、前記HMI装置を制御するHMI制御装置(25)に表示指令情報を送信する、表示指令送信部(186)をさらに備えた、
     請求項9~16のいずれか1つに記載の運転制御装置。
  18.  前記表示指令送信部は、前記低自動化レベルに対応したドライバによる運転操作状態が安定した場合、前記ドライバによる前記中自動化レベルの実行を承認する入力操作を促す承認要求表示を、前記HMI装置にて表示させる前記表示指令情報を送信する、
     請求項17に記載の運転制御装置。
  19.  前記表示指令送信部は、前記高自動化レベルの継続時間、または、当該高自動化レベルを実行中のドライバ状態が睡眠状態か否かに応じて、前記承認要求表示を前記HMI装置にて表示させる承認要求タイミング、または、前記中自動化レベルの実行を承認する前記入力操作を許可する承認許可タイミングを設定する、
     請求項18に記載の運転制御装置。
  20.  前記表示指令送信部は、ドライバ状態としての運転姿勢の調整動作を含む主動作を指示する主動作指示表示と、ドライバ状態としての運転意識の調整動作を含む副動作を指示する副動作指示表示とを、前記HMI装置にて表示させる前記表示指令情報を送信する、
     請求項17~19のいずれか1つに記載の運転制御装置。
  21.  前記表示指令送信部は、前記高自動化レベルの継続時間、または、当該高自動化レベルを実行中のドライバ状態が睡眠状態か否かに応じて、前記主動作指示表示を前記HMI装置にて表示させる動作指示タイミングを設定する、
     請求項20に記載の運転制御装置。
  22.  ドライバ状態を取得する、ドライバ状態取得部(182)と、
     前記自動化レベル決定部により決定した前記運転自動化レベルに基づいて、前記車両における操舵または加減速による運動制御を実行する、車両制御部(185)と、
     をさらに備え、
     前記主動作が実行されなかった場合、前記車両制御部は所定の安全停止制御を実行し、
     前記主動作が実行されたにもかかわらず前記副動作が実行されなかった場合、前記車両制御部は前記安全停止制御を実行しない一方、前記表示指令送信部は前記HMI装置にて警告表示を表示させる前記表示指令情報を送信する、
     請求項20または21に記載の運転制御装置。
PCT/JP2020/047991 2020-01-17 2020-12-22 運転制御装置およびhmi制御装置 WO2021145170A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112020006541.3T DE112020006541T5 (de) 2020-01-17 2020-12-22 Fahrsteuervorrichtung und HMI-Steuervorrichtung
CN202080093133.1A CN115004277A (zh) 2020-01-17 2020-12-22 驾驶控制装置以及hmi控制装置
US17/862,524 US20220340156A1 (en) 2020-01-17 2022-07-12 Driving control device and hmi control device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020-006066 2020-01-17
JP2020006066 2020-01-17
JP2020-204442 2020-12-09
JP2020204442A JP7375735B2 (ja) 2020-01-17 2020-12-09 運転制御装置およびhmi制御装置、ならびに運転制御プログラムおよびhmi制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/862,524 Continuation US20220340156A1 (en) 2020-01-17 2022-07-12 Driving control device and hmi control device

Publications (1)

Publication Number Publication Date
WO2021145170A1 true WO2021145170A1 (ja) 2021-07-22

Family

ID=76863682

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047991 WO2021145170A1 (ja) 2020-01-17 2020-12-22 運転制御装置およびhmi制御装置

Country Status (5)

Country Link
US (1) US20220340156A1 (ja)
JP (1) JP2023184573A (ja)
CN (1) CN115004277A (ja)
DE (1) DE112020006541T5 (ja)
WO (1) WO2021145170A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3739550A4 (en) * 2018-01-11 2021-09-29 Pioneer Corporation INFORMATION RECORDING DEVICE, INFORMATION RECORDING METHOD, AND INFORMATION RECORDING PROGRAM
KR20220063856A (ko) * 2020-11-10 2022-05-18 현대자동차주식회사 자율 주행 제어 방법 및 장치
US11919515B2 (en) * 2020-12-28 2024-03-05 Honda Motor Co., Ltd. Vehicle control device and vehicle control method
US20230036945A1 (en) * 2021-07-23 2023-02-02 GM Global Technology Operations LLC Allocation of non-monitoring periods during automated control of a device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016115356A (ja) * 2014-12-12 2016-06-23 ソニー株式会社 自動運転制御装置および自動運転制御方法、並びにプログラム
WO2018066023A1 (ja) * 2016-10-03 2018-04-12 三菱電機株式会社 運転権限移行判定装置および運転権限移行判定方法
WO2019003294A1 (ja) * 2017-06-27 2019-01-03 本田技研工業株式会社 車両制御装置
JP2019023079A (ja) * 2011-02-18 2019-02-14 本田技研工業株式会社 運転者の挙動に応答するシステムおよび方法
JP2019127078A (ja) * 2018-01-22 2019-08-01 パイオニア株式会社 表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6439667B2 (ja) 2015-12-11 2018-12-19 トヨタ自動車株式会社 車載警告システム
US20200377126A1 (en) * 2016-10-03 2020-12-03 Mitsubishi Electric Corporation Information output control device and information output control method
JP6686869B2 (ja) * 2016-12-22 2020-04-22 株式会社デンソー 運転交代制御装置、及び運転交代制御方法
WO2019208450A1 (ja) * 2018-04-27 2019-10-31 パナソニックIpマネジメント株式会社 運転支援装置、運転支援方法及びプログラム
JP7048441B2 (ja) 2018-07-12 2022-04-05 ダイコク電機株式会社 遊技機
JP7278580B2 (ja) 2019-06-19 2023-05-22 中興化成工業株式会社 トレー

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019023079A (ja) * 2011-02-18 2019-02-14 本田技研工業株式会社 運転者の挙動に応答するシステムおよび方法
JP2016115356A (ja) * 2014-12-12 2016-06-23 ソニー株式会社 自動運転制御装置および自動運転制御方法、並びにプログラム
WO2018066023A1 (ja) * 2016-10-03 2018-04-12 三菱電機株式会社 運転権限移行判定装置および運転権限移行判定方法
WO2019003294A1 (ja) * 2017-06-27 2019-01-03 本田技研工業株式会社 車両制御装置
JP2019127078A (ja) * 2018-01-22 2019-08-01 パイオニア株式会社 表示装置

Also Published As

Publication number Publication date
DE112020006541T5 (de) 2022-12-01
US20220340156A1 (en) 2022-10-27
JP2023184573A (ja) 2023-12-28
CN115004277A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
WO2021145170A1 (ja) 運転制御装置およびhmi制御装置
WO2021111924A1 (ja) Hmi制御装置、hmi制御方法、およびhmi制御プログラム
CN110678371A (zh) 车辆控制系统、车辆控制方法及车辆控制程序
WO2021166509A1 (ja) 運転制御装置およびhmi制御装置
JP6515519B2 (ja) 車両用表示制御装置及び車両用表示制御方法
JP2018076027A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP2019031138A (ja) 表示システム、表示方法、およびプログラム
JP7180661B2 (ja) Hmi制御装置、hmi制御方法、hmi制御プログラム、および運転制御装置
CN109890662B (zh) 车辆控制系统、车辆控制方法及存储介质
JP2018083516A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
US20230286509A1 (en) Hmi control apparatus and driving control apparatus
US20230013492A1 (en) Presentation control device and non-transitory computer readable storage medium
JP7375735B2 (ja) 運転制御装置およびhmi制御装置、ならびに運転制御プログラムおよびhmi制御プログラム
JP2023171445A (ja) Hmi制御装置およびhmi制御プログラム
US20220379727A1 (en) Hmi control device and non-transitory computer readable storage medium
US20230074566A1 (en) Driving assistance device, driving assistance method, and non-transitory computer readable medium storing driving assistance program
JP7259832B2 (ja) 運転制御装置、hmi制御装置、運転制御プログラム、およびhmi制御プログラム
JP2021091394A (ja) Hmi制御装置、hmi制御方法、およびhmi制御プログラム
WO2023002797A1 (ja) 制御装置
JP7283464B2 (ja) Hmi制御装置およびhmi制御プログラム
US20240083459A1 (en) Vehicle control device and vehicle control method
US20240042858A1 (en) Vehicle display system, vehicle display method, and storage medium storing vehicle display program
JP2022082418A (ja) Hmi制御装置および運転制御装置
JP2024014908A (ja) 車両用渋滞判断装置、および車両用表示制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20913115

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20913115

Country of ref document: EP

Kind code of ref document: A1