WO2018135318A1 - 車両制御装置及び車両制御方法 - Google Patents

車両制御装置及び車両制御方法 Download PDF

Info

Publication number
WO2018135318A1
WO2018135318A1 PCT/JP2018/000095 JP2018000095W WO2018135318A1 WO 2018135318 A1 WO2018135318 A1 WO 2018135318A1 JP 2018000095 W JP2018000095 W JP 2018000095W WO 2018135318 A1 WO2018135318 A1 WO 2018135318A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
driving
penalty
level
vehicle
Prior art date
Application number
PCT/JP2018/000095
Other languages
English (en)
French (fr)
Inventor
英史 大場
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/466,704 priority Critical patent/US20190329791A1/en
Priority to JP2018563270A priority patent/JP6946351B2/ja
Priority to DE112018000443.0T priority patent/DE112018000443T5/de
Publication of WO2018135318A1 publication Critical patent/WO2018135318A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/12—Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/063—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver preventing starting of vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224—Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244—Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/02—Registering or indicating driving, working, idle, or waiting time only

Definitions

  • the present technology relates to a vehicle control device and a vehicle control method, and more particularly, to a vehicle control device and a vehicle control method that can perform automatic driving more safely.
  • Patent Document 1 and Patent Document 2 do not discuss preventing the driver from depending on automatic driving.
  • This technology has been made in view of such a situation, and makes it possible to perform automatic driving more safely.
  • the vehicle control device includes a driver monitoring unit that detects a driving intervention level that indicates a degree that a driver is intervening in driving the vehicle, and the driving control level when the driving intervention level is insufficient.
  • a penalty application unit that applies a penalty that is disadvantageous to the user.
  • the penalty application unit may apply the penalty when the driving intervention level is insufficient when the level of automatic driving transitions from a level not intervening by the driver to an intervening level. it can.
  • a driving support control unit that restricts driving operation can be further provided until the driver appropriately responds to the given instruction.
  • the penalty application unit can apply the penalty when the driving intervention level is insufficient even after the process of calling the driver's attention is performed before the penalty is applied.
  • the penalty application unit can apply the penalty based on at least one of the occurrence frequency and occurrence frequency of the state where the operation intervention level is insufficient.
  • the penalty application unit can change the penalty to be applied.
  • the penalty may make the driver uncomfortable or reduce the convenience of the driver.
  • the penalty may include bringing the backrest of the driver's seat closer to a direction perpendicular to the seating surface.
  • the penalty may include limiting the upper speed limit of the vehicle.
  • the penalty may include limiting the automatic driving function of the vehicle.
  • the penalty may include changing the travel route so that the route requires a driving intervention by the driver.
  • the penalty application unit can apply the penalty after the vehicle arrives at the destination or after the vehicle is forcibly stopped.
  • the penalty application unit can be prohibited from starting the vehicle for a predetermined period.
  • the penalty application unit may record information on the penalty applied after the vehicle arrives at the destination or after the vehicle is forcibly stopped.
  • the driver monitoring unit can determine whether or not the driving intervention level is insufficient based on different conditions depending on the level of automatic driving.
  • the penalty application unit can stop the application of the penalty when the lack of the operation intervention level is resolved.
  • a driver state detection unit that detects at least one of the driver's reactivity and arousal level is further provided, and the driver monitoring unit uses at least one of the driver's reactivity and arousal level. Thus, the operation intervention level can be detected.
  • the driver state detection unit can detect at least one of the driver's reactivity and arousal level based on the driver's reaction to the stimulus or instruction given to the driver.
  • the driver state detection unit can be given an instruction via an information processing device used by the driver.
  • the vehicle control method includes a driver monitoring step of detecting a driving intervention level indicating a level at which the driver is intervening in driving the vehicle, and the driving operation when the driving intervention level is insufficient.
  • the driving intervention level of the driver is corrected. As a result, automatic operation can be performed more safely.
  • FIG. 1 shows a configuration example of an automatic driving system 10 to which the present technology is applied.
  • the automatic driving system 10 includes a vehicle control system 11 and a mobile terminal 12.
  • the vehicle control system 11 includes a peripheral photographing unit 21, a peripheral information acquisition unit 22, a position measurement unit 23, an input unit 24, a vehicle information acquisition unit 25, a driver monitoring unit 26, a communication unit 27, a vehicle control unit 28, and a display unit 29. , An audio output unit 30, a light emitting unit 31, an odor generating unit 32, a travel control unit 33, an in-vehicle device control unit 34, and a storage unit 35.
  • the peripheral photographing unit 21 includes various photographing devices such as a mono camera, a stereo camera, a Tof (Time-of-Flight) camera, a polarization camera, a time-gated camera, a multispectral camera, and an invisible light camera such as infrared light. Taking a picture of the periphery of the vehicle including the traveling direction of the vehicle.
  • the peripheral photographing unit 21 supplies an image obtained by photographing (hereinafter referred to as a peripheral image) to the vehicle control unit 28.
  • the surrounding information acquisition unit 22 includes various sensors such as a sonar, a radar, a lidar, a temperature sensor, and a humidity sensor, and acquires information about the surroundings of the vehicle.
  • the peripheral information acquisition unit 22 acquires information about the environment around the vehicle such as temperature, humidity, weather, road surface condition, and information about the object around the vehicle such as the type and position of the object around the vehicle. To do.
  • the peripheral information acquisition unit 22 supplies the acquired peripheral information to the vehicle control unit 28.
  • the position measurement unit 23 measures the current position of the vehicle using a satellite navigation system such as GNSS (Global Navigation Satellite System) that measures the current position using an artificial satellite.
  • GNSS Global Navigation Satellite System
  • the position measurement unit 23 supplies the measurement result to the vehicle control unit 28.
  • the input unit 24 includes input devices such as a microphone, a button, a switch, a touch panel, and a gesture recognition device, and receives input of instructions, data, and the like of passengers of the vehicle including the driver.
  • the input unit 24 supplies the input instruction and data to the vehicle control unit 28.
  • the vehicle information acquisition unit 25 acquires vehicle information including various information related to the vehicle. For example, the vehicle information acquisition unit 25 acquires information related to vehicle movement such as vehicle speed, acceleration, angular velocity, and traveling direction. In addition, the vehicle information acquisition unit 25 includes, for example, operation timing and operation amount for an accelerator pedal, a brake pedal, a steering wheel, a parking brake, a shift lever, a direction indicator lever, a power (ignition) switch, a lamp switch, a wiper switch, and the like. Get information about driving operations. Furthermore, the vehicle information acquisition part 25 acquires the information regarding the state of vehicles, such as the state of each part of a vehicle, and the presence or absence of a failure. The vehicle information acquisition unit 25 supplies the acquired vehicle information to the vehicle control unit 28.
  • the vehicle information acquisition unit 25 supplies the acquired vehicle information to the vehicle control unit 28.
  • the driver monitoring unit 26 monitors the driver and supplies the monitoring result to the vehicle control unit 28 as described later with reference to FIG.
  • the communication unit 27 includes communication devices of various communication methods.
  • the communication unit 27 includes a communication device that performs wireless communication by DSRC (Dedicated Short Range Communication), communicates with an ITS (Intelligent Transport Systems) spot installed along a road, and acquires an LDM (Local Dynamic Map).
  • LDM is, for example, static information including road surface information, lane information, 3D structure information, etc., traffic regulation information, road construction information, quasi-static information including wide area weather information, accident information, traffic jam information, narrow area Semi-dynamic information including weather information and the like, and dynamic information including surrounding vehicle and pedestrian information, signal information and the like are included.
  • the communication unit 27 includes a communication device that performs communication in accordance with a communication standard (such as 3G / 4G / LTE (Long Term Evolution)) with which a mobile phone communicates, and maps from a server or the like via a network such as the Internet. Acquire various information such as data.
  • a communication standard such as 3G / 4G / LTE (Long Term Evolution)
  • LTE Long Term Evolution
  • the communication unit 27 includes a beacon device, communicates with a roadside device installed on the roadside to support safe driving, and acquires various types of traffic information.
  • the communication unit 27 includes a short-range wireless communication device such as Bluetooth (registered trademark), communicates with the mobile terminal 12 and transmits / receives various information.
  • a short-range wireless communication device such as Bluetooth (registered trademark)
  • Bluetooth registered trademark
  • the communication unit 27 supplies the acquired information to the vehicle control unit 28.
  • the communication unit 27 acquires information to be transmitted to other communication devices and the like from the vehicle control unit 28.
  • the vehicle control unit 28 includes an ECU (Electronic Control Unit) and the like, and controls each unit of the vehicle control system 11 as described later with reference to FIG.
  • ECU Electronic Control Unit
  • the display unit 29 includes, for example, various display devices, and displays various images and information under the control of the vehicle control unit 28.
  • the display unit 29 includes a transmissive display provided in a part of a head-up display or a windshield, and displays an image or information superimposed on the driver's field of view.
  • the display unit 29 includes an instrument panel, a display of a car navigation system, and the like.
  • the voice output unit 30 includes, for example, a speaker, an alarm, a buzzer, and the like, and outputs voice information, a warning sound, and the like under the control of the vehicle control unit 28.
  • the light emitting unit 31 includes, for example, a light emitting device such as an LED (Light) Emitting Diode), a lamp, etc., and is a light intended for notifying various information to the driver and calling attention under the control of the vehicle control unit 28. Lights up or blinks.
  • a light emitting device such as an LED (Light) Emitting Diode), a lamp, etc.
  • the odor generating unit 32 includes, for example, a generator that generates bad odors and a deodorizer that performs deodorization.
  • the odor generating unit 32 generates odors or deodorizes the generated odors under the control of the vehicle control unit 28.
  • the deodorizer is not always necessary, and the generation of malodor may be made transient by deodorizing by self-neutralization after the malodor has diffused into the air.
  • the traveling control unit 33 controls devices related to traveling of the vehicle among various devices mounted on the vehicle under the control of the vehicle control unit 28.
  • the travel control unit 33 includes an engine control device that controls engine operation, a motor control device that controls motor operation, a brake control device that controls brake operation, a steering control device that controls steering operation, and the like. .
  • the in-vehicle device control unit 34 controls devices other than devices related to traveling of the vehicle among various devices mounted on the vehicle. For example, the in-vehicle device control unit 34 controls an actuator that controls the inclination of the seat, an actuator that vibrates the seat, an actuator that vibrates the steering wheel, and the like.
  • the storage unit 35 stores programs and data necessary for processing of the vehicle control system 11.
  • the storage unit 35 stores a log relating to driving of the vehicle, a face image used for driver authentication, recognition identification extraction information, a learning result of various characteristics of the driver, and the like. Note that it is not always necessary to store all the information in the storage unit 35.
  • the information may be transmitted and stored in a remote server or the like via the communication unit 27.
  • FIG. 2 shows a configuration example of the driver monitoring unit 26 and the vehicle control unit 28 of the vehicle control system 11.
  • the driver monitoring unit 26 includes a driver imaging unit 101, a biological information acquisition unit 102, a line-of-sight detection unit 103, and an authentication unit 104.
  • the driver photographing unit 101 includes a photographing device and photographs the driver.
  • the photographing range of the driver photographing unit 101 includes at least a portion above the neck of the driving driver and may include a wider range.
  • the driver photographing unit 101 supplies an image obtained by photographing (hereinafter referred to as a driver image) to the vehicle control unit 28.
  • a dedicated light source such as a light source that emits Structured Light or a light source of a specific wavelength including infrared light. You may do it.
  • the biological information acquisition unit 102 includes a sensor that detects various biological information of the driver.
  • the biological information acquired by the biological information acquisition unit 102 includes, for example, a pulse, an electrocardiogram, body temperature, body odor, skin temperature, respiratory state, alcohol content, and the like.
  • the biometric information acquisition unit 102 supplies the acquired driver biometric information to the vehicle control unit 28.
  • the line-of-sight detection unit 103 detects the direction of the driver's face, the direction of the line of sight, blink, and eye movement (for example, fixation, saccade, etc.) based on the driver image.
  • the line-of-sight detection unit 103 further performs attention level evaluation and arousal level analysis of the driver from the dynamic analysis of the line of sight, and supplies the detection result and the analysis result to the vehicle control unit 28.
  • the authentication unit 104 authenticates the driver based on, for example, iris authentication and fingerprints from the driver image and the line-of-sight analysis image, and the individual unique pulse wave waveform included in the pulse wave.
  • the authentication unit 14 supplies the authentication result to the vehicle control unit 28.
  • the vehicle control unit 28 includes a periphery monitoring unit 121, a driver monitoring unit 122, an automatic driving control unit 123, a notification control unit 124, a penalty application unit 125, a log generation unit 126, and a learning unit 127.
  • the periphery monitoring unit 121 monitors the periphery of the vehicle based on the peripheral image from the peripheral photographing unit 21, the peripheral information from the peripheral information acquisition unit 22, and various information from the communication unit 27.
  • the driver monitoring unit 122 includes vehicle information from the vehicle information acquisition unit 25, a driver image from the driver photographing unit 101, driver biometric information from the biometric information acquisition unit 102, detection results by the line-of-sight detection unit 103, and authentication. The driver is monitored based on the authentication result by the unit 104, the learning result by the learning unit 127, and the like.
  • the driver monitoring unit 122 includes a driving behavior analysis unit 141, a driver state detection unit 142, and a driving intervention level detection unit 143.
  • the driving behavior analysis unit 141 is based on the driver image, the vehicle information, the learning result by the learning unit 127, and the like. ).
  • the driver state detection unit 142 authenticates the specific driving based on the driver image, the driver's biological information, the detection result by the line-of-sight detection unit 103, the authentication result by the authentication unit 104, the learning result by the learning unit 127, and the like. Detection of the person's condition.
  • the driving intervention level detection unit 143 is based on the analysis result of the driving behavior of the driver, the detection result of the driver state, and the automation level set by the automation level setting unit 152.
  • the operation intervention level indicating the degree to which the vehicle is present is detected.
  • the automatic operation control unit 123 controls automatic operation.
  • the automatic driving control unit 123 includes a route setting unit 151, an automation level setting unit 152, and a driving support control unit 153.
  • the route setting unit 151 corrects the current position of the vehicle measured by the position measurement unit 23 based on the acceleration and angular velocity of the vehicle included in the vehicle information of the vehicle information acquisition unit 25. Further, the route setting unit 151 is based on peripheral information from the peripheral information acquisition unit 22, LDM acquired via the communication unit 27, map data, map update information, map data stored in the storage unit 35, and the like. The travel route to the destination input via the input unit 24 is set.
  • the automation level setting unit 152 sets the distribution of the automation level on the travel route based on the peripheral information from the peripheral information acquisition unit 22 and the LDM and traffic information acquired via the communication unit 27. Further, the automation level setting unit 152 sets the automation level based on the distribution of the automation level, the user setting input via the input unit 24, the instruction from the penalty application unit 125, and the like.
  • the automation level indicates the level of automatic operation, in other words, the degree of automation of operation, and details will be described later with reference to FIG.
  • the driving support control unit 153 realizes automatic driving by controlling the driving control unit 33 according to the set automation level and supporting driving by the driver.
  • the driving assistance control unit 153 performs driving assistance such as ACC (Adaptive Cruise Control), LKAS (Lane Keep Assist System), TJA (Traffic Jam Assist), and AEBS (Advanced Emergency Braking System).
  • the driving support control unit 153 is more sophisticated and complicated than the driving support described above (for example, overtaking including lane change) in a traveling section of automation level 3 (described later) or in an urban area or the like. You may perform driving assistance by autonomous driving etc. with advanced situation judgments including pedestrians and bicycles.
  • the notification control unit 124 controls the display unit 29, the audio output unit 30, and the light emitting unit 31 to notify various information to the driver and alert the driver. Further, the notification control unit 124 may perform notification of various information to the driver, alerting, and the like using an actuator or the like controlled by the in-vehicle device control unit 34, for example.
  • the penalty application unit 125 controls the display unit 29, the audio output unit 30, the light emitting unit 31, the odor generating unit 32, the travel control unit 33, and the in-vehicle device control unit 34 based on the detection result of the driving intervention level. Apply driver penalties as needed. In addition, the penalty application unit 125 controls the log generation unit 126 to record information for applying a penalty in the log.
  • the penalty is, for example, a disadvantage to the driver as long as it does not interfere with driving in order to correct the driving intervention level of the driver.
  • a method of giving a disadvantage to the driver for example, the driver is uncomfortable or the convenience of the driver is lowered.
  • the log generation unit 126 generates and updates a log that records various events that have occurred in the vehicle.
  • the log generation unit 126 stores the generated or updated log in the storage unit 35.
  • FIG. 3 shows a part of the installation example of the vehicle control system 11.
  • the driver monitoring unit 26 is provided, for example, near the dashboard in front of the steering wheel 171.
  • the odor generating unit 32 is provided, for example, in an air conditioner provided on a dashboard.
  • an actuator for vibrating the steering wheel 171 is provided under the control of the in-vehicle device control unit 34.
  • an actuator for vibrating the seat 172 is provided under the control of the in-vehicle device control unit 34.
  • FIG. 4 shows an example of the automation level.
  • SAE Society of Automotive Engineers
  • the automation level is divided into 6 levels from level 0 to level 5.
  • Automation level 0 is referred to as “no driving automation”. At automation level 0, the driver performs all driving tasks.
  • Automation level 1 is called “driver assistance”.
  • a system that performs automatic driving hereinafter, simply referred to as a system
  • Automation level 2 is called “partial operation automation”. At automation level 2, the system performs subtasks of driving tasks related to both front and rear and left and right vehicle control.
  • Automation level 3 is called “conditional operation automation”. At automation level 3, the system performs all driving tasks within a limited area. Accordingly, the driver can perform tasks and actions other than driving, for example, operation of the mobile terminal 12, telephone conference, video viewing, game, thinking, conversation with other passengers, and the like while the vehicle is running. . However, it is expected that a driver appropriately performs a response such as a driving operation in response to a system request or the like at the time of a preliminary response (during fallback) due to a system failure or a deterioration of a driving environment.
  • Automation level 4 is called “advanced driving automation”. At automation level 4, the system performs all driving tasks within a limited area. Further, it is not expected that the driver performs a driving operation or the like during the preliminary response (during fallback). Therefore, for example, the driver can take a nap while the vehicle is traveling.
  • Automation level 5 is called “complete automation”. At automation level 5, the system performs all driving tasks in all areas. In addition, it is not expected that the driver performs a driving operation or the like during the preliminary response (during fallback). Furthermore, in the automation level 5, since it is assumed that the driver is always absent in the vehicle during traveling, driving by the driver cannot be expected in the entire process. For this reason, fallback is not allowed, and for example, it is necessary for the system to be able to cope with all abnormalities, or for a complete route that does not cause an unexpected situation.
  • the driver performs all or a part of the driving task, and monitoring related to the safe driving and the corresponding subject is the driver.
  • the driver is required to have the ability to always return to driving as needed. Therefore, the driver is not allowed to engage in a secondary task other than driving that impairs attention reduction or forward attention during driving.
  • the system carries out all the operation tasks, and the monitoring and response subject relating to the safe driving is the system.
  • the driver may need to perform a driving operation.
  • the section is set to the automation level 2 or lower, and the driver needs to intervene in the driving. .
  • manual driving that requires a driver to directly influence the driving of the vehicle in some form is referred to as manual driving. Therefore, manual operation is performed in automation level 0 to automation level 2.
  • autonomous driving driving that does not require any driver intervention
  • the autonomous automatic operation is basically performed.
  • step S1 the driver monitoring unit 26 authenticates the driver. Specifically, the driver photographing unit 101 of the driver monitoring unit 26 photographs the driver.
  • the authentication unit 104 recognizes the driver's face in the driver image obtained by photographing. For example, the authentication unit 104 specifies the driver by searching for a face image that matches the driver's face from the face images of one or more users stored in the storage unit 35. The authentication unit 104 determines that the authentication has succeeded when the driver can be specified, and determines that the authentication has failed when the driver cannot be specified.
  • the authentication unit 104 supplies the driver authentication result to the vehicle control unit 28.
  • the vehicle may be prohibited from traveling.
  • the driver may be permitted to run the vehicle by performing a predetermined operation in an environment in which security is ensured and performing a new user registration.
  • driver authentication is to correlate the characteristics of the driver's driving operation with the driver's condition, and to control the vehicle and apply penalties accordingly. It is. Therefore, it is not always necessary to use the authentication result for permission / prohibition control of vehicle travel. This makes it possible to travel in an unauthenticated state, for example, in an emergency. In addition, for example, you may make it notify the circumference
  • step S2 the log generation unit 126 starts recording a log. Details of the log will be described later with reference to FIG.
  • step S3 the vehicle control unit 28 acquires a destination. Specifically, a vehicle occupant (not necessarily a driver) inputs a destination via the input unit 24. The input unit 24 supplies information indicating the acquired destination to the vehicle control unit 28.
  • step S4 the vehicle control system 11 starts acquiring peripheral information.
  • the surrounding photographing unit 21 starts photographing of the traveling direction of the vehicle and surroundings, and supply of the surrounding image obtained by the photographing to the vehicle control unit 28.
  • the peripheral information acquisition unit 22 starts acquiring peripheral information related to the environment and objects around the vehicle, and starts supplying the peripheral information to the vehicle control unit 28.
  • the vehicle information acquisition unit 25 starts acquisition of vehicle information and supply to the vehicle control unit 28.
  • the position measurement unit 23 starts measuring the current position of the vehicle and supplying the measurement result to the vehicle control unit 28.
  • the communication unit 27 starts receiving an LDM (Local Dynamic Map) from an ITS spot (not shown) and supplying the LDM to the vehicle control unit 28. Further, the communication unit 27 starts receiving map data and the like from a server (not shown) and supplying map data and the like to the vehicle control unit 28. The map data may be stored in the storage unit 35 in advance, and the vehicle control unit 28 may acquire the map data from the storage unit 35. Further, the communication unit 27 starts receiving various traffic information from a roadside machine (not shown) and supplying the traffic information to the vehicle control unit 28.
  • LDM Local Dynamic Map
  • map information information relating to maps such as LDM and map data is collectively referred to as map information.
  • the periphery monitoring unit 121 starts monitoring the periphery of the vehicle based on the peripheral image from the peripheral photographing unit 21, the peripheral information from the peripheral information acquisition unit 22, and various information from the communication unit 27.
  • the route setting unit 151 appropriately corrects the current position of the vehicle based on the information acquired from the periphery monitoring unit 121 and the acceleration and angular velocity of the vehicle included in the vehicle information supplied from the vehicle information acquisition unit 25. . Thereby, for example, the estimation error of the current position of the vehicle due to the information that does not reflect the change in time in the map information or the error of the position measurement unit 23 is corrected.
  • step S5 the route setting unit 151 starts setting the travel route. Specifically, the route setting unit 151 sets a travel route from the current position to the destination based on the map information while considering the driving ability of the driver. In addition, the route setting unit 151 changes the travel route as needed based on information such as time zone, weather to the destination, traffic jam, traffic regulation, and the like.
  • step S6 the automation level setting unit 152 starts updating the automation level.
  • the automation level setting unit 152 sets a distribution of allowable automation levels (hereinafter referred to as an allowable automation level) on the travel route based on the map information and the peripheral information.
  • the allowable automation level indicates the maximum value of the automation level that can be set in the target section. For example, in a section where the allowable automation level is level 3, the vehicle can travel with the automation level set to 3 or lower.
  • the automation level setting unit 152 sets the distribution of the allowable automation level on the travel route to the default value indicated in the map information or the like. Then, the automation level setting unit 152 performs the allowable automation on the travel route based on the information on the travel route and the surrounding environment such as weather, road conditions, accidents, construction, and traffic regulations obtained from the map information and the surrounding information. Update the level distribution accordingly.
  • the permissible automation level is lowered from the original level 3 to level 2 in sections where road markings such as road fences, paint, stones, etc., where road markings such as symbols and letters are difficult to recognize due to snow, etc. Or the use of LKAS is prohibited.
  • the allowable automation level is lowered from the original level 3 to level 2 or the maximum speed is limited.
  • the allowable automation level is lowered to level 1 or level 0 in a section where an accident occurs or a fallen object is detected.
  • the speed limit is lowered or the allowable automation level is lowered to level 1 or level 0 in a section where the road surface is frozen or in a bridge where the cross wind is intense.
  • the section S1 between the points P1 and P2 has LDM update information, is a straight line with a clear road marking, and the allowable automation level is set to level 3.
  • the section S2 between the points P2 and P3 has LDM update information, but is a section in which pop-out accidents frequently occur, and the allowable automation level is set to level 2.
  • the section S3 between the point P3 and the point P4 has LDM update information, is a straight line with a clear road marking, and the allowable automation level is set to level 3.
  • the section S4 between the point P4 and the point P5 is a section in which the update of the LDM is delayed or insufficient, and road freezing may occur at night in winter, and the allowable automation level is set to level 1 Yes.
  • An emergency parking zone 201 for parking a vehicle or the like is provided.
  • the section S5 between the points P5 and P6 has LDM update information, but there are many vehicles parked on the road and the visibility is poor, and the allowable automation level is set to level 1. .
  • the section S6 between the points P6 and P7 has LDM update information, is a straight line with a clear road marking, and the allowable automation level is set to level 3.
  • a service area 202 where an autonomous driving vehicle can evacuate in an emergency is provided.
  • the section S7 between the points P7 and P8 is a section in which the update of the LDM is delayed or insufficient, the safety level is undefined, and the allowable automation level is set to level 1.
  • an emergency parking zone 203 is provided within a predetermined range from the point P7 in the section S7.
  • the section S8 between the points P8 and P9 is a section where there is LDM update information, the road marking is straight, and the allowable automation level is normally set to level 3. However, the section S8 has poor visibility due to bad weather at this time, and the allowable automation level is regulated to level 2.
  • the emergency parking zone 204 is provided. Further, for example, when a decrease in the level of the driving operation of the driver is predicted before entering the point P9, the emergency parking zone 204 is used as a pre-retreat point for the vehicle.
  • the section S9 between the points P9 and P10 is a section in which automatic driving is prohibited, and the allowable automation level is set to level 0.
  • the section S10 between the point P10 and the point P11 is a section in which there is LDM update information, the road marking is clear, and the allowable automation level is set to level 3.
  • a service area 205 in which the autonomous driving vehicle can evacuate urgently is provided near the point P10 in the section S10.
  • the service area 202 and the service area 205 are also used as places where the vehicle is forcibly stopped (described later), for example.
  • the automation level setting unit 152 starts a process of appropriately updating the vehicle automation level based on the distribution of the allowable automation level on the travel route and the current position.
  • the automation level setting unit 152 automatically varies the vehicle automation level according to the allowable automation level.
  • the automation level setting unit 152 automatically lowers the automation level in a section where the allowable automation level is lower than the vehicle automation level, and the user in a section where the allowable automation level is higher than the vehicle automation level. You may make it raise an automation level by operation.
  • step S7 the vehicle control system 11 starts monitoring the driver.
  • the driver photographing unit 101 of the driver monitoring unit 26 starts photographing the driver and supplying the driver image obtained by the photographing to the vehicle control unit 28.
  • the biometric information acquisition unit 102 starts acquiring the driver's biometric information and supplying it to the vehicle control unit 28.
  • the line-of-sight detection unit 103 detects the direction of the driver's face, the direction of the line of sight, blinks, eye movements (for example, fixation, saccade, etc.) based on the driver image, and the vehicle control unit of the detection result The supply to 28 is started.
  • the driving behavior analysis unit 141 starts analyzing the driving behavior of the driver based on the driver image, vehicle information, the learning result by the learning unit 127, and the like.
  • the driver state detection unit 142 is based on the driver image, the driver's biological information, the detection result by the line-of-sight detection unit 103, the authentication result by the authentication unit 104, the learning result by the learning unit 127, and the like. Start detecting.
  • the driver state detection unit 142 starts detecting the driver's posture, behavior, and the like.
  • the driver state detection unit 142 detects the driver's reactivity and arousal level.
  • the driver's reactivity is, for example, whether there is a driver's reaction to an external request, instruction, and stimulus, and an obstacle in the traveling direction of the vehicle, the reaction speed, and the suitability of the reaction. Etc.
  • the driver's responsiveness is reduced when the driver's consciousness is not directed to driving or when the driver does not intentionally react.
  • the driver's responsiveness and arousal level are detected by passively observing the driver's condition.
  • the driver's responsiveness and arousal level are detected based on the driver's movements such as face direction transition, gaze direction transition, blink frequency, and eye movement transition. For example, based on the movement of the driver's line of sight with respect to the direction of the information obtained by the peripheral photographing unit 21, the peripheral information acquisition unit 22, etc., the driver's attention such as movement of the line of sight or fixation is observed Based on the result, the driver's reactivity and arousal level are detected.
  • the driver's arousal level is detected based on biological information such as the heart rate and body odor of the driver.
  • the driver's responsiveness and arousal can be observed by observing the driver's driving operation over time, such as steering wheel steering stability and operating speed, accelerator pedal and brake pedal operating stability and operating speed, etc. A change in degree is detected. Since these driver responses have characteristics specific to each driver, learning of characteristics according to the driver's situation is performed, and the driver's arousal level is detected based on the learning result. It may be.
  • active monitoring the driver's responsiveness and arousal level are detected by giving the driver a stimulus or instruction such as visual, auditory, or tactile sensation and observing the driver's reaction to the given stimulus or instruction.
  • active monitoring is used when it is difficult to detect the driver's reactivity and arousal level by passive monitoring or to improve detection accuracy.
  • the automation level is 3 or higher, the driver's intervention in the steering device may be completely interrupted, and the driver's reaction cannot be detected even if the operation status of the steering device is monitored. Therefore, active monitoring is an effective means for reliably grasping the state of the driver.
  • active monitoring has a function that complements passive monitoring.
  • active monitoring is used to stimulate and awaken the driver.
  • the driver state detection unit 142 controls the display unit 29 to display a short word or number in the driver's field of view, causing the driver to read aloud, or displaying a simple mathematical formula and calculating the driver.
  • the driver's responsiveness and arousal level are detected by speaking the result.
  • the driver state detection unit 142 controls the display unit 29 to display a pseudo target that is the target of the driver's line of sight in the driver's field of view, thereby tracking the movement of the driver's line of sight. Detect driver responsiveness and arousal.
  • the driver state detection unit 142 controls the voice output unit 30 to give a simple instruction to the driver (for example, to shake the head sideways) and observe the driver's reaction to the instruction. Thus, the driver's reactivity and arousal level are detected.
  • the driving support control unit 153 controls the traveling control unit 33 in accordance with an instruction from the driver state detecting unit 142, and causes the vehicle to travel unnaturally within a range in which safety can be ensured. Then, the driver state detection unit 142 detects the driver's reactivity and arousal level based on the driver's response to unnatural driving.
  • the traveling control unit 33 performs control so that the steering wheel and the traveling direction of the vehicle are unbalanced. For example, when the steering wheel is not operated, the traveling control unit 33 causes the vehicle to meander for a predetermined period of time by changing the direction of the wheels or applying a left / right unbalanced braking load.
  • the driver state detection unit 142 detects the driver's reactivity and arousal level based on whether or not the driver operates the steering wheel so as to correct the meander and the reaction speed. To do. It should be noted that the amount of meandering of the vehicle is preferably set within a range where the driving operation is performed so that the driver unconsciously corrects the meandering.
  • the in-vehicle device control unit 34 applies a rotational load corresponding to the case where the vehicle meanders in a pseudo manner on the steering wheel.
  • the driver state detection unit 142 detects the driver's reactivity and arousal level based on whether or not the driver operates the steering wheel to stop the rotation, and the reaction speed and the like. .
  • the meandering operation is continued without the driver's reaction, it is possible to notify the following vehicle that there is a possibility that some danger may occur due to the driver's reactivity or a decrease in the arousal level. Further, when the meandering operation is continued without the driver's reaction, an abnormality may be notified to the outside via the communication unit 27 or the like.
  • the traveling control unit 33 changes the traveling direction of the vehicle in a direction slightly deviating from the lane for a predetermined period.
  • the driver state detection unit 142 detects the driver's reactivity and arousal level based on whether or not the steering wheel is operated so as to return the vehicle to the lane and the reaction speed.
  • the traveling direction of the vehicle changes unconditionally, a dangerous state occurs depending on the positional relationship with the surrounding vehicle.
  • this detection method is implemented within a range that does not adversely affect the surrounding vehicle by comprehensively judging complex conditions such as the state of the surrounding vehicle and the psychological influence of the driver.
  • the driving support control unit 153 sets the inter-vehicle distance with the preceding vehicle longer than in the normal time.
  • the driver state detection unit 142 determines whether the driver's reactivity and arousal level are based on whether or not the accelerator pedal is operated so as to return the inter-vehicle distance to the normal length and the reaction speed. Is detected.
  • the travel control unit 33 increases or decreases the amount of change in the traveling direction of the vehicle with respect to the steering amount of the steering wheel.
  • the driver state detection unit 142 determines the driver's reactivity and arousal level based on whether or not to operate the steering wheel so as to adjust the traveling direction to a desired direction and the reaction speed. To detect. It should be noted that the difference in the amount of change in the traveling direction of the vehicle from the normal time is desirably set within a range in which the driving operation is performed so that the driver unconsciously corrects the traveling direction.
  • the traveling control unit 33 makes the acceleration of the vehicle larger or smaller than usual with respect to the depression amount of the accelerator pedal.
  • the driver state detection unit 142 determines whether or not the accelerator pedal is operated so as to adjust the vehicle speed to a desired speed, and the driver's reactivity and arousal level based on the reaction speed. Is detected. It should be noted that the difference in vehicle acceleration from the normal time is desirably set within a range in which the driving operation is performed so that the driver unconsciously corrects the acceleration.
  • the traveling control unit 33 makes the deceleration of the vehicle larger or smaller than usual with respect to the depression amount of the brake pedal.
  • the driver state detection unit 142 determines whether or not to operate the brake pedal so as to adjust the vehicle speed to a desired speed, and the driver's reactivity and arousal level based on the reaction speed. Is detected. It should be noted that the difference in vehicle deceleration from the normal time is desirably set within a range where the driver performs the driving operation so as to correct the deceleration unconsciously.
  • the driver state detection unit 142 detects the driver's reactivity and arousal level based on the presence / absence of the driver's normal response to the instruction, the reaction speed, and the like.
  • driver states such as a conscious state, a mental state, a tension state, and a drug influence degree may be detected.
  • the driving intervention level detection unit 143 starts detecting the driving intervention level of the driver based on the analysis result of the driving behavior and the detection result of the driver's state.
  • step S8 the learning unit 127 starts a learning process.
  • the learning unit 127 starts learning the correlation between the driving ability of the driver and various detectable driver states based on the analysis result of the driving behavior analysis unit 141.
  • the learning unit 127 starts learning of biological information, driver movement, and driving tendency of the driver when the driver is performing manual driving normally. For example, the learning unit 127 performs a stable driving operation such as traveling stably in the center of the lane, stopping the vehicle stably by a stop signal, or appropriately decelerating on a curve.
  • the driver's gaze behavior, head posture, body posture, pulse waveform, breathing state, pupil response to external light, etc. Constantly learn the correlation with driving characteristics. By using this learning result, for example, the accuracy of passive monitoring is improved.
  • the learning unit 127 starts learning the response characteristics of the driver with respect to the active monitoring so that the normal time and the abnormal time can be distinguished.
  • the accuracy of active monitoring is improved.
  • any learning method from simple correlation learning to complex artificial intelligence learning such as CNN (Convolutional Neural Network) can be used.
  • CNN Convolutional Neural Network
  • the driver-specific characteristics are learned in accordance with each state, so that the driving ability of the driver is based on the authenticated driver's state (for example, the driver's health condition, fatigue condition, etc.). It will be detected more accurately.
  • the learning unit 127 stores the learning result in the storage unit 35.
  • the learning result may be stored not only in the used vehicle and reused, but also stored in an electronic key or a remote server separately from the vehicle so that it can be easily used in another vehicle. Further, in a vehicle that is repeatedly used by the driver, a learning result at the time of the previous use may be taken in, the staleness may be determined, and a learning dictionary obtained until the previous use may be used as initial data.
  • step S9 the driving support control unit 153 starts driving support. That is, the driving support control unit 153 starts the process of supporting driving such as ACC, LKAS, TJA, and AEBS by controlling the traveling control unit 33 according to the current automation level.
  • step S10 the driving intervention level detection unit 143 determines whether or not the driving intervention level is insufficient.
  • the required operation intervention level differs depending on the set automation level.
  • the driver needs to perform all driving tasks as described above. Therefore, the driver's driving intervention level is required to be in a state in which a necessary driving operation can be performed with the line of sight and attention directed to the traveling direction of the vehicle.
  • the driver needs to perform some driving tasks as described above. Therefore, the driver's driving intervention level is required to be in a state in which a necessary driving operation can be performed with the line of sight and attention directed to the traveling direction of the vehicle.
  • the required driving intervention level is almost the same as in the case of the automation level 0 except that the types of necessary driving operations are reduced.
  • the driver needs to perform some driving tasks. Therefore, the driver's driving intervention level is required to be in a state in which a necessary driving operation can be performed with the line of sight and attention directed to the traveling direction of the vehicle.
  • the required driving intervention level is almost the same as in the case of the automation level 0 and the automation level 1 except that the number of necessary driving operations is reduced.
  • the automatic driving system basically performs all the driving tasks as described above.
  • the driver is expected to appropriately take measures such as the driver performing a driving operation in response to a system request or the like during the preliminary response (during fallback). Therefore, it is not necessary for the driver's driving intervention level to look and pay attention to the traveling direction of the vehicle, but it is required to respond to a request from the vehicle within a predetermined time. Further, when transitioning from the automation level 3 to a lower level, it is desirable that the driver returns to the driving intervention level of the transition-destination automation level before the automation level is changed.
  • the automated driving system performs all driving tasks. Further, it is not expected that the driver performs a driving operation or the like during the preliminary response (during fallback). Therefore, the driver basically does not need to be involved in driving the vehicle. However, when transitioning from the automation level 4 to a lower level, it is desired that the driver return to the driving intervention level of the transition-destination automation level before the automation level is changed.
  • the automatic driving system performs all the driving tasks as described above. Therefore, the driver does not need to intervene in driving the vehicle.
  • the driving intervention level detection unit 143 continues the state in which the driving intervention level does not satisfy the conditions in the current automation level for a predetermined time or more.
  • the process proceeds to step S11.
  • the automation level is set to any one of the automation level 0 to the automation level 2, when the driver has not looked at the line of sight and attention in the traveling direction of the vehicle for a predetermined time or longer, for example,
  • the operation is delayed from the normal time and the track is deviated, by performing a rapid steering operation to correct the track, when the so-called stagger is detected, it is determined that the driving intervention level is insufficient, The process proceeds to step S11.
  • the driving intervention level is insufficient when the driver does not show a normal reaction within a predetermined time even though the driver is instructed by active monitoring. The process proceeds to step S11.
  • the operation intervention level is determined by active monitoring in the same manner as when the automation level 3 is set, assuming that the automation level shifts to a lower level. You may implement.
  • step S11 the vehicle control system 11 executes a driving intervention level correction process, and then the process proceeds to step S15.
  • step S41 the driving intervention level detection unit 143 determines whether or not the driving intervention level is frequently insufficient. For example, the driving intervention level detection unit 143 determines that the number of occurrences of driving intervention level deficiency after the monitoring of the driver is started in the process of step S7 in FIG. When the occurrence frequency of the driving intervention level is less than the predetermined threshold within the time (for example, 10 minutes), it is determined that the driving intervention level is not insufficient frequently, and the process proceeds to step S42.
  • the predetermined threshold for example, 10 minutes
  • step S42 the vehicle control system 11 alerts the driver.
  • the display unit 29 displays a warning screen or the like for prompting the driver's attention within the driver's field of view.
  • a warning screen or the like is displayed on the screen of the mobile terminal 12.
  • the route display screen is, for example, a two-dimensional map display or a one-dimensional bar display representing a position on the travel route.
  • the display mode of the warning screen of the mobile terminal 12 may change according to the required time and distance to the point where the return to the manual operation is necessary. For example, when the time required to return to manual operation exceeds 5 minutes, a warning screen with a small green frame is displayed, and the size that occupies 10% of the screen of the mobile terminal 12 5 minutes ago. The warning screen changes, the warning screen changes to a size that occupies 1/3 of the screen of the mobile terminal 12 two minutes ago, and the warning screen frame changes to red and blinks.
  • the operating state is forcibly saved, and the operation from the same state is performed later.
  • the mobile terminal 12 may be automatically shifted to a standby state so that the screen can be resumed, or the screen of the mobile terminal 12 may be forcibly turned off.
  • the voice output unit 30 is a voice message for alerting the driver, an alarm, a buzzer, a beep sound, a pseudo car horn (horn) of a subsequent vehicle that can be heard only in the vehicle, Output.
  • the light emitting unit 31 lights or blinks a lamp or the like for alerting the driver under the control of the notification control unit 124.
  • the in-vehicle device control unit 34 performs haptic feedback such as vibrating the driver's seat or steering wheel or pulling the seat belt under the control of the notification control unit 124.
  • haptic feedback such as vibrating the driver's seat or steering wheel or pulling the seat belt under the control of the notification control unit 124.
  • the seat is vibrated, for example, the same vibration as when the vehicle crosses a rumble strip or a roadside may be transmitted to the driver.
  • the driving support control unit 153 controls the traveling control unit 33 in accordance with an instruction from the notification control unit 124 so that the same vibration as when the rumble strips or the roadside is crossed is transmitted to the driver. Control the steering.
  • step S43 the driving intervention level detector 143 determines whether or not the driving intervention level deficiency has been resolved. If the driving intervention level does not yet satisfy the conditions at the current automation level, the driving intervention level detection unit 143 determines that the shortage of the driving intervention level has not been resolved, and the process proceeds to step S45.
  • step S41 the driving intervention level detection unit 143 determines that the number of occurrences of insufficient driving intervention since the monitoring of the driver is greater than or equal to a predetermined threshold, or within a predetermined time immediately before.
  • a predetermined threshold a predetermined threshold that the occurrence frequency of the deficiency of the driving intervention level is equal to or higher than the predetermined threshold value, it is determined that the deficiency of the driving intervention level occurs frequently, and the process proceeds to step S44.
  • step S44 the penalty application unit 125 determines whether or not the penalty is frequently applied. For example, the penalty application unit 125 applies the penalty when the number of times the penalty is applied after the driver monitoring is started is less than a predetermined threshold, and within a predetermined time immediately before (for example, 30 minutes). Is less than the predetermined threshold, it is determined that the penalty is not frequently applied, and the process proceeds to step S45.
  • step S45 the driver state detection unit 142 determines whether or not it is a dangerous state.
  • the dangerous state is, for example, a state in which the driver cannot immediately return to the driving intervention level required by the driver, for example, when he / she loses his mind, is asleep, or is drunk. Or it is a state in which the driver cannot drive normally. And when it determines with it not being in a dangerous state, a process progresses to step S46.
  • step S46 the vehicle control system 11 applies a penalty.
  • the penalty applied during driving is a penalty applied until the vehicle arrives at the destination or is forcibly stopped, and is hereinafter referred to as a driving penalty.
  • the penalty applied after driving is a penalty applied after arriving at the destination or after forcibly stopping, and is hereinafter referred to as a post-event penalty.
  • the penalty applied in this step is a driving penalty.
  • the driving penalty includes, for example, a sensible penalty, a penalty that increases the burden on the driver, a penalty that changes the driving route, and the like. They are not necessarily clearly distinguished, and one penalty may correspond to a plurality of types of penalties.
  • the penalty application unit 125 gives the driver unpleasantness by strengthening the alert given to the driver in step S42.
  • the volume of voice messages, alarms, buzzers, beeps, pseudo horns, etc. is increased, and unpleasant timbres, such as dissonances, are output as compared to when calling attention.
  • unpleasant timbres such as dissonances
  • the amount of light from a lamp or the like for alerting the driver is increased as compared to when calling attention.
  • the strength of haptic feedback is increased compared to when calling attention.
  • the penalty application unit 125 controls the in-vehicle device control unit 34 to bring the backrest of the driver's seat closer to a direction perpendicular to the seating surface. As a result, the driver is forced to have an uncomfortable driving posture.
  • the penalty application unit 125 controls the odor generating unit 32 to generate a bad odor for a short time.
  • This bad odor is desirably deodorized after being maintained for a short time. For example, after the malodorous liquid is sprayed, the deodorizing liquid is sprayed after a predetermined period.
  • the penalty application unit 125 controls the traveling control unit 33 to limit the upper limit speed of the vehicle for a predetermined time (for example, 2, 5, or 10 minutes). As a result, the driver feels uncomfortable with the lack of speed and delays arrival at the destination.
  • the penalty application unit 125 controls the travel control unit 33 to perform uncomfortable brake braking control. For example, even if the driver depresses the brake pedal, the deceleration is increased or decreased without smoothly decelerating, so that uncomfortable driving for the driver is forcibly performed. However, when there is a following vehicle, it is desirable not to affect the following vehicle.
  • the penalty application unit 125 instructs the route setting unit 151 to change the travel route to a route different from the ideal route.
  • the travel route is changed to a detour route so that arrival at the destination is delayed.
  • the travel route is changed so as to pass a route that requires manual driving.
  • the travel route is changed so as to avoid a route that allows travel at an automation level of 3 or higher. This increases the burden on the driver and delays arrival at the destination.
  • the penalty application unit 125 instructs the driving support control unit 153 to lower the automation level. Thereby, for example, the automation level is lowered to level 2 or later, and the burden on the driver increases. For example, the penalty application unit 125 instructs the driving support control unit 153 to stop some driving support functions (for example, ACC, LKAS, etc.).
  • some driving support functions for example, ACC, LKAS, etc.
  • This reduction in the automation level and the limitation of the driving support function may be forcibly continued for a predetermined time, or, for example, the original automation level cannot be restored unless complicated operations and thought routines are used. May be. In the latter case, a driver's awakening effect can also be expected.
  • the penalty may be ranked according to the degree of disadvantage that the driver receives. Further, ranking may be performed for the same type of penalty depending on the degree and duration. As a result, for example, the penalty rank increases as the disadvantage to the driver increases.
  • the rank of the penalty to be applied may be increased.
  • the penalty ranking to be applied may be increased as the driver's reactivity or arousal level decreases. Further, as the penalty rank to be applied is increased, for example, a point that prompts the driver to return to manual driving in step S71 in FIG. Thereby, the penalty effect which shortens an autonomous automatic driving area is show
  • step S47 as in the process of step S43, it is determined whether or not the lack of the driving intervention level has been resolved. If the driving intervention level satisfies the conditions at the current automation level, it is determined that the shortage of the driving intervention level has been resolved, and the process proceeds to step S48. That is, if the driving intervention level is corrected by applying a penalty, the process proceeds to step S48.
  • step S48 if the driving intervention level satisfies the conditions at the current automation level in step S43, it is determined that the shortage of the driving intervention level has been resolved, and the process proceeds to step S48. That is, when the driving intervention level is corrected by calling the driver's attention, the process proceeds to step S48.
  • step S48 the driving support control unit 153 temporarily limits the driving operation as necessary.
  • the driving support control unit 153 temporarily limits the driving operation according to the state of the driver before the driving intervention level is corrected. For example, the driving support control unit 153 temporarily disables the operation of the steering wheel, the accelerator pedal, or the brake pedal by the driver when the driver wakes up from a state where the degree of wakefulness such as dozing is very low. Continue autonomous driving. Then, the driving support control unit 153 imposes an operation or action on the driver for enabling the operation of the steering wheel, the accelerator pedal, or the brake pedal.
  • the notification control unit 124 controls the display unit 29 or the voice output unit 30 according to the instruction of the driving support control unit 153 to notify the operation or action to be executed by the driver with an image or a voice.
  • the driving support control unit 153 enables the driver to operate the steering wheel, the accelerator pedal, or the brake pedal when the driver can normally perform the predetermined operation or action according to the instruction, and from the autonomous automatic driving, Transition to manual operation.
  • step S47 if it is determined in step S47 that the deficiency in the driving intervention level has not been resolved, that is, if the driving intervention level has not been corrected despite the penalty being applied, the process proceeds to step S49.
  • step S44 the penalty application unit 125 determines that the number of times the penalty has been applied since the monitoring of the driver is greater than or equal to a predetermined threshold, or the frequency of application of the penalty within the predetermined time immediately before is predetermined. If it is equal to or greater than the threshold, it is determined that the penalty is frequently applied, and the process proceeds to step S49.
  • step S49 the automation level setting unit 152 determines whether or not autonomous autonomous driving is being performed. If the current automation level is level 2 or lower, the automation level setting unit 152 determines that autonomous driving is not in progress, and the process proceeds to step S50.
  • step S45 If it is determined in step S45 that the state is dangerous, the process proceeds to step S50.
  • step S50 the vehicle control system 11 performs a forced stop process.
  • the route setting unit 151 can park or stop the nearest emergency vehicle on the travel route based on the map information (for example, an emergency parking zone, a safety zone, a parking lot of a store, etc.)
  • the detected location for example, emergency parking zone 201 in FIG. 7 is set as a location where the vehicle is forcibly stopped (hereinafter referred to as a forced stop location).
  • the route setting unit 151 searches for the nearest parking area or service area (for example, the service area 202 in FIG. 7) based on the map information when it is not so urgent.
  • the route setting unit 151 sets the parking area or service area as a forced stop location.
  • a forced stop location is searched and set in the same manner.
  • the driving support control unit 153 controls the travel control unit 33 and the like to stop the vehicle at the set forced stop location. At this time, deceleration or slowing is performed as necessary. Moreover, SOS transmission is performed after a stop as needed.
  • step S49 if the current automation level is level 3 or higher, the automation level setting unit 152 determines that autonomous driving is in progress, and the process proceeds to step S51.
  • step S51 the manual driving return support process is executed, and the driving intervention level correction process ends.
  • step S71 the notification control unit 124 prompts the driver to return to manual driving.
  • the display unit 29 displays a message prompting the user to return to manual driving within the driver's field of view.
  • the voice output unit 30 outputs a message, an alarm, a buzzer, a beep sound, etc. that urge the driver to return to manual driving under the control of the notification control unit 124.
  • this notification does not cause discomfort as much as possible for the driver.
  • a method that gradually increases the volume from a level that does not cause discomfort to a level that gives discomfort for example, if the driver is taking a nap, there is a risk that the notification will be an extension of the dream. is there.
  • a plurality of notification methods such as alarm sound, message, haptic vibration, and buzzer may be switched in order.
  • step S72 the driving intervention level detector 143 determines whether or not it is possible to return to manual driving.
  • the driving intervention level detection unit 143 determines that it is not possible to return to the manual driving when the driving intervention level does not satisfy the condition of the automation level after the change (after returning to the manual driving), and the process proceeds to step S73. .
  • step S73 a penalty is applied in the same manner as in step S46 of FIG.
  • step S74 it is determined whether or not it is possible to return to the manual operation as in the process of step S72.
  • the operation intervention level satisfies the condition of the automation level after the change (after returning to manual operation)
  • it is determined that the operation can be returned to manual operation and the process proceeds to step S75. That is, if the driver corrects the driving intervention level and is ready to return to manual driving by applying a penalty, the process proceeds to step S48.
  • step S72 determines whether it is possible to return to the manual operation. If it is determined in step S72 that it is possible to return to the manual operation, the processes in steps S73 and S74 are skipped, and the process proceeds to step S75.
  • step S75 similar to the processing in step S48 in FIG. 8, the driving operation is temporarily limited as necessary.
  • step S74 determines whether it is possible to return to the manual driving, that is, the driver is not ready to return to the manual driving without correcting the driving intervention level even though the penalty is applied. If YES, the process proceeds to step S76.
  • step S76 a forced stop process is performed in the same manner as in step S50 of FIG.
  • step S10 determines that the driving intervention level is not insufficient. If it is determined in step S10 that the driving intervention level is not insufficient, the process proceeds to step S12.
  • step S12 the automation level setting unit 152 determines whether or not to change the automation level. If it is determined that the automation level is to be changed, the process proceeds to step S13.
  • the automation level is changed.
  • the predicted value of the required time from the current position to the next automation level change point is less than a predetermined threshold, it is determined that the automation level is to be changed.
  • the allowable automation level changes from level 3 to level 2 at the point P2. Therefore, when traveling at the automation level 3 in the section S1, it is necessary to switch to the automation level 2 before entering the section S2. Therefore, for example, when the distance to the point P2 is less than a predetermined threshold or when the predicted value of the required time to the point P2 is less than the predetermined threshold, it is determined to change the automation level.
  • threshold values are estimated based on, for example, the driver's driving ability, age, and condition, and the time required for the driver to return to manual driving. Based on the predicted time, preparations for returning to manual driving are sufficient. It is set within the range in time.
  • automation level 3 it is determined that the automation level is changed when it becomes difficult to continue autonomous autonomous driving during the preliminary response. For example, when autonomous driving is performed by following the preceding vehicle using ACC, if it is notified that the preceding vehicle has left, it is determined that the automation level is to be changed.
  • step S13 the automation level setting unit 152 determines whether or not it is necessary to return to manual operation. For example, when the automation level setting unit 152 transits from the automation level 3 or the automation level 4 to the automation level 2 or lower, that is, when the automation level transits from a level where the driver does not intervene to the driving, a manual level is set. It is determined that it is necessary to return to operation, and the process proceeds to step S14.
  • step S14 the manual operation return support process described above with reference to FIG. 9 is executed. Thereafter, the process proceeds to step S15.
  • step S15 the driving support control unit 153 determines whether the forced stop is performed in the driving intervention level correction process in step S11 or the manual driving return support process in step S14. If it is determined that the vehicle has been forcibly stopped, the process proceeds to step S17.
  • step S13 determines whether it is necessary to return to manual operation. If it is determined in step S13 that it is not necessary to return to manual operation, the process proceeds to step S16.
  • step S16 the notification control unit 124 notifies the change of the automation level.
  • the display unit 29 displays a message indicating the change of the automation level in the driver's field of view under the control of the notification control unit 124.
  • the voice output unit 30 outputs a message, an alarm, a buzzer, a beep sound, etc. indicating the change of the automation level under the control of the notification control unit 124.
  • step S12 determines that the automation level is not to be changed. If it is determined in step S12 that the automation level is not to be changed, the processes in steps S13 to S16 are skipped, and the process proceeds to step S17.
  • step S17 the route setting unit 151 determines whether or not the destination has been reached. If it is determined that the destination has not yet been reached, the process returns to step S10.
  • step S10 the processing from step S10 to step S17 is repeated until it is determined in step S15 that the vehicle has been forcibly stopped or until it is determined in step S17 that the vehicle has arrived at the destination.
  • step S15 determines whether the vehicle has been forcibly stopped, or if it is determined in step S17 that the vehicle has arrived at the destination.
  • step S18 it is determined whether or not the driving intervention level is frequently insufficient as in the above-described process of step S41 of FIG. If it is determined that the driving intervention level is frequently insufficient, the process proceeds to step S19.
  • step S19 the penalty application unit 125 applies a penalty as necessary. This applies to the ex-post penalty.
  • the posterior penalty will be described.
  • the driving support control unit 153 controls the travel control unit 33 under the instruction of the penalty application unit 125 to prohibit the vehicle from starting for a predetermined period after the forced stop. This delays arrival at the destination.
  • the driving support control unit 153 controls the travel control unit 33 under the instruction of the penalty application unit 125, and after the forced stop, until the vehicle arrives at the destination or for a predetermined period, Prohibit driving.
  • the log generation unit 126 records information on the posterior penalty in the log under the instruction of the penalty application unit 125.
  • information for making it necessary to attend driving ability diagnosis when renewing a driving license is recorded in a log. Based on the information recorded in this log, the driver is obliged to attend a driving ability diagnosis when the driver's license office is updated.
  • information for adding the number of violations of the driver's license is recorded in the log. Based on the information recorded in this log, the number of violations of the driver's license is added.
  • information for increasing the inspection contents of the vehicle inspection is recorded in the log. Based on the information recorded in this log, a more detailed inspection is performed at the time of vehicle inspection in order to improve the safety of automatic driving. In addition, in order to improve the safety of automatic driving, high redundancy is required for the equipment for realizing automatic driving, and thus the inspection is emphasized.
  • step S18 determines that the driving intervention level has not been lowered frequently. If it is determined in step S18 that the driving intervention level has not been lowered frequently, the process of step S19 is skipped, and the automatic driving control process ends.
  • the log includes items such as number (No.), date, time, monitoring status, event, penalty and reason for application.
  • the serial number assigned to each record in the log is recorded in the number.
  • the monitoring status of the driver's condition is recorded. “Start” indicates the start of monitoring of the driver state, “Monitoring” indicates that the driver state is being monitored, and “End” indicates the end of the driver monitoring.
  • the example in which the driver's state is constantly monitored has been described.
  • the monitoring of the driver's state may be stopped.
  • monitoring of the driver may be stopped except before switching to manual driving.
  • the details of the event that occurred are recorded concisely. For example, transmission / reception events of various information such as LDM requests, receptions, and updates are recorded. In addition, events such as detection results of the driver's state, alerting the driver, and applying a penalty are recorded. The details of the driver's condition, the content of the alert, the content of the applied penalty, etc. may be recorded. Also, automation level transitions are recorded.
  • the penalty indicates whether or not a penalty has been applied and the rank of the penalty applied. “Not applicable” indicates that no penalty was applied to the corresponding event.
  • the reason for application is recorded as the reason for application.
  • security measures are applied to the log to prevent alteration, forgery, eavesdropping, etc.
  • logs for a period of several minutes to several tens of minutes are temporarily stored in a buffer, old logs are erased at any time, and when an event such as an impact, alarm, alert, or accident occurs, Logs of a predetermined period before and after may be copied from the buffer to the storage unit 35 and stored.
  • the log may be recorded on an electronic key or a remote server separately from the vehicle so that it can be easily used in another vehicle.
  • step S101 the driver is authenticated in the same manner as in step S1 of FIG.
  • step S102 the penalty application unit 125 determines whether or not the penalty is frequently applied within the most recent predetermined period. Specifically, the penalty application unit 125 obtains a log from the storage unit 35 within a predetermined period (for example, one month, three months, six months, or one year) nearest to the authenticated driver. To do. Next, the penalty application unit 125 calculates the number of application of the driver's penalty within the period and the cumulative value of the rank of the applied penalty. And the penalty application part 125 is that the application of a penalty has occurred frequently when the application frequency of a penalty is more than a predetermined threshold value, or when the accumulated value of the rank of the applied penalty is more than a predetermined threshold value. Determination is made, and the process proceeds to step S103.
  • a predetermined period for example, one month, three months, six months, or one year
  • step S103 the automation level setting unit 152 restricts the use of automatic driving according to the instruction of the penalty application unit 125.
  • the automation level setting unit 152 limits the available automation level to level 2 or lower.
  • the automation level setting unit 152 fixes the automation level at level 0. As a result, the driver cannot use autonomous automatic driving, and is forced to perform manual driving.
  • step S103 the penalty application unit 125 does not frequently apply a penalty when the number of times the penalty is applied is less than a predetermined threshold and the cumulative value of the applied penalty rank is less than the predetermined threshold. And the process of step S103 is skipped, and the automatic driving use restriction process ends.
  • the driver gets on the autonomous driving vehicle with a sense of tension without lowering the driving intervention level when the usage period of the autonomous driving vehicle is short and not used to the automatic driving.
  • the usage period of the autonomous driving vehicle becomes longer and gets used to the automated driving, the feeling of tension decreases, the degree of dependence on the autonomous driving increases, and the driving intervention level may decrease.
  • the driver is motivated not to apply a penalty by limiting the use of automatic driving based on the number of times the penalty is applied and the cumulative value of the rank of the applied penalty.
  • the driver's driving intervention level is reduced and the dependence on the autonomous driving is prevented.
  • the driver is prevented from excessively depending on the automatic driving in any of the short-term, medium-period, and long-term usage of the automatic driving, and the safety is improved.
  • the classification of the automation level is not limited to the above-described example, and the classification can be applied based on other criteria.
  • the driver state detection unit 142 detects one of the driver's reactivity and arousal level, and the driving intervention level detection unit 143 uses one of the driver's reactivity and arousal level to drive The level may be detected.
  • a plurality of penalties may be combined and applied.
  • the combination of penalties to be applied may be changed according to the driver's reactivity, arousal level, the number of penalties applied, the frequency of application, and the like.
  • the above-mentioned penalty or incentive may be operated as a point as a log. Further, the data of those points may be analyzed and recorded as a report or output.
  • the points of the log may be reflected in the additional points such as the automatic driving countermeasure promotion tax.
  • the vehicle control system 11 may create map data using a technique such as SLAM (Simultaneous Localization and Mapping).
  • SLAM Simultaneous Localization and Mapping
  • This technology can be applied to various vehicles capable of automating at least a part of driving regardless of the power source or energy supply source of the vehicle.
  • the present technology can be applied to gasoline vehicles, hybrid vehicles, plug-in hybrid vehicles, electric vehicles, fuel cell vehicles, and the like.
  • the present technology can be applied to buses, trucks, motorcycles and the like in addition to general automobiles.
  • the present technology is more effective when applied to various vehicles capable of switching between autonomous automatic driving and manual driving.
  • FIG. 12 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input / output interface 405 is connected to the bus 404.
  • An input unit 406, an output unit 407, a recording unit 408, a communication unit 409, and a drive 410 are connected to the input / output interface 405.
  • the input unit 406 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 407 includes a display, a speaker, and the like.
  • the recording unit 408 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 409 includes a network interface.
  • the drive 410 drives a removable recording medium 411 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 401 loads, for example, the program recorded in the recording unit 408 to the RAM 403 via the input / output interface 405 and the bus 404 and executes the program. Is performed.
  • the program executed by the computer (CPU 401) can be provided by being recorded in, for example, a removable recording medium 411 as a package medium or the like.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 408 via the input / output interface 405 by attaching the removable recording medium 411 to the drive 410. Further, the program can be received by the communication unit 409 via a wired or wireless transmission medium and installed in the recording unit 408. In addition, the program can be installed in the ROM 402 or the recording unit 408 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a driver monitoring unit for detecting a driving intervention level indicating a degree that the driver is driving the vehicle comprising: a penalty application unit that applies a penalty that is disadvantageous to the driver when the driving intervention level is insufficient.
  • the penalty application unit applies the penalty when the driving intervention level is insufficient when the level of automatic driving transitions from a level not intervening by the driver to an intervening level.
  • Vehicle control device according to the above.
  • the driving support control unit further restricts the driving operation until the driver appropriately responds to the given instruction
  • the penalty applying unit applies the penalty when the driving intervention level is insufficient even after the process of calling the driver's attention is performed before applying the penalty.
  • (1) to The vehicle control device according to any one of 3).
  • the penalty application unit applies the penalty based on at least one of the number of occurrences and the occurrence frequency of the state where the operation intervention level is insufficient.
  • (6) The vehicle control device according to any one of (1) to (5), wherein the penalty application unit changes the penalty to be applied when the application of the penalty is repeated.
  • the penalty includes bringing the backrest of the driver's seat closer to a direction perpendicular to the seating surface.
  • the vehicle control device according to (7). The penalty includes limiting the upper limit speed of the vehicle.
  • (11) The vehicle control device according to any one of (7) to (10), wherein the penalty includes changing a travel route so as to pass a route that requires driving intervention by the driver.
  • (12) The vehicle control device according to any one of (1) to (11), wherein the penalty application unit applies the penalty after the vehicle arrives at a destination or after the vehicle is forcibly stopped.
  • the said penalty application part prohibits starting of the said vehicle for a predetermined period.
  • the vehicle control apparatus as described in said (12).
  • the penalty application unit records information on the penalty applied after the vehicle arrives at a destination or after the vehicle is forcibly stopped, in a log.
  • the vehicle control device according to any one of (1) to (14), wherein the driver monitoring unit determines whether or not the driving intervention level is insufficient based on conditions that differ depending on a level of automatic driving.
  • the said penalty application part stops application of the said penalty, when the shortage of the said driving intervention level is eliminated, The vehicle control apparatus in any one of said (1) thru
  • a driver state detector that detects at least one of the driver's reactivity and arousal level; The vehicle control device according to any one of (1) to (16), wherein the driver monitoring unit detects the driving intervention level using at least one of the driver's reactivity and arousal level.
  • the driver state detection unit detects at least one of the driver's reactivity and arousal level based on the driver's response to a stimulus or instruction given to the driver.
  • Vehicle control device (19) The vehicle control device according to (18), wherein the driver state detection unit gives an instruction via an information processing device used by the driver. (20)

Abstract

本技術は、より安全に自動運転を行うことができるようにする車両制御装置及び車両制御方法に関する。 車両制御装置は、運転者が車両の運転に介在している度合いを示す運転介在レベルを検出する運転者監視部と、前記運転介在レベルが不足している場合、前記運転者の不利益となるペナルティを適用するペナルティ適用部とを備える。本技術は、例えば、自動運転の制御を行う車両制御装置に適用できる。

Description

車両制御装置及び車両制御方法
　本技術は、車両制御装置及び車両制御方法に関し、特に、より安全に自動運転を行うことができるようにした車両制御装置及び車両制御方法に関する。
　従来、運転者の姿勢崩れが運転者の癖によるものか否かを判定し、癖による姿勢崩れと判定された場合と癖以外の姿勢崩れと判定された場合とで、異なる態様により運転者に姿勢崩れに関する通知を行うことが提案されている（例えば、特許文献１参照）。
　また、従来、車両の自動運転走行を開始する前に、自動運転からマニュアル運転に復帰することができる運転能力が運転者にないと判断された場合に、自動運転走行を禁止することが提案されている（例えば、特許文献２参照）。
特開２０１６－３８７９３号公報 特開２０１６－１１５３５６号公報
　ところで、自動運転の普及に際し、運転者が自動運転に依存してしまうリスクが懸念されている。運転者が自動運転に依存してしまうと、例えば、自動運転による正常な走行ができなくなった場合に、運転者が迅速に運転に介在することができず、事故が発生するリスクが高くなる。
　しかしながら、特許文献１及び特許文献２にでは、運転者が自動運転に依存することを防止することは検討されていない。
　本技術は、このような状況に鑑みてなされたものであり、より安全に自動運転を行うことができるようにするものである。
　本技術の一側面の車両制御装置は、運転者が車両の運転に介在している度合いを示す運転介在レベルを検出する運転者監視部と、前記運転介在レベルが不足している場合、前記運転者の不利益となるペナルティを適用するペナルティ適用部とを備える。
　前記ペナルティ適用部には、自動運転のレベルが、前記運転者が運転に介在しないレベルから介在するレベルに遷移する場合に、前記運転介在レベルが不足しているとき、前記ペナルティを適用させることができる。
　前記ペナルティを適用した後、前記運転介在レベルの不足が解消された場合、前記運転者が与えられた指示に適切に対応するまで、運転操作の制限を行う運転支援制御部をさらに設けることができる。
　前記ペナルティ適用部には、前記ペナルティを適用する前に前記運転者の注意を喚起する処理が行われた後も前記運転介在レベルが不足している場合、前記ペナルティを適用させることができる。
　前記ペナルティ適用部には、前記運転介在レベルが不足している状態の発生回数及び発生頻度のうち少なくとも１つに基づいて、前記ペナルティを適用させることができる。
　前記ペナルティ適用部には、前記ペナルティの適用が繰り返される場合、適用する前記ペナルティを変更させることができる。
　前記ペナルティは、前記運転者に不快感を与えたり、前記運転者の利便性を低下させたりするものとすることができる。
　前記ペナルティには、運転席の背もたれを座面に対して垂直な方向に近づけることを含ませることができる。
　前記ペナルティには、前記車両の上限速度を制限することを含ませることができる。
　前記ペナルティには、前記車両の自動運転の機能を制限することを含ませることができる。
　前記ペナルティには、前記運転者による運転の介在が必要なルートを通るように走行ルートを変更することを含ませることができる。
　前記ペナルティ適用部には、前記車両が目的地に到着した後、又は、前記車両が強制停車された後、前記ペナルティを適用させることができる。
　前記ペナルティ適用部には、前記車両の発進を所定の期間禁止させることができる。
　前記ペナルティ適用部には、前記車両が目的地に到着した後、又は、前記車両が強制停車された後に適用する前記ペナルティに関する情報をログに記録させることができる。
　前記運転者監視部には、自動運転のレベルにより異なる条件に基づいて、前記運転介在レベルが不足しているか否かを判定させることができる。
　前記ペナルティ適用部には、前記運転介在レベルの不足が解消した場合、前記ペナルティの適用を停止させることができる。
　前記運転者の反応性及び覚醒度のうち少なくとも１つを検出する運転者状態検出部をさらに設け、前記運転者監視部には、前記運転者の反応性及び覚醒度のうち少なくとも１つを用いて、前記運転介在レベルを検出させることできる。
　前記運転者状態検出部には、前記運転者に与えた刺激又は指示に対する前記運転者の反応に基づいて、前記運転者の反応性及び覚醒度のうち少なくとも１つを検出させることができる。
　前記運転者状態検出部には、前記運転者が使用している情報処理装置を介して指示を与えさせることができる。
　本技術の一側面の車両制御方法は、運転者が車両の運転に介在しているレベルを示す運転介在レベルを検出する運転者監視ステップと、前記運転介在レベルが不足している場合、前記運転者の不利益となるペナルティを適用するペナルティ適用ステップとを含む。
　本技術の一側面においては、運転者が車両の運転に介在しているレベルを示す運転介在レベルが検出され、前記運転介在レベルが不足している場合、前記運転者の不利益となるペナルティが適用される。
　本技術の一側面によれば、運転者の運転介在レベルが矯正される。その結果、より安全に自動運転を行うことができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術を適用した自動運転システムの構成例を示すブロック図である。 運転者監視部及び車両制御部の構成例を示すブロック図である。 車両制御システムの一部の設置例を示す図である。 自動化レベルを説明するための図である。 自動運転制御処理を説明するためのフローチャートである。 自動運転制御処理を説明するためのフローチャートである。 許容自動化レベルの分布の具体例を示す図である。 運転介在レベル矯正処理の詳細を説明するためのフローチャートである。 マニュアル運転復帰支援処理の詳細を説明するためのフローチャートである。 ログの具体例を示す図である。 自動運転使用制限処理を説明するためのフローチャートである。 コンピュータの構成例を示す図である。
　以下、発明を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。なお、説明は以下の順序で行う。
　１．実施形態
　２．変形例
　３．その他
　＜＜１．実施形態＞＞
　＜自動運転システムの構成例＞
　図１は、本技術を適用した自動運転システム１０の構成例を示している。
　自動運転システム１０は、車両制御システム１１及び携帯端末１２を備える。
　車両制御システム１１は、周辺撮影部２１、周辺情報取得部２２、位置測定部２３、入力部２４、車両情報取得部２５、運転者監視部２６、通信部２７、車両制御部２８、表示部２９、音声出力部３０、発光部３１、臭い発生部３２、走行制御部３３、車載装置制御部３４、及び、記憶部３５を備える。
　周辺撮影部２１は、例えば、モノカメラ、ステレオカメラ、Ｔｏｆ（Time of Flight）カメラ、偏光カメラ、タイムゲーテッドカメラ、マルチスペクトルカメラ、赤外光などの非可視光カメラ等の各種の撮影装置を備え、車両の進行方向を含む車両の周辺の撮影を行う。周辺撮影部２１は、撮影により得られた画像（以下、周辺画像と称する）を車両制御部２８に供給する。
　周辺情報取得部２２は、ソナー、レーダ、ライダ、温度センサ、湿度センサ等の各種のセンサを備え、車両の周辺の情報を取得する。例えば、周辺情報取得部２２は、温度、湿度、天候、路面状態等の車両の周辺の環境に関する情報、並びに、車両の周辺の物体の種類及び位置等の車両の周辺の物体に関する情報等を取得する。周辺情報取得部２２は、取得した周辺情報を車両制御部２８に供給する。
　位置測定部２３は、例えば、人工衛星を利用して現在位置を測定するＧＮＳＳ（Global Navigation Satellite System）等の衛星航法システムを利用して、車両の現在位置を測定する。位置測定部２３は、測定結果を車両制御部２８に供給する。
　入力部２４は、マイクロフォン、ボタン、スイッチ、タッチパネル、ジェスチャー認識機器等の入力デバイスを備え、運転者を含む車両の搭乗者の指示やデータ等の入力を受け付ける。入力部２４は、入力された指示やデータ等を車両制御部２８に供給する。
　車両情報取得部２５は、車両に関する各種の情報を含む車両情報を取得する。例えば、車両情報取得部２５は、車両の速度、加速度、角速度、進行方向等の車両の動きに関する情報を取得する。また、車両情報取得部２５は、例えば、アクセルペダル、ブレーキペダル、ステアリングホイール、パーキングブレーキ、シフトレバー、方向指示レバー、パワー（イグニッション）スイッチ、ランプスイッチ、ワイパースイッチ等に対する操作タイミング及び操作量等の運転操作に関する情報を取得する。さらに、車両情報取得部２５は、車両の各部の状態、故障の有無等の車両の状態に関する情報を取得する。車両情報取得部２５は、取得した車両情報を車両制御部２８に供給する。
　運転者監視部２６は、図２を参照して後述するように、運転者の監視を行い、監視結果を車両制御部２８に供給する。
　通信部２７は、各種の通信方式の通信装置を備える。
　例えば、通信部２７は、ＤＳＲＣ（Dedicated Short Range Communications）により無線通信を行う通信装置を備え、道路沿いに設置されたＩＴＳ（Intelligent Transport Systems）スポットと通信を行い、ＬＤＭ（Local Dynamic Map）を取得する。ＬＤＭは、例えば、路面情報、車線情報、3次元構造物情報等を含む静的情報、交通規制情報、道路工事情報、広域気象情報等を含む準静的情報、事故情報、渋滞情報、狭域気象情報等を含む準動的情報、並びに、周辺車両及び歩行者情報、信号情報等を含む動的情報を含む。
　例えば、通信部２７は、携帯電話機が通信を行う通信規格（３Ｇ／４Ｇ／ＬＴＥ（Long Term Evolution）等）に従って通信を行う通信装置を備え、インターネットなどのネットワークを経由して、サーバ等から地図データ等の各種の情報を取得する。
　例えば、通信部２７は、ビーコン装置を備え、安全運転を支援するために路側に設置された路側機との通信を行い、各種の交通情報を取得する。
　例えば、通信部２７は、Bluetooth（登録商標）等の近距離無線通信装置を備え、携帯端末１２等との通信を行い、各種の情報の送受信を行う。
　通信部２７は、取得した情報を車両制御部２８に供給する。また、通信部２７は、他の通信装置等に送信する情報を車両制御部２８から取得する。
　車両制御部２８は、ＥＣＵ（Electronic Control Unit）等を備え、図２を参照して後述するように、車両制御システム１１の各部の制御を行う。
　表示部２９は、例えば、各種の表示装置を備え、車両制御部２８の制御の下に、各種の画像や情報の表示を行う。例えば、表示部２９は、ヘッドアップディスプレイ又はウインドシールドの一部に設けられた透過型ディスプレイを備え、運転者の視界に画像や情報を重畳して表示する。また、例えば、表示部２９は、インストルメントパネル、カーナビゲーションシステムのディスプレイ等を備える。
　音声出力部３０は、例えば、スピーカ、アラーム、ブザー等を備え、車両制御部２８の制御の下に、音声情報や警告音等の出力を行う。
　発光部３１は、例えば、ＬＥＤ（Light Emitting Diode）、ランプ等の発光装置を備え、車両制御部２８の制御の下に、運転者への各種の情報の通知や注意喚起等を目的とする光の点灯又は点滅を行う。
　臭い発生部３２は、例えば、悪臭を発生する発生器、及び、消臭を行う消臭器を備え、車両制御部２８の制御の下に、臭いを発生したり、発生した臭いを消臭したりする。なお、消臭器は必ずしも必要ではなく、悪臭が空気中に拡散した後に自己中和等で消臭されることにより、悪臭の発生が一過性となるようにしてもよい。
　走行制御部３３は、車両制御部２８の制御の下に、車両に搭載されている各種の装置のうち車両の走行に関わる装置の制御を行う。例えば、走行制御部３３は、エンジンの作動を制御するエンジン制御装置、モータの作動を制御するモータ制御装置、ブレーキの作動を制御するブレーキ制御装置、ステアリングの作動を制御するステアリング制御装置等を備える。
　車載装置制御部３４は、車両に搭載されている各種の装置のうち車両の走行に関わる装置以外の装置の制御を行う。例えば、車載装置制御部３４は、シートの傾きを制御するアクチュエータ、シートを振動させるアクチュエータ、ステアリングホイールを振動させるアクチュエータ等の制御を行う。
　記憶部３５は、車両制御システム１１の処理に必要なプログラムやデータを記憶する。例えば、記憶部３５は、車両の走行等に関するログ、運転者の認証に用いる顔画像や認識識別抽出情報、運転者の各種の特徴の学習結果等を記憶する。なお、必ずしも全ての情報を記憶部３５に記憶させる必要はなく、例えば、通信部２７を介して遠隔のサーバ等に情報を送信して記憶させるようにしてもよい。
　＜運転者監視部２６及び車両制御部２８の構成例＞
　図２は、車両制御システム１１の運転者監視部２６及び車両制御部２８の構成例を示している。
　運転者監視部２６は、運転者撮影部１０１、生体情報取得部１０２、視線検出部１０３、及び、認証部１０４を備える。
　運転者撮影部１０１は、撮影装置を備え、運転者の撮影を行う。運転者撮影部１０１の撮影範囲は、少なくとも運転中の運転者の首から上の部分を含み、それより広い範囲を含んでいてもよい。運転者撮影部１０１は、撮影により得られた画像（以下、運転者画像と称する）を車両制御部２８に供給する。なお、運転者の撮影を行う際、より正確でかつ固有の情報を取得するために、例えば、Structured Lightを発する光源や赤外光を含む特定の波長の光源など専用の光源により運転者を照らすようにしてもよい。
　生体情報取得部１０２は、運転者の各種の生体情報を検出するセンサ等を備える。生体情報取得部１０２が取得する生体情報には、例えば、脈拍、心電図、体温、体臭、皮膚温、呼吸状態、アルコール含有量等が含まれる。生体情報取得部１０２は、取得した運転者の生体情報を車両制御部２８に供給する。
　視線検出部１０３は、運転者画像に基づいて、運転者の顔の向き、視線の向き、瞬き、眼球の動き（例えば、固視、サッカード等）の検出を行う。視線検出部１０３は、さらに視線の動的解析から運転者の外界への注意度評価や覚醒度解析を行い、検出結果や解析結果を車両制御部２８に供給する。
　認証部１０４は、例えば、運転者画像や視線解析画像から虹彩認証や指紋、さらには脈波に含まれる個人固有脈波波形に基づいて、運転者の認証を行う。認証部１４は、認証結果を車両制御部２８に供給する。
　車両制御部２８は、周辺監視部１２１、運転者監視部１２２、自動運転制御部１２３、通知制御部１２４、ペナルティ適用部１２５、ログ生成部１２６、及び、学習部１２７を備える。
　周辺監視部１２１は、周辺撮影部２１からの周辺画像、周辺情報取得部２２からの周辺情報、及び、通信部２７からの各種の情報に基づいて、車両の周辺の監視を行う。
　運転者監視部１２２は、車両情報取得部２５からの車両情報、運転者撮影部１０１からの運転者画像、生体情報取得部１０２からの運転者の生体情報、視線検出部１０３による検出結果、認証部１０４による認証結果、及び、学習部１２７による学習結果等に基づいて、運転者の監視を行う。運転者監視部１２２は、運転挙動分析部１４１、運転者状態検出部１４２、及び、運転介在レベル検出部１４３を備える。
　運転挙動分析部１４１は、運転者画像、車両情報、及び、学習部１２７による学習結果等に基づいて、運転者の運転挙動（例えば、運転に対する操作や振る舞いなど認証した運転者固有の特徴や特性）を分析する。
　運転者状態検出部１４２は、運転者画像、運転者の生体情報、視線検出部１０３による検出結果、認証部１０４による認証結果、及び、学習部１２７による学習結果等に基づいて、認証した固有運転者の状態の検出を行う。
　運転介在レベル検出部１４３は、運転者の運転挙動の分析結果、運転者の状態の検出結果、及び、自動化レベル設定部１５２により設定される自動化レベルに基づいて、運転者が運転に介在している度合いを示す運転介在レベルの検出を行う。
　自動運転制御部１２３は、自動運転の制御を行う。自動運転制御部１２３は、ルート設定部１５１、自動化レベル設定部１５２、及び、運転支援制御部１５３を備える。
　ルート設定部１５１は、車両情報取得部２５の車両情報に含まれる車両の加速度及び角速度に基づいて、位置測定部２３により測定された車両の現在位置の補正を行う。また、ルート設定部１５１は、周辺情報取得部２２からの周辺情報、通信部２７を介して取得するＬＤＭ及び地図データや地図更新情報、並びに、記憶部３５に記憶されている地図データ等に基づいて、入力部２４を介して入力される目的地までの走行ルートを設定する。
　自動化レベル設定部１５２は、周辺情報取得部２２からの周辺情報、並びに、通信部２７を介して取得するＬＤＭ及び交通情報等に基づいて、走行ルート上の自動化レベルの分布を設定する。また、自動化レベル設定部１５２は、自動化レベルの分布、入力部２４を介して入力されるユーザ設定、及び、ペナルティ適用部１２５からの指示等に基づいて、自動化レベルの設定を行う。
　ここで、自動化レベルとは、自動運転のレベル、換言すれば、運転の自動化の程度を示すものであり、詳細は、図４を参照して後述する。
　運転支援制御部１５３は、設定されている自動化レベルに応じて、走行制御部３３を制御して、運転者の運転の支援を行うことにより、自動運転を実現する。例えば、運転支援制御部１５３は、ＡＣＣ（Adaptive Cruise Control）、ＬＫＡＳ（Lane Keep Assist System）、ＴＪＡ（Traffic Jam Assist）、ＡＥＢＳ（Advanced Emergency Braking System）等の運転支援を行う。さらに、運転支援制御部１５３は、自動化レベル３（後述）以上の走行区間において、例えば、上記の運転支援よりさらに高度かつ複雑な制御（例えば、車線変更を含む追い越し等）や、市街地等での歩行者や自転車を含む高度な状況判断を伴う自律走行等による運転支援を行ってもよい。
　通知制御部１２４は、表示部２９、音声出力部３０、及び、発光部３１を制御して、運転者への各種の情報の通知や注意喚起等を行う。また、通知制御部１２４は、例えば、車載装置制御部３４より制御されるアクチュエータ等を用いて、運転者への各種の情報の通知や注意喚起等を行ってもよい。
　ペナルティ適用部１２５は、運転介在レベルの検出結果に基づいて、表示部２９、音声出力部３０、発光部３１、臭い発生部３２、走行制御部３３、及び、車載装置制御部３４を制御して、必要に応じて運転者へのペナルティを適用する。また、ペナルティ適用部１２５は、ログ生成部１２６を制御して、ペナルティを適用するための情報をログに記録させる。
　ここで、ペナルティとは、例えば、運転者の運転介在レベルを矯正するために、運転に支障が及ばない範囲で、運転者に不利益を与えるものである。運転者に不利益を与える方法しては、例えば、運転者に不快感を与えたり、運転者の利便性を低下させたりすることが挙げられる。
　ログ生成部１２６は、車両において発生した各種のイベントを記録するログの生成及び更新を行う。ログ生成部１２６は、生成又は更新したログを記憶部３５に記憶させる。
　＜車両制御システム１１の一部の設置例＞
　図３は、車両制御システム１１の一部の設置例を示している。
　運転者監視部２６は、例えば、ステアリングホイール１７１の前方のダッシュボード付近に設けられている。
　臭い発生部３２は、例えば、ダッシュボードに設けられている空調機内に設けられている。
　ステアリングホイール１７１内には、車載装置制御部３４の制御の下に、ステアリングホイール１７１を振動させるためのアクチュエータが設けられている。
　運転席のシート１７２内には、車載装置制御部３４の制御の下に、シート１７２を振動させるためのアクチュエータが設けられている。
　＜自動化レベルの例＞
　図４は、自動化レベルの例を示している。ここでは、ＳＡＥ（Society of Automotive Engineers）により定義された自動化レベルの例を示している。
　自動化レベルは、レベル０からレベル５までの６段階に分かれる。
　自動化レベル０は、”運転自動化なし”と称される。自動化レベル０では、運転者が全ての運転タスクを実施する。
　自動化レベル１は、”運転者支援”と称される。自動化レベル１では、自動運転を行うシステム（以下、単にシステムと称する）が前後及び左右のいずれかの車両制御に係る運転タスクのサブタスクを実施する。
　自動化レベル２は、”部分運転自動化”と称される。自動化レベル２では、システムが前後及び左右の両方の車両制御に係る運転タスクのサブタスクを実施する。
　自動化レベル３は、”条件付運転自動化”と称される。自動化レベル３では、システムが限られた領域内で全ての運転タスクを実施する。従って、運転者は、車両の走行中に、運転以外の作業や行動、例えば、携帯端末１２の操作、電話会議、ビデオ鑑賞、ゲーム、思考、他の搭乗者との会話等を行うことができる。ただし、システムの障害や走行環境の悪化等による予備対応時（フォールバック中）に、システムの要求等に対して、運転者が運転操作を行う等の対応を適切に行うことが期待される。
　自動化レベル４は、”高度運転自動化”と称される。自動化レベル４では、システムが限られた領域内で全ての運転タスクを実施する。また、予備対応時（フォールバック中）に、運転者が運転操作を行う等の対応を行うことは期待されない。従って、運転者は、例えば、車両の走行中に、仮眠をとることも可能である。
　自動化レベル５は、”完全運転自動化”と称される。自動化レベル５では、システムが全ての領域内で全ての運転タスクを実施する。また、予備対応時（フォールバック中）に、運転者が運転操作を行う等の対処を行うことは期待されない。さらに、自動化レベル５では、走行中に車両内に運転者が常に不在である場合も想定されるため、全行程で運転者による運転が期待できない。そのため、フォールバックは許されず、例えば、システムが全ての異常に対処できるようにするか、想定外の事態を生じさせないルート完備が必要となる。
　従って、自動化レベル０乃至自動化レベル２では、運転者が全て或いは一部の運転タスクを実施し、安全運転に係る監視、対応主体は運転者となる。この３つの自動化レベルでは、運転者は必要に応じて常に運転に復帰できる能力が求められる。従って、走行時の注意低下や前方注意を損なう、運転以外の２次タスクに運転者が従事することは、許容されていない。
　一方、自動化レベル３乃至自動化レベル５では、システムが全ての運転タスクを実施し、安全運転に係る監視、対応主体はシステムとなる。ただし、自動化レベル３では、運転者が運転操作を行う必要が生じる場合がある。また、走行ルートの一部に自動化レベル３及び自動化レベル４を適用できない区間が存在する場合があり、そのような区間では、自動化レベル２以下に設定され、運転者が運転に介在する必要がある。
　なお、以下、運転者が何らかの形で介在して直接的に車両の運転へ影響を及ぼす必要がある運転をマニュアル運転と称する。従って、自動化レベル０乃至自動化レベル２では、マニュアル運転が行われる。
　一方、以下、運転者の介在を全く必要としない運転を自律自動運転と称する。従って、自動化レベル３乃至自動化レベル５では、基本的に自律自動運転が行われる。ただし、自動化レベル３では、システムの要求に応じて、マニュアル運転を行う必要が生じる場合がある。すなわち、自動化レベル３では、運転者の運転操作の離脱が限定的である必要がある。
　なお、運転者が、必要な区間において、マニュアル運転に安全かつスムーズに復帰できるようにすることで、自律自動運転が可能な区間とマニュアル運転が必要な区間が混在したルートを延長することができる。また、運転者の運転操作への介在からの完全な離脱を防ぎ、マニュアル運転に安全かつスムーズに復帰できるようにすることで、走行ルートの主要な区間における自律自動運転の実施が可能になる。
　＜自動運転制御処理＞
　次に、図５及び図６のフローチャートを参照して、車両制御システム１１により実行される自動運転制御処理について説明する。なお、この処理は、例えば、車両のパワー（イグニッション）スイッチがオンされたとき開始される。
　ステップＳ１において、運転者監視部２６は、運転者の認証を行う。具体的には、運転者監視部２６の運転者撮影部１０１は、運転者を撮影する。認証部１０４は、撮影により得られた運転者画像中の運転者の顔を認識する。そして、例えば、認証部１０４は、記憶部３５に記憶されている１人以上のユーザの顔画像の中から運転者の顔と一致する顔画像を検索することにより、運転者を特定する。認証部１０４は、運転者を特定できた場合、認証に成功したと判定し、運転者を特定できなかった場合、認証に失敗したと判定する。認証部１０４は、運転者の認証結果を車両制御部２８に供給する。
　なお、例えば、運転者の認証に失敗した場合、車両の走行が禁止されるようにしてもよい。この場合、例えば、運転者が、セキュリティが確保された環境下で所定の操作を行い、新規のユーザ登録を行うことにより、車両の走行が許可されるようにしてもよい。
　ただし、運転者の認証を行う主な目的は、認証された運転者の運転操作の特徴と運転者の状態との相関をとり、それに応じて車両を制御したり、ペナルティを適用したりすることである。従って、必ずしも認証結果を車両の走行の許可又は禁止の制御に用いる必要はない。これにより、例えば、緊急時等に未認証の状態で走行することが可能になる。なお、例えば、未認証の状態で走行していることを表示灯や車車間通信等により周囲に通知するようにしてもよい。
　ステップＳ２において、ログ生成部１２６は、ログの記録を開始する。なお、ログの詳細については、図１０を参照して後述する。
　ステップＳ３において、車両制御部２８は、目的地を取得する。具体的には、車両の搭乗者（必ずしも運転者とは限らない）は、入力部２４を介して、目的地を入力する。入力部２４は、取得した目的地を示す情報を車両制御部２８に供給する。
　ステップＳ４において、車両制御システム１１は、周辺情報の取得を開始する。
　例えば、周辺撮影部２１は、車両の進行方向及び周辺の撮影、並びに、撮影により得られた周辺画像の車両制御部２８への供給を開始する。
　周辺情報取得部２２は、車両の周辺の環境及び物体等に関する周辺情報の取得、並びに、周辺情報の車両制御部２８への供給を開始する。
　車両情報取得部２５は、車両情報の取得、及び、車両制御部２８への供給を開始する。
　位置測定部２３は、車両の現在位置の測定、及び、測定結果の車両制御部２８への供給を開始する。
　通信部２７は、ＩＴＳスポット（不図示）からのＬＤＭ（Local Dynamic Map）の受信、及び、ＬＤＭの車両制御部２８への供給を開始する。また、通信部２７は、サーバ（不図示）からの地図データ等の受信、及び、地図データ等の車両制御部２８への供給を開始する。なお、地図データを予め記憶部３５に記憶しておき、車両制御部２８が、記憶部３５から地図データを取得するようにしてもよい。さらに、通信部２７は、路側機（不図示）からの各種の交通情報の受信、及び、交通情報の車両制御部２８への供給を開始する。
　なお、以下、ＬＤＭ、地図データ等の地図に関する情報をまとめて地図情報と称する。
　周辺監視部１２１は、周辺撮影部２１からの周辺画像、周辺情報取得部２２からの周辺情報、及び、通信部２７からの各種の情報に基づいて、車両の周辺の監視を開始する。
　ルート設定部１５１は、周辺監視部１２１から取得した情報、及び、車両情報取得部２５から供給される車両情報に含まれる車両の加速度及び角速度等に基づいて、車両の現在位置の補正を適宜行う。これにより、例えば、地図情報内の継時変化が反映されていない情報や位置測定部２３の誤差等による車両の現在位置の推定誤差が補正される。
　ステップＳ５において、ルート設定部１５１は、走行ルートの設定を開始する。具体的には、ルート設定部１５１は、地図情報に基づいて、運転者の運転能力等を考慮しながら、現在位置から目的地までの走行ルートを設定する。また、ルート設定部１５１は、時間帯、目的地までの天候、渋滞、通行規制等の情報に基づいて、必要に応じて適宜走行ルートを変更する。
　ステップＳ６において、自動化レベル設定部１５２は、自動化レベルの更新を開始する。
　具体的には、自動化レベル設定部１５２は、地図情報及び周辺情報等に基づいて、走行ルート上において、許容される自動化レベル（以下、許容自動化レベルと称する）の分布を設定する。ここで、許容自動化レベルとは、対象となる区間において設定可能な自動化レベルの最大値を示す。例えば、許容自動化レベルがレベル３の区間においては、車両は自動化レベル３以下に設定して走行することが可能である。
　例えば、自動化レベル設定部１５２は、走行ルート上の許容自動化レベルの分布を、地図情報等に示されるデフォルト値に設定する。そして、自動化レベル設定部１５２は、地図情報及び周辺情報から得られる天候、道路の状態、事故、工事、交通規制等の走行ルート上及び周辺の環境に関する情報に基づいて、走行ルート上の許容自動化レベルの分布を適宜更新する。
　例えば、路面の道路鋲、ペイント、石等の道路の区画線、記号、並びに、文字等の道路標示が積雪等で認識困難な区間において、許容自動化レベルが本来のレベル３からレベル２に下げられたり、ＬＫＡＳの使用が禁止されたりする。例えば、火災による煙や濃霧等で視界が不良な区間において、許容自動化レベルが本来のレベル３からレベル２に下げられたり、最高速度が制限されたりする。例えば、事故が発生したり、落下物が検出されたりした区間において、許容自動化レベルがレベル１又はレベル０に下げられる。例えば、路面が凍結した区間や、横風が激しい橋において、制限速度が下げられたり、許容自動化レベルがレベル１又はレベル０に下げられたりする。
　ここで、図７を参照して、許容自動化レベルの分布の具体例について説明する。
　地点Ｐ１と地点Ｐ２の間の区間Ｓ１は、ＬＤＭの更新情報があり、直線で道路標示が明瞭な区間であり、許容自動化レベルがレベル３に設定されている。
　地点Ｐ２と地点Ｐ３の間の区間Ｓ２は、ＬＤＭの更新情報があるが、飛び出し事故が多発している区間であり、許容自動化レベルがレベル２に設定されている。
　地点Ｐ３と地点Ｐ４の間の区間Ｓ３は、ＬＤＭの更新情報があり、直線で道路標示が明瞭な区間であり、許容自動化レベルがレベル３に設定されている。
　地点Ｐ４と地点Ｐ５の間の区間Ｓ４は、ＬＤＭの更新が遅延又は不足しており、冬期の夜間は路面凍結が発生する可能性がある区間であり、許容自動化レベルがレベル１に設定されている。
　なお、地点Ｐ４を含む区間Ｓ３と区間Ｓ４の境界付近に、例えば、自動化レベル３から自動化レベル２以下への遷移時に運転者が運転操作に復帰できなかった車両が退避したり、故障車や緊急車両等が駐車したりするための非常駐車帯２０１が設けられている。
　地点Ｐ５と地点Ｐ６の間の区間Ｓ５は、ＬＤＭの更新情報があるが、路上駐車をしている車両が多く、かつ、視界不良な区間であり、許容自動化レベルがレベル１に設定されている。
　地点Ｐ６と地点Ｐ７の間の区間Ｓ６は、ＬＤＭの更新情報があり、直線で道路標示が明瞭な区間であり、許容自動化レベルがレベル３に設定されている。
　なお、区間Ｓ６内には、自動運転車両が緊急で避難可能なサービスエリア２０２が設けられている。
　地点Ｐ７と地点Ｐ８の間の区間Ｓ７は、ＬＤＭの更新が遅延又は不足しており、安全レベルが未定義の区間であり、許容自動化レベルがレベル１に設定されている。
　なお、区間Ｓ７内の地点Ｐ７から所定の範囲内に、非常駐車帯２０３が設けられている。
　地点Ｐ８と地点Ｐ９の間の区間Ｓ８は、ＬＤＭの更新情報があり、直線で道路標示が明瞭な区間であり、通常は許容自動化レベルがレベル３に設定される区間である。ただし、区間Ｓ８は、現時点で悪天候のため視界不良であり、許容自動化レベルがレベル２に規制されている。
　なお、通常自動化レベル３が利用可能な区間であっても、気象状況等により頻繁に下位の自動化レベルに変更される可能性のある区間には、例えば、区間Ｓ８のように途中に非常駐車帯２０４が設けられる。また、例えば、地点Ｐ９への進入前に、運転者の運転操作のレベルの低下が予測される場合、非常駐車帯２０４は、車両の事前退避地点として用いられる。
　地点Ｐ９と地点Ｐ１０の間の区間Ｓ９は、自動運転が禁止されている区間であり、許容自動化レベルがレベル０に設定されている。
　地点Ｐ１０と地点Ｐ１１の間の区間Ｓ１０は、ＬＤＭの更新情報があり、直線で道路標示が明瞭な区間であり、許容自動化レベルがレベル３に設定されている。
　なお、区間Ｓ１０内の地点Ｐ１０付近に、自動運転車両が緊急で避難可能なサービスエリア２０５が設けられている。サービスエリア２０２やサービスエリア２０５は、例えば、車両を強制停車（後述）させる場所としても用いられる。
　そして、自動化レベル設定部１５２は、走行ルート上の許容自動化レベルの分布及び現在位置に基づいて、車両の自動化レベルを適宜更新する処理を開始する。
　例えば、自動化レベル設定部１５２は、車両の自動化レベルを許容自動化レベルに合わせて自動的に変動させる。或いは、例えば、自動化レベル設定部１５２は、車両の自動化レベルより許容自動化レベルが低くなる区間においては、自動的に自動化レベルを下げ、車両の自動化レベルより許容自動化レベルが高くなる区間においては、ユーザ操作により自動化レベルを上げるようにしてもよい。
　ステップＳ７において、車両制御システム１１は、運転者の監視を開始する。
　具体的には、運転者監視部２６の運転者撮影部１０１は、運転者の撮影、及び、撮影により得られた運転者画像の車両制御部２８への供給を開始する。
　生体情報取得部１０２は、運転者の生体情報の取得、及び、車両制御部２８への供給を開始する。
　視線検出部１０３は、運転者画像に基づいて、運転者の顔の向き、視線の向き、瞬き、眼球の動き（例えば、固視、サッカード等）の検出、並びに、検出結果の車両制御部２８への供給を開始する。
　運転挙動分析部１４１は、運転者画像、車両情報、及び、学習部１２７による学習結果等に基づいて、運転者の運転挙動の分析を開始する。
　運転者状態検出部１４２は、運転者画像、運転者の生体情報、視線検出部１０３による検出結果、認証部１０４による認証結果、及び、学習部１２７による学習結果等に基づいて、運転者の状態の検出を開始する。
　例えば、運転者状態検出部１４２は、運転者の姿勢及び行動等の検出を開始する。
　また、例えば、運転者状態検出部１４２は、運転者の反応性及び覚醒度の検出を行う。ここで、運転者の反応性は、例えば、外部からの要求、指示、及び、刺激、並びに、車両の進行方向の障害物等に対する運転者の反応の有無、反応速度、及び、反応の適格性等に基づいて定義される。運転者の反応性は、運転者の覚醒度が低下している場合に加えて、運転者の意識が運転に向けられていない場合や、意図的に反応しない場合等に低下する。
　運転者の反応性及び覚醒度の検出方法には、例えば、パッシブモニタリングとアクティブモニタリングがある。
　パッシブモニタリングでは、運転者の状態を受動的に観察することにより、運転者の反応性及び覚醒度が検出される。
　例えば、顔の向きの遷移、視線の向きの遷移、瞬きの頻度、眼球の動きの遷移等の運転者の動きに基づいて、運転者の反応性及び覚醒度が検出される。例えば、周辺撮影部２１や周辺情報取得部２２等で得られた情報の方角に対する運転者の視線移動に基づいて、対象物への視線移動や固視等の運転者の注意力が観測され、その結果に基づいて、運転者の反応性及び覚醒度が検出される。
　例えば、運転者の心拍数、体臭等の生体情報に基づいて、運転者の覚醒度が検出される。
　例えば、ステアリングホイールの操舵安定性や操作速度、アクセルペダルやブレーキペダルの操作安定性や操作速度等の運転者の運転操作の継時的な推移を観測することにより、運転者の反応性及び覚醒度の変化が検出される。なお、これらの運転者の反応は、運転者毎に固有の特性を有するため、運転者の状況に応じた特性の学習を行い、その学習結果に基づいて、運転者の覚醒度を検出するようにしてもよい。
　アクティブモニタリングでは、視覚、聴覚、触覚等による刺激や指示等を運転者に与え、与えた刺激や指示等に対する運転者の反応を観察することにより、運転者の反応性及び覚醒度が検出される。例えば、パッシブモニタリングにより運転者の反応性及び覚醒度の検出が困難な場合や検出精度を高めるためにアクティブモニタリングが用いられる。例えば、自動化レベル３以上になると、運転者の操舵機器への介在が完全に途切れる場合があり、操舵機器への操作状況をモニタリングしても、運転者の反応を検出することができない。そのため、確実に運転者の状態を把握するために、アクティブモニタリングは有効な手段となる。つまり、アクティブモニタリングはパッシブモニタリングを補完する機能を備える。また、例えば、運転者に刺激を与え覚醒させるためにアクティブモニタリングが用いられる。
　例えば、運転者状態検出部１４２は、表示部２９を制御して、運転者の視界内に短い単語や数字を表示し、運転者に音読させたり、簡単な数式を表示し、運転者に計算結果を発声させたりすることにより、運転者の反応性及び覚醒度を検出する。
　例えば、運転者状態検出部１４２は、表示部２９を制御して、運転者の視界内に運転者の視線の目標となる疑似ターゲットを表示させて、運転者の視線の動きを追跡することにより、運転者の反応性及び覚醒度を検出する。
　例えば、運転者状態検出部１４２は、音声出力部３０を制御して、運転者に簡単な指示（例えば、頭部を横に振る等）を出し、その指示に対する運転者の反応を観察することにより、運転者の反応性及び覚醒度を検出する。
　例えば、運転支援制御部１５３は、運転者状態検出部１４２の指示に従って、走行制御部３３を制御し、安全性を確保できる範囲内で、車両に不自然な走行をさせる。そして、運転者状態検出部１４２は、不自然な走行に対する運転者の反応に基づいて、運転者の反応性及び覚醒度を検出する。
　例えば、走行制御部３３は、ステアリングホイールと車両の進行方向とがアンバランスとなるように制御する。例えば、走行制御部３３は、ステアリングホイールの操作が行われていない場合に、車輪の方向を変化させたり、左右アンバランスの制動負荷を加えたりすることで、所定の期間車両を蛇行させる。これに対して、運転者状態検出部１４２は、運転者が蛇行を是正するようにステアリングホイールを操作するか否か、及び、反応速度等に基づいて、運転者の反応性及び覚醒度を検出する。なお、車両を蛇行させる量は、運転者が無意識のうちに蛇行を是正するように運転操作を行う範囲内に設定することが望ましい。また、例えば、車載装置制御部３４は、車両が正常に車線に沿って走行している場合に、ステアリングホイールに疑似的に車両が蛇行する場合に相当する回転負荷を加える。これに対して、運転者状態検出部１４２は、運転者が回転を止めるようにステアリングホイールを操作するか否か、及び、反応速度等に基づいて、運転者の反応性及び覚醒度を検出する。
　なお、例えば、運転者が反応せずに蛇行運転が継続することにより、運転者の反応性又は覚醒度の低下等により何らかの危険が発生するおそれがあることを、後続車に知らせることができる。また、運転者が反応せずに蛇行運転が継続した場合、通信部２７等を介して外部に異常を通知するようにしてもよい。
　例えば、走行制御部３３は、所定の期間、車線から僅かに逸脱させる方向に車両の進行方向を変更する。これに対して、運転者が前方に正常な注意を向けている場合、車両の方向を補正するように操舵を行うことが期待される。従って、運転者状態検出部１４２は、車両を車線内に戻すようにステアリングホイールを操作するか否か、及び、反応速度等に基づいて、運転者の反応性及び覚醒度を検出する。ただし、無条件に車両の進行方向が変更すると、周辺車両との位置関係次第では危険な状態が発生する。また、後続車が追尾走行を行っている可能性がある。従って、この検出方法は、周辺車両の状態や運転者の心理的影響等の複合条件を総合的に判断して、周辺車両に悪影響を与えない範囲で実施されることが望ましい。
　例えば、運転支援制御部１５３は、ＡＣＣが有効である場合に、通常時と比べて、先行車との車間距離を長く設定する。これに対して、運転者状態検出部１４２は、車間距離を通常時の長さに戻すようにアクセルペダルを操作するか否か、及び、反応速度に基づいて、運転者の反応性及び覚醒度を検出する。
　例えば、走行制御部３３は、ステアリングホイールの操舵量に対して、車両の進行方向の変化量を通常より大きく又は小さくする。これに対して、運転者状態検出部１４２は、進行方向を所望の方向に調整するようにステアリングホイールを操作するか否か、及び、反応速度に基づいて、運転者の反応性及び覚醒度を検出する。なお、通常時との車両の進行方向の変化量の差は、運転者が無意識のうちに進行方向を是正するように運転操作を行う範囲内に設定することが望ましい。
　例えば、走行制御部３３は、アクセルペダルの踏み込み量に対して、車両の加速度を通常より大きく又は小さくする。これに対して、運転者状態検出部１４２は、車両の速度を所望の速度に調整するようにアクセルペダルを操作するか否か、及び、反応速度に基づいて、運転者の反応性及び覚醒度を検出する。なお、通常時との車両の加速度の差は、運転者が無意識のうちに加速度を是正するように運転操作を行う範囲内に設定することが望ましい。
　例えば、走行制御部３３は、ブレーキペダルの踏み込み量に対して、車両の減速度を通常より大きく又は小さくする。これに対して、運転者状態検出部１４２は、車両の速度を所望の速度に調整するようにブレーキペダルを操作するか否か、及び、反応速度に基づいて、運転者の反応性及び覚醒度を検出する。なお、通常時との車両の減速度の差は、運転者が無意識のうちに減速度を是正するように運転操作を行う範囲内に設定することが望ましい。
　例えば、車両が自律自動運転を行っており、運転者が運転に介在する必要がない場合に、運転者が携帯端末１２（情報処理装置）を操作しているとき、運転者状態検出部１４２は、通信部２７を介して、携帯端末１２の画面に、運転者への指示を示すサブウインドウを表示させる。そして、運転者状態検出部１４２は、その指示に対する運転者の正常な反応の有無、及び、反応速度等に基づいて、運転者の反応性及び覚醒度を検出する。
　例えば、運転者が前方を見ているが、考え事等により運転に対する意識が低下している場合、パッシブモニタリングでは、運転者の反応性及び覚醒度を検出することが困難なときがある。これに対して、アクティブモニタリングを用いることにより、運転者の反応性及び覚醒度の検出精度が向上する。
　なお、上述した以外にも、例えば、意識状態、精神状態、緊張状態、薬物の影響度合い等の他の種類の運転者の状態を検出するようにしてもよい。
　運転介在レベル検出部１４３は、運転挙動の分析結果、及び、運転者の状態の検出結果に基づいて、運転者の運転介在レベルの検出を開始する。
　ステップＳ８において、学習部１２７は、学習処理を開始する。
　例えば、学習部１２７は、運転挙動分析部１４１の分析結果に基づいて、運転者の運転能力と各種検出可能な運転者の状態との相関の学習を開始する。
　例えば、学習部１２７は、運転者がマニュアル運転を正常に行っているときの生体情報、運転者の動き、運転者の運転操作の傾向の学習を開始する。例えば、学習部１２７は、車線の中心を安定して走行したり、停止信号等で車両が安定して停止したり、カーブにおいて適切に減速が行われたりする等の安定した運転操作が行われているときの運転者の視線の挙動、頭部の姿勢、体の姿勢、脈波波形、呼吸状態、外光に対する瞳孔反応など、走行条件に応じた運転者固有の特性と覚醒時の正常な運転特性との相関を恒常的に学習する。この学習結果を用いることにより、例えば、パッシブモニタリングの精度が向上する。
　例えば、学習部１２７は、正常時と異常時の判別が可能なようにアクティブモニタリングに対する運転者の反応特性の学習を開始する。この学習結果を用いることにより、例えば、アクティブモニタリングの精度が向上する。
　なお、上記の学習には、例えば、単純な相関学習から、ＣＮＮ（Convolutional Neural Network）等の複雑な人工知能学習まで、任意の学習方法を用いることができる。このように、運転者固有の特性が各状態に応じて学習されることにより、認証した運転者の状態（例えば、運転者の健康状態や疲労具合等）に基づいて、運転者の運転能力がより正確に検出されるようになる。
　そして、学習部１２７は、学習結果を記憶部３５に記憶させる。なお、学習結果を、利用した車両に記憶し、再利用するだけでなく、電子キーや遠隔サーバ等に車両と分離して記憶させて、別の車両でも容易に利用できるようにしてもよい。また、運転者が繰り返し利用する車両において、前回利用時の学習結果を取り込み、その陳腐化を判定して、前回利用時までに得られた学習辞書を初期データとして利用してもよい。
　ステップＳ９において、運転支援制御部１５３は、運転支援を開始する。すなわち、運転支援制御部１５３は、現在の自動化レベルに合わせて、走行制御部３３を制御することにより、ＡＣＣ、ＬＫＡＳ、ＴＪＡ、ＡＥＢＳ等の運転を支援する処理を開始する。
　ステップＳ１０において、運転介在レベル検出部１４３は、運転介在レベルが不足しているか否かを判定する。
　ここで、要求される運転介在レベルは、設定されている自動化レベルにより異なる。
　自動化レベル０に設定されている場合、上述したように、運転者は全ての運転タスクを実施する必要がある。従って、運転者の運転介在レベルとして、車両の進行方向に視線及び注意を向け、必要な運転操作ができる状態であることが要求される。
　自動化レベル１に設定されている場合、上述したように、運転者は一部の運転タスクを実施する必要がある。従って、運転者の運転介在レベルとして、車両の進行方向に視線及び注意を向け、必要な運転操作ができる状態であることが要求される。ここで、必要な運転操作の種類が少なくなる点を除いて、要求される運転介在レベルは、自動化レベル０の場合とほぼ同様である。
　自動化レベル２に設定されている場合、上述したように、運転者は一部の運転タスクを実施する必要がある。従って、運転者の運転介在レベルとして、車両の進行方向に視線及び注意を向け、必要な運転操作ができる状態であることが要求される。ここで、必要な運転操作の種類が少なくなる点を除いて、要求される運転介在レベルは、自動化レベル０及び自動化レベル１の場合とほぼ同様である。
　自動化レベル３に設定されている場合、上述したように、基本的に自動運転システムが全ての運転タスクを実施する。一方、運転者は、予備対応時（フォールバック中）に、システムの要求等に対して、運転者が運転操作を行う等の対応を適切に行うことが期待される。従って、運転者の運転介在レベルとして、車両の進行方向に視線及び注意を向ける必要はないが、車両からの要求に所定の時間以内に反応することが要求される。また、自動化レベル３から下位のレベルに遷移する場合に、運転者が、自動化レベルの変更前に遷移先の自動化レベルの運転介在レベルに復帰することが望まれる。
　自動化レベル４に設定されている場合、上述したように、自動運転システムが全ての運転タスクを実施する。また、予備対応時（フォールバック中）に、運転者が運転操作を行う等の対応を行うことは期待されない。従って、運転者は、基本的に車両の運転に介在する必要はない。ただし、自動化レベル４から下位のレベルに遷移する場合に、運転者が、自動化レベルの変更前に遷移先の自動化レベルの運転介在レベルに復帰することが望まれる。
　自動化レベル５に設定されている場合、上述したように、自動運転システムは、全ての運転タスクを実施する。従って、運転者は、車両の運転に介在する必要はない。
　従って、自動化レベル４又は自動化レベル５に設定されている場合、運転者が運転に介在する必要がないため、無条件で、運転介在レベルが不足していないと判定される。
　一方、自動化レベル０乃至自動化レベル３のいずれかに設定されている場合、運転介在レベル検出部１４３は、運転介在レベルが、現在の自動化レベルにおける条件を満たしてない状態が所定の時間以上継続したとき、運転介在レベルが不足していると判定し、処理はステップＳ１１に進む。
　例えば、自動化レベル０乃至自動化レベル２のいずれかに設定されている場合、運転者が車両の進行方向に視線及び注意を向けていない状態が所定の時間以上継続したとき、例えば、操舵機器への操作が正常時より遅延し、軌道が逸れた場合に、軌道を補正するために急激な操舵操作を行うことにより、いわゆるふらつきが検出されたとき、運転介在レベルが不足していると判定され、処理はステップＳ１１に進む。
　例えば、自動化レベル３に設定されている場合、アクティブモニタリングにより運転者に指示を与えたにも関わらず、所定の時間以内に運転者が正常な反応を示さなかった場合、運転介在レベルが不足していると判定され、処理はステップＳ１１に進む。
　なお、自動化レベル４で走行可能な区間が存在しても、必ずしも全行程が自動化レベル４で走行可能であるとは限らない。従って、自動化レベル４に設定されている場合にも、自動化レベルが下位レベルに移行する場合を想定して、自動化レベル３に設定されている場合と同様に、アクティブモニタリングにより運転介在レベルの判定を実施してもよい。
　ステップＳ１１において、車両制御システム１１は、運転介在レベル矯正処理を実行し、その後処理はステップＳ１５に進む。
　ここで、図８のフローチャートを参照して、運転介在レベル矯正処理の詳細について説明する。
　ステップＳ４１において、運転介在レベル検出部１４３は、運転介在レベルの不足が多発しているか否かを判定する。例えば、運転介在レベル検出部１４３は、図５のステップＳ７の処理で運転者の監視が開始されてからの運転介在レベルの不足の発生回数が所定の閾値未満である場合、かつ、直前の所定の時間内（例えば、１０分間）の運転介在レベルの不足の発生頻度が所定の閾値未満である場合、運転介在レベルの不足が多発していないと判定し、処理はステップＳ４２に進む。
　ステップＳ４２において、車両制御システム１１は、運転者の注意を喚起する。
　例えば、表示部２９は、通知制御部１２４の制御の下に、運転者の視界内に運転者の注意を促す警告画面等の表示を行う。このとき、運転者が携帯端末１２を操作している場合、例えば、携帯端末１２の画面に警告画面等が表示される。
　この携帯端末１２に表示される警告画面として、例えば、進路表示画面において、後述する図９のステップＳ７１等においてマニュアル運転への復帰を促す地点が接近してくる状態が子画面により表示される。この進路表示画面は、例えば、２次元の地図表示や、走行ルート上の位置を表す一次元のバー表示とされる。
　また、例えば、マニュアル運転への復帰が必要な地点までの所要時間や距離に応じて、携帯端末１２の警告画面の表示態様が変化してもよい。例えば、マニュアル運転への復帰が必要な地点までの所要時間が５分を超える場合、小さな緑色の枠の警告画面が表示され、５分前に携帯端末１２の画面の１割を占める大きさに警告画面が変化し、２分前に携帯端末１２の画面の１／３を占める大きさに警告画面が変化するとともに、警告画面の枠が赤色に変化し、点滅する。
　さらに、例えば、警告画面が表示された場合に、運転者が慌てて携帯端末１２を操作することを防止するために、例えば、操作中の状態を強制的に保存し、後で同じ状態から操作を再開できるように携帯端末１２を自動的にスタンバイ状態に遷移させたり、携帯端末１２の画面を強制的にオフさせたりしてもよい。
　例えば、音声出力部３０は、通知制御部１２４の制御の下に、運転者に注意を促すための音声メッセージ、アラーム、ブザー、ビープ音、車内のみに聞こえる後続車の疑似カーホーン（クラクション）等の出力を行う。
　例えば、発光部３１は、通知制御部１２４の制御の下に、運転者に注意を促すためのランプ等の点灯又は点滅を行う。
　例えば、車載装置制御部３４は、通知制御部１２４の制御の下に、運転者のシート又はステアリングホイールを振動させたり、シートベルトを引っ張ったりする等のハプティクスフィードバックを行う。なお、シートを振動させる場合、例えば、車両がランブルストリップスや道路鋲を横切ったときと同様の振動が運転者に伝わるようにしてもよい。
　例えば、運転支援制御部１５３は、通知制御部１２４からの指示に従って、走行制御部３３を制御して、ランブルストリップスや道路鋲を横切ったときと同様の振動が運転者に伝わるように、車両のステアリングを制御する。
　なお、この注意喚起は、運転者になるべく不快感を与えないようにすることが望ましい。
　ステップＳ４３において、運転介在レベル検出部１４３は、運転介在レベルの不足が解消したか否かを判定する。運転介在レベル検出部１４３は、運転介在レベルが、現在の自動化レベルにおける条件をまだ満たしていない場合、運転介在レベルの不足が解消していないと判定し、処理はステップＳ４５に進む。
　一方、ステップＳ４１において、運転介在レベル検出部１４３は、運転者の監視が開始されてからの運転介在レベルの不足の発生回数が所定の閾値以上である場合、又は、直前の所定の時間内の運転介在レベルの不足の発生頻度が所定の閾値以上である場合、運転介在レベルの不足が多発していると判定し、処理はステップＳ４４に進む。
　ステップＳ４４において、ペナルティ適用部１２５は、ペナルティの適用が多発しているか否かを判定する。例えば、ペナルティ適用部１２５は、運転者の監視が開始されてからペナルティを適用した回数が所定の閾値未満である場合、かつ、直前の所定の時間内（例えば、３０分間）のペナルティの適用頻度が所定の閾値未満である場合、ペナルティの適用が多発していないと判定し、処理はステップＳ４５に進む。
　ステップＳ４５において、運転者状態検出部１４２は、危険な状態であるか否かを判定する。ここで、危険な状態とは、例えば、運転者が気を失っていたり、熟睡していたり、酒に酔っていたりする等で、運転者が要求される運転介在レベルにすぐに復帰できない状態、又は、運転者が正常に運転できない状態のことである。そして、危険な状態でないと判定された場合、処理はステップＳ４６に進む。
　ステップＳ４６において、車両制御システム１１は、ペナルティを適用する。
　ここで、ペナルティには、運転中に適用されるペナルティと、運転後に適用されるペナルティとがある。より詳細には、運転中に適用されるペナルティは、目的地に到着するまで、又は、強制停車するまでに適用されるペナルティであり、以下、運転中ペナルティと称する。運転後に適用されるペナルティは、目的地に到着した後、又は、強制停車した後に適用されるペナルティであり、以下、事後ペナルティと称する。このステップにおいて適用されるペナルティは、運転中ペナルティとなる。
　以下、運転中ペナルティの具体例について説明する。
　運転中ペナルティには、例えば、体感的なペナルティ、運転者の負担を増大させるペナルティ、走行ルートを変更するペナルティ等がある。それらは、必ずしも明確に区別されるものではなく、１つのペナルティが複数の種類のペナルティに該当してもよい。
　例えば、ペナルティ適用部１２５は、ステップＳ４２で運転者に与えられた注意喚起をより強力にすることにより、運転者に不快感を与える。例えば、注意喚起時と比較して、音声メッセージ、アラーム、ブザー、ビープ音、疑似クラクション等の音量が上げられたり、不協和音等の不快な音色が出力されたりする。例えば、注意喚起時と比較して、運転者に注意を促すためのランプ等の光量が増大される。例えば、注意喚起時と比較して、ハプティクスフィードバックの強度が上げられる。
　例えば、ペナルティ適用部１２５は、車載装置制御部３４を制御して、運転席の背もたれを座面に対して垂直な方向に近づける。これにより、運転者は、不快な運転姿勢を強要される。
　例えば、ペナルティ適用部１２５は、臭い発生部３２を制御して、悪臭を短時間発生させる。この悪臭は、短時間持続された後、消臭されるものが望ましい。例えば、悪臭液が噴霧された後、所定の期間後に消臭液が噴霧される。
　例えば、ペナルティ適用部１２５は、走行制御部３３を制御して、所定の時間（例えば、２分、５分又は１０分等）、車両の上限速度を制限する。これにより、運転者は、スピードが出ないことに不快感を覚えるとともに、目的地への到着が遅延する。
　例えば、ペナルティ適用部１２５は、走行制御部３３を制御して、不快ブレーキ制動制御を行う。例えば、運転者がブレーキペダルを踏み込んでも、滑らかに減速せずに、減速度が増減することにより、運転者にとって不快な走行が強制的に行われる。ただし、後続車が存在する場合、後続車に影響を及ぼさないようにすることが望ましい。
　例えば、ペナルティ適用部１２５は、走行ルートを理想的なルートとは異なるルートに変更するように、ルート設定部１５１に指示する。これにより、例えば、目的地への到着が遅延するように、走行ルートが遠回りするルートに変更される。また、例えば、マニュアル運転が必須のルートを通るように、走行ルートが変更される。或いは、例えば、自動化レベル３以上での走行が許可されるルートを回避するように、走行ルートが変更される。これにより、運転者の負担が増大するともに、目的地への到着が遅延する。
　例えば、ペナルティ適用部１２５は、運転支援制御部１５３に、自動化レベルの引き下げを指示する。これにより、例えば、自動化レベルがレベル２以降に引き下げられ、運転者の負担が増大する。また、例えば、ペナルティ適用部１２５は、運転支援制御部１５３に、一部の運転支援機能（例えば、ＡＣＣ、ＬＫＡＳ等）の停止を指示する。
　この自動化レベルの引き下げや運転支援機能の制限は、強制的に所定の時間継続させてもよいし、或いは、例えば、複雑な操作や思考ルーチンを介さないと、元の自動化レベルに戻せないようにしてもよい。後者の場合、運転者の覚醒効果も期待できる。
　なお、運転者がペナルティに慣れてしまうことを防止するために、ペナルティの適用が繰り返される場合、適用されるペナルティの種類、程度、継続時間等が適度に変更されることが望ましい。
　また、例えば、運転者が受ける不利益の程度により、ペナルティのランク付けを行うようにしてもよい。また、同じ種類のペナルティでも、その程度や継続時間等により、ランク付けを行うようにしてもよい。これにより、例えば、運転者が受ける不利益が大きくなるほど、ペナルティのランクが高くなる。
　そして、例えば、ペナルティの適用回数が増えるにつれて、適用するペナルティのランクを高くするようにしてもよい。
　また、例えば、運転者の反応性又は覚醒度が低くなるほど、適用するペナルティのランクを高くするようにしてもよい。さらに、適用するペナルティのランクを高くするのに合わせて、例えば、後述する図９のステップＳ７１等において運転者にマニュアル運転への復帰を促す地点を前倒しするようにしてもよい。これにより、自律自動運転区間を短縮するペナルティ効果が奏される。また、マニュアル運転に復帰するまでの移行期間が長くなり、マニュアル運転への移行がより安全に行われるようになる。
　ステップＳ４７において、ステップＳ４３の処理と同様に、運転介在レベルの不足が解消したか否かが判定される。運転介在レベルが、現在の自動化レベルにおける条件を満たした場合、運転介在レベルの不足が解消したと判定され、処理はステップＳ４８に進む。すなわち、ペナルティを適用することにより、運転介在レベルが矯正された場合、処理はステップＳ４８に進む。
　なお、ペナルティの適用が継続している場合、この時点でペナルティの適用が停止する。
　一方、ステップＳ４３において、運転介在レベルが、現在の自動化レベルにおける条件を満たした場合、運転介在レベルの不足が解消したと判定され、処理はステップＳ４８に進む。すなわち、運転者の注意を喚起することにより、運転介在レベルが矯正された場合、処理はステップＳ４８に進む。
　なお、運転者への注意喚起が継続している場合、この時点で注意喚起が停止する。
　ステップＳ４８において、運転支援制御部１５３は、必要に応じて、一時的に運転操作を制限する。
　例えば、運転者が、居眠りから覚めた後、意識がはっきりしない状態で、焦ってステアリングホイール、アクセルペダル、又は、ブレーキペダルを操作すると、不適切な車両の旋回、急加速、又は、急停車等が行われ、事故につながるおそれがある。
　そこで、運転支援制御部１５３は、運転介在レベルが矯正される前の運転者の状態に応じて、一時的に運転操作に制限を設ける。例えば、運転支援制御部１５３は、運転者が居眠り等の覚醒度が非常に低い状態から覚醒した場合、運転者によるステアリングホイール、アクセルペダル、又は、ブレーキペダルの操作を一時的に無効にし、その間自律自動運転を継続する。そして、運転支援制御部１５３は、ステアリングホイール、アクセルペダル、又は、ブレーキペダルの操作を有効にするための操作や行動を運転者に課す。
　例えば、通知制御部１２４は、運転支援制御部１５３の指示に従って、表示部２９又は音声出力部３０を制御して、運転者に実行させる操作や行動を画像又は音声により通知する。
　例えば、「アクセルペダル（又はブレーキペダル）に足を置いて軽く踏み込んでください」、「アクセルペダル（又はブレーキペダル）を軽く踏み込む動作を１０回繰り返してください」、「アクセルペダル（又はブレーキペダル）をランプの点灯に合わせて軽く踏み込んでください」、「ステアリングホイールを握って、左右に軽く回転してください」等の指示が運転者に出される。或いは、例えば、上述したアクティブモニタリングにより運転者の反応性及び覚醒度を検出する場合と同様の操作や行動の指示が運転者に出される。
　そして、運転支援制御部１５３は、運転者が指示に従って所定の操作や行動を正常に実施できた場合、運転者によるステアリングホイール、アクセルペダル、又は、ブレーキペダルの操作を有効にし、自律自動運転からマニュアル運転に遷移させる。
　このように、運転者が与えられた指示に適切に対応するまで、運転操作の制限が行われる。
　その後、運転介在レベル矯正処理は終了する。
　一方、ステップＳ４７において、運転介在レベルの不足が解消していないと判定された場合、すなわち、ペナルティを適用したにも関わらず、運転介在レベルが矯正されなかった場合、処理はステップＳ４９に進む。
　また、ステップＳ４４において、ペナルティ適用部１２５は、運転者の監視が開始されてからペナルティを適用した回数が所定の閾値以上である場合、又は、直前の所定の時間内のペナルティの適用頻度が所定の閾値以上である場合、ペナルティの適用が多発していると判定し、処理はステップＳ４９に進む。
　ステップＳ４９において、自動化レベル設定部１５２は、自律自動運転中であるか否かを判定する。自動化レベル設定部１５２は、現在の自動化レベルがレベル２以下である場合、自律自動運転中でないと判定し、処理はステップＳ５０に進む。
　また、ステップＳ４５において、危険な状態であると判定された場合、処理はステップＳ５０に進む。
　ステップＳ５０において、車両制御システム１１は、強制停車処理を行う。例えば、ルート設定部１５１は、緊急を要する場合、地図情報に基づいて、走行ルート上の最寄りの緊急車両等の駐停車可能な場所（例えば、非常駐車帯、安全地帯、店舗の駐車場等）を検索し、検出された場所（例えば、図７の非常駐車帯２０１等）を、車両を強制停車させる場所（以下、強制停車場所と称する）に設定する。
　また、例えば、ルート設定部１５１は、それほど緊急を要しない場合、地図情報に基づいて、最寄りのパーキングエリア又はサービスエリア（例えば、図７のサービスエリア２０２等）を検索する。ルート設定部１５１は、所定の範囲内にパーキングエリア又はサービスエリアがあり、そこにマニュアル運転が要求されるルートを通らずにたどり着ける場合、そのパーキングエリア又はサービスエリアを強制停車場所に設定する。一方、ルート設定部１５１は、所定の範囲内にパーキングエリア又はサービスエリアがない場合、又は、マニュアル運転が要求されるルートを通らずにパーキングエリア又はサービスエリアにたどり着けない場合、緊急を要する場合と同様の方法により、強制停車場所を検索し、設定する。
　運転支援制御部１５３は、走行制御部３３等を制御して、設定された強制停車場所に車両を停車させる。このとき、必要に応じて、減速又は徐行が行われる。また、必要に応じて、停車後にＳＯＳ発信が行われる。
　なお、車両が強制停車場所に停車する前に、運転者が強制的にマニュアル運転への切替えを行い、運転復帰を強行することも想定される。この場合、運転者が十分に覚醒していない可能性があるため、段階的にマニュアル運転に移行させることが望ましい。
　その後、運転介在レベル矯正処理は終了する。
　一方、ステップＳ４９において、自動化レベル設定部１５２は、現在の自動化レベルがレベル３以上である場合、自律自動運転中であると判定し、処理はステップＳ５１に進む。
　ステップＳ５１において、マニュアル運転復帰支援処理を実行し、運転介在レベル矯正処理は終了する。
　ここで、図９のフローチャートを参照して、マニュアル運転復帰支援処理の詳細について説明する。
　ステップＳ７１において、通知制御部１２４は、運転者にマニュアル運転への復帰を促す。
　例えば、表示部２９は、通知制御部１２４の制御の下に、運転者の視界内にマニュアル運転に復帰するように促すメッセージの表示を行う。
　例えば、音声出力部３０は、通知制御部１２４の制御の下に、運転者にマニュアル運転に復帰するように促すメッセージ、アラーム、ブザー、ビープ音等の出力を行う。
　なお、この通知は、運転者になるべく不快感を与えないようにすることが望ましい。ただし、不快感を与えないレベルから不快感を与えるレベルまで段階的に音量を上げるような方法では、例えば、運転者が仮眠をしている場合、通知が夢の延長であると錯覚するおそれがある。これに対して、例えば、アラーム音、メッセージ、ハプティックス振動、ブザーのように複数の通知方法を順番に切り替えるようにしてもよい。
　ステップＳ７２において、運転介在レベル検出部１４３は、マニュアル運転に復帰可能であるか否かを判定する。運転介在レベル検出部１４３は、運転介在レベルが、変更後（マニュアル運転に復帰した後）の自動化レベルにおける条件を満たしていない場合、マニュアル運転に復帰可能でないと判定し、処理はステップＳ７３に進む。
　ステップＳ７３において、図８のステップＳ４６の処理と同様に、ペナルティが適用される。
　ステップＳ７４において、ステップＳ７２の処理と同様に、マニュアル運転に復帰可能であるか否かが判定される。運転介在レベルが、変更後（マニュアル運転に復帰した後）の自動化レベルにおける条件を満たしている場合、マニュアル運転に復帰可能であると判定され、処理はステップＳ７５に進む。すなわち、ペナルティを適用することにより、運転者が、運転介在レベルを矯正し、マニュアル運転に復帰する準備ができた場合、処理はステップＳ４８に進む。
　なお、ペナルティの適用が継続している場合、この時点でペナルティの適用が停止する。
　一方、ステップＳ７２において、マニュアル運転に復帰可能であると判定された場合、ステップＳ７３及びステップＳ７４の処理はスキップされ、処理はステップＳ７５に進む。
　ステップＳ７５において、図８のステップＳ４８の処理と同様に、必要に応じて、一時的に運転操作が制限される。
　その後、マニュアル運転復帰支援処理は終了する。
　一方、ステップＳ７４において、マニュアル運転に復帰可能でないと判定された場合、すなわち、ペナルティを適用したにも関わらず、運転者が、運転介在レベルを矯正せず、マニュアル運転に復帰する準備ができなかった場合、処理はステップＳ７６に進む。
　ステップＳ７６において、図８のステップＳ５０の処理と同様に、強制停車処理が行われる。
　その後、マニュアル運転復帰支援処理は終了する。
　図６に戻り、一方、ステップＳ１０において、運転介在レベルが不足していないと判定された場合、処理はステップＳ１２に進む。
　ステップＳ１２において、自動化レベル設定部１５２は、自動化レベルを変更するか否かを判定する。自動化レベルを変更すると判定された場合、処理はステップＳ１３に進む。
　例えば、現在位置から次の自動化レベルの変更地点までの距離が所定の閾値未満である場合、自動化レベルを変更すると判定される。或いは、例えば、現在位置から次の自動化レベルの変更地点までの所要時間の予測値が所定の閾値未満である場合、自動化レベルを変更すると判定される。
　例えば、図７の例において、地点Ｐ２において許容自動化レベルがレベル３からレベル２に変わる。従って、区間Ｓ１において自動化レベル３で走行している場合、区間Ｓ２に進入するまでに、自動化レベル２に切り替える必要がある。そこで、例えば、地点Ｐ２までの距離が所定の閾値未満である場合、又は、地点Ｐ２までの所要時間の予測値が所定の閾値未満である場合、自動化レベルを変更すると判定される。
　なお、これらの閾値は、例えば、運転者の運転能力、年齢、状態等により運転者のマニュアル運転への復帰に要する時間が予測され、その予測時間に基づいて、マニュアル運転に復帰する準備が十分に間に合う範囲内に設定される。
　また、例えば、自動化レベル３の場合に、予備対応時に自律自動運転の継続が困難になったとき、自動化レベルを変更すると判定される。例えば、ＡＣＣを利用して先行車に追従することにより自律自動運転を行っているときに、先行車から離脱の通知を受けた場合、自動化レベルを変更すると判定される。
　ステップＳ１３において、自動化レベル設定部１５２は、マニュアル運転への復帰が必要であるか否かを判定する。例えば、自動化レベル設定部１５２は、自動化レベル３又は自動化レベル４から自動化レベル２以下に遷移する場合、すなわち、自動化レベルが、運転者が運転に介在しないレベルから介在するレベルに遷移する場合、マニュアル運転への復帰が必要であると判定し、処理はステップＳ１４に進む。
　ステップＳ１４において、図９を参照して上述した、マニュアル運転復帰支援処理が実行される。その後、処理はステップＳ１５に進む。
　ステップＳ１５において、運転支援制御部１５３は、ステップＳ１１の運転介在レベル矯正処理、又は、ステップＳ１４のマニュアル運転復帰支援処理において、強制停車を行ったか否かを判定する。強制停車を行ったと判定された場合、処理はステップＳ１７に進む。
　一方、ステップＳ１３において、マニュアル運転への復帰が必要でないと判定された場合、処理はステップＳ１６に進む。
　ステップＳ１６において、通知制御部１２４は、自動化レベルの変更を通知する。
　例えば、表示部２９は、通知制御部１２４の制御の下に、運転者の視界内に自動化レベルの変更を示すメッセージの表示を行う。
　例えば、音声出力部３０は、通知制御部１２４の制御の下に、自動化レベルの変更を示すメッセージ、アラーム、ブザー、ビープ音等の出力を行う。
　その後、処理はステップＳ１７に進む。
　一方、ステップＳ１２において、自動化レベルを変更しないと判定された場合、ステップＳ１３乃至ステップＳ１６の処理はスキップされ、処理はステップＳ１７に進む。
　ステップＳ１７において、ルート設定部１５１は、目的地に到着したか否かを判定する。まだ目的地に到着していないと判定された場合、処理はステップＳ１０に戻る。
　その後、ステップＳ１５において、強制停車を行ったと判定されるか、ステップＳ１７において、目的地に到着したと判定されるまで、ステップＳ１０乃至ステップＳ１７の処理が繰り返し実行される。
　一方、ステップＳ１５において、強制停車を行ったと判定された場合、又は、ステップＳ１７において、目的地に到着したと判定された場合、処理はステップＳ１８に進む。
　ステップＳ１８において、上述した図８のステップＳ４１の処理と同様に、運転介在レベルの不足が多発したか否かが判定される。運転介在レベルの不足が多発したと判定された場合、処理はステップＳ１９に進む。
　ステップＳ１９において、ペナルティ適用部１２５は、必要に応じてペナルティを適用する。ここで適用されるのは、事後ペナルティである。以下、事後ペナルティの具体例について説明する。
　例えば、運転支援制御部１５３は、ペナルティ適用部１２５の指示の下に、走行制御部３３を制御して、強制停車の後、所定の期間、車両の発進を禁止する。これにより、目的地への到着が遅延する。
　例えば、運転支援制御部１５３は、ペナルティ適用部１２５の指示の下に、走行制御部３３を制御して、強制停車の後、目的地に到着するまで又は所定の期間、自動化レベル３以上の自動運転を禁止する。
　例えば、ログ生成部１２６は、ペナルティ適用部１２５の指示の下に、事後ペナルティに関する情報をログに記録する。
　例えば、自動車保険の割引ポイントの減点を実施するための情報がログに記録される。このログに記録された情報に基づいて、自動車保険の契約又は更新時に、割引ポイントが減点される。
　例えば、運転免許証の更新時に運転能力診断の受講を義務化するための情報が、ログに記録される。このログに記録された情報に基づいて、運転免許所の更新時に、運転能力診断の受講が運転者に義務付けられる。
　例えば、運転免許証の違反点数の加算を実施するための情報がログに記録される。このログに記録された情報に基づいて、運転者の運転免許所の違反点数が加算される。
　例えば、車検の検査内容を増やすための情報が、ログに記録される。このログに記録された情報に基づいて、車検時に、自動運転の安全性を向上させるために、より詳細な点検が行われる。かつ、自動運転の安全性を向上させるためには、自動運転を実現するための機器に高い冗長性が求められため、その点検に重点が置かれる。
　その後、自動運転制御処理は終了する。
　一方、ステップＳ１８において、運転介在レベルの低下が多発しなかったと判定された場合、ステップＳ１９の処理はスキップされ、自動運転制御処理は終了する。
　以上のようにして、運転者の運転介在レベルを矯正することにより、運転者が自動運転に依存してしまうことが抑制される。特に、ペナルティが適用されることにより不利益を被ることを事前に回避しようとする心理が、運転者に働く。これにより、例えば、自律自動運転中に、運転者が運転以外の行動や作業に集中し、運転への意識が低下したり、その状態が習慣化したりすることが確実に防止される。その結果、例えば、自律自動運転中にマニュアル運転を行う必要が発生した場合でも、運転者が適切かつ迅速に対応することができ、自動運転の安全性が向上する。
　＜ログの具体例＞
　ここで、図１０を参照して、ログの具体例について説明する。
　ログには、例えば、番号（Ｎｏ．）、日にち、時刻、監視状況、イベント、ペナルティ、適用理由の項目を含む。
　番号には、ログの各レコードに割り振られたシリアルナンバーが記録される。
　日にち及び時刻には、イベントが発生した日時が記録される。
　監視状況には、運転者の状態の監視の実施状況が記録される。"Start"は、運転者の状態の監視の開始を示し、"Monitoring"は、運転者の状態を監視していることを示し、"End"は、運転者の監視の終了を示す。
　なお、上述した例では、常に運転者の状態を監視する例を示したが、例えば、必要性が小さい場合に、運転者の状態の監視を停止するようにしてもよい。例えば、この例に示されるように、自律自動運転を行っている場合、マニュアル運転に切り替わる前等を除いて、運転者の監視を停止するようにしてもよい。
　イベントには、発生したイベントの内容が簡潔に記録される。例えば、ＬＤＭのリクエスト、受信、更新等の各種の情報の送受信のイベントが記録される。また、運転者の状態の検出結果、運転者への注意喚起、ペナルティの適用等のイベントが記録される。運転者の状態の詳細、注意喚起の内容、適用したペナルティの内容等が記録されてもよい。また、自動化レベルの遷移が記録される。
　ペナルティには、ペナルティの適用の有無、及び、適用されたペナルティのランクが記録される。なお、”非該当”は、対応するイベントに対してペナルティが適用されなかったことを示す。
　適用理由には、ペナルティが適用された理由が記録される。
　なお、改変、捏造、盗聴等を防止するようにセキュリティ対策がログに施される。
　また、画像等を含めることによりログの情報量を増やすことにより、事故等の要因分析において、ログがより有用になると想定される。一方、特段の事象が発生していない場合のログは、保存する価値がない可能性が高い。そこで、例えば、数分から数十分の期間のログをバッファに一時的に保管し、古くなったログを随時消去していくとともに、衝撃、アラーム、注意喚起、事故等の事象の発生時に、その前後の所定の期間のログを、バッファから記憶部３５にコピーし、保存するようにしてもよい。
　さらに、例えば、ログを電子キーや遠隔サーバ等に車両と分離して記録することにより、別の車両でも容易に利用できるようにしてもよい。
　＜自動運転使用制限処理＞
　次に、図１１のフローチャートを参照して、車両制御システム１１により実行される自動運転制御処理について説明する。なお、この処理は、例えば、図５及び図６を参照して上述した自動運転制御処理の前に実行される。
　ステップＳ１０１において、図５のステップＳ１の処理と同様に、運転者の認証が行われる。
　ステップＳ１０２において、ペナルティ適用部１２５は、直近の所定の期間内において、ペナルティの適用が多発しているか否かを判定する。具体的には、ペナルティ適用部１２５は、認証した運転者の直近の所定の期間内（例えば、１ヶ月間、３ヶ月間、６か月間、又は、１年間）のログを記憶部３５から取得する。次に、ペナルティ適用部１２５は、その期間内の運転者のペナルティの適用回数、及び、適用されたペナルティのランクの累積値を求める。そして、ペナルティ適用部１２５は、ペナルティの適用回数が所定の閾値以上である場合、又は、適用されたペナルティのランクの累積値が所定の閾値以上である場合、ペナルティの適用が多発していると判定し、処理はステップＳ１０３に進む。
　ステップＳ１０３において、自動化レベル設定部１５２は、ペナルティ適用部１２５の指示に従って、自動運転の使用を制限する。例えば、自動化レベル設定部１５２は、利用可能な自動化レベルをレベル２以下に制限する。或いは、自動化レベル設定部１５２は、自動化レベルをレベル０に固定する。これにより、運転者は、自律自動運転を利用できなくなり、マニュアル運転を実施せざるを得なくなる。
　なお、例えば、初めて自動運転機能を多用した車両を利用する運転者が自動運転に過度に依存した場合、緊急にマニュアル運転に復帰が必要なときに復帰が遅延する可能性が高くなる。そこで、そのような運転者に対して、例えば、ペナルティの適用が多発した記録が残っていなくても、自動運転の使用の制限を適用しやすくするようにしてもよい。
　なお、この自動化レベルの使用制限は、運転者自身が解除できないようにすることが望ましい。例えば、ディーラしか解除できないようにしてもよい。或いは、所定の期間（例えば、１ヶ月）が経過するまで、自動化レベルの使用制限が解除されないようにしてもよい。
　その後、自動運転使用制限処理は終了する。
　一方、ステップＳ１０３において、ペナルティ適用部１２５は、ペナルティの適用回数が所定の閾値未満、かつ、適用されたペナルティのランクの累積値が所定の閾値未満である場合、ペナルティの適用が多発していないと判定し、ステップＳ１０３の処理はスキップされ、自動運転使用制限処理は終了する。
　例えば、運転者は、自動運転車両の使用期間が短く、自動運転に慣れていない場合、運転介在レベルを低下させずに、緊張感を持って、自動運転車両に乗車すると想定される。一方、自動運転車両の使用期間が長くなり、自動運転に慣れてくるに従い、緊張感が低下し、自動運転への依存度が高くなり、運転介在レベルが低下することが懸念される。
　これに対して、ペナルティの適用回数や適用されたペナルティのランクの累積値により、自動運転の使用を制限することで、ペナルティを適用されないようにする動機付けが運転者に働く。その結果、自動運転車両の使用期間が長くなっても、運転者の運転介在レベルの低下、及び、自動運転への依存が防止される。また、例えば、運転者が、運転中に適用されるペナルティに慣れて、ペナルティを無視して、意図的に運転介在レベルが低下した状態で自動運転を利用することが防止される。その結果、自動運転の短期間、中期間、又は、長期間のいずれの利用においても、運転者が自動運転に過度に依存することが防止され、安全性が向上する。
　また、ペナルティの適用の仕組みを複合的かつ階層的に整備することにより、各運転者があらゆる走行レベルで常に安全を意識する社会的な仕組みの構築が可能になる。そして、自動運転車とマニュアル運転車とが協調的に混在した車社会の創造が可能になる。
　＜＜２．変形例＞＞
　以下、上述した本開示に係る技術の実施の形態の変形例について説明する。
　自動化レベルの分類は、上述した例に限定されるものではなく、他の基準に基づいて分類を適用することも可能である。
　また、運転者状態検出部１４２が、運転者の反応性及び覚醒度のうち一方を検出し、運転介在レベル検出部１４３が、運転者の反応性及び覚醒度のうち一方を用いて、運転介在レベルを検出するようにしてもよい。
　さらに、例えば、複数のペナルティを組み合わせて適用するようにしてもよい。また、例えば、運転者の反応性や覚醒度、ペナルティの適用回数や適用頻度等に応じて、適用するペナルティの組合せを変更するようにしてもよい。
　また、緊急時、危険回避、過疎地等において、緊急に車両で移動する必要がある場合が想定されるが、このような場合、運転中ペナルティを解除できるようにしてもよい。ただし、例えば、運転中ペナルティを解除したことがログに記録されるとともに、代わりに事後ペナルティが適用される。
　さらに、例えば、反応性や覚醒度が高いレベルで維持している運転者、注意喚起が必要な運転者、マニュアル運転への移行が安全かつスムーズな運転者等に対して、ご褒美に相当するインセンティブを付与するようにしてもよい。このインセンティブにより、ペナルティと同様に、運転介在レベルの低下を防止し、運転者が自動運転に過度に依存することを防止する効果が期待される。
　また、上述したペナルティやインセンティブは、ポイントとしてログのまま運用するようにしてもよい。また、それらのポイントのデータを解析し、レポートにして記録したり、出力したりするようにしてもよい。
　さらに、例えば、現行では存在しない税制であるが、自動運転対策促進税等の加点に、ログのポイントを反映させるようにしてもよい。
　また、例えば、車両制御システム１１が、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて、地図データを作成するようにしてもよい。
　本技術は、車両の動力源やエネルギー供給源に関わらず、少なくとも運転の一部を自動化することが可能な各種の車両に適用することができる。例えば、本技術は、ガソリン車、ハイブリッド車、プラグインハイブリッド車、電気自動車、燃料電池車等に適用することができる。また、本技術は、一般的な自動車以外にも、バス、トラック、自動二輪車等にも適用することができる。特に、本技術は、自律自動運転とマニュアル運転の切り替えが可能な各種の車両に適用した場合に効果が大きくなる。
　＜＜３．その他＞＞
　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。
　バス４０４には、さらに、入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、入力部４０６、出力部４０７、記録部４０８、通信部４０９、及びドライブ４１０が接続されている。
　入力部４０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記録部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインターフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体４１１を駆動する。
　以上のように構成されるコンピュータでは、CPU４０１が、例えば、記録部４０８に記録されているプログラムを、入出力インターフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体４１１をドライブ４１０に装着することにより、入出力インターフェース４０５を介して、記録部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記録部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記録部４０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　運転者が車両の運転に介在している度合いを示す運転介在レベルを検出する運転者監視部と、
　前記運転介在レベルが不足している場合、前記運転者の不利益となるペナルティを適用するペナルティ適用部と
　を備える車両制御装置。
（２）
　前記ペナルティ適用部は、自動運転のレベルが、前記運転者が運転に介在しないレベルから介在するレベルに遷移する場合に、前記運転介在レベルが不足しているとき、前記ペナルティを適用する
　前記（１）に記載の車両制御装置。
（３）
　前記ペナルティを適用した後、前記運転介在レベルの不足が解消された場合、前記運転者が与えられた指示に適切に対応するまで、運転操作の制限を行う運転支援制御部を
　さらに備える前記（２）に記載の車両制御装置。
（４）
　前記ペナルティ適用部は、前記ペナルティを適用する前に前記運転者の注意を喚起する処理が行われた後も前記運転介在レベルが不足している場合、前記ペナルティを適用する
　前記（１）乃至（３）のいずれかに記載の車両制御装置。
（５）
　前記ペナルティ適用部は、前記運転介在レベルが不足している状態の発生回数及び発生頻度のうち少なくとも１つに基づいて、前記ペナルティを適用する
　前記（１）乃至（４）のいずれかに記載の車両制御装置。
（６）
　前記ペナルティ適用部は、前記ペナルティの適用が繰り返される場合、適用する前記ペナルティを変更する
　前記（１）乃至（５）のいずれかに記載の車両制御装置。
（７）
　前記ペナルティは、前記運転者に不快感を与えたり、前記運転者の利便性を低下させたりするものである
　前記（１）乃至（６）のいずれかに記載の車両制御装置。
（８）
　前記ペナルティは、運転席の背もたれを座面に対して垂直な方向に近づけることを含む
　前記（７）に記載の車両制御装置。
（９）
　前記ペナルティは、前記車両の上限速度を制限することを含む
　前記（７）又は（８）に記載の車両制御装置。
（１０）
　前記ペナルティは、前記車両の自動運転の機能を制限することを含む
　前記（７）乃至（９）のいずれかに記載の車両制御装置。
（１１）
　前記ペナルティは、前記運転者による運転の介在が必要なルートを通るように走行ルートを変更することを含む
　前記（７）乃至（１０）のいずれかに記載の車両制御装置。
（１２）
　前記ペナルティ適用部は、前記車両が目的地に到着した後、又は、前記車両が強制停車された後、前記ペナルティを適用する
　前記（１）乃至（１１）のいずれかに記載の車両制御装置。
（１３）
　前記ペナルティ適用部は、前記車両の発進を所定の期間禁止する
　前記（１２）に記載の車両制御装置。
（１４）
　前記ペナルティ適用部は、前記車両が目的地に到着した後、又は、前記車両が強制停車された後に適用する前記ペナルティに関する情報をログに記録させる
　前記（１２）又は（１３）に記載の車両制御装置。
（１５）
　前記運転者監視部は、自動運転のレベルにより異なる条件に基づいて、前記運転介在レベルが不足しているか否かを判定する
　前記（１）乃至（１４）のいずれかに記載の車両制御装置。
（１６）
　前記ペナルティ適用部は、前記運転介在レベルの不足が解消した場合、前記ペナルティの適用を停止する
　前記（１）乃至（１５）のいずれかに記載の車両制御装置。
（１７）
　前記運転者の反応性及び覚醒度のうち少なくとも１つを検出する運転者状態検出部を
　さらに備え、
　前記運転者監視部は、前記運転者の反応性及び覚醒度のうち少なくとも１つを用いて、前記運転介在レベルを検出する
　前記（１）乃至（１６）のいずれかに記載の車両制御装置。
（１８）
　前記運転者状態検出部は、前記運転者に与えた刺激又は指示に対する前記運転者の反応に基づいて、前記運転者の反応性及び覚醒度のうち少なくとも１つを検出する
　前記（１７）に記載の車両制御装置。
（１９）
　前記運転者状態検出部は、前記運転者が使用している情報処理装置を介して指示を与える
　前記（１８）に記載の車両制御装置。
（２０）
　運転者が車両の運転に介在しているレベルを示す運転介在レベルを検出する運転者監視ステップと、
　前記運転介在レベルが不足している場合、前記運転者の不利益となるペナルティを適用するペナルティ適用ステップと
　を含む車両制御方法。
　１０　自動運転システム，　１１　車両制御システム，　１２　携帯端末，　２１　周辺撮影部，　２２　周辺情報取得部，　２３　位置測定部，　２５　車両情報取得部，　２６　運転者監視部，　２７　通信部，　２８　車両制御部，　２９　表示部，　３０　音声出力部，　３１　発光部,　３２　臭い発生部，　３３　走行制御部，　３４　車載装置制御部,　１０１　運転者撮影部，　１０２　生体情報取得部，　１０３　視線検出部，　１０４　認証部，　１２１　周辺監視部，　１２２　運転者監視部，　１２３　自動運転制御部，　１２４　通知制御部，　１２５　ペナルティ適用部,　１２６　ログ生成部，　１２７　学習部，　１４１　運転挙動分析部，　１４２　運転者状態検出部，　１４３　運転介在レベル検出部，　１５１　ルート設定部，　１５２　自動化レベル設定部，　１５３　運転支援制御部

Claims (20)

  1. 　運転者が車両の運転に介在している度合いを示す運転介在レベルを検出する運転者監視部と、
    　前記運転介在レベルが不足している場合、前記運転者の不利益となるペナルティを適用するペナルティ適用部と
    　を備える車両制御装置。
  2. 　前記ペナルティ適用部は、自動運転のレベルが、前記運転者が運転に介在しないレベルから介在するレベルに遷移する場合に、前記運転介在レベルが不足しているとき、前記ペナルティを適用する
    　請求項１に記載の車両制御装置。
  3. 　前記ペナルティを適用した後、前記運転介在レベルの不足が解消された場合、前記運転者が与えられた指示に適切に対応するまで、運転操作の制限を行う運転支援制御部を
    　さらに備える請求項２に記載の車両制御装置。
  4. 　前記ペナルティ適用部は、前記ペナルティを適用する前に前記運転者の注意を喚起する処理が行われた後も前記運転介在レベルが不足している場合、前記ペナルティを適用する
    　請求項１に記載の車両制御装置。
  5. 　前記ペナルティ適用部は、前記運転介在レベルが不足している状態の発生回数及び発生頻度のうち少なくとも１つに基づいて、前記ペナルティを適用する
    　請求項１に記載の車両制御装置。
  6. 　前記ペナルティ適用部は、前記ペナルティの適用が繰り返される場合、適用する前記ペナルティを変更する
    　請求項１に記載の車両制御装置。
  7. 　前記ペナルティは、前記運転者に不快感を与えたり、前記運転者の利便性を低下させたりするものである
    　請求項１に記載の車両制御装置。
  8. 　前記ペナルティは、運転席の背もたれを座面に対して垂直な方向に近づけることを含む
    　請求項７に記載の車両制御装置。
  9. 　前記ペナルティは、前記車両の上限速度を制限することを含む
    　請求項７に記載の車両制御装置。
  10. 　前記ペナルティは、前記車両の自動運転の機能を制限することを含む
    　請求項７に記載の車両制御装置。
  11. 　前記ペナルティは、前記運転者による運転の介在が必要なルートを通るように走行ルートを変更することを含む
    　請求項７に記載の車両制御装置。
  12. 　前記ペナルティ適用部は、前記車両が目的地に到着した後、又は、前記車両が強制停車された後、前記ペナルティを適用する
    　請求項１に記載の車両制御装置。
  13. 　前記ペナルティ適用部は、前記車両の発進を所定の期間禁止する
    　請求項１２に記載の車両制御装置。
  14. 　前記ペナルティ適用部は、前記車両が目的地に到着した後、又は、前記車両が強制停車された後に適用する前記ペナルティに関する情報をログに記録させる
    　請求項１２に記載の車両制御装置。
  15. 　前記運転者監視部は、自動運転のレベルにより異なる条件に基づいて、前記運転介在レベルが不足しているか否かを判定する
    　請求項１に記載の車両制御装置。
  16. 　前記ペナルティ適用部は、前記運転介在レベルの不足が解消した場合、前記ペナルティの適用を停止する
    　請求項１に記載の車両制御装置。
  17. 　前記運転者の反応性及び覚醒度のうち少なくとも１つを検出する運転者状態検出部を
    　さらに備え、
    　前記運転者監視部は、前記運転者の反応性及び覚醒度のうち少なくとも１つを用いて、前記運転介在レベルを検出する
    　請求項１に記載の車両制御装置。
  18. 　前記運転者状態検出部は、前記運転者に与えた刺激又は指示に対する前記運転者の反応に基づいて、前記運転者の反応性及び覚醒度のうち少なくとも１つを検出する
    　請求項１７に記載の車両制御装置。
  19. 　前記運転者状態検出部は、前記運転者が使用している情報処理装置を介して指示を与える
    　請求項１８に記載の車両制御装置。
  20. 　運転者が車両の運転に介在しているレベルを示す運転介在レベルを検出する運転者監視ステップと、
    　前記運転介在レベルが不足している場合、前記運転者の不利益となるペナルティを適用するペナルティ適用ステップと
    　を含む車両制御方法。
PCT/JP2018/000095 2017-01-19 2018-01-05 車両制御装置及び車両制御方法 WO2018135318A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/466,704 US20190329791A1 (en) 2017-01-19 2018-01-05 Vehicle control apparatus and vehicle control method
JP2018563270A JP6946351B2 (ja) 2017-01-19 2018-01-05 車両制御装置及び車両制御方法
DE112018000443.0T DE112018000443T5 (de) 2017-01-19 2018-01-05 Fahrzeugsteuervorrichtung und Fahrzeugsteuerverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017007477 2017-01-19
JP2017-007477 2017-01-19

Publications (1)

Publication Number Publication Date
WO2018135318A1 true WO2018135318A1 (ja) 2018-07-26

Family

ID=62907845

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000095 WO2018135318A1 (ja) 2017-01-19 2018-01-05 車両制御装置及び車両制御方法

Country Status (4)

Country Link
US (1) US20190329791A1 (ja)
JP (3) JP6946351B2 (ja)
DE (1) DE112018000443T5 (ja)
WO (1) WO2018135318A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020040587A (ja) * 2018-09-12 2020-03-19 トヨタ自動車株式会社 車両制御装置
JP2020164077A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 車両制御システム
JP2020166667A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 車両制御システム
KR20210016761A (ko) * 2019-08-05 2021-02-17 삼성전자주식회사 차량용 전자 장치 및 차량용 전자 장치 동작 방법
JP2021033344A (ja) * 2019-08-14 2021-03-01 トヨタ自動車株式会社 自動運転システム、携帯端末および走行制御装置
WO2021131474A1 (ja) 2019-12-26 2021-07-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2022014352A1 (ja) * 2020-07-17 2022-01-20 京セラ株式会社 電子機器、情報処理装置、推定方法、および推定プログラム
WO2022014353A1 (ja) * 2020-07-17 2022-01-20 京セラ株式会社 電子機器、情報処理装置、推定方法、および推定プログラム
WO2023119763A1 (ja) * 2021-12-21 2023-06-29 パナソニックＩｐマネジメント株式会社 運転者状態推定装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018220834A1 (ja) * 2017-06-02 2018-12-06 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP6920112B2 (ja) * 2017-06-15 2021-08-18 株式会社デンソーテン 運転支援装置および運転支援方法
JP6900915B2 (ja) * 2018-01-24 2021-07-07 トヨタ自動車株式会社 自動運転システム
JP6959891B2 (ja) * 2018-05-25 2021-11-05 本田技研工業株式会社 衝突軽減装置
JP6777124B2 (ja) * 2018-08-24 2020-10-28 株式会社Ｊｖｃケンウッド 警告装置、運転傾向解析装置および運転傾向解析方法
JP2020086958A (ja) * 2018-11-26 2020-06-04 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法、プログラム
DE102019211618A1 (de) * 2019-08-02 2021-02-04 Hyundai Motor Company Verfahren und Sitzsteuerungssystem zur automatischen lateralen Umpositionierung eines Kindersitzes auf einem Rücksitz eines Kraftfahrzeugs
DE102019127541B3 (de) * 2019-10-14 2021-01-14 Audi Ag Verfahren zur assistierten oder zumindest teilautomatisierten Führung eines Kraftfahrzeugs
US11447147B2 (en) * 2020-02-11 2022-09-20 Dish Network L.L.C. System and method to detect driver behavior and employ driver incentives
DE102020126687A1 (de) 2020-10-12 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführungssystem und Verfahren zur Erhöhung der Aufmerksamkeit eines Fahrers beim Betrieb einer Fahrfunktion

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163799A (ja) * 2000-11-27 2002-06-07 Natl Inst For Land & Infrastructure Management Mlit 自動運転の解除装置
JP2012164040A (ja) * 2011-02-04 2012-08-30 Nissan Motor Co Ltd 覚醒低下検出装置
JP2014229123A (ja) * 2013-05-23 2014-12-08 学校法人常翔学園 覚醒維持支援装置
JP2016064773A (ja) * 2014-09-25 2016-04-28 株式会社デンソー 車載システム、車両制御装置、および車両制御装置用のプログラム
JP2016151815A (ja) * 2015-02-16 2016-08-22 株式会社デンソー 運転支援装置
JP2016203718A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 車両の制御装置
WO2016199379A1 (ja) * 2015-06-11 2016-12-15 パナソニックＩｐマネジメント株式会社 車両制御装置、車両制御方法および車両制御プログラム
WO2016207938A1 (ja) * 2015-06-22 2016-12-29 三菱電機株式会社 自動運転装置及び自動運転方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1638801A1 (en) * 2003-06-06 2006-03-29 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
DE10355221A1 (de) * 2003-11-26 2005-06-23 Daimlerchrysler Ag Verfahren und Computerprogramm zum Erkennen von Unaufmerksamkeiten des Fahrers eines Fahrzeugs
US8063786B2 (en) * 2009-02-24 2011-11-22 Panasonic Automotive Systems Company Of America Division Of Panasonic Corporation Of North America Method of detecting drowsiness of a vehicle operator
US8339268B2 (en) * 2009-11-10 2012-12-25 GM Global Technology Operations LLC Driver configurable drowsiness prevention
CN201749540U (zh) * 2010-07-26 2011-02-16 华南农业大学 一种疲劳驾驶检测及规范装置
EP2523434A1 (en) * 2011-05-11 2012-11-14 10n2 Technologies, Inc. A method for limiting the use of a mobile communications device dependent on the travelling speed
CN104769655B (zh) * 2012-11-08 2017-05-10 丰田自动车株式会社 驾驶辅助装置及驾驶辅助方法
JP6328254B2 (ja) * 2014-09-05 2018-05-23 三菱電機株式会社 自動走行管理システム、サーバおよび自動走行管理方法
WO2016151749A1 (ja) * 2015-03-24 2016-09-29 パイオニア株式会社 自動運転支援装置、制御方法、プログラム及び記憶媒体
WO2016151750A1 (ja) * 2015-03-24 2016-09-29 パイオニア株式会社 地図情報記憶装置、自動運転制御装置、制御方法、プログラム及び記憶媒体
CN106740860A (zh) * 2015-11-24 2017-05-31 英业达科技有限公司 车用安全方法及车用安全系统
WO2017097381A1 (en) * 2015-12-11 2017-06-15 Telefonaktiebolaget Lm Ericsson (Publ) Method and warning system operable in a vehicle
CN105857076B (zh) * 2016-05-28 2018-06-26 海门市创豪工业设计有限公司 一种驾驶人酒精检测报警与禁止启动装置
US9945679B2 (en) * 2016-06-27 2018-04-17 International Business Machines Corporation Personalized travel routes to reduce stress

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163799A (ja) * 2000-11-27 2002-06-07 Natl Inst For Land & Infrastructure Management Mlit 自動運転の解除装置
JP2012164040A (ja) * 2011-02-04 2012-08-30 Nissan Motor Co Ltd 覚醒低下検出装置
JP2014229123A (ja) * 2013-05-23 2014-12-08 学校法人常翔学園 覚醒維持支援装置
JP2016064773A (ja) * 2014-09-25 2016-04-28 株式会社デンソー 車載システム、車両制御装置、および車両制御装置用のプログラム
JP2016151815A (ja) * 2015-02-16 2016-08-22 株式会社デンソー 運転支援装置
JP2016203718A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 車両の制御装置
WO2016199379A1 (ja) * 2015-06-11 2016-12-15 パナソニックＩｐマネジメント株式会社 車両制御装置、車両制御方法および車両制御プログラム
WO2016207938A1 (ja) * 2015-06-22 2016-12-29 三菱電機株式会社 自動運転装置及び自動運転方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7028118B2 (ja) 2018-09-12 2022-03-02 トヨタ自動車株式会社 車両制御装置
JP2020040587A (ja) * 2018-09-12 2020-03-19 トヨタ自動車株式会社 車両制御装置
JP2020164077A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 車両制御システム
JP2020166667A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 車両制御システム
CN111762187A (zh) * 2019-03-29 2020-10-13 本田技研工业株式会社 车辆控制系统
JP7168509B2 (ja) 2019-03-29 2022-11-09 本田技研工業株式会社 車両制御システム
JP7090576B2 (ja) 2019-03-29 2022-06-24 本田技研工業株式会社 車両制御システム
KR20210016761A (ko) * 2019-08-05 2021-02-17 삼성전자주식회사 차량용 전자 장치 및 차량용 전자 장치 동작 방법
US11807231B2 (en) 2019-08-05 2023-11-07 Samsung Electronics Co., Ltd. Electronic device for vehicle and operating method thereof
KR102226419B1 (ko) * 2019-08-05 2021-03-12 삼성전자주식회사 차량용 전자 장치 및 차량용 전자 장치 동작 방법
US11492004B2 (en) 2019-08-14 2022-11-08 Toyota Jidosha Kabushiki Kaisha Automated driving system, portable device and travel control device
JP7070519B2 (ja) 2019-08-14 2022-05-18 トヨタ自動車株式会社 自動運転システム、携帯端末および走行制御装置
JP2021033344A (ja) * 2019-08-14 2021-03-01 トヨタ自動車株式会社 自動運転システム、携帯端末および走行制御装置
WO2021131474A1 (ja) 2019-12-26 2021-07-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JP2022019416A (ja) * 2020-07-17 2022-01-27 京セラ株式会社 電子機器、情報処理装置、推定方法、および推定プログラム
WO2022014353A1 (ja) * 2020-07-17 2022-01-20 京セラ株式会社 電子機器、情報処理装置、推定方法、および推定プログラム
JP7160867B2 (ja) 2020-07-17 2022-10-25 京セラ株式会社 電子機器、情報処理装置、推定方法、および推定プログラム
WO2022014352A1 (ja) * 2020-07-17 2022-01-20 京セラ株式会社 電子機器、情報処理装置、推定方法、および推定プログラム
JP7433155B2 (ja) 2020-07-17 2024-02-19 京セラ株式会社 電子機器、情報処理装置、推定方法、および推定プログラム
WO2023119763A1 (ja) * 2021-12-21 2023-06-29 パナソニックＩｐマネジメント株式会社 運転者状態推定装置

Also Published As

Publication number Publication date
JP2021193605A (ja) 2021-12-23
DE112018000443T5 (de) 2019-10-10
JPWO2018135318A1 (ja) 2019-11-07
US20190329791A1 (en) 2019-10-31
JP2024019189A (ja) 2024-02-08
JP6946351B2 (ja) 2021-10-06

Similar Documents

Publication Publication Date Title
WO2018135318A1 (ja) 車両制御装置及び車両制御方法
JP7173105B2 (ja) 自動運転制御装置、自動運転制御方法、プログラム、および自動運転制御システム
JP7155122B2 (ja) 車両制御装置及び車両制御方法
JP7080598B2 (ja) 車両制御装置および車両制御方法
US20220009524A1 (en) Information processing apparatus, moving apparatus, and method, and program
CN110192084B (zh) 自动驾驶辅助装置、方法及程序
KR20030064765A (ko) 운전자 수행 향상을 위한 시스템 및 방법
KR20030059193A (ko) 운전자 보조 시스템에서의 응답 종합 방법
CN114072865A (zh) 信息处理装置、移动装置、方法和程序
JPWO2020100585A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7238193B2 (ja) 車両制御装置および車両制御方法
JP2018165086A (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、運転支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18742133

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018563270

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18742133

Country of ref document: EP

Kind code of ref document: A1