WO2017085981A1 - 運転支援装置及び運転支援方法、並びに移動体 - Google Patents

運転支援装置及び運転支援方法、並びに移動体 Download PDF

Info

Publication number
WO2017085981A1
WO2017085981A1 PCT/JP2016/075478 JP2016075478W WO2017085981A1 WO 2017085981 A1 WO2017085981 A1 WO 2017085981A1 JP 2016075478 W JP2016075478 W JP 2016075478W WO 2017085981 A1 WO2017085981 A1 WO 2017085981A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
vehicle
notification
switching
driving
Prior art date
Application number
PCT/JP2016/075478
Other languages
English (en)
French (fr)
Inventor
信之 五十嵐
井手 直紀
河本 献太
拓也 藤田
小形 崇
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/773,389 priority Critical patent/US10768617B2/en
Priority to JP2017551555A priority patent/JP6773046B2/ja
Priority to EP16865984.5A priority patent/EP3378722B1/en
Priority to CN201680065672.8A priority patent/CN108349507B/zh
Publication of WO2017085981A1 publication Critical patent/WO2017085981A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0057Estimation of the time available or required for the handover
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/182Selecting between different operative modes, e.g. comfort and performance modes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00Input parameters relating to a particular sub-units
    • B60W2510/06Combustion engines, Gas turbines
    • B60W2510/0638Engine speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/28Wheel speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/045Occupant permissions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/10Accelerator pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/227Position in the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/26Incapacity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00Output or target parameters relating to data
    • B60W2756/10Involving external transmission of data to or from the vehicle

Definitions

  • the technology disclosed in the present specification relates to a driving support device and a driving support method that support a driver's driving operation using an automatic driving function and the like, and a mobile body having a function that supports driving of the driver.
  • the automatic operation mode when starting the automatic operation mode, the automatic operation mode is switched from the manual operation mode to the automatic operation mode through the transition mode that is easier to cancel the automatic operation mode than the automatic operation mode, and the automatic operation mode is canceled.
  • the override operation by the driver it is determined that the safety of the vehicle when switching to the manual operation mode can be ensured, and the automatic operation mode is switched to the manual operation mode. Proposals have been made on a driving support device that is performed when an override operation by a driver is detected (see, for example, Patent Document 1).
  • An object of the technology disclosed in the present specification is to provide an excellent driving support device, a driving support method, and a moving body that can suitably support a driver's driving operation using an automatic driving function.
  • the technology disclosed in the present specification has been made in consideration of the above-mentioned problems, and the first aspect thereof is A state detector for detecting the state of the driver; Based on the detection result by the state detection unit, a control unit that controls the timing of notifying the switching of the driving mode of the vehicle; Is a driving support device.
  • control unit of the driving support device controls timing for notifying switching of the vehicle from the automatic driving mode to the manual driving mode. Is configured to do.
  • control unit of the driving support device determines whether the notification is in a state where the driver can immediately cope with manual driving. It is configured to set a quick start time for performing.
  • control unit of the driving support device is conscious of the driver in the second state where the driver's attention is distracting. Is configured to set a quick start time longer than that in the first state in which other work is performed.
  • control unit of the driving support device is in a third state where the driver is asleep or is away from the driver's seat.
  • the quick start time is set longer than that in the second state.
  • control unit of the driving support device switches the driving mode of the vehicle based on a detection result by the state detection unit. It is configured to further control the method of notification.
  • control unit of the driving support device further sets a time or distance until the vehicle is switched from the automatic driving mode to the manual driving mode.
  • the notification method is configured to be controlled.
  • the driving support apparatus includes a notification unit that uses a plurality of means for notifying switching of the driving mode of the vehicle.
  • the control unit is configured to perform the notification method in which more of the plurality of means are combined when there is no time or distance until the vehicle is switched from the automatic operation mode to the manual operation mode. ing.
  • the notification unit of the driving support device includes voice output, image display, presentation of force sensation or tactile sense, and a passenger of the vehicle. At least two of the information terminals possessed can be used.
  • control unit of the driving support device detects the state of the driver after the notification by the state detection unit, and Based on the detection result, the operation mode switching of the vehicle is further controlled.
  • control unit of the driving support apparatus switches from the automatic driving mode to the manual driving mode of the vehicle in response to a request from the driver.
  • the switching timing is set.
  • control unit of the driving support device provides information related to execution of switching of the vehicle from the automatic driving mode to the manual driving mode. It is configured to transmit to a vehicle or an external device.
  • the control unit of the driving support device provides a first notification for switching notification of the vehicle from the automatic driving mode to the manual driving mode.
  • the second passenger of the vehicle is set as a new driver, and the switching of the operation mode is notified based on the detection result of the state detection unit of the second passenger. It is configured to control timing.
  • the fourteenth aspect of the technology disclosed in this specification is: A state detection step for detecting the state of the driver; A control step for controlling the timing for notifying the switching of the driving mode of the vehicle based on the detection result of the state detection step; Is a driving support method.
  • a drive unit that is driven to travel in one of a plurality of operation modes;
  • a state detector for detecting the state of the driver;
  • a control unit for controlling the timing for notifying the switching of the operation mode of the drive unit; It is the moving body which comprises.
  • FIG. 1 is a diagram schematically illustrating a configuration example of a vehicle control system 2000 to which the technology disclosed in this specification can be applied.
  • FIG. 2 is a diagram illustrating an example of installation positions of the imaging unit 2410 and the vehicle exterior information detection unit 2420.
  • FIG. 3 is a diagram showing an outline of a control method of the notification timing of operation mode switching according to the technique disclosed in this specification.
  • FIG. 4 is a diagram illustrating the relationship between the quick start time at each notification timing and the distance to the point where the operation mode is switched.
  • FIG. 5 is a diagram for explaining a method of adjusting the switching timing from the automatic operation mode to the manual operation mode.
  • FIG. 6 is a flowchart showing a processing procedure for realizing switching of the vehicle from automatic driving to manual driving in the vehicle control system 2000.
  • FIG. 7 is a flowchart showing another processing procedure for realizing switching of the vehicle from automatic driving to manual driving in the vehicle control system 2000.
  • FIG. 1 schematically shows a configuration example of a vehicle control system 2000 to which the technology disclosed in this specification can be applied.
  • the illustrated vehicle control system 2000 includes a drive system control unit 2100, a body system control unit 2200, a battery control unit 2300, a vehicle exterior information detection unit 2400, a vehicle interior information detection unit 2500, and an integrated control unit 2600. These control units are interconnected via a communication network 2010.
  • the communication network 2010 may be an in-vehicle communication network that conforms to an arbitrary communication standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), and the like.
  • Each of the control units 2100 to 2600 includes, for example, a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and various control objects. And a driving circuit for driving the apparatus.
  • Each of the control units 2100 to 2600 includes a network interface (IF) for communicating with other control units via the communication network 2010, and between the devices and sensors inside and outside the vehicle.
  • IF network interface
  • the drive system control unit 2100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 2100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 2100 may also have a function as a control device such as ABS (Antilock Break System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 2110 is connected to the drive system control unit 2100.
  • the vehicle state detection unit 2110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects vehicle acceleration, or an accelerator pedal operation amount, a brake pedal operation amount, steering -At least one of sensors for detecting the steering angle of the wheel, the engine speed, or the rotational speed of the wheel is included.
  • the drive system control unit 2100 performs arithmetic processing using a signal input from the vehicle state detection unit 2110 to control an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • the body system control unit 2200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 2200 includes a control device for locking and releasing a door lock such as a keyless entry system and a smart key system, and starting and stopping of the system 2000, a power window device, and various lamps (head lamp, back lamp, brake lamp). , Including blinker and fog lamp).
  • a control device for locking and releasing a door lock such as a keyless entry system and a smart key system
  • starting and stopping of the system 2000 a power window device, and various lamps (head lamp, back lamp, brake lamp). , Including blinker and fog lamp).
  • body control unit 2200 receives radio waves or various switch signals from a portable transmitter built in the key (or substitutes for the key), the vehicle door lock device, power window device, lamp, etc. Control.
  • the battery control unit 2300 controls a secondary battery that is a power supply source of the drive motor according to various programs.
  • the battery device 2310 including the secondary battery measures the battery temperature, the battery output voltage, the remaining battery capacity, and the like of the secondary battery, and outputs them to the battery control unit 2300.
  • the battery control unit 2300 performs arithmetic processing using the input information from the battery device 2310, and controls the temperature adjustment control of the secondary battery and the cooling device provided in the battery device 2310.
  • the outside information detection unit 2400 detects information outside the vehicle on which the vehicle control system 2000 is mounted.
  • the vehicle exterior information detection unit 2400 is connected to at least one of the imaging unit 2410 and the vehicle exterior information detection unit 2420.
  • the imaging unit 2410 includes at least one of a ToF (Time of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 2420 includes, for example, at least one of the current weather or an environmental sensor for detecting the weather and a surrounding information detection sensor for detecting surrounding vehicles, obstacles, pedestrians, and the like. .
  • the environmental sensors referred to here are, for example, a raindrop sensor that detects rain, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, a snow sensor that detects snowfall, and the like.
  • the ambient information detection sensor includes an ultrasonic sensor, a radar device, a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device, and the like.
  • the imaging unit 2410 and the outside information detection unit 2420 may be configured as independent sensors or devices, or may be configured as a device in which a plurality of sensors or devices are integrated.
  • imaging units 2910, 2912, 2914, 2916, and 2918 correspond to the imaging unit 2410.
  • An imaging unit 2910 provided in the front nose and an imaging unit 2918 provided in the upper part of the windshield in the vehicle interior mainly capture an image in front of the vehicle 2900.
  • a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like can be detected based on an image ahead of the vehicle 2900 captured by the imaging unit 2918.
  • the imaging units 2912 and 2914 provided in the side mirror mainly capture an image on the side of the vehicle 2900.
  • An imaging unit 2916 provided in the rear bumper or the back door mainly captures an image behind the vehicle 2900.
  • the imaging range a indicates the imaging range of the imaging unit 2910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 2912 and 2914 provided in the left and right side mirrors, respectively.
  • the imaging range d indicates the imaging range of the imaging unit 2916 provided on the rear bumper or the back door. For example, by superimposing the image data captured by the imaging units 2910, 2912, 2914, and 2916, an overhead image when the vehicle 2900 is viewed from above can be obtained.
  • Each vehicle exterior information detection unit 2920, 2922, 2924, 2926, 2928, 2930 provided on the front, rear, side, corner of the vehicle 2900 and the upper part of the windshield in the vehicle interior is constituted by, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 2920, 2926, and 2930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 2900 may be, for example, LIDAR devices.
  • These outside-vehicle information detection units 2920 to 2930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 2400 causes the imaging unit 2410 to capture an image outside the vehicle (see FIG. 2), and receives the captured image data from the imaging unit 2410. In addition, the vehicle exterior information detection unit 2400 receives detection information from the vehicle exterior information detection unit 2420.
  • the vehicle exterior information detection unit 2420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the vehicle exterior information detection unit 2400 transmits ultrasonic waves, electromagnetic waves, or the like, and information on reflected waves from the vehicle exterior information detection unit 2420. Receive.
  • the vehicle outside information detection unit 2400 detects an object outside the vehicle and an image recognition process for recognizing surrounding people, vehicles, obstacles, signs or characters on the road surface based on the information received from the vehicle outside information detection unit 2420. Object detection processing and distance detection processing to an object outside the vehicle may be performed. Further, the vehicle exterior information detection unit 2400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on information received from the vehicle exterior information detection unit 2420.
  • the vehicle exterior information detection unit 2400 performs processing such as distortion correction or alignment on the image data received from the imaging unit 2410, and combines the image data captured by the different imaging units 2410 to create an overhead view image or a panorama. An image may be generated. Further, the vehicle exterior information detection unit 2400 may perform viewpoint conversion processing using image data captured by different imaging units 2410.
  • the in-vehicle information detection device 2500 detects in-vehicle information.
  • a driver state detection unit 2510 that detects the state of a driver driving the vehicle (hereinafter simply referred to as “driver”) is connected to the in-vehicle information detection device 2500.
  • the vehicle interior information detection device 2500 detects vehicle interior information based on the driver state information input from the driver state detection unit 2510.
  • the in-vehicle information detection device 2500 may calculate the driver's degree of fatigue or concentration, and determines whether the driver is asleep.
  • the in-vehicle information detection device 2500 detects various driver states and determines whether or not driving of the vehicle can be performed by a driver (or a passenger other than the driver) (described later).
  • the driver here refers to a passenger sitting in a driver's seat in the vehicle or a passenger stored as a person to be driven by the integrated control unit 2600 among the passengers in the vehicle.
  • the in-vehicle information detection device 2500 may detect the driver based on the seated position of the passenger, or a face image registered in advance as a driver based on the face of the passenger included in the image taken inside the vehicle. You may make it discriminate
  • Driver state detection unit 2510 may include a camera that captures images of the driver (Drumoni camera), a biometric sensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the vehicle interior information detection device 2500 may perform signal processing such as noise canceling on an audio signal collected by a microphone.
  • the biological sensor is provided on, for example, a seat surface or a steering wheel, and detects biological information of a driver who holds the steering wheel or a driver who holds the steering wheel.
  • the driver state detection unit 2510 may include a load sensor that detects a load applied to the driver's seat and other seats (whether or not a person is seated on the seat).
  • the driver state detection unit 2510 detects the driver state based on operations performed by the driver on various devices such as an accelerator, a brake, a steering wheel, a wiper, a winker, an air conditioner, and other switches. Also good. In addition, the driver state detection unit 2510 may perform status checks such as the driver's lack of a driver's license or driving refusal.
  • the integrated control unit 2600 controls the overall operation in the vehicle control system 2000 according to various programs.
  • the integrated control unit 2600 includes a microcomputer 2610, a general-purpose communication interface 2620, a dedicated communication interface 2630, a positioning unit 2640, a beacon receiving unit 2650, an in-vehicle device interface 2660, and an audio image.
  • An output unit 2670, an in-vehicle network interface 2680, and a storage unit 2690 are provided.
  • an input unit 2800 is connected to the integrated control unit 2600. Passengers can operate the input unit 2800 to input various data and instruct processing operations to the vehicle control system 2000.
  • the input unit 2800 is configured by a device that can be input by a driver or other passengers, such as a touch panel, a button, a microphone, a switch, and a lever.
  • the input unit 2800 may be, for example, a remote control device using infrared rays or other radio waves, or may be a mobile phone, a PDA (Personal Digital Assistant), a smartphone, a tablet, or the like that supports the operation of the vehicle control system 2000. It may be an external connection device.
  • the input unit 2800 may be, for example, a camera. In this case, the passenger can input information to the integrated control unit 2600 by a gesture.
  • the input unit 2800 may include, for example, an input control circuit that generates an input signal based on information input by the passengers using the input unit 2800 and outputs the input signal to the integrated control unit 2600.
  • the storage unit 2690 includes a RAM (Random Access Memory) that stores various programs executed by the microcomputer, and an EEPROM (ElectricallyErasable and Programmable Read Only Memory) that stores various parameters, calculation results, detection values of sensors, and the like. You may go out. Further, the storage unit 2690 may be configured by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device such as an SSD (Solid State Drive), an optical storage device, or a magneto-optical storage device.
  • a magnetic storage device such as an HDD (Hard Disc Drive)
  • SSD Solid State Drive
  • the general-purpose communication interface 2620 is a general-purpose communication interface that mediates communication with various devices existing in the external environment 2750.
  • the general-purpose communication interface 2620 is a wireless LAN such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), Wi-Fi (registered trademark), etc.
  • Other wireless communication protocols such as Bluetooth (registered trademark) are implemented.
  • the general-purpose communication interface 2620 is, for example, a device (for example, the Internet, a cloud network, or an operator-specific network) that exists on an external network (for example, a base station in cellular communication or an access point in a wireless LAN).
  • the general-purpose communication interface 2620 uses, for example, P2P (Peer To Peer) technology to a terminal (for example, an information terminal carried by a driver or a pedestrian, a store adjacent to a traveling road). It may be connected to an installed store terminal or an MTC (Machine Type Communication) terminal (such as a home gas meter or vending machine) connected to a communication network without human intervention.
  • P2P Peer To Peer
  • a terminal for example, an information terminal carried by a driver or a pedestrian, a store adjacent to a traveling road. It may be connected to an installed store terminal or an MTC (Machine Type Communication) terminal (such as a home gas meter or vending machine) connected to a communication network without human intervention.
  • MTC Machine Type Communication
  • the dedicated communication interface 2630 is a communication interface that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication interface 2630 includes, for example, WAVE (Wireless Access in Vehicle Environment) or DSRC (Dedicated Short Range Communication Protocol), which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609, or the DSRC (Dedicated Short Range Communication Protocol). You can do it.
  • the dedicated communication interface 2630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication.
  • V2X communication which is a concept including one or more, is performed.
  • the positioning unit 2640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a Global Positioning System (GPS) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 2640 may specify the current position based on the electric measurement information from the wireless access point using PlaceEngine or the like, or a mobile phone having a positioning function, PHS (Personal Handy-phone System) or You may make it acquire positional information from the portable terminal which passengers, such as a smart phone, possess.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the beacon receiving unit 2650 receives, for example, radio waves or electromagnetic waves transmitted from a wireless station installed on the road, and acquires the current position of the vehicle and road traffic information (information such as traffic jams, closed roads, and required time). . Note that the function of the beacon receiving unit 2650 can be included in the dedicated communication interface 2630 described above and mounted.
  • the in-vehicle device interface 2660 is a communication interface that mediates connections between the microcomputer 2610 and various in-vehicle devices 2760 existing in the vehicle.
  • the in-vehicle device interface 2660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB (Universal Serial Bus)).
  • the in-vehicle device interface 2660 is connected to a wired terminal such as USB, HDMI (registered trademark) (High Definition Multimedia Interface), MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary).
  • a connection may be established.
  • the in-vehicle device interface 2660 exchanges a control signal or a data signal with, for example, a mobile device or wearable device possessed by a passenger, or an in-vehicle device 2760 that is carried in or attached to the vehicle.
  • the in-vehicle device 2760 may include a haptic device that presents a force sensation and a tactile sensation to a driver or a passenger via a seat or the like.
  • the in-vehicle network interface 2680 is an interface that mediates communication between the microcomputer 2610 and the communication network 2010.
  • the in-vehicle network interface 2680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 2010.
  • the microcomputer 2610 of the integrated control unit 2600 is acquired via at least one of the general-purpose communication interface 2620, the dedicated communication interface 2630, the positioning unit 2640, the beacon receiving unit 2650, the in-vehicle device interface 2660, and the in-vehicle network interface 2680.
  • the vehicle control system 2000 is controlled according to various programs based on the information to be performed.
  • the microcomputer 2610 calculates a control target value for the driving force generator, steering mechanism, or braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 2100. May be.
  • the micro computer 2610 may perform cooperative control for the purpose of avoiding collision of the vehicle or mitigating impact, following traveling based on the inter-vehicle distance, vehicle speed maintaining traveling, automatic driving, and the like.
  • Microcomputer 2610 may output a control command to drive system control unit 2100 to perform automatic driving control of the vehicle.
  • the micro computer 2610 controls notification timing (not described later) for notifying the switching from the automatic operation mode to the manual operation mode based on the driver state determined based on the detection result of the driver state detection unit 2510. You may do it.
  • the micro computer 2610 is information acquired via at least one of the general-purpose communication interface 2620, the dedicated communication interface 2630, the positioning unit 2640, the beacon receiving unit 2650, the in-vehicle device interface 2660, and the in-vehicle network interface 2680. Based on the above, local map information including peripheral information of the current position of the vehicle may be created.
  • the micro computer 2610 also generates a warning signal by predicting dangers such as a collision of the vehicle, an approach of a pedestrian or a building, an approach to a closed road based on the acquired information. You may do it.
  • the warning signal here is, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the sound image output unit 2670 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying the passenger of the vehicle or the outside of the vehicle.
  • an audio speaker 2710, a display unit 2720, and an instrument panel 2730 are provided as output devices.
  • Display unit 2720 may include, for example, at least one of an on-board display or a head-up display.
  • a head-up display is a device that uses a windshield to project an image (like an image at an infinite point) into the driver's field of view.
  • the display unit 2720 may have an AR (Augmented Reality) display function.
  • the vehicle may be provided with headphones, a projector, a lamp, or the like as an output device.
  • the output device is a display device, the display device can display results obtained by various processes performed by the microcomputer 2610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually.
  • the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • the instrument panel 2730 is arranged in front of the driver's seat (and the passenger seat), and includes a meter panel indicating information necessary for driving the vehicle such as a speedometer, tachometer, fuel gauge, water temperature gauge, and distance meter. Including a navigation system that provides driving guidance to the destination.
  • the vehicle control system 2000 shown in FIG. 1 may be physically integrated as one unit. Further, the vehicle control system 2000 may further include a control unit other than that shown in FIG. Alternatively, at least one of the control units 2100 to 2600 may be physically constituted by a group of two or more units. Also, some of the functions that the control units 2100 to 2600 should perform may be realized by other control units. In short, it is allowed to change the configuration of the vehicle control system 2000 as long as the above-described arithmetic processing realized by transmission / reception of information via the communication network 2010 is performed by any control unit. . In addition, a sensor or device connected to any one of the control units may be connected to another control unit, and a plurality of pieces of information detected or acquired by a certain sensor or device may be transmitted via the communication network 2010. The control units may transmit and receive each other.
  • the micro computer 2610 of the integrated control unit 2600 can realize automatic driving control of the vehicle according to a predetermined program. For example, when automatic driving is limited to a highway, it is necessary to switch from the automatic driving mode to the manual driving mode near the exit of the highway.
  • the vehicle In order to safely switch the vehicle from the automatic operation mode to the manual operation mode, the vehicle is switched to the manual operation with a margin in time, or the load of the driving operation is reduced through the transition mode (for example, , See Patent Document 1).
  • the driver state detection unit 2510 constantly monitors the state of the driver and the passenger, and the microcomputer 2610 of the integrated control unit 2600 performs in-vehicle information based on a predetermined program. Based on the state of the driver and passengers obtained from the detection device 2500, the timing and notification method for notifying that switching from automatic driving to manual driving is optimized.
  • a point indicated by reference number 300 is a branch point between an expressway (main line) and an exit to a general road, and a switching timing at which a vehicle running in the automatic driving mode switches to the manual driving mode (hereinafter, “ Switch T ”). Further, the timing for performing the normal notification immediately before switching to the manual operation mode near the exit is referred to as “notification T”.
  • a plurality of notification timings for early notification of switching from the automatic operation mode to the manual operation mode are set assuming various states of the driver (and passengers).
  • three types of early notification timings hereinafter referred to as “notification T1”, “notification T2”, and “notification T3” with different early exit times until switching T are set.
  • a notification T1, a notification T2, and a notification T3 are transmitted to the points 301, 302, and 303 that are separated from the switching T by a traveling distance corresponding to the early start time of each notification timing, which is the point before the point 300 corresponding to the switching T.
  • T1 to T3 are respectively set as times during which the driver can make sufficient preparations before switching from the automatic operation mode to the manual operation mode in accordance with the state of the driver (details will be described later). .
  • T1 30 seconds
  • T2 120 seconds
  • Notification of switching to the manual operation mode is given to a driver who is asleep or a driver who is away from the driver's seat (D seat) at notification T3, which is an earlier timing (longer start-up time). By doing so, the driver has time to prepare for manual driving and can move to driving behavior more safely.
  • the driver in the sideways state or the indiscriminate state is notified of the switch to the manual operation mode by the notification T2, which is a timing having an intermediate early time between the notification T1 and the notification T3.
  • Notification T2 The state of ambiguity is a state in which attention to driving is distracted due to fatigue or lack of sleep. The situation is also the same in the state of looking aside. In order to respond to manual driving after notification, the driver in such a state needs to understand the position where the vehicle is placed. Therefore, a sufficient time until the person understands the surrounding traffic environment is set as the quick start time in the notification T2.
  • FIG. 4 illustrates the relationship between the quick start time at each notification timing and the distance to the point where the operation mode is switched.
  • the quick start time is set longer, the distance to the point where the operation mode is switched (exit of the expressway) becomes longer, and safety is ensured.
  • the waiting time and distance from when they respond to the mode change notification until they actually switch to manual operation mode can be annoying. Good.
  • the notification timing can be set by the time from the notification to the switching to the manual operation mode or the distance to the switching point, but even if the length and distance of the early timing of each notification timing is fixed It may be variable.
  • the driver may be able to adjust the time length and distance of the notification timing when the notification is made.
  • notification is made at a timing close to the timing for switching to manual driving. It should be fully understood that the notification is made sufficiently early in the case where the situation cannot be handled.
  • the branch point 300 between the highway (main line) and the exit to the general road is the timing when the vehicle running in the automatic driving mode switches to the manual driving mode.
  • the switching timing varies depending on the limit range of the sensor performance for detecting the exit of the expressway and the scene.
  • the switching timing may be different for each system operator.
  • the technique disclosed in this specification has a main feature in that the timing for notifying the switching of the operation mode is controlled, not where the operation mode switching timing is set. Therefore, hereinafter, “switching timing” will be described as an arbitrary point.
  • the vehicle control system 2000 is configured to detect the state of the driver based on the detection result by the driver state detection unit 2510.
  • the state of the driver here can be broadly divided into two categories: “possible” and “impossible” that the driver can drive. Table 1 below summarizes the driver status and the means used to detect the driver status.
  • driving operation device which is one of the detection means, refers to any device that allows the driver to operate the vehicle.
  • an accelerator, a brake, a steering wheel, a wiper, a winker, an air conditioner, and other switches are included in the driving operation device.
  • the assignment of the driver status and the feasible or impossible of driving shown in Table 1 is an example, and the actual operation is not necessarily limited to this. Further, the driver states listed in Table 1 are merely examples, and other driver states may exist. Further, in order to detect each state of the driver more accurately, a plurality of detection means may be combined.
  • the state detection target is not limited to the driver sitting in the driver's seat, and the state of all passengers may be confirmed. This is because even if the driver leaves the driver's seat during automatic driving of the vehicle, or even if the driver is unable to drive, driving can be performed by switching passengers (i.e. It is also possible to switch to the manual operation mode.
  • condition check takes into consideration that the number of drivers on the road is not limited to one and may change each time. For this reason, there is a need for a means for confirming whether or not the vehicle itself can be driven, such as whether or not a driver's license is possessed, as well as whether or not the vehicle can be operated.
  • the purpose of the notification is to “notify the driver that the automatic operation will be switched to the manual operation”. Therefore, it is necessary to use an optimal notification method to achieve this purpose.
  • the margin time until switching to manual operation mode time from notification timing to switching timing
  • distance point where switching from manual notification mode to manual operation mode (highway Consider the distance to the exit).
  • the notification method referred to here is specifically to select a device used for notification.
  • Devices used for the notification may include devices other than the in-vehicle device such as a smartphone or a tablet carried by a driver or a passenger.
  • the margin time or distance until switching to the manual operation mode is small, in other words, two or more notification methods may be combined according to the degree of urgency.
  • Table 2 The driver status and the notification method for each driver status are summarized in Table 2 below.
  • Table 3 summarizes notification methods according to the margin time or distance until switching to the manual operation mode.
  • the notification method by Buzzer is a method of notifying a switch to the manual operation mode by issuing a warning sound from, for example, a meter buzzer or a speaker near the driver's seat (for example, the audio speaker 2710 in FIG. 1). It is.
  • a warning sound for example, a meter buzzer or a speaker near the driver's seat (for example, the audio speaker 2710 in FIG. 1). It is.
  • notification is given to the driver seated in the driver's seat, but the driver is not necessarily seated in the driver's seat during automatic driving. Assuming that the driver is away from the driver's seat, it is desirable to issue a warning sound from all speakers in the vehicle and notify all passengers.
  • the display notification method it is preferable to display the notification at various places in the car, not just at a predetermined place, assuming that the driver is away from the driver's seat.
  • a device having a display function such as a head-up display (corresponding to the display unit 2720 in FIG. 1) can be used for the display notification method.
  • Haptic is a notification method using a haptic device that presents force sensations and tactile sensations.
  • the configuration of the haptic device used for notification of switching to the manual operation mode is arbitrary.
  • a haptic device that applies force, vibration, movement or the like to the seat may be used.
  • a mobile device (equivalent to the in-vehicle device 2760 in FIG. 1) such as a smartphone or a tablet possessed by a passenger (including a driver and a passenger) is used to output a sound or an image such as a warning sound. Notification of switching to the manual operation mode is given by display, vibration function, etc.
  • a notification method using Buzzer When the driver is in a state where he / she cannot see, such as when he / she is reading or watching TV or movies, he / she may adopt a notification method using Buzzer. Further, when the driver is normally checking the surroundings or during a call, visual observation is possible, so a notification method using Display may be adopted. Further, when the driver is in a state of being asleep such as falling asleep or looking aside, there is a possibility that the notification by the buzzer or display may not be noticed, and the notification method by haptic may be employed. Also, the mobile notification method is considered to be effective when the driver is in any state.
  • any one or two or more notification methods of the above-described Buzzer, Display, Haptic, and Mobile are combined to enter the manual operation mode. It is only necessary to notify the switching. It should also be taken into account that the combination of a number of notification methods can be cumbersome for drivers and passengers.
  • the purpose of notification is basically to “inform the driver that the automatic operation is switched to the manual operation” (described above). However, it may be assumed that the driver is away from the driver's seat during automatic driving, or that he / she drinks, loses consciousness, becomes suddenly ill, or refuses driving for some reason. That is, every time the mode is switched to the manual operation mode, the driver may be changed. Therefore, it is desirable that the subject to be notified is not only the driver who has been driving just before, but all the passengers in the same vehicle.
  • FIG. 5 is a display example displayed on the display unit 2720 in the vehicle or displayed on the in-vehicle device 2760 such as a smartphone held by a passenger such as a driver via the in-vehicle device IF 2660.
  • T0 is a preset switching timing and indicates that the time from the current position to T0 is 30 seconds. Further, T1 and T2 indicate the upper and lower limits of the switching timing that can be changed from T0, and T1 and T2 depend on the current traveling speed, the traveling road condition and the traffic condition (congestion). Determined in consideration of safety.
  • T0 and T2 indicate the upper and lower limits of the switching timing that can be changed from T0, and T1 and T2 depend on the current traveling speed, the traveling road condition and the traffic condition (congestion). Determined in consideration of safety.
  • the time from the present to the switching timing is 15 seconds
  • T0 to T1 the time from the present to the switching timing is 60.
  • Passengers such as drivers can set any point as T0 in the range of 15 to 60 seconds by sliding the triangle icon corresponding to T0 displayed on the screen. is there.
  • the timing may be changed to a switching timing closer to the exit (switching T1).
  • switching T2 switching timing closer to the exit
  • switching T2 switching timing closer to the exit
  • switching T2 switching timing closer to the current switching timing
  • the driver who has received the notification of switching to the manual operation mode may check whether or not the next notification timing change is desired. For example, when the driver wants to delay the notification timing (notification T1) in the driver state such as during a call, reading, or watching a movie, the early start time is shortened and the notification T1 is closer to the switching timing. Change it. Also, if the driver tends to be crazy about calls and reading and wants to make the notification timing (notification T1) in this driver state earlier, the early start time is lengthened and the distance from the switching timing to the notification T1 is increased. You can make it longer.
  • FIG. 6 shows a processing procedure for realizing switching of the vehicle from automatic driving to manual driving in the vehicle control system 2000 according to the present embodiment in the form of a flowchart.
  • the illustrated processing procedure is implemented, for example, by the micro computer 2610 in the integrated control unit 2600 as a lead.
  • the micro computer 2610 detects that it is necessary to switch the vehicle during automatic driving to the manual driving mode (step S601).
  • step S601 it is necessary to switch the vehicle from the automatic operation mode to the manual operation mode at the junction between the highway (main line) and the exit to the general road. For example, it is possible to detect that the vehicle needs to be switched to the manual operation mode based on the detection of the exit of the highway or the monitoring data by the navigation system, but the processing of step S601 is realized by other methods. Also good.
  • the vehicle interior information detection unit 2500 confirms the state of the driver based on the detection result by the driver state detection unit 2510 and notifies the microcomputer 2610 (step S602).
  • the driver state detection unit 2510 can detect various driver states based on, for example, output signals from a dramoni camera, a load sensor, a biological sensor, a driving operation device, or a state check (see, for example, Table 1). ).
  • the driver state can be roughly divided into a state where driving can be performed and a state where driving is impossible.
  • the microcomputer 2610 checks whether or not the driver can perform driving and can be switched to the manual driving mode based on the driver state detected in step S602 (step S603).
  • step S603 If it is determined that the driver cannot switch to the manual operation mode (No in step S603), the microcomputer 2610 disables switching of the vehicle to the manual operation mode (step S603). S611).
  • step S612 If switching to manual operation mode is not possible, ensure safety by, for example, continuing automatic driving of the vehicle or finding and stopping a safe space before the point of switching to manual operation mode Perform the action. Further, in addition to the safety ensuring operation of the vehicle itself, a warning is issued to surrounding vehicles, and the status of the driver and an accident occurring to the driver are transmitted to the management center on the cloud (step S612). The surrounding vehicle can detect that an abnormality has occurred in the vehicle and try to avoid an accident.
  • step S603 if it is determined that the driver can switch to the manual operation mode (Yes in step S603), the microcomputer 2610 determines a notification timing suitable for the driver state confirmed in step S602 (step S602). Step S604).
  • the notification timing according to the driver state is as already described with reference to FIG.
  • a driver who is reading or operating a smartphone has a clear consciousness, and as long as the reading or smartphone operation is interrupted, manual operation can be handled immediately after notification, so notification that the quick start time is short Determine to T1.
  • the driver in a casual state decides to be notification T2 having a quick start time enough to understand the position where the host vehicle is placed in order to cope with manual driving after notification.
  • the notification T3 is determined to have a quick start time required for awakening a person or sitting in the driver's seat.
  • step S605 the micro computer 2610 determines a notification method suitable for the driver status confirmed in step S602 (step S605).
  • notification of switching to the manual operation mode can be performed using a notification method such as Buzzer, Display, Haptic, or Mobile.
  • a notification method such as Buzzer, Display, Haptic, or Mobile.
  • a plurality of notification methods may be combined in consideration of time or distance margin until switching timing to the manual operation mode.
  • all notification methods of Buzzer, Display, Haptic, and Mobile, or a combination of as many notification methods as possible can be combined with It is necessary to ensure that the switch to the manual operation mode is transmitted to the user.
  • the micro computer 2610 When the notification timing determined in step S604 arrives, the micro computer 2610 outputs a control signal to the in-vehicle device 2760, the audio speaker 2710, the display unit 2720, the instrument panel 2730, and the like, and in step S605. Notification is performed by the determined notification method (step S606).
  • the microcomputer 2610 After performing the notification in step S606, the microcomputer 2610 confirms whether or not there is a reaction from the driver in response to this notification (step S607).
  • a reaction confirmation by voice (driver's speech) and confirmation by pressing a switch (specific on the instrument panel) can be mentioned.
  • various confirmation methods such as a driver's driving ability diagnosis in a virtual environment can be considered.
  • step S607 If there is no reaction from the driver, it is assumed that the driver cannot return to a driving-ready state by the switching timing, or that it is not possible to drive by changing the driver to another passenger. Switching to manual operation mode without any reaction from the driver is extremely dangerous and may cause a serious accident. For this reason, when no reaction is obtained from the driver (No in step S607), switching to the manual operation mode is disabled (step S611), and switching to the manual operation mode is stopped. In this case, for example, an operation for ensuring safety is performed, for example, continuing automatic driving of the vehicle or finding and stopping a safe space before the point of switching to the manual operation mode. Further, in addition to the safety ensuring operation of the vehicle itself, a warning is issued to surrounding vehicles, and the status of the driver and the accident that occurred to the driver are transmitted to the management center on the cloud (step S612). Furthermore, strive to prevent accidents.
  • step S607 If the reaction to the notification from the driver can be confirmed (Yes in step S607), the operation can be shifted to the manual operation more safely.
  • the micro computer 2610 confirms whether the driver that has received the notification of switching to the manual operation mode has a request for switching timing to switch to the manual operation mode (step S608).
  • step S608 the display screen shown in FIG. 5 is displayed on the display unit 2720, the driver's smartphone as the in-vehicle device 2760, or the like based on the control of the integrated control unit 2600.
  • the driver can change the switching timing closer to the exit than the current switching timing by operating the display screen of FIG. 5 displayed on the smartphone (as the in-vehicle device 2760) that he / she owns, or vice versa.
  • it is possible to change to a farther switching timing see FIG. 5.
  • the microcomputer 2610 resets the switching timing requested by the driver (step S609).
  • the microcomputer 2610 resets the switching timing based on the information about the switching timing instructed by the passenger's smartphone (as the in-vehicle device 2760), so that the passenger who is the driver has the display unit 2720 in the vehicle.
  • the switching timing can be changed without moving to a place.
  • step S609 When the switching timing set in advance or reset in step S609 comes, the micro computer 2610 outputs a control command to the drive system control unit 2100 to switch the vehicle from the automatic operation mode to the manual operation mode. Implement (step S610).
  • the micro computer 2610 notifies the surrounding vehicle that the vehicle has been successfully switched from the automatic operation mode to the manual operation mode, or transmits it to the management center on the cloud (step S612).
  • the surrounding vehicle detects that the vehicle has been switched to the manual operation mode, it can consider the change of its own operation mode.
  • FIG. 7 shows, in the form of a flowchart, another processing procedure for realizing switching of the vehicle from automatic driving to manual driving in the vehicle control system 2000 according to the present embodiment.
  • a normal notification timing (notification T) for notifying the switching from the automatic operation mode to the manual operation mode
  • a notification timing (notification T1 to T3) earlier than the notification T are prepared.
  • the processing procedure shown in FIG. 7 is also executed by the micro computer 2610 in the integrated control unit 2600, for example.
  • the micro computer 2610 detects that it is necessary to switch the vehicle being automatically operated to the manual operation mode (step S701). For example, based on the detection of highway exits and monitoring data from the navigation system, it is detected that the junction between the highway (main line) and the exit to the general road is approaching, and the vehicle needs to be switched to manual operation mode. (Id.)
  • the vehicle interior information detection unit 2500 confirms the state of the driver based on the detection result by the driver state detection unit 2510 and notifies the microcomputer 2610 (step S702).
  • the driver state detection unit 2510 can detect various driver states based on, for example, output signals from a dramoni camera, a load sensor, a biological sensor, a driving operation device, or a state check (same as above).
  • step S703 the micro computer 2610 checks whether it is necessary to notify the switching to the manual operation mode at an early stage based on the driver state detected in step S702 (step S703).
  • the micro- The computer 2610 sets a normal notification timing (notification T) and a normal notification method (for example, only notification by any one of Buzzer and Display) (step S711).
  • step S703 the microcomputer 2610 determines that the driver's condition confirmed in step S702 is appropriate.
  • Notification timing is determined (step S704). For example, a driver who is reading or operating a smartphone has a clear consciousness, and as long as the reading or smartphone operation is interrupted, manual operation can be handled immediately after notification, so notification that the quick start time is short Determine to T1.
  • the driver in a casual state decides to be notification T2 having a quick start time enough to understand the position where the host vehicle is placed in order to cope with manual driving after notification.
  • the notification T3 is determined to have a quick start time required for awakening a person or sitting in the driver's seat.
  • the micro computer 2610 determines a notification method suitable for the driver status confirmed in step S702 (step S705).
  • notification of switching to the manual operation mode can be performed using a notification method such as Buzzer, Display, Haptic, or Mobile.
  • a notification method such as Buzzer, Display, Haptic, or Mobile.
  • a plurality of notification methods may be combined in consideration of time or distance margin until switching to the manual operation mode (same as above).
  • the micro computer 2610 When the notification timing determined in step S704 arrives, the micro computer 2610 outputs a control signal to the in-vehicle device 2760, the audio speaker 2710, the display unit 2720, the instrument panel 2730, and the like, and in step S705. Early notification by the determined notification method or normal notification is performed (step S706).
  • the micro computer 2610 After performing the notification in step S706, the micro computer 2610 confirms whether or not there is a reaction from the driver in response to this notification (step S707).
  • a reaction confirmation by voice (driver's speech) and confirmation by pressing a switch (specific on the instrument panel) can be mentioned.
  • various confirmation methods such as a driver's driving ability diagnosis in a virtual environment can be considered.
  • the micro computer 2610 further checks whether it is difficult to perform manual operation by the driver because there is no time to switch to manual operation mode. (Step S712).
  • step S715 If there is no time before switching to the manual operation mode and manual operation by the driver is difficult (Yes in step S712), switching to the manual operation mode cannot be performed (step S715), and the manual operation mode is entered. Cancel the switch. In this case, for example, an operation for ensuring safety is performed, for example, continuing automatic driving of the vehicle or finding and stopping a safe space before the point of switching to the manual operation mode. Further, in addition to the safety ensuring operation of the vehicle itself, a warning is issued to surrounding vehicles, and the status of the driver and an accident occurring to the driver are transmitted to the management center on the cloud (step S716). Furthermore, strive to prevent accidents.
  • step S713 If there is no reaction from the driver (No in step S707), but there is still time until the switching timing to the manual operation mode (No in step S712), there is another passenger in the vehicle. It is further checked whether or not there is another driver candidate (step S713).
  • step S713 If there are no other driver candidates (No in step S713), the process returns to step S702 and the status of the same driver is checked again (step S702), and notification timing and notification method are determined and notification is executed. Repeatedly (steps S704 to S706). If another driver candidate exists (Yes in step S713), the driver candidate is replaced with the driver (step S714), and the status of the new driver is checked again (step S702). Based on the notification timing and notification method based on the notification, the notification is executed (steps S704 to S706).
  • step S707 When it is possible to confirm the reaction to the notification from any driver on the vehicle (Yes in step S707), it is possible to shift to manual driving more safely.
  • the micro computer 2610 confirms whether or not the driver who has received the notification of switching to the manual operation mode has a request for switching timing to switch to the manual operation mode (step S708).
  • the driver can change to a switching timing closer to the exit than the current switching timing, or conversely, to a switching timing farther away (see FIG. 5).
  • the microcomputer 2610 resets the switching timing requested by the driver (step S709).
  • step S609 When the switching timing set in advance or reset in step S609 comes, the micro computer 2610 outputs a control command to the drive system control unit 2100 to switch the vehicle from the automatic operation mode to the manual operation mode. Implement (step S710).
  • the micro computer 2610 notifies the surrounding vehicle that the vehicle has been successfully switched from the automatic operation mode to the manual operation mode, or transmits it to the management center on the cloud (step S716).
  • the surrounding vehicle detects that the vehicle has been switched to the manual operation mode, it can consider the change of its own operation mode.
  • the technology disclosed in the present specification can be applied to various vehicles such as automobiles (including gasoline vehicles and diesel vehicles), electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, and vehicles other than vehicles traveling on roads. It can be applied to any moving body.
  • a state detection unit for detecting the state of the driver; Based on the detection result by the state detection unit, a control unit that controls the timing of notifying the switching of the driving mode of the vehicle;
  • a driving support apparatus comprising: (2) The control unit controls the timing for notifying the switching of the vehicle from the automatic operation mode to the manual operation mode.
  • the control unit sets a quick start time for performing the notification according to whether or not the driver is ready for manual driving.
  • the control unit sets a quick start time longer than in the first state in which the driver is conscious but is performing other work.
  • the driving support apparatus according to (3) above.
  • the control unit sets a quicker start time longer than that in the second state.
  • the control unit further controls a method of notifying switching of the driving mode of the vehicle based on a detection result by the state detection unit.
  • the driving support device according to any one of (1) to (5) above.
  • the control unit controls the notification method in consideration of a time or a distance until the vehicle is switched from the automatic operation mode to the manual operation mode.
  • the driving support device according to (6) above.
  • the control unit is configured to implement the notification method in which more of the plurality of means are combined.
  • the driving support device can use at least two of an audio terminal, an image display, a force sense or a tactile sensation, and an information terminal possessed by a passenger of the vehicle.
  • the driving support apparatus according to (8) above.
  • the control unit detects the state of the driver after the notification is made by the state detection unit, and further controls switching of the driving mode of the vehicle based on the detection result.
  • the driving support apparatus according to (1) above.
  • the control unit When the control unit cannot confirm the driver's reaction to the notification of switching from the automatic driving mode to the manual driving mode of the vehicle, the switching of the manual driving mode is stopped.
  • the driving support apparatus according to (10) above.
  • the control unit sets the switching timing of the vehicle from the automatic operation mode to the manual operation mode in response to a request from the driver.
  • the control unit transmits information related to execution of switching from the automatic operation mode to the manual operation mode of the vehicle to a surrounding vehicle or an external device.
  • the controller sets the second occupant of the vehicle as a new driver when the reaction of the first occupant in response to the notification of switching from the automatic operation mode to the manual operation mode of the vehicle cannot be confirmed.
  • the driving support apparatus according to (1) above.
  • a state detection step for detecting the state of the driver;
  • a control step for controlling the timing for notifying the switching of the driving mode of the vehicle based on the detection result of the state detection step;
  • a driving support method (16) a drive unit that is driven to travel in one of a plurality of operation modes;
  • a state detector for detecting the state of the driver;
  • a control unit for controlling the timing for notifying the switching of the operation mode of the drive unit;
  • a moving body comprising:
  • Audio speaker 27 DESCRIPTION OF SYMBOLS 20 ... Display part 2730 ... Instrument panel, 2760 ... In-vehicle apparatus 2800 ... Input part 2900 ... Vehicle 2910, 2912, 2914, 2916, 2918 ... Imaging part 2920, 2922, 2924 ... Outside vehicle information detection part 2926, 2928, 2930 ... Outside vehicle information detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)

Abstract

自動運転機能を用いて車両の運転を支援する運転支援装置を提供する。 ドライバーのさまざまな状態を想定して、自動運転モードから手動運転モードへの切り替えを通知する複数の通知タイミングを設定する。居眠りをしているドライバーに長い早出し時間の通知タイミングで通知すれば、ドライバーは手動運転への構えをとる時間的余裕が生まれ、より安全に運転行動に移行できる。読書やスマートフォンを操作しているドライバーに対しては、通知後すぐに運転行動に移行できると予想されるので、短い早出し時間の通知タイミングで通知すれば十分であり、ドライバーにとっての煩わしさを低減できる。

Description

運転支援装置及び運転支援方法、並びに移動体
 本明細書で開示する技術は、自動運転機能などを用いてドライバーの運転操作を支援する運転支援装置及び運転支援方法、並びに、ドライバーの運転を支援する機能を備えた移動体に関する。
 現在、目的地までの走行案内を行なうナビゲーション装置が多くの車両に搭載されている。また、最近では、ドライバーの運転操作に基づいて走行する手動運転以外に、ドライバーの運転操作によらずあらかじめ設定された経路(又は、ナビゲーション装置により走行案内される目的地までの経路)に沿って自動的に走行するなど、車両の運転支援技術の開発が進められている。
 自動車メーカー各社などによる公道での自動運転の実証実験が既に始まっている。これによって、自動運転が実施された際に発生し得るさまざまな課題が明らかとなり、これらの課題を解決するための数多の提案もなされている。
 例えば、自動運転モードを起動する際には、自動運転モードと比較して自動運転モードの解除が容易な遷移モードを経て手動運転モードから自動運転モードへの切り替えを行なうとともに、自動運転モードを解除する際には、ドライバーによるオーバーライド操作を検出し、手動運転モードに切り替わった際の車両の安全を確保できると判定したことにより自動運転モードから手動運転モードへの切り替えを行ない、遷移モードの解除はドライバーによるオーバーライド操作を検出した場合に行なう走行支援装置について提案がなされている(例えば、特許文献1を参照のこと)。
 また、自車両が自動運転中に、ある程度の台数以上の周辺車両が走行し且つ手動運転車両の比率が高い状況となり、自動運転が困難となった場合に、自動運転から手動運転への切り替えを推奨する旨をドライバーに通知する運転支援装置について提案がなされている(例えば、特許文献2を参照のこと)。
特開2010-264829号公報 特開2015-44432号公報
 本明細書で開示する技術の目的は、自動運転機能を用いてドライバーの運転操作を好適に支援することができる、優れた運転支援装置及び運転支援方法、並びに移動体を提供することにある。
 本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第1の側面は、
 ドライバーの状態を検出する状態検出部と、
 前記状態検出部による検出結果に基づいて、車両の運転モードの切り替えを通知するタイミングを制御する制御部と、
を具備する運転支援装置である。
 本明細書で開示する技術の第2の側面によれば、第1の側面に係る運転支援装置の前記制御部は、前記車両の自動運転モードから手動運転モードへの切り替えを通知するタイミングを制御するように構成されている。
 本明細書で開示する技術の第3の側面によれば、第2の側面に係る運転支援装置の前記制御部は、ドライバーがすぐに手動運転に対応できる状態か否かに応じて、前記通知を行なう早出し時間を設定するように構成されている。
 本明細書で開示する技術の第4の側面によれば、第3の側面に係る運転支援装置の前記制御部は、ドライバーの注意力が散漫である第2の状態では、ドライバーが意識はあるが他の作業をしている第1の状態の場合よりも長い早出し時間を設定するように構成されている。
 本明細書で開示する技術の第5の側面によれば、第4の側面に係る運転支援装置の前記制御部は、ドライバーが居眠りし又は運転席から離席している第3の状態では、前記第2の状態の場合よりもさらに長い早出し時間を設定するように構成されている。
 本明細書で開示する技術の第6の側面によれば、第3の側面に係る運転支援装置の前記制御部は、前記状態検出部による検出結果に基づいて、前記車両の運転モードの切り替えを通知する方法をさらに制御するように構成されている。
 本明細書で開示する技術の第7の側面によれば、第6の側面に係る運転支援装置の前記制御部は、前記車両を自動運転モードから手動運転モードに切り替えるまでの時間又は距離をさらに考慮して、前記通知方法を制御するように構成されている。
 本明細書で開示する技術の第8の側面によれば、第6の側面に係る運転支援装置は、車両の運転モードの切り替えを通知する複数の手段を利用する通知部を備えている。そして、前記制御部は、前記車両を自動運転モードから手動運転モードに切り替えるまでの時間又は距離の余裕がないときには、前記複数の手段のより多くを組み合わせた前記通知方法を実施させるように構成されている。
 本明細書で開示する技術の第9の側面によれば、第8の側面に係る運転支援装置の前記通知部は、音声出力、画像表示、力感覚又は触覚の提示、前記車両の搭乗者が所持する情報端末のうち少なくとも2つを利用することができる。
 本明細書で開示する技術の第10の側面によれば、第1の側面に係る運転支援装置の前記制御部は、前記通知をした後のドライバーの状態を前記状態検出部により検知し、当該検出結果に基づいて、前記車両の運転モードの切り替えをさらに制御するように構成されている。
 本明細書で開示する技術の第11の側面によれば、第1の側面に係る運転支援装置の前記制御部は、ドライバーからの要求に応じて前記車両の自動運転モードから手動運転モードへの切り替えタイミングを設定するように構成されている。
 本明細書で開示する技術の第12の側面によれば、第1の側面に係る運転支援装置の前記制御部は、前記車両の自動運転モードから手動運転モードへの切り替えの実施に関する情報を周辺車両又は外部装置に伝達するように構成されている。
 本明細書で開示する技術の第13の側面によれば、第1の側面に係る運転支援装置の前記制御部は、前記車両の自動運転モードから手動運転モードへの切り替えの通知に対する第1の搭乗者のリアクションを確認できないときには、前記車両の第2の搭乗者を新たなドライバーとして設定し、前記第2の搭乗者の前記状態検出部による検出結果に基づいて前記運転モードの切り替えを通知するタイミングを制御するように構成されている。
 また、本明細書で開示する技術の第14の側面は、
 ドライバーの状態を検出する状態検出ステップと、
 前記状態検出ステップによる検出結果に基づいて、車両の運転モードの切り替えを通知するタイミングを制御する制御ステップと、
を有する運転支援方法である。
 また、本明細書で開示する技術の第15の側面は、
 複数の運転モードのいずれかで走行するように駆動される駆動部と、
 ドライバーの状態を検出する状態検出部と、
 前記状態検出部による検出結果に基づいて、前記駆動部の運転モードの切り替えを通知するタイミングを制御する制御部と、
を具備する移動体である。
 本明細書で開示する技術によれば、移動体を自動運転から手動運転へ切り替える際に、ドライバーの状態に応じて、最適なタイミング並びに最適な方法により手動運転への切り替えを通知することができる、優れた運転支援装置及び運転支援方法、並びに移動体を提供することができる。
 なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
 本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、本明細書で開示する技術を適用することができる車両制御システム2000の構成例を模式的に示した図である。 図2は、撮像部2410及び車外情報検出部2420の設置位置の一例を示した図である。 図3は、本明細書で開示する技術による運転モード切り替えの通知タイミングの制御方法の概要を示した図である。 図4は、各通知タイミングにおける早出し時間と運転モードを切り替える地点までの距離との関係を例示した図である。 図5は、自動運転モードから手動運転モードへの切り替えタイミングを調整する方法を説明するための図である。 図6は、車両制御システム2000において車両を自動運転から手動運転への切り替えを実現するための処理手順を示したフローチャートである。 図7は、車両制御システム2000において車両を自動運転から手動運転への切り替えを実現するための他の処理手順を示したフローチャートである。
 以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
 図1には、本明細書で開示する技術を適用することができる車両制御システム2000の構成例を模式的に示している。図示の車両制御システム2000は、駆動系制御ユニット2100と、ボディ系制御ユニット2200と、バッテリー制御ユニット2300と、車外情報検出ユニット2400と、車内情報検出ユニット2500と、統合制御ユニット2600などの複数の制御ユニットで構成され、これらの制御ユニットは通信ネットワーク2010を介して相互接続されている。通信ネットワーク2010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、FlexRay(登録商標)などの任意の通信規格に準拠した車載通信ネットワークでよい。
 各制御ユニット2100~2600はそれぞれ、例えば、各種プログラムに従って演算処理を行なうマイクロ・コンピューターと、マイクロ・コンピューターにより実行されるプログラム又は各種演算に用いられるパラメーターなどを記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備えている。また、各制御ユニット2100~2600は、通信ネットワーク2010を介して他の制御ユニットとの間で通信を行なうためのネットワーク・インターフェース(IF)を備えるとともに、車内外の装置又はセンサーなどとの間で有線通信又は無線通信により通信を行なうための通信インターフェースを備えている。
 駆動系制御ユニット2100は、各種プログラムに従って車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット2100は、内燃機関や駆動用モーターなどの車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置などの制御装置として機能する。また、駆動系制御ユニット2100は、ABS(Antilock Brake System)やESC(Electronic Stability Control)などの制御装置としての機能を備えてもよい。
 駆動系制御ユニット2100には、車両状態検出部2110が接続されている。車両状態検出部2110には、例えば、車体の軸回転運動の角速度を検出するジャイロ・センサー、車両の加速度を検出する加速度センサー、あるいは、アクセル・ペダルの操作量、ブレーキ・ペダルの操作量、ステアリング・ホイールの操舵角、エンジン回転数又は車輪の回転速度などを検出するためのセンサーのうちの少なくとも1つが含まれる。駆動系制御ユニット2100は、車両状態検出部2110から入力される信号を用いて演算処理を行ない、内燃機関や駆動用モーター、電動パワー・ステアリング装置、ブレーキ装置などを制御する。
 ボディ系制御ユニット2200は、各種プログラムに従って車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット2200は、キーレスエントリーシステムやスマートキーシステムといったドアロックの施錠と解除並びにシステム2000の始動と停止に関する制御装置、パワーウィンドウ装置や各種ランプ(ヘッドランプ、バックランプ、ブレーキ・ランプ、ウィンカー、フォグランプを含む)の制御装置として機能する。ボディ系制御ユニット2200は、鍵に内蔵される(若しくは、鍵を代替する)携帯発信機から送出される電波又は各種スイッチの信号が到来すると、車両のドアロック装置やパワーウィンドウ装置、ランプなどを制御する。
 バッテリー制御ユニット2300は、各種プログラムに従って駆動用モーターの電力供給源である二次電池を制御する。例えば、バッテリー制御ユニット2300には、二次電池を備えたバッテリー装置2310は、二次電池のバッテリー温度やバッテリー出力電圧、バッテリーの残存容量などを計測して、バッテリー制御ユニット2300に出力する。バッテリー制御ユニット2300は、バッテリー装置2310からの入力情報を用いて演算処理を行ない、二次電池の温度調節制御やバッテリー装置2310に備えられた冷却装置などの制御を実施する。
 車外情報検出ユニット2400は、車両制御システム2000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット2400には、撮像部2410及び車外情報検出部2420のうちの少なくとも一方が接続されている。
 撮像部2410には、ToF(Time of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ又はその他のカメラのうちの少なくとも1つが含まれる。車外情報検出部2420には、例えば、現在の天候又は気象を検出するための環境センサーや、周辺車両や障害物、歩行者などを検出するための周囲情報検出センサーのうちの少なくとも1つが含まれる。
 ここで言う環境センサーは、例えば、雨天を検出する雨滴センサー、霧を検出する霧センサー、日照度合いを検出する日照センサー、降雪を検出する雪センサーなどである。また、周囲情報検出センサーは、超音波センサーやレーダー装置、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置などで構成される。
 これらの撮像部2410及び車外情報検出部2420は、それぞれ独立したセンサー乃至装置として構成してもよいし、複数のセンサー乃至装置が統合された装置として構成してもよい。
 撮像部2410及び車外情報検出部2420の設置位置の一例を図2に示しておく。同図中、撮像部2910、2912、2914、2916、2918は、撮像部2410に相当するが、例えば車両2900のフロントノーズ、サイドミラー、リアバンパー、バックドア及び車室内のフロントガラスの上部のうちの少なくとも1つの位置に配設されている。フロントノーズに備えられる撮像部2910及び車室内のフロントガラスの上部に備えられる撮像部2918は、主として車両2900の前方の画像を捕捉する。例えば撮像部2918が捕捉する車両2900の前方の画像に基づいて、先行車両や歩行者、障害物、信号機、交通標識、車線などを検出することができる。また、サイドミラーに備えられる撮像部2912,2914は、主として車両2900の側方の画像を捕捉する。また、リアバンパー又はバックドアに備えられる撮像部2916は、主として車両2900の後方の画像を捕捉する。
 なお、図2中、撮像範囲aはフロントノーズに設けられた撮像部2910の撮像範囲を示し、撮像範囲b並びにcはそれぞれ左右のサイドミラーに設けられた撮像部2912並びに2914の撮像範囲を示し、撮像範囲dはリアバンパー又はバックドアに設けられた撮像部2916の撮像範囲を示している。例えば、撮像部2910,2912,2914,2916で撮像された画像データを重ね合わることにより、車両2900を上方から見た俯瞰画像を得ることができる。
 車両2900のフロント、リア、サイド、コーナー及び車室内のフロントガラスの上部にそれぞれ設けられる各車外情報検出部2920、2922、2924、2926、2928、2930は、例えば超音波センサーやレーダー装置で構成される。車両2900のフロントノーズ、リアバンパー、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部2920、2926、2930は、例えばLIDAR装置であってよい。これらの車外情報検出部2920~2930は、主として先行車両、歩行者又は障害物などの検出に用いられる。
 再び図1を参照しながら、車両制御システム2000の構成に関する説明を続ける。車外情報検出ユニット2400は、撮像部2410に車外の画像を撮像させる(図2を参照のこと)とともに、撮像された画像データを撮像部2410から受信する。また、車外情報検出ユニット2400は、車外情報検出部2420から検出情報を受信する。車外情報検出部2420が超音波センサー、レーダー装置、又はLIDAR装置である場合には、車外情報検出ユニット2400は、超音波又は電磁波などを発信させるとともに、車外情報検出部2420からの反射波の情報を受信する。
 車外情報検出ユニット2400は、車外情報検出部2420から受信した情報に基づいて、周囲の人や車両、障害物、標識又は路面上の文字などを認識する画像認識処理や、車外の物体を検出する物体検出処理、車外の物体までの距離検出処理を行なってもよい。また、車外情報検出ユニット2400は、車外情報検出部2420から受信した情報に基づいて、降雨、霧、又は路面状況などを認識する環境認識処理を行なってもよい。
 なお、車外情報検出ユニット2400は、撮像部2410から受信した画像データに対して歪補正又は位置合わせなどの処理を行なうとともに、異なる撮像部2410により撮像された画像データを合成して俯瞰画像又はパノラマ画像を生成するようにしてもよい。また、車外情報検出ユニット2400は、異なる撮像部2410により撮像された画像データを用いて、視点変換処理を行なうようにしてもよい。
 車内情報検出装置2500は、車内の情報を検出する。車内情報検出装置2500には、例えば、車両を運転するドライバー(以下、単に「ドライバー」とする)の状態を検出するドライバー状態検出部2510が接続されている。車内情報検出装置2500は、ドライバー状態検出部2510から入力されるドライバー状態情報に基づいて、車内の情報を検出する。例えば、車内情報検出装置2500は、ドライバーの疲労度合い又は集中度合いを算出してもよいし、ドライバーが居眠りをしていないかを判別する。また、車内情報検出装置2500は、さまざまなドライバー状態を検出するとともに、ドライバー(又は、ドライバー以外の搭乗者)によって車両の運転の実施が可能か不可能かを判別する(後述)。ここで言うドライバーとは、車内にいる搭乗者のうち、車内の運転席に座っている搭乗者、あるいは、統合制御ユニット2600が運転を行なうべき人物として記憶している搭乗者を指すものとする。車内情報検出装置2500は、搭乗者の座っている位置によってドライバーを検知してもよいし、車内を撮影した画像に含まれる搭乗者の顔に基づいて、あらかじめドライバーとして登録してある顔画像と撮影された顔画像の比較によりドライバーを判別するようにしてもよい。
 ドライバー状態検出部2510は、ドライバーを撮像するカメラ(ドラモニカメラ)や、ドライバーの生体情報を検出する生体センサー、車室内の音声を集音するマイクなどを含んでもよい。車内情報検出装置2500は、マイクで集音された音声信号に対してノイズ・キャンセリングなどの信号処理を行なうようにしてもよい。生体センサーは、例えば、座面又はステアリング・ホイールなどに設けられ、ステアリング・ホイールを握るドライバーやステアリング・ホイールを握るドライバーの生体情報を検出する。また、ドライバー状態検出部2510は、運転席やその他の座席に加わる荷重(座席に人が座ったか否か)を検出する荷重センサーを含んでもよい。また、ドライバー状態検出部2510は、アクセルやブレーキ、ステアリング、ワイパー、ウィンカー、エアコン、その他のスイッチなど、ドライバーが車両を操作するさまざまなデバイスに対する操作に基づいて、ドライバーの状態を検出するようにしてもよい。また、ドライバー状態検出部2510は、ドライバーの運転免許証不所持や運転拒否といったステータスのチェックを行なうようにしてもよい。
 統合制御ユニット2600は、各種プログラムに従って車両制御システム2000内の動作全般を制御する。図1に示す例では、統合制御ユニット2600は、マイクロ・コンピューター2610と、汎用通信インターフェース2620と、専用通信インターフェース2630と、測位部2640と、ビーコン受信部2650と、車内機器インターフェース2660と、音声画像出力部2670と、車載ネットワーク・インターフェース2680と、記憶部2690を備えている。また、統合制御ユニット2600には、入力部2800が接続されている。搭乗者らは、この入力部2800を操作することにより、車両制御システム2000に対して各種のデータを入力したり処理動作を指示したりすることができる。
 入力部2800は、例えば、タッチパネルやボタン、マイクロフォン、スイッチ、レバーなど、ドライバーやその他の搭乗者によって入力操作され得る装置で構成される。入力部2800は、例えば、赤外線又はその他の電波を利用したリモート・コントロール装置であってもよいし、車両制御システム2000の操作に対応した携帯電話機やPDA(Personal Digital Assistant)、スマートフォン、タブレットなどの外部接続機器であってもよい。入力部2800は、例えばカメラであってもよく、その場合、搭乗者はジェスチャーにより統合制御ユニット2600に情報を入力することができる。さらに、入力部2800は、例えば、上記の入力部2800を用いて搭乗者らにより入力された情報に基づいて入力信号を生成し、統合制御ユニット2600に出力する入力制御回路などを含んでもよい。
 記憶部2690は、マイクロ・コンピューターにより実行される各種プログラムを記憶するRAM(Random Access Memory)、及び各種パラメーター、演算結果やンサーの検出値などを記憶するEEPROM(ElectricallyErasable and Programmable Read Only Memory)を含んでいてもよい。また、記憶部2690は、HDD(Hard Disc Drive)などの磁気記憶デバイスやSSD(Solid State Drive)などの半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイスなどで構成してもよい。
 汎用通信インターフェース2620は、外部環境2750に存在するさまざまな機器との間の通信を仲介する汎用的な通信インターフェースである。汎用通信インターフェース2620は、GSM(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、Wi-Fi(登録商標)などの無線LAN、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装している。汎用通信インターフェース2620は、例えば、セルラー通信における基地局や無線LANにおけるアクセスポイントなどを介して、外部ネットワーク(例えば、インターネット、クラウド・ネットワーク、又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーション・サーバー又は制御サーバー、管理サーバー(後述)など)へ接続することができる。また、汎用通信インターフェース2620は、例えばP2P(Peer To Peer)技術を用いて、当該車両の近傍に存在する端末(例えば、ドライバーや歩行者が携帯する情報端末、走行中の道路に隣接する店舗に設置された店舗端末、人間の介在なしに通信ネットワークに接続するMTC(Machine Type Communication)端末(家庭用ガスのメーターや自動販売機など)など)と接続してもよい。
 専用通信インターフェース2630は、車両における使用を目的として策定された通信プロトコルをサポートする通信インターフェースである。専用通信インターフェース2630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、又はDSRC(Dedicated Short Range Communications)、セルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信インターフェース2630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車と家の間(Vehicleto Home)及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
 測位部2640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部2640は、PlaceEngineなどを利用して無線アクセスポイントからの電測情報に基づいて現在位置を特定してもよく、又は測位機能を有する携帯電話機、PHS(Personal Handy-phone System)若しくはスマートフォンといった搭乗者が所持する携帯端末から位置情報を取得するようにしてもよい。
 ビーコン受信部2650は、例えば、道路上に設置された無線局などから発信される電波又は電磁波を受信し、車両の現在位置や道路交通情報(渋滞、通行止め、所要時間などの情報)を取得する。なお、ビーコン受信部2650の機能を、上述した専用通信インターフェース2630に含めて実装することも可能である。
 車内機器インターフェース2660は、マイクロ・コンピューター2610と車内に存在するさまざまな車内機器2760との間の接続を仲介する通信インターフェースである。車内機器インターフェース2660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又はWUSB(Wireless USB(Universal Serial Bus))といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器インターフェース2660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB、HDMI(登録商標)(High Definition Multimedia Interface)、MHL(Mobile High-definition Link)などの有線接続を確立してもよい。車内機器インターフェース2660は、例えば、搭乗者が所持するモバイル機器やウェアラブル機器、又は車両に搬入され若しくは取り付けられる車内機器2760との間で、制御信号又はデータ信号を交換する。車内機器2760は、座席などを介してドライバーや同乗者に力感覚や触覚を提示するハプティック・デバイスを含んでもよい。
 車載ネットワーク・インターフェース2680は、マイクロ・コンピューター2610と通信ネットワーク2010との間の通信を仲介するインターフェースである。車載ネットワーク・インターフェース2680は、通信ネットワーク2010によりサポートされる所定のプロトコルに則して、信号などを送受信する。
 統合制御ユニット2600のマイクロ・コンピューター2610は、汎用通信インターフェース2620、専用通信インターフェース2630、測位部2640、ビーコン受信部2650、車内機器インターフェース2660、車載ネットワーク・インターフェース2680のうちの少なくとも1つを介して取得される情報に基づいて、各種プログラムに従って、車両制御システム2000を制御する。
 例えば、マイクロ・コンピューター2610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット2100に対して制御指令を出力してもよい。例えば、マイクロ・コンピューター2610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転などを目的とした協調制御を行なうようにしてもよい。また、マイクロ・コンピューター2610は、駆動系制御ユニット2100に対して制御指令を出力して、車両の自動運転制御を行なうようにしてもよい。また、マイクロ・コンピューター2610は、ドライバー状態検出部2510の検出結果に基づいて判別されるドライバー状態に基づいて、自動運転モードから手動運転モードへの切り替えを通知する通知タイミングの制御(後述)を行なうようにしてもよい。
 また、マイクロ・コンピューター2610は、汎用通信インターフェース2620、専用通信インターフェース2630、測位部2640、ビーコン受信部2650、車内機器インターフェース2660及び車載ネットワーク・インターフェース2680のうちの少なくとも1つを介して取得される情報に基づいて、当該車両の現在位置の周辺情報を含むローカル地図情報を作成するようにしてもよい。また、マイクロ・コンピューター2610は、取得される情報に基づいて、当該車両の衝突、歩行者や建造物などの接近、通行止めの道路への進入などの危険を予測して、警告用信号を生成するようにしてもよい。ここで言う警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号である。
 音声画像出力部2670は、当該車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図1に示す例では、出力装置として、オーディオ・スピーカー2710、表示部2720、並びにインストルメント・パネル2730が装備されている。
 表示部2720は、例えば、オンボード・ディスプレイ又はヘッド・アップ・ディスプレイの少なくとも1つを含んでいてもよい。ヘッド・アップ・ディスプレイは、フロントガラスを利用してドライバーの視野に(無限遠の点に結像するような)画像を映し出すデバイスである。表示部2720は、AR(Augmented Reality)表示機能を備えていてもよい。上述した以外にも、ヘッドホン、プロジェクター又はランプなどを出力装置として車両に備えていてもよい。出力装置が表示装置の場合、表示装置は、マイクロ・コンピューター2610が行なった各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフなどさまざまな形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データなどからなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
 また、インストルメント・パネル2730は、運転席(並びに助手席)の正面に配置され、スピードメーターやタコメーター、燃料計、水温計、距離計といった自動車の走行に必要な情報を指し示すメーター・パネルや、目的地までの走行案内を行なうナビゲーション・システムを含む。
 なお、図1に示した車両制御システム2000を構成する複数の制御ユニットのうち少なくとも2つの制御ユニットを物理的に1つのユニットとして一体化して構成してもよい。また、車両制御システム2000が図1に示した以外の制御ユニットをさらに備えていてもよい。あるいは、制御ユニット2100~2600のうち少なくとも1つを物理的には2以上のユニットの集まりで構成してもよい。また、制御ユニット2100~2600が担うべき機能のうち一部を他の制御ユニットで実現するようにしてもよい。要するに、通信ネットワーク2010を介した情報の送受信によって実現される上記の演算処理がいずれかの制御ユニットで行なわれるように構成されていれば、車両制御システム2000の構成を変更することが許容される。また、いずれかの制御ユニットに接続されているセンサーや装置類が他の制御ユニットにも接続されていてもよく、あるセンサー又は装置で検出若しくは取得された情報を、通信ネットワーク2010を介して複数の制御ユニット間で相互に送受信するようにしてもよい。
 統合制御ユニット2600のマイクロ・コンピューター2610は、所定のプログラムに従って、車両の自動運転制御を実現することができる。例えば、高速道路に限定して自動運転を行なっている場合、高速道路の出口付近で自動運転モードから手動運転モードに切り替える必要がある。
 車両を自動運転モードから手動運転モードへ安全に切り替えるためには、時間的に余裕を設けて手動運転への切り替えを行なったり、遷移モードを介在させて運転操作の負荷を下げたりするなど(例えば、特許文献1を参照のこと)、工夫がなされている。
 自動運転が行なわれている間、ドライバーが居眠りしたり意識を喪失したりして、手動運転へ直ちに切り替えることが困難若しくは不可能な場合がある。したがって、安全性を担保して自動運転から手動運転への切り替えを行なうには、十分な時間的余裕を以って運転モードの切り替えを通知することが好ましい。一方、ドライバーが即座に手動運転に対応できる状態であるにも拘らず、かなり早期に運転モードの切り替えが通知されると、ドライバーは煩わしく感じることがある。
 車両を自動運転モードから手動運転モードに切り替えようとする際、ドライバーや同乗者がどのような状態にいるのか、さまざまなケースが想定される。本出願人は、ドライバーの利便性を考慮しつつ、安全性を担保して自動運転から手動運転への切り替えを行なうには、ドライバーの状態を把握する必要があると思料する。すなわち、常に同じタイミングで運転モードの切り替えを通知するのではなく、ドライバーの状態に応じて通知タイミングを可変とすることが好ましい。また、常に同じ方法で運転モードの切り替えを通知するよりも、ドライバーの状態に適した通知方法を選択するようにすれば、安全性を担保して自動運転から手動運転への切り替えを行なうことができるとともに、ドライバーの利便性にも適う。
 そこで、本明細書では、自動運転から手動運転へ切り替える際に、ドライバーの状態(さらには、同乗者の状態)に応じて、最適なタイミング並びに最適な方法で手動運転への切り替えを通知する運転支援技術について提案し、以下で詳細に説明する。本明細書で開示する技術によれば、ドライバーや同乗者の状態を監視することで、より安全な運転モードの切り替えを実現することができる。
 本明細書で開示する技術による運転モード切り替えの通知タイミングの制御方法の概要について、図3を参照しながら説明する。同図では、高速道路に限定して自動運転を行ない、高速道路の出口付近で自動運転から手動運転に切り替えることを想定している。そして、車両制御システム2000においては、ドライバー状態検出部2510がドライバーやさらには同乗者の状態を常時監視しており、統合制御ユニット2600のマイクロ・コンピューター2610は、所定のプログラムに基づいて、車内情報検出装置2500から得られるドライバーや同乗者の状態に基づいて、自動運転から手動運転への切り替えを行なうことを通知するタイミング並びに通知方法を最適化する。
 図3中、参照番号300で示す地点は、高速道路(本線)と一般道へ抜ける出口との分岐点であり、自動運転モードで走行中の車両が手動運転モードへ切り替える切り替えタイミング(以下、「切替T」とする)に相当する。また、出口付近で手動運転モードに切り替わる直前に通常の通知を行なうタイミングを「通知T」とする。
 上述したように、安全性を担保して自動運転モードから手動運転モードへの切り替えを行なうには、十分な時間的余裕を以って運転モードの切り替えを通知することが好ましい。本実施形態では、ドライバー(さらには同乗者)のさまざまな状態を想定して、自動運転モードから手動運転モードへの切り替えを早期に通知する通知タイミングを複数設定している。図3に示す例では、切替Tまでの早出し時間が異なる3種類の早期の通知タイミング(以下、「通知T1」、「通知T2」、「通知T3」とする)を設定した。また、便宜上、切替Tに相当する地点300から手前の、それぞれの通知タイミングの早出し時間に応じた走行距離だけ切替Tから離間した各地点301、302、303に通知T1、通知T2、通知T3をそれぞれ描いている。ここで言う、T1~T3はドライバーの状態に応じて、ドライバーが自動運転モードから手動運転モードへの切り替えまでに十分な準備を行うことができる時間としてそれぞれ設定されている(詳細は後述する)。例えば、T1=30秒、T2=120秒、T3=300秒などが設定される。この場合、車の走行速度が速ければ、地点300から各地点301、302、303までの距離は、走行速度が遅い場合に比べて、より長くなる。
 居眠りをしているドライバーや、運転席(D席)から離席しているドライバーに対しては、より早期な(早出し時間が長い)タイミングである通知T3で手動運転モードへの切り替えを通知することで、ドライバーは手動運転への構えをとる時間的余裕が生まれ、より安全に運転行動に移行することができる。
 また、読書やスマートフォンを操作しているドライバーは、通知後すぐに運転行動に移行できると予想される。そこで、このようなドライバーに対しては、切替T(若しくは通常の通知タイミング(通知T))により近い(すなわち、早出し時間が短い)タイミングである通知T1で手動運転モードへの切り替えを通知すれば十分であり、ドライバーにとっての煩わしさの低減にもつながる。ドライバーは、切替Tに接近するギリギリの時間まで、読書を楽しんだり、スマートフォンを操作し続けたりすることができる。
 また、脇見状態や漫然状態のドライバーは、通知後すぐに運転行動に移行することは難しくても、居眠り状態や離席中のドライバーよりも短い時間で手動運転への構えをとることができると予想される。そこで、脇見状態や漫然状態のドライバーに対しては、通知T1と通知T3の中間的な早出し時間を持つタイミングである通知T2で手動運転モードへの切り替えを通知するようにする。
 このように、ドライバーの状態に応じた通知タイミングで自動運転モードから手動運転モードへの切り替えを通知することで、より安全で、且つ、ドライバーの感覚に合った通知を行なうことが可能になる。
 各通知タイミングT1、T2、T3の定義について、以下に説明しておく。
(1)通知T1
 読書やスマートフォンの操作を行なっているドライバーは、意識がはっきりしており、読書やスマートフォンの操作を中断しさえすれば、通知後すぐに手動運転に対応できると考えられる。そこで、人が通知を受けてからリアクションをとるまでの反応時間を通知T1における早出し時間とする。
(2)通知T2
 漫然状態とは、疲労や寝不足などが原因で、運転に対する注意力が散漫になる状態にことである。注意力が散漫という点では脇見状態も同様である。このような状態のドライバーは、通知後に手動運転に対応するには、自車両が置かれている立場を理解する必要がある。そこで、人が周囲の交通環境を理解するまでに十分な時間を通知T2における早出し時間とする。
(3)通知T3
 ドライバーが居眠り状態のときには、通知T2で定義した早出し時間に加えて、人を覚醒させる時間が必要であると考えられる。また、ドライバーが運転席から離席しているときには、通知T2で定義した早出し時間に加えて、ドライバー又は他の同乗者が運転席に座るまでの時間が必要であると考えられる。そこで、人が睡眠状態から完全に覚醒するまでの時間又は運転席に座るまでの時間と、周囲の交通環境を理解するまでに十分な時間を通知T3における早出し時間とする。
 各通知タイミングにおける早出し時間と運転モードを切り替える地点までの距離との関係を図4に例示しておく。同図から分かるように、早出し時間を長く設定すれば、その分だけ運転モードを切り替える地点(高速道路の出口)までの距離が長くなり、安全性が確保される。また、手動運転にすぐに対応できる状態のドライバーにとっては、モード切り替えの通知に反応してから実際に手動運転モードに切り替わるまでの待ち時間や距離が煩わしく感じるので、短い早出し時間を設定すればよい。
 なお、図3並びに図4に示した例では、3種類の通知タイミングを設定したが、2種類、又は4種類以上の通知タイミングを設定して、ドライバーの状態に応じた通知タイミングを選択的に使用するようにしてもよい。また、通知タイミングは、通知を行なってから手動運転モードに切り替わるまでの時間や切り替え地点までの距離で設定することができるが、各通知タイミングの早出し時間の長さや距離は固定であっても可変であってもよい。例えば、通知を行なった際にドライバーが通知タイミングの時間長や距離を調整できるようにしてもよい。本明細書で開示する技術は、基本的に、ドライバーがすぐに手動運転に対応できるような状態の場合は手動運転への切り替えタイミングに近いタイミングで通知を行なうが、ドライバーがすぐには手動運転に対応できないような状態の場合は十分早めに通知を行なうものである、という点を十分理解されたい。
 また、図3に示した例では、高速道路(本線)と一般道へ抜ける出口との分岐点300が自動運転モードで走行中の車両が手動運転モードへ切り替えるタイミングである。現実には、高速道路の出口を検出するセンサー性能の限界域や、場面に応じて切り替えタイミングは異なってくる。また、システムの運用者毎に切り替えタイミングが異なることもある。本明細書で開示する技術は、運転モードの切り替えタイミングをどこに設定するかではなく、運転モードの切り替えを通知するタイミングを制御するという点に主な特徴がある。したがって、以下では、「切り替えタイミング」は任意の地点として説明することにする。
 運転モード切り替えの通知タイミング制御を実現するためには、ドライバーの状態をより正確に認識する必要がある。本実施形態に係る車両制御システム2000では、ドライバー状態検出部2510による検出結果に基づいて、ドライバーの状態を検出するように構成されている。ここで言うドライバーの状態は、ドライバーが運転の実施が「可能」と「不可能」の2つに大別される。ドライバーの状態と、ドライバーの状態の検出に利用する手段を以下の表1にまとめた。
Figure JPOXMLDOC01-appb-T000001
 なお、上記の表1において、検出手段の1つである「運転操作デバイス」は、ドライバーが車両を操作するあらゆるデバイスを指すものとする。例えば、アクセルやブレーキ、ステアリング、ワイパー、ウィンカー、エアコン、その他のスイッチなどが運転操作デバイスに含まれる。
 但し、表1に示した、ドライバーの状態と運転の実施可能又は不可能の振分けは一例であり、実際の運用では必ずしもこれに限定されない。また、表1で挙げたドライバーの状態は例示であり、他のドライバーの状態も存在し得る。また、ドライバーの各状態をより正確に検出するために、複数の検出手段を組み合わせるようにしてもよい。
 付言すれば、状態を検出する対象は、運転席に座っているドライバーに限定せず、すべての搭乗者の状態を確認するようにしてもよい。何故ならば、車両の自動運転中にドライバーが運転席を離席している場合や、ドライバーが運転の実施不可能な状態であっても、同乗者が入れ替わることで運転の実施が可能(すなわち、手動運転モードへの切り替えが可能)になることも想定されるからである。
 また、状態チェックは、道中のドライバーが一人に限らず、その都度変更となる可能性があることを考慮したものである。このため、運転操作ができるかどうかだけでなく、運転免許証を所持しているかなど、車の運転そのものが可能かどうかを確認する手段が必要である。
 続いて、ドライバーへの通知方法について説明する。
 通知を行なう目的は、「自動運転から手動運転へ切り替わることをドライバーに伝える」ことである。したがって、この目的を達成するために最適な通知方法を用いる必要がある。通知方法の決め方として、ドライバーの状態とともに、手動運転モードに切り替わるまでの余裕時間(通知タイミングから切り替えタイミングまでの時間)又は距離(通知が行なわれた地点から手動運転モードに切り替わる地点(高速道路の出口)までの距離)を考慮する。
 ここで言う通知方法とは、具体的には、通知に用いるデバイスを選択することである。通知に用いるデバイスには、ドライバーや同乗者が携帯するスマートフォンやタブレットなど、車載のデバイス以外を含めてもよい。手動運転モードに切り替わるまでの余裕時間や距離が小さいとき、言い換えれば緊急度に応じて、2以上の通知方法を組み合わせるようにしてもよい。
 ドライバーの状態と、各ドライバーの状態における通知方法を以下の表2にまとめた。また、手動運転モードに切り替わるまでの余裕時間又は距離に応じた通知方法を以下の表3にまとめた。
Figure JPOXMLDOC01-appb-T000002
Figure JPOXMLDOC01-appb-T000003
 表2中、Buzzerによる通知方法とは、例えばメーター・ブザーや運転席付近のスピーカー(例えば、図1中のオーディオ・スピーカー2710)から警告音を発して、手動運転モードへの切り替えを通知する方法である。通常、運転席に着座しているドライバーに対して通知を行なうが、自動運転中は必ずしもドライバーが運転席に着座しているとは限らない。ドライバーが運転席から離席していることも想定して、車内にあるすべてのスピーカーから警告音を発して、搭乗者全員を対象に通知することが望ましい。
 また、Displayによる通知方法を用いる場合も、ドライバーが運転席から離席していることを想定して、決められた一箇所だけでなく、車内のさまざまな場所に通知を表示することが好ましい。例えば、ステアリング・ホイールの前方のインストルメント・パネル2730に配設されたメーター・パネルだけでなく、インストルメント・パネル2730の車幅方向中央などに配設されたナビゲーション・システムや、オンボード・ディスプレイ又はヘッド・アップ・ディスプレイ(図1中の表示部2720に相当)といった表示機能を持つデバイスを、Displayによる通知方法に用いることができる。
 Hapticは、力感覚や触覚を提示するハプティック・デバイスを利用した通知方法である。手動運転モードへの切り替えの通知に利用するハプティック・デバイスの構成は任意である。例えば、座席に力や振動、動きなどを与えるようなハプティック・デバイスでもよい。Hapticによる通知方法を用いる場合も、ドライバーが運転席から離席していることを想定して、ドライバーだけでなくすべての同乗者に力感覚や触覚を提示することが望ましい。例えば、運転席だけでなく、すべての座席に力や振動、動きなどを与えるようする。
 Mobileによる通知方法では、搭乗者(ドライバーと同乗者を含む)が所持するスマートフォンやタブレットなどのモバイル機器(図1中の車内機器2760に相当)を利用して、警告音などの音声出力や画像表示、バイブレーション機能などにより、手動運転モードへの切り替えを通知する。
 ドライバーが読書やTV又は映画の視聴中、居眠りをしているときなど、目視できない状態のときには、Buzzerによる通知方法を採用すればよい。また、ドライバーが正常に周囲を確認しているときや通話中のときには、目視が可能なので、Displayによる通知方法を採用すればよい。また、ドライバーが居眠りや脇見など漫然状態のときなど、BuzzerやDisplayによる通知に気づかないおそれがある状態のときには、Hapticによる通知方法を採用すればよい。また、ドライバーがいずれの状態のときにも、Mobileによる通知方法は有効であると思料する。
 手動運転モードへの切り替えタイミングまで時間又は距離に十分な余裕があるときには、上述したBuzzer、Display、Haptic、又はMobileのうちいずれか1つ又は2以上の通知方法を組み合わせて、手動運転モードへの切り替えを通知するようにすればよい。多数の通知方法を組み合わせると、ドライバーや同乗者にとって通知が煩わしくなるという点も考慮すべきである。
 また、手動運転モードへの切り替えタイミングまで時間又は距離に余裕がなく、緊急性が高いときには、Buzzer、Display、Haptic、並びにMobileのすべての通知方法、又はできる限り多くの通知方法を組み合わせて、ドライバーや同乗者に手動運転モードへの切り替えが確実に伝わるようにする必要がある。
 手動運転モードへの切り替えをドライバーに通知した後、所定の切り替えタイミングが到来すると、実際に運転の主権がドライバーへ受け渡される。ドライバーの状態に応じた通知タイミング及び通知方法により自動運転モードから手動運転モードへの切り替えの通知を実施する際の幾つかの留意点について説明する。
(1)通知の対象
 通知を行なう目的は、基本的に、「自動運転から手動運転へ切り替わることをドライバーに伝える」ことである(前述)。ところが、自動運転中に、ドライバーが運転席から離席している場合や、飲酒したり意識を喪失したり、急病になったり、何らかの理由で運転を拒否する場合も想定される。すなわち、手動運転モードへ切り替える都度、ドライバーが変更となる可能性があるため、通知する対象は、直前まで運転していたドライバーだけでなく、同じ車両の搭乗者全員とすることが望ましい。
(2)ドライバーのリアクションの確認
 ドライバーの状態に応じた通知タイミング及び通知方法で、手動運転モードへの切り替えの通知を行なった際、ドライバーからのリアクションの有無を確認する。例えば、ドライバーが居眠りから確実に起きたか、若しくは、ドライバーが運転できる状態に復帰し又はドライバーの変更により運転できる状態になったかなど、ドライバーからリアクションをもらうことで、より安全に手動運転へ移行することができる。リアクションの有無を確認する手段として、音声(ドライバーの発話)による確認や、(インストルメント・パネル上の特定の)スイッチの押下による確認を挙げることができる。また、バーチャル環境下でのドライバーの運転能力診断など、さまざまな確認手段が考えられる。ドライバーの状態を検出する検出手段(表1を参照のこと)を転用して、ドライバーのリアクションの有無を確認するようにしてもよい。
(3)通知後の振る舞いについて
 ドライバーから通知に対するリアクションをもらうことで、より安全に手動運転へ移行することができる。他方、ドライバーからのリアクションがなかった場合には、切り替えタイミングまでに、ドライバーが運転できる状態に復帰できないことや、他の同乗者にドライバーを変更して運転できる状態にならないことが想定される。ドライバーからのリアクションがないまま手動運転モードへの切り替えを行なうと、極めて危険であり、重大な事故を引き起こす可能性もある。ドライバーからのリアクションに応じた振る舞いについても十分に考慮する必要がある。
 ドライバーからのリアクションが確実な場合には、所定の切り替えタイミングの到来により、すべての運転操作を直ちにドライバーに受け渡すようにする。また、ドライバーからのリアクションが不確実な場合には、切り替えタイミングが到来すると、段階的に運転操作をドライバーに受け渡すようにする。また、ドライバーからリアクションが得られなかった場合には、手動運転モードへの切り替えを中止する。
 切り替えを中止する場合、例えば、車両の自動運転を継続したり、手動運転モードに切り替わる地点よりも手前で安全なスペースを見つけて停止したりするなど、安全を確保する動作を行なう。また、当該車両自体の安全確保動作に加えて、周辺の車両に警告を発したり、クラウド上の管理センターにドライバーの状態やドライバーに起こったアクシデントなどの状況を伝達したりして、さらに事故防止に努めることが望ましい。
(4)切り替えタイミングに対するドライバーの最終意思の確認
 手動運転モードへの切り替えの通知を受けたドライバーが、手動運転モードに切り替わる切り替えタイミングの変更を希望するかどうかを確認する。図5に示す例では、高速道路(本線)からの出口の手前の地点に切り替えタイミング(切替T0)が設定されているとする。ドライバーは、現在の切り替えタイミングよりもより出口に近い切り替えタイミング(切替T1)に変更したり、逆に、もっと遠くの切り替えタイミング(切替T2)に変更したりすることができる。図5は、車内の表示部2720に表示されるか、車内機器IF2660を介して例えばドライバーなどの搭乗者が保有するスマートフォンなどの車内機器2760に表示される表示例である。T0は事前に設定された切り替えタイミングであり、現在位置からT0までの時間が30秒である旨を示している。また、T1及びT2は、T0から変更可能な切り替えタイミングの上限及び下限の範囲を示しており、T1及びT2は、現在の走行速度、走行中の道路状況や交通状況(混み具合)に応じて安全性を考慮して決定される。図5に示す例では、ユーザがT0からT2へ切り替えタイミングを変更した場合には現在から切り替えタイミングまでの時間は15秒、T0からT1へ変更した場合には現在から切り替えタイミングまでの時間は60秒であることを示している。ドライバーなどの搭乗者は、画面に表示されたT0に対応する三角形のアイコンを画面上でスライド操作させることなどにより、15秒~60秒の範囲で任意のポイントをT0として設定することが可能である。
 例えば、ドライバーが通話中や読書中、映画鑑賞中など自動運転の時間をもっと伸ばしたい場合には、出口により近い切り替えタイミング(切替T1)に変更すればよい。また、ドライバーが現在の切り替えタイミングよりも前に手動運転に切り替えたい場合には、より遠くの切り替えタイミング(切替T2)に変更すればよい。但し、手動運転モードへの切り替えは、この最終意思の決定とは別に、ドライバーのオーバーライドによる切り替えを常に許可するものとする。
 また、手動運転モードへの切り替えの通知を受けたドライバーが、次回以降の通知タイミングの変更を希望するかどうかも確認するようにしてもよい。例えば、ドライバーが通話中や読書中、映画鑑賞中などのドライバー状態での通知タイミング(通知T1)をもっと遅くしたい場合には、早出し時間を短くして、通知T1を切り替えタイミングにより近い地点に変更すればよい。また、ドライバーが通話や読書に夢中になりがちで、このドライバー状態での通知タイミング(通知T1)をもっと早くしたい場合には、早出し時間を長くして、切り替えタイミングから通知T1までの距離をより長くするようにすればよい。
 図6には、本実施形態に係る車両制御システム2000において、車両を自動運転から手動運転への切り替えを実現するための処理手順をフローチャートの形式で示している。図示の処理手順は、例えば、統合制御ユニット2600内のマイクロ・コンピューター2610が主導的となって実施される。
 まず、マイクロ・コンピューター2610は、自動運転中の車両を手動運転モードへ切り替える必要があることを検知する(ステップS601)。
 例えば、高速道路(本線)と一般道へ抜ける出口との分岐点において、車両を自動運転モードから手動運転モードへ切り替える必要がある。例えば、高速道路の出口検出やナビゲーション・システムによる監視データなどに基づいて車両を手動運転モードへ切り替える必要があることを検知することができるが、これ以外の方法によってステップS601の処理を実現してもよい。
 次いで、車内情報検出ユニット2500は、ドライバー状態検出部2510による検出結果に基づいてドライバーの状態を確認して、マイクロ・コンピューター2610に通知する(ステップS602)。
 ドライバー状態検出部2510は、例えばドラモニカメラや荷重センサー、生体センサー、運転操作デバイスからの出力信号や、状態チェックに基づいて、さまざまなドライバー状態を検出することができる(例えば、表1を参照のこと)。ドライバー状態は、運転の実施可能な状態と不可能な状態に大別することができる。
 そして、マイクロ・コンピューター2610は、ステップS602で検出したドライバーの状態に基づいて、ドライバーが運転の実施可能で、手動運転モードへの切り替えが可能な状態か否かをチェックする(ステップS603)。
 ここで、ドライバーが手動運転モードへの切り替えが不可能と判定された場合には(ステップS603のNo)、マイクロ・コンピューター2610は、当該車両の手動運転モードへの切り替えを実施不可とする(ステップS611)。
 手動運転モードへの切り替えを実施不可とした場合、例えば、車両の自動運転を継続したり、手動運転モードに切り替わる地点よりも手前で安全なスペースを見つけて停止したりするなど、安全を確保する動作を行なう。また、当該車両自体の安全確保動作に加えて、周辺の車両に警告を発したり、クラウド上の管理センターにドライバーの状態やドライバーに起こったアクシデントなどの状況を伝達したりする(ステップS612)。周辺車両は、当該車両に異常が発生したことを検知して、事故の回避に努めることができる。
 一方、ドライバーが手動運転モードへの切り替えが可能と判定された場合には(ステップS603のYes)、マイクロ・コンピューター2610は、ステップS602で確認されたドライバーの状態に適した通知タイミングを決定する(ステップS604)。
 ドライバーの状態に応じた通知タイミングは、図3を参照しながら既に説明した通りである。例えば、読書やスマートフォンの操作を行なっているドライバーは、意識がはっきりしており、読書やスマートフォンの操作を中断しさえすれば、通知後すぐに手動運転に対応できるので、早出し時間が短い通知T1に決定する。また、漫然状態のドライバーは、通知後に手動運転に対応するには、自車両が置かれている立場を理解するまでに十分な早出し時間を持つ通知T2に決定する。また、ドライバーが居眠りしていたり運転席から離席したりしているときには、人を覚醒させ又は運転席に座るまでに必要な早出し時間を持つ通知T3に決定する。
 次いで、マイクロ・コンピューター2610は、ステップS602で確認されたドライバーの状態に適した通知方法を決定する(ステップS605)。
 例えば、Buzzer、Display、Haptic、又はMobileなどの通知方法を用いて、手動運転モードへの切り替えの通知を行なうことができる。また、ステップS605で通知方法を決定する際に、手動運転モードへの切り替えタイミングまでの時間又は距離の余裕を考慮して、複数の通知方法を組み合わせるようにしてもよい。手動運転モードへの切り替えタイミングまで時間又は距離に余裕がなく、緊急性が高いときには、Buzzer、Display、Haptic、並びにMobileのすべての通知方法、又はできる限り多くの通知方法を組み合わせて、ドライバーや同乗者に手動運転モードへの切り替えが確実に伝わるようにする必要がある。
 そして、マイクロ・コンピューター2610は、ステップS604で決定した通知タイミングが到来すると、車内機器2760や、オーディオ・スピーカー2710、表示部2720、インストルメント・パネル2730等に制御信号を出力して、ステップS605で決定した通知方法による通知を実施する(ステップS606)。
 ステップS606で通知を実施した後、マイクロ・コンピューター2610は、この通知に対するドライバーからのリアクションの有無を確認する(ステップS607)。リアクションの有無を確認する手段として、音声(ドライバーの発話)による確認や、(インストルメント・パネル上の特定の)スイッチの押下による確認を挙げることができる。また、バーチャル環境下でのドライバーの運転能力診断など、さまざまな確認手段が考えられる。
 ドライバーからのリアクションがなかった場合には、切り替えタイミングまでに、ドライバーが運転できる状態に復帰できないことや、他の同乗者にドライバーを変更して運転できる状態にならないことが想定される。ドライバーからのリアクションがないまま手動運転モードへの切り替えを行なうと、極めて危険であり、重大な事故を引き起こす可能性もある。このため、ドライバーからリアクションが得られなかった場合には(ステップS607のNo)、手動運転モードへの切り替えを実施不可として(ステップS611)、手動運転モードへの切り替えを中止する。この場合、例えば、車両の自動運転を継続したり、手動運転モードに切り替わる地点よりも手前で安全なスペースを見つけて停止したりするなど、安全を確保する動作を行なう。また、当該車両自体の安全確保動作に加えて、周辺の車両に警告を発したり、クラウド上の管理センターにドライバーの状態やドライバーに起こったアクシデントなどの状況を伝達したりして(ステップS612)、さらに事故防止に努める。
 ドライバーから通知に対するリアクションを確認することができた場合には(ステップS607のYes)、より安全に手動運転へ移行することができる。
 次いで、マイクロ・コンピューター2610は、手動運転モードへの切り替えの通知を受けたドライバーが、手動運転モードに切り替わる切り替えタイミングの要求があるかどうかを確認する(ステップS608)。
 このステップS608では、図5に示す表示画面が、統合制御ユニット2600の制御に基づき、表示部2720や車内機器2760としてのドライバーのスマートフォンなどに表示される。例えば、ドライバーは、自分が所持する(車内機器2760としての)スマートフォンに表示された図5の表示画面を操作することによって、現在の切り替えタイミングよりもより出口に近い切り替えタイミングに変更したり、逆に、もっと遠くの切り替えタイミングに変更したりすることができる(図5を参照のこと)。ドライバーからの切り替えタイミングの要求があるときには(ステップS608のYes)、マイクロ・コンピューター2610は、ドライバーが要求する切り替えタイミングに再設定する(ステップS609)。搭乗者の(車内機器2760としての)スマートフォンにより指示された切り替えタイミングに関する情報に基づいてマイクロ・コンピューター2610が切り替えタイミングを再設定することにより、ドライバーである搭乗者は、車内の表示部2720がある場所まで移動することなく、切り替えタイミングを変更することができる。
 マイクロ・コンピューター2610は、あらかじめ設定し又はステップS609で再設定した切り替えタイミングが到来すると、駆動系制御ユニット2100に対して制御指令を出力して、車両の自動運転モードから手動運転モードへの切り替えを実施する(ステップS610)。
 また、マイクロ・コンピューター2610は、車両を自動運転モードから手動運転モードへ成功裏に切り替えたことを、周辺車両に通知したり、クラウド上の管理センターに伝達したりする(ステップS612)。周辺車両は、当該車両が手動運転モードに切り替わったことを検知すると、自身の運転モードの変更などを考慮することができる。
 図7には、本実施形態に係る車両制御システム2000において、車両を自動運転から手動運転への切り替えを実現するための他の処理手順をフローチャートの形式で示している。図7に示す処理手順では、自動運転モードから手動運転モードへの切り替えを通知する通常の通知タイミング(通知T)と、この通知Tよりも早期の通知タイミング(通知T1~T3)が用意されていることを想定している。なお、図7に示す処理手順も、例えば、統合制御ユニット2600内のマイクロ・コンピューター2610が主導的となって実施されるものとする。
 まず、マイクロ・コンピューター2610は、自動運転中の車両を手動運転モードへ切り替える必要があることを検知する(ステップS701)。例えば、高速道路の出口検出やナビゲーション・システムによる監視データなどに基づいて高速道路(本線)と一般道へ抜ける出口との分岐点が近づき、車両を手動運転モードへ切り替える必要があることを検知する(同上)。
 次いで、車内情報検出ユニット2500は、ドライバー状態検出部2510による検出結果に基づいてドライバーの状態を確認して、マイクロ・コンピューター2610に通知する(ステップS702)。ドライバー状態検出部2510は、例えばドラモニカメラや荷重センサー、生体センサー、運転操作デバイスからの出力信号や、状態チェックに基づいて、さまざまなドライバー状態を検出することができる(同上)。
 次いで、マイクロ・コンピューター2610は、ステップS702で検出したドライバーの状態に基づいて、手動運転モードへの切り替えを早期に通知する必要があるかどうかをチェックする(ステップS703)。
 例えば、ドライバーが運転席に座って、正常に周囲を確認できる状態であり、手動運転モードへの切り替えを早期に通知する必要がないと判定される場合には(ステップS703のNo)、マイクロ・コンピューター2610は、通常の通知タイミング(通知T)並びに通常の通知方法(例えば、Buzzer又はDisplayのいずれか1つによる通知のみ)を設定する(ステップS711)。
 また、手動運転モードへの切り替えを早期に通知する必要があると判定される場合には(ステップS703のYes)、マイクロ・コンピューター2610は、ステップS702で確認されたドライバーの状態に適した早期の通知タイミングを決定する(ステップS704)。例えば、読書やスマートフォンの操作を行なっているドライバーは、意識がはっきりしており、読書やスマートフォンの操作を中断しさえすれば、通知後すぐに手動運転に対応できるので、早出し時間が短い通知T1に決定する。また、漫然状態のドライバーは、通知後に手動運転に対応するには、自車両が置かれている立場を理解するまでに十分な早出し時間を持つ通知T2に決定する。また、ドライバーが居眠りしていたり運転席から離席したりしているときには、人を覚醒させ又は運転席に座るまでに必要な早出し時間を持つ通知T3に決定する。
 次いで、マイクロ・コンピューター2610は、ステップS702で確認されたドライバーの状態に適した通知方法を決定する(ステップS705)。例えば、Buzzer、Display、Haptic、又はMobileなどの通知方法を用いて、手動運転モードへの切り替えの通知を行なうことができる。また、ステップS705で通知方法を決定する際に、手動運転モードへの切り替えタイミングまでの時間又は距離の余裕を考慮して、複数の通知方法を組み合わせるようにしてもよい(同上)。
 そして、マイクロ・コンピューター2610は、ステップS704で決定した通知タイミングが到来すると、車内機器2760や、オーディオ・スピーカー2710、表示部2720、インストルメント・パネル2730等に制御信号を出力して、ステップS705で決定した通知方法による早期の通知、又は通常の通知を実施する(ステップS706)。
 ステップS706で通知を実施した後、マイクロ・コンピューター2610は、この通知に対するドライバーからのリアクションの有無を確認する(ステップS707)。リアクションの有無を確認する手段として、音声(ドライバーの発話)による確認や、(インストルメント・パネル上の特定の)スイッチの押下による確認を挙げることができる。また、バーチャル環境下でのドライバーの運転能力診断など、さまざまな確認手段が考えられる。
 ドライバーからリアクションが得られなかった場合には(ステップS707のNo)、マイクロ・コンピューター2610は、手動運転モードへの切り替えタイミングまで時間の余裕がなく、ドライバーによる手動運転は困難か否かをさらにチェックする(ステップS712)。
 手動運転モードへの切り替えタイミングまで時間の余裕がなく、ドライバーによる手動運転は困難な場合には(ステップS712のYes)、手動運転モードへの切り替えを実施不可として(ステップS715)、手動運転モードへの切り替えを中止する。この場合、例えば、車両の自動運転を継続したり、手動運転モードに切り替わる地点よりも手前で安全なスペースを見つけて停止したりするなど、安全を確保する動作を行なう。また、当該車両自体の安全確保動作に加えて、周辺の車両に警告を発したり、クラウド上の管理センターにドライバーの状態やドライバーに起こったアクシデントなどの状況を伝達したりして(ステップS716)、さらに事故防止に努める。
 また、ドライバーからのリアクションはないが(ステップS707のNo)、手動運転モードへの切り替えタイミングまで時間の余裕がまだある場合には(ステップS712のNo)、当該車両に他の搭乗者が存在するか否か、すなわち、他のドライバーの候補が存在するか否かをさらにチェックする(ステップS713)。
 他にドライバーの候補が存在しない場合には(ステップS713のNo)、ステップS702に戻って、同じドライバーの状態の確認を再度行ない(ステップS702)、通知タイミング及び通知方法の決定と通知の実施を繰り返し行なう(ステップS704~S706)。また、他にドライバーの候補が存在する場合には(ステップS713のYes)、そのドライバーの候補をドライバーに入れ替えて(ステップS714)、新しいドライバーについて状態の確認を改めて行ない(ステップS702)、状態に基づく通知タイミング及び通知方法の決定と通知の実施を行なう(ステップS704~S706)。
 当該車両に搭乗しているいずれかのドライバーから通知に対するリアクションを確認することができた場合には(ステップS707のYes)、より安全に手動運転へ移行することができる。
 次いで、マイクロ・コンピューター2610は、手動運転モードへの切り替えの通知を受けたドライバーが、手動運転モードに切り替わる切り替えタイミングの要求があるかどうかを確認する(ステップS708)。
 ドライバーは、現在の切り替えタイミングよりもより出口に近い切り替えタイミングに変更したり、逆に、もっと遠くの切り替えタイミングに変更したりすることができる(図5を参照のこと)。ドライバーからの切り替えタイミングの要求があるときには(ステップS708のYes)、マイクロ・コンピューター2610は、ドライバーが要求する切り替えタイミングに再設定する(ステップS709)。
 マイクロ・コンピューター2610は、あらかじめ設定し又はステップS609で再設定した切り替えタイミングが到来すると、駆動系制御ユニット2100に対して制御指令を出力して、車両の自動運転モードから手動運転モードへの切り替えを実施する(ステップS710)。
 また、マイクロ・コンピューター2610は、車両を自動運転モードから手動運転モードへ成功裏に切り替えたことを、周辺車両に通知したり、クラウド上の管理センターに伝達したりする(ステップS716)。周辺車両は、当該車両が手動運転モードに切り替わったことを検知すると、自身の運転モードの変更などを考慮することができる。
 以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
 本明細書で開示する技術は、自動車(ガソリン車及びディーゼル車を含む)、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナル・モビリティーなどさまざまな車両、さらには道路を走行する車両以外の形態の移動体に適用することができる。
 要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
 なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)ドライバーの状態を検出する状態検出部と、
 前記状態検出部による検出結果に基づいて、車両の運転モードの切り替えを通知するタイミングを制御する制御部と、
を具備する運転支援装置。
(2)前記制御部は、前記車両の自動運転モードから手動運転モードへの切り替えを通知するタイミングを制御する、
上記(1)に記載の運転支援装置。
(3)前記制御部は、ドライバーがすぐに手動運転に対応できる状態か否かに応じて、前記通知を行なう早出し時間を設定する、
上記(2)に記載の運転支援装置。
(4)前記制御部は、ドライバーの注意力が散漫である第2の状態では、ドライバーが意識はあるが他の作業をしている第1の状態の場合よりも長い早出し時間を設定する、
上記(3)に記載の運転支援装置。
(5)前記制御部は、ドライバーが居眠りし又は運転席から離席している第3の状態では、前記第2の状態の場合よりもさらに長い早出し時間を設定する、
上記(4)に記載の運転支援装置。
(6)前記制御部は、前記状態検出部による検出結果に基づいて、前記車両の運転モードの切り替えを通知する方法をさらに制御する、
上記(1)乃至(5)のいずれかに記載の運転支援装置。
(7)前記制御部は、前記車両を自動運転モードから手動運転モードに切り替えるまでの時間又は距離をさらに考慮して、前記通知方法を制御する、
上記(6)に記載の運転支援装置。
(8)車両の運転モードの切り替えを通知する複数の手段を利用する通知部を備え、
 前記制御部は、前記車両を自動運転モードから手動運転モードに切り替えるまでの時間又は距離の余裕がないときには、前記複数の手段のより多くを組み合わせた前記通知方法を実施させる、
上記(6)に記載の運転支援装置。
(9)前記通知部は、音声出力、画像表示、力感覚又は触覚の提示、前記車両の搭乗者が所持する情報端末のうち少なくとも2つを利用することができる、
上記(8)に記載の運転支援装置。
(10)前記制御部は、前記通知をした後のドライバーの状態を前記状態検出部により検知し、当該検出結果に基づいて、前記車両の運転モードの切り替えをさらに制御する、
上記(1)に記載の運転支援装置。
(11)前記制御部は、前記車両の自動運転モードから手動運転モードへの切り替えの通知に対するドライバーのリアクションを確認できないときには、前記手動運転モードの切り替えを中止する、
上記(10)に記載の運転支援装置。
(12)前記制御部は、ドライバーからの要求に応じて前記車両の自動運転モードから手動運転モードへの切り替えタイミングを設定する、
上記(1)に記載の運転支援装置。
(13)前記制御部は、前記車両の自動運転モードから手動運転モードへの切り替えの実施に関する情報を周辺車両又は外部装置に伝達する、
上記(1)に記載の運転支援装置。
(14)前記制御部は、前記車両の自動運転モードから手動運転モードへの切り替えの通知に対する第1の搭乗者のリアクションを確認できないときには、前記車両の第2の搭乗者を新たなドライバーとして設定し、前記第2の搭乗者の前記状態検出部による検出結果に基づいて前記運転モードの切り替えを通知するタイミングを制御する、
上記(1)に記載の運転支援装置。
(15)ドライバーの状態を検出する状態検出ステップと、
 前記状態検出ステップによる検出結果に基づいて、車両の運転モードの切り替えを通知するタイミングを制御する制御ステップと、
を有する運転支援方法。
(16)複数の運転モードのいずれかで走行するように駆動される駆動部と、
 ドライバーの状態を検出する状態検出部と、
 前記状態検出部による検出結果に基づいて、前記駆動部の運転モードの切り替えを通知するタイミングを制御する制御部と、
を具備する移動体。
 2000…車両制御システム、2010…通信ネットワーク
 2100…駆動系制御ユニット、2110…車両状態検出部
 2200…ボディ系制御ユニット
 2300…バッテリー制御ユニット、2310…バッテリー装置
 2400…車外情報検出ユニット、2410…撮像部
 2420…車外情報検出部
 2500…車内情報検出装置、2510…ドライバー状態検出部
 2600…統合制御ユニット、2610…マイクロ・コンピューター
 2620…汎用通信インターフェース
 2630…専用通信インターフェース、2640…測位部
 2650…ビーコン受信部、2660…車内機器インターフェース
 2670…音声画像出力部
 2680…車載ネットワーク・インターフェース、2690…記憶部
 2710…オーディオ・スピーカー、2720…表示部
 2730…インストルメント・パネル、2760…車内機器
 2800…入力部
 2900…車両
 2910、2912、2914、2916、2918…撮像部
 2920、2922、2924…車外情報検出部
 2926、2928、2930…車外情報検出部

Claims (15)

  1.  ドライバーの状態を検出する状態検出部と、
     前記状態検出部による検出結果に基づいて、車両の運転モードの切り替えを通知するタイミングを制御する制御部と、
    を具備する運転支援装置。
  2.  前記制御部は、前記車両の自動運転モードから手動運転モードへの切り替えを通知するタイミングを制御する、
    請求項1に記載の運転支援装置。
  3.  前記制御部は、ドライバーがすぐに手動運転に対応できる状態か否かに応じて、前記通知を行なう早出し時間を設定する、
    請求項2に記載の運転支援装置。
  4.  前記制御部は、ドライバーの注意力が散漫である第2の状態では、ドライバーが意識はあるが他の作業をしている第1の状態の場合よりも長い早出し時間を設定する、
    請求項3に記載の運転支援装置。
  5.  前記制御部は、ドライバーが居眠りし又は運転席から離席している第3の状態では、前記第2の状態の場合よりもさらに長い早出し時間を設定する、
    請求項4に記載の運転支援装置。
  6.  前記制御部は、前記状態検出部による検出結果に基づいて、前記車両の運転モードの切り替えを通知する方法をさらに制御する、
    請求項1に記載の運転支援装置。
  7.  前記制御部は、前記車両を自動運転モードから手動運転モードに切り替えるまでの時間又は距離をさらに考慮して、前記通知方法を制御する、
    請求項6に記載の運転支援装置。
  8.  車両の運転モードの切り替えを通知する複数の手段を利用する通知部を備え、
     前記制御部は、前記車両を自動運転モードから手動運転モードに切り替えるまでの時間又は距離の余裕がないときには、前記複数の手段のより多くを組み合わせた前記通知方法を実施させる、
    請求項6に記載の運転支援装置。
  9.  前記通知部は、音声出力、画像表示、力感覚又は触覚の提示、前記車両の搭乗者が所持する情報端末のうち少なくとも2つを利用することができる、
    請求項8に記載の運転支援装置。
  10.  前記制御部は、前記通知をした後のドライバーの状態を前記状態検出部により検知し、当該検出結果に基づいて、前記車両の運転モードの切り替えをさらに制御する、
    請求項1に記載の運転支援装置。
  11.  前記制御部は、ドライバーからの要求に応じて前記車両の自動運転モードから手動運転モードへの切り替えタイミングを設定する、
    請求項1に記載の運転支援装置。
  12.  前記制御部は、前記車両の自動運転モードから手動運転モードへの切り替えの実施に関する情報を周辺車両又は外部装置に伝達する、
    請求項1に記載の運転支援装置。
  13.  前記制御部は、前記車両の自動運転モードから手動運転モードへの切り替えの通知に対する第1の搭乗者のリアクションを確認できないときには、前記車両の第2の搭乗者を新たなドライバーとして設定し、前記第2の搭乗者の前記状態検出部による検出結果に基づいて前記運転モードの切り替えを通知するタイミングを制御する、
    請求項1に記載の運転支援装置。
  14.  ドライバーの状態を検出する状態検出ステップと、
     前記状態検出ステップによる検出結果に基づいて、車両の運転モードの切り替えを通知するタイミングを制御する制御ステップと、
    を有する運転支援方法。
  15.  複数の運転モードのいずれかで走行するように駆動される駆動部と、
     ドライバーの状態を検出する状態検出部と、
     前記状態検出部による検出結果に基づいて、前記駆動部の運転モードの切り替えを通知するタイミングを制御する制御部と、
    を具備する移動体。
PCT/JP2016/075478 2015-11-19 2016-08-31 運転支援装置及び運転支援方法、並びに移動体 WO2017085981A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/773,389 US10768617B2 (en) 2015-11-19 2016-08-31 Drive assistance device and drive assistance method, and moving body
JP2017551555A JP6773046B2 (ja) 2015-11-19 2016-08-31 運転支援装置及び運転支援方法、並びに移動体
EP16865984.5A EP3378722B1 (en) 2015-11-19 2016-08-31 Drive assistance device and drive assistance method, and moving body
CN201680065672.8A CN108349507B (zh) 2015-11-19 2016-08-31 驾驶辅助装置、驾驶辅助方法及移动体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-226265 2015-11-19
JP2015226265 2015-11-19

Publications (1)

Publication Number Publication Date
WO2017085981A1 true WO2017085981A1 (ja) 2017-05-26

Family

ID=58718079

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/075478 WO2017085981A1 (ja) 2015-11-19 2016-08-31 運転支援装置及び運転支援方法、並びに移動体

Country Status (5)

Country Link
US (1) US10768617B2 (ja)
EP (1) EP3378722B1 (ja)
JP (1) JP6773046B2 (ja)
CN (1) CN108349507B (ja)
WO (1) WO2017085981A1 (ja)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018230527A1 (ja) * 2017-06-13 2018-12-20 パナソニックIpマネジメント株式会社 運転支援方法、運転支援プログラム及び車両制御装置
CN109649404A (zh) * 2017-10-12 2019-04-19 矢崎总业株式会社 自动驾驶期间传达信息的方法和车辆信息呈现装置
CN109649405A (zh) * 2017-10-12 2019-04-19 矢崎总业株式会社 自动驾驶期间传达信息的方法和车辆信息呈现装置
WO2019097944A1 (ja) * 2017-11-17 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理方法
CN109949545A (zh) * 2019-04-01 2019-06-28 广东科学技术职业学院 一种基于避免驾驶员疲劳驾驶的智能驾驶系统和方法
JP2019111917A (ja) * 2017-12-22 2019-07-11 ジヤトコ株式会社 自動運転車両
JP2019133488A (ja) * 2018-02-01 2019-08-08 クラリオン株式会社 運転支援装置、及び運転支援方法
CN110239530A (zh) * 2018-03-09 2019-09-17 株式会社斯巴鲁 车辆的行驶控制系统
JP2019526480A (ja) * 2017-06-30 2019-09-19 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 車両の運転モードを切り替えるためのシステムおよび方法
WO2019202881A1 (ja) * 2018-04-20 2019-10-24 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2019208014A1 (ja) * 2018-04-26 2019-10-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
WO2020003788A1 (ja) * 2018-06-25 2020-01-02 パナソニックIpマネジメント株式会社 運転支援装置
US10558213B2 (en) 2016-08-15 2020-02-11 Toyota Jidosha Kabushiki Kaisha Control system for and control method of autonomous driving vehicle
CN110831831A (zh) * 2017-07-12 2020-02-21 罗伯特·博世有限公司 用于影响或者去激活速度调节系统的方法和装置
CN110892351A (zh) * 2017-07-21 2020-03-17 索尼半导体解决方案公司 车辆控制装置和车辆控制方法
WO2020054458A1 (ja) * 2018-09-13 2020-03-19 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
JP2020119269A (ja) * 2019-01-24 2020-08-06 本田技研工業株式会社 車両制御装置
CN111587197A (zh) * 2018-07-12 2020-08-25 重庆金康新能源汽车有限公司 利用驾驶模式识别来调节电动车辆的动力总成
CN111656423A (zh) * 2018-02-05 2020-09-11 索尼公司 信息处理装置、移动装置、方法以及程序
JP2020160940A (ja) * 2019-03-27 2020-10-01 本田技研工業株式会社 車両制御装置、車両制御方法、車両およびプログラム
CN111801260A (zh) * 2018-07-12 2020-10-20 重庆金康新能源汽车有限公司 利用底盘反馈的高级驾驶员注意力升级
JP2021039540A (ja) * 2019-09-03 2021-03-11 トヨタ自動車株式会社 車両の運転支援装置
JP2021113043A (ja) * 2020-01-17 2021-08-05 株式会社デンソー 運転制御装置およびhmi制御装置
JP2021120248A (ja) * 2020-01-30 2021-08-19 トヨタ自動車株式会社 車両制御装置
WO2021210316A1 (ja) * 2020-04-16 2021-10-21 株式会社デンソー 制御装置及び制御プログラム
US11235776B2 (en) 2019-01-31 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for controlling a vehicle based on driver engagement
US11731665B2 (en) * 2017-04-12 2023-08-22 Nissan Motor Co., Ltd. Driving control method and driving control device
JP7380418B2 (ja) 2020-05-22 2023-11-15 株式会社デンソー 運転支援装置および運転支援プログラム

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6917708B2 (ja) * 2016-02-29 2021-08-11 株式会社デンソー 運転者監視システム
WO2017161498A1 (zh) * 2016-03-22 2017-09-28 华为技术有限公司 车辆控制方法、装置及系统
WO2017168738A1 (ja) * 2016-03-31 2017-10-05 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
WO2017187622A1 (ja) * 2016-04-28 2017-11-02 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP6485405B2 (ja) * 2016-05-25 2019-03-20 株式会社デンソー 安全運転支援装置及び安全運転支援プログラム
US10732627B1 (en) * 2017-05-25 2020-08-04 State Farm Mutual Automobile Insurance Company Driver re-engagement system
CN110603166A (zh) * 2017-06-02 2019-12-20 本田技研工业株式会社 车辆控制系统、车辆控制方法及车辆控制程序
JP6920112B2 (ja) * 2017-06-15 2021-08-18 株式会社デンソーテン 運転支援装置および運転支援方法
JP6951906B2 (ja) * 2017-08-22 2021-10-20 株式会社アイシン 中止地点管理システム、中止地点通知システム、中止地点案内システムおよび中止地点管理プログラム
US11073400B2 (en) 2017-11-07 2021-07-27 Uatc, Llc Map creation from hybrid data
US10507823B2 (en) * 2018-01-03 2019-12-17 Ford Global Technologies, Llc Mode suggestion for a vehicle powertrain having a manual transmission
WO2020100539A1 (ja) * 2018-11-15 2020-05-22 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
CN109683155B (zh) * 2018-12-19 2021-04-20 深圳市易成自动驾驶技术有限公司 传感器融合系统、方法、终端及存储介质
WO2020142717A1 (en) * 2019-01-04 2020-07-09 Cerence Operating Company Methods and systems for increasing autonomous vehicle safety and flexibility using voice interaction
GB2582292B (en) * 2019-03-13 2022-05-25 Jaguar Land Rover Ltd Vehicle control system
EP3718848A1 (en) * 2019-04-04 2020-10-07 Visteon Global Technologies, Inc. System and method for executing an automated driving maneuver in a takeover process of a vehicle from automated driving to manually driving
EP3730375B1 (en) * 2019-04-24 2021-10-20 Walter Steven Rosenbaum Method and system for analysing the control of a vehicle
CN111959499B (zh) * 2019-05-20 2022-02-18 上海汽车集团股份有限公司 一种车辆控制方法及装置
CN110320910B (zh) 2019-07-01 2023-10-10 阿波罗智能技术(北京)有限公司 车辆的避让控制方法、装置、电子设备与存储介质
CN114026008B (zh) * 2019-07-05 2023-09-01 本田技研工业株式会社 车辆的控制系统、车辆的控制方法以及存储介质
JP7084896B2 (ja) * 2019-07-11 2022-06-15 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
JP7140068B2 (ja) * 2019-07-16 2022-09-21 トヨタ自動車株式会社 操作装置
JP7310424B2 (ja) * 2019-08-06 2023-07-19 トヨタ自動車株式会社 車両走行システム
KR20210022803A (ko) * 2019-08-20 2021-03-04 현대자동차주식회사 차량 및 그 제어방법
CN112758098B (zh) * 2019-11-01 2022-07-22 广州汽车集团股份有限公司 基于驾驶员状态等级的车辆驾驶权限接管控制方法及装置
JP7200968B2 (ja) * 2020-03-31 2023-01-10 トヨタ自動車株式会社 車両制御装置および車両制御方法
CN111619479B (zh) * 2020-05-20 2022-03-01 重庆金康赛力斯新能源汽车设计院有限公司 驾驶接管提示方法、装置、系统、车载控制器和存储介质
US11465652B2 (en) * 2020-06-11 2022-10-11 Woven Planet North America, Inc. Systems and methods for disengagement prediction and triage assistant
CN113870603A (zh) * 2020-06-30 2021-12-31 宝能汽车集团有限公司 车辆导航地图图像投射方法、系统和存储介质
US11479268B2 (en) * 2020-07-30 2022-10-25 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous control of vehicle driving modes in certain traffic situations
GB2601343B (en) * 2020-11-27 2024-04-10 Continental Automotive Tech Gmbh An adaptive warning system and method thereof
JP2022148234A (ja) * 2021-03-24 2022-10-06 トヨタ自動車株式会社 車両制御装置、車両制御用コンピュータプログラム及び車両制御方法
KR20230071847A (ko) * 2021-11-15 2023-05-24 현대자동차주식회사 차량의 제어권 이양 판단 장치 및 그 방법
DE102022102202A1 (de) * 2022-01-31 2023-08-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Unterstützen eines Nutzers eines Fahrzeugs während einer automatisierten Querführung des Fahrzeugs auf einer Straße mit einer Abzweigung unter Berücksichtigung eines Vorderfahrzeugs, Recheneinrichtung sowie Fahrerassistenzsystem
DE102022102200A1 (de) * 2022-01-31 2023-08-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Unterstützen eines Nutzers eines Fahrzeugs während einer automatisierten Querführung des Fahrzeugs auf einer Straße mit einer Abzweigung, Recheneinrichtung sowie Fahrerassistenzsystem
CN114932917A (zh) * 2022-05-23 2022-08-23 蔚来汽车科技(安徽)有限公司 驾驶员提示方法及车辆控制设备
EP4299399A1 (en) * 2022-06-27 2024-01-03 Volvo Car Corporation Method for determining a notification procedure, method for transitioning control of a vehicle, data processing apparatus and autonomous driving system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097446A (ja) * 2006-10-13 2008-04-24 Toyota Motor Corp 車載警告装置
JP2008181327A (ja) * 2007-01-24 2008-08-07 Toyota Motor Corp 居眠り防止装置及び方法
JP2009281832A (ja) * 2008-05-21 2009-12-03 Denso Corp 車両制御装置
JP2010264829A (ja) 2009-05-13 2010-11-25 Toyota Motor Corp 走行支援装置
JP2012051498A (ja) * 2010-09-02 2012-03-15 Suzuki Motor Corp 車両の制御装置
JP2014106854A (ja) * 2012-11-29 2014-06-09 Toyota Infotechnology Center Co Ltd 自動運転車両制御装置および方法
JP2014178971A (ja) * 2013-03-15 2014-09-25 Denso Corp 車両用衝突警報装置
JP2015044432A (ja) 2013-08-27 2015-03-12 株式会社デンソー 運転支援装置、および運転支援方法
JP2015141560A (ja) * 2014-01-29 2015-08-03 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、ナビゲーション方法及びプログラム
WO2015162764A1 (ja) * 2014-04-24 2015-10-29 三菱電機株式会社 車載情報機器および車載情報機器の機能制限方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007306009B2 (en) 2006-10-13 2010-07-15 Toyota Jidosha Kabushiki Kaisha On-board warning apparatus and warning method
JP4274225B2 (ja) 2006-10-13 2009-06-03 トヨタ自動車株式会社 車載警告装置
WO2009013815A1 (ja) * 2007-07-24 2009-01-29 Nissan Motor Co., Ltd. 車両用運転支援装置および車両用運転支援装置を備える車両
JP4609482B2 (ja) * 2007-11-20 2011-01-12 トヨタ自動車株式会社 車両用操作方法提示装置
EP2607142B1 (en) * 2011-12-21 2017-02-22 Volvo Car Corporation System for controlling driving modes of a vehicle
GB201215963D0 (en) * 2012-09-06 2012-10-24 Jaguar Cars Vehicle control system and method
KR20140043536A (ko) * 2012-09-24 2014-04-10 현대자동차주식회사 자율주행 차량의 차량 제어권 전환 방법
US8825258B2 (en) * 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
DE102012112802A1 (de) * 2012-12-20 2014-06-26 Conti Temic Microelectronic Gmbh Verfahren zur Steuerung eines Fahrzeugs mit einem ein automatisiertes, teilautomatisiertes und ein manuelles Fahren ermöglichenden Fahrerassistenzsystem
US9342074B2 (en) * 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
FR3005924B1 (fr) * 2013-05-27 2016-10-21 Renault Sa Procede de fonctionnement d'un vehicule en mode manuel et en mode autonome
DE102013009339A1 (de) * 2013-06-04 2014-12-04 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Notfallassistenz
DE102013216263A1 (de) 2013-08-16 2015-02-19 Continental Automotive Gmbh Anordnung zur Steuerung eines hochautomatisierten Fahrens eines Fahrzeugs
US20150066282A1 (en) * 2013-09-05 2015-03-05 Ford Global Technologeis, Llc Autonomous driving in areas for non-drivers
EP2848488B2 (en) * 2013-09-12 2022-04-13 Volvo Car Corporation Method and arrangement for handover warning in a vehicle having autonomous driving capabilities
DE102013019788A1 (de) * 2013-11-27 2014-06-18 Daimler Ag Verfahren zum automatischen Betrieb eines Fahrzeuges
DE102014205122A1 (de) * 2014-03-19 2015-09-24 Continental Automotive Gmbh Anordnung zum Überwachen einer autonomen Fahrt eines Fahrzeugs
EP3125211B1 (en) * 2014-03-26 2018-05-09 Nissan Motor Co., Ltd Information presentation device and information presentation method
JP6409318B2 (ja) * 2014-04-25 2018-10-24 日産自動車株式会社 情報呈示装置及び情報呈示方法
JP6135618B2 (ja) * 2014-08-08 2017-05-31 トヨタ自動車株式会社 車両制御装置
KR20170093817A (ko) * 2014-12-12 2017-08-16 소니 주식회사 자동 운전 제어 디바이스 및 자동 운전 제어 방법, 및 프로그램
KR101659034B1 (ko) * 2015-01-20 2016-09-23 엘지전자 주식회사 차량의 주행 모드 전환 장치 및 그 방법
JP6237725B2 (ja) * 2015-07-27 2017-11-29 トヨタ自動車株式会社 乗員情報取得装置及び車両制御システム
JP6528583B2 (ja) * 2015-07-31 2019-06-12 株式会社デンソー 運転支援制御装置
JP2017097519A (ja) * 2015-11-20 2017-06-01 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法、プログラムおよび記録媒体
JP6778872B2 (ja) * 2016-06-28 2020-11-04 パナソニックIpマネジメント株式会社 運転支援装置及び運転支援方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097446A (ja) * 2006-10-13 2008-04-24 Toyota Motor Corp 車載警告装置
JP2008181327A (ja) * 2007-01-24 2008-08-07 Toyota Motor Corp 居眠り防止装置及び方法
JP2009281832A (ja) * 2008-05-21 2009-12-03 Denso Corp 車両制御装置
JP2010264829A (ja) 2009-05-13 2010-11-25 Toyota Motor Corp 走行支援装置
JP2012051498A (ja) * 2010-09-02 2012-03-15 Suzuki Motor Corp 車両の制御装置
JP2014106854A (ja) * 2012-11-29 2014-06-09 Toyota Infotechnology Center Co Ltd 自動運転車両制御装置および方法
JP2014178971A (ja) * 2013-03-15 2014-09-25 Denso Corp 車両用衝突警報装置
JP2015044432A (ja) 2013-08-27 2015-03-12 株式会社デンソー 運転支援装置、および運転支援方法
JP2015141560A (ja) * 2014-01-29 2015-08-03 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、ナビゲーション方法及びプログラム
WO2015162764A1 (ja) * 2014-04-24 2015-10-29 三菱電機株式会社 車載情報機器および車載情報機器の機能制限方法

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10558213B2 (en) 2016-08-15 2020-02-11 Toyota Jidosha Kabushiki Kaisha Control system for and control method of autonomous driving vehicle
US11731665B2 (en) * 2017-04-12 2023-08-22 Nissan Motor Co., Ltd. Driving control method and driving control device
JPWO2018230527A1 (ja) * 2017-06-13 2020-05-28 パナソニックIpマネジメント株式会社 運転支援方法、運転支援プログラム及び車両制御装置
CN110719865A (zh) * 2017-06-13 2020-01-21 松下知识产权经营株式会社 驾驶辅助方法、驾驶辅助程序以及车辆控制装置
JP7108814B2 (ja) 2017-06-13 2022-07-29 パナソニックIpマネジメント株式会社 運転支援方法、運転支援プログラム及び車両制御装置
WO2018230527A1 (ja) * 2017-06-13 2018-12-20 パナソニックIpマネジメント株式会社 運転支援方法、運転支援プログラム及び車両制御装置
US11458978B2 (en) 2017-06-13 2022-10-04 Panasonic Intellectual Property Management Co., Ltd. Drive assist method, drive assist program, and vehicle control device
CN110719865B (zh) * 2017-06-13 2023-02-24 松下知识产权经营株式会社 驾驶辅助方法、驾驶辅助程序以及车辆控制装置
JP2019526480A (ja) * 2017-06-30 2019-09-19 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 車両の運転モードを切り替えるためのシステムおよび方法
JP2020526443A (ja) * 2017-07-12 2020-08-31 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 速度制御システムに影響を及ぼす、もしくは非作動にする方法および装置
JP7110317B2 (ja) 2017-07-12 2022-08-01 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 速度制御システムに影響を及ぼす、もしくは非作動にする方法および装置
CN110831831A (zh) * 2017-07-12 2020-02-21 罗伯特·博世有限公司 用于影响或者去激活速度调节系统的方法和装置
CN110892351B (zh) * 2017-07-21 2024-02-20 索尼半导体解决方案公司 车辆控制装置和车辆控制方法
CN110892351A (zh) * 2017-07-21 2020-03-17 索尼半导体解决方案公司 车辆控制装置和车辆控制方法
CN109649405A (zh) * 2017-10-12 2019-04-19 矢崎总业株式会社 自动驾驶期间传达信息的方法和车辆信息呈现装置
CN109649404A (zh) * 2017-10-12 2019-04-19 矢崎总业株式会社 自动驾驶期间传达信息的方法和车辆信息呈现装置
CN111315627A (zh) * 2017-11-17 2020-06-19 索尼半导体解决方案公司 信息处理装置和信息处理方法
JP7299840B2 (ja) 2017-11-17 2023-06-28 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理方法
CN111315627B (zh) * 2017-11-17 2024-04-19 索尼半导体解决方案公司 信息处理装置和信息处理方法
JPWO2019097944A1 (ja) * 2017-11-17 2020-12-17 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理方法
WO2019097944A1 (ja) * 2017-11-17 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理方法
JP2019111917A (ja) * 2017-12-22 2019-07-11 ジヤトコ株式会社 自動運転車両
JP7089885B2 (ja) 2018-02-01 2022-06-23 フォルシアクラリオン・エレクトロニクス株式会社 運転支援装置、及び運転支援方法
JP2019133488A (ja) * 2018-02-01 2019-08-08 クラリオン株式会社 運転支援装置、及び運転支援方法
US11654936B2 (en) 2018-02-05 2023-05-23 Sony Corporation Movement device for control of a vehicle based on driver information and environmental information
CN111656423A (zh) * 2018-02-05 2020-09-11 索尼公司 信息处理装置、移动装置、方法以及程序
CN110239530A (zh) * 2018-03-09 2019-09-17 株式会社斯巴鲁 车辆的行驶控制系统
JP7273031B2 (ja) 2018-04-20 2023-05-12 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JPWO2019202881A1 (ja) * 2018-04-20 2021-05-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2019202881A1 (ja) * 2018-04-20 2019-10-24 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
US11572085B2 (en) 2018-04-20 2023-02-07 Sony Semiconductor Solutions Corporation Information processing device, mobile device, information processing system, and method
US11866073B2 (en) 2018-04-26 2024-01-09 Sony Semiconductor Solutions Corporation Information processing device, information processing system, and information processing method for wearable information terminal for a driver of an automatic driving vehicle
WO2019208014A1 (ja) * 2018-04-26 2019-10-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
WO2020003788A1 (ja) * 2018-06-25 2020-01-02 パナソニックIpマネジメント株式会社 運転支援装置
CN111587197A (zh) * 2018-07-12 2020-08-25 重庆金康新能源汽车有限公司 利用驾驶模式识别来调节电动车辆的动力总成
CN111801260A (zh) * 2018-07-12 2020-10-20 重庆金康新能源汽车有限公司 利用底盘反馈的高级驾驶员注意力升级
US11738757B2 (en) 2018-09-13 2023-08-29 Sony Semiconductor Solutions Corporation Information processing device, moving apparatus, method, and program
JP7288911B2 (ja) 2018-09-13 2023-06-08 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
US11420636B2 (en) 2018-09-13 2022-08-23 Sony Semiconductor Solutions Corporation Information processing device, moving apparatus, method, and program
WO2020054458A1 (ja) * 2018-09-13 2020-03-19 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
JPWO2020054458A1 (ja) * 2018-09-13 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
JP2020119269A (ja) * 2019-01-24 2020-08-06 本田技研工業株式会社 車両制御装置
JP7055759B2 (ja) 2019-01-24 2022-04-18 本田技研工業株式会社 車両制御装置
US11235776B2 (en) 2019-01-31 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for controlling a vehicle based on driver engagement
JP7278832B2 (ja) 2019-03-27 2023-05-22 本田技研工業株式会社 車両制御装置、車両制御方法、車両およびプログラム
JP2020160940A (ja) * 2019-03-27 2020-10-01 本田技研工業株式会社 車両制御装置、車両制御方法、車両およびプログラム
CN109949545A (zh) * 2019-04-01 2019-06-28 广东科学技术职业学院 一种基于避免驾驶员疲劳驾驶的智能驾驶系统和方法
JP7298400B2 (ja) 2019-09-03 2023-06-27 トヨタ自動車株式会社 車両の運転支援装置
JP2021039540A (ja) * 2019-09-03 2021-03-11 トヨタ自動車株式会社 車両の運転支援装置
JP2021113043A (ja) * 2020-01-17 2021-08-05 株式会社デンソー 運転制御装置およびhmi制御装置
JP7375735B2 (ja) 2020-01-17 2023-11-08 株式会社デンソー 運転制御装置およびhmi制御装置、ならびに運転制御プログラムおよびhmi制御プログラム
JP7120260B2 (ja) 2020-01-30 2022-08-17 トヨタ自動車株式会社 車両制御装置
JP2021120248A (ja) * 2020-01-30 2021-08-19 トヨタ自動車株式会社 車両制御装置
US11932252B2 (en) 2020-01-30 2024-03-19 Toyota Jidosha Kabushiki Kaisha Vehicle control device and storage medium storing computer program for vehicle control
WO2021210316A1 (ja) * 2020-04-16 2021-10-21 株式会社デンソー 制御装置及び制御プログラム
JP7380418B2 (ja) 2020-05-22 2023-11-15 株式会社デンソー 運転支援装置および運転支援プログラム

Also Published As

Publication number Publication date
US20180329414A1 (en) 2018-11-15
JP6773046B2 (ja) 2020-10-21
US10768617B2 (en) 2020-09-08
CN108349507A (zh) 2018-07-31
EP3378722A1 (en) 2018-09-26
EP3378722B1 (en) 2024-02-21
EP3378722A4 (en) 2018-12-05
JPWO2017085981A1 (ja) 2018-09-06
CN108349507B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
JP6773046B2 (ja) 運転支援装置及び運転支援方法、並びに移動体
CN107878460B (zh) 自动驾驶车辆的控制方法和服务器
KR102064223B1 (ko) 차량용 주행 시스템 및 차량
KR101853396B1 (ko) 차량 내 휴대 기기를 제어하는 장치 및 방법
CN109542096B (zh) 控制车辆的运行系统的方法及车辆的运行系统
CN109383404B (zh) 显示系统、显示方法及存储程序的介质
KR20180026243A (ko) 자율 주행 차량 및 그 제어방법
KR20170058188A (ko) 차량 운전 보조장치 및 이를 포함하는 차량
US11815887B2 (en) Vehicle control device, vehicle control method, vehicle, information processing device, information processing method, and program
KR101962348B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
CN112534487A (zh) 信息处理设备、移动体、信息处理方法和程序
JP7074125B2 (ja) 情報処理装置と情報処理方法
US11443520B2 (en) Image processing apparatus, image processing method, and image processing system
WO2018180122A1 (ja) 運転支援装置と運転支援方法
KR20170053880A (ko) 차량 운전 보조장치 및 이를 포함하는 차량
JP2021018636A (ja) 車両遠隔指示システム
WO2020129689A1 (ja) 移動体制御装置、移動体制御方法、移動体、情報処理装置、情報処理方法、及び、プログラム
JP2021107772A (ja) 車両用報知装置、車両用報知方法及びプログラム
JP7373024B1 (ja) 車両制御装置、車両制御方法、およびプログラム
EP4273834A1 (en) Information processing device, information processing method, program, moving device, and information processing system
WO2021256483A1 (ja) 制御装置、投影システム、制御方法及びプログラム
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム
KR101999960B1 (ko) 차량에 구비된 차량 제어 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16865984

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017551555

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15773389

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016865984

Country of ref document: EP