WO2019097944A1 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
WO2019097944A1
WO2019097944A1 PCT/JP2018/038745 JP2018038745W WO2019097944A1 WO 2019097944 A1 WO2019097944 A1 WO 2019097944A1 JP 2018038745 W JP2018038745 W JP 2018038745W WO 2019097944 A1 WO2019097944 A1 WO 2019097944A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
return
information
vehicle
notification
Prior art date
Application number
PCT/JP2018/038745
Other languages
English (en)
French (fr)
Inventor
英史 大場
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN201880072583.5A priority Critical patent/CN111315627B/zh
Priority to EP18877658.7A priority patent/EP3712028A4/en
Priority to KR1020207012334A priority patent/KR102672040B1/ko
Priority to JP2019553760A priority patent/JP7299840B2/ja
Priority to US16/762,879 priority patent/US20200283028A1/en
Publication of WO2019097944A1 publication Critical patent/WO2019097944A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0057—Estimation of the time available or required for the handover
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809—Driver authorisation; Driver identity check
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present technology relates to an information processing apparatus and an information processing method, and more particularly to an information processing apparatus that controls notification for prompting a driver to return to driving.
  • the system can not return control of the car to the driver unless the system of automatic driving can safely hand over the control of the vehicle to the driver or can not determine the driver's ability to recover from driving. Therefore, it is thought that the usage form in the closed space which can utilize the automatic operation entirely becomes one usage.
  • the advantage of the car is that it transports any different point freely from any point, but if automatic driving was introduced in such a form of use, there were sections where automatic driving could not pass. In this case, it is necessary to return from the automatic driving to the above-mentioned driver, and even if the vehicle is stopped on the road shoulder or the like if it is difficult to return, it leads to inducing traffic congestion as described above.
  • Patent Document 1 discloses a technique for displaying the degree of danger for a plurality of dangers on the planned road of the host vehicle. Also, for example, according to Patent Document 2, when causing the driver to start manual driving during automatic driving, the situation where manual driving must be started for the driver who is concentrating on the portable terminal A technique is disclosed that displays on the screen of a portable terminal to notify that it is in These known techniques are uniform notification methods for known predetermined points that can be obtained in advance as map information as a traveling environment.
  • the constant update maintenance of the local dynamic map that can be run by automatic driving becomes a path that appears in a patchy state in the route section when an arbitrary route is set.
  • the vehicle can not continue traveling, so the emergency stop needs to occur, As a result, it causes heavy traffic and accidents, and it involves a large macroscopic problem that the use of social infrastructure as a road is hindered.
  • level 3 driving of autonomous driving which is widely discussed here, without negative impact such as traffic congestion, even if society is simply introduced on a general road or an exclusive road section. That is, the environment where the vehicle can travel at Level 3 is maintained at 100% of its section at 26:00, and the driver needs to return reliably at the end point, and in addition, the driver is directly involved in the driving There is no responsibility for constant surveillance, and it is required to maintain the state under tension.
  • human engineering / psychological aspects there is a problem that long-term use is not realistic in the corresponding concept, and it is a big problem in the social introduction of autonomous driving in a wide area, and the solution is required It is done.
  • the purpose of the present technology is to appropriately adjust and appropriately control the section information of the travel route to the driver according to the driver's condition, the travel characteristics of the vehicle, the information of the road environment, etc.
  • the driver By providing the driver with necessary necessary information appropriately in advance, and always providing it before the approach of the section requiring restoration of various road environments, and realizing the section passing with high probability seamlessly without stopping the vehicle. is there.
  • the introduction of automatic driving requires an accurate driver recovery technology when crossing these sections, but since this task has not been solved at present, the socially applicable sections of automatic driving are specified It has become extremely limited, such as highway sections and predetermined sections.
  • the purpose of the present technology is to make it possible to utilize the advantage of an autonomous driving vehicle even in the case where there is a mixture of maintenance zones capable of autonomous driving as these social infrastructures and sections that are not well maintained.
  • notification of drive return is appropriate according to driver, vehicle motion characteristics, secondary task work characteristics, and road environment characteristics. It is to do at a certain timing.
  • the concept of this technology is A notification control unit that controls a notification for prompting the driver to resume driving; Calculation processing for determining the notification timing and notification means based on the above driver's condition and secondary task work characteristics, and based on the motion characteristics of the corresponding vehicle and the required ratio required for return from the road environment.
  • the information processing apparatus includes
  • the notification control unit controls a notification for prompting the driver to resume driving. For example, notification is performed by sound output, light output, display of characters and marks, haptics and the like. Then, the return delay time for determining the notification timing based on the state of the driver and the like is calculated by the calculation unit. For example, the calculation unit may calculate the return delay time according to the type of secondary task being executed by the driver and the observable evaluation value based on the biological activity observation information of the driver. In addition, while there is an aspect that the return delay time required for return depends on the content of the secondary task performed by the driver, the driver's experience value has various factors such as environmental recognition ability and return delay risk awareness.
  • the system recognizes the characteristics of transitioning from the secondary task execution status during automatic driving of the specific individual to use to the manual operation returnable status, because the return delay time specific to the individual fluctuates, and is suitable for the individual driver. It is necessary to notify at the timing. Therefore, cumulative recovery characteristic distribution is generated based on the recovery characteristic history at each use when linked to the driver's individual activity activity observable information, and the amount of bioobservable activity and recovery are recovered by the system-side learner By learning the correlation of the characteristics, it is possible to predict the time required for the driver to return. As described above, it is possible to obtain a more appropriate return delay time by calculating the return delay time for determining the notification timing according to the type of the secondary task and the vital activity observation information of the driver.
  • the calculation unit uses the plurality of relationship information of the observable evaluation value and the return delay time accumulated for each secondary task executed by the driver to execute the secondary task being executed by the driver.
  • the return delay time at may be calculated.
  • the calculation unit uses the plurality of relationship information of the observable evaluation value and the return delay time, and the return delay so that the driver can successfully return from the running secondary task at a predetermined ratio.
  • the time may be calculated.
  • the timing calculation unit may be able to set a predetermined ratio in the register. In this way, the recovery delay time is calculated using the (past) relationship information between the driver's vital activity observation information accumulated for each secondary task executed by the driver and the delay time actually taken. It is possible to obtain a more appropriate return delay time.
  • the calculation unit may be configured to calculate a return delay time corresponding to the driver who has been authenticated.
  • the driver may further include a penalty information recording unit that records penalty information when the driver fails to return to driving within the return delay time calculated by the calculating unit. By examining the penalty based on the penalty information recorded in this manner, it is possible to prompt the driver to promptly return.
  • the system in order to minimize negative social impact, it is necessary for the system to be able to appropriately notify by a desirable notification method at the desired return timing for the driver.
  • the desirable timing is notification in advance of reaching the takeover point in which the driver's behavior characteristic is taken into consideration, which does not cause functional failure or deterioration of the road infrastructure.
  • the notification is set at a later timing, and the notification is performed at a point where it is urgently necessary to take over.
  • the vehicle may not be returned in time to the planned return point, which may cause a deceleration or an emergency stop. If the notification is always made at the last moment or not in time, even if the driver introduced a system that imposed a penalty if it was delayed, it would be necessary to prepare for the return from early to avoid receiving the penalty. It will be difficult to engage in secondary tasks with peace of mind.
  • return delay time is used to refer to the time required from notification until steering return by manual steering, which is mainly required by the driver, to be completed, but preparation for the section of the passage is terminated if it is under careful monitoring It does not necessarily have to be a limited definition, including the time up to.
  • traveling route information and traffic information related to the traveling route are acquired by the information processing unit. Furthermore, based on the travel route information and the traffic information by the display control unit according to the active determination state of the return delay characteristics of the specific driver in the specific vehicle in consideration of the travel characteristics at the corresponding time and weather of the own vehicle. Then, the driver intervention required section and the automatic drivable section of the traveling route are displayed on the display device on the predicted arrival time axis from the current point.
  • the display device may be a display device of a portable terminal, and may further include a communication unit that communicates with the portable terminal.
  • the drivers Unlike the notification at the specified passing point for each predetermined passing point, which was conventionally assumed to be provided to these drivers, the drivers have the necessary information for the driving mediation recovery with proper timing and accurate sense of time. Providing accurate information ensures that the notification is neither too early nor too late, so that the main vehicle on the road is properly automated even if environmental changes occur from time to time. By making it possible to take over from driving to manual operation appropriately, the burden on the road infrastructure due to the handover failure becomes small, and it is possible to prevent the operation failure of the social road infrastructure even if introducing an autonomous vehicle.
  • the operation failure of the infrastructure described here means that when there are many vehicles for which manual operation takeover can not be performed normally from automatic driving, emergency deceleration vehicles and stopped vehicles are frequently generated on road sections where the vehicle traffic bandwidth of road infrastructure is narrow. Then, the flow of the car is decelerated or interrupted in the corresponding road section, and normal refers to the inability to maintain the traffic volume in general.
  • a manual driving section when traveling while setting the route of the itinerary, on the map presented to the driver, in the driver intervention required section, a manual driving section, a passing section from automatic driving to manual driving, and careful driving from automatic driving It may be made to include a section.
  • the display control unit displays the automatically drivable section in the first color, displays the manual operation section in the second color, and displays the handover section and the caution travel section in the third color. It may be done.
  • the driver can visually view the manual operation section of the traveling route, the transition section from automatic operation to manual operation, the caution traveling section from automatic operation, and the automatic drivable section.
  • the display control unit displays the first section from the current point to the first point on the first time axis
  • the second section from the first point to the second point is Displaying on a time axis sequentially changed from a first time axis to a second time axis reduced at a predetermined ratio with respect to the first time axis, and a third point from a second point to a third point
  • the section 3 may be displayed on the second time axis.
  • the display control unit displays the first section with the first width, and the second section sequentially from the first width to the second width narrower than the first width.
  • the changed width may be displayed, and the third section may be displayed as the second width.
  • the third section even if the driving vehicle intervention necessary section is actually a predetermined time length or less, it may be displayed with the predetermined time length. As a result, in the third section in which the time axis is greatly reduced, it is possible for the driver to easily recognize the section in which the driving vehicle intervention is necessary for a short period of time.
  • the display control unit may be configured to further display information related to a designated point in each of the displayed sections. This enables the driver to designate an arbitrary point in each section and acquire information related to the point.
  • the display control unit may be configured to display the newly generated driving vehicle intervention required section distinguishably from the existing driving vehicle intervention required section.
  • the display is blinked or displayed in another color.
  • the display control unit may set the driver intervention required section as a highlighted state when the driver intervention required section is within a predetermined time range from the current point.
  • flickering display display in a different color, or illusion display such as waving display may be performed in which the moving speed appears faster than in reality.
  • the blinking display of the dynamic display has a function of stimulating the motion vision of a person, and is a method using a means effective for alerting.
  • the display control unit may be configured to display the display of each section in parallel with the work window.
  • the driver working on the work window can easily recognize the driver intervention necessary section of the traveling route and the automatic drivable section on the predicted arrival time axis from the current point.
  • the display device can execute multitasks, and may be a display as a sub-window in the case of a tablet terminal or a smartphone terminal, and a video player Or a game terminal, a video conference call system, etc.
  • the driver intervention necessary section and the automatic drivable section of the traveling route are displayed on the display device on the predicted arrival time axis from the current point based on the traveling route information and the traffic information. Therefore, it is possible to appropriately provide the driver with information on the current travel section of the travel route.
  • these display update methods it is necessary for the driver to accurately grasp the section approach information and to be aware of it.
  • the driver's cognitive function may work as a light, where the information gets into the eyes but the filtering that excludes the content of the displayed information is excluded. .
  • the filtering effect of information constantly displayed by the driver is one of the causes for missing information, but can be reduced or avoided by introducing an interactive confirmation response procedure with the driver.
  • the return delay time for determining the notification timing is calculated based on the state of the driver, and the driver can be notified of the return of the driving at an appropriate timing.
  • the method of determining this appropriate timing becomes extremely important, and as mentioned above, notification from the driver's experience value etc.
  • the response characteristics to the driver's notification and the secondary tasks that the driver can take are various, so the system can not know the return characteristic of the driver,
  • the system performs the sampling of the time required for the driver to take over from the notification by repeating the number of times of use by giving notification and awakening at the optimum notification timing determined as the basic data and the average recovery characteristics that statistically collect data It can accumulate data. If the user is unfamiliar with the system, it is physiologically expected that he / she will respond quickly to anxious notification, so that the user returns to the beginning without any major delay.
  • the time it takes to return varies greatly depending on the content of the secondary task that the driver is engaged in. Therefore, to know the notification point, the system first always monitors the status of the content during the driver's secondary task execution It is necessary to keep It is always too late to decide the notification timing from the initial observation of the driver's condition at the time of a sudden event, which is always monitored.
  • the system may automatically decelerate, run, and evacuate, or there is a possibility that a manual operation return can be expected if the smartphone is at hand in a drivable sitting posture at the driver's seat.
  • the delay time required to restore the content of the secondary task performed by the driver and the awakening state of the driver during that time, and the delay time required for recovery are accumulated to match the vehicle usage of the driving, and the log is particularly acceptable.
  • the system was to learn the delay time required for observation evaluation and recovery, and the minimum required time for successful recovery was always observed (monitoring) for the driver from the distribution of the recovery characteristics in a cumulative proportion of more than a certain percentage It will be the notification timing in the state.
  • the return characteristic for this notification timing is that a penalty is generated when the delay of the return procedure (including the progress in progress) occurs within the scheduled time, and there is a possibility that the habitual return within the time limit is promoted.
  • the recovery probability becomes a utilization form that satisfies the target success value by receiving a notification that matches the recovery delay characteristic of the self-driving user.
  • the present technology it is possible to notify the driver of an appropriate timing of the return of driving.
  • the effect of the present technology is that, according to the travel route information and the traffic information, the driver intervention necessary section of the travel route is performed by the information acquisition unit that constantly acquires travel route information, vehicle characteristics, and traffic information related to the travel route.
  • the information acquisition unit that constantly acquires travel route information, vehicle characteristics, and traffic information related to the travel route.
  • the driver can grasp the timing to return to the manual operation by interrupting the secondary task while engaged in the secondary task, and also return from the automatic operation system always with the appropriate recovery required timing and the appropriate notification form Since it becomes possible to obtain a notification, there is no need to neglect the return notification, and furthermore, the recovery is started without worries, so that a normal return is confirmed But the effect of improvement is expected.
  • the effect is not limited to the use of the comfortable automatic driving function by the driver of a single vehicle equipped with the corresponding function, but as a result of using the vehicle on the social infrastructure with an appropriate return probability, the artery of the society of the road As a result, it will be expected to greatly contribute to the solution of global issues such as the normal use of social infrastructure, as it will be realized as a result that the traffic congestion and blocking risk of the road that make up the route will be greatly reduced.
  • the concept can be seamlessly used for general roads, which was an introduction concept of fully automatic operation in a limited closed space environment fully maintained in the area where LDM can be used, such as in a site, campus or airport site. There is a general effect of spreading and developing in the social wide area.
  • the effects described in the present specification are merely examples and are not limited, and additional effects may be present.
  • FIG. 1 shows a configuration example of a vehicle control system 100 as an embodiment.
  • the vehicle provided with the vehicle control system 100 is distinguished from other vehicles, it is referred to as the own vehicle or the own vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system 108, a body system control unit 109, and a body.
  • the system system 110, the storage unit 111, and the automatic driving control unit 112 are provided.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 are connected via the communication network 121.
  • the communication network 121 may be, for example, an on-vehicle communication network or bus conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become.
  • each part of the vehicle control system 100 may be directly connected without passing through the communication network 121.
  • each unit of the vehicle control system 100 performs communication via the communication network 121
  • the description of the communication network 121 is omitted.
  • the input unit 101 and the automatic driving control unit 112 communicate via the communication network 121, it is described that the input unit 101 and the automatic driving control unit 112 merely communicate.
  • the input unit 101 includes an apparatus used by a passenger for inputting various data and instructions.
  • the input unit 101 includes operation devices such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device or the like that can be input by a method other than manual operation by voice or gesture.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data, an instruction, and the like input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for acquiring data used for processing of the vehicle control system 100 and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the vehicle.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertia measurement device (IMU), an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, and an engine speed.
  • IMU inertia measurement device
  • a sensor or the like for detecting a motor rotational speed or a rotational speed of a wheel is provided.
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle.
  • the data acquisition unit 102 includes imaging devices such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather, weather, and the like, and an ambient information detection sensor for detecting an object around the vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor is made of, for example, an ultrasonic sensor, a radar, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), sonar or the like.
  • FIG. 2 shows an example of installation of various sensors for detecting external information of the vehicle.
  • the imaging devices 7910, 7912, 7914, 7916, 7918 are provided at, for example, at least one of the front nose of the vehicle 7900, a side mirror, a rear bumper, a back door, and an upper portion of a windshield of a vehicle cabin.
  • the imaging devices 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • the imaging device 7918 provided on the upper part of the windshield in the passenger compartment is mainly used to detect a leading vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • it may be extended to pedestrians crossing the left / right turning destination road which is in a wide range by turn at the time of turning of the vehicle, and further to crossing object approaching object ranges.
  • FIG. 2 shows an example of the imaging range of each of the imaging devices 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging device 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging devices 7912 and 7914 provided on the side mirrors
  • the imaging range d indicates The imaging range of imaging device 7916 provided in the rear bumper or the back door is shown.
  • a bird's-eye view of the vehicle 7900 as viewed from above, and an all-round three-dimensional display image surrounding the vehicle peripheral portion with a curved plane Is obtained.
  • the sensors 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, sides, corners of the vehicle 7900 and at the top of the windshield in the cabin can be, for example, ultrasonic sensors or radars.
  • the sensors 7920, 7926, 7930 provided on the front nose of the vehicle 7900, the rear bumper, the back door, and the top of the windshield of the vehicle cabin may be, for example, LiDAR.
  • These sensors 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian or an obstacle. These detection results may be further applied to the improvement of three-dimensional object display of the above-mentioned overhead display and all-round three-dimensional display.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle.
  • the data acquisition unit 102 includes a GNSS receiver or the like which receives a GNSS signal from a Global Navigation Satellite System (GNSS) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device for imaging the driver, a biological sensor for detecting biological information of the driver, a microphone for collecting sound in the vehicle interior, and the like.
  • the living body sensor is provided, for example, on a seat or a steering wheel, and detects a sitting state of a passenger sitting in a seat or a living body information of a driver holding the steering wheel.
  • biological signals include heart rate, pulse rate, blood flow, respiration, mind-body correlation, visual stimulation, brain waves, sweating state, head posture behavior, eyes, fixation, blink, saccade, microsaccade, fixation, drift, fixation And diversifiable observational data such as iris pupillary responses are available.
  • biological activity observation information reflecting the observational driving state is collected as an observation evaluation value estimated from the observation, and the restoration delay time characteristic linked with the log of the evaluation value is used to calculate the restoration delay of the driver.
  • the characteristic characteristic of the case is used in the later-described learning unit 155 to calculate the return notification timing.
  • FIG. 3 shows various sensors for obtaining information on the driver in the vehicle, which is included in the data acquisition unit 102.
  • the data acquisition unit 102 includes a ToF camera, a stereo camera, a seat strain gauge, and the like as a detector for detecting the position and attitude of the driver.
  • the data acquisition unit 102 includes a face recognition unit (Face (Head) Recognition), a driver eye tracker (Driver Eye Tracker), a driver head, and the like as a detector for obtaining the driver's life activity observation information.
  • a tracker (Driver Head Tracker) etc. is provided.
  • the data acquisition unit 102 includes a vital signal detector as a detector for obtaining the driver's vital activity observation information.
  • the data acquisition unit 102 includes a driver identification (Driver Identification) unit.
  • Driver Identification Driver Identification
  • the authentication method in addition to knowledge authentication by password or PIN, biometric authentication by face, fingerprint, iris of eyes, voiceprint, etc. can be considered.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices outside the vehicle, a server, a base station, etc., and transmits data supplied from each portion of the vehicle control system 100, and receives the received data. Supply to each part of 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can also support a plurality of types of communication protocols.
  • the communication unit 103 performs wireless communication with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like. Also, for example, the communication unit 103 may use a Universal Serial Bus (USB), a High-Definition Multimedia Interface (HDMI), or a Mobile High-definition (MHL) via a connection terminal (not shown) (and, if necessary, a cable). And wire communication with the in-vehicle device 104.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition
  • the communication unit 103 may communicate with a device (for example, an application server or control server) existing on an external network (for example, the Internet, a cloud network, or a carrier-specific network) via a base station or an access point. Communicate.
  • a device for example, an application server or control server
  • an external network for example, the Internet, a cloud network, or a carrier-specific network
  • the communication unit 103 may use a terminal (for example, a terminal of a pedestrian or a store or an MTC (Machine Type Communication) terminal) existing in the vicinity of the own vehicle. Communicate.
  • a terminal for example, a terminal of a pedestrian or a store or an MTC (Machine Type Communication) terminal
  • the communication unit 103 may perform vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) V2X communication such as communication is performed. Also, for example, the communication unit 103 includes a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from radio stations and the like installed on the road, and acquires information such as current position, traffic jam, traffic restriction, or required time. Do. In addition, it performs pairing with the forward traveling vehicle during section travel which can be the leading vehicle through the communication unit, acquires information acquired from the data acquisition unit mounted on the forward vehicle as pre-travel information, and acquires the data acquisition unit 102 of the own vehicle. It may be used with data and complements, and it is a means to secure the safety of the following formation, especially in formation of a formation by leading vehicles.
  • the in-vehicle device 104 may be, for example, a mobile device (eg, a tablet or a smartphone) owned by the passenger or a wearable device, an information device carried in or attached to the vehicle, a navigation device for searching for a route to any destination including.
  • a mobile device eg, a tablet or a smartphone
  • an information device carried in or attached to the vehicle e.g., a navigation device for searching for a route to any destination including.
  • a navigation device for searching for a route to any destination including.
  • the output control unit 105 controls the output of various information to the passenger of the vehicle or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the generated output signal to the output unit 106.
  • the output control unit 105 combines image data captured by different imaging devices of the data acquisition unit 102 to generate an overhead image or a panoramic image, and an output signal including the generated image is generated.
  • the output unit 106 is supplied.
  • the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal
  • the output unit 106 includes a device capable of outputting visual information or auditory information to the passenger of the vehicle or the outside of the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, wearable devices such as a glasses-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 has visual information in the driver's field of vision, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function, in addition to a device having a normal display. It may be an apparatus for displaying.
  • the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. In addition, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies a control state of the drive system 108, and the like.
  • the drive system 108 includes various devices related to the drive system of the vehicle.
  • the drive system 108 includes a driving force generating device for generating driving force of an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering mechanism for adjusting a steering angle.
  • a braking system that generates a braking force an antilock brake system (ABS), an electronic stability control (ESC), an electric power steering apparatus, and the like are provided.
  • the body control unit 109 controls the body system 110 by generating various control signals and supplying the control signals to the body system 110.
  • the body system control unit 109 supplies a control signal to each unit other than the body system 110, as required, to notify the control state of the body system 110, and the like.
  • the body system 110 includes various devices of the body system mounted on the vehicle body.
  • the body system 110 may be a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, headlamps, back lamps, brake lamps, blinkers, fog lamps, etc.) Etc.
  • the storage unit 111 includes, for example, a read only memory (ROM), a random access memory (RAM), a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. .
  • the storage unit 111 stores various programs, data, and the like used by each unit of the vehicle control system 100.
  • the storage unit 111 is map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map that has a lower accuracy than a high-accuracy map and covers a wide area, and information around the vehicle.
  • map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map that has a lower accuracy than a high-accuracy map and covers a wide area, and information around the vehicle.
  • the autonomous driving control unit 112 performs control regarding autonomous driving such as autonomous traveling or driving assistance. Specifically, for example, the automatic driving control unit 112 can avoid collision or reduce impact of the vehicle, follow-up traveling based on the distance between vehicles, vehicle speed maintenance traveling, collision warning of the vehicle, lane departure warning of the vehicle, etc. Coordinated control is carried out to realize the functions of the Advanced Driver Assistance System (ADAS), including: Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of automatic driving or the like that travels autonomously without depending on the driver's operation.
  • the autonomous driving control unit 112 includes a detection unit 131, a self position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various types of information necessary for control of automatic driving.
  • the detection unit 131 includes an out-of-vehicle information detection unit 141, an in-vehicle information detection unit 142, and a vehicle state detection unit 143.
  • the outside-of-vehicle information detection unit 141 performs detection processing of information outside the vehicle based on data or signals from each unit of the vehicle control system 100.
  • the external information detection unit 141 performs detection processing of an object around the vehicle, recognition processing, tracking processing, and detection processing of the distance to the object and the relative speed.
  • the objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings and the like.
  • the outside-of-vehicle information detection unit 141 performs a process of detecting the environment around the vehicle.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition and the like.
  • the information outside the vehicle detection unit 141 indicates data indicating the result of the detection process as the self position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. Supply to the emergency situation avoidance unit 171 and the like.
  • the information acquired by the outside vehicle information detection unit 141 is mainly the information supply by the infrastructure if the local dynamic map constantly updated as a section where the traveling section can travel automatically with emphasis on the area is supplied from the infrastructure It may be possible to receive an information update prior to the entry of a section prior to the entry of a section from a vehicle or a group of vehicles traveling ahead in the corresponding section.
  • the latest local dynamic map is not always updated from the infrastructure, etc.
  • the road environment information obtained from the section intrusion leading vehicle for the purpose of obtaining the road information just before the intrusion section safer in participatory train running etc. May be used complementarily. It is often determined by the presence or absence of prior information provided by these infrastructures whether the section is capable of autonomous driving.
  • the information on the autonomous driving on the route provided by the infrastructure is equivalent to providing an invisible track as so-called "information”.
  • the information detection part 141 outside a car is illustrated on the premise mounted in the own vehicle for convenience, the prior prediction property at the time of driving
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
  • the in-vehicle information detection unit 142 performs a driver authentication process and a recognition process, a driver state detection process, a passenger detection process, an in-vehicle environment detection process, and the like.
  • the state of the driver to be detected includes, for example, physical condition, awakening degree, concentration degree, fatigue degree, gaze direction and the like.
  • the detection means to look at drowsiness and the like is mainly detected, but from now on the driver is not involved in driving steering at all, so the system From the state where the driver's exact state of consciousness is unknown, there is no means to observe the driving intervention degree, and it is necessary for driving to observe the transition of consciousness return, and the driver's internal awakening state is grasped before steering. It is necessary to proceed with the intervention transfer from automatic operation to manual operation.
  • the in-vehicle information detection unit 142 mainly has two major roles, the first role is passive monitoring of the driver's state during automatic driving, and the second role is recovery from the Hiza system After the request is issued, the driver's peripheral awareness, perception, judgment, and detection of the operating ability of the steering device are determined to a level at which manual driving is possible before reaching the caution driving section. Further, as a control, a failure self-diagnosis of the whole vehicle is further performed, and in the case where the function reduction of the automatic driving occurs due to a partial function failure of the automatic driving, the driver may similarly return to the early manual driving.
  • passive monitoring refers to a type of detection means that does not require the driver to have a conscious response, and excludes devices that emit physical radio waves, lights, etc. from devices and detect response signals. is not. In other words, it refers to monitoring under consciousness such as during sleep, and the classification that is not the driver's cognitive response is made passive. On the contrary, the thing which asks the driver for the conscious response which asks for a response is active.
  • the in-vehicle environment to be detected includes, for example, temperature, humidity, brightness, smell and the like.
  • the in-vehicle information detection unit 142 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133 and the operation control unit 135.
  • the driver can not achieve the manual operation within the appropriate time limit after the driver gives the driver an instruction to return to the operation by the system, and the transfer control is carried out even if the deceleration control is performed with the driver's own operation.
  • an instruction is given to the emergency situation avoidance unit 171 or the like of the system, and the vehicle is started to decelerate, retreat and stop for evacuation. That is, even in a situation where the initial state is not the same, it is possible to earn an arrival time to reach the takeover limit by starting the deceleration of the vehicle early.
  • the vehicle state detection unit 143 detects the state of the vehicle based on data or signals from each unit of the vehicle control system 100.
  • the state of the vehicle to be detected includes, for example, speed, acceleration, steering angle, presence / absence of abnormality and contents, state of driving operation, position and inclination of power seat, state of door lock, and other on-vehicle devices. Status etc. are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the self position estimation unit 132 estimates the position and attitude of the vehicle based on data or signals from each part of the vehicle control system 100 such as the external information detection unit 141 and the situation recognition unit 153 of the situation analysis unit 133. Do the processing. In addition, the self position estimation unit 132 generates a local map (hereinafter, referred to as a self position estimation map) used to estimate the self position, as necessary.
  • a self position estimation map a local map
  • the self-location estimation map is, for example, a high-accuracy map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133.
  • the self position estimation unit 132 stores the self position estimation map in the storage unit 111.
  • the situation analysis unit 133 performs analysis processing of the own vehicle and the surrounding situation.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, a situation prediction unit 154, and a learning unit 155.
  • the map analysis unit 151 uses various data or signals stored in the storage unit 111 while using data or signals from each part of the vehicle control system 100 such as the self position estimation unit 132 and the external information detection unit 141 as necessary. Perform analysis processing and construct a map that contains information necessary for automatic driving processing.
  • the map analysis unit 151 is configured of the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, and the like. Supply to
  • the traffic rule recognition unit 152 uses traffic rules around the vehicle based on data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition processing, for example, the position and state of signals around the host vehicle, the contents of traffic restrictions around the host vehicle, and the travelable lane are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 uses data or signals from each part of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, the in-vehicle information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on the recognition processing of the situation regarding the vehicle. For example, the situation recognition unit 153 performs recognition processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. In addition, the situation recognition unit 153 generates a local map (hereinafter referred to as a situation recognition map) used to recognize the situation around the host vehicle, as necessary.
  • the situation recognition map is, for example, an Occupancy Grid Map.
  • the status of the vehicle to be recognized includes, for example, the position, posture, movement (for example, speed, acceleration, movement direction, etc.) of the vehicle, and the cargo load and cargo loading that determine the motion characteristics of the vehicle.
  • the recovery start timing required for control differs depending on the characteristics of the vehicle itself and the load even if it is the same road environment such as road surface friction coefficient, road curve and slope, etc. and load specific conditions. Therefore, it is necessary to collect these various conditions and reflect them in the optimal timing of learning and control.
  • the parameter for deciding the addition of the grace period for recovery desired may be set in advance as a fixed value, and not all notification timings It is not necessary to adopt a method of uniformly determining the determination condition by self-accumulation learning.
  • the situation around the vehicle to be recognized includes, for example, the type and position of surrounding stationary objects, the type and position of surrounding moving objects, position and movement (eg, velocity, acceleration, movement direction, etc.) Configuration and road surface conditions, as well as ambient weather, temperature, humidity, brightness, etc. are included.
  • the state of the driver to be recognized includes, for example, physical condition, alertness level, concentration level, fatigue level, movement of eyes, driving operation and the like.
  • the situation recognition unit 153 supplies data indicating the result of the recognition process (including the situation recognition map as necessary) to the self position estimation unit 132, the situation prediction unit 154, and the like. In addition, the situation recognition unit 153 stores the situation recognition map in the storage unit 111.
  • the situation prediction unit 154 performs a prediction process of the situation regarding the own vehicle based on data or signals from each part of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver, and the like.
  • the situation of the subject vehicle to be predicted includes, for example, the behavior of the subject vehicle, the occurrence of an abnormality, the travelable distance, and the like.
  • the situation around the vehicle to be predicted includes, for example, the behavior of the moving object around the vehicle, the change in the signal state, and the change in the environment such as the weather.
  • the driver's condition to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 154 together with data from the traffic rule recognition unit 152 and the situation recognition unit 153, indicates data indicating the result of the prediction process, the route planning unit 161 of the planning unit 134, the action planning unit 162, and the operation planning unit 163. Supply to etc.
  • the learning unit 155 learns the optimum return timing according to the return action pattern of the driver, the vehicle characteristics, and the like, and provides the learning information to the situation recognition unit 153 and the like. As a result, for example, it is possible to present the driver with the statistically determined optimum timing required for the driver to return from the automatic driving to the manual driving normally at a predetermined fixed rate or more.
  • the route planning unit 161 plans a route to a destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the specified destination based on the global map. Also, for example, the route planning unit 161 changes the route as appropriate based on traffic jams, accidents, traffic restrictions, conditions such as construction, the physical condition of the driver, and the like. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action plan part 162 safely makes the route planned by the route planning part 161 within the planned time. Plan your vehicle's action to drive.
  • the action planning unit 162 performs planning of start, stop, traveling direction (for example, forward, backward, left turn, right turn, change of direction, etc.), travel lane, travel speed, overtaking, and the like.
  • the action plan unit 162 supplies data indicating the planned behavior of the host vehicle to the operation plan unit 163 or the like.
  • the action plan unit 163 is an action of the own vehicle for realizing the action planned by the action plan unit 162 based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan.
  • the operation plan unit 163 plans acceleration, deceleration, a traveling track, and the like.
  • the operation planning unit 163 supplies data indicating the planned operation of the host vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173 of the operation control unit 135.
  • the operation control unit 135 controls the operation of the vehicle.
  • the operation control unit 135 includes an emergency situation avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency situation avoidance unit 171 is based on the detection results of the external information detection unit 141, the in-vehicle information detection unit 142, and the vehicle state detection unit 143, collision, contact, entering a danger zone, driver's abnormality, vehicle Perform detection processing of an emergency such as an abnormality.
  • the emergency situation avoidance unit 171 detects the occurrence of an emergency situation, it plans the operation of the own vehicle for avoiding an emergency situation such as a sudden stop or a sudden turn.
  • the emergency situation avoidance unit 171 supplies data indicating the planned operation of the host vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171.
  • the acceleration / deceleration control unit 172 calculates a control target value of a driving force generator or a braking device for achieving planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107. There are two main cases in which an emergency can occur.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling track or the sharp turn planned by the operation plan unit 163 or the emergency situation avoidance unit 171, and performs control indicating the calculated control target value. The command is supplied to the drive system control unit 107.
  • FIG. 4 schematically illustrates an example of a manual handover sequence of automatic operation in the automatic operation control unit 112.
  • step S1 it is possible that the driver is in a state of complete departure from driving steering in the future. In this state, the driver can execute secondary tasks such as, for example, nap, video watching, concentration on a game, and work using a visual tool such as a tablet or a smartphone. Work using a visual tool such as a tablet or a smartphone may be performed, for example, with the driver's seat shifted or at a different seat from the driver's seat.
  • the time until the driver recovers largely fluctuates depending on the work content at each time when approaching the section where the manual operation recovery is required on the route.
  • the time until the timing actually required for return may be too long .
  • the driver loses the reliability of the timing with respect to the notification timing of the system and the awareness for the notification decreases, resulting in the driver's accuracy.
  • the risk of failure to take over successfully increases, and it also becomes a disincentive for safe secondary task execution. Therefore, the system needs to optimize the notification timing in order for the driver to start handling the appropriate driving recovery for the notification.
  • step S2 at the timing of the return notification, the driver is notified of dynamic haptics such as vibration and driving return visually or aurally.
  • the steady state of the driver is monitored to grasp the timing of issuing a notification, and notification is made at an appropriate timing.
  • the execution status of the driver's secondary task is constantly monitored in the passive monitoring period in the previous stage, the system can calculate the optimal timing of the optimal timing of notification, and passive monitoring in the period of step S1 is always continued. It is desirable to perform the return timing and the return notification in accordance with the driver's inherent return characteristic.
  • the optimal recovery timing is learned in accordance with the driver's recovery behavior pattern, vehicle characteristics, etc., and statistically calculated for the driver to recover from the automatic driving to the manual driving normally at a predetermined ratio or more. It is desirable to show the driver the optimal timing. In this case, if the driver does not respond to the notification within a predetermined time, a warning is issued by ringing an alarm or the like.
  • step S3 it is checked whether the driver has returned to the seat.
  • step S4 the driver's internal alertness state is confirmed by a saccade or the like.
  • step S5 the stability of the driver's actual steering condition is monitored. Then, in step S6, the transition from the automatic operation to the manual operation is completed.
  • FIG. 5 shows a more detailed example of a manual handover sequence of automatic operation.
  • the prediction of the return point is visually presented to a visual tool such as a tablet or a smartphone.
  • the display does not need to be limited to these visual tools, and a display form that falls within the field of view during secondary task execution of the driver leaving the vehicle, such as a center information display of a vehicle, is desirable.
  • forward schedule and approach information are presented, and the return point is displayed as it approaches the host vehicle as time passes.
  • step S12 the presentation content of the forward schedule and the approach information is appropriately changed by updating the LDM (Local Dynamic Map) or the like. Further, in this step S12, the driver's condition is regularly monitored.
  • step S13 the return point that has entered within a predetermined time from the current point is displayed in a blinking manner or in a highlighted manner such as a wave display, and the driver is notified of this. The timing at which the notification in step S13 is issued is performed earlier according to the detection result periodically monitored in the previous stage, that is, according to the depth of withdrawal from driving by the secondary task or the temporary sleep. It is adjusted so that the return will be in time.
  • step S14 if the driver is not responsive to the notification, an alarm for waking up is sounded.
  • step S15 if the driver's seat is not seated, the driver is notified to return visually or aurally.
  • step S16 if there is a return delay of seating, an alarm for an alarm is sounded.
  • step S17 for example, the driver's pointing gesture for forward confirmation is monitored as the return start.
  • step S18 the sitting posture is confirmed.
  • step S19 for example, in order to detect restoration of the driver's internal sense of state in the brain using a means such as detailed gaze analysis, the driver's internal alertness due to a sensory reflex such as a circade or fixation is determined. .
  • step S20 the driver is entrusted with the steering authority in turn, the steering is entrusted while observing the response steering state of the actual steering reaction, and the steering stability is monitored. In order to complete the final handover of driving steering, it is necessary for the driver to surely start steering under normal awareness. At that time, when the road takes over on a monotonous straight road, even if the driver consciously performs "correct" steering control along the road, it does not actually touch the device, either.
  • the system is expected to continue traveling with the vehicle inertia and speed maintenance functions without paying attention to events, and the system is extremely difficult to detect the driver's active involvement, so the system It is also possible to generate a simulated state in which the steering correction intervention is intentionally promoted.
  • the pseudo state requiring driver's intervention is, for example, traveling noise injection across a lane. Also, it may be pseudo-sensible rotation of the steering without substantial rotation, without causing dynamic noise of the actual vehicle.
  • the sense of rotation without actual rotation may be, for example, rotational shock with an unbalanced vibration method, and is not limited to a particular method. It is equivalent to be able to give the driver the feeling of straddling, for example, Rumble strips.
  • the active noise injection by the system reflects the awakening level at the driver's return, since a clear response to the driver is required. Then, since the reaction delay time after noise injection becomes the reaction time of the driver after reporting the intervention necessity information to the driver, this reaction delay time is an index indicating the restoration quality.
  • the response time delay with respect to this noise may be further extended and used for the recovery quality evaluation when the driver predicts the timing of the recovery delay time.
  • the history when detection of the steering operation that corrects correctly for noise injection that needs correction can be detected as normal teacher data, there is no correction operation, or instability that correction of the noise correction due to fatigue or loss of consciousness is delayed It is good also as a teacher data at the time of non-normality in the history in the case of being.
  • step S21 if it is estimated that the normal return is not possible, it is determined that the emergency handover has failed, and the deceleration and gradual evacuation sequence is started.
  • the system determines that the driver has taken over normally, and in that case, the function after the completion of handover takes over the operation of the system changes its function range to collision preventive safety support.
  • a high weighted contribution to manual operation, and the driver's judgment operation can not catch up with the response reaction such as an accident, Operates within the range of emergency preventive safety such as auto match emergency braking system (AEBS), A function change may be made to supplement the preventive safety, including the driver's return incomplete return.
  • AEBS auto match emergency braking system
  • the time transition of the return depends on various factors such as the driver's age, experience, fatigue level, etc., so it is determined at the return timing according to the specific individual.
  • the driver When the driver is required to return to the manual operation from the automatic operation, it takes at least a certain time to be able to return to the manual operation almost certainly.
  • Most desirable is a configuration that performs optimal timing notification according to vehicle characteristics, road characteristics, and individual driving recovery characteristics, and the driver is relieved and the secondary task is displayed by displaying the approach situation of the handover point in conjunction.
  • the tension and the relaxation state appear alternately, the ergonomically the user leads to the use of the attention return utilization for each necessary section. In other words, it is released from unnecessary continuous attention tension.
  • An event is generated in a pseudo manner, the degree of return to the dummy event by the driver is evaluated, the return level evaluation of the driver and the driver's appropriate reaction evaluation are performed according to the return request of the driver, and the return degree evaluation value
  • road environment and driving conditions are not set uniquely. It may be set more variably.
  • step S30 the operation is started.
  • step S31 driver authentication is performed.
  • this driver authentication is performed by knowledge authentication using a password or a personal identification number, or biometric authentication using a face, a fingerprint, an iris of a pupil, a voiceprint or the like, and knowledge authentication and biometric authentication in combination.
  • step S32 the driver operates the input unit 101 to set a destination.
  • the driver's input operation is performed based on the display of the instrument panel.
  • the car system performs preplanning settings according to the schedule assumed by the driver according to the schedule table, and updates and acquires LDM information of the road environment, etc. to get in and before the ride.
  • actual driving advice may be displayed.
  • step S33 display of a traveling section on the traveling route is started.
  • the travel section display is displayed not only on the instrument panel, but also on a tablet or the like where the driver performs a secondary task in parallel with the work window.
  • the driver working on the work window can easily recognize the driver intervention necessary section of the traveling route and the automatic drivable section on the predicted arrival time axis from the current point.
  • the traveling section display In this traveling section display, the forward schedule and the approach information to each point are presented.
  • the driver intervention required zone and the automatic drivable zone of the traveling route are displayed on the predicted arrival time axis from the current point.
  • the driver intervention required section includes a manual driving section, a handover section from automatic driving to manual driving, and a caution driving section from automatic driving. The details of the travel section display will be described later.
  • step S34 acquisition of LDM update information is started.
  • the content of the travel section display can be changed to the latest state.
  • traveling is started.
  • step ST36 the display of the traveling section display is updated based on the position information of the vehicle and the acquired LDM update information. As a result, the travel section display is scroll-displayed so that each section approaches the host vehicle as it travels.
  • step S37 the driver's condition is monitored.
  • step ST38 an event change handling process is performed.
  • a normal takeover process to cope with a case where a takeover section or a caution drive section already existing in the drive route approaches, and a driver of the takeover section or the caution drive section during the drive route It includes an event generation process for dealing with the case where a necessary section for intervention newly occurs. The details of the normal handover process and the event generation process will be described later. Thereafter, the processing from step S36 to step S38 is repeated as appropriate.
  • FIG. 7 shows an example of a travel route determined by the driver setting a destination.
  • this traveling route there are an automatic drivable section Sa, a manual driving section Sb, a handover section Sc from automatic driving to manual driving, and a warning driving section Sd from automatic driving.
  • the transfer section Sc always exists immediately before the manual operation section Sb, and the driver needs to be in a posture to return to the manual operation.
  • the caution travel section Sd is a section in which traveling can be performed with automatic driving as it is or under deceleration, etc., under the attention monitoring of the driver who is in a return posture to manual driving.
  • the autonomous driving possible section Sa is shown in green
  • the manual driving section Sb is shown in red
  • the handover section Sc and the caution traveling section Sd are shown in yellow.
  • each color is represented by a separate pattern.
  • each section of the travel route as described above is displayed on the predicted arrival time axis from the current point.
  • the autonomous driving control unit 112 performs information processing for displaying a traveling section in the traveling route based on the traveling route information and the traffic information.
  • FIG. 8 (a) represents each section of the traveling route on a constant scale along the movement distance axis from the current point.
  • FIG. 8 (b) shows the average road traffic flow velocity v (t) at each point.
  • FIG. 8 (c) is obtained by converting each section represented by the moving distance axis into a time axis using the velocity v (t).
  • each section of the traveling route is represented by the predicted arrival time axis from the current point. That is, it can be represented by a time axis obtained by dividing the physical distance of the traveling route by the average speed for each section.
  • the entire section displayed as the traveling section is divided into three sections as shown in FIG. 8 (d), and the time axis of each section is changed. That is, the first section from the current point to the first point (time t0, for example, about 10 minutes) is displayed on the first time axis as a time linear display immediate section.
  • time t0 is set to a time sufficient for a general driver to finish the secondary task and return to operation. Since the immediate section approaching by driving has the same visual intuition as if it is shown on a map advancing at a constant speed, the driver can start preparation for the appropriate driving return accompanying the approaching event, and the certain degree of accurate return There is an advantage that the point to start can be intuitively grasped. That is, the display purpose of this section is to provide the user with start judgment information of the driver's accurate return point.
  • a second section from the first point (time t0) to the second point (time t1, for example, about 1 hour) is a reciprocal display section of time from the first time axis to the first time Display is made on the time axis sequentially changed up to the second time axis reduced at a predetermined ratio with respect to the axis. If the display purpose of this second section is mainly displayed with the same scale magnification as the first section above, it will be difficult to display the long term in a narrow display space, so the road condition in the long term will be narrowly displayed In order to provide the driver with accuracy.
  • the display of the second display section shown above is a case where the vehicle is traveling at a constant speed, a display obtained by viewing the map in which the traveling straight line extended display section on the map is inclined in the traveling direction or road surface forward Corresponds to a state in which the In other words, since the visual effect of this display section is intuitively understood at the display image height position in perspective, it can be said that the display can be made easy to grasp the sensory distance without displaying the scale etc. of the accurate position display on the screen. . And although the section of the distance is reduced, it is not a point to reach immediately by driving, so an approximate prediction is important, but the driver does not have to sensuously grasp arrival time information as strict as near points. , It is suitable for making a secondary task execution plan.
  • the third section from the second point (time t1) to the third point (time t2) is displayed on the second time axis (reduction ratio hs / h0) as a time linear display distant section.
  • the driver can know details of the latest section information temporally in a limited display space, and section information up to temporally further It is possible to know
  • the distant part is displayed as it is in the display form of the second section, it becomes less than the human visual resolution and further the display resolution limit of the system, and it becomes impossible to distinguish the information necessary for determining the secondary task plan. The meaning is lost. Therefore, we can intuitively grasp the sense of the time zone sufficiently, and complete the reduction of the display scale at a stage where the necessary and unnecessary interval sections are appropriately displayed, and the subsequent sections have been returned to a fixed scale again Displaying is the most effective display.
  • the vehicle control system 100 is provided with the default value of time t0, t1, and t3.
  • the values of times t0, t1, and t3 can be considered separately for long-distance driving and short-distance driving, so the default value is not limited to one, and a plurality of types are provided.
  • the system may be selectively used depending on the travel route. It is also conceivable to allow the driver (user) to arbitrarily set the values of the times t0, t1 and t3.
  • FIGS. 9 (a) and 9 (b) show an example of the travel section display that is finally displayed. Note that the length of the arrow indicates whether or not the time axis is linear, and further, changes in the reduction rate of the time axis. In the case of FIG. 9A, all the sections of the first section, the second section and the third section are displayed with the first width.
  • the first section from the current point to the first point (time t0) is displayed with the first width, and the first point (time t0) to the second point is displayed.
  • the second section up to the point (time t1) is displayed with a width sequentially changed from the first width to the second width narrower than the first width, and from the second point (time T1)
  • the third section up to the third point (time T2) is displayed with a second width.
  • the width of the road or the map can be changed by changing the transverse width to the traveling direction of the display information in a pseudo manner.
  • the same perspective effect as looking in an infinite direction along the progression is obtained, and the distribution of the necessary driving intervention section becomes easier to grasp intuitively by just looking at the screen for a moment.
  • the exact position memory is visually Even if it does not judge, the arrival time to each point can be grasped intuitively, and it can be said that it is a display form which enables time distribution.
  • the display is performed with the predetermined time length.
  • the display of the handover section may be omitted.
  • the display of the first manual operation section Sb of the third section shows such a state.
  • the manual operation section Sb when the manual operation section Sb is intermittently continued in a short cycle, it is displayed as a manual operation section Sb in which the whole is connected.
  • the display of the second manual operation section Sb of the third section indicates a state in which the display is performed in such a manner.
  • the manual operation section Sb displayed in this manner actually includes, in addition to the manual operation section Sb, a short-time handover section Sd and an automatic operation enable section Sa, as shown in FIG. 9C.
  • the detailed display can be performed by, for example, double-touching the point while the traveling section is displayed on the tablet or the like.
  • FIGS. 10 (a) to 10 (d) show examples of changes in the display of the traveling section with the passage of time.
  • this example shows an example in which the second section is displayed in a tapered manner, the same applies to the case where all the sections are displayed with the same width.
  • the movement of each section is quick. Further, in the second section, since the reduction of the time axis is made smaller as it goes from the third section side to the first section side, the movement of each section becomes faster. In addition, in the third section, since the reduction of the time axis is large, the movement of each section is slow.
  • FIGS. 11A and 11B show an example of the travel section display 200 in the travel route displayed on the screen of the tablet 300.
  • FIG. FIG. 11A is an example of using the tablet 300 in a portrait orientation.
  • the traveling zone display 200 is displayed in a state of being bent along the upper side from the left side, and is displayed in parallel with the work window which is an execution screen of the secondary task performed by the tablet 300.
  • FIG. 11B is an example of using the tablet 300 in landscape orientation.
  • the traveling zone display 200 is displayed in a state of being bent along the upper side from the left side, and is displayed in parallel with the work window which is the execution screen of the secondary task performed by the tablet 300.
  • the travel section display 200 is arranged in a bent state on the screen of the tablet 300. However, if sufficient arrangement space can be taken, it may be arranged linearly.
  • FIG. 12 shows a state in which a caution travel section Sd is newly generated in the second section, and the driver is warned by flashing display.
  • the blinking that is, the warning state
  • the driver touches the blinking display area of the caution driving section Sd a small window is popped up and it is possible to stop the blinking, that is, the warning state by the screen touch of acceptance. It may be done.
  • the driver can easily recognize that the driver intervention necessary section has been within a certain time range from the current point.
  • the display scale is small in normal approach display and the approach feeling is hard to grasp due to the relation such as the display range of the screen, in order to make full use of the effect of the human eye's dynamic visual acuity It is possible to generate gradient change points on the display screen in this way, and to capture changes in the peripheral vision even when the driver is looking at another part of the screen in the secondary task. It is the biggest advantage of this method.
  • FIG. 13 shows that the waved display is applied to the transfer section Sc existing immediately before the manual operation section Sb as a state of highlighting.
  • FIG. 14 shows a display example for implementing wave display. In this display example, by changing the section length of the transfer section Sc every ⁇ t, the display faster than the advancing speed and the operation of pulling back are repeated.
  • FIG. 15 shows another display example for implementing the wave display. In this display example, by changing the section position of the transfer section Sc every ⁇ t, the display faster than the traveling speed and the operation of pulling back are repeated.
  • the types of secondary tasks are: (a) sleeping in a nap space, (b) in the awakening state while leaving the seat, (c) in the non-normal driving posture in which the driver's seat is turned, (d) in the regular driving posture It is possible that the terminal is still in use.
  • the return delay time ⁇ T in this case includes these elements.
  • the entire block shown in FIG. 16 is the return grace time budget permitted until manual operation return, and the point on the right end is a point at which manual operation return from automatic operation is completed.
  • the return delay time ⁇ T in this case includes these elements.
  • the return delay time ⁇ T in this case includes these elements.
  • the body function can be steered as an element of the return delay time as shown in FIG. 16 (d)
  • the return delay time ⁇ T in this case includes this element.
  • "Tr" indicates the time of situation recognition judgment.
  • the delay time of each activity in the middle of the return does not include the time of the situation recognition judgment because it is already in the middle of the return work as the driver's awareness. That is, only the delay time of the first activity for return includes the time of this situation recognition judgment.
  • the return delay time ⁇ T is generally expressed by the following equation (2).
  • the coefficients a to f take values of “1” or “0” depending on the type of secondary task performed by the driver.
  • ⁇ Tmin VDP: Vehicle Dynamic Propreties
  • VDP Vehicle Dynamic Propreties
  • a unique fixed constant based on vehicle dynamic characteristics is used for simplicity, but it is treated as a multidimensional function affected by road conditions, weather conditions, etc., and based on information provided by LDM for each traveling section You may further use the adjustment.
  • This value is similar to using the driver's inter-vehicle distance in today's manual driving if it is rainy or slippery road, but it is similar to using the inter-vehicle distance. It is not necessarily the time for securing the same braking distance securing safety distance in that the setting is a setting of the grace period taking into consideration the safety at the time of takeover failure.
  • ⁇ T a * Ta + b * Tb + c * Tc + d * Td + e * Te + f * ⁇ Tmin (VDP) ...
  • the return delay time ⁇ T is calculated and used based on the state of the driver. If there is an event (takeover from automatic driving to manual driving or a caution driving section from automatic driving) that is approaching after time t, the timing of the notification of the approach (alarm) for this event is after (t- ⁇ T) time It becomes. However, in the case of a new event occurrence, it is necessary for the driver to be notified of the new event approach and to complete the recognition of the notification, since the driver will not take over the new event and the takeover point approach will occur. Therefore, once the occurrence of an event is determined, the notification is given, and the notification is repeatedly given until the recognition is determined by the driver.
  • the advance notification may be the same as the handover notification or may be a distinguishable notification.
  • step S41 the process is started.
  • step S42 a driver return request is observed.
  • a driver return request is observed.
  • the event to be handed over a hand-over section from automatic driving to manual driving or a caution traveling section from automatic driving
  • a predetermined time for example, traveling on a traveling route displayed on the screen of the tablet 300
  • the event to be handed over in the section display 200 enters the first section from the current point to the first point (for example, about 10 minutes at time t0), it is observed as a driver recovery request.
  • the observation evaluation value is acquired.
  • the observable evaluation value is obtained based on the driver's biological activity observable information obtained from a predetermined detector of the data acquisition unit 102.
  • a detector for obtaining activity observable information a face recognizer mainly performing observation such as a decline in consciousness immediately after returning after sitting, a driver eye tracker, a driver head tracker, etc.
  • a biological signal detector mainly performing observation such as a decline in consciousness immediately after returning after sitting, a driver eye tracker, a driver head tracker, etc.
  • Signals such as heart rate, pulse rate, blood flow, respiration, brain waves, sweating state are good at detecting longer-term state observation, for example, steady state such as sleep state, rem sleep period, relaxation state, fatigue state, etc.
  • step S44 a return delay time is calculated based on the acquired observable evaluation value.
  • the storage unit 111 stores a plurality of pieces of relationship information of the observable evaluation value and the return delay time in the past for each driver and for each type of secondary task. , Is calculated.
  • the relationship information of the type of secondary task currently being executed which is the relationship information of the driver who is currently driving (driver-certified), is used.
  • FIG. 18A shows an example of the distribution of a plurality of pieces of relationship information (observation plots) of the observation evaluation value and return delay time acquired in the past, which are accumulated in the storage unit 111.
  • This example corresponds to a certain secondary task type of a certain driver.
  • the area indicated by a dashed rectangular frame
  • Extract relationship information extract relationship information (observation plot).
  • the dotted line c in the figure represents a boundary when a return delay time at which the return success rate in FIG. 18B described later becomes 0.95 is observed with different observable evaluation values by the driver.
  • the target value (Request for Recovery Ratio) at which the driver returns to normal operation from automatic driving to normal operation for each case is determined by the road side based on the necessity of infrastructure, for example, and provided to individual section passing vehicles .
  • FIG. 18B shows the relationship between the recovery delay time and the recovery success rate obtained from the plurality of extracted relationship information (observation plots).
  • the curve a shows the single success rate at each return delay time
  • the curve b shows the cumulative success rate at each return delay time.
  • the return delay time t1 is calculated so that the success rate of a predetermined ratio, in the illustrated example, the success rate is 0.95.
  • This calculation is performed by the learning unit 155 based on the distribution of a plurality of relationship information (observation plots) of the observation evaluation value and return delay time acquired in the past, stored in the storage unit 111 by the learning unit 155. To be done.
  • the learning unit 155 can set a predetermined ratio in the register. This setting is performed, for example, based on an operation of a user (such as a driver).
  • the success rate of the predetermined ratio may be acquired by performing road-to-vehicle communication with the outside of the vehicle as information held by the infrastructure side.
  • FIG. 19 shows the difference in return time distribution according to the driver's steering operation and the leaving state.
  • Each distribution profile corresponds to the curve a predicted in each observable driver state shown in FIG. 18 (b).
  • the driver needs to return from the past from the observable evaluation value that evaluates the driver's awakening degree detected at each stage.
  • the handover is completed to determine whether the profile (the recovery success rate profile in FIG. 18B) has a desired value based on the time t1 and at each recovery stage the state actually necessary for the recovery is reached. Monitor until
  • the initial curve in the case of temporary sleep is estimated the sleep level from the observation information such as breathing and pulse wave that was passively monitored during the temporary sleep period by automatic driving, and the recovery delay characteristic of the driver concerned after the alert alert notification. It is the average distribution of the totals seen. Each distribution on the way is decided according to the driver state observed in the movement return procedure after waking up. Observe the “6. If you are sleeping” and determine the right timing when the wake alert is in time, and then the middle trip is within the return budget predicted from the observable driver's state evaluation value at the prediction midpoint It becomes return time distribution.
  • the relationship information between the observable evaluation value of the driver currently driving and the return delay time may not be sufficiently accumulated in the storage unit 111.
  • calculation of the recovery delay time t1 is performed using, as the recovery characteristic information generated based on the information collected from the driver population of the same age in the storage unit 111, for example, as the assumed distribution information of recovery that is provided in advance. It can be performed. Since this driver's characteristic is not sufficiently learned, the driver's return information may be used with the same return probability based on the information, or a higher return success rate may be set.
  • the ergonomically unfamiliar user is expected to return early in the early stage of use from being more cautious, and as the user gets used to it, the driver himself adapts to the action according to the notification of the system.
  • Information and return characteristics may be centrally or distributively managed and learned, and individual vehicles may not necessarily hold data of the return characteristics, but may perform remote learning processing and holding.
  • step S45 the notification timing determined by the return delay time calculated in step S44, that is, the event to be handed over (a section for taking over from automatic operation to manual operation or a caution travel area from automatic operation)
  • a notification for urging the driver to return to driving is executed.
  • This notification is performed by sound output, light output, haptics, etc., but a method of notification according to the type of secondary task of the driver is adopted. For example, when the driver is sleeping, a notification method for raising the driver from sleep is selected.
  • step S46 the driver's return transition is monitored. Then, in step S47, based on the monitoring result in step S46, it is determined whether or not operation return is possible within the return delay time. When it is determined that the driving return is possible, the driver's driving return is performed in step S48. Thereafter, in step S49, the learning data is updated. That is, one sample value of the relationship information (observation plot) of the observable evaluation value and the actual return delay time is added with respect to the type of the secondary task of the initial driver when the above-described operation return is performed. Thereafter, in step S50, the process ends.
  • learning is described as being limited to plot data that occurs each time this event, but in actuality, as will be described later in the modification, it largely depends on the previous state (history) until an event occurs. Therefore, multidimensional learning may be performed to further improve the estimation accuracy of the recovery delay required time from the driver state observation value.
  • step S47 when it is determined in step S47 that the operation return is not possible, the process from the start of the deceleration / retraction retreat sequence to the stop is executed in step S51.
  • step S52 a record of the penalty of the failure event is issued, and thereafter, in step S50, the process is ended. A record of this penalty is left in the storage unit 111.
  • steps S43 to S50 collectively describe the entire handover procedure
  • the return transition has multiple stages.
  • the return transition may be monitored on the way along the way, and the return delay penalty may be issued also for the delay in the middle stage.
  • the speed may be reduced to form the arrival time to the takeover point according to the deceleration or slowing from the local dynamic map or the emergency stop allowance rate.
  • a prompt notification prompting the driver to return early may be issued, and further, a pre-alarm warning or a penalty may be issued. Since advance notification serves to suppress human error induced by driver's unreasonable early return, it can be expected to have a function superior to simply issuing a penalty.
  • step S61 the process is started.
  • step S62 the predicted arrival time of the event occurrence point is calculated, and, similarly to step S44 in the flowchart of FIG. 17 described above, the return delay time until the driver returns to driving is calculated.
  • step S62 the predicted arrival time of the event occurrence point is calculated, and, similarly to step S44 in the flowchart of FIG. 17 described above, the return delay time until the driver returns to driving is calculated.
  • event detection since it is performed, update acquisition of the driver observable information is promptly performed, and the recovery time calculation required for the manual driving from the automatic driving of the lucky person estimated from the observable values is preferentially executed.
  • step S63 it is determined whether or not there is a fixed time margin, for example, a time margin of 2 to 3 minutes.
  • a fixed time margin for example, a time margin of 2 to 3 minutes.
  • step S64 it is determined whether there is a margin for the driver's return to driving. In this case, when the predicted arrival time of the event occurrence point is longer than the return delay time, it is determined that there is a margin for return from operation.
  • step S65 When it is determined that there is enough time for the return from driving, the driver is notified of an event occurrence in step S65.
  • notification is performed by sound output, light output, haptics, and the like.
  • the occurrence of an event is blinked at a corresponding position of the travel section display 200 of the tablet 300 described above (see FIG. 12).
  • step S66 it is determined whether the driver has confirmed the occurrence of an event. For example, if the driver double-touches an event occurrence point blinked at the corresponding position of the above-described travel section display 200, it is determined that the driver has confirmed the event occurrence.
  • a notification timing determined by the return delay time calculated in step S62 that is, an event to be handed over (from an automatic operation to a manual operation or from automatic operation
  • a notification for prompting the driver to return to driving is executed. This notification is performed by sound output, light output, haptics or the like, but a method of notification can be adopted according to the type of secondary task of the driver.
  • step S68 it is determined whether or not the recovery delay time has been recovered.
  • the traveling zone display 200 is updated in step S69, and the process is ended in step S70. If it is determined in step S66 that the driver has not confirmed the occurrence of an event, an alert is executed if the driver approaches in step S71 in step S71 for well-known occurrence of the event, and the driver is To confirm the occurrence of an event. Thereafter, the process returns to the process of step S64.
  • step S63 If it is determined in step S63 that there is not a certain time margin, if it is determined in step S64 that there is no margin for operation recovery, or if it is determined in step S68 that recovery does not occur within the recovery delay time. , 72, an emergency response sequence is performed.
  • step S81 the process is started.
  • step S82 it is determined whether there is a possibility that manual operation can be taken over.
  • step S83 the vehicle is decelerated to allow for an arrival time to the event occurrence point.
  • step S84 it is determined whether or not the driver can return. In this case, when the arrival time to the event occurrence point where a margin is achieved by deceleration is longer than the return delay time calculated in step S62, it is determined that there is a possibility of return.
  • step S85 When it is determined that there is no possibility of the driver's return, it is determined in step S85 whether or not it is an event in which it is possible to pass through a point at slow deceleration. When it is determined that the vehicle can not pass through a point due to deceleration and deceleration, step S86 is performed from start to stop of the automatic deceleration / regression retraction sequence. Next, in step S87, a record of the penalty for the missed handover event is issued. Then, in step S88, the sequence is ended. A record of this penalty is left in the storage unit 111.
  • control may be made to stop the vehicle uniformly as a coping measure of the emergency event, but depending on the condition of the road infrastructure, the vehicle stops on the road or at the primary shelter.
  • the road infrastructure congestion induction or the blind spot formation by the stop vehicles at the curve point of the road to induce an accident and further, a single lane hard-by-bypass detour road infrastructure arterial road completely shut off the person and the logistically socially In order to invite them, it will have a huge social impact.
  • control according to the road infrastructure is essential, and basically, for a section that can become a bottleneck even after deceleration, it is a selective branch because section passing is desirable.
  • the notification timing may be dispersed at an earlier time by that time, or a handover point notification determined by a random number generator or the like may be made.
  • step S85 when it is determined in step S85 that the event is possible to pass through a point by deceleration and slowing, point passing is performed in automatic deceleration and slowing in step S89. Thereafter, in step ST87, a record of the penalty of the handover failure event is issued, and in step S88, the sequence is ended.
  • step S90 When it is determined in step S82 that there is a possibility that manual operation can be taken over, or when it is determined in step 84 that there is a possibility that the driver may return, the process of step S90 is performed.
  • a warning for prompting return to the manual operation that is, prompting for the return of operation is performed by sound output, light output, haptics or the like.
  • step S91 it is determined whether or not return is possible within the safe driving handover period. For example, if the driver responds within the return delay time calculated in step S62 in response to the prompt to return to the manual operation, it is determined that the return is possible within the safe operation handover period.
  • step S92 When it is determined that the return is possible within the safe operation handover period, a manual operation return confirmation procedure is executed in step S92.
  • step S93 it is determined whether the safety steering operation has been confirmed. When it is determined that the safety steering operation has been confirmed, the sequence is ended in step ST88. When it is determined in step S91 that the return within the safe driving handover period is not possible, or when it is determined in step S93 that the safety steering operation is not confirmed, the process proceeds to step S85, and is similar to that described above. Processing is performed.
  • the return delay time for determining the notification timing is calculated based on the state of the driver, and the driver can appropriately be notified of the return of the driving. It can be done at the timing.
  • the return delay time is calculated according to the past learning result of the driver, and the return delay time suitable for the driver can be calculated more appropriately.
  • the return delay time is calculated according to the past learning result of the driver, and the return delay time suitable for the driver can be calculated more appropriately.
  • Modified example> "Modification 1"
  • the system means a set of a plurality of components (apparatus, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • Modification 2 In the example shown by the equation (2) of the embodiment, the delay time of each return stage is simplified to Ta, Tb, Tc, Td, Te, ⁇ Tmin (VDP), and the value is used as the learning value of the driver specific value. It is a calculation that assumes a return delay time on the premise that is uniquely determined. However, the recovery time required from the observational evaluation actually detected after sitting in the initial state from sleep to the return transition state, and the delay time taken to return when the initial state is seated from the beginning are required for recovery. The time is different.
  • the so-called return request recognition is still It is caused by whether the intelligence active momentum is low at the initial judgment start state. In other words, even in the same sitting state, the driver is already notified of the necessity of return by an alarm or the like in advance, and the driver has already progressed to grasping various information necessary for the return.
  • the plots described in FIG. 18 for determining each time Tx are the distribution from the case where the notification is received for the first time in the initial state before the driver's request for returning to the operation is received and the driver's state observed during the return
  • the resulting distribution means having different characteristics.
  • the prediction accuracy may be raised by further classifying the return delay time distribution analysis from the observable evaluation value in consideration of the driver's previous behavior characteristic and further, and also morning, daytime, evening, cumulative Evaluating the driver's observable condition by using the learning function with artificial intelligence to subdivide distribution change of the return time that is unique to the driver due to more complicated factors such as driving time etc. From the value, it may be possible to predict the return delay time that was in a more accurate situation. It is not necessary to explicitly divide the segmentation conditions and layers, so even by replacing it with a function that calculates the time to achieve a certain success rate by introducing a mechanism that performs autonomous learning from cumulative use of driving. good.
  • Modification 3 In this function, a specific driver does not always drive the same model. For example, a user who works for a vehicle operating company uses a general passenger car for commuting, and the same driver more carefully drives the vehicle. There is also a case that I am involved in a large bus or a tank lorry that I must have. Therefore, the notification of information to the driver and the behavior characteristic of the driver may not necessarily be uniquely determined only when the driver is identified. Therefore, the timing determination of the notification time by the driver's personal identification may further include a notification time estimation mechanism in consideration of the type of vehicle used and the type of use.
  • Modification 4" The main purpose of the present invention is to estimate the distribution of the time taken from the notification or alarm to the recovery predicted from the arousal state or posture observed from the driver's state from the cumulative use accumulation data, and to perform predetermined automatic driving
  • it is necessary to calculate the notification timing correctly but it is necessary depending on the validity of the notification timing from the necessity with the actual driving action accompanying the notification by the system.
  • it affects driving behavior That is, it is not desirable that the timing be too early or too late, and it is desirable to start recovery promptly in response to the notification.
  • the driver's return time is expected to be early, because basically the driver will keep in mind early return to the notification if it is normal.
  • the system learns the return characteristic distribution that returns in a shorter time, so the notification point becomes slower, and the secondary task Engagement time will be longer.
  • the recovery delay time is shortened by using the application function of such a system by force, recovery from automatic operation to manual operation becomes a problem because early recovery can not be realized during actual unconscious use. Occasional incidents may occur.
  • Modification 5" Although the learning described in the above embodiment is performed on the assumption that the learning unit 155 described in FIG. 1 is used, there is a case where a plurality of vehicles are used as a taxi passenger, and further, an event unique to the driver occurs. Since there is also a desirable timing of recovery taking account of the record, return notification timing determination and adjustment may be performed as part of the vehicle operation operation separated from the riding vehicle, and learning is limited to the automatic operation control unit installed in the vehicle. The present invention is not limited to the completion of the processing. For example, the dictionary generation of the timing predictor may be further performed by a learning operation of post-processing based on the processing at the remote server and the storage record data.
  • Modification 6 Further, in the present specification, when the secondary task executed by the driver is, for example, a video conference call system including a third party, when the third party connected with the driver in the secondary task is driving It will do the task without knowing if it is necessary to return. However, there is a problem that the third party can not grasp the necessity of returning from the secondary task and returning to operation. Therefore, it is desirable for the connector on the other side of the screen to further inform that the driver is participating in the meeting as a secondary task of driving work, and to make it possible to grasp the situation necessary for return timing.
  • the driver intervention return request information may be shared as information by communication over a part of or the predetermined time.
  • step S85 The control in step S85 is performed based on the judgment as to whether or not there is a passage through a decelerating and slowing section, and one implementation procedure to minimize the influence on the road traffic capacity by stopping the vehicle in the section etc.
  • An example is shown.
  • This embodiment is an example of use, and based on road environment information that can be acquired from a LDM that can be a bottleneck, prior to approach to the corresponding section, the operation can be returned to manual operation in advance, and the road can be a corresponding bottleneck. Make a pre-determination before reaching the section and enter the section, or use it to stop the vehicle in advance before entering the section, or extend the driver's recovery time prediction to evacuate. May be
  • information is provided to a third party connected as a video conference, but the control management remote driving support person of the control center managing the operation of a plurality of commercial vehicles determines the timing to remotely support. It may be information transmission at the time of execution. Furthermore, although it is premised that the driver intervenes in driving originally, it is used as information to be used in the remote assistance judgment of the third party in the far support traveling of the utilization form having a notification means by remote communication to the remote third party You may use it.
  • the timing information may be extended and used for remote monitoring and assistance of the occurrence of a delay with respect to the appropriate return timing that the leading vehicle driver of the formation traveling vehicle should perform.
  • Modification 8 In the present specification, when it is requested by the system to return to running under caution along the traveling route or to manual operation and shift to running during a secondary task executed by the driver detailed above, Depending on the content of the secondary task being executed, the request timing may not be appropriate for interrupting the secondary task.
  • the system is constantly observing the driver's condition such as sleep depth determination, etc., and a steady state observation obtained so that sleep is suitable for recovery to some extent.
  • the timing can be determined.
  • the notification timing that is optimal for the secondary task performed by the driver can always be calculated only from the vital observation information of the driver that the system can perform. Things are extremely difficult.
  • slip input system work to the tablet terminal device it is generally preferred for the slip input system work to the tablet terminal device to continuously carry out a series of input without interrupting the work from the viewpoint of work efficiency, and to proceed with the input work until the work is completed. Can be classified into the following types of secondary tasks.
  • the driver can not always control the degree of progress of the reproduced video or the game, so even if the secondary task is interrupted and the reproduction is resumed from the interrupted point later You can reduce the number of interruptions if you can see the continuation comfortably.
  • the driver himself or herself may take an interruption procedure for interrupting the secondary task and interrupting the secondary task for performing driving steering attention and actual steering return. At that time, it may be resumed from the interruption point, or may be interrupted by pre-scheduling the retroactive reproduction points.
  • the interruption reproduction method provides an interruption menu, for example, by single-touching the viewing and monitoring screen, and it is desirable to input by an intuitive and quick specification method, such as interruption reproduction method designation, retroactive point slider designation interruption.
  • retroactive reproduction from the interruption position may be used.
  • the advantage of these retrospective reproductions is that, unlike the continuous appreciation when the reproduction is resumed, there is an interruption of the appreciating knowledge up to that point, making it difficult to grasp the story even if it is continued.
  • the effect of this method of reproduction will be easily understood, for example, if it is not interesting to listen to a mangas prick and then to hear a drop after a while.
  • the disadvantage in interrupting the early operation and prioritizing the handover of the manual operation does not interrupt the operation of the secondary task. If it is lower than the disadvantage if the takeover is delayed.
  • the probability that the operation return delay will eventually occur increases, and in rare cases the result will be an emergency response in cases where take-over can not be made in time.
  • Running Evacuation Evacuation etc. does not work as psychology to avoid falling into the situation if the impact is not an intuitive disadvantage.
  • the application software of many personal computers and other information terminals which are widely spread at present are equipped with a function of storing and recovering the history of execution processing used for canceling and redoing the input.
  • those functions are intended to be used for the purpose of redoing input while engaged in input at the terminal, and are selective reflection of selective change contents during review work of documents worked by multiple persons. It is not a function intended to help resumption of input work when it is interrupted during unspecified arbitrary input work. Therefore, it causes the user to hesitate to interrupt the input work to the information terminal as a secondary task.
  • the task window 400 is usually provided with the user in order to concentrate on the secondary task and overlook the notification of return from automatic driving and to avoid complete withdrawal from driving attention.
  • the index presentation traveling area display 200
  • the handover notification determiner determines that the notification timing has come, as shown in FIG. 22A, the small icon of the notification is displayed in the work window 400 for visual stimulation guidance such as blinking.
  • the driver (secondary task executor) recognizes the notification and performs, for example, a touch or check on the corresponding icon, for example, the work screen is interrupted as shown in FIG. And the restart return point specification slider menu of the input work is displayed so that the user can freely set the optimum return point by rotating the slider.
  • the slider may be rotated clockwise, or may be horizontal linear display as shown in FIG. 23 (a) or vertical linear not shown. It may be a display.
  • a horizontal linear slider display form as shown in FIG. 23 (a) is used with the counterclockwise direction as 9 o'clock from 12 o'clock as the input retrogression point. Then, for example, a point about 2/3 in length is used as the current input point, and the left direction is used as the input retroactive point.
  • the final input information point is the current point, and the uninput point is not a point that can be originally resumed.
  • the work item on the menu it is possible to determine the optimum point for resuming work retroactively by executing the screen simulation simplified display when advancing to the planned input location on the input application tool and returning again. It becomes.
  • the system can not confirm the driver's response detection without notification that the certain time has passed or the driver's cognitive response to the notification has not been input, it is appropriate to issue a warning and prompt an early return.
  • the index presentation (traveling area display 200) up to the transfer point arrival in the traveling direction is enlarged and displayed as a traveling area display 200 ', and the secondary task execution window 400 is reduced.
  • the application input being executed as a secondary task may be forcibly terminated.
  • the driver who is executing the secondary task designates work resumption point according to the restoration request from the system and suspends the work, he resumes the automatic operation as a flow and resumes the work.
  • the slider menu (the point at the time of resumption with the input history on the resumption screen is specified with a slider menu) in which the input work points (CR execution points for data input (keyboard Carriage Return for confirmation) execution points and input form completion points) Slider) 500 may be presented.
  • the restart after the work is suspended does not necessarily have to be after the return to the automatic operation, and may be after the end of the itinerary, but the case of the corresponding case is omitted from the flowchart.
  • the slider may be slid with a double finger to flow out of the screen or closed with a close menu.
  • the user can intuitively grasp the input work point of the terminal work on a tablet etc. and the traveling environment, so the scrolling of the section approaching window accompanying the progress of the menu and the screen double touch or triple touch of the work recovery point
  • the synchronized recording with the task is further added to the recording device. You may save it.
  • the secondary task can not be continued from the ergonomic point of view. This can be avoided, and as a result, a driver who is executing a secondary task without stress can quickly return to driving, leading to the realization of the use of safer automatic driving.
  • the interrelationship before and after the input information becomes important. For example, when a plurality of related information are put in succession in a table etc., when selecting an item and inputting a series of information linked to the item If you interrupt the input of a bad state, depending on the memory at the time of resumption, it may take time to remember the point of interruption, or you may make an error.
  • the input screen change history up to the interruption of the input of the secondary task is an auxiliary function effective to remember the input resume point, and helps to improve the work efficiency.
  • recalculation processing can be omitted by locally storing the screen change as an image over the last few steps.
  • the above example is a flow viewed from the viewpoint of data input to an information terminal mainly as an information input application, but the operation flow is similar even in movie watching, sports watching and streaming watching of a news program. If you are watching a movie on television or watching a competition game such as soccer, temporarily save the airing broadcast locally, interrupt the playback display at the timing when manual operation return was once requested, and delay playback from the middle of the work by the driver Is effective. At that time, it is possible to reduce the need for cumbersome rewinding playback processing.
  • FIG. 25 and FIG. 26 show an example of the processing procedure of the system in the case where the handover notification determination is received.
  • step S151 the system starts the process by receiving the handover notification determination.
  • step S152 the system executes notification to the implementer of the secondary task. For example, in the case of secondary task execution using an information terminal, the small icon of the notification is blinked or the like in the work window 400 (see FIG. 22A).
  • step S153 the system detects a notification acknowledgment response of the implementer of the secondary task. For example, in the case of secondary task execution using an information terminal, when notification is made by blinking the small icon of the notification in the work window 400 as described above, for example, the touch operation by the implementer on the icon And so on.
  • step S154 the system also requests the secondary task implementer to interrupt the input operation of the secondary task, and gives notice of screen reduction and suspension.
  • step S155 the system determines whether a notification acknowledgment response has been detected.
  • the system calculates the remaining time of the handover postponement budget in step S156.
  • step S157 the system determines whether time out has occurred based on the remaining time calculated in step S156. If not, the system returns to step S153 and repeats the same process as described above.
  • step S157 the system executes warning using sound, vibration, an image or the like in step S158.
  • step S159 the system reduces the size of the work screen and magnifies and displays the handover point approach display (see FIG. 23B).
  • step S160 the system performs warning recognition and acceptance processing of the restart point specification of the secondary task. In this case, the system displays a restart point specification slider menu for the secondary task input work, and confirms that the two task implementer accepts the restart point specification (work return point reservation by the slider etc.) (FIG. 22 (b)) 23 (a)).
  • step S161 the system determines whether a timeout has occurred. In this case, it is determined that a time-out has occurred when the handover delay is predicted in the handover delay time determination. If not, the system continues the process of step S160. On the other hand, when the time is out, the system forcibly terminates the work of the secondary task in step S162. Then, in step S163, the system executes return delay penalty recording, restriction of work resumption point, restriction of reuse of the automatic operation mode, and the like.
  • step S155 when the notification recognition response is detected in step S155 described above, the system displays the restart point specification slider menu for the secondary task input work in step S164, and the restart by the two task performer in step S165. Acceptance determination of point specification (operation return point reservation by slider etc.) is performed (see FIG. 22 (b) and FIG. 23 (a)). Then, after the process of step S165, the system proceeds to the process of step S166. The system proceeds to the process of step S166 also after the process of step S163 described above.
  • step S166 the system saves the work history and resume point specification information of the secondary task.
  • step S167 the system is in the manual operation recovery period, and the secondary task execution is disabled.
  • step S168 the system acquires monitoring of LDM information, driver status, and vehicle self-diagnosis information necessary for automatic drive restart availability determination. Then, in step S169, the system determines whether or not the secondary task has re-entered the executable section. When the secondary task has not been reentered into the executable section, the system continues the process of step S168. On the other hand, when the secondary task has already entered the executable section again, the system enters an automatic drivable section in step S170.
  • step S171 the system enables the returnable menu of the secondary task work of the terminal.
  • step S172 the system monitors secondary task recovery resume input.
  • step S173 the system determines whether or not the performer of the secondary task has selected a return menu.
  • step S174 the system determines in step S174 whether or not it is a timeout (a restart designated standby time timeout). If not, the system returns to the process of step S171 and repeats the same process as described above.
  • the timeout determination performed in step S74 when the driver does not restart the secondary task within a predetermined time, the transition of the terminal or the like to the standby mode, which is an energy saving mode, or interruption information to completely turn off the power is recorded. By interrupting the work that is comparable to the sleep mode or the like that closes the work, it is also possible to set the procedure for avoiding the loss of the work content up to that point in manual operation recovery requiring long-term work interruption.
  • step S173 When the return menu is selected in step S173, the system executes the work resumption point designation by the slider menu or the like in step S175, the system performs the work resumption along the designation input in step S176. Let's do it. Thereafter, the system ends the series of processes in step S177. When the time-out occurs in step S174, the system immediately proceeds to step S177 and ends the series of processes.
  • Modification 9 Further, in the present specification, during the secondary task executed by the driver described in detail, the secondary task is interrupted based on the careful traveling along the driving route and the manual operation recovery request information to give priority to the manual operation recovery. In some cases, it may not always be a good time to interrupt the secondary task being executed at the timing when the driver is required to return. In particular, in the case of inputting a series of information, there may be a situation where it is necessary to rewrite all the input work from the beginning if the work interruption is interrupted. In order to eliminate the waste of work as human psychology, there is a risk that it will not be possible to return in time although the input will be finished until the end.
  • an explicit menu that facilitates the user to return the designated point on the execution application of the secondary task may be additionally provided.
  • the menu playback function etc. can be performed by scrolling the section approach window accompanying the progress of the menu and the screen double touch of the recovery work point.
  • the secondary task execution task and the display update information may not only be displayed temporarily for the driver temporarily, but also the synchronization record with the task may be further saved in the recording device so that they can be used together.
  • the embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present technology.
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices. Furthermore, in the case where a plurality of processes are included in one step, the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • a notification control unit that controls a notification for prompting the driver to resume driving;
  • An information processing apparatus comprising: a calculation unit that calculates a return delay time for determining notification timing based on the state of the driver.
  • the calculation unit calculates the return delay time according to the type of secondary task being executed by the driver and the observable evaluation value based on the biological activity observation information of the driver.
  • the information processing apparatus according to claim 1.
  • the calculation unit is accumulated for each type of secondary task executed by the driver or is learned from history information, and uses a plurality of relationship information of the observation evaluation value and the return delay time.
  • the information processing apparatus according to (2) wherein a return delay time of a secondary task being executed by the driver is calculated.
  • the calculation unit uses the plurality of pieces of relationship information of the observable evaluation value and the return delay time to succeed in the operation recovery from the secondary task being executed by the driver at a success rate of a predetermined ratio.
  • the information processing apparatus according to any one of (1) to (10), which notifies information. (12)
  • the calculation unit determines the return delay according to the type of secondary task being executed by the driver based on return success and return delay quality, and the observable evaluation value based on the biological activity observation information on the driver.
  • the information processing apparatus according to any one of (1) to (11), which autonomously learns time.
  • An information processing method comprising: a calculation step of calculating a return delay time for determining a notification timing based on the state of the driver.
  • vehicle control system 101 input unit 102: data acquisition unit 103: communication unit 104: in-vehicle device 105: output control unit 106: output unit 107: drive System control unit 108: Drive system 109: Body system control unit 110: Body system 111: Storage unit 112: Automatic operation control unit 121: Communication network 131: Detection Part 132 ⁇ Self-position estimation unit 133 ⁇ ⁇ ⁇ Situation analysis unit 134 ⁇ Planning unit 135 ⁇ ⁇ ⁇ Operation control unit 141 ⁇ ⁇ ⁇ Outside information detection unit 142 ⁇ ⁇ ⁇ ⁇ ⁇ information detection unit in the vehicle ⁇ ⁇ ⁇ vehicle State detection unit 151 ... Map analysis unit 152 ... Traffic rule recognition unit 153 ... Situation recognition unit 154 ... Situation prediction unit 161 ... Route planning unit 162 ... Action plan 163 ... motion planning section 171 ... emergency avoidance portion 172 ... acceleration and deceleration control section 173 ... direction control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

運転者に運転復帰の通知を適切なタイミング行う。　通知制御部は、運転者に運転復帰を促すための通知を制御する。例えば、通知は、音出力、光出力、文字やマークの表示、ハプティックス等で行われる。算出部は、運転者の状態に基づいて通知タイミングを決めるための復帰遅延時間を算出する。例えば、算出部は、運転者が実行中の二次タスクの種類と運転者の生体活動可観測情報に基づく可観測評価値に応じて復帰遅延時間を算出する。２次タスクの種類と運転者の生体活動可観測情報に応じて通知タイミングを決めるための復帰遅延時間を算出するものであり、より適切な復帰遅延時間を得ることができ、運転者に運転復帰の通知を適切なタイミング行うことが可能となる。

Description

情報処理装置および情報処理方法
　本技術は、情報処理装置および情報処理方法に関し、特に、運転者に運転復帰を促すための通知を制御する情報処理装置等に関する。
　近年、車両走行の安全性の向上やドライバの負荷軽減等を目的として、ドライバが車両の走行操舵作業に介在せずとも車両の走行を自動で制御したり走行の支援を行ったりする自動操舵システムの開発が進められている。将来的には車両の走行制御を全て自動で行える様になると、自動走行モードで車両を利用中の使用者は該当車両が自動運転中に一切の運転操舵作業から離れ、本来の一次タスクである操舵作業に対して別の２次タスクの実行が許容されるようになると期待される。しかし、本来であれば運転に携わっていた運転者が、車両の制御ループから一旦完全に離れ、車両の制御を車両の自動運転システムに一任した場合、運転者の運転に必須である周辺状況把握は離れている間はなされず、その結果継続運転に必要な周辺状況把握認知が一旦完全に途切れる事にもつながる。
　仮に運転者が前記自動運転で車両の走行が可能なシステムを用いて、自動操舵走行を開始した状況では、運転者は操舵に必要な周辺環境を認知する本来の一次タスク作業から離れているために、システムが制御する走行を継続的にし続けるか、運転者による復帰が必要である状況が発生した場合、車両を安全に運転者に引き継ぐ必要があるが、運転者走行に必要な状況把握や操作能力が限られた時間で復帰できる状況にあるとは限らない。つまり、車両の自動操舵システムを利用して自動で走行状態に一旦入ると、その後の車両の安全性は走行する環境が目的地に到着するまで、該自動操舵システムが認知対応可能な状況の範囲の事象が持続するか、または安全に自動操舵システムが機能している途中でシステムに代わり運転者が正常な道路走行状況把握をして走行操舵制御を引き継ぐか、車両の走行を中断して該当車両を緊急停車させるなど、システムが取れる対応は限定される。
　この場合、運転者が自主的に引き継がない事態が発生すると、走行ルートで引継ぎが必要な区間に接近すると、システムは走行中の車両を安全の為に緊急停車させることになる。しかし道路一般で車両を緊急に停車させたりまたは減速したりした場合、結果的に該当道路の許容交通量にボトルネック生む事になり、渋滞など社会インフラとしての基幹機能の低下を招くことが想定され、社会活動の観点では望ましい利用形態とはいえない。
　言い換えると、自動運転システムを社会的に広域で利用できるようにして且つ社会の基幹機能に負の影響を与えることなく導入するには、運転者により自動運転の状態で走行を開始した車において、システムは運転者にほぼ確実に且つ的確に復帰させる機能が求められるともいえる。
　自動運転のシステムが運転者に車両の制御を安心して引き渡して良いかその運転者の運転復帰能力を判断出来ない限り、システムが運転者に車の制御を戻す事が出来ない。その為、自動運転の利用が全面的に可能な閉じた空間での利用形態が一つの使い方となると考えられている。他方、車の利点は任意の地点から異なる任意の地点を自由に移送する事であるが、仮にその様な利用形態において自動運転が導入された場合、自動運転で通過が出来ない区間が存在した場合、前述の運転者へ自動運転から復帰させる必要が生じ、仮に復帰が困難な場合に車両を路肩等へ停車させたとしても、上記の通り、交通渋滞を誘発することに繋がる。
　実際、一般車が走行する社会インフラで自動運転が導入されたとしても、社会が許容するインフラ投資の観点から見ても当面の道路インフラとしては運転者介在する必要がある区間と自動運転可能な区間が交互に入り混じった状態が想定される。そして取り分け初期の導入期ではそれらが旅程区間を通して交互に斑状に表れることが想定される導入形態となる。そのため、運転者が自動運転可能な車両を利用した際に２次タスクの実行を良好に行うためには、当該運転者に運転復帰の通知を適切なタイミング行うことが必要となる。
　例えば、特許文献１には、自車両の走行予定道路における複数の危険に対して、その危険度を表示する技術が開示されている。また、例えば、特許文献２には、自動運転中において運転者に手動運転を開始させる場合に、携帯端末に意識を集中させている運転者に対して、手動運転の開始をしなければならない状況にあることを携帯端末の画面に表示して知らせる技術が開示されている。これら公知の技術は、走行環境として地図情報として事前取得可能な公知の既定地点に対する一律の通知方法である。
特開２０１６－１３９２０４号公報 特開２０１６－０９０２７４号公報
　自動運転を行うための車両周辺環境認識技術が成熟してきた事と、車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ（LDM）の導入により、車両の自動運転を実世界空間で利用する機運が高まっている。確かに、これら実験的に示された今日の技術進歩で、一般道でも車両が自動で走行ができる技術そのものは既に存在し、且つ走行すること自体は可能である事が多々の実験で示されている。しかし、これら技術は、現在のところ人が常にその自動運転の操舵をモニタリングして自動運転システムが万が一状況判断を出来ない状況が発生した場合は、人がその自動操舵を瞬時に引き継ぐ前提で行われている自動運転の実験である。
　しかしながら、運転者が実際には操舵に携わる事も無くシステムの監視を常時継続的に行い且つ運転者自ら常に走行環境は把握し続ける事が求められるのでは、自動運転の最大利点である車両使用時の運転従事以外の作業に全く関われない。それどころか、機能介在もせずに監視を怠れないために、自動運転の利用がかえって苦痛ですらあることにもなる。
　そこで、自動運転の利点を生かすには、一定の区間では運転者は自動運転の監視作業から離れて２次タスクに安心して従事できる仕組みが求められ、また人間工学的に見ても単調な監視動作ほど退屈であり、その間に意識低下を誘発する恐れがあり、長時間の自動運転の継続利用自体が危険となる。結果的にその様な監視が求められる自動運転を導入する事で誘発事故を招き兼ねず、または必要な引継ぎポイントで引き継ぎが出来ない場合は車両の緊急徐行停車をして道路交通インフラの渋滞を引き起こす社会的な大きなマクロ的な課題をはらむ。
　なお、地下鉄などの自動運転システムにならい、連続して自動運転が可能な地下鉄の様な軌道を連続完備した走行環境空間を実現することも物理的には可能ではあるものの、人が慣れ親しんだ車の様に任意の地点から別の任意の地点へ移動する手段として車で同じことを実現するには、社会的なインフラである道路の総延長に渡り、地下鉄軌道の様な軌道整備を求められる。しかし、社会的に見ると鉄道路線網が示すように、移動人口が居住する全国の隅々までその様なインフラを敷設し実現する事は現実的には財源的にみても不可能である。言い換えれば、実際に自動運転の走行が可能な道路区間の整備は利用頻度の高い大都市部中心等の区間では現実的に投資が可能であるが、利用頻度が落ちる区間では整備は必ずしも行き届かない状況が発生する。
　結果的に、自動運転で走行可能なローカルダイナミックマップの常時更新整備は任意ルートを設定するとそのルート区間中に斑な状態で出現したパスになる。そしてそれら混在道路区間を走行する場合、運転者が区間を跨ぐ場合に求められる手動運転への復帰が的確に実施されないと、車両は走行を持続が出来ないことから緊急停車する必要が発生し、結果的には渋滞や事故誘発要因となり、道路としての社会インフラの利用が阻害されるという大きなマクロ的な課題を包含している。さらには、自動運転の普及には社会全体で全ての区間で連続的に達成でき、環境維持が四六時中完備され走行が阻害されない環境を実現しない限り成り立たないという矛盾に直面している。
　そのため、完全自動運転として閉鎖環境のみ利用する概念や、自動運転から手動運転へ適切な引継ぎが出来ない場合には、車両を緊急停車させるなどの提案などがされているが、実際には道路インフラに緊急停車車両があふれでると道路環境で渋滞を誘発したり、更にはそれら緊急停車車両の増加で従来は無かった事故の誘発をしたりして、正常な社会活動を阻害する問題があらたな課題とし発生し、結局は自動運転を広く普及させる手立てが見出されていない。
　例えばこんにち広く議論がされている自動運転のレベル３の運転をただ単純に一般道や例え専用道路区間で社会導入をしたとしても、社会的に渋滞などの負のインパクトなく成立させるためには、四六時中道路はレベル３で車両が走行できる環境がその区間１００％維持され、さらに運転者は確実に終了地点で復帰する必要があり、さらにはその間運転者は運転に直接携わる事もなく常に監視責任を負い、緊張した注意下での状態維持が求められる。つまり、人間の人間工学的・心理学側面を考慮すると該当の概念では長期利用が現実的ではないという課題があり、自動運転の広域の社会的導入には大きな課題であり、その解決策が求められている。
　本技術の目的は、これら課題に対処するため、運転者に走行ルートの区間情報を、運転者の状態、車両の走行特性、道路環境の情報などに応じて、制御を能動的に調整し適切な必要介在情報を運転者に適切に事前提供することで、多様な道路環境の復帰必要区間の接近前に常に提供し、車両を停車することなくシームレスに区間通過を高い確率で実現することにある。自動運転の導入にはこれら区間を跨ぐ際に的確な運転者復帰技術が必要であるが、この課題はまだ現在では解決できていないために自動運転の社会的に導入が可能な区間は、特定高速道路区間や既定区間などの極めて限定的となっている。
　また、本技術の目的は、これら社会インフラとしての自動運転の走行か可能な整備区間と整備が行き届いていない区間が混在した中でも自動運転車両の利点を享受した利用を可能として、その際の手動運転復帰不全に伴う誘発事後防止や社会インフラの渋滞誘発等の社会的なマクロな課題対処として、運転者・車両運動特性・２次タスク作業特性・道路環境特性に応じて運転復帰の通知を適切なタイミングで行うことにある。
　本技術の概念は、
　運転者に運転復帰を促すための通知を制御する通知制御部と、
　上記運転者の状態、２次タスク作業特性に基づいて復帰遅延時間を算出し、該当車両の運動特性やさらに道路環境に求められる復帰必要な割合に基づく通知タイミングや通知手段を決めるための算出処理部を備える
　情報処理装置にある。
　本技術においては、通知制御部により、運転者に運転復帰を促すための通知が制御される。例えば、通知は、音出力、光出力、文字やマークの表示、ハプティックス等で行われる。そして、算出部により、運転者の状態などに基づいて通知タイミングを決めるための復帰遅延時間が算出される。例えば、算出部は、運転者が実行中の二次タスクの種類と運転者の生体活動可観測情報に基づく可観測評価値に応じて復帰遅延時間を算出する、ようにされてもよい。なお、運転復帰特性は運転者が行う２次タスクの内容により復帰に要する復帰遅延時間が依存する側面がある一方で、運転者固有の経験値は環境認知能力や復帰遅延リスク意識等様々な要因で個人特有の復帰遅延時間が変動するために、利用する特定個人の自動運転中の２次タスク実行ステータスから手動運転復帰可能ステータスに遷移する特性をシステムが把握し、その運転者個人に適したタイミングで通知をする必要がある。その為に、運転者個人の生体活動可観測情報と紐付けた利用時毎の復帰特性履歴を元に累計的な復帰特性分布を生成し、システム側の学習器で生体可観測活動量と復帰特性の相関を習得する事で、該当運転者が復帰に要する時間の予測を行う。このように２次タスクの種類と運転者の生体活動可観測情報に応じて通知タイミングを決めるための復帰遅延時間を算出することで、より適切な復帰遅延時間を得ることが可能となる。
　この場合、例えば、算出部は、運転者が実行した２次タスクごとに蓄積されている可観測評価値と復帰遅延時間の複数の関係情報を利用して、運転者が実行中の２次タスクにおける復帰遅延時間を算出する、ようにされてもよい。そして、この場合、算出部は、可観測評価値と復帰遅延時間の複数の関係情報を利用して、所定の割合で運転者が実行中の２次タスクから運転復帰に成功するように復帰遅延時間を算出する、ようにされてもよい。この場合、タイミング算出部は、所定の割合をレジスタ設定することが可能とされてもよい。このように運転者が実行した２次タスクごとに蓄積された運転者の生体活動可観測情報と実際にかかった遅延時間との（過去の）関係情報を利用して復帰遅延時間を算出することで、より適切な復帰遅延時間を得ることが可能となる。
　また、例えば、算出部は、認証判別された運転者に対応した復帰遅延時間を算出する、ようにされてもよい。また、例えば、算出部で算出された復帰遅延時間内に運転者が運転復帰に失敗した場合にペナルティ情報を記録するペナルティ情報記録部をさらに備える、ようにされてもよい。このように記録されたペナルティ情報に基づいたペナルティを検討することで、運転者に速やかな復帰を促すことが可能となる。
　人間工学的な視点で見ると、元来ヒトは不必要な努力をしない性質があるため、倫理的な仕組みやルールの導入に基づいた運転者の的確な引継ぎ行動の期待は、必ずしも常に期待通りとはならない。例えば自動運転から手動運転への引き継ぎを求められて、そのシステム要請により復帰要請タイミングに対して遅延した場合に、前記述べた社会的なインフラに対して交通渋滞を起こしたとしても、なんら損得もなければその時々の気に任せた行動をとるのみとなる。
　そこで、社会的な負のインパクトを最少化するには運転者に望ましい復帰タイミングで望ましい通知方法で的確な通知をシステムが行える様にする必要がある。ここで、望ましいタイミングとは、道路インフラの機能破綻や低下をもたらせないで済む、運転者の行動特性を加味した引き継ぎ点に到達する前の事前タイミングでの通知となる。
　この事前タイミングを的確に決定する事が運転者の適正な復帰の重要なファクターとなる。その理由は、運転者が常に極めて早いタイミングにて通知を常に行うと、運転者は通知を受けてもその通知に対する素早い対応の重要性が無い為に、２次タスクの早期の中断と１次タスクである手動運転への早期復帰を行う必要性がないために、意識状態の復帰が不完全な結果１次タスクへ復帰が結果的に遅れて、その間に２次タスクへ意識引き戻しが強く働く（ゲームのクライマックスやビデオ鑑賞の感動的場面など）と、復帰への必要性の脳内意識が薄れ、引き継の失敗を招く事に繋がる。
　そして、運転者の行動は常に一定しているとは限らない為に一定幅の分布を持つ結果、逆に通知をタイミングが遅く設定され、通知が引き継ぎの必要地点にギリギリで差し迫った地点で行った場合には、予定復帰地点までに復帰が間に合わずに、減速や緊急停車を招く事態が発生しえる。通知が常にギリギリのタイミングで行われたり、間に合わなかったりすると、運転者は仮に遅れた場合にペナルティを課した仕組みを導入しても、そのペナルティを受けないために早くから復帰の警戒準備が必要となり、安心しての２次タスクの従事が困難となる。
　つまり、社会的インフラ機能を低下する負の側面（大局的課題）を露呈せずに自動運転の利点を享受できる仕組みとして、自動運転の利用者は２次タスクを使用している際に、感覚的に常に復帰の望ましいタイミングを把握できる手段が提供される事が望ましい。その一つの事例が、視覚的な表示機器や音声等で運転者にタイミングの情報呈示をする事であるが、前述の通り、運転者が置かれている２次タスクの重視内容と意識状態等でその２次タスクから運転可能な姿勢復帰と意識復帰までの時間には大きな分布バラツキを有し、且つ個人の慣れや体の機能状態、更には車両の固有動的特性から介在が必要なタイミングは異なってくる。
　更には、道路環境自体も、走行車両の徐行減速でインパクトの少ない走行可能な道路区間もあれば直ぐに交通渋滞を誘発する道路区間もあり、更には単車線を共有する様な限定区間では車両がその間に停車すると通行が遮断をもたらす区間もあるため、社会インフラの阻害を誘発しないためにはこれら複数のファクターの重み付けをしけて通知タイミング決定する必要がある。なお、本文において復帰遅延時間とは主に運転者が求められる手動操舵による操舵復帰が完了するまでの、通知から要する時間を称して用いるが、注意監視下であれば通過の区間への準備終了までの時間も含み、必ずしも限定した定義で有る必要はない。
　本技術においては、情報処理部により、走行ルート情報およびこの走行ルートに係る交通情報が取得される。更には、自車両の該当時刻・天候等での走行特性を加味したその特定車両で特定運転者の復帰遅延特性の能動的判定状態に応じて表示制御部により、走行ルート情報および交通情報に基づいて、走行ルートの運転者介在必要区間および自動運転可能区間が、現在地点からの到達予測時間軸で表示デバイスに表示される。例えば、表示デバイスは携帯端末が持つ表示デバイスであり、携帯端末との間で通信をする通信部をさらに備える、ようにされてもよい。
　特許文献１や特許文献２のように特定通知を行う技術は知られているものの、自動運転の普及で想定される時々刻々と変わる走行ルートの環境条件変化や自車両の積載重量や制動能力、更には運転者の復帰特性と更には状態に応じて復帰遅延特性を加味した自動運転から手動運転への復帰の最適化通知を行うことはない為、その都度行われる通知は運転が実際に必要とするタイミングと異なるために通知に対する実際の復帰の必要性が次第に曖昧になる。
　従来、これら運転者に提供を想定していた既定通過ポイント毎の規定点通過での通知とは異なり、運転者に適切なタイミングと正確な時間感覚で運転者に運転介在復帰に必要な情報を正確に提供する事で、通知が早すぎる事も無く、または遅すぎる事もない適正化がはかれ、結果的に道路走行中の主要な車両は環境変化が時々刻々発生しても適切に自動運転から手動運転への引き継ぎは適切に行える様にする事で、引き継ぎ不具合による道路インフラへの負担が僅かとなり、自動運転車両を導入しても社会的道路インフラの運用破たんを誘発しないで済む。
　ここで述べるインフラの運用破たんとは、自動運転から手動運転引き継ぎが正常に行われない車両が多発する場合、道路インフラの車両通行の帯域幅が狭い道路区間では、緊急減速車両や停車車両が多発すると、該当する道路区間で車の流れが減速したり妨害されたりし、正常は交通量を維持が出来なくなること全般をさす。
　例えば、旅程のルート設定をして走行する場合、運転者に提示する地図上で、運転者介在必要区間には、手動運転区間、自動運転から手動運転への引継ぎ区間および自動運転からの注意走行区間を含む、ようにされてもよい。この場合、例えば、表示制御部は、自動運転可能区間を第１の色で表示し、手動運転区間を第２の色で表示し、引継ぎ区間および注意走行区間を第３の色で表示する、ようにされてもよい。これにより、運転者は、走行ルートの手動運転区間、自動運転から手動運転への引継ぎ区間、自動運転からの注意走行区間および自動運転可能区間を視覚的に見る事が出来る。しかしながら該当ルート区間を常に利用して各区間毎の平均通過速度などの感覚を得ていない場合、地図上に区間表示したのみでは運転介在復帰が必要なポイントに到達するまでの時間的な感覚は経験則に任され、引き継ぎ点までに何かできるか時間的余裕度を直感的に知る事が困難である。なお、ここで述べる引き継区間は区間単独で見た場合、まだ自動運転で走行は可能であるが、その区間に続き侵入する区間到達までに自動運転から手動運転に引き継ぎが完了していないと、シームレスでスムーズな連続走行を阻害するため、引き継ぎのために設定させる猶予区間であり、注意走行区間とは運転者の手動運転が実質的な操舵制御に関わる完全復帰が必ずしも必要ないが、システムが事象対処に困窮して対処条件判断が行えない場合に運転者自身かシステム要請に応じて可及的速やかに手動での運転復帰が出来る待機体制で自動運転の状態で通過できる区間である。
　そのために、本来なら自動運転の最大利点である２次タスクの作業中でも常に復帰地点の事を優先して意識におく必要があり、２次タスクの実行阻害となると同時に、結局のところ必要もない期間の注意継続を強いられる。結果的にいざ復帰のために注意アップが求められても、その間の２次タスク活動中に既に長期間注意・緊張状態が続くと、知覚認知感覚が麻痺し、復帰に対する注意が曖昧となる。それに対し、各現在地点から各引継ぎ地点までの到達予測時間が時間軸として直感的に常に更新表示される事で、安心した２次タスクの実行とタイムリーな通知と併用する事で復帰ポイントが常に適宜事前に分かり、容易に且つタイムリーに引き継ぎ点の認識が可能となる。
　また、例えば、表示制御部は、現在地点から第１の地点までの第１の区間は、第１の時間軸で表示し、この第１の地点から第２の地点までの第２の区間は、第１の時間軸からこの第１の時間軸に対して所定の比率で縮小された第２の時間軸まで順次変化した時間軸で表示し、第２の地点から第３の地点までの第３の区間は第２の時間軸で表示する、ようにされてもよい。これにより、運転者は、限られた表示スペースで、時間的に直近の区間情報を詳細に知ることができると共に、時間的により遠くまでの区間情報を知ることが可能となる。
　この場合、例えば、表示制御部は、第１の区間は、第１の幅で表示し、第２の区間は、第１の幅からこの第１の幅に対して狭い第２の幅まで順次変化した幅で表示し、第３の区間は、第２の幅で表示する、ようにされてもよい。これにより、運転者は、第１の区間に対する第２の区間および第３の区間の時間軸の縮小の程度を視覚的に且つ直感的に認識することが可能となる。
　また、この場合、例えば、第３の区間において、運転車介在必要区間が実際には一定時間長以下である場合であってもこの一定時間長で表示する、ようにされてもよい。これにより、時間軸が大きく縮小されている第３の区間において、短期間の運転車介在必要区間を運転者が容易に認識可能に表示することが可能となる。
　また、例えば、表示制御部は、表示された各区間において指定された地点に関連した情報をさらに表示する、ようにされてもよい。これにより、運転者は、各区間において任意の地点を指定し、その地点に関連した情報を取得することが可能となる。
　また、例えば、表示制御部は、新たに発生した運転車介在必要区間を既存の運転車介在必要区間と識別可能に表示する、ようにされてもよい。この場合、例えば、点滅表示されたり、あるいは別色で表示されたりする。これにより、運転者は、新たに発生した運転車介在必要区間を容易に認識可能となり、追加事象発生前に予定していた走行プラニングに対して対処や変更するべき予定が明示的に把握できる。
　また、例えば、表示制御部は、運転者介在必要区間が現在地点から一定時間の範囲内に入ったとき、この運転者介在必要区間を強調表示の状態とする、ようにされてもよい。この場合、例えば、点滅表示されたり、別色で表示されたり、あるいは移動速度が実際より早く見える錯覚表示、例えば波打ち表示がされたりする。これにより、運転者は、運転者介在必要区間が現在地点から一定時間の範囲内に入ったことを容易に認識可能となる。動的表示の点滅表示は、人の動体視力を刺激する作用があり、注意喚起に有効な手段を用いた方法である。
　また、例えば、表示制御部は、各区間の表示を作業ウインドウと並列に表示する、ようにされてもよい。これにより、作業ウインドウで作業を行っている運転者は、走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で容易に認識可能となる。同一の機器を用いて２次タスクをおこなう場合、マルチタスクが実行事項可能な表示装置であることが望ましく、タブレット端末やスマートフォン端末の場合でのサブウィンドウとしての表示であってもよく、ビデオ・プレイヤーやゲーム端末、テレビ電話会議システム等でもよい。
　このように本技術においては、走行ルート情報および交通情報に基づいて、走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で表示デバイスに表示するものである。そのため、運転者に走行ルートの当面走行する区間情報を適切に提供できる。これら表示更新方法は、運転者が区間接近情報を正確に把握し且つ意識をもって行う必要がある。しかし、他方では情報が常に視界に表示が更新表示されていると、運転者の認知機能は、光として情報は目に入り込むがその表示情報の内容に付いて意識除外するフィルタリングが働くこともある。運転者による常に表示される情報のフィルタリング効果は、情報を見逃す要因の一つとなるが、運転者とのインタラクティブ確認応答手順を導入する事で低減や回避できる。
　このように本技術においては、運転者の状態に基づいて通知タイミングを決める復帰遅延時間が算出されるものであり、運転者に運転復帰の通知を適切なタイミングで行うことが可能となる。
　また、上記引き継ポイントの表示に合わせ、適切なタイミングで情報呈示する事の重要性と合わせ、この適切なタイミングの決定方法が極めて重要となり、前述の通り、運転者固有の経験値等から通知を受けて復帰するまでに要する時間には時間的な大きなばらつきがある。運転者がシステムを初めて用いる際には、運転者の通知に対する反応特性や運転者が採り得る二次タスクの有り様は様々であるため、システムは該当運転者の復帰固有特性を知り得ないため、統計的にデータを収集した平均的な復帰特性を基本データとして定めた最適通知タイミングで通知や覚醒を施すとして、利用回数を重ねる事で、システムは該当運転者が通知から引き継ぎに要する時間のサンプリングデータを蓄積できる。利用者は、システムに不慣れな段階であれば、通常通知に対し不安から素早い反応を示す事が生理的に期待される為、利用当初はある程度は大幅な遅延もなく復帰する。
　しかしながら、前述の通り、個人の特性分布もあり、一定割合で遅い復帰をする利用者もいる為に、システムの利用で弊害を避ける為に設定上では少し早目の復帰通知を行い、一定割合の利用者が正常に予定復帰時間内（以降、復帰猶予時間バジェット、とも記す）で自動運転から手動運転に復帰を成功しないと、重要要因となるため、利用者には通知が早く感じられる事も多々発生する結果、一部の早期復帰利用者からすると、通知は無駄に早く、軽視する結果を招くため、利用者個人の復帰特性に合わせた通知タイミングの固有化が有効となる。
　復帰に掛る時間が、該当の運転者が携わっている二次タスクの内容次第で大きく変わり、その為に通知ポイントを知るにはシステムが先ずは常に運転者の２次タスク実行中内容のステータスモニタリングをしておく事が必要となる。常にモニタリングするのは、突発事象の際に、運転者状態の初期観測から初めて通知タイミングを決めるのでは遅すぎる事もあるためである。常時運転者のステータスモニタリングを怠らないシステムにする事で、突発事象が発生した際に、運転者が離席仮眠している状態で例えば１０秒後の対処を求められても復帰は望めないため、システムが自動的に減速助走退避停車してもよく、または運転席において運転可能着座姿勢でスマートフォンを手に、電話程度であれば十分手動運転復帰が見込める可能性がある。
　該当の運転者が行う２次タスクの内容とその間の運転者覚醒状態を示す可観測生体情報をと復帰までに要する遅延時間を該当運転の車両利用に合わせて累計的にログを取り込み、特に可観測評価と復帰に要する遅延時間をシステムで学習する事をし、その復帰特性の分布から累計的に一定割合以上でかならず復帰成功する最小必要時間が、その運転者に対する、（モニタリング）観測された状態での通知タイミングとなる。そして、この通知タイミングに対する復帰特性は予定時間内で復帰手順（途中経過を含み）の遅延が生じた際にペナルティを発生する事で、利用に習慣的期限内復帰を促す事が起こり、大多数の自動運転利用者な自己の復帰遅延特性に合った通知を受ける事で復帰確率は目標成功値を満たす利用形態となる。
　運転者の２次タスク実施中に検出がされ、例えば覚醒状態の指標となり得る可観測評価値の一つの軸を基準に自動運転から手動運転に復帰する遅延時間算出を元に詳細に説明をするが、前述の通り道路条件や、気象条件、車両条件など異なる条件での復帰時間は変わるため、より多次元的評価を具体的に実行しても良いし、区別なく機械学習やディープラーニングといった技術、深層強化学習等の学習を、さらにおこなってもよい。この復帰遅延時間推定は、２次タスク実行中の多様な可観測評価値ログと時期継事象ごとに発生する遅延時間とその際の引き継ぎポイント到達地点での引き継ぎ品質が運転復帰の質として更に観測できるため、取り込み事象のログデータの正常復帰、遅延異常時復帰により教師データ学習が可能となる。
　本技術によれば、運転者に運転復帰の通知を適切なタイミング行うことができる。本技術の効果は、走行ルート情報・車両特性および上記走行ルートに係る交通情報を常時取得する情報取得部により、上記走行ルート情報および上記交通情報に基づいて、上記走行ルートの運転者介在必要区間、自車両の該当ルートでの走行特性、および自動運転可能区間を現在走行中の地点からの到達予測時間軸で直感的認知可能な表示デバイス等で常時更新提示する情報提供制御部と組み合わせることで、運転者は２次タスクに従事しながらも２次タスクを中断して手動運転に復帰するべきタイミングを把握でき、更には自動運転システムより常に適切な復帰必要タイミングで且つ適切な通知形態で復帰通知を得ることが可能となるため、復帰通知を軽視したりすることも無く、更には慌てる事も無く復帰に取り掛かれるため正常復帰確率が向上する効果が期待される。
　その効果は、該当機能を搭載した単一車両の運転者による快適な自動運転機能の利用に留まらず、適切な復帰確率を保持して車両を社会インフラ上で利用する結果、道路という社会の動脈路をなす交通路の渋滞や遮断リスクを大幅に低減する事がその結果として実現するため、社会インフラの正常利用という大局的課題解決に大きく寄与する事が期待され、同時に、従来大規模ショッピングモール敷地内やキャンパス内や空港敷地内など完全にＬＤＭが利用可能域で整備された限定閉鎖空間環境での完全自動運転の導入概念であったものが、本技術により、一般道へシームレスに利用できる、社会広域に普及発展するという大局的な効果がある。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
車両制御システムの構成例を示すブロック図である。 自車の内部情報（運転者状態）を検出するための各種センサの設置例を示す図である。 データ取得部に含まれる車内の運転者の情報を得るための各種センサを示す図である。 自動運転制御部における自動運転の手動引継ぎシーケンスの一例を概略的に示す図である。 自動運転の手動引継ぎシーケンスのさらに詳細な例を示す図である。 車両制御システムを備える自動運転対象車両の動作概要を示すフローチャートである。 運転者により目的地が設定されることで決定された自動運転可否区間が斑に設定された走行ルートの一例を示す図である。 走行ルートにおける走行区間表示のための情報処理を説明するための図である。 最終的に表示される走行区間表示の一例を示す図である。 時間経過に伴う走行区間表示の変化例（スクロール例）を示す図である。 タブレットの画面上に表示される走行ルートにおける走行区間表示の一例を示す図である。 第２区間に新たに注意走行区間Ｓｄが発生し、点滅表示で運転者に警告している状態を示す図である。 タブレットの画面上に走行区間表示が表示されている状態で、運転者介在必要区間が現在地点から一定時間の範囲内に入ったときの強調表示（波打ち表示）を示す図である。 波打ち表示を実施する表示例を示す図である。 波打ち表示を実施する他の表示例を示す図である。 ２次タスクの種類と通知タイミングを決めるための復帰遅延時間との関係を説明するための図である。 通常引継ぎ処理の手順の一例を示すフローチャートである。 学習結果からの復帰遅延時間の算出を説明するための図である。 運転操舵作業からの離脱状態に応じた復帰時間分布の違いを示す図である。 事象発生処理の手順の一例を示すフローチャートである。 緊急対応シーケンスの手順の一例を示すフローチャートである。 端末に表示される引継ぎ通知や再開復帰点指定スライダーメニューの一例を示す図である。 端末に表示される再開復帰点指定スライダーメニューや２次タスク実施者の認知応答がない場合における２次タスク実行ウインドウの縮小化等の表示の一例を示す図である。 端末に表示される作業再開点を指定するスライダーメニューの表示の一例を示す図である。 引き継ぎ通知判定を受け取った場合におけるシステムの処理手順の一例を示すフローチャート（１/２）である。 引き継ぎ通知判定を受け取った場合におけるシステムの処理手順の一例を示すフローチャート（２/２）である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［自動運転制御システムの構成］
　図１は、実施の形態としての車両制御システム１００の構成例を示している。なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車または自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、および、自動運転制御部１１２を備える。
　入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、および、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、または、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、および、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線もしくはその他の電波を利用したリモートコントロール装置、または、車両制御システム１００の操作に対応したモバイル機器もしくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、および、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、もしくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、および、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候または気象等を検出するための環境センサ、および、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　例えば、図２は、自車の外部情報を検出するための各種のセンサの設置例を示している。撮像装置７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。
　フロントノーズに備えられる撮像装置７９１０および車室内のフロントガラスの上部に備えられる撮像装置７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像装置７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像装置７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像装置７９１８は、主として先行車両または、歩行者、障害物、信号機、交通標識または車線等の検出に用いられる。また、今後自動運転においては車両の右左折の際により広域範囲にある右左折先道路の横断歩行者やさらには横断路接近物範囲まで拡張利用をしてもよい。
　なお、図２には、それぞれの撮像装置７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像装置７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像装置７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパまたはバックドアに設けられた撮像装置７９１６の撮像範囲を示す。例えば、撮像装置７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像、さらには車両周辺部を湾曲平面で囲う全周囲立体表示画像などが得られる。
　車両７９００のフロント、リア、サイド、コーナおよび車室内のフロントガラスの上部に設けられるセンサ７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサまたはレーダであってよい。車両７９００のフロントノーズ、リアバンパ、バックドアおよび車室内のフロントガラスの上部に設けられるセンサ７９２０，７９２６，７９３０は、例えばＬｉＤＡＲであってよい。これらのセンサ７９２０～７９３０は、主として先行車両、歩行者または障害物等の検出に用いられる。これら検出結果は、さらに前記俯瞰表示や全周囲立体表示の立体物表示改善に適用をしてもよい。
　図１に戻って、また、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、および、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面またはステアリングホイール等に設けられ、座席に座っている搭乗者の着座状態またはステアリングホイールを握っている運転者の生体情報を検出する。生体信号としては心拍数、脈拍数、血流、呼吸、心身相関、視覚刺激、脳波、発汗状態、頭部姿勢挙動、眼、注視、瞬き、サッカード、マイクロサッカード、固視、ドリフト、凝視、虹彩の瞳孔反応など多様化可観測データが利用可能である。これら、可観測の運転状態を反映した生体活動可観測情報は、観測から推定される可観測評価値として集約し評価値のログと紐付けたられた復帰遅延時間特性から該当運転者の復帰遅延事案の固有特性として後述学習部１５５で復帰通知タイミングの算出に用いる。
　図３は、データ取得部１０２に含まれる車内の運転者の情報を得るための各種センサを示している。例えば、データ取得部１０２は、運転者の位置、姿勢を検出するための検出器として、ＴｏＦカメラ、ステレオカメラ、シート・ストレイン・ゲージ（Seat Strain Gauge）等を備える。また、データ取得部１０２は、運転者の生体活動可観測情報を得るための検出器として、顔認識器（Face(Head) Recognition）、ドライバ・アイ・トラッカー（Driver Eye Tracker）、ドライバー・ヘッド・トラッカー（Driver Head Tracker）等を備える。
　また、データ取得部１０２は、運転者の生体活動可観測情報を得るための検出器として、生体信号（Vital Signal）検出器を備えている。また、データ取得部１０２は、運転者認証（Driver Identification）部を備えている。なお、認証方式としては、パスワードや暗証番号などによる知識認証他、顔、指紋、瞳の虹彩、声紋などによる生体認証も考えらえる。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、または、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（および、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、または、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局またはアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワークまたは事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバまたは制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者もしくは店舗の端末、または、ＭＴＣ（Machine Type Communication）端末）との通信を行う。
　さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、および、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制または所要時間等の情報を取得する。なお、通信部を通して先導車両となり得る区間走行中前方走行車両とペアリングを行い、前方車搭載のデータ取得部より取得された情報を事前走行間情報として取得し、自車のデータ取得部１０２のデータと補完利用をしてもよく、特に先導車による隊列走行などで後続隊列のより安全性を確保する手段となる。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器（タブレット、スマートフォンなど）もしくはウェアラブル機器、自車に搬入され、もしくは取り付けられる情報機器、および、任意の目的地までの経路探索を行うナビゲーション装置等を含む。なお、自動運転の普及でかならずしも乗員は着座固定位置に固定されないことを考慮すれば、将来的にはビデオ再生器やゲーム機器やその他車両設置から着脱利用が可能な機器に拡張利用してもよい。本実施例では、運転者の介在必要地点の情報呈示を該当する運転者に限定した例をして記述をしているが、情報提供はさらに隊列走行等で後続車への情報提供をしてもよいし、更には旅客輸送相乗りバスや長距離物流商用車の運行管理センターに常時情報を上げる事で、適宜遠隔での走行支援と組み合せ利用をしてもよい。
　出力制御部１０５は、自車の搭乗者または車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）および聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報および聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像またはパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音または警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者または車外に対して、視覚情報または聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関または駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、および、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、および、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行または運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、または、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、および、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータまたは信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、および、追跡処理、並びに、物体までの距離、相対速度の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。
　また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、および、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車外情報検出部１４１が取得する情報は、走行区間が重点的に自動運転の走行が可能な区間として常時更新されたローカルダイナミックマップがインフラより供給された区間であれば、主にインフラによる情報供給を受ける事が可能となり、または該当区間を先行走行する車両や車両群より区間侵入に先立ち事前に常に情報更新を受けて走行をすることがあってもよい。また、インフラより常時最新のローカルダイナミックマップの更新が行われていない場合など、取り分け隊列走行などでより安全な侵入区間直前での道路情報を得る目的で、区間侵入先導車両から得られる道路環境情報を補完的にさらに利用しても良い。自動運転が可能である区間であるかは多くの場合、これらインフラより提供される事前情報の有無により決まる。インフラより提供されるルート上の自動運転走行可否情報はいわゆる「情報」としてあたかも見えない軌道を提供していることに等しい。なお、便宜上車外情報検出部１４１は自車両に搭載した前提で図示をしているが、前走車が「情報」としてとらえた情報を利用する事で、走行時の事前予測性を更に高めても良い。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータまたは信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理および認識処理、運転者の状態の検出処理、搭乗者の検出処理、および、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。
　さらに、自動運転において運転者は運転操舵作業から完全に離脱した利用が将来的に想定され、運転者は一時的な居眠りや他の作業に取り掛かり、運転復帰に必要な意識の覚醒復帰がどこまで進んでいるかシステムが把握する必要が出てくる。つまり、従来考えられていたドライバモニタリングシステムでは眠気などの意識低下を見る検出手段が主であったが、今後は運転者が運転操舵に全く介在していない状態となるため、システムは運転者の運転介在度合いを観測する手段がなくなり、運転者の正確な意識状態が未知の状態から、運転に必要は意識復帰推移を観測し、その正確な運転者の内部覚醒状態を把握した上で操舵の自動運転から手動運転への介入譲渡を進める必要がある。
　そこで、車内情報検出部１４２には主に大きな２段階の役割があり、一つ目の役割は自動運転中の運転者の状態のパッシブ監視であり、二つ目の役割はいざシステムより復帰の要請が出された以降、注意下運転の区間到達までに手動運転が可能なレベルまで、運転者の周辺認知、知覚、判断とさらには操舵機器の作動能力の検出判断である。制御として更に車両全体の故障自己診断を行い、その自動運転の一部機能故障で自動運転の機能低下が発生した場合も同様に運転者による早期手動運転への復帰をうながしても良い。ここでいうパッシブモニタリングとは、運転者に意識上の応答反応を求めない種類の検出手段をさし、物理的な電波や光等を機器から発信して応答信号を検出する物を除外するものではない。つまり、仮眠中など意識下でのモニタリングを指し、運転者の認知応答反応でない分類をパッシブ方式としている。反して、運転者に応答反応を求める意識的応答を求める物はアクティブとしている。
　検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５に供給する。なお、システムによる運転者へ運転復帰指示が出た後に運転者が的確な期限時間内に手動運転が達成できない事が判明し、自運転のまま減速制御を行って時間猶予をおこなっても引継ぎが間に合わないと判断された場合は、システムの緊急事態回避部１７１等に指示を出し、車両を退避の為に減速、退避・停車手順を開始する。つまり、初期状態として同じ間に合わない状況でも、車両を早期に減速を開始する事で引継ぎ限界に到達する到達時間を稼ぎだすことができる。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータまたは信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無および内容、運転操作の状態、パワーシートの位置および傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、および、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータまたは信号に基づいて、自車の位置および姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。
　自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車および周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４および学習部１５５を備える。
　マップ解析部１５１は、自己位置推定部１３２および車外情報検出部１４１等の車両制御システム１００の各部からのデータまたは信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、および、マップ解析部１５１等の車両制御システム１００の各部からのデータまたは信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置および状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、および、マップ解析部１５１等の車両制御システム１００の各部からのデータまたは信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、および、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、自車の運動特性を決定付ける貨物積載量や貨物積載に伴う車体の重心移動、タイヤ圧、ブレーキ制動パッド摩耗状況に伴う制動距離移動、積載物制動に引き起こす貨物移動防止の許容最大減速制動、液体搭載物に伴うカーブ走行時の遠心緩和限界速度など車両特有、更には積載貨物特有条件とさらには路面の摩擦係数や道路カーブや勾配など、全く同じ道路環境であっても車両自体の特性、さらには積載物等によっても制御に求められる復帰開始タイミングは異なるため、それら多様な条件の収集を行い学習して制御を行う最適タイミングに反映する必要がある。車両の種類や積載物によって制御タイミングを決定する上で単純に自車両の異常の有無および内容等を観測モニタリングすれば良い内容ではない。運送輸送業などで、積載物固有の特性に応じて一定の安全性を確保する為に望ましい復帰の猶予時間の加算を決めるパラメータを予め固定値として設定をしてもよく、必ずしも全ての通知タイミング決定条件を自己累積学習より一律に定める方法をとらなくともよい。
　認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類および位置、周囲の動物体の種類、位置および動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成および路面の状態、並びに、周囲の天候、気温、湿度、および、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。車両を安全に走行させるという事は、その車両の固有の状態で搭載している積載量や搭載部の車台固定状態、重心の偏重状態、最大減速可能加速値、最大負荷可能遠心力、運転者の状態に応じて復帰応答遅延量などに応じて、対処が求められる制御開始ポイントが大きく異なってくる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２および状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２および状況認識部１５３等の車両制御システム１００の各部からのデータまたは信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、および、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、および、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、および、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動および体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２および状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。
　学習部１５５は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習し、その学習情報を状況認識部１５３等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。
　ルート計画部１６１は、マップ解析部１５１および状況予測部１５４等の車両制御システム１００の各部からのデータまたは信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、および、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１および状況予測部１５４等の車両制御システム１００の各部からのデータまたは信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、および、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
　動作計画部１６３は、マップ解析部１５１および状況予測部１５４等の車両制御システム１００の各部からのデータまたは信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、および、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２および方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、および、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２および方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３または緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、または、急停車を実現するための駆動力発生装置または制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。なお、緊急事態が発生し得るケースは主に２つある。つまり、自動運転中の走行ルートで本来ならインフラより取得したローカルダイナミックマップ等で安全とされていた道路を自動運転中に突発的な理由で予想外の事故が発生し、緊急復帰が間に合わないケースと、自動運転から手動運転に運転者が的確に復帰することが困難になるケースがある。
　方向制御部１７３は、動作計画部１６３または緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３または緊急事態回避部１７１により計画された走行軌道または急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　「自動運転の手動引継ぎシーケンス」
　図４は、自動運転制御部１１２における自動運転の手動引継ぎシーケンスの一例を概略的に示している。ステップＳ１では、運転者は、運転操舵から完全離脱の状態にあることが将来的にはありえる。この状態で、運転者は、例えば、仮眠、あるいはビデオ鑑賞、ゲームに集中、タブレット、スマートフォン等の視覚ツールを用いた作業などの２次タスクを実行できる。タブレット、スマートフォン等の視覚ツールを用いた作業は、例えば、運転席をずらした状態で、あるいは運転席とは別の席で行うことも考えられる。
　これら運転者の状態次第では、ルート上の手動運転復帰が求められる区間に接近した際に、運転者が復帰するまでの時間はその時々の作業内容により大きく変動する事が想定され、事象接近の直前の通知では復帰までに時間が不足したり、事象接近に対して余裕をみたあまりにも早めに通知をした場合、実際に復帰に必要なタイミングまでの時間が長く空き過ぎたりすることが発生する。その結果、的確なタイミングで通知が行われない状況が繰り返し起こると、運転者はシステムの通知タイミングに対するタイミングの信頼性が失われ、通知に対する意識が低下して、結果的に運転者の的確な対処がおろそかになる、その結果、引き継が上手く行われないリスクが高まると同時に、安心した２次タスク実行の阻害要因にもなる。そこで、運転者が通知に対する的確な運転復帰の対処を開始するには、通知タイミングの最適化をシステムが行う必要がある。
　ステップＳ２では、復帰通知のタイミングとなり、運転者に対して、振動などの動的なパプティックスや視覚的あるいは聴覚的に運転復帰が通知される。自動運転制御部１１２では、例えば、運転者の定常状態がモニタリングされて、通知を出すタイミングを把握され、適宜なタイミングで通知がなされる。つまり、前段のパッシブモニタリング期間で運転者の２次タスクの実行状態が常時パッシブにモニタリングされ、通知の最適タイミングの最適タイミングをシステムは算出する事ができ、ステップＳ１の期間のパッシブモニタリングを常時継続的に行って、復帰タイミングと復帰通知は、運転者の固有復帰特性に合わせ行うのが望ましい。つまり、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミング学習して、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求めた最適タイミングを運転者へ提示するのが望ましい。この場合、通知に対して運転者が一定時間の間に応答としなかった場合には、アラームの鳴動などによる警告がなされる。
　ステップＳ３では、運転者が、着座復帰したか確認される。ステップＳ４では、サッケード等により、運転者の内部覚醒度状態が確認される。ステップＳ５では、運転者の実操舵状況の安定度がモニタリングされる。そして、ステップＳ６では、自動運転から手動運転への引継ぎが完了した状態となる。
　図５は、自動運転の手動引継ぎシーケンスのさらに詳細な例を示している。ステップＳ１１では、タブレット、スマートフォン等の視覚ツールへ復帰ポイントの予測が視覚的に提示される。ただし、表示はこれら視覚ツールに限定をする必要はなく例えば車両のセンターインフォメーションディスプレイなど、運転から離脱運転者の２次タスク実行中の視野に入る表示形態が望ましい。詳細は、後述するが、前方予定と接近情報の提示がなされ、復帰ポイントは時間経過とともに自車に迫ってくるように表示される。
　ステップＳ１２では、ＬＤＭ（Local Dynamic Map）の更新等によって前方予定と接近情報の提示内容が適宜変更される。また、このステップＳ１２では、運転者の状態が定期的にモニタリングされる。ステップＳ１３では、運転者に対して、現在地点から一定時間内に入った復帰ポイントが点滅表示、あるいは波打ち表示等の強調表示がされ、運転者に対して通知される。このステップＳ１３の通知を発行するタイミングは、この前段で定期的モニタリングしていた検出結果に応じて、つまり運転者が仮眠や２次タスクによる運転からの離脱の深さに応じて、早く実行する事で復帰が間に合うように調整される。
　ステップＳ１４では、運転者が通知に対して無反応であれば、目覚め用のアラームを鳴らすようにされる。ステップＳ１５では、運転席に不着座であれば、運転者に対して、視覚的あるいは聴覚的に復帰するように通知される。ステップＳ１６では、着座の復帰遅れがある場合、警報用のアラームが鳴動される。ステップＳ１７では、例えば、運転者が、前方確認の指差し合図が、復帰開始としてモニタリングされる。
　ステップＳ１８では、着座姿勢が確認される。ステップＳ１９では、例えば視線詳細解析等の手段を用いて運転者の脳内内部知覚状態の回復を検出するためにサーケードや固視と言った知覚反射等による運転者の内部覚醒度が判定される。ステップＳ２０では、運転者に運転操舵権限を順次委ね、その実操舵反応の応答操舵状況を観測しながら操舵を委ね、その操舵安定度がモニタリングされる。なお、最終的な運転操舵の引き継ぎを完了させるには運転者が確実に正常意識下で操舵を開始する必要がある。その際に、道路が単調な直線道路で引継ぎを行った際に、運転者が意識的に道路に沿った「正しい」操舵制御を行ったとしても実際には機器に直接触れずとも、また特定の事象に注意を向けなくとも車両の惰性と速度維持機能で継続走行が続く事が予想され、システムが運転者による主体的関与の検出が極めて困難であることから、システムにより車両の運行に対して意図的に操舵補正介在を促す擬似状態を生成しても良い。
　運転者の介在を要する擬似的状態とは、例えば車線を横切る走行ノイズ注入がその一例である。また、実際の車両の動的ノイズを引き起こさなくとも、実質的な回転を伴わないステアリングの擬似感覚的回転でもよい。実際の回転を伴わない回転感覚は、例えば振動方法にアンバランスの有る回転打振でもよく、特定の方法に限定されるものではない。運転者へ例えばランブルストリップス（Rumble strips）を跨ぐ感覚を当て得るに等しい。
　ここで、システムによるアクティブなノイズ注入は、運転者に対する明確な反応が求められるために、運転者の復帰の際の覚醒復帰レベルを反映する事になる。そこで、ノイズ注入後の反応遅延時間は、運転者に介在必要性情を報加えた後の運転者の反応時間となる事から、この反応遅延時間は復帰品質を示す指標となる。運転者による復帰遅延時間のタイミング予測学習をする際にこのノイズに対する応答時間遅延を復帰品質評価にさらに拡張利用をしてもよい。補正を要するノイズ注入に対して正しい補正をする操舵作業の検出できた場合の履歴を正常教師データとして、補正動作がなかったりまたは疲労や意識低下でノイズを修正する補正に遅延が生じたい不安定であったりした場合の履歴を非正常時の教師データとしてもよい。
　この安定度をモニタリング観測した結果、万が一運転者が期待される程度に主体的運転復帰が検出されない場合は、まだ夢見状態の延長であったりするリスクをはらむ事を意味する。そこで、ステップＳ２１では、正常復帰不可能と見込まれたら、緊急引き継ぎが失敗したものとされ、減速徐行退避シーケンスが開始される。
　なお、ステップＳ２１に分岐しないケースでは、正常に運転者が引き継げたとシステムが判断した場合であり、その場合は引継ぎ完了後のシステムが運転に介在する機能は、衝突予防安全支援に機能範囲が変わり、手動運転に高い重みづけを置いた寄与となり、運転者の判断動作では事故等の対処反応が追い付かない、オートマッチックエマージェンシーブレーキングシステム（ＡＥＢＳ）等の緊急時予防安全の範囲で動作し、万が一の運転者の復帰不完全復帰を含め予防安全を補う機能変更をしてもよい。
　これら復帰に掛る時間的推移は、運転者の年齢や経験、疲労度など様々な要因で変わるため、特定個人に応じた復帰タイミングで定まる。運転者が自動運転から手動運転に復帰を求められた場合、ほぼ確実に手動運転に復帰出来るには少なくとも一定の時間を要する。車両特性や道路特性、更には個人の運転復帰特性に応じた最適タイミング通知を行う構成がもっとも望ましく、引き継ぎ点の接近状況が連動して表示される事で運転者は安心をして２次タスクを許容状況に応じて利用できる利便性を得ると同時に、緊張とリラックス状態が交互に出現する事から人間工学的にみて利用者は適宜必要な区間毎に注意復帰利用に繋がる。言い換えれば、不必要な連続的注意緊張状態から解放される。
　緊張状態が長期に継続すると神経が疲れ、結果的に途中から眠気などで注意散漫状態に推移するリスクとなるが、上記手順の最大の効果は、利用者における緊張とリラックス状態で２次タスクが行える状態が交互に切り替わりながらあらわれ、緊張が適宜発生してバランスが取れる事である。そして交互に切り替わりながら連続の長区間の運用が期待される。
　なお、その効果を最大化するには、長距離に跨り運転者介在を要しない区間であっても、途中途中運転者の緊張復帰が発生する事が望ましい場合は、途中でダミーの運転者復帰イベントを擬似的に発生し、運転者によるダミーイベントへの復帰度合いを評価し、運転者の復帰要求に応じて運転者の復帰レベル評価と運転者の適性反応評価を行い、その復帰度合い評価値の記録保存と復帰特性学習を更におこなっても良い。また、これらダミーの復帰要求は余り頻繁に行うと煩わしい一方で余り行わないと運転者の運転操舵からの離脱状態が深くなる側面があるため、一意に設定するのではなく、道路環境や走行条件より可変的に設定できるようにしても良い。
　「自動運転対象車両の動作概要」
　図６のフローチャートは、上述の車両制御システム１００を備える自動運転対象車両の動作概要を示している。ステップＳ３０において、動作が開始される。次に、ステップＳ３１において、運転者認証が行われる。この運転者認証は、上述したようにパスワードや暗証番号などによる知識認証、あるいは顔、指紋、瞳の虹彩、声紋などによる生体認証、さらには知識認証と生体認証が併用されて行われる。このように運転者認証が行われることで、複数の運転者が同一の車両を運転する場合であっても、各運転者に対応付けて通知タイミングを決定するための情報の蓄積行うことが可能となる。
　次に、ステップＳ３２において、運転者により入力部１０１が操作されて、目的地が設定される。この場合、インスツルメンツパネルの表示に基づいて運転者の入力操作が行われる。
　なお、本実施例としては車両に乗車して旅程設定を想定した場合の事例を説明しているが、車両に乗車する前に事前にスマートフォンや自宅を出る前にパソコンより遠隔事前予約設定などを行ってもよく、さらにはスケジュール表に則って車のシステムが運転者の想定したスケジュールに沿ってプリプラニング設定を行い、道路環境のＬＤＭ情報などを更新取得して乗車時やその前にでもコンシエルジュ的に実際の走行アドバイス表示などをさらに行ってもよい。
　次に、ステップＳ３３において、走行ルート上の走行区間表示が開始される。この走行区間表示は、インスツルメンツパネルに表示される他、例えば、運転者が２次タスクを行うタブレット等にも作業ウインドウと並べて表示される。これにより、作業ウインドウで作業を行っている運転者は、走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で容易に認識可能となる。
　この走行区間表示では、前方予定と各地点への接近情報の提示がなされる。この走行区間表示においては、走行ルートの運転者介在必要区間および自動運転可能区間が、現在地点からの到達予測時間軸で表示される。そして、運転者介在必要区間には、手動運転区間、自動運転から手動運転への引継ぎ区間および自動運転からの注意走行区間が含まれる。この走行区間表示の詳細については、後述する。
　次に、ステップＳ３４において、ＬＤＭ更新情報の取得が開始される。このＬＤＭ更新情報の取得に伴って、走行区間表示の内容を最新の状態に変更可能となる。次に、ステップＳ３５において、走行が開始される。次に、ステップＳＴ３６において、自車の位置情報と取得ＬＤＭ更新情報に基づいて、走行区間表示の表示が更新されていく。これにより走行区間表示は、走行に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。
　次に、ステップＳ３７において、運転者状態のモニタリングがされる。次に、ステップＳＴ３８において、事象変化対応処理が行われる。この事象変化対応処理には、走行ルート中に既に存在している引継ぎ区間あるいは注意走行区間が迫ってきた場合に対応するための通常引継ぎ処理、走行ルート中に引継ぎ区間あるいは注意走行区間の運転者介在必要区間が新たに発生した場合に対応するための事象発生処理などが含まれる。通常引継ぎ処理および事象発生処理の詳細については、後述する。以降、ステップＳ３６からステップＳ３８の処理が適宜繰り返される。
　「走行区間表示の詳細」
　図７は、運転者により目的地が設定されることで決定された走行ルートの一例を示している。この走行ルートには、自動運転可能区間Ｓａと、手動運転区間Ｓｂと、自動運転から手動運転への引継ぎ区間Ｓｃと、自動運転からの注意走行区間Ｓｄが存在する。ここで、引継ぎ区間Ｓｃは手動運転区間Ｓｂの直前に必ず存在し、運転者は手動運転への復帰体勢にあることが必要となる。また、注意走行区間Ｓｄは、手動運転への復帰体勢にある運転者の注意監視下において自動運転のまま、または減速等して走行が可能な区間である。
　図示の例において、自動運転可能区間Ｓａは緑色で示され、手動運転区間Ｓｂは赤色で示され、引継ぎ区間Ｓｃおよび注意走行区間Ｓｄは黄色で示されている。なお、便宜上、各色は別々の模様で表している。
　センターインフォーメーションディスプレイ、ＨＵＤやタブレット等の表示デバイスにおける走行区間表示にあっては、上述したような走行ルートの各区間が、現在地点からの到達予測時間軸で表示される。自動運転制御部１１２は、走行ルート情報および交通情報に基づいて走行ルートにおける走行区間表示のための情報処理をする。
　図８（ａ）は、走行ルートの各区間を現在地点からの移動距離軸で一定のスケールで表している。図８（ｂ）は、各地点における平均的道路交通の流れ速度ｖ（ｔ）を表している。図８（ｃ）は、移動距離軸で表されている各区間を、速度ｖ（ｔ）を用いて時間軸に変換したものである。これにより、走行ルートの各区間は、現在地点からの到達予測時間軸で表されるものとなる。つまり、走行ルートの物理的距離を該当区間毎の平均速度で除算した時間軸で表す事が出来る。
　この実施の形態においては、走行区間表示される全区間を、図８（ｄ）に示すように３つの区間に分割し、各区間の時間軸を変化させている。すなわち、現在地点から第１の地点（時間ｔ０、例えば１０分程度）までの第１の区間は、時間リニア表示直近区間として、第１の時間軸で表示する。例えば、時間ｔ０は、一般的な運転者が２次タスクを終了して運転復帰するまでに必要十分な時間に設定される。走行により接近する直近区間はあたかも一定速度で進む地図上に示すのと同等の視覚的直感効果が有るため、運転者は事象接近に伴う的確な運転復帰の準備が開始でき、ある程度正確に復帰を開始するポイントが感覚的に把握できるメリットがある。つまりこの区間の表示目的は運転者の的確復帰ポイントの開始判断情報を利用者に提供することにある。
　また、第１の地点（時間ｔ０）から第２の地点（時間ｔ１、例えば１時間程度）までの第２の区間は、時間の逆数表示区間として、第１の時間軸からこの第１の時間軸に対して所定の比率で縮小された第２の時間軸まで順次変化した時間軸で表示する。この第２の区間の表示目的は、主に先の第１の区間と同等スケール倍率で表示をすると、狭い表示スペースに長期期間の表示が困難となるため、より長期期間の道路状況を狭い表示で運転者に正確に提供する工夫となる。こうすることで、運転者は走行に伴いある一定の先の区間で何処までの地点は運転介在が求められないで済むかを把握が容易にできるようになり、２次タスクへの従事を計画的に行えるメリットがある。運転介在のメリハリが付き、また第三者とのやり取りに伴う２次タスクなどでは運転者の２次タスクからの解放プラニング等での重要な情報呈示の役割を果たす。
　ここで、図８（ｄ）において、この第２の表示区間の設定方法について記述する。三角形の高さをｈ０としたとき、その先端からｈだけ手前の地点の時間ｔは、以下の数式（１）で求められる。
　ｔ＝ｔ０*ｈ０/ｈ　　　・・・（１）
　また、第２の地点（時間ｔ１）における第２の時間軸は、第１の時間軸に対して、ｈｓ/ｈ０の比率で縮小されたものとなる。例えば、ｈｓ＝ｈ０/８である場合、縮小率は、１/８ということになる。
　以上に示す第２の表示区間の表示は、車速が一定で走行している場合であれば、地図上の走行直線伸張表示区間を進行方向に斜め傾けた地図を見た表示、または道路平面前方を斜めみた状態に相当する。言い換えれば、この表示区間の視覚的効果が表示像高位置で遠近が直感的にわかるため、画面上に正確な位置表示の目盛等を表示しなくとも感覚的距離が把握容易にできる表示とも言える。そして遠方の区間は縮小されるが、走行で直ぐ到達する地点ではないため、大凡の予測は重要となるが、近傍点程厳密な到着時刻情報を運転者が感覚的に把握する必要はないため、２次タスク実行計画をする上でも好適である。
　また、第２の地点（時間ｔ１）から第３の地点（時間ｔ２）までの第３の区間は、時間リニア表示遠方区間として、第２の時間軸（縮小率ｈｓ/ｈ０）で表示する。このように３つの区間に分割して表示することで、運転者は、限られた表示スペースで、時間的に直近の区間情報の詳細に知ることができると共に、時間的により遠くまでの区間情報を知ることが可能となる。なお、第２区間の表示形態のままで遠方部を表示すると、人の視覚分解能、更にはシステムの表示分解能限界以下となり、２次タスクの計画判断に必要な情報が判別できなくなり、表示機能の意味が失われる。そこで、直感的に時間の区間感覚が十分把握でき、介在区間必要、不必要区間区分が適切に表示される程度の段階で表示スケールの縮小を終え、それ以降の区間はまた一定スケールに戻した表示を行うのが最も効果的な表示となる。
　なお、車両制御システム１００は、時間ｔ０、ｔ１、ｔ３のデフォルト値を備えている。長距離運転と近距離運転とで時間ｔ０、ｔ１、ｔ３の値を別にすることも考えられるので、デフォルト値は１つに限定されるものではなく、複数種類を備えていて、運転者（ユーザ）あるいはシステムが走行ルートに応じて選択的に用いるようにされてもよい。また、時間ｔ０、ｔ１、ｔ３の値を、運転者（ユーザ）が任意に設定できるようにすることも考えられる。
　図９（ａ），（ｂ）は、最終的に表示される走行区間表示の一例を示している。なお、矢印の長さにより、時間軸がリニアであるか否か、さらには時間軸の縮小率の変化が示されている。図９（ａ）の場合には、第１の区間、第２の区間および第３の区間の全ての区間が第１の幅のままで表示されている。
　一方、図９（ｂ）の場合には、現在地点から第１の地点（時間ｔ０）までの第１の区間は、第１の幅で表示され、第１の地点（時間ｔ０）から第２の地点（時間ｔ１）までの第２の区間は、第１の幅からこの第１の幅に対して狭い第２の幅まで順次変化した幅で表示され、第２の地点（時間Ｔ１）から第３の地点（時間Ｔ２）までの第３の区間は、第２の幅で表示される。これにより、運転者は、第１の区間に対する第２の区間および第３の区間の時間軸の縮小の程度を視覚的に認識することが可能となる。つまり、図８での表示形態は進行方向の縮小率のみを配慮した表示であるが、さらに表示情報の進行方向に対する横断横幅を擬似的に遠近に合わせて幅を変える事で、道路や地図の進行に沿って無限方向に向かって見るのと同じ遠近効果が得られ、運転介在必要区間の分布が画面を一瞬みるだけより直感的に把握が容易となる。特に、第２の区間のみを反時計代わりに回転して見た場合、あたかも一定速度で走行した場合の道路前方の道路幅と各該当地点の到達時間に匹敵するので、正確な位置メモリを目視判断しなくても、各地点までの到達時間が直感的に把握でき、時間配分が可能となる表示形態といえる。
　なお、例えば第３の区間のように縮小率ｈｓ/ｈ０が小さな部分では、短い時間長の区間をそのままの時間長で表示すると、その区間が非常に細く表示され、運転者の認識が困難となることが予想される。そのため、運転者介在区間（手動運転区間、引き継ぎ区間、注意走行区間）が実際には一定時間長以下である場合であっても、一定時間長で表示するようにされる。この場合、例えば、引き継ぎ区間と手動運転区間が連続している場合、引き継ぎ区間の表示は省略されることもある。図９（ａ），（ｂ）において、第３の区間の最初の手動運転区間Ｓｂの表示は、そのような状態を示している。これにより、時間軸が大きく縮小されている第３の区間において、短い時間長の運転車介在必要区間を運転者が認識可能に表示することが可能となる。
　また、第３の区間のように縮小率ｈｓ/ｈ０が小さな部分では、手動運転区間Ｓｂが間欠的に短い周期で連続する場合、全体が繋がった手動運転区間Ｓｂとして表示される。図９（ａ），（ｂ）において、第３の区間の２番目の手動運転区間Ｓｂの表示は、そのように繋がれて表示された状態を示している。このように表示された手動運転区間Ｓｂは、実際には、図９（ｃ）に示すように、手動運転区間Ｓｂの他に、短い期間の引継ぎ区間Ｓｄおよび自動運転可能区間Ｓａが含まれている。なお、後述するように、タブレット等に走行区間表示がされている状態で当該地点が例えばダブルタッチされることで、詳細表示が可能とされる。
　上述の走行ルートにおける走行区間表示は、自車の位置情報と取得ＬＤＭ更新情報に基づいて、更新されていく。これにより走行区間表示は、時間経過に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。図１０（ａ）～（ｄ）は、時間経過に伴う走行区間表示の変化例を示している。この例は、第２の区間が先細りに表示されている例を示しているが、全ての区間が同じ幅で表示される場合も同様である。
　この場合、第１の区間では、各区間の移動が早い。また、第２の区間では、第３の区間側から第１の区間側にいくほど、時間軸の縮小が小さくされているので、各区間の移動が早くなっていく。また、第３の区間では、時間軸の縮小が大きくなっているので、各区間の移動は遅い。
　図１１（ａ），（ｂ）は、タブレット３００の画面上に表示される走行ルートにおける走行区間表示２００の一例を示している。図１１（ａ）は、タブレット３００を縦長で使用する場合の例である。この場合、走行区間表示２００は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット３００で行われる２次タスクの実行画面である作業ウインドウと並列に表示される。図１１（ｂ）は、タブレット３００を横長で使用する場合の例である。この場合も、走行区間表示２００は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット３００で行われる２次タスクの実行画面である作業ウインドウと並列に表示される。なお、図示の例では、タブレット３００の画面上に走行区間表示２００が折り曲げた状態で配置されているが、配置スペースが十分にとれる場合には直線的に配置することも考えられる。
　図１２は、第２区間に新たに注意走行区間Ｓｄが発生し、点滅表示で運転者に警告している状態を示している。なお、この場合、運転者がこの点滅表示されている注意走行区間Ｓｄの表示箇所をタッチすることで、その点滅、つまり警告状態を停止することが可能とされてもよい。あるいは、運転者がこの点滅表示されている注意走行区間Ｓｄの表示箇所をタッチすることで、小ウインドウがポップアップ表示され、承諾の画面タッチで、その点滅、つまり警告状態を停止することが可能とされてもよい。
　また、タブレット３００の画面上に走行区間表示２００が表示されている状態で、運転者介在必要区間が現在地点から一定時間の範囲内に入ったとき、この運転者介在必要区間が強調表示の状態とされ、運転者に注意喚起のための通知がなされる。運転者は、この通知に基づいて、運転復帰を速やかに行うことになる。なお、この一定時間は、運転者の運転復帰に必要な時間的余裕度を元にタイミングが来てその開始合図としての通知を与えるものであり、運転者の性格に応じて、あるいは運転者の現在状態に応じて、さらには車両の積載制動特性等と道路の状況に応じて運転引継ぎ区間や注意走行区間が到来するまでに十分に運転復帰が可能なように、設定される。つまり、これら通知の詳細発報地点は運転者特定等の固有特性を運転者個人特性として個人認証された特性として学習器にて学習し、その運転者固有の最適通知タインミングで通知を行ってもよい。
　強調表示の状態では、例えば、点滅表示されたり、別色で表示されたり、あるいは移動速度が実際より早く見える錯覚表示、例えば波打ち表示がされたりする。これにより、運転者は、運転者介在必要区間が現在地点から一定時間の範囲内に入ったことを容易に認識可能となる。画面の表示範囲等の関係から、通常接近表示では表示スケールが小さく、接近感が把握し辛いケースもあるが、人の目の動体視力の効果を最大限利用するには、接近箇所に早い輝度勾配の変化点をこの方法で表示画面上に生成する事ができ、運転者が２次タスクで画面の別の箇所を見て作業している場合でも、周辺視野の中で変化をとらえる事が本手法の最大の利点となる。
　図１３は、強調表示の状態として、手動運転区間Ｓｂの直前に存在する引継ぎ区間Ｓｃに波打ち表示が適用されることを示している。図１４は、波打ち表示を実施する表示例を示している。この表示例では、引継ぎ区間Ｓｃの区間長をΔｔ毎に変更することで、進行速度より早めた表示と引き戻す操作が繰り返される。また、図１５は、波打ち表示を実施する他の表示例を示している。この表示例では、引継ぎ区間Ｓｃの区間位置をΔｔ毎に変更することで、進行速度より早めた表示と引き戻す操作が繰り返される。
　「２次タスクの種類と通知タイミングを決めるための復帰遅延時間との関係」
　ここで、２次タスクの種類と通知タイミングを決めるための復帰遅延時間ΔＴとの関係について述べる。２次タスクの種類としては、（ａ）仮眠スペースで寝ている、（ｂ）離席覚醒状態にある、（ｃ）運転席を回転した非正規運転姿勢にある、（ｄ）正規運転姿勢のまま端末利用状態にある、などが考えられる。
　例えば、運転者が［仮眠スペースで寝ている］という２次タスクにある場合には、復帰遅延時間の要素として、図１６（ａ）に示すように、運転者が仮眠から覚醒するまでの遅延時間Ｔａ、運転者が覚醒してから立ち上がるまでの遅延時間Ｔｂ、運転者が立ち上がってから運転席に移動して座るまでの遅延時間Ｔｃ、運転者が運転席に座った後に正規運転姿勢となるまでの遅延時間Ｔｄ、運転者が正規運転姿勢になった後に身体機能が操舵可能になったことが確認されるまでの遅延時間Ｔｅが存在する。そのため、この場合の復帰遅延時間ΔＴは、これらの要素を含むものとなる。図１６に示すブロック全体は手動運転復帰までに許容された復帰猶予時間バジェットとなり、右端のポイントが自動運転から手動運転復帰完了するポイントである。車両の減速等の途中制御処理が行われない場合は時間軸上で一定であり、走行速度を減速する事で該当地点に車両が時間軸上で到達する事を引き延ばす事も可能である。
　また、運転者が［離席覚醒状態にある］という２次タスクにある場合には、復帰遅延時間の要素として、図１６（ｂ）に示すように、運転者が運転席に移動して座るまでの遅延時間Ｔｃ、運転者が運転席に座った後に正規運転姿勢となるまでの遅延時間Ｔｄ、運転者が正規運転姿勢になった後に身体機能が操舵可能になったことが確認されるまでの遅延時間Ｔｅが存在する。そのため、この場合の復帰遅延時間ΔＴは、これらの要素を含むものとなる。
　また、運転者が［運転席を回転した非正規運転姿勢にある］という２次タスクにある場合には、復帰遅延時間の要素として、図１６（ｃ）に示すように、非正規運転姿勢から正規運転姿勢となるまでの遅延時間Ｔｄ、運転者が正規運転姿勢になった後に身体機能が操舵可能になったことが確認されるまでの遅延時間Ｔｅが存在する。そのため、この場合の復帰遅延時間ΔＴは、これらの要素を含むものとなる。
　さらに、運転者が［正規運転姿勢のまま端末利用状態にある］という２次タスクにある場合には、復帰遅延時間の要素として、図１６（ｄ）に示すように、身体機能が操舵可能になったことが確認されるまでの遅延時間Ｔｅが存在する。そのため、この場合の復帰遅延時間ΔＴは、この要素を含むものとなる。なお、図１６（ａ）～（ｄ）において、“Ｔｒ”は、状況認知判断の時間を示している。復帰途中における各活動の遅延時間には、既に運転者の意識として復帰作業の途中過程であるために、この状況認知判断の時間は含まれない。すなわち、復帰のための最初の活動の遅延時間にのみ、この状況認知判断の時間が含まれる。
　以上から、復帰遅延時間ΔＴは、一般的に、以下の数式（２）で表される。この数式（２）において、ａ～ｆの係数は、運転者が行っている２次タスクの種類に応じて、“１”または“０”の値をとる。また、ΔＴmin(VDP：Ｖｅｈｉｃｌｅ　Ｄｙｎａｍｉｃ　Ｐｒｏｐｒｅｔｉｅｓ)は、制御該当車両の車両ダイナミック特性に基づいて事故安全性担保を考慮して設けられる時間項である。この時間項により、例えば、タンクローリー等の重量物積載車両に関しては仮に運転者の運転復帰が間に合わない場合でも安全に減速徐行して退避停車が可能となるために、車両の特性に応じて定める安全維持に必要な補正係数ともいえる。
　本記述では簡単にするために車両ダイナミック特性に基づく一意の固定定数としているが、道路条件や天候条件などに影響される多次元関数として取扱い、走行区間毎のＬＤＭ等より提供される情報に基づき調整利用をさらにしても良い。この値は、今日のマニュアル運転に於ける運転者の車間距離の取り方として見れば、雨天や滑りやすい道路なら車間距離を空けて走行するのに相似した利用形態に当たるが、自動運転の際の設定では引き継不全の際の安全性を加味した猶予時間の設定となる点で必ずしも同一の制動距離確保の安全距離担保のための時間ではない。
　ΔＴ＝ａ＊Ｔａ＋ｂ＊Ｔｂ＋ｃ＊Ｔｃ＋ｄ＊Ｔｄ＋ｅ＊Ｔｅ＋ｆ＊ΔＴmin(VDP)
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　この実施の形態では、詳細は後述するが、運転者の状態に基づいて復帰遅延時間ΔＴを算出して用いる。ｔ時間後に迫っている事象（自動運転から手動運転への引継ぎ区間や自動運転からの注意走行区間）が存在する場合、この事象に対する接近通知（警報）のタイミングは、（ｔ－ΔＴ）時間後となる。ただし、新規の事象発生の場合は、運転者がその新たな事象認識がされていないまま引き継ぎ点接近が発生する事になるため、その新たな事象接近の通知とその通知に対する認知の完了が必要であることから、一旦事象発生が確定した時点で通知を行い、且つその認知が運転者により確定するまで繰り返し通知を行う。事前通知の発報は、引き継ぎ通知と同じであっても良く、または識別が可能な通知であってもよい。
　「通常引継ぎ処理」
　図１７のフローチャートは、通常引継ぎ処理の手順の一例を示している。ステップＳ４１において、処理が開始される。次に、ステップＳ４２において、運転者復帰リクエストが観測される。この場合、引継ぎ対象事象（自動運転から手動運転への引継ぎ区間や自動運転からの注意走行区間）が所定の時間後に迫ってきた場合、例えば、タブレット３００の画面上に表示される走行ルートにおける走行区間表示２００において引継ぎ対象事象が現在地点から第１の地点（時間ｔ０、例えば１０分程度）までの第１の区間に入ってきたとき場合に、運転者復帰リクエストとして観測される。
　次に、ステップＳ４３において、可観測評価値を取得することが行われる。この可観測評価値は、データ取得部１０２の所定の検出器から得られる運転者の生体活動可観測情報に基づいて得られる。上述したように、生体活動可観測情報を得るための検出器として、着座後の復帰直前状態は意識低下等の観測を主に行う顔認識器、ドライバ・アイ・トラッカー、ドライバー・ヘッド・トラッカー等が備えられ、さらに生体信号検出器が備えられている。心拍数、脈拍数、血流、呼吸、脳波、発汗状態と言った信号はより長期的な状態観測を検出する事を得意とし、例えば睡眠状態、レム睡眠期間、リラックス状態、疲労状態等の定常ステータスモニタリングを得意として、他方で視覚刺激反応、頭部姿勢挙動、眼、注視、瞬き、サッカード、マイクロサッカード、固視、ドリフト、凝視、虹彩の瞳孔反応などと言った眼球の挙動に関連する生体信号を用いた生体状態検出方法は脳内の認知活動に直結した反応を観測できるために、運転は覚醒復帰手順で脳内の思考ループの活動量を反映し、復帰手順の最終判断で用いるのが有効であるが、必ずしも例示手順に合わせなくてもよく、復帰ステージ毎と状態に応じて最適な方法を複合的に利用するようにしてもよい。例えば、位置検出して席に要れば着座状態を検出し、前方見ている顔方向認識が出来れば視線の挙動を解析し、前方を見ているなら更に詳細眼球挙動の固視やドリフト、サッケードの動的挙動特徴から脳内内部覚醒状態を推測する。
　次に、ステップＳ４４において、取得された可観測評価値に基づいて、復帰遅延時間を算出する。ここで、記憶部１１１には運転者毎、かつ２次タスクの種類ごとに、過去における可観測評価値と復帰遅延時間との複数の関係情報が蓄積されており、この関係情報を利用して、算出される。この場合、現在運転している運転者（運転者認証されている）の関係情報であって、現在実行中の２次タスクの種類の関係情報が利用される。
　図１８（ａ）は、記憶部１１１に蓄積されている、過去に取得された可観測評価値と復帰遅延時間の複数の関係情報（観測プロット）の分布の一例を示している。この例は、ある運転者のある２次タスクの種類に対応したものである。この複数の関係情報（観測プロット）から復帰遅延時間を算出するために、取得された可観測評価値に対応した評価値方向に一定の幅を持つ領域（破線矩形枠で示している）内の関係情報（観測プロット）を抽出する。図中の点線ｃは、後述の図１８（ｂ）の復帰成功率が０．９５となる復帰遅延時間を、運転者の異なる可観測評価値で観測した際の境界線を表している。点線より長い、つまり早い猶予時間で運転者に自動から手動の復帰通知や警報を出す事により、運転者の自動から手動復帰が、０．９５以上の割合で成功する事が担保される領域となる。なお、該当毎に自動運転から手動運転に運転者が正常に復帰する目標値（Request for Recovery Ratio）は、例えば、道路側によりインフラの必要性から定められ、個別の区間通過車両に提供される。
　図１８（ｂ）は、抽出された複数の関係情報（観測プロット）で得られる復帰遅延時間と復帰成功率との関係を示している。ここで、曲線ａは各復帰遅延時間における単独成功率を示し、曲線ｂは各復帰遅延時間における累積成功率を示している。この場合、曲線ｂに基づいて、所定の割合の成功率、図示の例においては成功率が０．９５となるように、復帰遅延時間ｔ１が算出される。この算出は、学習部１５５で、記憶部１１１に蓄積されている、過去に取得された可観測評価値と復帰遅延時間の複数の関係情報（観測プロット）の分布に基づいて、学習部１５５で行われる。この場合、学習部１５５は、所定の割合をレジスタ設定することが可能とされる。この設定は、例えば、ユーザー（運転者など）の操作に基づいて行われる。なお、上記所定の割合の成功率を、インフラ側が保持する情報として車両外部と路車間通信を行うことで取得されてもよい。
　図１９は、運転操舵作業から離脱状態に応じた復帰時間分布の違いを示している。個々の分布プロファイルが、図１８(ｂ)で示す、各可観測な運転者状態で予測される曲線aに相当する。つまり、必要な復帰確率で自動運転から手動運転に引き継ぎ点で完了するためには、各段階で検出される運転者の覚醒度合いを評価する可観測評価値から、運転者が復帰に要する過去の特性を参照してそのプロファイル（図１８（ｂ）の復帰成功率プロファイル）が所望の値となる時刻ｔ１を元に実際に復帰に必要な状態に各復帰段階で達しているかを引き継ぎが完了するまでモニタリングして行く。
　仮眠している場合の初期曲線は、自動運転で仮眠期間中にパッシブモニタリングしていた呼吸や脈波等の観測情報から睡眠レベルを推測し、覚醒警報発報後に該当運転者の復帰遅延特性を見た累計の平均的分布となる。目が覚めてその後の移動復帰手順中で観測された運転者状態に応じて、途中の各分布は決まっていく。「６．仮眠している場合」を観測して覚醒警報が間に合う右のタイミングが決定し、その後の途中行程は予測中間点の可観測運転者状態評価値から予測される復帰バジェットの中での復帰時間分布となる。
　途中途中で、引き継まで順次減っていく残存引き継ぎ限界タイムリミットに違反しない事を観測し続け、違反リスクがある場合は、減速して時間猶予生成などを行う。なお、例えば「６．仮眠している場合」、「５．着座」のステップが無い中で、「４．非運転姿勢イレギュラー回転着座」からスタートする復帰の際の分布は、初めの状況認知把握から復帰のプロセスが開始されるので、同じ項目でも「６．仮眠している場合」から始めた途中経過としての状態「４．非運転姿勢イレギュラー回転着座」姿勢は同じになっても思考過程が復帰意識過程にあり、初めから「４．非運転姿勢イレギュラー回転着座」姿勢で状況認知から開始する場合には、状況認知の時間を要するために長くなる。その状況を模式的に図１６の斜線部の時間Ｔｒで図示する。
　なお、現在運転している運転者の可観測評価値と復帰遅延時間との関係情報が記憶部１１１に十分に蓄積されていない場合もある。その場合には、記憶部１１１には例えば同年代の運転者人口から収集された情報に基づき生成された復帰特性情報として、予め備えた復帰の想定分布情報として利用して、復帰遅延時間ｔ１の算出を行うことができる。この復帰情報は、運転者固有特性がまだ十分に学習されていないため、その情報を元に同一の復帰確率で利用しても良く、またはより高い復帰成功率を設定しても良い。なお、人間工学的に見て不慣れな利用者はより慎重になる事から利用初期に早期の復帰が見込まれ、利用に慣れるに従いシステムの通知に合わせた行動に運転者自身が適合していく。なお、多数の車両を運行する物流業、バスやタクシーなどの運行業、更にはシェアリングカーやレンタル自動車で異なる車両を利用する場合、運転者の個人認証を行い遠隔サーバ等で運転の可観測情報と復帰特性を集中または分散して管理や学習し、個別車両に必ずしも復帰特性のデータを保持せず、遠隔学習処理や保持をしても良い。
　図１７に戻って、ステップＳ４５において、ステップＳ４４で算出された復帰遅延時間で決まる通知タイミング、つまり引継ぎ対象事象（自動運転から手動運転への引継ぎ区間や自動運転からの注意走行区間）が復帰遅延時間に迫ってきたタイミングで、運転者に運転復帰するように促すための通知を実行する。この通知は、音出力、光出力、ハプティックス等で行われるが、運転者の２次タスクの種類に応じた通知の方法が採られる。例えば、運転者が仮眠している場合には、運転者が寝ている状態から起こすための通知方法が選択される。
　次に、ステップＳ４６において、運転者の復帰推移をモニタリングする。そして、ステップＳ４７において、ステップＳ４６におけるモニタリング結果に基づいて、復帰遅延時間内に運転復帰可能か否かが判断される。運転復帰が可能であると判断されるとき、ステップＳ４８において、運転者の運転復帰が行われる。その後、ステップＳ４９において、学習データの更新が行われる。つまり、上述の運転復帰がなされたときの初期の運転者の２次タスクの種類に関して可観測評価値と実際の復帰遅延時間の関係情報（観測プロット）のサンプル値が１つ追加される。その後、ステップＳ５０において、処理が終了される。なお、本実施例では学習はこのイベント都度に発生するプロットデータに限定して記載しているが、実際には変形例に後述する通り、事象発生までに前の状態（履歴）に大きく依存して決まるため、多次元的学習を行う事で運転者状態観測値からの復帰遅延所要時間の推定精度の向上をさらにおこなってもよい。
　また、ステップＳ４７で運転復帰が不可能であると判断されるとき、ステップＳ５１で減速徐行退避シーケンスの始動から停車までが実行される。次に、ステップＳ５２において、引継不備事象のペナルティの記録が発行され、その後に、ステップＳ５０において、処理が終了される。なお、このペナルティの記録は記憶部１１１に残される。
　なお、ステップＳ４３からステップＳ５０は引き継ぎ手順の全体を一括りに記載をしているが、実際には図１６で説明されている通り、運転者の状態に応じて復帰推移は多段階のステージを跨いで行われ、その途中途中で復帰推移がモニタリングされ続け、途中段階での遅れに対しても復帰遅延ペナルティが発行されてもよい。また、予測復帰推移に遅れが生じている場合、ローカルダイナミックマップからの減速や徐行、緊急停車許容率に応じて引き継ぎ点への到達時刻猶予形成の為に速度の減速を実施しても良いし、運転者の早期復帰を促す催促通知を行っても良いし、更にはペナルティ発行事前警報やペナルティ発行を更に行ってもよい。事前通知は、運転者による無理な早期復帰を試みる事により誘発するヒューマンエラーを抑制する機能を果たすため、単純にペナルティ発行よりも優れた機能が期待できる。
　「事象発生処理」
　図２０のフローチャートは、事象発生処理の手順の一例を示している。ステップＳ６１において、処理が開始される。次に、ステップＳ６２において、事象発生地点の予測到達時間が算出されると共に、上述の図１７のフローチャートにおけるステップＳ４４と同様に、運転者が運転復帰するまでの復帰遅延時間が算出される。通常引継ぎの場合は、運転者復帰点が順次予測に基づき接近するため、定期的な運転者状態の可観測値モニタリングを行うが、事象発生の際には緊急性を要するため、事象の検出が行われると速やかな運転者可観測情報の更新取得を行い、その可観測値より推定される運者の自動運転から手動運転に要する復帰時間算出を優先的に実行する。
　次に、ステップＳ６３において、一定の時間的余裕、例えば２～３分の時間的余裕があるか否かが判断される。一定の時間的余裕があると判断されるとき、ステップＳ６４において、運転者の運転復帰に余裕があるか否かが判断される。この場合、事象発生地点の予測到達時間が復帰遅延時間より長いときには運転復帰に余裕があると判断される。
　運転復帰に余裕があると判断されるとき、ステップＳ６５において、運転者に事象発生を通知する。例えば、音出力、光出力、ハプティックス等で通知が行われる。例えば、上述したタブレット３００の走行区間表示２００の対応する位置に事象発生が点滅表示される（図１２参照）。
　次に、ステップＳ６６において、運転者に事象発生が確認されたか否かが判断される。例えば、上述の走行区間表示２００の対応する位置に点滅表示されている事象発生箇所が運転者によりダブルタッチされた場合には、運転者に事象発生が確認されたと判断される。運転者に事象発生が確認されたと判断されるとき、ステップＳ６７において、ステップＳ６２で算出された復帰遅延時間で決まる通知タイミング、つまり引継ぎ対象事象（自動運転から手動運転への引継ぎ区間や自動運転からの注意走行区間）が復帰遅延時間に迫ってきたタイミングで、運転者に運転復帰するように促すための通知を実行する。この通知は、音出力、光出力、ハプティックス等で行われるが、運転者の２次タスクの種類に応じた通知の方法を採ることができる。
　次に、ステップＳ６８において、復帰遅延時間内に復帰したか否かが判断される。復帰遅延時間内に復帰したと判断されるとき、ステップＳ６９において、走行区間表示２００の更新がなされ、ステップＳ７０において、処理が終了される。また、ステップＳ６６で運転者に事象発生が確認されなかったと判断されるとき、運転者に事象発生の周知のためにステップＳ７１において、所定の設定期間より接近した場合は警報が実行され、運転者に事象発生の確認を促すことが行われる。その後、ステップＳ６４の処理に戻される。
　また、ステップＳ６３で一定の時間的余裕がないと判断されるとき、ステップＳ６４で運転復帰に余裕がないと判断されるとき、あるいはステップＳ６８で復帰遅延時間以内に復帰しないと判断されるといき、ステップ７２において、緊急対応シーケンスが実行される。
　図２１のフローチャートは、緊急対応シーケンスの手順の一例を示している。ステップＳ８１において、処理が開始される。次に、ステップＳ８２において、手動運転引継可能性があるか否かが判断される。手動運転引継可能性がないと判断されるとき、ステップＳ８３において、減速して事象発生地点までの到達時間の余裕が図られる。そして、ステップＳ８４において、運転者の復帰可能性はあるか否かが判断される。この場合、減速により余裕が図られた事象発生地点までの到達時間がステップＳ６２で算出された復帰遅延時間より長いときには、復帰可能性があると判断される。
　運転者の復帰可能性がないと判断されるとき、ステップＳ８５において、減速徐行で地点通過が可能な事象であるか否かが判断される。減速徐行で地点通過が可能な事象でないと判断されるとき、ステップＳ８６において、自動減速・徐行退避シーケンスの始動から停車までが行われる。次に、ステップＳ８７において、引き継ぎ不備事象のペナルティの記録が発行される。そして、ステップＳ８８において、シーケンスが終了される。なお、このペナルティの記録は記憶部１１１に残される。
　ここで一見、引き継げない場合には車両を一律に緊急事象の対処手段として停車させる制御でも良いように思われるが、道路インフラの状況により、車両が道路上や一次退避所で停車する事で、道路インフラの渋滞誘発や道路のカーブ地点で停車車両による見通しの死角形成で事故を誘発したり、更には単車線の迂回困難道路インフラ動脈路であると社会的に人と物流の完全な遮断を招いたりする為、極めて大きな社会的影響を及ぼす事になる。その影響の低減や回避には、道路インフラに準じた制御が不可欠であり、基本的には減速をしてでもボトルネックとなり得る区間に関しては区間通過が望ましい為の選択分岐となる。
　その他、特にインフラ起因で特にＬＭＤの更新が不十分な区間侵入境界やインフラ設備面で固定されている自動運転から手動運点の切り替え地点では、通過する全ての自動運転利用中車両が恒常的に切り替わる地点となり、確率的に引き継ぎ不全で多くの車両が緊急停車する確率が高い為に、緊急退避停車する車両が一極集中してボトルネック誘発が加速するのを緩める為に、停車位置が分散するように通知タイミングもその分早い時刻に分散させてもよく、乱数発生器等で決めた引き継ポイント通知をしても良い。
　また、ステップＳ８５で減速徐行により地点通過が可能な事象であると判断されるとき、ステップＳ８９において、自動減速・徐行にて地点通過が実行される。その後、ステップＳＴ８７において、引き継ぎ不備事象のペナルティの記録が発行され、ステップＳ８８において、シーケンスが終了される。
　また、ステップＳ８２で手動運転引継可能性があると判断されるとき、あるいはステップ８４で運転者の復帰可能性があると判断されるとき、ステップＳ９０の処理が行われる。このステップＳ９０において、手動運転への復帰を促し、つまり運転復帰への促しのための警報が、音出力、光出力、ハプティックス等で行われる。
　次に、ステップＳ９１において、安全運転引き継ぎ期間内で復帰が可能であるか否かが判断される。例えば、手動運転への復帰促しに対して、ステップＳ６２で算出された復帰遅延時間内に運転者の応答があった場合には、安全運転引き継ぎ期間内で復帰が可能であると判断される。
　安全運転引き継ぎ期間内で復帰が可能であると判断されるとき、ステップＳ９２において、手動運転復帰確認手順が実行される。次に、ステップＳ９３において、安全操舵操作が確認されたか否かが判断される。安全操舵操作が確認されたと判断されるとき、ステップＳＴ８８において、シーケンスが終了される。また、ステップＳ９１で安全運転引き継ぎ期間内での復帰が可能でないと判断されるとき、あるいはステップＳ９３で安全操舵操作が確認されないと判断されるとき、ステップＳ８５の処理に移り、上述したと同様の処理が行われる。
　上述したように、図１に示す車両制御システム１００においては、運転者の状態に基づいて通知タイミングを決めるための復帰遅延時間が算出されるものであり、運転者に運転復帰の通知を適切なタイミングで行うことができる。この場合、運転者の過去の学習結果に応じて復帰遅延時間を算出するものであり、より適切に運転者に合った復帰遅延時間を算出できる。また、図１に示す車両制御システム１００においては、復帰遅延時間内に復帰ができなかった場合、引き継ぎ不備事象のペナルティの記録が発行されるものであり、運転者に速やかな復帰を促すことが可能となる。
　＜２．変形例＞
　「変形例１」
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　「変形例２」
　実施例の数式（２）で示されている例では、各復帰段階の遅延時間を示すＴａ、Ｔｂ、Ｔｃ、Ｔｄ、Ｔｅ、ΔＴmin(VDP)と単純化し、運転者固有値の学習値として値が一意に決まる前提での復帰遅延時間推測とする算出である。しかし、初期状態が睡眠から復帰推移途中の状態で着座後に検出した可観測評価から実際に掛る復帰時間と、初期状態が最初から着座している場合に復帰に掛る遅延時間とでは復帰に必要な時間が異なってくる。これは、運転者の復帰に必要な状況判断に必要な認知情報のモーメンタムが既にある状態での着座であるか、又は着座状態での復帰通知を受けた時点での、いわゆるまだ復帰要請認知の初期判断開始状態で知能活動的モーメンタムが低い段階であるかに起因する。つまり、同じ着座状態でも、事前にアラーム等で復帰必要性の通知を受け、復帰に必要な諸々の情報把握を着座までに運転者は既に進めることになる。
　つまり、各時刻Txを決める図１８で説明のプロットは、運転者の運転復帰要請を受ける前の初期状態で初めて通知を受けて復帰する場合の分布と、復帰途中過程で観測した運転者状態から得られる分布では異なる特性を持つことを意味する。変形実施例として運転者の前の行動特性と更に加味して可観測評価値から復帰遅延時間分布解析をさらに階層分けする事で予測精度をあげてもよく、また朝方や日中や夕方や累計運転作業時間などより複雑な要因に起因して運転者固有で変わる復帰時間の分布変動を人工知能による学習機能等を用いて条件別に細分化する事で、運転者の限られた可観測状態評価値からより精度の高い状況にあった復帰遅延時間予測をおこなってもよい。細分化の条件や階層は必ずしも明示的に分ける必要はない為、運転の累計利用から自律学習を行う仕組みを導入する事で一定の引き継ぎ成功率を達成する時間を算出する機能でさらに置き換えても良い。
　「変形例３」
　本機能は特定の運転者が同一の車種を常に運転するとは限らず、例えば車両運行企業に勤める利用者が、通勤の為に一般乗用車を用い、同一運転者が車両の運転をより慎重に行わないといけない大型バスやタンクローリーなどに携わる事もある。
　その為、運転者への情報通知や運転者の行動特性は必ずしも運転者が特定されただけで一意に決まらない事がある。そのため、運転者の個人認証による通知時間のタイミング判定はさらに利用車種や利用形態を考慮して通知時間推定の仕組みをさらに備えても良い。
　「変形例４」
　本発明の主要な趣旨は、運転者の状態から観測される覚醒状態や姿勢等から予測される通知や警報から復帰までに掛る時間の分布推定を累計的利用蓄積データから行い、所定の自動運転から手動運転への成功率を達成する為に通知タイミングを正確に算出することにあるが、システムによる通知に伴う実際の運転行動との必要性から、通知タイミングの妥当性に依存して結果的に運転行動に影響を及ぼす事を既に述べた。つまり、早すぎるタイミングや遅すぎる通知タイミングは望ましくなく、通知に応じて速やかに復帰を開始することが望ましい。その利用の過程で基本的に運転者が通常であれば通知に対して早めの復帰を心がける事になるために、運転者復帰時間は早くなる事が期待される。
　つまり、運転者はシステムの利用特性として早めに復帰を心がければ、それだけシステムは短い時間で運転者は復帰する復帰特性分布を学習する事になるため、より通知ポイントとしては遅くなり、２次タスクの従事時間が長くなる。しかし、このようなシステムの適用機能を無理に利用して復帰遅延時間短縮をはかると、実際の無意識利用の際に意識した早期復帰が出来ずに問題となる自動運転から手動運転への復帰が間に合わない事態も発生することが発生しえる。
　上記を人間工学的に見た長期利用で起こり得る課題を回避するため、運転者の復帰特性の学習結果に基づいて復帰予測時間の短縮値の利用は一定値までに留めてもよい。または早期復帰の観測値や特異要因で間に合わない異常観測プロットは、学習のアウトライヤーとして除外処理をしてもよい。
　また、これら不適切な利用に伴う復帰通知予測器の適切運用の阻害要因を解析でいるように学習に用いる記録除法を、例えば車両のドライブイベントレコーダ情報を同期して記録する事で、さらには異常値発生に対して検索用のフラグを付与して記録をしてもよい。
　「変形例５」
　上記実施例で記載の学習は図１記載の学習部１５５にて行う想定で行っているが、タクシーの乗員の様に複数の車両に跨り利用するケースが有り、更には運転者固有の事象発生記録を加味した復帰の望ましいタイミングもある事から、乗車車両から切り離した車両運行オペレーションの一環で復帰通知タイミング決定や調整を行ってもよく、車両に搭載された自動運転制御部に限定して学習処理を完結するものに限定せず、例えば遠隔サーバでの処理や保存記録データをもとに後処理の学習演算によりタイミング予測器の辞書生成をさらに行っても良い。
　「変形例６」
　また、本明細書において、運転者が実行する２次タスクが例えば第三者を含むテレビ電話会議システムなどの場合、２次タスク中の運転者と接続する第三者は運転者が何時運転に復帰する必要があるか把握出来ないでタスクを行う事になる。しかし、それでは第三者が２次タスクから抜けて運転に復帰する必要性を把握出来ず、不具合がある。そこで、画面の反対側の接続者は運転者が運転作業の２次タスクとして該当の会議に参加している事を更に周知し、復帰タイミングに必要な状況把握をさせることが望ましく、相手側への一部または一定の時間に跨る運転者介在復帰要求情報を通信により情報としてシェアするようにさらに行ってもよい。
　「変形例７」
　ステップＳ８５での制御は減速徐行した区間通過の可否判断に基づき制御する事で、道路インフラのボトルネックとなり得る区間等で車両の停止で道路通行容量への影響を最少化する手順として一つの実施例がしめされている。本実施例は一つの利用例であり、ボトルネックとなり得るLDMより取得可能な道路環境情報に基づき、該当区間接近に先立ち事前に運転が手動運転に事前復帰し、該当のボトルネックになり得る道路区間到達前に事前判定を終えてその区間侵入を行うか、その区間侵入前に車両を事前に停車させるために利用したり、退避を行う為に運転者復帰時間予測を拡張したりするようしてもよい。
　そして、会議中でも、システムによる運転復帰要請を優先して取り組む事を可能とする為に、接続相手側へ通知、状況認知、会議継続拒否通知などの手段を自動で取っても良い。システムによる復帰要請情報として必ず運転者と同等な情報を提示する必要はなく、音声による通知であったり、ＯＳＤ等でメッセージ表示をしたりしてもよい。更には運転者による自主的運転介在復帰が２次タスクを実行している事で遅延している場合、システムが強制的に中断を進めてもよく、さらには運転者による無理な２次タスク継続を避ける為に、システムによる復帰リクエストから運転者の復帰行動のログをトラッキング記録してもよい。つまり、自動運転中の車両運転者と遠隔接続して作業に加わった場合、該当する第三者は運転への運転者復帰を阻害する事は好ましくなく、阻害行動を起こした場合はその記録を残す事も必要となる。
　遠隔接続により２次タスクに加わった第三者が、自動運転から手動運転に運転者が復帰する必要があった場合、その状況が一時的なことであるか、またはその状態が継続するか知る事で、行動制限を受けなくて済むため、利便性が高まる。そこで、自動運転車両による自動運転の運転者復帰必要性の予定表示は用途によっては更に遠隔第三者に遠隔通信で通知をしてもよい。
　本実施例としてテレビ会議として接続した第三者への情報提供としているが、複数の商用車の運行を管理している管制センターの管制管理遠隔走行支援者が、遠隔で支援するべきタイミング判断を行う際の情報送信であっても良い。さらには、本来は運転者が運転介在する利用が前提であるが、遠隔第三者に遠隔通信で通知手段を有する利用形態の遠支援走行で第三者の遠隔介在必要性判断に用いる情報として利用をしてもよい。例えば隊列走行車両の先頭車両運転者がするべき適切復帰タイミングに対して遅れが生じる事の遠隔監視と支援にタイミング情報を拡張して利用してもよい。
　上記の通り、運転者の自動運から手動運転に必要な復帰時間予測が付き、その情報を用いる事でより容易な遠隔支援の管理が可能となり、走行車両の該当走行区間と直後の侵入走行区間等での復帰必要性情報と組み合わせる事で、さらに運転能力の低下した高齢者等の走行時に支援が必要なきめ細かな多様な支援形態が可能となり、自動運転システムの多用な利用形態を生むことにもなる。この運転者毎の個別の運転者復帰タイミング予測の情報有無は、取り分け全ての自動運転走行車両が該当個別復帰特性通知機能を常用しない場合には、走行中の全ての車両の遠隔監視が必要であるのに対し、車両毎の復帰予測情報が監視できる自動運転の場合、復帰許容遅延の限界を逸脱した車両のみに着目して支援する事で、道路運行を整理する点で大きな利用形態の差違が生じる。その結果、前者の構成は管理者を車両の数だけ揃える事が社会的に困難であるのに対し、後者は少ない管理者でアラームのたった車両を中心にフィルタリング管理が運用上成り立つため実現が可能な自動運転システムの導入となる。
　「変形例８」
　本明細書において、細述した運転者が実行する２次タスク中に、走行ルートに沿った注意下での走行や手動運転に復帰して走行に移行する事をシステムより要求された場合、その要請タイミングが実行中の２次タスクの内容次第では、２次タスクの作業を中断するには適切ではないケースもある。
　例えば、２次タスクが深い眠りを含む仮眠である場合、その睡眠の深さ判定など、システムが運転者状態を常時継続観測して得られる定常ステータス観測により、ある程度は復帰に適した眠りの浅いタイミングを判定することが出来るケースもある。ただし、運転者が取り得る多様な種類の２次タスクでは、システムが行える運転者の生体観測情報等のみからでは、その運転者の実施する２次タスクに対して最適な通知タイミングを常に算出することは極めて難しい。
　２次タスクの種類によって、上述の睡眠の様に極端な操舵作業からの離脱とは異なるタイプの意識離脱がある。没入型のゲームもその様な２次タスクの好例と言える。勿論、その２次タスクとの関わり方次第では、運転復帰に必要な前方注意をしながら取り掛かる事は出来ても、同時に、関わり方次第、脳の思考活動次第では２次タスクにのめり込んで走行前方や引き継ぎ通知タイミングに対する注意が著しく低下する可能性がある作業でもある。ゲーム依存症の様に極端な嗜癖におよぶとシステムによる通知や警報に対し鈍感となり、適切な復帰が得られ難くなる恐れを伴う。
　また、類似した没入感を伴うタスクとして、スポーツのテレビ中継等による観戦がある。また、電話会議等で活発な討議を伴う期間は、その論議への参加状況次第では会議以外によるシステムによる復帰通知や警報に対し同じく鈍感となることも想定される。
　また、タブレット端末機器への伝票入力系の作業も、作業効率の視点で見ると作業を中断することなく一連の入力を連続して行いその作業が一段落するまで入力作業を進める事が一般には好まれる種類の２次タスクに分類できる。
　なお、より軽度の没入感のある作業として、例えば録画されたビデオ等の映画鑑賞や時事ニュースの録画視聴、これらいずれの２次タスクも、その作業はコンテンツ次第では２次タスクへの注意集中過多が深くなったり浅くなったりする。その時々の再生内容次第で周囲走行に関連する注意の割り当てが疎かになったり、十分な注意維持が出来たりする場合もある。
　しかし、一概に作業で運転注意からの離脱の深さと相関関係を取る事は困難である。そのため、システムによる運転者状態のパッシブ観測が行えたとしても、脳内の思考状況まで観測する事ができないために注意集中度合いの直接観測は出来ず、復帰通知や警報タイミングの最適化を図ることは困難である。
　この問題を克服するには、運転者のある程度の自主的作業中断に頼るしかないといえる。運転者による２次タスクの中断を容易にするには、２次タスクの中断を躊躇する要因低減を行う必要となる。
　上記に示す幾つかの例では、運転者自身が再生映像や試合の進行の度合いの制御は必ずしも出来ないため、如何に２次タスクを中断して、後にその中断箇所から再生再開をしても心地よくその続きを見られるかで中断の躊躇を低減できる。
　映画鑑賞やスポーツ中継観戦などでは視聴時の感情的（エモーショナル）テンションの上がったシーンから次の切り替わりシーンなど、区切りのよいシーンで鑑賞や観戦を一時中断し、それらポイントより再鑑賞や観戦ができると、途中中断による物足りなさや不快感を低減する事ができる。
　また、鑑賞を再開する事が可能となった時点で、中断ポイントまでのストーリの短縮要約を挿入して再開や、スポーツ中継観戦であれば中断の間のハイライトシーンを挿入して再開など、視聴者である運転者に穴埋め情報を提供する事で、２次タスク中断の際に起こる心残りの心理低減を図る事が可能である。
　これら２次タスクを中断しての運転操舵注意と実際の操舵復帰を行うための２次タスクの中断は、運転者自身により中断手続きを取っても良い。そしてその時に中断ポイントから再開をしても良いし、遡っての再生ポイントを事前予約して中断をしてもよい。中断再生方法は例えば鑑賞モニタリングスクリーンをシングルタッチする事で、中断メニューを提供し、中断再生方法指定、遡りポイントのスライダ指定中断など、直感的で速やかな指定が可能な方法での入力が望ましい。
　また、特に指定が無い場合は中断位置からの遡り再生であっても良い。これら遡り再生のメリットは、再生再開した際に継続鑑賞とは異なり、それまでの鑑賞知識の中断があるために、続きを見てもストーリ性の把握が困難となるためである。漫才の突っ込みを聞いて、暫くしてから落ちを聞いても面白くない事を例に取れば、本再生方法の効果は容易に理解されるであろう。
　より中断自由度の高い２次タスクとしてタブレット端末やパソコン等へのデータ入力の様な作業や読書と言った類の例をあげることができる。データ入力の場合、幾つかの関連する項目を確認しながら連動して表などへの情報の入力となると、区切りの悪い箇所で作業を中断すると、その途中までの作業が無駄になりかねない。また、近年あらゆる分野で多用されているインターネット経由の購入や公的手続入処理などその入力作業には一定の連続した作業が求められるものも多い。そのため、手続き入力作業が終えられない場合、途中中断してその再開のために元の入力開始地点まで遡らないとなると、入力作業中断をする事が躊躇される。
　上記例で示す通り、２次タスクへの没頭度合いや連続的入力の必要性などにも依存して、その２次タスクを中断した場合にそのタスクを初めからやり直しする必要がある種類の２次タスクであれば、ヒトの心理としては通知を受けてもその２次タスクの中断を遅らせ、作業を区切りの良いところまでやり終えようとする心理が働く事もある。
　利用者に２次タスクの中断を優先させ、早期の運転操舵作業へ復帰心理が働かせるには、早期作業を中断して手動運転の引き継ぎを優先した場合のデメリットが２次タスクを作業中断せずに継続して引き継ぎが遅れた場合のデメリットより低い場合である。ただし、作業中断せずに継続して引き継ぎが遅れた場合のデメリットのうち、最終的に運転復帰遅れが発生する確率が増し、また希にその結果で引継ぎが間に合わないケースでシステムが緊急対処の走行退避避難走行などしても、その影響が直感的なデメリットでない場合、その状況に陥る事を避ける心理が働かない。
　その対策として、作業中断して復帰が遅れた事をシステムが観測した場合に、利用者にペナルティを科す仕組みが有効となる。ただし、復帰手続きが遅れた場合のペナルティは必ずしも万能では無く、ヒトの行動心理としては直接的なペナルティを感じるまでは、その復帰の通知を優先的に守り、２次タスクを中断する心理が必ずしも働かない。
　特に緊急度の高い引き継ぎ要請の発生時や、引き継ぎが想定時間内に完了できない事でシステムによるリスク最小化（Minimum Risk Maneuver）のための緊急徐行や退避走行を行うと、後続車等の周辺走行車両へ急ブレーキや回避動作を強いる事で渋滞や追突事故などリスク増大要因となる。つまり、無条件に２次タスクを強行にやり続けシステムが実施する緊急事対応をよりどころにした運用では、渋滞や追突などの２次的副次被害をもたらす確率をはらみ、社会的な道路インフラの機能低下をもたらすといった弊害を隠し持つ。
　運転者による早期の２次タスクの無理な継続を避け、速やかな２次タスクの中断と引き継の開始を促す利用形態が望ましい。つまり早期引き継ぎのモティベーション（インセンシティブ）と要請を無視する違反に対してペナルティが発生すると、利用者の積極的な自主的、反射的な早期引き継ぎが習慣化する事が期待されると同時に、その際の煩わしさのデメリットを低減しておくことも合わせて必要となる。
　つまり、ヒトの自動運転利用行動の心理は、多くの走行環境でシステムによる自動運転操舵に依存しがちになる一方で、過剰依存に伴う引き継ぎ実施の怠慢を避けるべく、自主的復帰行動を促す仕組みが有効であり、利用時のメリットとデメリットのバランスが操作感覚に直感的に現れている事で、ヒトは優先的な中断作業を開始する。
　継続的な２次タスクの実行が想定される作業の例として、映画鑑賞、スポーツ観戦、ボードゲームや電子ゲーム、同乗者同士の会話、電話会議で議論途中、情報端末を用いたデータ入力、ネットバンキング作業、メール等のテキスティング、ブラウジング、ネットショッピングなどなど多様な作業が今後想定される。
　特に、これら２次タスクの中でも、ゲームの対戦途中、更にはスマートフォンやタブレットと言った情報端末でアプリケーションを用いて伝票の入力処理など一連の情報を入力する場合やネットショッピングなど、その作業の途中で作業中断をすると、それまでの入力処理作業が全て無駄に成り、結果として作業は一から入れ直し（やり直し）をしないといけない状況があり得る。
　人間の心理として作業の無駄をなくしたいため、最後まで入力を終えようとする心理が働くと作業の中断が後回しとなり、また少し遅れても間に合うであろうとの心理が更に働き、結局安全でスムーズな復帰が行えず、強いては間に合わなくなるという危険を伴う。つまり、運転者が一人の人間であり、ヒトの行動心理に沿ってその引継ぎ作業が行われる以上、その行動心理において作業を中断し早期復帰を優先する仕組みが必要となる。
　そこで、作業を中断し早期復帰を優先する仕組みが構築できると、利用者（運転者）による作業の継続を断念させることで、リスク低減する事が期待される。特に、２次タスクがタブレット等での情報入力であり、実行アプリ上でユーザーによる作業指定ポイント復帰を容易にする明示的メニューが準備されていれば、利用者は一時中断しても容易に中断ポイントから作業の再開が可能となる。
　なお、現在普及している多くのパソコンやその他情報端末のアプリケーションソフトウェアでは、入力の取り消しややり直しに用いる実行処理の履歴の保存やリカバー機能が装備されている。しかしながらそれらの機能は、その端末での入力に従事中に入力のやり直しを目的とした利用想定であり、また複数人で作業した書類の校閲作業中での選択的な変更内容の選択反映であり、不特定任意入力作業途中で中断した際の入力作業再開のために手助けする目的の機能ではない。そのため、利用者が２次タスクとして情報端末への入力作業の中断を躊躇する要因となる。
　利用者が入力作業を中断して運転タスクに優先的に復帰するには、その入力作業等の再開を手助けする補助的機能が望まれる。以下、その復帰を手助けする実施例をいくつかの用途に沿って示す。
　情報端末を利用した２次タスク実施の場合、利用者に２次タスクに没頭し過ぎて自動運転からの復帰通知を見落とし、運転注意からの完全離脱を避けるために、作業ウインドウ４００には通常、進捗に伴う引継ぎ点到着までの指標提示（走行区間表示２００）を常に行う。さらに、引き継ぎ通知判定器が通知タイミングと判定したら、図２２（ａ）に示すように、作業ウインドウ４００内に通知の小アイコンを点滅等の視覚刺激誘導をして表示する。
　運転者（２次タスク実施者）が通知を認知し、該当アイコンを例えばタッチ、レ点動作チェックなどを行った場合、例えば、図２２（ｂ）に示すように、作業画面を中断（一部妨害的に）し、入力作業の再開復帰点指定スライダーメニューを表示して、利用者が最適復帰点をスライダ回転する事で自由設定出来る様にする。この場合、スライダ表示は、図２２（ｂ）に示すように、回転型の時計回りでの回転表示でも良いし、図２３（ａ）に示すような水平のリニア表示、あるいは図示しない垂直のリニア表示であってもよい。
　図２２（ｂ）に示すような時計回り表示であれば、１２時方角より９時方角の反時計まわり方角を入力遡りポイントとし、図２３（ａ）に示すような水平のリニアなスライダ表示形態では、例えば長さ２/３程度の地点を現在入力点として左方向を入力遡りポイントとする。
　情報入力処理の場合、最終入力情報地点が現在地点となり、まだ未入力箇所は本来再開できる地点では無いために再開時に再開指定ポイントには指定出来ない。ただし、メニュー上で作業項目を進める事で、入力アプリツール上で予定入力箇所に進め、また戻す入力時の画面シミュレーション簡易表示を実行する事で、遡って作業再開するのに最適地点判断が可能となる。
　その理由が少し分かりにくいので、スポーツの走り高跳びジャンプに例えるなら、その際の飛び越えるべき距離を事前に見越せるなら、助走の距離をどのくらい確保しておくべきか判断が付くので、一旦中断して飛ぶのは後になるが、状況を事前に把握しておく事で、どこまで遡った地点で助走を再開すれば良いかの予測がつく。未来の入力箇所を先送り閲覧できるスライダデザインはその対策である。そのメリットは、残入力項目を確認する場合に役に立つ。
　通知に伴い、一定時刻経過移行や、通知に対する運転者の認知応答入力がされずに、システムが運転者の応答検出の確認を取れない場合、警告を発して早期復帰を促すのが妥当である。例えば、図２３（ｂ）に示すように、進行方向の引継ぎ点到着までの指標提示（走行区間表示２００）を走行区間表示２００´のように拡大表示し、２次タスク実行ウインドウ４００を縮小し、場合によっては２次タスクとして実行中のアプリ入力を強制的に終了しても良い。
　２次タスク実行中の運転者はシステムによる復帰要請に応じて作業再開ポイントを指定して一旦作業中断したあと、フローとして再度自動運転に復帰ができたとして、作業再開をした場合、図２４に示すように、入力作業点（データ入力に対するＣＲ（確定のキーボードCarriage Return）実行点や入力フォーム完了点）を時系列順に明示的に並べたスライダーメニュー（再開時画面における入力履歴付きの復帰箇所指定用スライダ）５００を呈示してもよい。なお、一旦作業を中断後の再開は、必ずしも自動運転に復帰後である必要はなく、旅程終了後であっても良いが、フロー図には該当ケースの事例は省略する。
　特に、特定再開ポイントを指定する必要が無ければスライダをダブルフィンガーでスライドして画面の外に流す処理やクローズメニューで閉じても良い。または数値入力してキャリッジリターンを打って複数点の内、作業再開をしたい箇所にスライド移動して該当箇所をダブルタッチや場所のレ点動作認識で再開場所を指定しても良い。
　これら再開ポイントの指定と動作とを合わせ、スライダ上で指定箇所を移動させることで、アプリ実行画面に入力画面をリプレイ再生する事も有効である。作業再開時にも入力リターンキー毎に区切られた作業進捗メニューをスライダ表示することで、入力者は容易に中断箇所とそれまでの入力経過を確認することができるため、中断地点を思い出し易いインタフェースとなる。
　特に、タブレット等での端末作業の入力作業点と走行環境の到達点は利用者により直感的に把握できるため、メニューで進行に伴う区間接近ウインドウのスクロールと作業回復地点の画面ダブルタッチやトリプルタッチ操作等で、タスクのプレイバック機能等を併用できるよう、２次タスクの実行タスクと表示更新情報を単純に一時的に運転者に表示するのみではなく、タスクとの同期記録をさらに記録装置に保存をしてもよい。
　このように運転者に運転復帰後に任意の作業点へ容易に作業復帰が可能な作業復帰点検索や復帰マーカの手段を提供する事で、人間工学的な視点で２次タスクの無理な続行を回避でき、結果的にストレスなく２次タスクを実行中の運転者は素早く運転復帰に取り掛かるため、より安全な自動運転の利用が実現できることに繋がる。
　特に入力作業は、入力情報の前後の相互関係が重要となり、例えば表などに複数の関連情報を連続して入れる場合、項目選択してその項目に連動した一連の情報を入力する場合、歯切れの悪い途中状態の入力を中断すると、再開時の記憶次第では中断箇所を思い出すのに時間を要したり、間違いを行なったりする恐れが出る。
　つまり、通常の連続使用を想定したアプリケーションインターフェスのままでは、入力作業の途中中断を行いその間に注意の異なる作業を行うと、作業復帰時に中断箇所に的確に戻り作業継続する際に弊害があった。作業中断点指定を行う専用メニューや入力箇所の明示的視覚化を行う事で、作業復帰時に入力時記憶を呼び覚まして容易な作業再開を可能とする。
　２次タスクの入力中断時までの入力画面変化履歴は、入力再開点を思い出す有効は補助機能であり、作業効率の改善に役立つ。特に履歴情報の閲覧効果が大きいが再演算が重い作業では、画面変化を最後の数段階にまたがり画像としてローカル保存する事で再演算処理を省略する事も出来る。
　上記の例は主に情報入力アプリケーションとして情報端末へデータ入力の視点で見たフローであるが、映画鑑賞、スポーツ観戦やニュース番組のストリーミング視聴でも類似の動作フローとなる。映画鑑賞やサッカーなどの競技試合のテレビ放映中の鑑賞であれば、放映放送の一時ローカル保存して、一旦手動運転復帰が求められたタイミングで再生表示を中断し、ドライバによる作業途中から遅延再生するなどは有効である。そのときに、煩わしい巻き戻したプレイバック処理の必要性を下げる事が可能となる。
　ただし、仮に没入感が深い参加型のゲーム等、特にＶＲ利用など極端な利用形態が行われた場合では、強制作業中断のみならず、前方走行情報を２次タスク画面に切り替えて見せるなど強制表示を合わせて行い、運転走行作業からの完全な意識離脱から早期注意復帰を施す事も有効となる。
　自動運転中の２次タスク作業を中断する事のメリットが安全の確保や引き継ぎ限界地点での確実でスムーズな引き継ぎのみしか短期的に感じ取れない場合、その必要性は直観的に感じられない。そのため、直感的な復帰開始の必要性を利用者に感じて行動を促すには段階的ペナルティ機能は有効であるが、アラームやハプティックスを用いた警報は煩わしく、刑罰のみでは必ずしも人の行動心理を改善ができない。しかし、デメリットを打ち消す上記の２次タスク中断時の再開復帰サポートをする仕組みを組み合せる事で、速やかな２次タスク中断の心理を育て、無理な２次タスク継続を習慣的に低減する事が可能となる。
　図２５、図２６のフローチャートは、引き継ぎ通知判定を受け取った場合におけるシステムの処理手順の一例を示している。
　システムは、ステップＳ１５１において、引き継ぎ通知判定を受け取ることで処理を開始する。次に、システムは、ステップＳ１５２において、２次タスクの実施者への通知実行をする。例えば、情報端末を利用した２次タスク実施の場合、作業ウインドウ４００内に通知の小アイコンを点滅等させる（図２２（ａ）参照）。
　次に、システムは、ステップＳ１５３において、２次タスクの実施者の通知認知応答を検出する。例えば、情報端末を利用した２次タスク実施の場合であって、上述したように作業ウインドウ４００内に通知の小アイコンを点滅等させて通知した場合、例えば、そのアイコンへの実施者によるタッチ操作等を検出する。また、システムは、ステップＳ１５４において、２次タスクの実施者に対して、２次タスクの入力作業の中断要請をし、画面縮小化・中断の予告をする。
　次に、システムは、ステップＳ１５５において、通知認知応答が検出されたか否かを判別する。通知認知応答が検出されてないとき、システムは、ステップＳ１５６において、引き継ぎ猶予バジェットの残存時間を算出する。そして、システムは、ステップＳ１５７において、ステップＳ１５６で算出された残存時間に基づいてタイムアウトか否かを判別する。タイムアウトでないとき、システムは、ステップＳ１５３に戻り、上述したと同様の処理を繰り返す。
　一方、ステップＳ１５７でタイムアウトであるとき、システムは、ステップＳ１５８において、音や振動、画像等を用いた警告を実行する。次に、システムは、ステップＳ１５９において、作業画面の縮小化と引継ぎ点接近表示の拡大強調表示をする（図２３（ｂ）参照）。次に、システムは、ステップＳ１６０において、警告認知と２次タスクの再開点指定の受付処理をする。この場合、システムは、２次タスク入力作業の再開点指定スライダーメニューを表示し、２タスク実施者による再開点指定の受付確定（スライダー等による作業復帰点予約）をする（図２２（ｂ）、図２３（ａ）参照）。
　次に、システムは、ステップＳ１６１において、タイムアウトか否かを判別する。この場合、引き継ぎ猶予時間判定で引継ぎ遅れが予測される時点でタイムアウトと判別される。タイムアウトでないとき、システムは、ステップＳ１６０の処理を続ける。一方、タイムアウトであるとき、システムは、ステップＳ１６２において、２次タスクの作業を強制終了する。そして、システムは、ステップＳ１６３において、復帰遅延ペナルティ記録、作業再開点の制限、自動運転モードの再利用制限などを実行する。
　また、上述のステップＳ１５５で通知認知応答が検出されたとき、システムは、ステップＳ１６４において、２次タスク入力作業の再開点指定スライダーメニューを表示し、さらに、ステップＳ１６５において、２タスク実施者による再開点指定の受付確定（スライダ等による作業復帰点予約）をする（図２２（ｂ）、図２３（ａ）参照）。そして、システムは、ステップＳ１６５の処理の後、ステップＳ１６６の処理に進む。システムは、上述のステップＳ１６３の処理の後も、このステップＳ１６６の処理に進む。
　ステップＳ１６６において、システムは、２次タスクの作業履歴と再開点指定情報を保存する。次に、システムは、ステップＳ１６７において、手動運転復帰期間であって、２次タスク実行不可とする。
　次に、システムは、ステップＳ１６８において、自動運転再開可否判定に必要なＬＤＭ情報、運転者状態、車両自己診断情報のモニタリング取得をする。そして、システムは、ステップＳ１６９において、２次タスクの実行可能区間への再進入済みか否かを判断する。２次タスクの実行可能区間への再進入済みでないとき、システムは、ステップＳ１６８の処理を続ける。一方、２次タスクの実行可能区間への再進入済みであるとき、システムは、ステップＳ１７０において、自動運転可能区間進入とする。
　次に、システムは、ステップＳ１７１において、端末の２次タスク作業の復帰可能メニューを有効化する。次に、システムは、ステップＳ１７２において、２次タスク復帰再開入力のモニタリングをする。そして、システムは、ステップＳ１７３において、２次タスクの実施者による復帰メニューの選択があるか否かを判断する。復帰メニューの選択がないとき、システムは、ステップＳ１７４において、タイムアウト（再開指定待機時間タイムアウト）であるか否かを判断する。タイムアウトでないとき、システムは、ステップＳ１７１の処理に戻り、上述したと同様の処理を繰り返す。ステップＳ７４で行うタイムアウト判定は、運転者が一定の時間内に２次タスク再開を行わなかった場合、端末等の省エネモードであるスタンバイモードへの移行や電源を完全に落とす中断情報を記録して作業を閉じる休止モード等に匹敵るする作業の中断をする事で、長期作業中断を要する手動運転復帰で、それまでの作業内容が喪失を避ける手順としても良い。
　ステップＳ１７３で復帰メニューの選択があったとき、システムは、ステップＳ１７５において、スライダーメニュー等により作業再開点指定が実行されると、システムは、ステップＳ１７６において、指定入力に沿った作業再開が行われるようにする。その後、システムは、ステップＳ１７７において、一連の処理を終了する。なお、ステップＳ１７４でタイムアウトであるとき、システムは、直ちにステップＳ１７７に進み、一連の処理を終了する。
　「変形例９」
　また、本明細書において、細述した運転者が実行する２次タスク中に走行ルートに沿った注意下走行や手動運転復帰要求情報に基づいて２次タスクを中断して手動運転復帰を優先した場合、運転者は復帰が求められたタイミングで必ずしも、実行中の２次タスクを中断する良いタイミングとは言えないケースもあり得る。特に一連の情報を入力する場合に途中で作業中断するとそれまでの入力作業を全て１から入れ直しをしないといけない状況もあり得る。人間の心理として作業の無駄をなくしたいため、最後まで入力を終えようとするが復帰が間に合わなくなるという危険を伴う。
　そこで、利用者によるリスク低減策として、２次タスクの実行アプリ上でユーザーによる指定ポイント復帰を容易にする明示的メニューが更に補助的に提供されてもよい。特に、入力作業点と走行環境の到達点は利用者により直感的に把握できるため、メニューで進行に伴う区間接近ウインドウのスクロールと回復作業地点の画面ダブルタッチ等で、タスクのプレイバック機能等を併用できるよう、２次タスクの実行タスクと表示更新情報を単純に一時的に運転者に表示するのみではなく、タスクとの同期記録をさらに記録装置に保存をしてもよい。
　このように運転者に運転復帰後に任意の作業点へ復帰可能な手段を提供する事で、人間工学的な視点で２次タスクの無理な続行を回避でき、結果的にストレスなく２次タスクを実行中の運転者は素早く運転復帰に取り掛かるため、より安全な自動運転の利用が実現できることに繋がる。
　「変形例１０」
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本技術は、以下のような構成を取ることもできる。
　（１）運転者に運転復帰を促すための通知を制御する通知制御部と、
　上記運転者の状態に基づいて通知タイミングを決めるための復帰遅延時間を算出する算出部を備える
　情報処理装置。
　（２）上記算出部は、上記運転者が実行中の２次タスクの種類と上記運転者の生体活動可観測情報に基づく可観測評価値に応じて上記復帰遅延時間を算出する
　前記（１）に記載の情報処理装置。
　（３）上記算出部は、上記運転者が実行した２次タスクの種類ごとに蓄積されているかまたは履歴情報より学習され、上記可観測評価値と復帰遅延時間の複数の関係情報を利用して、上記運転者が実行中の２次タスクにおける復帰遅延時間を算出する
　前記（２）に記載の情報処理装置。
　（４）上記算出部は、上記可観測評価値と復帰遅延時間の複数の関係情報を利用して、所定の割合の成功率で上記運転者が実行中の２次タスクから運転復帰に成功するように上記復帰遅延時間を算出する
　前記（３）に記載の情報処理装置。
　（５）上記算出部は、上記所定の割合をレジスタ設定することが可能とされる
　前記（４）に記載の情報処理装置。
　（６）上記算出部は、上記所定の割合の成功率を、インフラ側が保持する情報として車両外部と路車間通信を行うことで取得する
　前記（４）または（５）に記載の情報処理装置。
　（７）上記算出部は、認証判別された上記運転者に対応した上記復帰遅延時間を算出する
　前記（１）から（６）に記載の情報処理装置。
　（８）上記算出部は、認証判別された上記運転者かつ乗車車両の車両ダイナミック特性に対応した上記復帰遅延時間を算出する
　前記（１）から（６）に記載の情報処理装置。
　（９）上記算出部で算出された上記遅延時間内に上記運転者が運転復帰に失敗した場合にペナルティ情報を記録するペナルティ情報記録部をさらに備える
　前記（１）から（８）のいずれかに記載の情報処理装置。
　（１０）上記算出部が運転者の２次タスクの実行に内容に応じて複数段に分類された延時間内で上記運転者が各復帰途中段の予測値に対して遅延した場合にその遅延量に応じたペナルティ情報を記録するペナルティ情報記録部をさらに備える
　前記（１）から（９）のいずれかに記載の情報処理装置。
　（１１）上記算出部で算出される復帰遅延量に応じて、該当機能利用したが第三者介在２次タスクの遠隔接続利用においては第三者に運転者復帰に必要な復帰遅延時間の予測情報を通知する
　前記（１）から（１０）のいずれかに記載の情報処理装置。
　（１２）上記算出部は、復帰成功と復帰遅延品質に基づき上記運転者が実行中の２次タスクの種類、上記運転者の生体活動可観測情報に基づく可観測評価値に応じて上記復帰遅延時間を自律学習する
　前記（１）から（１１）のいずれかに記載の情報処理装置。
　（１３）通知制御部が、運転者に運転復帰を促すための通知を制御する通知制御ステップと、
　算出部が、上記運転者の状態に基づいて通知タイミングを決定するための復帰遅延時間を算出する算出ステップを有する
　情報処理方法。
　１００・・・車両制御システム
　１０１・・・入力部
　１０２・・・データ取得部
　１０３・・・通信部
　１０４・・・車内機器
　１０５・・・出力制御部
　１０６・・・出力部
　１０７・・・駆動系制御部
　１０８・・・駆動系システム
　１０９・・・ボディ系制御部
　１１０・・・ボディ系システム
　１１１・・・記憶部
　１１２・・・自動運転制御部
　１２１・・・通信ネットワーク
　１３１・・・検出部
　１３２・・・自己位置推定部
　１３３・・・状況分析部
　１３４・・・計画部
　１３５・・・動作制御部
　１４１・・・車外情報検出部
　１４２・・・車内情報検出部
　１４３・・・車両状態検出部
　１５１・・・マップ解析部
　１５２・・・交通ルール認識部
　１５３・・・状況認識部
　１５４・・・状況予測部
　１６１・・・ルート計画部
　１６２・・・行動計画部
　１６３・・・動作計画部
　１７１・・・緊急事態回避部
　１７２・・・加減速制御部
　１７３・・・方向制御部

Claims (13)

  1. 　運転者に運転復帰を促すための通知を制御する通知制御部と、
    　上記運転者の状態に基づいて通知タイミングを決めるための復帰遅延時間を算出する算出部を備える
    　情報処理装置。
  2. 　上記算出部は、上記運転者が実行中の２次タスクの種類と上記運転者の生体活動可観測情報に基づく可観測評価値に応じて上記復帰遅延時間を算出する
    　請求項１に記載の情報処理装置。
  3. 　上記算出部は、上記運転者が実行した２次タスクの種類ごとに蓄積されているかまたは履歴情報より学習され、上記可観測評価値と復帰遅延時間の複数の関係情報を利用して、上記運転者が実行中の２次タスクにおける復帰遅延時間を算出する
    　請求項２に記載の情報処理装置。
  4. 　上記算出部は、上記可観測評価値と復帰遅延時間の複数の関係情報を利用して、所定の割合の成功率で上記運転者が実行中の２次タスクから運転復帰に成功するように上記復帰遅延時間を算出する
    　請求項３に記載の情報処理装置。
  5. 　上記算出部は、上記所定の割合をレジスタ設定することが可能とされる
    　請求項４に記載の情報処理装置。
  6. 　上記算出部は、上記所定の割合の成功率を、インフラ側が保持する情報として車両外部と路車間通信を行うことで取得する
    　請求項４に記載の情報処理装置。
  7. 　上記算出部は、認証判別された上記運転者に対応した上記復帰遅延時間を算出する
    　請求項１に記載の情報処理装置。
  8. 　上記算出部は、認証判別された上記運転者かつ乗車車両の車両ダイナミック特性に対応した上記復帰遅延時間を算出する
    　請求項１に記載の情報処理装置。
  9. 　上記算出部で算出された上記遅延時間内に上記運転者が運転復帰に失敗した場合にペナルティ情報を記録するペナルティ情報記録部をさらに備える
    　請求項１に記載の情報処理装置。
  10. 　上記算出部が運転者の２次タスクの実行に内容に応じて複数段に分類された延時間内で上記運転者が各復帰途中段の予測値に対して遅延した場合にその遅延量に応じたペナルティ情報を記録するペナルティ情報記録部をさらに備える
    　請求項１に記載の情報処理装置。
  11. 　上記算出部で算出される復帰遅延量に応じて、該当機能利用したが第三者介在２次タスクの遠隔接続利用においては第三者に運転者復帰に必要な復帰遅延時間の予測情報を通知する
    　請求項１に記載の情報処理装置。
  12. 　上記算出部は、復帰成功と復帰遅延品質に基づき上記運転者が実行中の２次タスクの種類、上記運転者の生体活動可観測情報に基づく可観測評価値に応じて上記復帰遅延時間を自律学習する
    　請求項１に記載の情報処理装置。
  13. 　通知制御部が、運転者に運転復帰を促すための通知を制御する通知制御ステップと、
    　算出部が、上記運転者の状態に基づいて通知タイミングを決定するための復帰遅延時間を算出する算出ステップを有する
    　情報処理方法。
PCT/JP2018/038745 2017-11-17 2018-10-17 情報処理装置および情報処理方法 WO2019097944A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201880072583.5A CN111315627B (zh) 2017-11-17 2018-10-17 信息处理装置和信息处理方法
EP18877658.7A EP3712028A4 (en) 2017-11-17 2018-10-17 INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING PROCESS
KR1020207012334A KR102672040B1 (ko) 2017-11-17 2018-10-17 정보 처리 장치 및 정보 처리 방법
JP2019553760A JP7299840B2 (ja) 2017-11-17 2018-10-17 情報処理装置および情報処理方法
US16/762,879 US20200283028A1 (en) 2017-11-17 2018-10-17 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-221543 2017-11-17
JP2017221543 2017-11-17

Publications (1)

Publication Number Publication Date
WO2019097944A1 true WO2019097944A1 (ja) 2019-05-23

Family

ID=66539508

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038745 WO2019097944A1 (ja) 2017-11-17 2018-10-17 情報処理装置および情報処理方法

Country Status (6)

Country Link
US (1) US20200283028A1 (ja)
EP (1) EP3712028A4 (ja)
JP (1) JP7299840B2 (ja)
KR (1) KR102672040B1 (ja)
CN (1) CN111315627B (ja)
WO (1) WO2019097944A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112406870A (zh) * 2019-08-20 2021-02-26 现代自动车株式会社 车辆及控制车辆的方法
WO2021049219A1 (ja) 2019-09-09 2021-03-18 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2021131474A1 (ja) 2019-12-26 2021-07-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
CN113335300A (zh) * 2021-07-19 2021-09-03 中国第一汽车股份有限公司 一种人车接管交互的方法、装置、设备和存储介质
WO2021235441A1 (ja) * 2020-05-22 2021-11-25 株式会社デンソー 運転支援装置、運転支援方法、および運転支援プログラム
WO2021246236A1 (ja) * 2020-06-01 2021-12-09 ソニーグループ株式会社 情報処理装置、情報処理方法および記憶媒体
WO2022050200A1 (ja) * 2020-09-07 2022-03-10 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および情報処理プログラム
DE112020006551T5 (de) 2020-01-17 2022-11-17 Sony Semiconductor Solutions Corporation Datenverarbeitungsvorrichtung, datenverarbeitungssystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm
US11654936B2 (en) 2018-02-05 2023-05-23 Sony Corporation Movement device for control of a vehicle based on driver information and environmental information
WO2023176256A1 (ja) * 2022-03-15 2023-09-21 株式会社デンソー 処理方法、運転システム、処理プログラム
JP7479965B2 (ja) 2020-07-02 2024-05-09 日野自動車株式会社 車両制御装置及び車両制御方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018216809A1 (de) * 2018-09-28 2020-04-02 Robert Bosch Gmbh Verfahren, Vorrichtung und Sensorsystem zur Umfelderfassung für ein Fahrzeug
US11037382B2 (en) * 2018-11-20 2021-06-15 Ford Global Technologies, Llc System and method for evaluating operation of environmental sensing systems of vehicles
CN111707270B (zh) * 2020-06-23 2021-12-07 东南大学 一种基于分布估计和强化学习的无地图避障导航方法
CN112249022B (zh) * 2020-10-29 2022-07-29 北京罗克维尔斯科技有限公司 一种车辆高级驾驶辅助系统的性能分析方法及装置
JP2022155394A (ja) * 2021-03-30 2022-10-13 株式会社Subaru 運転支援システム
US20230025804A1 (en) * 2021-07-23 2023-01-26 GM Global Technology Operations LLC User interface for allocation of non-monitoring periods during automated control of a device
US20230036945A1 (en) * 2021-07-23 2023-02-02 GM Global Technology Operations LLC Allocation of non-monitoring periods during automated control of a device
CN114285751B (zh) * 2021-12-07 2023-01-20 中国科学院计算技术研究所 一种流量工程方法及系统
CN115512537A (zh) * 2022-09-13 2022-12-23 中远海运科技股份有限公司 一种基于深度强化学习算法的高速公路监控方法及系统
CN116509337A (zh) * 2023-06-27 2023-08-01 安徽星辰智跃科技有限责任公司 基于局部分解的睡眠周期性检测及调节方法、系统和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016090274A (ja) 2014-10-30 2016-05-23 トヨタ自動車株式会社 警報装置、警報システム及び携帯端末
JP2016139204A (ja) 2015-01-26 2016-08-04 株式会社デンソー 危険度表示装置
WO2017085981A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4716371B2 (ja) * 2006-05-19 2011-07-06 富士通株式会社 移動体用運転支援装置
DE102009048954A1 (de) * 2009-10-10 2011-04-14 Daimler Ag Verfahren und Vorrichtung zum automatischen Betreiben eines Fahrzeugs in einem keine Nutzeraktion erfordernden autonomen Fahrbetrieb
US9026343B2 (en) * 2010-12-29 2015-05-05 Paccar Inc Systems and methods for improving the efficiency of a vehicle
DE102011109564B4 (de) * 2011-08-05 2024-05-02 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
DE102012112802B4 (de) * 2012-12-20 2024-06-06 Continental Autonomous Mobility Germany GmbH Verfahren zur Steuerung eines Fahrzeugs mit einem ein automatisiertes, teilautomatisiertes und ein manuelles Fahren ermöglichenden Fahrerassistenzsystem
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
DE102013206212A1 (de) * 2013-04-09 2014-10-09 Ford Global Technologies, Llc Verfahren zur Steuerung eines Fahrzeugs mit temporär autonomer Fahrzeugführung sowie Steuerungseinrichtung
US9349228B2 (en) * 2013-10-23 2016-05-24 Trimble Navigation Limited Driver scorecard system and method
DE102014011264A1 (de) * 2014-07-28 2016-01-28 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren zur Berechnung einer Rückholzeit
US10159410B2 (en) * 2014-11-24 2018-12-25 Ford Global Technologies, Llc Method and apparatus for biometric data gathering and dissemination
JP2016103249A (ja) * 2014-11-28 2016-06-02 富士通株式会社 運転支援装置および運転支援方法
CN107207013B (zh) * 2014-12-12 2020-01-21 索尼公司 自动驾驶控制设备以及自动驾驶控制方法和程序
US10246014B2 (en) * 2016-11-07 2019-04-02 Nauto, Inc. System and method for driver distraction determination
US10872531B2 (en) * 2017-09-29 2020-12-22 Uber Technologies, Inc. Image processing for vehicle collision avoidance system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016090274A (ja) 2014-10-30 2016-05-23 トヨタ自動車株式会社 警報装置、警報システム及び携帯端末
JP2016139204A (ja) 2015-01-26 2016-08-04 株式会社デンソー 危険度表示装置
WO2017085981A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3712028A4

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11654936B2 (en) 2018-02-05 2023-05-23 Sony Corporation Movement device for control of a vehicle based on driver information and environmental information
CN112406870A (zh) * 2019-08-20 2021-02-26 现代自动车株式会社 车辆及控制车辆的方法
WO2021049219A1 (ja) 2019-09-09 2021-03-18 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2021131474A1 (ja) 2019-12-26 2021-07-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
KR20220113947A (ko) 2019-12-26 2022-08-17 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치, 이동 장치, 정보 처리 시스템 및 방법, 그리고 프로그램
DE112020006551T5 (de) 2020-01-17 2022-11-17 Sony Semiconductor Solutions Corporation Datenverarbeitungsvorrichtung, datenverarbeitungssystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm
JP7380418B2 (ja) 2020-05-22 2023-11-15 株式会社デンソー 運転支援装置および運転支援プログラム
WO2021235441A1 (ja) * 2020-05-22 2021-11-25 株式会社デンソー 運転支援装置、運転支援方法、および運転支援プログラム
JP2021183465A (ja) * 2020-05-22 2021-12-02 株式会社デンソー 運転支援装置、運転支援方法、および運転支援プログラム
WO2021246236A1 (ja) * 2020-06-01 2021-12-09 ソニーグループ株式会社 情報処理装置、情報処理方法および記憶媒体
JP7479965B2 (ja) 2020-07-02 2024-05-09 日野自動車株式会社 車両制御装置及び車両制御方法
WO2022050200A1 (ja) * 2020-09-07 2022-03-10 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN113335300A (zh) * 2021-07-19 2021-09-03 中国第一汽车股份有限公司 一种人车接管交互的方法、装置、设备和存储介质
WO2023176256A1 (ja) * 2022-03-15 2023-09-21 株式会社デンソー 処理方法、運転システム、処理プログラム

Also Published As

Publication number Publication date
CN111315627A (zh) 2020-06-19
JPWO2019097944A1 (ja) 2020-12-17
EP3712028A4 (en) 2021-04-21
KR20200086268A (ko) 2020-07-16
CN111315627B (zh) 2024-04-19
KR102672040B1 (ko) 2024-06-05
JP7299840B2 (ja) 2023-06-28
EP3712028A1 (en) 2020-09-23
US20200283028A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
WO2019097944A1 (ja) 情報処理装置および情報処理方法
JP7203035B2 (ja) 情報処理装置および情報処理方法
JP7352566B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7080598B2 (ja) 車両制御装置および車両制御方法
JP7155122B2 (ja) 車両制御装置及び車両制御方法
US20230211810A1 (en) Information processing device, mobile device, information processing system, and method
US20210188289A1 (en) Information processing device, moving apparatus, method, and program
KR20200113202A (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
US20220289250A1 (en) Information processing device, mobile device, information processing system, method, and program
WO2021131474A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2019208014A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP7238193B2 (ja) 車両制御装置および車両制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18877658

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019553760

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018877658

Country of ref document: EP

Effective date: 20200617