WO2022029907A1 - 通知装置および通知方法 - Google Patents

通知装置および通知方法 Download PDF

Info

Publication number
WO2022029907A1
WO2022029907A1 PCT/JP2020/029920 JP2020029920W WO2022029907A1 WO 2022029907 A1 WO2022029907 A1 WO 2022029907A1 JP 2020029920 W JP2020029920 W JP 2020029920W WO 2022029907 A1 WO2022029907 A1 WO 2022029907A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
notification
vehicle
completed
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/029920
Other languages
English (en)
French (fr)
Inventor
孝康 橋本
新作 福▲高▼
晶子 今石
美里 湯浅
宗貴 西平
信映 朴
恵美子 城戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2020572573A priority Critical patent/JP7066017B1/ja
Priority to PCT/JP2020/029920 priority patent/WO2022029907A1/ja
Priority to CN202080104437.3A priority patent/CN116113569B/zh
Priority to DE112020007491.9T priority patent/DE112020007491T5/de
Publication of WO2022029907A1 publication Critical patent/WO2022029907A1/ja
Priority to US18/077,261 priority patent/US12325454B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0057—Estimation of the time available or required for the handover

Definitions

  • the present disclosure relates to a notification device and a notification method for notifying a moving driver of an operation requesting implementation.
  • driving authority may be transferred to the driver from the vehicle being autonomously driven. For example, when the vehicle finishes driving in the autonomous driving lane, the driving authority of the vehicle is transferred from the vehicle to the driver. However, if the automatic driving of the vehicle continues for a long time, the reaction speed of the driver may become slow and the driver may not be able to get a sense of driving operation.
  • Patent Document 1 there is a vehicle control device described in Patent Document 1 as a conventional technique for regaining a driver's sense of driving operation that has become dull due to automatic driving of a vehicle.
  • This vehicle control device is mounted on a vehicle in which, during automatic driving, the driving operation unit used for the driving operation and the driving device for moving the vehicle are temporarily separated from each other. Therefore, the driving operation using the driving operation unit by the driver is a so-called dummy driving operation that is not reflected in the movement of the vehicle even if it is performed.
  • the vehicle control device described in Patent Document 1 is a so-called manual driving preparation period from the notification that the driving authority is transferred from the vehicle to the driver to the transfer of the driving authority to the driver.
  • the operation request is presented to the driver, the input of the signal based on the driver's operation is accepted, and the difference between the value obtained from the signal based on the driver's operation and the reference value according to the operation request is Switch the vehicle to manual driving if it is within acceptable limits.
  • the driver may transfer the driving authority from the vehicle to himself even when the vehicle is automatically driving, so the driver does not always perform only the operation unrelated to the driving operation of the vehicle, and the driver does not always perform a dummy driving. Often the operation is carried out.
  • the vehicle since the vehicle has various driving operations, in order for the driver to regain the driving operation feeling, different driving operations are performed evenly, rather than performing the same driving operation multiple times during the preparation period for manual driving. It is better to carry out.
  • the driving operation is performed for the driver regardless of whether or not the driving operation has already been performed by the driver before the preparation period for manual driving. Is required. Therefore, the vehicle control device may re-request the driver to perform the driving operation that had been completed before the preparatory period for manual driving. In this case, the driver needs to perform the same driving operation that has been completed again during the preparation period for manual driving, and there is a problem that other driving operations cannot be performed during that period.
  • the present disclosure solves the above problems, and is a notification device and a notification that can prevent the driver from being requested to perform the operation completed before the transfer of the driving authority to the driver is notified.
  • the purpose is to get a method.
  • the notification device has an information acquisition unit that acquires operation information indicating the operation status of the driver of the mobile body, and the driver has the driving authority after notifying the transfer of the driving authority from the mobile body to the driver. It is equipped with a notification unit that notifies the driver of the operation requested to be performed before the transfer, and the notification unit is provided by the driver among the operations requesting the driver to perform the operation based on the operation information. Notify the operation that has not been completed.
  • the notification device According to the notification device according to the present disclosure, among the operations for requesting the driver to perform the operation from the notification of the transfer of the driving authority to the driver to the transfer of the driving authority to the driver, the driver Is notified of operations that have not been completed. Thereby, the notification device according to the present disclosure can prevent the driver from being requested to perform the operation that has been completed before the transfer of the driving authority to the driver is notified.
  • FIG. 4A is a screen view showing an example of a notification screen requesting the driver to perform an operation of gazing at the front of the vehicle
  • FIG. 4B is a screen view requesting the driver to perform an operation of grasping the steering with both hands
  • 4C is a screen view showing an example
  • FIG. 4C is a screen view showing an example of a notification screen requesting the driver to perform an operation of putting a foot on the accelerator pedal and the brake pedal
  • FIG. 4A is a screen view showing an example of a notification screen requesting the driver to perform an operation of gazing at the front of the vehicle
  • FIG. 4B is a screen view requesting the driver to perform an operation of grasping the steering with both hands
  • 4C is a screen view showing an example
  • FIG. 4C is a screen view showing an example of a notification screen requesting the driver to perform an operation of putting a foot on the accelerator pedal and the brake pedal
  • FIG. 2 It is a flowchart which shows the notification method which concerns on Embodiment 2. It is a figure which shows the transition example of the notification content of the operation in Embodiment 2.
  • FIG. It is a block diagram which shows the structure of the notification device which concerns on Embodiment 3.
  • FIG. It is a flowchart which shows the notification method which concerns on Embodiment 3.
  • It is a time change diagram which shows the outline of the determination process of the time to notify the transfer of the driving authority to the driver in Embodiment 3.
  • FIG. It is a block diagram which shows the structure of the notification device which concerns on Embodiment 4.
  • FIG. It is a flowchart which shows the notification method which concerns on Embodiment 4.
  • It is a time change diagram which shows the outline of the determination process of the time to notify the transfer of the driving authority to the driver in Embodiment 4.
  • FIG. 1 is a block diagram showing a configuration of a vehicle control system 1 provided with a notification device 10.
  • the vehicle control system 1 is a system mounted on a moving body capable of manual driving by a driver and automatic driving not by a driver, for example, a vehicle such as an automobile, and controls the operation of the vehicle.
  • the vehicle control device 2 controls the vehicle engine 4, the transmission 5, the brake actuator 6, the steering actuator 7, the winker 8, and the headlight 9 by using the sensor information detected by the sensor group 3.
  • various controls are performed to realize the automatic operation of the vehicle.
  • Various controls include, for example, lane keeping control, navigation control, and stop control.
  • the vehicle control device 2 determines the transfer of driving authority from the vehicle to the driver, and sets a planned point for switching to manual driving.
  • the vehicle control device 2 outputs to the notification device 10 schedule information indicating that the driving authority is transferred from the vehicle to the driver before a certain time when the vehicle actually reaches the scheduled point.
  • the sensor group 3 shown in FIG. 1 includes, for example, an accelerator sensor 3a, a brake sensor 3b, a steering sensor 3c, an in-vehicle camera 3d, a seat belt sensor 3e, a seating sensor 3f, an in-vehicle light sensor 3g, a GPS device 3h, and a navigation system 3i.
  • An out-of-vehicle camera 3j and an object detection sensor 3k are included.
  • the accelerator sensor 3a is a sensor that detects contact with the accelerator pedal and the amount of pedal operation.
  • the accelerator sensor 3a outputs sensor information indicating that the driver puts his foot on the accelerator pedal and the pedal operation amount, which is the accelerator opening degree, to the vehicle control device 2.
  • the brake sensor 3b is a sensor that detects contact with the brake pedal and the amount of pedal operation.
  • the brake sensor 3b outputs sensor information indicating that the driver has put his foot on the brake pedal and the pedal operation amount to the vehicle control device 2.
  • the steering sensor 3c is a sensor that detects contact with the steering and the amount of steering operation.
  • the steering sensor 3c outputs sensor information indicating that the driver has grasped the steering wheel and the amount of steering operation to the vehicle control device 2.
  • the in-vehicle camera 3d is a camera provided in front of the vehicle to capture a field of view including the driver's seat side in the vehicle.
  • the in-vehicle camera 3d captures an image of the upper body including the face of the driver seated in the driver's seat, and outputs the image pickup information to the vehicle control device 2.
  • the seatbelt sensor 3e is a sensor that detects the attachment / detachment of the seatbelt of each seat of the vehicle. For example, the seatbelt sensor 3e outputs sensor information indicating the attachment / detachment of the seatbelt in the seat where the seating sensor 3f has detected that the occupant is seated to the vehicle control device 2.
  • the seating sensor 3f is a sensor provided in each seat of the vehicle to detect whether or not the occupant is seated. For example, a pressure detection sensor is used in the seating sensor 3f to detect the pressing force received by the seat when the occupant sits down.
  • the seating sensor 3f outputs sensor information indicating the seating and leaving of the occupant to the vehicle control device 2.
  • the in-vehicle light sensor 3g is a sensor provided in the vehicle that detects the on / off of the so-called in-vehicle light, and outputs sensor information indicating whether the in-vehicle light is on or off to the vehicle control device 2.
  • the GPS device 3h is a global positioning system that detects the position of a vehicle using radio waves transmitted by GPS satellites.
  • the GPS device 3h outputs position information indicating the position of the vehicle to the vehicle control device 2 and the navigation system 3i.
  • the navigation system 3i is a system that calculates a recommended route to guide the vehicle to the destination based on the position information of the vehicle detected by the GPS device 3h and the map information around the vehicle.
  • the navigation system 3i may communicate with the server, receive external information such as traffic congestion information and traffic closure information of the vehicle's destination from the server, and calculate a recommended route reflecting the received external information.
  • the navigation system 3i may be a system that transmits the position information and the destination information of the vehicle to the server, receives the recommended route calculated by the server, and notifies the driver.
  • the outside camera 3j is a camera that captures the outside of the car.
  • the vehicle outside camera 3j is provided, for example, on the front, rear, and left and right sides of the vehicle, and outputs each image pickup information on the front, rear, and left and right sides of the vehicle to the vehicle control device 2.
  • the vehicle control device 2 can control the vehicle in consideration of the existence of an object such as a person or a vehicle around the vehicle based on the image pickup information captured by the external camera 3j.
  • the object detection sensor 3k is a sensor that detects an object around the vehicle, and is, for example, an ultrasonic sensor, a radar sensor, a millimeter wave radar sensor, or an infrared laser sensor.
  • the object detection sensor 3k calculates the position of an object existing around the vehicle and the distance between the vehicle and the object, and outputs sensor information indicating the calculated position and distance of the object to the vehicle control device 2. Further, the vehicle control device 2 may calculate the position of the object and the distance between the vehicle and the object based on the sensor information of the object detected by the object detection sensor 3k.
  • the engine 4 generates power to drive the vehicle.
  • the engine 4 may be an internal combustion engine that generates power to rotate wheels by using gasoline as fuel, or may be a motor that generates power to rotate wheels by electric power.
  • the engine 4 can operate based on the instruction of the vehicle control device 2.
  • the transmission 5 transmits the power generated by the engine 4 to the wheels of the vehicle.
  • the transmission 5 can change the torque transmitted to the wheels by changing the gear based on the instruction of the vehicle control device 2.
  • the brake actuator 6 is an actuator that operates a brake that decelerates the vehicle. For example, the brake actuator 6 can automatically operate the brake based on the instruction of the vehicle control device 2 regardless of the driver.
  • the steering actuator 7 is an actuator that controls the operation of steering to change the moving direction of the vehicle. For example, the steering actuator 7 can automatically operate the steering regardless of the driver to change the moving direction of the vehicle based on the instruction of the vehicle control device 2.
  • the winker 8 is a turn signal that transmits the traveling direction of the vehicle to the outside of the vehicle by emitting light. For example, the winker 8 blinks based on the instruction of the vehicle control device 2 to notify the outside of the vehicle of the traveling direction of the vehicle.
  • the headlight 9 is a lighting device provided on the front side of the vehicle and irradiating the front of the vehicle with light. For example, the headlights 9 are provided on the left side and the right side in front of the vehicle, and by switching the structure of the path light portion that guides the irradiated light, the high beam that illuminates a long distance and the low beam that illuminates a distance closer than the high beam can be switched. Is possible.
  • the notification device 10 notifies the driver of the operation requesting the driver between the time when the transfer of the driving authority from the vehicle to the driver is notified and the time when the driving authority is transferred to the driver. For example, the notification device 10 notifies the operation that the driver has not completed the operation among the operations stored in the operation database 11 based on the operation information acquired from the vehicle control device 2.
  • the operation information is information indicating the operation status by the driver of the vehicle.
  • the operation information includes, for example, information indicating the state of the occupants in the vehicle and information indicating the state in the vehicle, in addition to the operation status of the driving operation tool of the vehicle by the driver.
  • the operation database 11 is a database in which various operations that require the driver to perform are stored for the purpose of regaining the driver's sense of driving operation that has become dull due to the automatic driving of the vehicle.
  • the operation required to be performed by the driver includes, for example, a steering operation, an accelerator operation, a brake operation, a driving operation using a driving operation tool such as turning on / off the winker 8 or turning on / off the headlight 9.
  • the operations required to be performed by the driver include, for example, "gaze in front of the vehicle", “hold the steering with both hands", “put your foot on the accelerator pedal and brake pedal", and "check the side and rear of the vehicle".
  • the operation of specifying the driver's state such as "" is also included.
  • the operations for requesting the driver to be performed include, for example, an operation for designating the state of the occupant of the vehicle such as "fastening the seat belt of the occupant of the vehicle” and an operation for specifying the state inside the vehicle such as “turning off the lights in the vehicle”. Is also included.
  • the display device 12 is a device that visually notifies the driver of the vehicle of information, and is, for example, a head-up display (hereinafter referred to as HUD) or a meter display.
  • the HUD is a display that projects display information onto the windshield of the vehicle or a combiner provided in front of the driver's seat in the vehicle.
  • the meter display is a display provided in front of the driver's seat in the vehicle to display the meters of the vehicle.
  • the voice output device 13 is a device for aurally notifying information to the driver of the vehicle, for example, a speaker provided in the vehicle.
  • the notification device 10 includes an information acquisition unit 101 and a notification unit 102.
  • the notification unit 102 includes a determination unit 1021 and a notification control unit 1022.
  • the information acquisition unit 101 acquires operation information from the vehicle control device 2. Based on the driver's operation information acquired by the information acquisition unit 101, the determination unit 1021 determines whether or not there is an operation stored in the operation database 11 that the driver has not completed. ..
  • the notification control unit 1022 visually or audibly notifies the driver of the operation determined by the determination unit 1021 that the driver has not completed the execution.
  • FIG. 2 is a diagram showing an example of the notification screen 12A of the operation requesting the driver to perform the operation, and shows the operation requesting the driver to perform the operation with image information.
  • the image information 14a indicates "gaze in front of the vehicle”.
  • Image information 14b indicates “hold the steering with both hands”.
  • Image information 14c indicates "put your foot on the accelerator pedal and the brake pedal”.
  • the image information 14a, 14b, and 14c are output to the display device 12.
  • the display device 12 displays the notification screen 12A including the image information 14a, 14b, and 14c. Since the notification device 10 notifies only the operations that have not been completed, it is possible to prevent the driver from being requested to perform the operations that have been completed again.
  • the notification unit 102 may say, “Gaze in front of the vehicle,” “hold the steering with both hands,” and “put a foot on the accelerator pedal and the brake pedal,” before notifying the driver that the driving authority is transferred.
  • the voice information indicating these operations is output to the voice output device 13.
  • the voice output device 13 outputs voices such as "Please look at the front of the vehicle”, “Please hold the steering wheel with both hands”, and “Please put your foot on the accelerator pedal and the brake pedal”. Even if the notification device 10 aurally notifies the operation that has not been completed, the notification device 10 requests the driver to perform the operation that has been completed again, as in the case of visually notifying the operation. Can be prevented.
  • FIG. 3 is a flowchart showing the notification method according to the first embodiment, and shows the operation of the notification device 10.
  • the vehicle control device 2 decides to transfer the driving authority from the vehicle to the driver, and the driving authority is scheduled to be transferred from the vehicle to the driver. It starts when the schedule information indicating that there is is output to the notification device 10.
  • the vehicle control device 2 generates operation information indicating the operation status of the driver based on the sensor information sequentially detected by the sensor group 3, regardless of the output of the schedule information, and when the generated operation information is used. Holds series data.
  • the information acquisition unit 101 acquires operation information from the vehicle control device 2 (step ST1). For example, the information acquisition unit 101 acquires time-series data from the operation information at a time retroactive to a certain time in the past to the latest operation information based on the time when the schedule information output from the vehicle control device 2 is acquired. .. The operation information acquired by the information acquisition unit 101 is output to the notification unit 102.
  • the determination unit 1021 determines whether or not there is an operation stored in the operation database 11 that the driver has not completed, based on the operation information acquired by the information acquisition unit 101. Determination (step ST2). For example, an execution completion condition is set for each operation stored in the operation database 11. If the operation status indicated by the operation information satisfies the execution completion condition of the operation corresponding to the operation information, the determination unit 1021 determines that the driver has completed the execution of the operation, and determines the execution completion condition. If not, it is determined that the driver has not completed the implementation.
  • step ST2 determines that the execution of all the operations requested to be performed by the driver has been completed (step ST2; NO)
  • the notification control unit 1022 shifts to the process of step ST8. Further, when the determination unit 1021 determines that there is an operation for which the driver has not completed the operation among the operations requested to be performed by the driver (step ST2; YES), the notification control unit 1022 is notified from the vehicle. Information indicating that the driving authority is transferred to the driver (hereinafter referred to as the driving authority transfer notification) and the operation that the driver has not completed the implementation are notified, and the driver has completed the implementation. The operation is not notified (step ST3).
  • FIG. 4A is a screen view showing an example of the notification screen 12A requesting the driver to perform an operation of gazing at the front of the vehicle.
  • FIG. 4B is a screen view showing an example of the notification screen 12A requesting the driver to perform an operation of grasping the steering with both hands.
  • FIG. 4C is a screen view showing an example of the notification screen 12A requesting the driver to perform an operation of putting a foot on the accelerator pedal and the brake pedal.
  • FIG. 4D is a screen view showing an example of the notification screen 12A that requires the driver to perform an operation of gazing at the front of the vehicle and an operation of grasping the steering with both hands.
  • the operations required to be performed by the driver are "gaze operation in front of the vehicle", "operation of grasping the steering with both hands” and "putting the foot on the accelerator pedal and the brake pedal”. Operation ".
  • the notification control is performed.
  • the unit 1022 excludes these operations from the notification target, and determines the "gaze operation in front of the vehicle” as the notification target.
  • the notification control unit 1022 outputs the image information 14a indicating the “gaze operation in front of the vehicle” to the display device 12. As shown in FIG. 4A, the display device 12 displays the notification screen 12A including the image information 14a.
  • the notification control unit 1022 excludes these operations from the notification target, and determines "the operation of grasping the steering with both hands” as the notification target.
  • the notification control unit 1022 outputs the image information 14b indicating "the operation of grasping the steering with both hands" to the display device 12. As shown in FIG. 4B, the display device 12 displays the notification screen 12A including the image information 14b.
  • the notification control unit 1022 performs these operations. Is excluded from the notification target, and "the operation of putting the foot on the accelerator pedal and the brake pedal” is determined as the notification target.
  • the notification control unit 1022 outputs the image information 14c indicating "the operation of putting the foot on the accelerator pedal and the brake pedal" to the display device 12. As shown in FIG. 4C, the display device 12 displays the notification screen 12A including the image information 14c.
  • the notification control unit 1022 excludes this operation from the notification target and " “Gaze operation in front of the vehicle” and “operation of holding the steering wheel with both hands” are determined as notification targets.
  • the notification control unit 1022 outputs the image information 14a indicating "the gaze operation in front of the vehicle” and the image information 14b indicating "the operation of grasping the steering with both hands” to the display device 12.
  • the display device 12 displays the notification screen 12A including the image information 14a and the image information 14b.
  • the notification device 10 can prevent the driver from being requested to perform the operation that has been completed before the notification of the transfer of driving authority.
  • the notification control unit 1022 may notify the simulated operation of the vehicle by performing the notified operation.
  • the notification control unit 1022 causes the display device 12 to display how the vehicle travels in the case of manual driving by the steering operation by the driver. As a result, the driver can more reliably regain the feeling of driving operation.
  • the information acquisition unit 101 acquires from the vehicle control device 2 from the past operation information to the latest operation information while the notification control unit 1022 notifies the driver of the operation requested to be performed (step ST4).
  • the determination unit 1021 determines whether or not the driver has completed the execution of the notified operation based on the operation information acquired by the information acquisition unit 101 (step ST5). For example, the determination unit 1021 determines that the driver has completed the operation if the operation status indicated by the operation information corresponding to the operation notified to the driver satisfies the execution completion condition of the operation. If the implementation completion condition is not satisfied, it is determined that the driver has not completed the implementation.
  • FIG. 5 is a diagram showing a transition example (1) of the notification content of the operation in the first embodiment.
  • the operations required to be performed by the driver are three operations: "gaze operation in front of the vehicle", “operation of grasping the steering with both hands”, and “operation of putting a foot on the accelerator pedal and the brake pedal”.
  • Image information 14a, 14b and 14c are output to the display device 12. As shown in the upper part of FIG. 5, the display device 12 displays the notification screen 12A including the image information 14a, 14b, and 14c.
  • the notification control unit 1022 excludes the "gaze operation in front of the vehicle” from the notification target and outputs the image information 14a to the display device 12. Stop. As a result, the display device 12 displays the notification screen 12A including only the image information 14b and 14c, as shown in the middle part of FIG.
  • the notification control unit 1022 excludes the “operation of gripping the steering with both hands” from the notification target and outputs the image information 14b to the display device 12. To stop. As a result, the display device 12 displays the notification screen 12A including only the image information 14c, as shown in the lower part of FIG. Since the operations are not notified in the order in which the executions are completed, the driver can regain the driving operation feeling while recognizing that the operations requested by the notification device 10 have been performed.
  • step ST7 determines whether or not the execution of all the operations notified to the driver has been completed.
  • step ST2 among the operations requested to be performed by the driver, was there any operation that the driver did not complete (step ST2; NO), or all the operations notified to the driver were completed. If it is determined (step ST7; YES), the notification control unit 1022 determines that the driver has completed preparations for manual driving, and therefore transfers the driving authority to the vehicle control device 2 to the driver. Request (step ST8).
  • the vehicle control device 2 transfers the driving authority to the driver in response to the above request from the notification device 10. Since the driver is ready for manual driving, he / she can drive the vehicle smoothly.
  • step ST9 If the determination unit 1021 determines that some of the operations notified to the driver have not been completed (step ST7; NO), is there enough time until the scheduled time to transfer the driving authority to the driver? It is determined whether or not (step ST9).
  • the determination unit 1021 determines that there is a margin until the driving authority is transferred to the driver (step ST9; YES)
  • the information acquisition unit 101 controls the vehicle from the past operation information to the latest operation information. Obtained from device 2 (step ST10).
  • the determination unit 1021 determines whether or not any of the operations notified to the driver in step ST3 does not satisfy the execution completion condition (step ST11). ). That is, the determination unit 1021 determines whether or not there is an operation that does not satisfy the execution completion condition before the execution of all the operations notified in step ST3 is completed among the operations that the driver has completed. When there is no operation that does not satisfy the execution completion condition (step ST11; NO), the notification device 10 returns to the process of step ST1 and repeats a series of processes shown in FIG.
  • step ST11 If it is determined by the determination unit 1021 that there is an operation that does not satisfy the execution completion condition (step ST11; YES) before the execution of all the operations notified to the driver is completed, the notification control unit 1022 will perform step ST3. Move to the processing of. As a result, the notification control unit 1022 notifies the operation that does not satisfy the execution completion condition again.
  • FIG. 6 is a diagram showing a transition example (2) of the notification content of the operation in the first embodiment.
  • the operations required to be performed by the driver are three operations: “gaze operation in front of the vehicle", “operation of grasping the steering with both hands”, and “operation of putting a foot on the accelerator pedal and the brake pedal”.
  • Notification control unit 1022 when the driver has not completed any of the "gaze operation in front of the vehicle", the “operation of holding the steering wheel with both hands”, and the "operation of putting the foot on the accelerator pedal and the brake pedal”.
  • the display device 12 displays the notification screen 12A including the image information 14a, 14b and 14c.
  • the notification control unit 1022 "gaze operation in front of the vehicle” and “operation of holding the steering with both hands”. Is excluded from the notification target, and the output of the image information 14a and the image information 14b to the display device 12 is stopped. As a result, the display device 12 displays the notification screen 12A including only the image information 14c, as shown in the middle of FIG.
  • the notification control unit 1022 outputs the image information 14a to the display device 12 with the "gaze operation in front of the vehicle” as the notification target again.
  • the display device 12 displays the image information 14c and the image information 14a again on the notification screen 12A, as shown in the lower part of FIG. Since the operation that does not satisfy the execution completion condition is notified again, the driver can surely execute the operation requested by the notification device 10.
  • the driver can determine that the preparation for manual operation is not completed. Therefore, when the determination unit 1021 determines that there is no time to spare until the scheduled time for transferring the driving authority to the driver (step ST9; NO), the notification control unit 1022 is not ready for manual operation.
  • the vehicle control device 2 is requested to stop the vehicle so that the driving authority is not transferred to the person (step ST12).
  • the vehicle control device 2 is a place where the vehicle can be safely stopped based on, for example, the position information of the vehicle detected by the GPS device 3h and the map information around the vehicle.
  • the place where the vehicle can be safely stopped includes, for example, a parking lot such as a commercial facility, a gas station or a public parking lot, but in an emergency, it may be a shoulder.
  • the vehicle control device 2 searches for a place where the vehicle can be safely stopped, the vehicle control device 2 automatically stops the vehicle at the place of the search result.
  • the hardware configuration that realizes the function of the notification device 10 is as follows.
  • the functions of the information acquisition unit 101 and the notification unit 102 included in the notification device 10 are realized by the processing circuit. That is, the notification device 10 includes a processing circuit that executes the processing from step ST1 to step ST12 shown in FIG.
  • the processing circuit may be dedicated hardware or a CPU (Central Processing Unit) that executes a program stored in the memory.
  • CPU Central Processing Unit
  • FIG. 7 is a block diagram showing a hardware configuration that realizes the function of the notification device 10.
  • FIG. 8 is a block diagram showing a hardware configuration for executing software that realizes the function of the notification device 10.
  • the input interface 1000 is an interface for relaying, for example, sensor information output from the vehicle control device 2 to the notification device 10 or information indicating an operation output from the operation database 11 to the notification device 10.
  • the output interface 1001 is an interface for relaying information output from the notification device 10 to the display device 12 or the voice output device 13 indicating an operation requesting the driver to perform the operation.
  • the processing circuit 1002 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, or an ASIC (Application Specific). Integrated Circuit), FPGA (Field-Programmable Gate Array), or a combination of these is applicable.
  • the functions of the information acquisition unit 101 and the notification unit 102 included in the notification device 10 may be realized by separate processing circuits, or these functions may be collectively realized by one processing circuit.
  • the processing circuit is the processor 1003 shown in FIG. 8, the functions of the information acquisition unit 101 and the notification unit 102 included in the notification device 10 are realized by software, firmware, or a combination of software and firmware.
  • the software or firmware is described as a program and stored in the memory 1004.
  • the processor 1003 realizes the functions of the information acquisition unit 101 and the notification unit 102 included in the notification device 10 by reading and executing the program stored in the memory 1004.
  • the notification device 10 includes a memory 1004 for storing a program in which the processes from steps ST1 to ST12 in the flowchart shown in FIG. 3 are executed as a result when executed by the processor 1003. These programs cause the computer to execute the procedure or method of the information acquisition unit 101 and the notification unit 102.
  • the memory 1004 may be a computer-readable storage medium in which a program for making the computer function as an information acquisition unit 101 and a notification unit 102 is stored.
  • the memory 1004 may be, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically-volatile) or a EEPROM (Electrically-EMMORY). This includes discs, flexible discs, optical disks, compact discs, mini discs, DVDs, and the like.
  • a part of the functions of the information acquisition unit 101 and the notification unit 102 included in the notification device 10 may be realized by dedicated hardware, and a part may be realized by software or firmware.
  • the information acquisition unit 101 realizes its function by the processing circuit 1002 which is dedicated hardware
  • the notification unit 102 realizes its function by reading and executing the program stored in the memory 1004 by the processor 1003. Will be done.
  • the processing circuit can realize the above-mentioned functions by hardware, software, firmware or a combination thereof.
  • the notification device 10 is an operation for requesting the driver to perform the operation from the notification of the transfer of the driving authority to the driver to the transfer of the driving authority to the driver.
  • the driver notifies the operation that has not been completed.
  • the driver only needs to perform the operation notified by the notification device 10, so that the notification device 10 has been completed by the driver before the transfer of the driving authority to the driver is notified. It is possible to prevent the execution of the operation from being requested again.
  • FIG. 9 is a block diagram showing a configuration of the notification device 10A according to the second embodiment.
  • the notification device 10A among the operations stored in the operation database 11, the operations that the driver has not completed and the operations that the driver has completed the execution are completed based on the operation information acquired from the vehicle control device 2. Notify the operation that was being performed separately.
  • the notification device 10A includes an information acquisition unit 101 and a notification unit 102A.
  • the notification unit 102A includes a determination unit 1021 and a notification control unit 1022A.
  • the same components as those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
  • the notification control unit 1022A separately notifies the operation that the driver has not completed the execution and the operation that the driver has completed the execution.
  • the notification control unit 1022A causes the notification screen 12A of the display device 12 to display the image information indicating the completion of the execution superimposed on the image information indicating the operation for which the driver has completed the execution.
  • the image information indicating the completion of the implementation has, for example, a check mark.
  • the notification control unit 1022A may set at least one of the display size and the display color of the image information indicating the operation that the driver has completed the execution to be different from the operation that the driver has not completed the execution. good.
  • the notification control unit 1022A may output voice information indicating the operation that the driver has completed the execution to the voice output device 13 in addition to the operation that the driver has not completed the execution.
  • the voice output device 13 "has completed the operation of putting the foot on the accelerator pedal and the brake pedal, but the operation of gazing in front of the vehicle and the operation of grasping the steering with both hands have not been completed. Is output. Even if the operation is audibly notified, the driver can recognize the operation that has been performed and the operation that has not been performed.
  • FIG. 10 is a flowchart showing the notification method according to the second embodiment, and shows the operation of the notification device 10A.
  • the vehicle control device 2 decides to transfer the driving authority from the vehicle to the driver, and the driving authority is scheduled to be transferred from the vehicle to the driver. It starts when the schedule information indicating that there is is output to the notification device 10A.
  • the vehicle control device 2 generates operation information indicating the operation status of the driver based on the sensor information sequentially detected by the sensor group 3, regardless of the output of the schedule information, and when the generated operation information is used. Holds series data.
  • the information acquisition unit 101 acquires operation information from the vehicle control device 2 (step ST1a). For example, the information acquisition unit 101 acquires time-series data from the operation information at a time retroactive to a certain time in the past to the latest operation information based on the time when the schedule information output from the vehicle control device 2 is acquired. .. The operation information acquired by the information acquisition unit 101 is output to the notification unit 102A.
  • the determination unit 1021 determines whether or not there is an operation stored in the operation database 11 that the driver has not completed, based on the operation information acquired by the information acquisition unit 101. Determination (step ST2a). For example, an execution completion condition is set for each operation stored in the operation database 11. If the operation status indicated by the operation information satisfies the execution completion condition of the operation corresponding to the operation information, the determination unit 1021 determines that the driver has completed the execution of the operation, and determines the execution completion condition. If not, it is determined that the driver has not completed the implementation.
  • step ST2a determines that the execution of all the operations requested to be performed by the driver has been completed (step ST2a; NO)
  • the notification control unit 1022A shifts to the process of step ST6a.
  • the determination unit 1021 determines that there is an operation for which the driver has not completed the operation among the operations requested to be performed by the driver (step ST2a; YES)
  • the notification control unit 1022A determines from the vehicle to the driver.
  • Information indicating that the driving authority is transferred to is notified (hereinafter referred to as the driving authority transfer notification), and further, the operation that the driver has not completed the implementation and the operation that the driver has completed the implementation (Step ST3a).
  • FIG. 11 is a diagram showing a transition example of the notification content of the operation in the second embodiment.
  • the operations required to be performed by the driver are three operations: “gaze operation in front of the vehicle", “operation of grasping the steering with both hands”, and “operation of putting a foot on the accelerator pedal and the brake pedal”. If the driver has not completed any of the "gaze operation in front of the vehicle", the “operation of grasping the steering with both hands", and the “operation of putting the foot on the accelerator pedal and the brake pedal", the notification control unit 1022A will perform the operation.
  • the image information 14a, 14b and 14c are output to the display device 12. As shown in the upper part of FIG. 11, the display device 12 displays the notification screen 12A including the image information 14a, 14b, and 14c.
  • the notification control unit 1022A displays the image information 14a indicating the "gaze operation in front of the vehicle”.
  • the check mark image 14 for displaying on the image information 14b indicating "the operation of putting the foot on the accelerator pedal and the brake pedal” are output to the display device 12.
  • the display device 12 displays the notification screen 12A in which the check mark image 14 is superimposed on the image information 14a and the image information 14c.
  • the notification control unit 1022 displays the check mark image 14 for displaying on the "operation of gripping the steering with both hands” on the display device 12.
  • the display device 12 displays the notification screen 12A on which the check mark image 14 is superimposed on the image information 14a, 14b, and 14c, as shown in the lower part of FIG. Since the check marks are added to the operations in the order in which the executions are completed, the driver can regain the driving operation feeling while recognizing that the operations requested by the notification device 10A have been performed.
  • the information acquisition unit 101 acquires from the vehicle control device 2 from the past operation information to the latest operation information while the notification control unit 1022A notifies the driver of the operation requested to be performed (step ST4a).
  • the determination unit 1021 determines whether or not all the operations notified to the driver have been completed based on the operation information acquired by the information acquisition unit 101 (step ST5a). Subsequent processes from step ST6a to step ST10a are the same as the processes from step ST8 to step ST12 shown in FIG. 3, and thus the description thereof will be omitted.
  • the notification device 10A includes a processing circuit for executing the processing from step ST1a to step ST10a shown in FIG.
  • the processing circuit may be the processing circuit 1002 of the dedicated hardware shown in FIG. 7, or may be the processor 1003 that executes the program stored in the memory 1004 shown in FIG.
  • the notification unit 102A separately notifies the operation in which the driver has not completed the implementation and the operation in which the driver has completed the implementation.
  • the driver may perform the operation that has not been completed among the operations notified by the notification device 10A, so that the notification device 10A is before the transfer of the driving authority to the driver is notified. It is possible to prevent the driver from being requested to perform the operation that has been completed.
  • FIG. 12 is a block diagram showing a configuration of the notification device 10B according to the third embodiment.
  • the notification device 10B changes the notification timing of the transfer of driving authority from the vehicle to the driver and the operation requested to be performed by the driver, depending on the number of operations that the driver has not completed.
  • the notification device 10B includes an information acquisition unit 101 and a notification unit 102B.
  • the notification unit 102B includes a determination unit 1021 and a notification control unit 1022B.
  • the same components as those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
  • the notification control unit 1022B changes the notification timing of the transfer of driving authority from the vehicle to the driver and the operation requested to be performed by the driver according to the number of operations that the driver has not completed. For example, the notification control unit 1022B completes the driving authority transfer notification and the driver's execution at a time corresponding to the number of operations stored in the operation database 11 that the driver has not completed. The display device 12 or the voice output device 13 is notified of the operation that has not been performed.
  • FIG. 13 is a flowchart showing the notification method according to the third embodiment, and shows the operation of the notification device 10B.
  • the vehicle control device 2 decides to transfer the driving authority from the vehicle to the driver, and the driving authority is scheduled to be transferred from the vehicle to the driver. It starts when the schedule information indicating that there is is output to the notification device 10B.
  • the vehicle control device 2 generates operation information indicating the operation status of the driver based on the sensor information sequentially detected by the sensor group 3, regardless of the output of the schedule information, and when the generated operation information is used. Holds series data.
  • the information acquisition unit 101 acquires operation information from the vehicle control device 2 (step ST1b). For example, the information acquisition unit 101 acquires time-series data from the operation information at a time retroactive to a certain time in the past to the latest operation information based on the time when the schedule information output from the vehicle control device 2 is acquired. .. The operation information acquired by the information acquisition unit 101 is output to the notification unit 102B.
  • the determination unit 1021 determines whether or not there is an operation stored in the operation database 11 that the driver has not completed, based on the operation information acquired by the information acquisition unit 101. Determination (step ST2b). For example, an execution completion condition is set for each operation stored in the operation database 11. If the operation status indicated by the operation information satisfies the execution completion condition of the operation corresponding to the operation information, the determination unit 1021 determines that the driver has completed the execution of the operation, and determines the execution completion condition. If not, it is determined that the driver has not completed the implementation.
  • step ST2b determines that the execution of all the operations requested to be performed by the driver has been completed (step ST2b; NO)
  • the notification control unit 1022B shifts to the process of step ST9b.
  • the determination unit 1021 determines that there is an operation for which the driver has not completed the operation among the operations requested to be performed by the driver (step ST2b; YES)
  • the notification control unit 1022B is performed by the driver.
  • the notification time of the transfer of driving authority and the notification of the operation requesting the driver to perform is changed according to the number of operations that have not been completed (step ST3b).
  • FIG. 14 is a time change diagram showing an outline of the time determination process for notifying the transfer of driving authority to the driver in the third embodiment.
  • the operations required to be performed by the driver are three operations: “gaze operation in front of the vehicle”, “operation of grasping the steering with both hands”, and “operation of putting a foot on the accelerator pedal and the brake pedal”.
  • the information acquisition unit 101 acquires the schedule information indicating that the driving authority is transferred from the vehicle to the driver from the vehicle control device 2, as shown by "not yet” in FIG. 14, "gaze operation in front of the vehicle". , If neither the “operation of holding the steering wheel with both hands” nor the “operation of putting the foot on the accelerator pedal and the brake pedal” is completed, it is judged that the number of operations to be performed by the driver is large.
  • the notification control unit 1022B is used from the vehicle when all of the "gaze operation in front of the vehicle", the "operation of grasping the steering with both hands” and the “operation of putting the foot on the accelerator pedal and the brake pedal” have not been completed.
  • the time A which has the longest time interval TA with the time D at which the driving authority is transferred to the driver, is determined as the time at which the driving authority transfer notification and the above operation are notified.
  • the notification control unit 1022B has a time interval with the time D at which the driving authority is transferred from the vehicle to the driver.
  • the time B which is TB, is determined as the time for notifying the driver authority transfer notification and the above operation.
  • the time interval TB is shorter than the time interval TA.
  • the notification control unit 1022B has a time interval of TC with the time D at which the driving authority is transferred from the vehicle to the driver.
  • the time C is determined as the time for notifying the driver authority transfer notification and the above operation.
  • the time interval TC is shorter than the time interval TA and the time interval TB. As a result, the driver can perform the notified operation with a margin.
  • step ST4b to step ST13b is the same as the processing from step ST3 to step ST12 shown in FIG. 3, so the description thereof will be omitted.
  • the notification device 10A includes a processing circuit for executing the processing from step ST1c to step ST13c shown in FIG.
  • the processing circuit may be the processing circuit 1002 of the dedicated hardware shown in FIG. 7, or may be the processor 1003 that executes the program stored in the memory 1004 shown in FIG.
  • the notification unit 102B transfers the driving authority from the vehicle to the driver according to the number of operations that the driver has not completed. Change the notification time of the operation that requires the driver to perform. For example, if the operation for which the driver has not completed the execution exceeds the threshold value, the notification time is advanced. As a result, the driver can perform the notified operation with a margin, so that the notification device 10B can surely make the driver perform the notified operation.
  • FIG. 15 is a block diagram showing a configuration of the notification device 10C according to the fourth embodiment.
  • the notification device 10C changes the notification timing of the transfer of driving authority from the vehicle to the driver and the operation requested to be performed by the driver, depending on the content of the operation that the driver has not completed.
  • the notification device 10C includes an information acquisition unit 101 and a notification unit 102C.
  • the notification unit 102C includes a determination unit 1021 and a notification control unit 1022C.
  • the same components as those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
  • the notification control unit 1022C changes the notification timing of the operation that the driver is requested to perform and that the driving authority is transferred from the vehicle to the driver according to the content of the operation that the driver has not completed. For example, each operation stored in the operation database 11 is set with an execution completion time that is expected to be completed by the driver according to the content thereof.
  • the notification control unit 1022C outputs a notification of transfer of driving authority and an operation for which the driver has not completed the execution to the display device 12 or a voice output at a time corresponding to the total execution completion time of the operations requested to be performed by the driver. Notify the device 13.
  • FIG. 16 is a flowchart showing the notification method according to the fourth embodiment, and shows the operation of the notification device 10C.
  • the vehicle control device 2 decides to transfer the driving authority from the vehicle to the driver, and the driving authority is scheduled to be transferred from the vehicle to the driver. It starts when the schedule information indicating that there is is output to the notification device 10C.
  • the vehicle control device 2 generates operation information indicating the operation status of the driver based on the sensor information sequentially detected by the sensor group 3, regardless of the output of the schedule information, and when the generated operation information is used. Holds series data.
  • the information acquisition unit 101 acquires operation information from the vehicle control device 2 (step ST1c). For example, the information acquisition unit 101 acquires time-series data from the operation information at a time retroactive to a certain time in the past to the latest operation information based on the time when the schedule information output from the vehicle control device 2 is acquired. .. The operation information acquired by the information acquisition unit 101 is output to the notification unit 102C.
  • the determination unit 1021 determines whether or not there is an operation stored in the operation database 11 that the driver has not completed, based on the operation information acquired by the information acquisition unit 101. Determination (step ST2c). For example, an execution completion condition is set for each operation stored in the operation database 11. If the operation status indicated by the operation information satisfies the execution completion condition of the operation corresponding to the operation information, the determination unit 1021 determines that the driver has completed the execution of the operation, and determines the execution completion condition. If not, it is determined that the driver has not completed the implementation.
  • step ST2c determines that the execution of all the operations requested to be performed by the driver has been completed (step ST2c; NO)
  • the notification control unit 1022C shifts to the process of step ST9c.
  • the determination unit 1021 determines that there is an operation for which the driver has not completed the operation among the operations requested to be performed by the driver (step ST2c; YES)
  • the notification control unit 1022C is performed by the driver.
  • the notification time of the transfer of driving authority and the notification of the operation for which the driver is requested to be performed is changed according to the content of the operation for which the operation has not been completed (step ST3c).
  • FIG. 17 is a time change diagram showing an outline of the time determination process for notifying the transfer of driving authority to the driver in the fourth embodiment.
  • the operations required to be performed by the driver are three operations: “gaze operation in front of the vehicle”, “operation of grasping the steering with both hands”, and “operation of putting a foot on the accelerator pedal and the brake pedal”.
  • the notification control unit 1022C performs the operation for which the execution was not completed. Add the implementation completion time according to the content. For example, the execution completion time of the "gaze operation in front of the vehicle” is 15 seconds, the execution completion time of the "operation of grasping the steering with both hands” is 10 seconds, and the operation of putting a foot on the accelerator pedal and the brake pedal.
  • the implementation completion time of "" is 5 seconds.
  • the notification control unit 1022B is a value obtained by adding the execution completion times of each of "gaze operation in front of the vehicle", "operation of grasping the steering with both hands", and “operation of putting a foot on the accelerator pedal and the brake pedal” (for example, 30 seconds). ), Since it is determined that it takes the longest time to complete the implementation, the time interval TA1 with the time interval D when the driving authority is transferred from the vehicle to the driver is the longest time A1, the driving authority transfer notification and the above operation. And decide at the time to notify.
  • the notification control unit 1022B responds to the content of the "gaze operation in front of the vehicle" for which the implementation has not been completed. Based on the implementation completion time (for example, 15 seconds), the time B1 at which the time interval from the time D at which the driving authority is transferred from the vehicle to the driver is TB1 is notified, and the time for notifying the driving authority transfer notification and the above operation. To decide.
  • the time interval TB is shorter than the time interval TA.
  • the notification control unit 1022B has the execution completion time (for example, the operation of holding the steering wheel with both hands) according to the content of the "operation of holding the steering wheel with both hands” which has not been completed. 10 seconds) and the execution completion time (for example, 5 seconds) according to the content of the "operation of putting the foot on the accelerator pedal and the brake pedal" are added.
  • the notification control unit 1022B has a time interval of TB1 with the time D at which the driving authority is transferred from the vehicle to the driver based on the added value (for example, 15 seconds) of the execution completion time of the operation for which the execution has not been completed.
  • a certain time B1 is determined as a time for notifying the driver authority transfer notification and the above operation. As a result, the driver can perform the notified operation with a margin.
  • step ST4c to step ST13c is the same as the processing from step ST3 to step ST12 shown in FIG. 3, so the description thereof will be omitted.
  • the notification device 10C includes a processing circuit for executing the processing from step ST1b to step ST13b shown in FIG.
  • the processing circuit may be the processing circuit 1002 of the dedicated hardware shown in FIG. 7, or may be the processor 1003 that executes the program stored in the memory 1004 shown in FIG.
  • the notification unit 102C transfers the driving authority from the vehicle to the driver according to the content of the operation for which the driver has not completed the implementation. Change the notification time of the operation that requires the driver to perform. For example, if the expected time for the driver to complete the operation is long, the notification time is advanced. As a result, the driver can perform the notified operation with a margin, so that the notification device 10C can surely make the driver perform the notified operation.
  • the moving body has been described as being a vehicle in the first to fourth embodiments, any moving body may be used as long as it is capable of automatic driving and may transfer driving authority from the moving body to the driver. ..
  • the moving body may be a railroad, a ship or an aircraft.
  • the notification device has, for example, an automatic driving function, and can be used for a vehicle in which switching from automatic driving to manual driving is performed.
  • 1 vehicle control system 2 vehicle control device, 3 sensor group, 3a accelerator sensor, 3b brake sensor, 3c steering sensor, 3d in-vehicle camera, 3e seat belt sensor, 3f seating sensor, 3g in-vehicle light sensor, 3h GPS device, 3i navigation System, 3j outside camera, 3k object detection sensor, 4 engine, 5 transmission, 6 brake actuator, 7 steering actuator, 8 winker, 9 headlight, 10,10A, 10B, 10C notification device, 11 operation database, 12 display device , 12A notification screen, 13 audio output device, 14 check mark image, 14a, 14b, 14c image information, 101 information acquisition unit, 102, 102A, 102B, 102C notification unit, 1000 input interface, 1001 output interface, 1002 processing circuit, 1003 processor, 1004 memory, 1021 judgment unit, 1022, 1022A, 1022B, 1022C notification control unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Navigation (AREA)

Abstract

通知装置（１０）は、車両の運転者による運転操作状況を示す運転操作情報を取得する情報取得部（１０１）と、車両から運転者へ運転権限が移譲されることを通知してから運転者へ運転権限が移譲されるまでの間に運転者に実施を要求する運転操作を通知する通知部（１０２）とを備え、通知部（１０２）は、運転操作情報に基づいて、運転者に実施を要求する運転操作のうち、運転者が実施を完了していない運転操作を通知する。

Description

通知装置および通知方法
　本開示は、移動体の運転者に実施を要求する操作を通知する通知装置および通知方法に関する。
　自動運転が可能な車両において、自動運転中の車両から運転権限が運転者へ移譲される場合がある。例えば、車両が自動運転専用車線の走行を終了すると、車両の運転権限は、車両から運転者に移譲される。しかしながら、車両の自動運転が長く続いていた場合に、運転者の反応速度が鈍くなって運転操作感覚をつかめない可能性がある。
　そこで、車両の自動運転によって鈍った運転者の運転操作感覚を取り戻すことを目的とした従来の技術として、例えば、特許文献１に記載される車両制御装置がある。この車両制御装置は、自動運転中であると、運転操作に用いられる運転操作部と車両を動かす駆動装置との間が一時的に分離される車両に搭載されている。従って、運転者による運転操作部を用いた運転操作は、実施されても車両の動きに反映されない、いわゆるダミーの運転操作となる。
　特許文献１に記載された車両制御装置は、車両から運転者へ運転権限が移譲されることを通知してから運転者へ運転権限が移譲されるまでの間である、いわゆる手動運転の準備期間において、運転者に対して動作要求を提示して、運転者の動作に基づく信号の入力を受け付け、運転者の動作に基づく信号から得られた値と動作要求に応じた基準値との差が許容範囲内にある場合に、車両を手動運転に切り替える。
特開２０１７－１５６３号公報
　一般に、運転者は、車両が自動運転中であっても車両から自身に運転権限が移譲される可能性があるので、車両の運転操作と無関係の動作のみを実施するとは限らず、ダミーの運転操作を実施していることが多い。また、車両には様々な運転操作があるので、運転者が運転操作感覚を取り戻すためには、手動運転の準備期間に、同じ運転操作を複数回実施するよりも、異なる複数の運転操作を満遍なく実施した方がよい。
　しかしながら、特許文献１に記載された車両制御装置では、手動運転の準備期間の前に運転者が既に実施していた運転操作であるか否かに関わらず、運転者に対して運転操作の実施が要求される。このため、車両制御装置は、運転者が手動運転の準備期間の前に実施を完了していた運転操作の実施を再度要求する可能性がある。この場合、運転者は、実施を完了している同じ運転操作を手動運転の準備期間に再度実施する必要があり、その間は他の運転操作を実施できないという課題があった。
　本開示は上記課題を解決するものであって、運転者への運転権限の移譲が通知される前に運転者が実施を完了した操作の実施が再度要求されることを防止できる通知装置および通知方法を得ることを目的とする。
　本開示に係る通知装置は、移動体の運転者による操作状況を示す操作情報を取得する情報取得部と、移動体から運転者への運転権限の移譲を通知してから運転者へ運転権限が移譲されるまでの間に、運転者に実施を要求する操作を通知する通知部と、を備え、通知部は、操作情報に基づいて、運転者に実施を要求する操作のうち、運転者が実施を完了していない操作を通知する。
　本開示に係る通知装置によれば、運転者への運転権限の移譲を通知してから運転者へ運転権限が移譲されるまでの間に、運転者に実施を要求する操作のうち、運転者が実施を完了していない操作が通知される。これにより、本開示に係る通知装置は、運転者への運転権限の移譲が通知される前に運転者が実施を完了していた操作の実施が再度要求されることを防止できる。
実施の形態１に係る通知装置を備えた車両制御システムの構成を示すブロック図である。 運転者に実施を要求する操作の通知画面の一例を示す図である。 実施の形態１に係る通知方法を示すフローチャートである。 図４Ａは、運転者に車両前方を注視する操作の実施を要求する通知画面の一例を示す画面図であり、図４Ｂは、運転者にステアリングを両手で握る操作の実施を要求する通知画面の一例を示す画面図であり、図４Ｃは、運転者にアクセルペダルおよびブレーキペダルに足を添える操作の実施を要求する通知画面の一例を示す画面図であり、図４Ｄは、運転者に車両前方を注視する操作の実施とステアリングを両手で握る操作の実施とを要求する通知画面の一例を示す画面図である。 実施の形態１における操作の通知内容の遷移例（１）を示す図である。 実施の形態１における操作の通知内容の遷移例（２）を示す図である。 実施の形態１に係る通知装置の機能を実現するハードウェア構成を示すブロック図である。 実施の形態１に係る通知装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 実施の形態２に係る通知装置の構成を示すブロック図である。 実施の形態２に係る通知方法を示すフローチャートである。 実施の形態２における操作の通知内容の遷移例を示す図である。 実施の形態３に係る通知装置の構成を示すブロック図である。 実施の形態３に係る通知方法を示すフローチャートである。 実施の形態３における運転者への運転権限の移譲を通知する時期の決定処理の概要を示す時間変化図である。 実施の形態４に係る通知装置の構成を示すブロック図である。 実施の形態４に係る通知方法を示すフローチャートである。 実施の形態４における運転者への運転権限の移譲を通知する時期の決定処理の概要を示す時間変化図である。
実施の形態１．
　図１は、通知装置１０を備えた車両制御システム１の構成を示すブロック図である。車両制御システム１は、運転者による手動運転と運転者によらない自動運転とが可能な移動体、例えば自動車といった車両に搭載され、当該車両の動作を制御するシステムである。車両制御システム１において、車両制御装置２は、センサ群３によって検出されたセンサ情報を用いて、車両のエンジン４、変速機５、ブレーキアクチュエータ６、ステアリングアクチュエータ７、ウィンカ８およびヘッドライト９を制御することにより、車両の自動運転を実現するための各種制御を行う。各種制御には、例えば、車線維持制御、航行制御および停車制御がある。また、車両制御装置２は、車両から運転者への運転権限の移譲を決定し、手動運転へ切り替える予定地点を設定する。車両制御装置２は、車両が予定地点に実際に到達する一定時間前に、車両から運転者へ運転権限が移譲されることを示す予定情報を、通知装置１０に出力する。
　図１に示すセンサ群３には、例えば、アクセルセンサ３ａ、ブレーキセンサ３ｂ、ステアリングセンサ３ｃ、車内カメラ３ｄ、シートベルトセンサ３ｅ、着座センサ３ｆ、車内ライトセンサ３ｇ、ＧＰＳデバイス３ｈ、ナビゲーションシステム３ｉ、車外カメラ３ｊおよび物体検出センサ３ｋが含まれる。アクセルセンサ３ａは、アクセルペダルへの接触およびペダル操作量を検出するセンサである。アクセルセンサ３ａは、運転者がアクセルペダルに足を添えたことおよびアクセル開度であるペダル操作量を示すセンサ情報を車両制御装置２に出力する。
　ブレーキセンサ３ｂは、ブレーキペダルへの接触およびペダル操作量を検出するセンサである。ブレーキセンサ３ｂは、運転者がブレーキペダルに足を添えたことおよびペダル操作量を示すセンサ情報を車両制御装置２に出力する。ステアリングセンサ３ｃは、ステアリングへの接触およびステアリング操作量を検出するセンサである。ステアリングセンサ３ｃは、運転者がステアリングを握ったことおよびステアリング操作量を示すセンサ情報を車両制御装置２に出力する。
　車内カメラ３ｄは、車内の前方に設けられ、車内の運転席側を含む視野範囲を撮像するカメラである。車内カメラ３ｄは、運転席に着座した運転者の顔を含む上半身を撮像し、撮像情報を車両制御装置２に出力する。シートベルトセンサ３ｅは、車両の各座席のシートベルトの着脱を検出するセンサである。例えば、シートベルトセンサ３ｅは、着座センサ３ｆによって乗員が着座していることが検出された座席におけるシートベルトの着脱を示すセンサ情報を車両制御装置２に出力する。
　着座センサ３ｆは、車両の各座席に設けられて、乗員が着座したか否かことを検出するセンサである。例えば、着座センサ３ｆには、押圧検出センサが用いられ、乗員が着座した際に座席が受ける押圧力を検出する。着座センサ３ｆは、乗員の着座および離席を示すセンサ情報を車両制御装置２に出力する。車内ライトセンサ３ｇは、車内に設けられた、いわゆる車内ライトの点灯および消灯を検出するセンサであり、車内ライトの点灯または消灯を示すセンサ情報を車両制御装置２に出力する。
　ＧＰＳデバイス３ｈは、グローバルポジショニングシステムであり、ＧＰＳ衛星が発信する電波を用いて車両の位置を検出する。ＧＰＳデバイス３ｈは、車両の位置を示す位置情報を車両制御装置２およびナビゲーションシステム３ｉに出力する。
　ナビゲーションシステム３ｉは、ＧＰＳデバイス３ｈによって検出された車両の位置情報および車両周辺の地図情報に基づいて、車両を目的地へ導く推奨経路を算出するシステムである。ナビゲーションシステム３ｉは、サーバと通信して、車両の走行先の渋滞情報および通行止め情報といった外部情報をサーバから受信し、受信した外部情報を反映させた推奨経路を算出してもよい。また、ナビゲーションシステム３ｉは、車両の位置情報と目的地情報をサーバへ送信し、サーバによって算出された推奨経路を受信して運転者に通知するシステムであってもよい。
　車外カメラ３ｊは、車外を撮像するカメラである。車外カメラ３ｊは、例えば、車両の前方、後方および左右側方に設けられ、車両の前方、後方および左右側方の各撮像情報を車両制御装置２に出力する。車両制御装置２は、車外カメラ３ｊによって撮像された撮像情報に基づいて、車両周辺の人または車両といったオブジェクトの存在を考慮した車両の制御を行うことができる。
　物体検出センサ３ｋは、車両周辺の物体を検出するセンサであり、例えば、超音波センサ、レーダセンサ、ミリ波レーダセンサまたは赤外線レーザセンサである。物体検出センサ３ｋは、車両周辺に存在する物体の位置および車両と物体との間の距離を算出し、算出した物体の位置および距離を示すセンサ情報を、車両制御装置２に出力する。また、物体検出センサ３ｋによって検出された物体のセンサ情報に基づいて、車両制御装置２が、物体の位置および車両と物体との間の距離を算出してもよい。
　エンジン４は、車両を駆動させる動力を発生する。例えば、エンジン４は、ガソリンを燃料として車輪を回転させる動力を発生する内燃機関であってもよいし、電力によって車輪を回転させる動力を発生するモータであってもよい。エンジン４は、車両制御装置２の指示に基づいて動作可能である。変速機５は、エンジン４が発生した動力を車両の車輪へ伝達する。変速機５は、車両制御装置２の指示に基づいてギアを変更することで、車輪に伝達するトルクを変更可能である。
　ブレーキアクチュエータ６は、車両を減速させるブレーキを動作させるアクチュエータである。例えば、ブレーキアクチュエータ６は、車両制御装置２の指示に基づいて、運転者によらずにブレーキを自動で動作させることができる。ステアリングアクチュエータ７は、ステアリングの動作を制御して、車両の移動方向を変更するアクチュエータである。例えば、ステアリングアクチュエータ７は、車両制御装置２の指示に基づいて、運転者によらずにステアリングを自動で動作させて車両の移動方向を変更することができる。
　ウィンカ８は、発光することにより車両の進行方向を車外へ伝える方向指示器である。例えば、ウィンカ８は、車両制御装置２の指示に基づいて点滅し、車外へ車両の進行方向を通知する。ヘッドライト９は、車両前側に設けられて、車両の前方に光を照射する照明装置である。例えば、ヘッドライト９は、車両前方の左側と右側とに設けられ、照射した光を導く道光部の構造を切り替えることにより、遠くを照らすハイビームと、ハイビームよりも近い距離を照らすロービームとを切り替えることが可能である。
　通知装置１０は、車両から運転者への運転権限の移譲を通知してから運転者へ運転権限が移譲されるまでの間に、運転者に実施を要求する操作を通知する。例えば、通知装置１０は、車両制御装置２から取得された操作情報に基づいて、操作データベース１１に記憶されている操作のうち、運転者が実施を完了していない操作を通知する。操作情報は、車両の運転者による操作状況を示す情報である。なお、操作情報には、例えば、運転者による車両の運転操作具の操作状況に加え、車内の乗員の状態を示す情報および車内の状態を示す情報が含まれる。
　操作データベース１１は、車両の自動運転によって鈍った運転者の運転操作感覚を取り戻させることを目的として、運転者に実施を要求する様々な操作が記憶されたデータベースである。運転者に実施を要求する操作には、例えば、ステアリング操作、アクセル操作、ブレーキ操作、ウィンカ８の点灯またはヘッドライト９の点灯消灯などの運転操作具を用いた運転操作が含まれる。また、運転者に実施を要求する操作には、例えば、「車両前方の注視」、「ステアリングを両手で握る」、「アクセルペダルおよびブレーキペダルに足を添える」および「車両側方および後方の確認」といった運転者の状態を指定する操作も含まれる。さらに、運転者に実施を要求する操作には、例えば、「車両の乗員のシートベルトの装着」といった車両の乗員の状態を指定する操作および「車内ライトの消灯」といった車内の状態を指定する操作も含まれる。
　表示装置１２は、車両の運転者に対して視覚的に情報を通知する装置であり、例えば、ヘッドアップディスプレイ（以下、ＨＵＤと記載する）またはメーターディスプレイである。ＨＵＤは、車両のフロントガラスまたは車内の運転席前方に設けられたコンバイナに表示情報を投影するディスプレイである。メーターディスプレイは、車内の運転席前方に設けられて、車両のメーター類を表示するディスプレイである。また、音声出力装置１３は、車両の運転者に対して聴覚的に情報を通知する装置であり、例えば、車内に設けられたスピーカである。
　通知装置１０は、図１に示すように、情報取得部１０１および通知部１０２を備える。通知部１０２は、判定部１０２１および通知制御部１０２２を備える。情報取得部１０１は、車両制御装置２から操作情報を取得する。判定部１０２１は、情報取得部１０１によって取得された運転者の操作情報に基づいて、操作データベース１１に記憶された操作のうち、運転者が実施を完了していない操作があるかどうかを判定する。通知制御部１０２２は、判定部１０２１によって運転者が実施を完了していないと判定された操作を、運転者に対して視覚的または聴覚的に通知する。
　図２は、運転者に実施を要求する操作の通知画面１２Ａの一例を示す図であり、運転者に実施を要求する操作を画像情報で示している。図２において、画像情報１４ａは「車両前方の注視」を示している。画像情報１４ｂは「ステアリングを両手で握る」を示している。画像情報１４ｃは「アクセルペダルおよびブレーキペダルに足を添える」を示している。例えば、通知部１０２は、自動運転中の車両において、車両制御装置２から上記予定情報が出力されると、車両から運転権限が移譲されることを運転者に通知する前に、「車両前方の注視」、「ステアリングを両手で握る」および「アクセルペダルおよびブレーキペダルに足を添える」といった操作の実施が完了していなかった場合、画像情報１４ａ、１４ｂおよび１４ｃを表示装置１２に出力する。表示装置１２は、図２に示すように、画像情報１４ａ、１４ｂおよび１４ｃを含む通知画面１２Ａを表示する。通知装置１０は、実施が完了していなかった操作のみを通知するので、運転者が実施を完了していた操作の実施が再度要求されることを防止できる。
　また、通知部１０２は、運転者へ運転権限が移譲されることを通知する前に、「車両前方の注視」、「ステアリングを両手で握る」および「アクセルペダルおよびブレーキペダルに足を添える」といった操作の実施が完了していなかった場合に、これらの操作を示す音声情報を、音声出力装置１３に出力する。音声出力装置１３は、「車両前方を注視してください」、「ステアリングを両手で握ってください」および「アクセルペダルおよびブレーキペダルに足を添えてください」といった音声を出力する。通知装置１０は、実施が完了していなかった操作を聴覚的に通知しても、操作を視覚的に通知する場合と同様に、運転者が実施を完了していた操作の実施を再度要求することを防止できる。
　実施の形態１に係る通知方法の詳細は、以下の通りである。
　図３は、実施の形態１に係る通知方法を示すフローチャートであって、通知装置１０の動作を示している。図３の一連の処理は、例えば、自動運転中の車両において、車両制御装置２が、車両から運転者への運転権限の移譲を決定し、車両から運転者へ運転権限が移譲される予定であることを示す予定情報を、通知装置１０に出力した時点で開始される。ただし、車両制御装置２は、予定情報の出力とは無関係に、センサ群３によって逐次検出されたセンサ情報に基づいて、運転者の操作状況を示す操作情報を生成し、生成した操作情報の時系列データを保持している。
　情報取得部１０１は、車両制御装置２から操作情報を取得する（ステップＳＴ１）。
　例えば、情報取得部１０１は、車両制御装置２から出力された予定情報を取得した時刻を基準として、過去に一定の時間遡った時刻における操作情報から最新の操作情報までの時系列データを取得する。情報取得部１０１によって取得された操作情報は通知部１０２に出力される。
　次に、判定部１０２１は、情報取得部１０１によって取得された操作情報に基づいて、操作データベース１１に記憶されている操作のうち、運転者が実施を完了していない操作があるか否かを判定する（ステップＳＴ２）。例えば、操作データベース１１に記憶された各操作には、実施完了条件が設定されている。判定部１０２１は、操作情報が示す操作状況が、この操作情報に対応する操作の実施完了条件を満たしていれば、この操作は運転者が実施を完了していると判定し、実施完了条件を満たしていなければ、運転者が実施を完了していないと判定する。
　通知制御部１０２２は、判定部１０２１によって、運転者に実施を要求する全ての操作の実施が完了していたと判定されると（ステップＳＴ２；ＮＯ）、ステップＳＴ８の処理に移行する。また、判定部１０２１によって、運転者に実施を要求する操作のうち、運転者が実施を完了していない操作があると判定されると（ステップＳＴ２；ＹＥＳ）、通知制御部１０２２は、車両から運転者へ運転権限が移譲されることを示す情報（以下、運転権限移譲通知と記載する）と、運転者が実施を完了していなかった操作とを通知し、運転者が実施を完了していた操作を非通知とする（ステップＳＴ３）。
　図４Ａは、運転者に車両前方を注視する操作の実施を要求する通知画面１２Ａの一例を示す画面図である。図４Ｂは、運転者にステアリングを両手で握る操作の実施を要求する通知画面１２Ａの一例を示す画面図である。図４Ｃは、運転者にアクセルペダルおよびブレーキペダルに足を添える操作の実施を要求する通知画面１２Ａの一例を示す画面図である。図４Ｄは、運転者に車両前方を注視する操作の実施とステアリングを両手で握る操作の実施とを要求する通知画面１２Ａの一例を示す画面図である。図４Ａ、図４Ｂ、図４Ｃおよび図４Ｄにおいて、運転者に実施を要求する操作は、「車両前方の注視操作」、「ステアリングを両手で握る操作」および「アクセルペダルおよびブレーキペダルに足を添える操作」である。
　例えば、運転者に実施を要求する操作のうち、「ステアリングを両手で握る操作」の実施が完了し、「アクセルペダルおよびブレーキペダルに足を添える操作」の実施が完了していた場合、通知制御部１０２２は、これらの操作を通知対象から除外し、「車両前方の注視操作」を通知対象に決定する。通知制御部１０２２は、「車両前方の注視操作」を示す画像情報１４ａを表示装置１２に出力する。表示装置１２は、図４Ａに示すように、画像情報１４ａを含む通知画面１２Ａを表示する。
　例えば、運転者に実施を要求する操作のうち、「車両前方の注視操作」の実施が完了し、「アクセルペダルおよびブレーキペダルに足を添える操作」の実施が完了していた場合、通知制御部１０２２は、これらの操作を通知対象から除外し、「ステアリングを両手で握る操作」を通知対象に決定する。通知制御部１０２２は、「ステアリングを両手で握る操作」を示す画像情報１４ｂを表示装置１２に出力する。表示装置１２は、図４Ｂに示すように、画像情報１４ｂを含む通知画面１２Ａを表示する。
　例えば、運転者に実施を要求する操作のうち、「車両前方の注視操作」の実施が完了し、「ステアリングを両手で握る操作」の実施が完了していた場合、通知制御部１０２２は、これらの操作を通知対象から除外し、「アクセルペダルおよびブレーキペダルに足を添える操作」を通知対象に決定する。通知制御部１０２２は、「アクセルペダルおよびブレーキペダルに足を添える操作」を示す画像情報１４ｃを表示装置１２に出力する。表示装置１２は、図４Ｃに示すように、画像情報１４ｃを含む通知画面１２Ａを表示する。
　例えば、運転者に実施を要求する操作のうち、「アクセルペダルおよびブレーキペダルに足を添える操作」の実施が完了していた場合、通知制御部１０２２は、この操作を通知対象から除外し、「車両前方の注視操作」および「ステアリングを両手で握る操作」を通知対象に決定する。通知制御部１０２２は、「車両前方の注視操作」を示す画像情報１４ａと、「ステアリングを両手で握る操作」を示す画像情報１４ｂを表示装置１２に出力する。表示装置１２は、図４Ｄに示すように、画像情報１４ａおよび画像情報１４ｂを含む通知画面１２Ａを表示する。なお、運転者に実施を要求する操作のうち、運転者が実施を完了していなかった操作が複数ある場合、図４Ｄに示すように、それらを同時に通知してもよいし、いずれか一つから順に通知してもよい。
　運転者は、運転権限移譲通知とともに、表示装置１２に表示された画像情報が示す操作のみを実施すればよい。このため、通知装置１０は、運転権限移譲通知の前に、運転者が実施を完了していた操作の実施が再度要求されることを防止できる。通知制御部１０２２は、通知した操作の実施による車両の模擬動作を通知してもよい。例えば、通知制御部１０２２は、運転者によるステアリングの操作によって、手動運転であったならば、車両がどのように進行するかを表示装置１２に表示させる。これにより、運転者は、より確実に運転操作感覚を取り戻すことができる。
　情報取得部１０１は、通知制御部１０２２によって運転者に実施を要求する操作が通知されている間、過去の操作情報から最新の操作情報までを車両制御装置２から取得する（ステップＳＴ４）。判定部１０２１は、情報取得部１０１によって取得された操作情報に基づいて、運転者が、通知した操作の実施を完了したか否かを判定する（ステップＳＴ５）。例えば、判定部１０２１は、運転者に通知した操作に対応する操作情報が示す操作状況が、この操作の実施完了条件を満たしていれば、この操作は運転者が実施を完了していると判定し、実施完了条件を満たしていなければ、運転者が実施を完了していないと判定する。
　運転者に通知した操作の実施が完了していないと判定された場合（ステップＳＴ５；ＮＯ）、通知装置１０は、ステップＳＴ４からの処理を繰り返す。運転者に通知した操作の実施が完了したと判定された場合（ステップＳＴ５；ＹＥＳ）、通知制御部１０２２は、通知した操作のうち、運転者が実施を完了した操作を非通知とする（ステップＳＴ６）。
　図５は、実施の形態１における操作の通知内容の遷移例（１）を示す図である。図５において、運転者に実施を要求する操作は、「車両前方の注視操作」、「ステアリングを両手で握る操作」および「アクセルペダルおよびブレーキペダルに足を添える操作」の３つの操作である。
　運転者が、「車両前方の注視操作」、「ステアリングを両手で握る操作」および「アクセルペダルおよびブレーキペダルに足を添える操作」のいずれも実施を完了していなかった場合、通知制御部１０２２は、画像情報１４ａ、１４ｂおよび１４ｃを表示装置１２に出力する。表示装置１２は、図５の上段に示すように、画像情報１４ａ、１４ｂおよび１４ｃを含む通知画面１２Ａを表示する。
　この後、運転者が「車両前方の注視操作」の実施を完了すると、通知制御部１０２２は、「車両前方の注視操作」を通知対象から除外し、画像情報１４ａの表示装置１２への出力を停止する。これにより、表示装置１２は、図５の中段に示すように、画像情報１４ｂおよび１４ｃのみを含む通知画面１２Ａを表示する。
　さらに、運転者が「ステアリングを両手で握る操作」の実施を完了すると、通知制御部１０２２は、「ステアリングを両手で握る操作」を通知対象から除外し、画像情報１４ｂの表示装置１２への出力を停止する。これにより、表示装置１２は、図５の下段に示すように、画像情報１４ｃのみを含む通知画面１２Ａを表示する。実施を完了した順に操作が非通知となるので、運転者は、通知装置１０から要求された操作を実施したことを認識しながら、運転操作感覚を取り戻すことができる。
　判定部１０２１は、運転者によって操作の実施が完了したと判定すると、運転者に通知した全ての操作の実施が完了したか否かを判定する（ステップＳＴ７）。ステップＳＴ２において、運転者に実施を要求する操作のうち、運転者が実施を完了していない操作がなかったか（ステップＳＴ２；ＮＯ）、または、運転者に通知した全ての操作の実施が完了したと判定された場合（ステップＳＴ７；ＹＥＳ）、通知制御部１０２２は、運転者が手動運転の準備を完了したと判断されるので、車両制御装置２に対して運転者への運転権限の移譲を要求する（ステップＳＴ８）。車両制御装置２は、通知装置１０からの上記要求に応じて運転者へ運転権限を移譲する。運転者は、手動運転の準備が完了しているので、円滑に車両を運転することが可能である。
　判定部１０２１は、運転者に通知した操作のうち、実施が完了していない操作があると判定した場合（ステップＳＴ７；ＮＯ）、運転者へ運転権限を移譲する予定時刻まで余裕時間があるか否かを判定する（ステップＳＴ９）。判定部１０２１によって、運転者へ運転権限を移譲するまで余裕時間があると判定された場合（ステップＳＴ９；ＹＥＳ）、情報取得部１０１は、過去の操作情報から最新の操作情報までを、車両制御装置２から取得する（ステップＳＴ１０）。
　判定部１０２１は、情報取得部１０１によって取得された操作情報に基づいて、ステップＳＴ３において運転者に通知した操作のうち、実施完了条件を満たさなくなった操作があるか否かを判定する（ステップＳＴ１１）。すなわち、判定部１０２１は、運転者が実施を完了した操作のうち、ステップＳＴ３において通知した全ての操作の実施が完了する前に、実施完了条件を満たさなくなった操作の有無を判定する。実施完了条件を満たさなくなった操作がない場合（ステップＳＴ１１；ＮＯ）、通知装置１０は、ステップＳＴ１の処理に戻り、図３に示した一連の処理を繰り返す。
　運転者に通知した全ての操作の実施が完了する前に、判定部１０２１によって実施完了条件を満たさなくなった操作があると判定されると（ステップＳＴ１１；ＹＥＳ）、通知制御部１０２２は、ステップＳＴ３の処理に移行する。これにより、通知制御部１０２２は、実施完了条件を満たさなくなった操作を再度通知する。
　図６は、実施の形態１における操作の通知内容の遷移例（２）を示す図である。図６において、運転者に実施を要求する操作は、「車両前方の注視操作」、「ステアリングを両手で握る操作」および「アクセルペダルおよびブレーキペダルに足を添える操作」の３つの操作である。運転者が、「車両前方の注視操作」、「ステアリングを両手で握る操作」および「アクセルペダルおよびブレーキペダルに足を添える操作」のいずれも実施を完了していなかった場合に、通知制御部１０２２は、画像情報１４ａ、１４ｂおよび１４ｃを表示装置１２に出力する。表示装置１２は、図６の上段に示すように、画像情報１４ａ、１４ｂおよび１４ｃを含む通知画面１２Ａを表示する。
　この後、運転者が「車両前方の注視操作」および「ステアリングを両手で握る操作」の実施を完了すると、通知制御部１０２２は、「車両前方の注視操作」および「ステアリングを両手で握る操作」を通知対象から除外して、画像情報１４ａおよび画像情報１４ｂの表示装置１２への出力を停止する。これにより、表示装置１２は、図６の中段に示すように、画像情報１４ｃのみを含む通知画面１２Ａを表示する。
　運転者が「アクセルペダルおよびブレーキペダルに足を添える操作」の実施を完了する前に、「車両前方の注視操作」の実施完了条件を満たさなくなった場合、例えば、運転者が車両前方以外に目を向けると、通知制御部１０２２は、「車両前方の注視操作」を再度通知対象として、画像情報１４ａを表示装置１２へ出力する。これにより、表示装置１２は、図６の下段に示すように、通知画面１２Ａにおいて、画像情報１４ｃおよび画像情報１４ａを再度表示する。実施完了条件を満たさなくなった操作が再度通知されるので、運転者は、通知装置１０から要求された操作を確実に実施することができる。
　運転者に通知した操作のうち、運転者による実施が完了していない操作があると、運転者は、手動運転の準備が完了していないと判断することができる。このため、判定部１０２１によって運転者へ運転権限を移譲する予定時刻まで余裕時間がないと判定されると（ステップＳＴ９；ＮＯ）、通知制御部１０２２は、手動運転の準備が完了していない運転者へ運転権限が移譲されないように、車両制御装置２に対して車両の停車を要求する（ステップＳＴ１２）。
　車両制御装置２は、通知装置１０から車両の停車が要求されると、例えば、ＧＰＳデバイス３ｈによって検出された車両の位置情報および車両周辺の地図情報に基づいて、車両が安全に停車可能な場所を探索する。車両が安全に停車可能な場所は、例えば、商業施設などの駐車場、ガソリンスタンドまたは公共駐車場が挙げられるが、緊急の場合には、路肩であってもよい。車両制御装置２は、車両が安全に停車可能な場所が探索されると、探索結果の場所に車両を自動で停車させる。
　通知装置１０の機能を実現するハードウェア構成は、以下の通りである。
　通知装置１０が備える情報取得部１０１および通知部１０２の機能は、処理回路により実現される。すなわち、通知装置１０は、図３に示したステップＳＴ１からステップＳＴ１２までの処理を実行する処理回路を備える。処理回路は、専用のハードウェアであってもよいし、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であってもよい。
　図７は、通知装置１０の機能を実現するハードウェア構成を示すブロック図である。また、図８は、通知装置１０の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図７および図８において、入力インタフェース１０００は、例えば、車両制御装置２から通知装置１０へ出力されたセンサ情報または操作データベース１１から通知装置１０へ出力された操作を示す情報を中継するインタフェースである。出力インタフェース１００１は、通知装置１０から表示装置１２または音声出力装置１３へ出力される、運転者に実施を要求する操作を示す情報を中継するインタフェースである。
　処理回路が、図７に示す専用のハードウェアの処理回路１００２である場合、処理回路１００２は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。通知装置１０が備える情報取得部１０１および通知部１０２の機能は、別々の処理回路で実現されてもよいし、これらの機能がまとめて１つの処理回路で実現されてもよい。
　処理回路が図８に示すプロセッサ１００３である場合、通知装置１０が備える情報取得部１０１および通知部１０２の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１００４に記憶される。
　プロセッサ１００３は、メモリ１００４に記憶されたプログラムを読み出して実行することによって、通知装置１０が備える情報取得部１０１および通知部１０２の機能を実現する。例えば、通知装置１０は、プロセッサ１００３によって実行されるときに、図３に示したフローチャートにおけるステップＳＴ１からステップＳＴ１２までの処理が結果的に実行されるプログラムを記憶するためのメモリ１００４を備える。これらのプログラムは、情報取得部１０１および通知部１０２の手順または方法を、コンピュータに実行させる。メモリ１００４は、コンピュータを情報取得部１０１および通知部１０２として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
　メモリ１００４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。
　通知装置１０が備える情報取得部１０１および通知部１０２の機能の一部は専用ハードウェアで実現され、一部はソフトウェアまたはファームウェアで実現されてもよい。例えば、情報取得部１０１は、専用のハードウェアである処理回路１００２によってその機能が実現され、通知部１０２は、プロセッサ１００３がメモリ１００４に記憶されたプログラムを読み出し実行することにより、その機能が実現される。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって、上記機能を実現することができる。
　以上のように、実施の形態１に係る通知装置１０は、運転者への運転権限の移譲を通知してから運転者へ運転権限が移譲されるまでの間に運転者に実施を要求する操作のうち、運転者が実施を完了していない操作を通知する。これにより、運転者は、通知装置１０によって通知された操作のみを実施すればよいので、通知装置１０は、運転者への運転権限の移譲が通知される前に運転者が実施を完了していた操作の実施が再度要求されることを防止できる。
実施の形態２．
　図９は、実施の形態２に係る通知装置１０Ａの構成を示すブロック図である。通知装置１０Ａは、車両制御装置２から取得された操作情報に基づいて、操作データベース１１に記憶されている操作のうち、運転者が実施を完了していない操作と、運転者が実施を完了していた操作とを、区別して通知する。通知装置１０Ａは、図９に示すように、情報取得部１０１および通知部１０２Ａを備える。通知部１０２Ａは、判定部１０２１および通知制御部１０２２Ａを備えている。図９において、図１と同一の構成要素には同一の符号を付して説明を省略する。
　通知制御部１０２２Ａは、運転者が実施を完了していない操作と、運転者が実施を完了していた操作とを、区別して通知する。例えば、通知制御部１０２２Ａは、表示装置１２の通知画面１２Ａにおいて、運転者が実施を完了していた操作を示す画像情報に対して、実施完了を示す画像情報を、重ねて表示させる。実施完了を示す画像情報には、例えば、チェックマークがある。また、通知制御部１０２２Ａは、運転者が実施を完了していた操作を示す画像情報についての表示サイズまたは表示色の少なくとも一方を、運転者が実施を完了していない操作とは異なるものとしてもよい。
　通知制御部１０２２Ａは、運転者が実施を完了していない操作に加え、運転者が実施を完了していた操作を示す音声情報を、音声出力装置１３に出力してもよい。例えば、音声出力装置１３は、「アクセルペダルおよびブレーキペダルに足を添える操作の実施は完了していますが、車両前方の注視操作およびステアリングを両手で握る操作は、実施が完了していません。」という音声を出力する。操作を聴覚的に通知しても、運転者は、実施が完了している操作と実施が完了していない操作とを認識することができる。
　実施の形態２に係る通知方法の詳細は、以下の通りである。
　図１０は、実施の形態２に係る通知方法を示すフローチャートであり、通知装置１０Ａの動作を示している。図１０の一連の処理は、例えば、自動運転中の車両において、車両制御装置２が、車両から運転者への運転権限の移譲を決定し、車両から運転者へ運転権限が移譲される予定であることを示す予定情報を通知装置１０Ａに出力した時点で開始される。ただし、車両制御装置２は、予定情報の出力とは無関係に、センサ群３によって逐次検出されたセンサ情報に基づいて、運転者の操作状況を示す操作情報を生成し、生成した操作情報の時系列データを保持している。
　情報取得部１０１は、車両制御装置２から操作情報を取得する（ステップＳＴ１ａ）。例えば、情報取得部１０１は、車両制御装置２から出力された予定情報を取得した時刻を基準として、過去に一定の時間遡った時刻における操作情報から最新の操作情報までの時系列データを取得する。情報取得部１０１によって取得された操作情報は通知部１０２Ａに出力される。
　次に、判定部１０２１は、情報取得部１０１によって取得された操作情報に基づいて、操作データベース１１に記憶されている操作のうち、運転者が実施を完了していない操作があるか否かを判定する（ステップＳＴ２ａ）。例えば、操作データベース１１に記憶された各操作には、実施完了条件が設定されている。判定部１０２１は、操作情報が示す操作状況が、この操作情報に対応する操作の実施完了条件を満たしていれば、この操作は運転者が実施を完了していると判定し、実施完了条件を満たしていなければ、運転者が実施を完了していないと判定する。
　通知制御部１０２２Ａは、判定部１０２１によって、運転者に実施を要求する全ての操作の実施が完了していたと判定されると（ステップＳＴ２ａ；ＮＯ）、ステップＳＴ６ａの処理に移行する。判定部１０２１によって、運転者に実施を要求する操作のうち、運転者が実施を完了していない操作があると判定されると（ステップＳＴ２ａ；ＹＥＳ）、通知制御部１０２２Ａは、車両から運転者へ運転権限が移譲されることを示す情報（以下、運転権限移譲通知と記載する）を通知し、さらに、運転者が実施を完了していない操作と運転者が実施を完了していた操作とを区別して通知する（ステップＳＴ３ａ）。
　図１１は、実施の形態２における操作の通知内容の遷移例を示す図である。図１１において、運転者に実施を要求する操作は、「車両前方の注視操作」、「ステアリングを両手で握る操作」および「アクセルペダルおよびブレーキペダルに足を添える操作」の３つの操作である。運転者が「車両前方の注視操作」、「ステアリングを両手で握る操作」および「アクセルペダルおよびブレーキペダルに足を添える操作」のいずれも実施を完了していなかった場合、通知制御部１０２２Ａは、画像情報１４ａ、１４ｂおよび１４ｃを表示装置１２に出力する。表示装置１２は、図１１の上段に示すように、画像情報１４ａ、１４ｂおよび１４ｃを含む通知画面１２Ａを表示する。
　この後、運転者が「車両前方の注視操作」および「アクセルペダルおよびブレーキペダルに足を添える操作」の実施を完了すると、通知制御部１０２２Ａは、「車両前方の注視操作」を示す画像情報１４ａと、「アクセルペダルおよびブレーキペダルに足を添える操作」を示す画像情報１４ｂとに重ねて表示するためのチェックマーク画像１４を、表示装置１２へ出力する。これにより、表示装置１２は、図１１の中段に示すように、画像情報１４ａと画像情報１４ｃとにチェックマーク画像１４が重ね合わされた通知画面１２Ａを表示する。
　さらに、運転者が「ステアリングを両手で握る操作」の実施を完了すると、通知制御部１０２２は、「ステアリングを両手で握る操作」に重ねて表示するためのチェックマーク画像１４を、表示装置１２へ出力する。これにより、表示装置１２は、図１１の下段に示すように、画像情報１４ａ、１４ｂおよび１４ｃにチェックマーク画像１４が重ね合わされた通知画面１２Ａを表示する。実施を完了した順に操作にチェックマークが付与されるので、運転者は、通知装置１０Ａから要求された操作を実施したことを認識しながら、運転操作感覚を取り戻すことができる。
　情報取得部１０１は、通知制御部１０２２Ａによって運転者に実施を要求する操作が通知されている間、過去の操作情報から最新の操作情報までを車両制御装置２から取得する（ステップＳＴ４ａ）。判定部１０２１は、情報取得部１０１によって取得された操作情報に基づいて、運転者に通知した全ての操作の実施が完了したか否かを判定する（ステップＳＴ５ａ）。これ以降のステップＳＴ６ａからステップＳＴ１０ａまでの処理は、図３に示したステップＳＴ８からステップＳＴ１２までの処理と同じであるので、説明を省略する。
　なお、通知装置１０Ａが備える情報取得部１０１および通知部１０２Ａの機能は、処理回路により実現される。すなわち、通知装置１０Ａは、図１０に示したステップＳＴ１ａからステップＳＴ１０ａまでの処理を実行するための処理回路を備える。処理回路は、図７に示した専用のハードウェアの処理回路１００２であってもよいし、図８に示したメモリ１００４に記憶されたプログラムを実行するプロセッサ１００３であってもよい。
　以上のように、実施の形態２に係る通知装置１０Ａにおいて、通知部１０２Ａが、運転者が実施を完了していない操作と運転者が実施を完了していた操作を区別して通知する。これにより、運転者は、通知装置１０Ａによって通知された操作のうち、実施を完了していない操作を実施すればよいので、通知装置１０Ａは、運転者への運転権限の移譲が通知される前に運転者が実施を完了していた操作の実施が再度要求されることを防止できる。
実施の形態３．
　図１２は、実施の形態３に係る通知装置１０Ｂの構成を示すブロック図である。通知装置１０Ｂは、運転者が実施を完了していない操作の数に応じて、車両から運転者へ運転権限が移譲されることおよび運転者に実施を要求する操作の通知時期を変更する。通知装置１０Ｂは、図１２に示すように、情報取得部１０１および通知部１０２Ｂを備える。通知部１０２Ｂは、判定部１０２１および通知制御部１０２２Ｂを備えている。図１２において、図１と同一の構成要素には同一の符号を付して説明を省略する。
　通知制御部１０２２Ｂは、運転者が実施を完了していない操作の数に応じて、車両から運転者へ運転権限が移譲されることおよび運転者に実施を要求する操作の通知時期を変更する。例えば、通知制御部１０２２Ｂは、操作データベース１１に記憶されている操作のうち、運転者が実施を完了していない操作の数に応じた時刻に、運転権限移譲通知と運転者が実施を完了していなかった操作とを、表示装置１２または音声出力装置１３に通知させる。
　実施の形態３に係る通知方法の詳細は、以下の通りである。
　図１３は、実施の形態３に係る通知方法を示すフローチャートであり、通知装置１０Ｂの動作を示している。図１３の一連の処理は、例えば、自動運転中の車両において、車両制御装置２が、車両から運転者への運転権限の移譲を決定し、車両から運転者へ運転権限が移譲される予定であることを示す予定情報を通知装置１０Ｂに出力した時点で開始される。ただし、車両制御装置２は、予定情報の出力とは無関係に、センサ群３によって逐次検出されたセンサ情報に基づいて、運転者の操作状況を示す操作情報を生成し、生成した操作情報の時系列データを保持している。
　情報取得部１０１は、車両制御装置２から操作情報を取得する（ステップＳＴ１ｂ）。例えば、情報取得部１０１は、車両制御装置２から出力された予定情報を取得した時刻を基準として、過去に一定の時間遡った時刻における操作情報から最新の操作情報までの時系列データを取得する。情報取得部１０１によって取得された操作情報は通知部１０２Ｂに出力される。
　次に、判定部１０２１は、情報取得部１０１によって取得された操作情報に基づいて、操作データベース１１に記憶されている操作のうち、運転者が実施を完了していない操作があるか否かを判定する（ステップＳＴ２ｂ）。例えば、操作データベース１１に記憶された各操作には、実施完了条件が設定されている。判定部１０２１は、操作情報が示す操作状況が、この操作情報に対応する操作の実施完了条件を満たしていれば、この操作は運転者が実施を完了していると判定し、実施完了条件を満たしていなければ、運転者が実施を完了していないと判定する。
　通知制御部１０２２Ｂは、判定部１０２１によって、運転者に実施を要求する全ての操作の実施が完了していたと判定されると（ステップＳＴ２ｂ；ＮＯ）、ステップＳＴ９ｂの処理に移行する。判定部１０２１によって、運転者に実施を要求する操作のうち、運転者が実施を完了していない操作があると判定されると（ステップＳＴ２ｂ；ＹＥＳ）、通知制御部１０２２Ｂは、運転者が実施を完了していない操作の数に応じて、運転権限移譲通知および運転者に実施を要求する操作の通知時期を変更する（ステップＳＴ３ｂ）。
　図１４は、実施の形態３における運転者への運転権限の移譲を通知する時期の決定処理の概要を示す時間変化図である。図１４において、運転者に実施を要求する操作は、「車両前方の注視操作」、「ステアリングを両手で握る操作」および「アクセルペダルおよびブレーキペダルに足を添える操作」の３つの操作である。
　車両から運転者へ運転権限が移譲されることを示す予定情報を、情報取得部１０１が車両制御装置２から取得した際に、図１４において「未」で示すように「車両前方の注視操作」、「ステアリングを両手で握る操作」および「アクセルペダルおよびブレーキペダルに足を添える操作」のいずれも実施が完了していなかった場合、運転者が実施すべき操作の数が多いと判断される。
　通知制御部１０２２Ｂは、「車両前方の注視操作」、「ステアリングを両手で握る操作」および「アクセルペダルおよびブレーキペダルに足を添える操作」のいずれも実施が完了していなかった場合に、車両から運転者へ運転権限を移譲する時刻Ｄとの時間間隔ＴＡが最も長い時刻Ａを、運転権限移譲通知と上記操作とを通知する時刻に決定する。
　また、情報取得部１０１が予定情報を車両制御装置２から取得した際、図１４において「済」で示すように「車両前方の注視操作」の実施は完了していたが、「ステアリングを両手で握る操作」と「アクセルペダルおよびブレーキペダルに足を添える操作」との実施が完了していなかった場合、通知制御部１０２２Ｂは、車両から運転者へ運転権限を移譲する時刻Ｄとの時間間隔がＴＢである時刻Ｂを、運転権限移譲通知と上記操作とを通知する時刻に決定する。時間間隔ＴＢは、時間間隔ＴＡよりも短い時間である。
　さらに、情報取得部１０１が予定情報を車両制御装置２から取得した際、図１４において「済」で示すように「車両前方の注視操作」と「アクセルペダルおよびブレーキペダルに足を添える操作」の実施は完了していたが、「ステアリングを両手で握る操作」の実施が完了していなかった場合、通知制御部１０２２Ｂは、車両から運転者へ運転権限を移譲する時刻Ｄとの時間間隔がＴＣである時刻Ｃを、運転権限移譲通知と上記操作とを通知する時刻に決定する。時間間隔ＴＣは、時間間隔ＴＡおよび時間間隔ＴＢよりも短い時間である。これにより、運転者は、通知された操作を、余裕を持って実施できる。
　図１３において、ステップＳＴ４ｂからステップＳＴ１３ｂまでの処理は、図３に示したステップＳＴ３からステップＳＴ１２までの処理と同じであるので、説明を省略する。
　なお、通知装置１０Ｂが備える情報取得部１０１および通知部１０２Ｂの機能は、処理回路により実現される。すなわち、通知装置１０Ａは、図１６に示したステップＳＴ１ｃからステップＳＴ１３ｃまでの処理を実行するための処理回路を備える。処理回路は、図７に示した専用のハードウェアの処理回路１００２であってもよいし、図８に示したメモリ１００４に記憶されたプログラムを実行するプロセッサ１００３であってもよい。
　以上のように、実施の形態３に係る通知装置１０Ｂにおいて、通知部１０２Ｂが、運転者が実施を完了していない操作の数に応じて、車両から運転者へ運転権限が移譲されることおよび運転者に実施を要求する操作の通知時期を変更する。例えば、運転者が実施を完了していない操作が閾値を超える場合には通知時期を早める。これにより、運転者は、通知された操作を、余裕を持って実施できるので、通知装置１０Ｂは、通知した操作を運転者に確実に実施させることができる。
実施の形態４．
　図１５は、実施の形態４に係る通知装置１０Ｃの構成を示すブロック図である。通知装置１０Ｃは、運転者が実施を完了していない操作の内容に応じて、車両から運転者へ運転権限が移譲されることおよび運転者に実施を要求する操作の通知時期を変更する。通知装置１０Ｃは、図１５に示すように、情報取得部１０１および通知部１０２Ｃを備える。通知部１０２Ｃは、判定部１０２１および通知制御部１０２２Ｃを備えている。図１５において、図１と同一の構成要素には同一の符号を付して説明を省略する。
　通知制御部１０２２Ｃは、運転者が実施を完了していない操作の内容に応じて、車両から運転者へ運転権限が移譲されることおよび運転者に実施を要求する操作の通知時期を変更する。例えば、操作データベース１１に記憶された各操作には、その内容に応じて運転者が実施を完了すると予想される実施完了時間が設定されている。通知制御部１０２２Ｃは、運転者に実施を要求する操作の合計の実施完了時間に応じた時刻に、運転権限移譲通知と運転者が実施を完了していなかった操作とを表示装置１２または音声出力装置１３に通知させる。
　実施の形態４に係る通知方法の詳細は、以下の通りである。
　図１６は、実施の形態４に係る通知方法を示すフローチャートであり、通知装置１０Ｃの動作を示している。図１６の一連の処理は、例えば、自動運転中の車両において、車両制御装置２が、車両から運転者への運転権限の移譲を決定し、車両から運転者へ運転権限が移譲される予定であることを示す予定情報を通知装置１０Ｃに出力した時点で開始される。ただし、車両制御装置２は、予定情報の出力とは無関係に、センサ群３によって逐次検出されたセンサ情報に基づいて、運転者の操作状況を示す操作情報を生成し、生成した操作情報の時系列データを保持している。
　情報取得部１０１は、車両制御装置２から操作情報を取得する（ステップＳＴ１ｃ）。例えば、情報取得部１０１は、車両制御装置２から出力された予定情報を取得した時刻を基準として、過去に一定の時間遡った時刻における操作情報から最新の操作情報までの時系列データを取得する。情報取得部１０１によって取得された操作情報は通知部１０２Ｃに出力される。
　次に、判定部１０２１は、情報取得部１０１によって取得された操作情報に基づいて、操作データベース１１に記憶されている操作のうち、運転者が実施を完了していない操作があるか否かを判定する（ステップＳＴ２ｃ）。例えば、操作データベース１１に記憶された各操作には、実施完了条件が設定されている。判定部１０２１は、操作情報が示す操作状況が、この操作情報に対応する操作の実施完了条件を満たしていれば、この操作は運転者が実施を完了していると判定し、実施完了条件を満たしていなければ、運転者が実施を完了していないと判定する。
　通知制御部１０２２Ｃは、判定部１０２１によって、運転者に実施を要求する全ての操作の実施が完了していたと判定されると（ステップＳＴ２ｃ；ＮＯ）、ステップＳＴ９ｃの処理に移行する。判定部１０２１によって、運転者に実施を要求する操作のうち、運転者が実施を完了していない操作があると判定されると（ステップＳＴ２ｃ；ＹＥＳ）、通知制御部１０２２Ｃは、運転者が実施を完了していない操作の内容に応じて、運転権限移譲通知および運転者に実施を要求する操作の通知時期を変更する（ステップＳＴ３ｃ）。
　図１７は、実施の形態４における運転者への運転権限の移譲を通知する時期の決定処理の概要を示す時間変化図である。図１４において、運転者に実施を要求する操作は、「車両前方の注視操作」、「ステアリングを両手で握る操作」および「アクセルペダルおよびブレーキペダルに足を添える操作」の３つの操作である。
　車両から運転者へ運転権限が移譲されることを示す予定情報を、情報取得部１０１が車両制御装置２から取得した際に、図１７において「未」で示すように、「車両前方の注視操作」、「ステアリングを両手で握る操作」および「アクセルペダルおよびブレーキペダルに足を添える操作」のいずれも実施が完了していなかった場合、通知制御部１０２２Ｃは、実施が完了していなかった操作の内容に応じた実施完了時間を加算する。例えば、「車両前方の注視操作」の実施完了時間は、１５秒であり、「ステアリングを両手で握る操作」の実施完了時間は、１０秒であり、「アクセルペダルおよびブレーキペダルに足を添える操作」の実施完了時間は、５秒である。
　通知制御部１０２２Ｂは、「車両前方の注視操作」、「ステアリングを両手で握る操作」および「アクセルペダルおよびブレーキペダルに足を添える操作」のそれぞれの実施完了時間を加算した値（例えば、３０秒）に基づいて、実施の完了に最も時間を要すると判断されるので、車両から運転者へ運転権限を移譲する時刻Ｄとの時間間隔ＴＡ１が最も長い時刻Ａ１を、運転権限移譲通知と上記操作とを通知する時刻に決定する。
　また、情報取得部１０１が予定情報を車両制御装置２から取得した際、図１７において「済」で示すように「ステアリングを両手で握る操作」と「アクセルペダルおよびブレーキペダルに足を添える操作」の実施は完了していたが、「車両前方の注視操作」の実施が完了していなかった場合、通知制御部１０２２Ｂは、実施が完了していなかった「車両前方の注視操作」の内容に応じた実施完了時間（例えば、１５秒）に基づいて、車両から運転者へ運転権限を移譲する時刻Ｄとの時間間隔がＴＢ１である時刻Ｂ１を、運転権限移譲通知と上記操作とを通知する時刻に決定する。時間間隔ＴＢは、時間間隔ＴＡよりも短い時間である。
　同様に、情報取得部１０１が予定情報を車両制御装置２から取得した際、「車両前方の注視操作」の実施は完了していたが、「ステアリングを両手で握る操作」と「アクセルペダルおよびブレーキペダルに足を添える操作」の実施が完了していなかった場合に、通知制御部１０２２Ｂは、実施が完了していなかった「ステアリングを両手で握る操作」の内容に応じた実施完了時間（例えば、１０秒）と「アクセルペダルおよびブレーキペダルに足を添える操作」の内容に応じた実施完了時間（例えば、５秒）を加算する。通知制御部１０２２Ｂは、実施が完了していなかった操作の実施完了時間の加算値（例えば、１５秒）に基づいて、車両から運転者へ運転権限を移譲する時刻Ｄとの時間間隔がＴＢ１である時刻Ｂ１を、運転権限移譲通知と上記操作とを通知する時刻に決定する。これにより、運転者は、通知された操作を、余裕を持って実施できる。
　図１６において、ステップＳＴ４ｃからステップＳＴ１３ｃまでの処理は、図３に示したステップＳＴ３からステップＳＴ１２までの処理と同じであるので、説明を省略する。
　なお、通知装置１０Ｃが備える情報取得部１０１および通知部１０２Ｃの機能は、処理回路により実現される。すなわち、通知装置１０Ｃは、図１６に示したステップＳＴ１ｂからステップＳＴ１３ｂまでの処理を実行するための処理回路を備える。処理回路は、図７に示した専用のハードウェアの処理回路１００２であってもよいし、図８に示したメモリ１００４に記憶されたプログラムを実行するプロセッサ１００３であってもよい。
　以上のように、実施の形態４に係る通知装置１０Ｃにおいて、通知部１０２Ｃが、運転者が実施を完了していない操作の内容に応じて、車両から運転者へ運転権限が移譲されることおよび運転者に実施を要求する操作の通知時期を変更する。例えば、運転者が操作の実施を完了するまでの予想時間が長い場合には通知時期を早める。これにより、運転者は、通知された操作を、余裕を持って実施することができるので、通知装置１０Ｃは、通知した操作を運転者に確実に実施させることができる。
　実施の形態１から実施の形態４において、移動体が車両であるものとして説明したが、自動運転が可能であり、移動体から運転者へ運転権限を移譲することがある移動体であればよい。例えば、移動体は、鉄道、船舶または航空機であってもよい。
　なお、各実施の形態の組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。
　本開示に係る通知装置は、例えば、自動運転機能を有しており、自動運転から手動運転への切り替えが行われる車両に利用可能である。
　１　車両制御システム、２　車両制御装置、３　センサ群、３ａ　アクセルセンサ、３ｂ　ブレーキセンサ、３ｃ　ステアリングセンサ、３ｄ　車内カメラ、３ｅ　シートベルトセンサ、３ｆ　着座センサ、３ｇ　車内ライトセンサ、３ｈ　ＧＰＳデバイス、３ｉ　ナビゲーションシステム、３ｊ　車外カメラ、３ｋ　物体検出センサ、４　エンジン、５　変速機、６　ブレーキアクチュエータ、７　ステアリングアクチュエータ、８　ウィンカ、９　ヘッドライト、１０，１０Ａ，１０Ｂ，１０Ｃ　通知装置、１１　操作データベース、１２　表示装置、１２Ａ　通知画面、１３　音声出力装置、１４　チェックマーク画像、１４ａ，１４ｂ，１４ｃ　画像情報、１０１　情報取得部、１０２，１０２Ａ，１０２Ｂ，１０２Ｃ　通知部、１０００　入力インタフェース、１００１　出力インタフェース、１００２　処理回路、１００３　プロセッサ、１００４　メモリ、１０２１　判定部、１０２２，１０２２Ａ，１０２２Ｂ，１０２２Ｃ　通知制御部。

Claims (9)

  1. 　移動体の運転者による操作状況を示す操作情報を取得する情報取得部と、
    　前記移動体から前記運転者への運転権限の移譲を通知してから前記運転者へ運転権限が移譲されるまでの間に、前記運転者に実施を要求する操作を通知する通知部と、
    　を備え、
    　前記通知部は、前記操作情報に基づいて、前記運転者に実施を要求する操作のうち、前記運転者が実施を完了していない操作を通知すること
    　を特徴とする通知装置。
  2. 　前記運転者に実施を要求する操作は、前記移動体の乗員の状態を指定する操作を含むこと
    　を特徴とする請求項１に記載の通知装置。
  3. 　前記通知部は、通知した操作のうち、前記運転者が実施を完了した操作を非通知にすること
    　を特徴とする請求項１に記載の通知装置。
  4. 　前記通知部は、前記運転者が実施を完了した操作のうち、通知した全ての操作の実施が完了する前に、実施完了条件を満たさなくなった操作を再度通知すること
    　を特徴とする請求項１に記載の通知装置。
  5. 　前記通知部は、通知した全ての操作の実施が完了すると、運転権限を前記運転者へ移譲するように前記移動体に要求すること
    　を特徴とする請求項１に記載の通知装置。
  6. 　前記通知部は、前記運転者が実施を完了していない操作と前記運転者が実施を完了していた操作とを区別して通知すること
    　を特徴とする請求項１に記載の通知装置。
  7. 　前記通知部は、前記運転者が実施を完了していない操作の数に応じて、前記移動体から前記運転者へ運転権限が移譲されることおよび前記運転者に実施を要求する操作の通知時期を変更すること
    　を特徴とする請求項１に記載の通知装置。
  8. 　前記通知部は、前記運転者が実施を完了していない操作の内容に応じて、前記移動体から前記運転者へ運転権限が移譲されることおよび前記運転者に実施を要求する操作の通知時期を変更すること
    　を特徴とする請求項１に記載の通知装置。
  9. 　情報取得部が、移動体の運転者による操作状況を示す操作情報を取得するステップと、
    　通知部が、前記移動体から前記運転者への運転権限の移譲を通知してから前記運転者へ運転権限が移譲されるまでの間に、前記運転者に実施を要求する操作を通知するステップと、
    　を備え、
    　前記通知部は、前記操作情報に基づいて、前記運転者に実施を要求する操作のうち、前記運転者が実施を完了していない操作を通知すること
    　を特徴とする通知方法。
PCT/JP2020/029920 2020-08-05 2020-08-05 通知装置および通知方法 Ceased WO2022029907A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020572573A JP7066017B1 (ja) 2020-08-05 2020-08-05 通知装置および通知方法
PCT/JP2020/029920 WO2022029907A1 (ja) 2020-08-05 2020-08-05 通知装置および通知方法
CN202080104437.3A CN116113569B (zh) 2020-08-05 2020-08-05 通知装置和通知方法
DE112020007491.9T DE112020007491T5 (de) 2020-08-05 2020-08-05 Benachrichtigungsvorrichtung und benachrichtigungsverfahren
US18/077,261 US12325454B2 (en) 2020-08-05 2022-12-08 Notification device and notification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/029920 WO2022029907A1 (ja) 2020-08-05 2020-08-05 通知装置および通知方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/077,261 Continuation US12325454B2 (en) 2020-08-05 2022-12-08 Notification device and notification method

Publications (1)

Publication Number Publication Date
WO2022029907A1 true WO2022029907A1 (ja) 2022-02-10

Family

ID=80117909

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/029920 Ceased WO2022029907A1 (ja) 2020-08-05 2020-08-05 通知装置および通知方法

Country Status (5)

Country Link
US (1) US12325454B2 (ja)
JP (1) JP7066017B1 (ja)
CN (1) CN116113569B (ja)
DE (1) DE112020007491T5 (ja)
WO (1) WO2022029907A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115685776A (zh) * 2022-10-10 2023-02-03 合肥美的电冰箱有限公司 总线通信控制方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7484590B2 (ja) * 2020-08-31 2024-05-16 トヨタ自動車株式会社 車両用表示制御装置、車両用表示システム、車両用表示制御方法及び車両用表示制御プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017001563A (ja) * 2015-06-11 2017-01-05 パナソニックＩｐマネジメント株式会社 車両制御装置、車両制御方法および車両制御プログラム
WO2017072953A1 (ja) * 2015-10-30 2017-05-04 三菱電機株式会社 車両情報表示制御装置および自動運転情報の表示方法
JP2017207955A (ja) * 2016-05-19 2017-11-24 株式会社デンソー 自動運転システム及び自動運転切替判定プログラム
JP2018122647A (ja) * 2017-01-30 2018-08-09 日本精機株式会社 車両用警報装置
JP2018190217A (ja) * 2017-05-09 2018-11-29 オムロン株式会社 運転者監視装置、及び運転者監視方法
JP2019010929A (ja) * 2017-06-29 2019-01-24 株式会社デンソーテン 運転支援装置および運転支援方法
JP2019209803A (ja) * 2018-06-04 2019-12-12 日本精機株式会社 表示装置、表示方法及び表示装置の制御プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10154112A (ja) * 1996-11-22 1998-06-09 Fujitsu Ltd プログラム実行装置，その方法，及びコンピュータプログラムを記録した媒体
US9865099B2 (en) * 2008-02-05 2018-01-09 Madhavi Jayanthi Vehicle installed mobile device and server for GPS services and task assignments
US9402349B2 (en) * 2014-04-23 2016-08-02 Deere & Company Calibration of tensioning system
EP3230142B1 (en) * 2014-12-12 2022-03-16 Sony Group Corporation Method for switching modes for operating a vehicle
US9727056B2 (en) * 2015-06-24 2017-08-08 Delphi Technologies, Inc. Automated vehicle control with time to take-over compensation
JP6636337B2 (ja) * 2016-01-07 2020-01-29 株式会社デンソーアイティーラボラトリ 警報装置、警報方法、及びプログラム
JP6508072B2 (ja) * 2016-01-26 2019-05-08 株式会社デンソー 報知制御装置及び報知制御方法
JP6831190B2 (ja) * 2016-08-15 2021-02-17 トヨタ自動車株式会社 自動運転車両の制御システム及び制御方法
JP6583199B2 (ja) * 2016-09-27 2019-10-02 株式会社デンソー 運転交代制御装置、及び運転交代制御方法
US11040722B2 (en) * 2016-10-03 2021-06-22 Mitsubishi Electric Corporation Driving authorization transfer determination device
US10096174B2 (en) * 2017-02-17 2018-10-09 Deere & Company Method of controlling machine function based on performance of a work machine maintenance schedule and system thereof
US11061399B2 (en) * 2018-01-03 2021-07-13 Samsung Electronics Co., Ltd. System and method for providing information indicative of autonomous availability
KR102506871B1 (ko) * 2018-02-19 2023-03-08 현대자동차주식회사 자율 주행 제어 장치 및 그의 전방차량 출발 알림 방법
WO2019188587A1 (ja) * 2018-03-27 2019-10-03 豊田合成株式会社 運転権限移譲装置
KR102854231B1 (ko) * 2019-11-14 2025-09-02 현대자동차주식회사 플릿 시스템을 위한 이동체 제어 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017001563A (ja) * 2015-06-11 2017-01-05 パナソニックＩｐマネジメント株式会社 車両制御装置、車両制御方法および車両制御プログラム
WO2017072953A1 (ja) * 2015-10-30 2017-05-04 三菱電機株式会社 車両情報表示制御装置および自動運転情報の表示方法
JP2017207955A (ja) * 2016-05-19 2017-11-24 株式会社デンソー 自動運転システム及び自動運転切替判定プログラム
JP2018122647A (ja) * 2017-01-30 2018-08-09 日本精機株式会社 車両用警報装置
JP2018190217A (ja) * 2017-05-09 2018-11-29 オムロン株式会社 運転者監視装置、及び運転者監視方法
JP2019010929A (ja) * 2017-06-29 2019-01-24 株式会社デンソーテン 運転支援装置および運転支援方法
JP2019209803A (ja) * 2018-06-04 2019-12-12 日本精機株式会社 表示装置、表示方法及び表示装置の制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115685776A (zh) * 2022-10-10 2023-02-03 合肥美的电冰箱有限公司 总线通信控制方法、装置、设备及存储介质
CN115685776B (zh) * 2022-10-10 2025-04-25 合肥美的电冰箱有限公司 总线通信控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116113569B (zh) 2025-06-20
US20230101240A1 (en) 2023-03-30
JP7066017B1 (ja) 2022-05-12
JPWO2022029907A1 (ja) 2022-02-10
CN116113569A (zh) 2023-05-12
US12325454B2 (en) 2025-06-10
DE112020007491T5 (de) 2023-08-10

Similar Documents

Publication Publication Date Title
CN112622908B (zh) 车辆控制装置、车辆控制方法及存储介质
US11518414B2 (en) Traveling control method and traveling control device for vehicle
US11267484B2 (en) Vehicle control system, vehicle control method, and vehicle control program
JP7586270B2 (ja) 車両用渋滞判断装置、および車両用表示制御装置
CN116373869A (zh) 车辆控制装置、车辆控制方法及存储介质
JP2024111090A (ja) 情報処理装置、および情報処理方法、プログラム、並びに車両
US11505194B2 (en) Vehicle travel control method and travel control device
US20230019934A1 (en) Presentation control apparatus
WO2018116654A1 (ja) 運転交代制御装置、及び運転交代制御方法
US12030514B2 (en) Presentation control device and non-transitory computer readable storage medium
CN110001644A (zh) 车辆控制装置、车辆控制方法及存储介质
WO2022244548A1 (ja) 自動運転制御装置、及び自動運転制御プログラム
CN115071749A (zh) 车辆控制装置、车辆控制方法及存储介质
CN113479202A (zh) 行驶控制装置、车辆、行驶控制方法以及存储介质
JP7790256B2 (ja) 標識認識方法、標識認識装置、運転支援方法及び運転支援装置
JP7066017B1 (ja) 通知装置および通知方法
JP2024129070A (ja) 自動運転制御装置及び自動運転制御プログラム
JP2019156355A (ja) 車両制御装置
JP7046291B1 (ja) 車両制御システム、および車両制御方法
US11613252B2 (en) Driving assistance system and control method thereof
US12258031B2 (en) Presentation control device and automated driving control system
JP2019131127A (ja) 車両の制御装置
CN117136157A (zh) 自动驾驶控制装置、自动驾驶控制程序、提示控制装置以及提示控制程序
JP2022182957A (ja) 機能制御装置、機能制御プログラム、自動運転制御装置、及び自動運転制御プログラム
CN116135600B (zh) 信息显示装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020572573

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20948449

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20948449

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 202080104437.3

Country of ref document: CN