WO2020213280A1 - 情報処理装置、移動装置、および方法、並びにプログラム - Google Patents

情報処理装置、移動装置、および方法、並びにプログラム Download PDF

Info

Publication number
WO2020213280A1
WO2020213280A1 PCT/JP2020/009156 JP2020009156W WO2020213280A1 WO 2020213280 A1 WO2020213280 A1 WO 2020213280A1 JP 2020009156 W JP2020009156 W JP 2020009156W WO 2020213280 A1 WO2020213280 A1 WO 2020213280A1
Authority
WO
WIPO (PCT)
Prior art keywords
section
information
display
driver
vehicle
Prior art date
Application number
PCT/JP2020/009156
Other languages
English (en)
French (fr)
Inventor
英史 大場
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to EP20792159.4A priority Critical patent/EP3958235A4/en
Priority to KR1020217031636A priority patent/KR20210151802A/ko
Priority to CN202080027833.0A priority patent/CN114072865A/zh
Priority to JP2021514814A priority patent/JP7431223B2/ja
Priority to US17/602,258 priority patent/US20220161813A1/en
Publication of WO2020213280A1 publication Critical patent/WO2020213280A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/28
    • B60K35/80
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0057Estimation of the time available or required for the handover
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3691Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B60K2360/166
    • B60K2360/169
    • B60K2360/172
    • B60K2360/175
    • B60K2360/178
    • B60K2360/566
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/40High definition maps

Definitions

  • This disclosure relates to information processing devices, mobile devices, methods, and programs. More specifically, the present invention relates to an information processing device, a mobile device, a method, and a program for generating various display data in a vehicle that controls switching between automatic driving and manual driving.
  • the automatic driving technology is a technology that enables automatic driving on a road by using various sensors such as a position detecting means provided in a vehicle (automobile), and is expected to spread rapidly in the future.
  • automatic driving is in the development stage, and it is considered that it will take some time before 100% automatic driving becomes possible.
  • automatic driving and manual driving by the driver will be performed as appropriate. It is predicted that the vehicle will switch and drive. For example, on a straight road with a sufficient width, such as a highway, the vehicle is driven in the automatic driving mode, but when the vehicle leaves the highway and stops at a desired position in the parking lot, or on a narrow mountain road. In such cases, it is predicted that it will be necessary to switch the mode, such as switching to the manual operation mode and driving by the operation of the driver.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2016-1392064 discloses a technique for displaying the degree of danger for a plurality of dangers on a road on which the own vehicle is scheduled to travel.
  • Patent Document 2 Japanese Unexamined Patent Publication No. 2016-090274
  • a technique for displaying on the screen of a mobile terminal to notify that the driver is in a situation where driving must be started is disclosed.
  • Patent Document 1 and Patent Document 2 A technique for notifying specific information as in Patent Document 1 and Patent Document 2 is known.
  • the state of the driving route of the self-driving vehicle changes from moment to moment.
  • the settings of the section where automatic driving is possible and the section where manual driving is possible may change.
  • the section setting will be changed due to the occurrence of an accident or construction work. Therefore, it is important to surely inform the user (driver) of the latest information at an earlier stage, but there is no prior art that discloses a configuration that enables such information provision processing.
  • the present disclosure has been made in view of the above-mentioned problems, for example, and for a user (driver) of a vehicle that switches between automatic driving and manual driving, the automatic driving section and manual driving on the traveling route are provided. It is an object of the present invention to provide an information processing device, a mobile device, a method, and a program capable of presenting various information including a section information of a driving section.
  • the first aspect of the disclosure is It has a data processing unit that generates travel section display data that makes it possible to distinguish at least the autonomous driving section and the manual driving section on the vehicle's travel route.
  • the data processing unit It is in an information processing device that generates one traveling section display data in which a plurality of display data having different time axes according to a vehicle's scheduled traveling time zone are connected.
  • the second aspect of the disclosure is It is a mobile device that can switch between automatic operation and manual operation.
  • a driver information acquisition unit that acquires driver information of the driver of the mobile device, and An environmental information acquisition unit that acquires surrounding information of the mobile device, It has a data processing unit that generates travel section display data that makes it possible to distinguish at least the autonomous driving section and the manual driving section on the vehicle's travel route.
  • the data processing unit It is the traveling section display data that makes it possible to distinguish at least the automatically driving section and the manual driving section on the traveling route of the vehicle, and is one that concatenates a plurality of display data having different time axes according to the scheduled traveling time zone of the vehicle. It is in a mobile device that generates travel section display data.
  • the third aspect of the present disclosure is It is an information processing method executed in an information processing device.
  • the data processing department It is the traveling section display data that makes it possible to distinguish at least the automatically driving section and the manual driving section on the traveling route of the vehicle, and is one that concatenates a plurality of display data having different time axes according to the scheduled traveling time zone of the vehicle. It is in the information processing device method that generates the traveling section display data.
  • the fourth aspect of the present disclosure is It is an information processing method executed in a mobile device.
  • the mobile device is a mobile device capable of switching between automatic operation and manual operation.
  • a driver information acquisition step in which the driver information acquisition unit acquires the driver information of the driver of the mobile device
  • the environmental information acquisition step in which the environmental information acquisition unit acquires the surrounding information of the mobile device
  • the data processing department It is the traveling section display data that makes it possible to distinguish at least the automatically driving section and the manual driving section on the traveling route of the vehicle, and is one that concatenates a plurality of display data having different time axes according to the scheduled traveling time zone of the vehicle. It is in a mobile device that generates travel section display data.
  • the fifth aspect of the present disclosure is A program that executes information processing in an information processing device.
  • the traveling section display data that makes it possible to distinguish at least the automatically driving section and the manual driving section on the traveling route of the vehicle, and is one that concatenates a plurality of display data having different time axes according to the scheduled traveling time zone of the vehicle. It is in the program that generates the traveling section display data.
  • the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium that is provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • a program that can be provided by a storage medium or a communication medium that is provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • traveling section display data that makes it possible to distinguish at least an automatically driving section and a manually driving section on the traveling route of a vehicle is generated and presented to a user (driver).
  • a data processing unit that generates travel section display data that makes it possible to distinguish at least an automatically driving section and a manually driving section on the traveling route of a vehicle.
  • the data processing unit generates time linear display data in which the time (t) and the display position (h) are proportional to each other for the short-distance section and the long-distance section.
  • the long-distance section generates display data in which the distance per unit display length is longer than that of the short-distance section.
  • the medium-distance section between the short-distance section and the long-distance section has a time axis that changes sequentially at a predetermined ratio from the first time axis corresponding to the short-distance section to the second time axis corresponding to the long-distance section.
  • Generate data With this configuration, a configuration is realized in which at least an automatically driving section and a manually driving section on the traveling route of the vehicle can be identified, and the traveling section display data is generated and presented to the user (driver). It should be noted that the effects described in the present specification are merely exemplary and not limited, and may have additional effects.
  • FIG. 1 It is a figure which shows an example of the traveling section display in the traveling route displayed on the screen of a tablet terminal device (hereinafter simply referred to as "tablet"). It is a figure which shows an example of the state which a driver is actually executing a secondary task using a tablet. It is a figure which shows the state which the caution traveling section Sd newly occurs in the 2nd section, and the driver is warned by the blinking display. It is a figure which shows the state which the small window is pop-up displayed on the screen of a tablet. It is a figure explaining the usage configuration example of the wristwatch type information terminal of this disclosure. It is a figure explaining the usage configuration example of the wristwatch type information terminal of this disclosure.
  • the mobile device of the present disclosure is, for example, an automobile capable of switching between automatic driving and manual driving. In such an automobile, when it becomes necessary to switch from the automatic driving mode to the manual driving mode, it is necessary to have the driver (driver) start the manual driving.
  • the driver's alertness is high, that is, the manual driving can be started at any time.
  • the notification of switching to manual operation may be given at the timing immediately before the time when manual operation is required. This is because the driver can immediately start safe manual driving.
  • the driver when the driver is dozing during automatic driving, the driver's alertness is extremely low. In such a case, if the notification of switching to the manual driving is given at the timing immediately before the time when the manual driving is required, the driver has no choice but to start the manual driving in a state where the consciousness is not clear. As a result, the possibility of causing an accident increases. Therefore, when the arousal level is low as described above, it is necessary to notify the switch to manual operation at an earlier stage.
  • the mobile device of the present disclosure or an information processing device that can be mounted on the mobile device controls, for example, the timing of notification of switching to manual operation according to the arousal level of the driver.
  • FIG. 1 is a diagram showing a configuration example of an automobile 10 which is an example of the mobile device of the present disclosure.
  • the information processing device of the present disclosure is mounted on the automobile 10 shown in FIG.
  • the automobile 10 shown in FIG. 1 is an automobile capable of driving in two driving modes, a manual driving mode and an automatic driving mode.
  • driving is performed based on the operation of the driver (driver) 20, that is, the steering wheel operation, the accelerator, the brake, and the like.
  • the driver (driver) 20 is unnecessary, and the operation is performed based on the sensor information such as the position sensor and other surrounding information detection sensors.
  • the position sensor is, for example, a GPS receiver
  • the surrounding information detection sensor is, for example, a camera, an ultrasonic sensor, a radar, a LiDAR (Light Detection and Ranger, Laser Imaging Detection and Ranger), a sonar, or the like.
  • FIG. 1 is a diagram for explaining the outline of the present disclosure and schematically shows the main components. The detailed configuration will be described later.
  • the automobile 10 has a data processing unit 11, a driver information acquisition unit 12, an environmental information acquisition unit 13, a communication unit 14, and a notification unit 15.
  • the driver information acquisition unit 12 acquires, for example, information for determining the arousal level of the driver, operation information of the driver, and the like. Specifically, it is composed of, for example, a camera that captures a driver's face image, an operation information acquisition unit of each operation unit (handle, accelerator, brake, etc.), and the like.
  • the environmental information acquisition unit 13 acquires the driving environment information of the automobile 10. For example, image information of the front, rear, left and right of the automobile, position information by GPS, LiDAR (Light Detection and Ranking, Laser Imaging Detection and Ranking), surrounding obstacle information from sonar and the like.
  • image information of the front, rear, left and right of the automobile For example, image information of the front, rear, left and right of the automobile, position information by GPS, LiDAR (Light Detection and Ranking, Laser Imaging Detection and Ranking), surrounding obstacle information from sonar and the like.
  • LiDAR Light Detection and Ranking
  • Laser Imaging Detection and Ranking Laser Imaging Detection and Ranking
  • the data processing unit 11 inputs the driver information acquired by the driver information acquisition unit 12 and the environmental information acquired by the environmental information acquisition unit 13, so that the driver in the vehicle during automatic driving can execute safe manual driving.
  • a safety index value indicating whether or not the driver is in such a state and whether or not the driver who is manually driving is performing safe driving is calculated. Further, for example, when it becomes necessary to switch from the automatic operation mode to the manual operation mode, a process of notifying via the notification unit 15 is executed so as to switch to the manual operation mode.
  • the timing of this notification processing is, for example, the optimum timing calculated by inputting the driver information acquisition unit 12 and the environment information acquisition unit 13. That is, the timing is set so that the driver 20 can start safe manual operation. Specifically, if the driver's alertness is high, a notification is given immediately before the manual driving start time, for example, 5 seconds before, and if the driver's alertness is low, the manual driving start time is 20 seconds with a margin. Perform processing such as performing before. The calculation of the optimum timing for specific notification will be described later.
  • the notification unit 15 is composed of a display unit, a voice output unit, or a vibrator of a steering wheel or a seat that performs this notification.
  • FIG. 2 shows an example of warning display for the display unit constituting the notification unit 15.
  • the warning display information display area is a display area for displaying the following while performing automatic operation in the automatic operation mode. Although the entire display screen is used in this embodiment, a part of the screen may be displayed. "Please switch to manual operation" Although this example is an example in which the explanation is clearly stated, the display is not limited to such a text display, and a symbol such as a pictogram may be displayed.
  • the automobile 10 has a configuration capable of communicating with the server 30 via the communication unit 14. For example, a part of the process of calculating the appropriate time for notification output in the data processing unit 11, specifically, the learning process can be performed in the server 30. A specific example of this will be described later.
  • FIG. 3 is a diagram showing a specific example of processing executed by the mobile device and the information processing device of the present disclosure.
  • FIG. 3 is a diagram showing an example of setting an appropriate timing of a notification for making a request to switch to manual operation while executing automatic operation in the automatic operation mode, and is a notification processing example of the following two examples. Shown. (A) Notification processing when the driver's alertness during automatic driving is high (b) Notification processing when the driver's alertness during automatic driving is low
  • the example of (a) is an example in which the driver is looking forward at the road during automatic driving.
  • the driver's alertness is high, that is, the manual operation can be started at any time.
  • the driver can immediately start the safe manual operation even if the notification of switching to the manual operation is given immediately before the time when the manual operation is required.
  • the notification timing for requesting switching to manual driving is set.
  • the notification timing for requesting switching to manual driving is set.
  • FIG. 4 it is preferable to set different settings depending on the following three types of cases.
  • the example of (a) is an example in which the driver is looking forward at the road during automatic driving.
  • the driver's alertness is high, that is, the manual operation can be started at any time.
  • the driver can immediately start the safe manual operation even if the notification of switching to the manual operation is given immediately before the time when the manual operation is required.
  • the example of (b) is an example in which the driver is dozing during the execution of automatic driving, and in this case, the awakening degree of the driver is extremely low.
  • the notification of switching to manual driving is given at the timing immediately before the time when manual driving is required, the driver starts the manual driving with an unclear state child, causing an accident. The possibility increases. Therefore, when the arousal level is low as described above, it is necessary to notify the switch to manual operation at an earlier stage.
  • the example of (c) is an example in which the driver is working away from the driver's seat during automatic driving.
  • the driver takes time to return to the driver's seat. It will be.
  • the notification of switching to manual driving is given immediately before the time when manual driving is required, the driver may approach the manual driving section before returning to the driver's seat. Therefore, when the driver is away from the driver's seat in this way, it is necessary to give a notification of switching to manual driving at an earlier stage.
  • the notification unit (display unit) 15 in the driver's seat is as described above with reference to FIG.
  • the driver 20 cannot notice even if the display is performed.
  • the driver 20 notifies and provides information via an information terminal 50 worn on his / her arm, for example, a wristwatch-type information terminal 50 as shown in FIG.
  • the information terminal 50 performs the same display data display processing as described with reference to FIG. 2, and further provides approach information of the road section (automatic driving section, manual driving section) in which the automobile 10 is traveling. indicate. Further, it has an alarm output, a voice output, and a vibration function, and notifies the driver 20 of various notifications and warnings.
  • FIG. 5 is a diagram showing a usage example of the information terminal 50.
  • the driver 20 who is in the automobile 10 may be in the driver's seat as shown in FIG. 4A while the automobile 10 is performing automatic driving, but as shown in FIG. 4B. In some cases, he leaves the driver's seat and works in the luggage compartment. However, the driver 20 always wears the information terminal 50 on his arm, and can notice the display information displayed on the information terminal 50, the output voice, the alarm, the vibration, and the like. Further, these wearable information terminals 50 are interlocked with the driver information acquisition unit 12 of the vehicle, and also have a response input function as a response confirmation means. This configuration enables cognitive response of notifications and warnings. It is also possible to send a refusal notice to the vehicle system for the early return to manual driving, which will be described later.
  • FIG. 6 is a diagram showing an example of display information of the information terminal 50.
  • the example shown in FIG. 6 shows a display example similar to the display example of the notification unit (display unit) 15 described above with reference to FIG. The following displays are displayed on the information terminal 50.
  • the driver 20 can check this display wherever he is.
  • the tablet-type information terminal 50 as shown in FIG. 7 may be used to provide notification and information.
  • FIG. 8 shows a configuration example of the mobile device 100.
  • a vehicle provided with the moving device 100 is distinguished from another vehicle, it is referred to as a own vehicle or a own vehicle.
  • the mobile device 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, a body system control unit 109, and a body system. It includes a system 110, a storage unit 111, and an automatic operation control unit 112.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 are connected via the communication network 121. They are interconnected.
  • the communication network 121 is, for example, from an in-vehicle communication network or bus conforming to an arbitrary standard such as CAN (Control Area Network), LIN (Local Internet Network), LAN (Local Area Network), or FlexRay (registered trademark). Become.
  • each part of the mobile device 100 may be directly connected without going through the communication network 121.
  • the description of the communication network 121 shall be omitted.
  • the input unit 101 and the automatic operation control unit 112 communicate with each other via the communication network 121, it is described that the input unit 101 and the automatic operation control unit 112 simply communicate with each other.
  • the input unit 101 includes a device used by the passenger to input various data, instructions, and the like.
  • the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device capable of inputting by a method other than manual operation by voice or gesture.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device that supports the operation of the mobile device 100.
  • the input unit 101 generates an input signal based on data, instructions, and the like input by the passenger, and supplies the input signal to each unit of the mobile device 100.
  • the data acquisition unit 102 includes various sensors and the like for acquiring data used for processing of the mobile device 100, and supplies the acquired data to each unit of the mobile device 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the own vehicle and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement unit (IMU), an accelerator pedal operation amount, a brake pedal operation amount, a steering wheel steering angle, and an engine speed. It is equipped with a sensor or the like for detecting the rotation speed of the motor or the rotation speed of the wheels.
  • IMU inertial measurement unit
  • the data acquisition unit 102 includes various sensors for detecting information outside the own vehicle.
  • the data acquisition unit 102 includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting the weather, the weather, and the like, and a surrounding information detection sensor for detecting an object around the own vehicle.
  • the environmental sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor includes, for example, an ultrasonic sensor, a radar, a LiDAR (Light Detection and Ringing, a Laser Imaging Detection and Ranking), a sonar, and the like.
  • FIG. 9 shows an installation example of various sensors for detecting external information of the own vehicle.
  • the imaging devices 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumpers, back door, and upper part of the windshield of the vehicle interior of the vehicle 7900.
  • the image pickup device 7910 provided in the front nose and the image pickup device 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the image pickup devices 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the image pickup device 7916 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the image pickup device 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like. Further, in future automatic driving, when the vehicle turns left or right, it may be extended to a pedestrian crossing a road to which the vehicle turns left or right, or even an object approaching the crossroads.
  • FIG. 9 shows an example of the photographing range of each of the imaging devices 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging device 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging range of the imaging devices 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d indicates the imaging range d.
  • the imaging range of the imaging device 7916 provided on the rear bumper or the back door is shown.
  • the sensors 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corners and the upper part of the windshield of the vehicle interior of the vehicle 7900 may be, for example, an ultrasonic sensor or a radar.
  • the sensors 7920, 7926, 7930 provided on the front nose, rear bumper, back door and upper part of the windshield of the vehicle interior of the vehicle 7900 may be, for example, LiDAR.
  • These sensors 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like. These detection results may be further applied to the improvement of the three-dimensional object display of the bird's-eye view display and the all-around stereoscopic display.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the own vehicle. Specifically, for example, the data acquisition unit 102 includes a GNSS receiver or the like that receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device that images the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, a seat surface or a steering wheel, and detects the sitting state of a occupant sitting in a seat or the biometric information of a driver holding the steering wheel.
  • Biological signals include heart rate, pulse rate, blood flow, breathing, psychosomatic correlation, visual stimulation, brain waves, sweating state, head posture behavior, eyes, gaze, blinking, soccerd, microsaccade, fixation, drift, gaze.
  • Various observable data such as iris pupillary reaction are available. These biological activity observable information reflecting the observable driving state is aggregated as the observable evaluation value estimated from the observation, and the return delay of the corresponding driver is based on the return delay time characteristic linked with the log of the evaluation value. As a unique characteristic of the case, the safety determination unit 155, which will be described later, uses it to calculate the return notification timing.
  • FIG. 10 shows an example of various sensors for obtaining information on the driver in the vehicle included in the data acquisition unit 102.
  • the data acquisition unit 102 includes a ToF camera, a stereo camera, a seat strain gauge (Seat Strain Gauge), and the like as detectors for detecting the position and attitude of the driver.
  • the data acquisition unit 102 includes a face recognizer (Face (Head) Recognition), a driver eye tracker (Driver Eye Tracker), and a driver head as detectors for obtaining information on the driver's biological activity. It is equipped with a driver (Driver Head Tracker) and the like.
  • the data acquisition unit 102 includes a biological signal (Vital Signal) detector as a detector for obtaining information on the driver's biological activity.
  • the data acquisition unit 102 includes a driver authentication unit.
  • an authentication method in addition to knowledge authentication using a password or PIN, biometric authentication using a face, fingerprint, eye iris, voice print, etc. can be considered.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices, servers, base stations, etc. outside the vehicle, transmits data supplied from each unit of the mobile device 100, and transmits the received data to the mobile device 100. Supply to each part.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 may support a plurality of types of communication protocols.
  • the communication unit 103 wirelessly communicates with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like. Further, for example, the communication unit 103 uses a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL () via a connection terminal (and a cable if necessary) (not shown). Wired communication is performed with the in-vehicle device 104 by Mobile High-definition Link) or the like.
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Mobility Management Entity
  • the communication unit 103 communicates with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network or a business-specific network) via a base station or an access point. Communicate. Further, for example, the communication unit 103 uses P2P (Peer To Peer) technology to connect with a terminal (for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal) existing in the vicinity of the own vehicle. Communicate.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network or a business-specific network
  • P2P Peer To Peer
  • a terminal for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal
  • the communication unit 103 includes vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-house (Vehicle to Home) communication, and pedestrian-to-vehicle (Vehicle to Pedestrian) communication. ) Perform V2X communication such as communication. Further, for example, the communication unit 103 is provided with a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic congestion, traffic regulation, or required time. To do.
  • pairing is performed with a vehicle traveling ahead while traveling in a section that can be a leading vehicle through the communication unit, information acquired from the data acquisition unit mounted on the vehicle in front is acquired as pre-traveling information, and the data acquisition unit 102 of the own vehicle It may be complemented with the data, and it will be a means to ensure the safety of the following platoon, especially when running in platoon with the leading vehicle.
  • the in-vehicle device 104 is, for example, a mobile device (tablet, smartphone, etc.) or a wearable device owned by a passenger, an information device carried in or attached to the own vehicle, a navigation device for searching a route to an arbitrary destination, and the like. including.
  • a mobile device tablet, smartphone, etc.
  • a wearable device owned by a passenger
  • an information device carried in or attached to the own vehicle a navigation device for searching a route to an arbitrary destination, and the like.
  • the information presentation of the necessary points for intervention by the driver is described by limiting it to the corresponding driver, but the information is further provided to the following vehicle by platooning or the like.
  • it may be used in combination with remote driving support as appropriate by constantly providing information to the operation management center of passenger transportation shared buses and long-distance logistics commercial vehicles.
  • the output control unit 105 controls the output of various information to the passengers of the own vehicle or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data) and supplies it to the output unit 106 to supply the output unit 105.
  • the output control unit 105 synthesizes image data captured by different imaging devices of the data acquisition unit 102 to generate a bird's-eye view image, a panoramic image, or the like, and outputs an output signal including the generated image. It is supplied to the output unit 106.
  • the output control unit 105 generates voice data including a warning sound or a warning message for dangers such as collision, contact, and entry into a danger zone, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for dangers such as collision,
  • the output unit 106 is provided with a device capable of outputting visual information or auditory information to the passengers of the own vehicle or outside the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as a spectacle-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 displays visual information in the driver's field of view, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function, in addition to the device having a normal display. It may be a display device.
  • the drive system control unit 107 controls the drive system system 108 by generating various control signals and supplying them to the drive system system 108. Further, the drive system control unit 107 supplies a control signal to each unit other than the drive system system 108 as necessary, and notifies the control state of the drive system system 108.
  • the drive system system 108 includes various devices related to the drive system of the own vehicle.
  • the drive system system 108 includes a drive force generator for generating a drive force of an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle, and the like. It is equipped with a braking device that generates a braking force, an ABS (Antilock Brake System), an ESC (Electronic Stability Control), an electric power steering device, and the like.
  • the body system control unit 109 controls the body system 110 by generating various control signals and supplying them to the body system 110. Further, the body system control unit 109 supplies control signals to each unit other than the body system 110 as necessary, and notifies the control state of the body system 110.
  • the body system 110 includes various body devices equipped on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, head lamps, back lamps, brake lamps, blinkers, fog lamps, etc.). Etc. are provided.
  • the storage unit 111 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, and the like. ..
  • the storage unit 111 stores various programs, data, and the like used by each unit of the mobile device 100.
  • the storage unit 111 stores map data such as a three-dimensional high-precision map such as a dynamic map, a global map which is less accurate than the high-precision map and covers a wide area, and a local map including information around the own vehicle.
  • map data such as a three-dimensional high-precision map such as a dynamic map, a global map which is less accurate than the high-precision map and covers a wide area, and a local map including information around the own vehicle.
  • the automatic driving control unit 112 controls automatic driving such as autonomous driving or driving support. Specifically, for example, the automatic driving control unit 112 issues collision avoidance or impact mitigation of the own vehicle, follow-up running based on the inter-vehicle distance, vehicle speed maintenance running, collision warning of the own vehicle, lane deviation warning of the own vehicle, and the like. Coordinated control is performed for the purpose of realizing the functions of ADAS (Advanced Driver Assistance System) including. Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation of the driver.
  • the automatic operation control unit 112 includes a detection unit 131, a self-position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various types of information necessary for controlling automatic operation.
  • the detection unit 131 includes an outside information detection unit 141, an inside information detection unit 142, and a vehicle state detection unit 143.
  • the vehicle outside information detection unit 141 performs detection processing of information outside the own vehicle based on data or signals from each unit of the mobile device 100.
  • the vehicle exterior information detection unit 141 performs detection processing, recognition processing, tracking processing, and detection processing of the distance to the object and the relative speed of the object around the own vehicle.
  • Objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like.
  • the vehicle outside information detection unit 141 performs detection processing of the environment around the own vehicle.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition, and the like.
  • the vehicle outside information detection unit 141 outputs data indicating the result of the detection process to the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. It is supplied to the emergency situation avoidance unit 171 and the like.
  • the information acquired by the out-of-vehicle information detection unit 141 is mainly infrastructure if the local dynamic map (LDM), which is constantly updated as a section where autonomous driving is possible, is supplied from the infrastructure. It is possible to receive information from the vehicle or a group of vehicles traveling in advance of the relevant section, and the vehicle may always receive information updates in advance prior to entering the section.
  • LDM local dynamic map
  • road environment information obtained from the section intrusion leading vehicle for the purpose of obtaining road information immediately before the intrusion section which is safer, especially when traveling in a platoon, such as when the latest local dynamic map is not constantly updated from the infrastructure. May be used in a complementary manner.
  • the section where autonomous driving is possible depends on the presence or absence of prior information provided by these infrastructures.
  • the updated fresh Local Dynamic Map (LDM) that composes the autonomous driving availability information on the route provided by the infrastructure is equivalent to providing an invisible track as so-called "information”.
  • the outside information detection unit 141 is shown on the assumption that it is mounted on the own vehicle, but by using the information captured by the preceding vehicle as "information", the predictability during driving is further improved. Is also good.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the mobile device 100.
  • the vehicle interior information detection unit 142 performs driver authentication processing and recognition processing, driver status detection processing, passenger detection processing, vehicle interior environment detection processing, and the like.
  • the state of the driver to be detected includes, for example, physical condition, alertness, concentration, fatigue, gaze direction, detailed eyeball behavior, and the like.
  • the main detection means is to detect a decrease in consciousness such as drowsiness.
  • the degree of driving intervention from the steering stability of the steering equipment, etc., and from a state where the exact state of consciousness of the driver is unknown, it is necessary to observe the transition of consciousness return necessary for driving, and the accurate driver It is necessary to proceed with the transfer of intervention from automatic steering to manual driving after grasping the internal awakening state of the vehicle.
  • the in-vehicle information detection unit 142 mainly has two major roles, the first role is passive monitoring of the driver's condition during automatic driving, and the second role is to return from the system.
  • the driver's peripheral cognition, perception, and judgment, as well as the detection and judgment of the operating ability of the steering device are made to a level at which manual driving is possible by the time the driver reaches the section of careful driving.
  • a self-diagnosis of the failure of the entire vehicle may be further performed, and even if a partial functional failure of the automatic driving causes a deterioration of the automatic driving function, the driver may be urged to return to the early manual driving.
  • Passive monitoring here refers to a type of detection means that does not require the driver to consciously respond, and excludes objects that detect response signals by transmitting physical radio waves, light, etc. from the device. is not. In other words, it refers to the state monitoring of the driver under unconsciousness such as during a nap, and the classification that is not the driver's cognitive response response is the passive method. It does not exclude active response devices that analyze and evaluate reflected and diffused signals irradiated with radio waves and infrared rays. On the contrary, the one that asks the driver for a conscious response is active.
  • the environment inside the vehicle to be detected includes, for example, temperature, humidity, brightness, odor, and the like.
  • the vehicle interior information detection unit 142 supplies data indicating the result of the detection process to the situational awareness unit 153 and the motion control unit 135 of the situational analysis unit 133.
  • the driver could not achieve manual operation within the accurate deadline after the driver was instructed to return to operation by the system, and even if deceleration control was performed while the vehicle was in its own operation and the time was postponed, it could be taken over. If it is determined that the vehicle is not in time, an instruction is given to the emergency situation avoidance unit 171 or the like of the system, and the deceleration, evacuation / stop procedure is started to evacuate the vehicle.
  • the vehicle state detection unit 143 performs the state detection process of the own vehicle based on the data or the signal from each part of the mobile device 100.
  • the states of the vehicle to be detected include, for example, speed, acceleration, steering angle, presence / absence and content of abnormality, driving operation state, power seat position / tilt, door lock state, and other in-vehicle devices. The state etc. are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the self-position estimation unit 132 estimates the position and posture of the own vehicle based on data or signals from each unit of the mobile device 100 such as the vehicle exterior information detection unit 141 and the situational awareness unit 153 of the situation analysis unit 133. I do. In addition, the self-position estimation unit 132 generates a local map (hereinafter, referred to as a self-position estimation map) used for self-position estimation, if necessary.
  • a self-position estimation map a local map
  • the map for self-position estimation is, for example, a high-precision map using a technique such as SLAM (Simultaneus Localization and Mapping).
  • the self-position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133. Further, the self-position estimation unit 132 stores the self-position estimation map in the storage unit 111.
  • the situation analysis unit 133 analyzes the situation of the own vehicle and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, a situation prediction unit 154, and a safety determination unit 155.
  • the map analysis unit 151 analyzes various maps stored in the storage unit 111 while using data or signals from each unit of the mobile device 100 such as the self-position estimation unit 132 and the vehicle exterior information detection unit 141 as necessary. Perform processing and build a map containing information necessary for automatic operation processing.
  • the map analysis unit 151 applies the constructed map to the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, and the like. Supply to.
  • the traffic rule recognition unit 152 recognizes traffic rules around the own vehicle based on data or signals from each unit of the mobile device 100 such as the self-position estimation unit 132, the vehicle outside information detection unit 141, and the map analysis unit 151. Perform processing. By this recognition process, for example, the position and state of the signal around the own vehicle, the content of the traffic regulation around the own vehicle, the lane in which the vehicle can travel, and the like are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 is based on data or signals from each unit of the mobile device 100 such as the self-position estimation unit 132, the vehicle exterior information detection unit 141, the vehicle interior information detection unit 142, the vehicle condition detection unit 143, and the map analysis unit 151. Then, the situation regarding the own vehicle is recognized. For example, the situational awareness unit 153 performs recognition processing such as the situation of the own vehicle, the situation around the own vehicle, and the situation of the driver of the own vehicle. In addition, the situational awareness unit 153 generates a local map (hereinafter, referred to as a situational awareness map) used for recognizing the situation around the own vehicle, if necessary.
  • the situational awareness map is, for example, an occupied grid map (Occupancy Grid Map).
  • the situation of the own vehicle to be recognized includes, for example, the position, attitude, movement (for example, speed, acceleration, moving direction, etc.) of the own vehicle, and the cargo load and the cargo load that determine the motion characteristics of the own vehicle.
  • Vehicle-specific movements such as movement of the center of gravity of the vehicle body, tire pressure, braking distance movement due to brake braking pad wear, maximum deceleration braking to prevent cargo movement caused by load braking, centrifugal relaxation limit speed when traveling on curves due to liquid loading, etc.
  • the road environment is exactly the same, such as the conditions specific to the loaded cargo, the friction coefficient of the road surface, the road curve, and the slope, the return start timing required for control differs depending on the characteristics of the vehicle itself and the load.
  • a parameter that determines the addition of the desired return grace time in order to ensure a certain level of safety according to the characteristics unique to the load may be set in advance as a fixed value, and not necessarily all notification timings. It is not necessary to take a method of uniformly determining the determination condition from self-cumulative learning.
  • the surrounding conditions of the vehicle to be recognized include, for example, the type and position of surrounding stationary objects, the type, position and movement of surrounding animals (eg, speed, acceleration, direction of movement, etc.), and the surrounding roads.
  • the composition and road surface condition, as well as the surrounding weather, temperature, humidity, brightness, etc. are included.
  • the state of the driver to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, eye movement, driving operation, and the like.
  • Driving a vehicle safely means the load capacity mounted in the vehicle's unique state, the chassis fixed state of the mounting part, the center of gravity biased state, the maximum deceleration possible acceleration value, the maximum loadable centrifugal force, and the driver.
  • the control start point that needs to be dealt with differs greatly depending on the amount of return response delay and the like depending on the state of.
  • the situational awareness unit 153 supplies data indicating the result of the recognition process (including a situational awareness map, if necessary) to the self-position estimation unit 132, the situation prediction unit 154, and the like. Further, the situational awareness unit 153 stores the situational awareness map in the storage unit 111.
  • the situational awareness unit 154 performs situational awareness processing related to the own vehicle based on data or signals from each unit of the mobile device 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situational awareness unit 153.
  • the situation prediction unit 154 performs prediction processing such as the situation of the own vehicle, the situation around the own vehicle, and the situation of the driver.
  • the situation of the own vehicle to be predicted includes, for example, the behavior of the own vehicle, the occurrence of an abnormality, the mileage, and the like.
  • the situation around the own vehicle to be predicted includes, for example, the behavior of the animal body around the own vehicle, the change in the signal state, the change in the environment such as the weather, and the like.
  • the driver's situation to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 154 together with the data from the traffic rule recognition unit 152 and the situation recognition unit 153, provides the data indicating the result of the prediction processing to the route planning unit 161, the action planning unit 162, and the operation planning unit 163 of the planning unit 134. And so on.
  • the safety determination unit 155 learns the optimum return timing according to the driver's return behavior pattern, vehicle characteristics, etc., and provides the learning information to the situational awareness unit 153 and the like. As a result, for example, it is possible to present to the driver the statistically determined optimum timing required for the driver to normally return from the automatic operation to the manual operation at a predetermined rate or more.
  • the route planning unit 161 plans a route to the destination based on data or signals from each unit of the mobile device 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the specified destination based on the global map. Further, for example, the route planning unit 161 appropriately changes the route based on the conditions such as traffic congestion, accidents, traffic restrictions, construction work, and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 safely travels the route planned by the route planning unit 161 within the planned time based on the data or signals from each unit of the mobile device 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan your vehicle's actions to do. For example, the action planning unit 162 plans starting, stopping, traveling direction (for example, forward, backward, left turn, right turn, change of direction, etc.), traveling lane, traveling speed, and overtaking. The action planning unit 162 supplies data indicating the planned behavior of the own vehicle to the motion planning unit 163 and the like.
  • the motion planning unit 163 performs the operation of the own vehicle for realizing the action planned by the action planning unit 162 based on the data or signals from each unit of the mobile device 100 such as the map analysis unit 151 and the situation prediction unit 154. To plan. For example, the motion planning unit 163 plans acceleration, deceleration, traveling track, and the like. The motion planning unit 163 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173 of the motion control unit 135.
  • the motion control unit 135 controls the motion of the own vehicle.
  • the motion control unit 135 includes an emergency situation avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency situation avoidance unit 171 may collide, contact, enter a danger zone, have a driver abnormality, or have a vehicle. Performs emergency detection processing such as abnormalities.
  • the emergency situation avoidance unit 171 detects the occurrence of an emergency situation, it plans the operation of the own vehicle to avoid an emergency situation such as a sudden stop or a sharp turn.
  • the emergency situation avoidance unit 171 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the own vehicle planned by the motion planning unit 163 or the emergency situation avoidance unit 171.
  • the acceleration / deceleration control unit 172 calculates a control target value of a driving force generator or a braking device for realizing a planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • an emergency situation can occur. In other words, an unexpected accident occurs during automatic driving on a road that was originally considered safe by the local dynamic map acquired from the infrastructure on the driving route during automatic driving, and the driver's emergency return is made. There are cases where it is not in time and cases where it is difficult for the driver to accurately return from automatic driving to manual driving.
  • the direction control unit 173 performs direction control for realizing the operation of the own vehicle planned by the motion planning unit 163 or the emergency situation avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling track or the sharp turn planned by the motion planning unit 163 or the emergency situation avoidance unit 171 and controls to indicate the calculated control target value. The command is supplied to the drive system control unit 107.
  • FIG. 11 schematically shows an example of a mode switching sequence from the automatic operation mode to the manual operation mode in the automatic operation control unit 112.
  • step S1 the driver is completely separated from the driving steering.
  • the driver can perform secondary tasks such as taking a nap, watching a video, concentrating on a game, and working with a visual tool such as a tablet or smartphone.
  • Work using a visual tool such as a tablet or a smartphone may be performed, for example, with the driver's seat shifted or in a seat different from the driver's seat.
  • the system needs to optimize the notification timing in order for the driver to start taking appropriate measures for returning to the operation in response to the notification.
  • Step S2 is the timing of the manual operation return request notification as described above with reference to FIG.
  • the driver is notified of dynamic pactics such as vibration and visual or audible return to driving.
  • dynamic pactics such as vibration and visual or audible return to driving.
  • the automatic driving control unit 112 for example, the steady state of the driver is monitored, the timing of issuing a notification is grasped, and the notification is given at an appropriate timing. That is, the execution state of the driver's secondary task is constantly passively monitored during the passive monitoring period of the previous stage, the system can calculate the optimum timing of the optimum notification timing, and the passive monitoring during the period of step S1 is always continued. It is desirable that the return timing and the return notification be performed according to the driver's unique return characteristics.
  • the optimum return timing is learned according to the driver's return behavior pattern, vehicle characteristics, etc., and statistically obtained for the driver to normally return from automatic driving to manual driving at a predetermined rate or higher. It is desirable to present the optimum timing to the driver. In this case, if the driver does not respond to the notification within a certain period of time, a warning is given by sounding an alarm or the like.
  • step S3 it is confirmed whether the driver has returned to the seat.
  • step S4 the driver's internal alertness state is confirmed by eyeball behavior analysis of the face, saccade, and the like.
  • step S5 the stability of the actual steering condition of the driver is monitored. Then, in step S6, the transfer from the automatic operation to the manual operation is completed.
  • the flowchart shown in FIG. 12 is a flowchart illustrating an operation sequence of automatic operation for executing 100 of the mobile device.
  • driver authentication is performed.
  • This driver authentication is performed by knowledge authentication using a password or a personal identification number, biometric authentication using a face, fingerprint, pupil iris, voiceprint, etc., and further, knowledge authentication and biometric authentication are used in combination.
  • step S12 the driver operates the input unit 101 to set the destination.
  • the driver's input operation is performed based on the display on the instruments panel.
  • the remote advance reservation setting etc. is made from the smartphone or the personal computer before leaving the home.
  • the so-called local dynamic map (LDM) information that is constantly updated may be updated and acquired, and the actual driving advice may be further displayed in a concierge manner even at the time of boarding or before the vehicle is boarded.
  • LDM local dynamic map
  • step S13 the travel section display on the travel route is started.
  • this traveling section display is also displayed side by side with the work window on, for example, a tablet in which the driver performs a secondary task.
  • the driver working in the work window can easily recognize the section requiring driver intervention and the section in which automatic driving is possible on the traveling route on the estimated arrival time axis from the current position.
  • this travel section display the forward schedule and approach information to each point are presented.
  • the section requiring driver intervention and the section capable of automatic driving of the traveling route are displayed on the estimated arrival time axis from the current position.
  • the section requiring driver intervention includes a manual driving section, a section for taking over from automatic driving to manual driving, and a caution running section from automatic driving. The details of this traveling section display will be described later.
  • step S14 acquisition of LDM update information is started.
  • the content of the traveling section display can be changed to the latest state.
  • the running is started.
  • step S16 the display of the traveling section display is updated based on the position information of the own vehicle and the acquired LDM update information. As a result, the traveling section display is scrolled so that each section approaches the own vehicle as the vehicle travels.
  • step S17 the driver's condition is monitored.
  • step S18 the event change response process is performed.
  • This event change response process includes a mode switching process for responding to a switching point between the automatic driving mode and the manual driving mode that already exists in the driving route or a caution driving section approaching, and during the driving route.
  • FIG. 13 shows an example of a traveling route determined by setting a destination by the driver.
  • This traveling route includes an automatic driving section Sa, a manual driving section Sb, a transfer section Sc from automatic driving to manual driving, and a cautionary driving section Sd from automatic driving.
  • the takeover section Sc always exists immediately before the manual operation section Sb, and the driver needs to be in a position to return to the manual operation.
  • the caution running section Sd is a section in which the driver can decelerate and run while in automatic driving under the caution monitoring of the driver who is in a position to return to manual driving.
  • these automatic driving possible sections Sa, manual driving sections Sb, handing over sections Sc from automatic driving to manual driving, and cautionary driving sections Sd from automatic driving are categories used for convenience in order to explain the disclosed technology. , It may be subdivided or simplified according to various operations of automatic driving in the future. In addition, these categories are not uniquely defined for the road environment, and some functions of autonomous driving performance based on differences in operation divided into lanes, applicable vehicle characteristics, road conditions, weather conditions, and vehicle self-diagnosis information. Sections and lanes that are determined by multiple factors such as the automatic driving performance of the vehicle itself due to deterioration, etc., and are limited to uniquely defined sections such as the fixed section on the map illustrated in FIG. 13 of the present disclosure. is not.
  • the automatic driving section Sa is shown in green
  • the manual driving section Sb is shown in red
  • the takeover section Sc and the caution running section Sd are shown in yellow.
  • each color is represented by a separate pattern.
  • each section of the travel route as described above is displayed on the estimated arrival time axis from the current position.
  • the data processing unit executes information generation processing for displaying the traveling section on the traveling route based on the traveling route information and the traffic information.
  • the display data obtained as a result of this information processing is displayed on the display unit constituting the output unit 106 under the control of the output control unit 105.
  • FIG. 14A shows each section of the traveling route on a constant scale on the moving distance axis from the current position.
  • FIG. 14B shows the average road traffic flow speed v (t) at each point.
  • FIG. 14 (c) shows each section represented by the moving distance axis converted into a time axis using the velocity v (t).
  • each section of the traveling route is represented by the estimated arrival time axis from the current position. That is, the physical distance of the traveling route can be expressed by the time axis divided by the average speed for each applicable section.
  • the entire section displayed as the traveling section is divided into three sections as shown in FIG. 14D, and the time axis of each section is changed. That is, the first section from the current point to the first point (time t0, for example, about 10 minutes) is displayed on the first time axis as the latest section of the time linear display.
  • the time t0 is set to a time necessary and sufficient for a general driver to finish the secondary task and return to the operation. Since the nearest section approaching by driving has the same visual intuition effect as shown on the map traveling at a constant speed, the driver can start preparing for an accurate return to driving due to the approaching event, and return to a certain degree of accuracy. There is a merit that you can intuitively grasp the point to start. In other words, the purpose of displaying this section is to provide the user with accurate information on determining the start of the return point.
  • the second section from the first point (time t0) to the second point (time t1, for example, about 1 hour) is the reciprocal display section of the time, and this first time from the first time axis. It is displayed on a time axis that is sequentially changed up to a second time axis that is reduced by a predetermined ratio with respect to the axis.
  • the purpose of displaying this second section is mainly to display the road condition for a longer period narrower because it is difficult to display the long-term period in a narrow display space if the display is performed at the same scale magnification as the first section above. It will be a device to provide the driver accurately.
  • the driver can easily grasp how far the driving intervention is not required in a certain section ahead of the driving, and plans to engage in the secondary task.
  • the display of the second display section shown above is a display in which the traveling straight line extension display section on the map is viewed diagonally in the direction of travel, or the front of the road plane, if the vehicle is traveling at a constant speed. Corresponds to the state of looking diagonally.
  • the visual effect of this display section can be intuitively understood at the height of the display image, it can be said that the sensory distance can be easily grasped without displaying the accurate position display scale on the screen. ..
  • the distant section is reduced, it is not a point that will be reached immediately by driving, so a rough prediction is important, but it is not necessary for the driver to intuitively grasp the arrival time information as strict as the nearby point. It is also suitable for making a secondary task execution plan.
  • the third section from the second point (time t1) to the third point (time t2) is displayed on the second time axis (reduction rate hs / h0) as a time linear display distant section.
  • the driver can know the details of the most recent section information in time and the section information farther in time in a limited display space. It becomes possible to know. If the distant part is displayed with the display form of the second section as it is, the visual resolution of the person and the display resolution of the system will be less than the limit, and the information necessary for the planning judgment of the secondary task cannot be discriminated. The meaning is lost. Therefore, the reduction of the display scale is completed at the stage where the sense of the time interval can be intuitively grasped and the necessary intervening section and unnecessary section division are properly displayed, and the subsequent sections are returned to the constant scale. The most effective way to display is to display.
  • the vehicle control system 100 has default values for times t0, t1, and t3. Since it is conceivable that the values of time t0, t1, and t3 are different for long-distance driving and short-distance driving, the default value is not limited to one, and a plurality of types are provided, and the driver (user). ) Or the system may be selectively used according to the driving route. It is also conceivable that the driver (user) can arbitrarily set the values of the times t0, t1, and t3.
  • FIGS. 15A and 15B show an example of the traveling section display that is finally displayed. It is linear traveling section display data extending in one direction according to the scheduled traveling time zone of the vehicle. It should be noted that each of the arrows shown at the bottom indicates a length corresponding to the same vehicle traveling time (unit time) in the traveling section display data shown in FIGS. 15A and 15B. A small number of long arrows are associated with the first section, and a large number of short arrows are associated with the third section. This means that the first section is a short distance that can be traveled in a short time, and the third section is a long distance that can be traveled for a long time. In the second section, the arrow becomes longer as the vehicle approaches the vehicle, and the travel display data of the second section is displayed so as to change to a shorter distance in the travel time as the vehicle approaches the vehicle.
  • FIG. 15A all the sections of the first section, the second section, and the third section are displayed with the first display width as it is.
  • FIG. 15B a single traveling section display data is obtained by concatenating a plurality of display data having different time axes according to the scheduled traveling time zone of the vehicle. That is, the first section from the current position where the scheduled travel time zone of the vehicle is early to the first point (time t0) is displayed with the first display width, and is displayed from the first point (time t0) to the second.
  • the second section up to the point (time t1) is displayed with a display width that gradually changes from the first display width to the second display width that is narrower than the first display width, and is the scheduled travel time zone of the vehicle.
  • the third section from the second point (time T1) to the third point (time T2), which is slow, is displayed with the second display width.
  • the display 14 is a display that considers only the reduction ratio of the traveling direction, but further, by changing the display width of the road with respect to the traveling direction of the display information in a pseudo manner according to the perspective, the road The same perspective effect as when looking in the infinite direction along the progress of the map is obtained, and the distribution of the sections requiring driving intervention can be grasped more intuitively than just looking at the screen for a moment.
  • the display width in front of the road becomes narrower as the distance increases.
  • This is a display format having the same visual effect as when the driver sees the actual road in front of the vehicle, and the display data can be viewed with the same sense of distance as when the driver sees the actual road. Therefore, it can be said that it is a display form in which the actual feeling of reaching each point can be intuitively grasped and the time can be allocated without visually determining the accurate position memory.
  • the third section In a part where the reduction ratio hs / h0 is small, for example, in the third section, if a section having a short time length is displayed with the same time length, the section is displayed very thinly, which makes it difficult for the driver to recognize. It is expected to be. Therefore, even if the driver-intervened section (manual driving section, takeover section, caution running section) is actually shorter than a certain time length, it is displayed with a certain time length. In this case, for example, when the takeover section and the manual operation section are continuous, the display of the takeover section may be omitted. In FIGS. 15A and 15B, the display of the first manual operation section Sb of the third section indicates such a state. As a result, in the third section where the time axis is greatly reduced, it becomes possible for the driver to recognizablely display the section requiring driver intervention for a short time length.
  • the manual operation section Sb when the manual operation section Sb is intermittently continuous in a short cycle, the whole is displayed as a connected manual operation section Sb.
  • the display of the second manual operation section Sb of the third section shows the state of being connected and displayed in this way.
  • the manual operation section Sb displayed in this way actually includes the takeover section Sd for a short period and the automatic operation possible section Sa in addition to the manual operation section Sb.
  • detailed display is possible by, for example, double-touching the point while the traveling section is displayed on the tablet or the like.
  • the travel section display on the above-mentioned travel route is updated based on the position information of the own vehicle and the acquired LDM update information. As a result, the traveling section display is scrolled so that each section approaches the own vehicle with the passage of time.
  • 16 (a) to 16 (d) show an example of a change in the traveling section display with the passage of time. This example shows an example in which the second section is tapered, but the same applies when all the sections are displayed with the same width.
  • each section moves quickly. Further, in the second section, the reduction of the time axis is reduced from the third section side to the first section side, so that the movement of each section becomes faster. Further, in the third section, since the time axis is greatly reduced, the movement of each section is slow.
  • FIG. 17 (a) and 17 (b) show an example of the traveling section display 181 in the traveling route displayed on the screen of the tablet 182.
  • FIG. 17A is an example in which the tablet 182 is used in a vertically long shape.
  • the traveling section display 181 is displayed in a bent state from the left side to the upper side, and is displayed in parallel with the work window which is the execution screen of the secondary task performed on the tablet 182.
  • FIG. 17B is an example in which the tablet 182 is used in landscape orientation.
  • the traveling section display 181 is displayed in a bent state from the left side to the upper side, and is displayed in parallel with the work window which is the execution screen of the secondary task performed on the tablet 182.
  • the traveling section display 181 is arranged in a folded state on the screen of the tablet 182, but if the arrangement space is sufficient, it may be arranged linearly.
  • FIG. 18 shows an example of a state in which the driver is actually executing the secondary task using the tablet 182.
  • the tablet 182 is used in landscape orientation.
  • the traveling section display 181 is displayed in a state of being bent from the left side to the upper side.
  • the driver may selectively decide whether or not to display the traveling section display 181 on the screen. In that case, for example, when the traveling section display 181 is not displayed on the screen and the driver-intervened required section comes in within a certain period of time and the driver is notified, the traveling section display 181 is automatically displayed. May appear on the screen.
  • the traveling section display 181 When the traveling section display 181 is displayed on the screen of the tablet 182 and a new driver intervention required section occurs in the display section, the newly generated driver intervention required section is newly displayed. appear. In this case, the newly generated section requiring driver intervention is displayed blinking for a certain period of time so as to be distinguishable from the others. This blinking display may be accompanied by a caution alarm sound.
  • a new driver-intervened section when a new driver-intervened section is generated, it includes a case where a caution driving section and a manual driving section are newly generated, and a case where the caution driving section is changed to a manual driving section.
  • FIG. 19 shows a state in which a caution driving section Sd is newly generated in the second section and a blinking display warns the driver.
  • the driver may be able to stop the blinking, that is, the warning state by touching the display portion of the caution traveling section Sd that is blinking.
  • the blinking that is, the warning state can be stopped. May be done.
  • the traveling section display 181 is displayed on the screen of the tablet 182, for example, as shown in FIG. 20, a small window opens. A pop-up is displayed, and the display related to that point is made.
  • the wristwatch-type information terminal 50 described above with reference to FIGS. 5 and 6 is color-coded for each section in the same manner as described with reference to FIGS. 14 to 20. It may be configured.
  • the example shown in FIG. 21 is an example in which information on each section such as an automatic driving section and a manual driving section of a road according to a traveling route determined by setting a destination by the driver is displayed.
  • the numerical values of 0 to 9 around the display unit indicate the elapsed time of 0 to 9 minutes from the current time.
  • the entire display area shows the section information of the vehicle scheduled to travel from the current time (0) to 10 minutes later.
  • the traveling route is provided with an automatic driving section Sa and a manual driving section Sb, and further includes a transfer section Sc from automatic driving to manual driving, a caution driving section Sd set in the automatic driving section Sa, and the like. ..
  • Circular traveling section display data extending in a circumferential shape is displayed according to the scheduled traveling time zone of the vehicle.
  • the information terminal 50 uses the communication unit to provide information on the scheduled travel time of each section calculated by the data processing unit 11 in the automobile 10 based on the traveling speed of the automobile 10 or the average speed information of the vehicle in the traveling route of the automobile 10. Receive and display via. By looking at the information displayed on the information terminal 50, the driver 20 can confirm the remaining time until the driver enters the manual driving section, and finishes the work in the luggage compartment 21 in time for that time. It is possible to return to the driver's seat.
  • the driver 20 can grasp that he / she will enter the manual driving section about 8 minutes and 40 seconds from now based on the display of the information terminal 50, and by then. The work can proceed so as to return to the driver's seat.
  • an arrow is further displayed on the information terminal 50 shown in FIG.
  • This arrow is set at a time when the driver 20 is notified of the manual operation return request, for example, switching to the display shown in FIG. 5, alarm output, or vibration activation.
  • This notification timing is determined, for example, on the mobile device (vehicle 10) side based on at least one information of the driver's alertness or position.
  • the determined notification timing information is transmitted to the information terminal 50.
  • the time display of the notification by the arrow is only an example, and it is not necessary to limit the means to the arrow if the time interval can be visually presented, such as providing a visual attention attracting function by color classification, mesh display, blinking flash, or the like. The calculation process of the optimum notification timing to be executed in the mobile device will be described later.
  • the information terminal 50 executes the manual operation return request notification at the notification timing received from the mobile device. That is, the information terminal 50 executes at least one of the display processing, the alarm output, and the vibration activation, which are described above with reference to FIG. 5, at the notification timing determined by the mobile device.
  • the notification settings can be changed or stopped by the user.
  • the display unit of the information terminal 50 is shown as a circular display unit, but this is an example, and the shape of the display unit is not limited to a circular shape, but may be an elliptical shape, a rectangular shape, or the like. It can be set.
  • FIG. 22 is a diagram showing an example of changes in the display data of the information terminal with the passage of time.
  • FIG. 22 shows an example of the display information of the information terminal 50 at the time t1 and the display information of the information terminal 50 at the subsequent time t2.
  • Time t2 shows an example of display data about 4 minutes after time t1.
  • the information terminal 50 has an alarm output function and a vibration function.
  • an alarm is generated. It outputs and activates vibration to notify the driver 20 of a warning.
  • the activation time of alarms and vibrations can be changed or stopped by user settings.
  • the information terminal 50 described with reference to FIGS. 21 and 22 has a configuration in which the display data rotates counterclockwise with the passage of time, but the rotation direction of the display data is as shown in FIG. 23, for example. It may be set clockwise.
  • the driver can engage in secondary tasks other than driving steering without performing driving steering.
  • the driver needs to normally return to the manual driving steering from the secondary task before the vehicle enters the manual driving section.
  • the automatic driving control system of the vehicle determines whether or not the driver can normally return to the manual driving steering from the secondary task.
  • the automatic driving control system of the vehicle starts a process called MRM (Minimum Risk Maneuver) for the purpose of avoiding an accident, specifically, an evacuation action such as deceleration or stop for evacuation. To do.
  • MRM Minimum Risk Maneuver
  • the automatic driving function is still in the development stage, and it will take some time before fully automatic driving becomes available. In the meantime, it is expected that there will be frequent switching between automatic driving and manual driving under the supervision of the driver. At such a stage, the driver's level of withdrawal from driving steering is considered to be limited.
  • the driver can perform normal manual driving before entering the manual driving section. It is necessary to confirm that. If it is assumed that it will be difficult to take over, the driver will be given an early abandonment, that is, a manifestation of intention to abandon the return to manual driving, and based on this manifestation, the automatic driving control system of the vehicle will make another successor. It is required to take an evacuation action that does not interfere with the vehicle.
  • notifications and warnings are given when requesting the driver to return to manual driving, but unnecessary notifications are given when manual driving or transition to driving under the driver's attention is not required.
  • the driver may learn that the notifications the system performs are not essential to the actual behavioral decision. When such learning is performed, the response to the "notification" is stopped until a higher stimulus such as a takeover alarm is received, and there is a possibility that the recognition of the takeover event and its coping are delayed.
  • the notification process that is not bothersome to the driver and has a balance of two aspects of attracting attention. If the driver starts a secondary task during automatic driving, and then there is no information about the transfer point to manual driving, the driver does not know when the manual driving return request will be issued. It is necessary to perform the secondary task in a tense or frightened state of mind. However, the tension and the frightening psychology are also temporary, and as the sense of risk diminishes, the driver may gradually become absorbed in the secondary task.
  • the automatic driving control system presents the information related to the manual driving takeover to the driver in advance, and prepares the driver to start the manual driving by the time when the manual driving takeover point is approached. It is ergonomically preferable to start the return procedure promptly. That is, it is preferable that the driver performs the secondary task while acquiring information that can be known in the future. By acquiring preliminary information about the future even during the execution of the secondary task, the driver can smoothly return to the manual operation after the manual operation return notification.
  • the driver with continuous information in advance and provide a system that allows the driver to confirm the timing required for return.
  • it can be said that it is desirable to appropriately provide predictable information such as a switching point from the automatic driving section to the manual driving section, and to engage in the secondary task with a margin while receiving the information.
  • the grace time to the end point of the section where automatic driving is available or the end point of the section where automatic driving can be used under the attention of the driver Is not always effective as a measure to cause the driver to have sufficient psychological preparation even if the above is displayed uniformly.
  • FIG. 24 is a diagram for explaining the concept of neurotransmission in which complex and hierarchical information provision brings about an improvement in the level of return consciousness.
  • the driver makes a decision on the optimal behavior based on the balance between the driver's individual risk information and the future prediction result of the selection behavior.
  • Human behavior judgment is not limited to judgment according to a simple time axis, but also unconscious judgment about risks when selecting multiple actions, such as when taking action and coping with it, or when not taking action and not coping with it. Will be done in. Therefore, it is important to provide information to the driver by using an interface that presents various risks, that is, an HMI (Human Machine Interface), in order for the driver to make an appropriate behavioral decision.
  • HMI Human Machine Interface
  • these predictive judgment information should not be uniform information, but should be information corresponding to each driver.
  • the driver's personal authentication is performed, and according to the characteristics of each individual required for safe operation of the boarding vehicle, the return according to the time required to return to safe manual driving return for each road section traveled. It is preferable to convert the arrival time based on the predicted traveling speed of each road section such as notification, warning point, avoidance selection information, and present it to each driver.
  • the driver By using the HMI as an interface for presenting such information, it is possible for the driver to appropriately determine the secondary tasks that can be performed during the automatic driving, and at each point during the automatic driving. It is possible to provide the driver with the information necessary for risk determination.
  • One of the important information to be provided to the driver is the risk-specific option information of the countermeasures required for each manual driving transfer point.
  • the system may be forced to make an emergency stop or evacuation of the vehicle. In this case, traffic obstruction to the following traffic occurs.
  • the system may change routes to low-speed routes that deviate from the planned route, evacuate to rest areas, charge penalties, and so on. Occurs. If the driver understands various risks based on the information provided to the driver, he / she can take correct preparatory actions to prevent the transfer failure.
  • the preparatory action is not necessarily a physical action but also a preparation of consciousness necessary for taking over.
  • the switching point from the automatic driving use section to the manual driving section may be changed depending on, for example, the road condition, the traveling dynamics characteristics of the own vehicle, and the like.
  • the timing of the manual operation return request notification to the driver and the risk at the time of return also change. Therefore, the driver is required to deal with different judgment criteria according to each case.
  • Information for acquiring prediction information is important as information necessary for preparing awareness of behavioral judgment. However, if, for example, the road information provided by the system is unreliable information, the prediction information becomes meaningless. Therefore, it is necessary to efficiently provide dynamic information based on the road and traffic information of the course destination acquired for each section from the LDM and the leading vehicle group in a form suitable for the driver as appropriate.
  • the arrival time scale of each point divided by the average road traffic speed for each road section is displayed.
  • index information that serves as a milestone on the map.
  • the process based on the following information is used as a process to appropriately generate and maintain the driver's awareness of the return. It is effective to do.
  • (Information 1) Self-learning of the unique state (return time, return notification confirmation action, actual return behavior / action history, etc.) required for the driver's return, driver-specific return delay time information, (Information 2) Unique characteristics of each section of the road (expected value of success rate of succession (RRR: Required Recovery Rate), risk of curves, avoidance options and penalties when avoidance is not possible, etc.) and return affected by vehicle unique characteristics Proper point information, (Information 3) Option information when recovery is not possible, Based on this information, the timing of manual return notification to the driver is determined.
  • RRR Required Recovery Rate
  • the system will preventally slow down or avoid accidents.
  • a penalty for the driver is generated and recorded.
  • information on work risk when the secondary task is continued is also presented in order to prompt the driver's awareness of returning.
  • Continuing the secondary task affects the quality of returning to manual operation after the notification of takeover. Therefore, the work risk when the secondary task is continued is intentionally added. For example, when a driver forcibly continues a secondary task performed by an information input device such as a tablet terminal, it causes visual interference with the work data being executed and loss of information to be handled. By providing information linked to such penalties, early risk judgment to avoid information loss by the driver works, and it becomes possible to gradually instill a habit of improving awareness of returning priority.
  • the user (driver) of automatic driving can directly It is possible to be conscious of acquiring information on the start of manual operation from the stage of not receiving the notification of the request for returning to manual operation. As a result, the driver does not start the preparation for taking over only after receiving the notification of the manual driving takeover request, but obtains the priority information of the action judgment for the notification in advance based on the previously predicted option information and takes action. You can make decisions and start preparing to take over to manual operation at an earlier stage.
  • the risk is reconfirmed according to the severity of the prior information that requires attention. If something suddenly appears while no information is captured in advance, the brain will not be able to make a quick decision, and it will be a simple reflexive avoidance action. Therefore, in order to prevent such sudden information input as a habit, the information that can be approached as a normal daily activity is regularly reconfirmed as appropriate to predict the behavior. In other words, whether or not a person acquires the information necessary for predicting the approach risk depends on the frequency and confirmation method of reconfirming the information according to the need for prior information that comes from the risk.
  • the driver can It is possible to make appropriate risk judgments and make appropriate behavioral judgments.
  • the advance information and penalty information provided as predictive information have the effect of lowering the threshold value for starting the manual driving return behavior when making an information judgment in the driver's brain, and further necessary measures are taken. It has the effect of getting ready early.
  • the driver can maintain a high level of awareness of returning to manual driving even during the execution of the secondary task. ..
  • the habit of the user checking the provided information with caution grows. As a result, it is expected that the situation will be grasped voluntarily without receiving the system notification. That is, the driver's attention-thinking loop is continuously activated, and it is expected to prevent oversights and delays in taking over.
  • the HMI technology of the present disclosure provides the driver with hierarchical information of options related to the transfer point required for return. If the driver does not properly return to manual operation after the manual return notification, a penalty for improving the return quality is given. In order for this penalty to function effectively, it is necessary for the system to correctly grasp the return quality for the notification and quantitatively evaluate the return quality.
  • the state recognition such as the line of sight from the driver's awake state to the normal steering of the actual manual driving is recognized.
  • a two-dimensional camera or a device capable of detecting a three-dimensional posture detects and evaluates normal posture return and posture tracking.
  • the transition of the posture return is predicted by detecting the transition of the posture return with a two-dimensional camera or a tracking device capable of three-dimensional posture detection, as well as the return behavior from the state of being out of the seat. Evaluate the time required for recovery and the delayed recovery for good recovery.
  • the return characteristic may be authenticated for each individual driver, learned as a unique return characteristic, and the evaluation process using this learning data may be performed.
  • the learning data of each individual is compared with the observation data of the return behavior generated for each event, and it is determined whether or not the observation data is behind the prediction based on the learning data, and the characteristics of the individual are adjusted. Evaluate the return quality.
  • the content of the secondary task of the autonomous driving user is diverse, and it is difficult to define a unique return transition in general, so it is preferable to evaluate using learning data unique to each individual.
  • a certain degree of flexibility is required for the tracking method of the driver's return behavior when leaving the seat.
  • the system issues a manual operation return request notification in advance in consideration of the estimated time required for the return. Furthermore, the delay time until the actual recovery time is also evaluated. If the driver does not take a prompt return action from the notification, for example, the secondary task is continued without interruption, and the start of the return is delayed, the driver takes one of the return actions to minimize the penalty. It is expected that some or all will be executed promptly. Hurry to recover from such delays can cause accidents.
  • the system observes the driver's behavior with an observation device capable of three-dimensionally observing the movement speed of the body, such as a ToF (Time of Flight) sensor.
  • This behavior history is self-learned to generate a learning dictionary of return behavior.
  • a belt or watch-type device worn by the driver can be used.
  • the movement information of the driver in the vehicle interior is acquired and evaluated by using the acquisition information of the device having the in-vehicle positioning device capable of grasping the position in the vehicle of the driver.
  • the return milestone may be used as a detection point for return quality, such as a seating sensor in the driver's seat, seatbelt attachment, steering wheel grip detection, and access to pedals.
  • standing up from a bed such as a nap space away from the driver's driver's destination, standing up from the driver's seat, standing up from the leaving seat, moving the seat, walking, rotating the body or seat, and sliding laterally.
  • Work interruption, detection of relocation of the foot to the manual driving mode, visual behavior of the driver to the driving information presenting device, detection of the specified confirmation behavior, etc. can also be used as behavior evaluation information.
  • an information processing device such as a tablet terminal in which the driver is executing a secondary task displays travel section display data as described above with reference to FIGS. 14 to 16. That is, for example, travel section display data having a color-coded display such as green for the automatic driving section Sa, red for the manual driving section Sb, yellow for the takeover section Sc and the caution running section Sd is displayed along the time axis.
  • the data acquisition and display data generation processing necessary for displaying these data are performed by, for example, the data processing unit 11 in the configuration shown in FIG. 1 or the data processing unit in the automatic operation control unit 112 in the configuration shown in FIG. 8, for example, the detection unit. It is executed in a data processing unit such as 131, a situation analysis unit 133, a planning unit 134, and an output control unit 105.
  • This display data is transmitted and displayed to a tablet terminal or the like used by the user via, for example, the communication unit 103.
  • the display data can also be displayed on the display unit constituting the output unit 106 under the control of the output control unit 105.
  • the traveling section display data is divided into three sections as shown in FIG. 14 (d), for example, as described above with reference to FIGS. 14 (d), 15 and 16. It is displayed by changing the time axis of each section. That is, the traveling section display data 70 as shown in the central portion of FIG. 25 is displayed.
  • the explanation will focus on the device directly operated by the driver such as a tablet, but the display may be performed directly on the vehicle installation device such as the center console panel of the vehicle. In that case, the relative position of the driver
  • the actual display may be carried out in consideration of the legibility and inclination of the display based on the relationship.
  • the aim of the display example in the text is to provide information as a notice of the arrival time at each point.
  • the arrival time to each point can be obtained by dividing the travel distance by the traveling speed along the route. It is necessary to replace the arrival time at each point with a value converted from the traveling speed formed by the flow of the vehicle group that changes depending on the traveling condition of each road section.
  • the conversion is omitted in the explanation of the following processing, and instead the arrival time is moved when traveling at a constant constant speed.
  • the display process will be described in detail by regarding it as proportionally equivalent to the "distance" to be performed.
  • the short-distance section close to the own vehicle position is displayed on the first time axis as the time linear display nearest section in which the time (t) and the display position (h) are displayed in a proportional relationship.
  • the distant long-distance section is displayed on the second time axis as a time linear display distant section in which the time (t) and the display position (h) are displayed in a proportional relationship.
  • the long-distance section is set to have a longer time per unit display length than the short-distance section, that is, the distance / transit time per unit display length is set to be longer.
  • the display length of 1 cm indicates the time to travel 1 km
  • the display length of 1 cm indicates the time to travel 5 km.
  • the section represented by the first time axis is the mileage during constant-velocity traveling from above
  • the third time axis is the mileage during constant-velocity traveling from above, which is a bird's-eye view from a greater distance. It corresponds to being reduced and displayed with respect to the one-time axis display. Since the second time axis display section is displayed from diagonal information, the display is reduced as the distance goes to infinity, and the distance can be grasped for that section as an intuitive perspective.
  • the medium-distance section between the short-distance section and the long-distance section is a reciprocal display section of time, and is sequentially arranged at a predetermined ratio from the first time axis corresponding to the short-distance section to the second time axis corresponding to the long-distance section. Display on the changed time axis.
  • FIG. 25 On the right side of FIG. 25, a graph (time-display) in which the time from the current time to the expected arrival (t: min) is set on the horizontal axis and the display position (h: mm) of the traveling section display data 80 on the display is set on the vertical axis. Position correspondence graph) is shown.
  • the display position (h: mm) on the vertical axis corresponds to the traveling section display data 70 shown in the center.
  • the traveling section display data 70 has three sections, that is, Short-distance section Medium-distance section Long-distance section It has these three display sections.
  • the short-distance section is a section close to the position of the own vehicle, and is a section displayed on the first time axis as the section closest to the time linear display.
  • the section from the current location (O) to (P) in the graph shown on the right side corresponds to a short-distance section, and in this section, time linear display, that is, a section in which the display position is determined in proportion to the passage of time.
  • A is a coefficient, which is a coefficient for determining the slope of the straight line of the section OP in the time-display position correspondence graph.
  • a predetermined value is used for the slope A.
  • the branch point P between the short-distance section and the medium-distance section and the branch point Q between the medium-distance section and the long-distance section are defined in advance.
  • the processing is performed on the assumption that the vehicle travels at a constant speed.
  • h ref A ⁇ t ref Is.
  • the medium-distance section (P to Q) beyond the branch point P between the short-distance section and the medium-distance section is a reciprocal display section of time, and the distance indicated by the predetermined display height of the short-distance section is changed from P to Q.
  • the process of gradually lengthening the display is performed.
  • the display of this intermediate distance section corresponds to the situation where the road plane that spreads straight ahead is seen, or if it is a straight road on the map, the road plane is seen from diagonally sideways to the infinite point. It corresponds to a display in which the distance is reduced toward.
  • the two dotted lines L1 and L2 shown in the traveling section display data shown in the center of FIG. 25 are lines drawn so as to focus toward a distance from the branch point P of the short-distance section and the medium-distance section.
  • Let the focusing point be the virtual point at infinity node I.
  • h-h 0 -B x (1 / t) ...
  • Equation 2a B is a coefficient, which is a value corresponding to the inclination of the lines L1 and L2 shown in FIG.
  • the line of the time-display position correspondence graph is that of the display position (h) with the passage of time (t).
  • the curve becomes smaller and smaller.
  • the slope at each position of this curve, that is, (dh / dt) can be calculated by the differentiation with respect to time t based on the above (Equation 2a), and is shown by the following (Equation 2b).
  • (Dh / dt) B ⁇ (1 / t) 2 ... (Equation 2b)
  • the position h calculated from the time-display position relational expression (th relational expression) of the short-distance section (OP) and the medium distance It is necessary that the time-position h calculated from the display position relational expression (th relational expression) in the interval (P to Q) matches.
  • the short-distance section (OP) and the medium-distance section (P to Q) are smoothly connected at the branch point P between the short-distance section and the medium-distance section. ..
  • the coefficients A and B are set to values that satisfy these two conditional expressions a and b.
  • this long-distance section (Q to) as can be understood from the graph shown in FIG. 25, the increase in the display position per unit time is set to be small. That is, in the long-distance section (Q to) of the traveling section display data 70, the data for a longer time is displayed in the longer viewing time display area, that is, the data corresponding to the longer distance is displayed in the short display area.
  • the long-distance section (Q to) starts from a predetermined position (R) from the display position (h 0 ) of the virtual infinity point node I.
  • R is set to a value that satisfies the conditional expressions c and d described later.
  • t R / H (H / R) ⁇ t ref
  • the medium-distance section (P to Q) at point Q and the long-distance section (Q to) It is necessary to match the display position (h) of (Q to) with the inclination (dh / dt).
  • the slope (dh / dt) of the long-distance section (Q to) can be set to the slope (dh / dt) of the branch point Q between the medium-distance section (P to Q) and the long-distance section (Q to). is necessary.
  • the display width W of each section of the traveling section display data 70 will be described.
  • This display width corresponds to a bird's-eye view of the road width in the short-distance section (OP) and the long-distance section (Q-), and the medium-distance section (P-Q) has a certain width of the corresponding road. It is a notation that corresponds to the parallel road width going to infinity from perspective and converging to one point, and has the effect of intuitively giving the arrival time of the driver together with the reduction of the vertical direction of the display.
  • This display width Wref can be arbitrarily set.
  • the display width W inside is set to be narrower as it goes farther.
  • the display width W of the medium-distance section (P to Q) is the width W defined by the following (Equation 5).
  • W W ref ⁇ (t ref / t) ⁇ ⁇ ⁇ (Equation 5)
  • tref is the time required to reach the branch point P between the short-distance section ( OP ) and the medium-distance section (P to Q).
  • the time t to reach the branch point Q between the medium-distance section (P to Q) and the long-distance section (Q to) is determined.
  • the display width at this position can be calculated by the following formula based on the above (formula 5).
  • the display width W calculated by the above formula corresponds to the display width WR / H of the long-distance section (Q to). That is, the display width WR / H of the long-distance section (Q to) is represented by the following (Equation 6).
  • WR / H W ref ⁇ (R / H) ⁇ ⁇ ⁇ (Equation 6)
  • the traveling section display data 70 By displaying the traveling section display data 70 in such a display mode, the perspective effect of the width also overlaps, and the user (driver) can intuitively grasp the approach of each section due to traveling without discomfort. ..
  • FIG. 27 shows a change in the display position of the display section with the passage of time of the travel section display data 70.
  • the five traveling section display data 70 of the times t1 to t5 are five data displayed at the same time interval after t1.
  • section data is shown for each of the short-distance section, the medium-distance section, and the long-distance section.
  • the section data (Sa to Sd) displayed in each of the short-distance section, the medium-distance section, and the long-distance section is updated so as to approach the vehicle side with the passage of time. It is assumed that the vehicle is running at a constant speed.
  • the section data (Sa to Sd) of the short-distance section is the section data (Sa) of the long-distance section. It is updated so that it approaches the position of the own vehicle earlier than ⁇ Sd).
  • the section data (Sa to Sd) of the middle-distance section becomes longer as the display position approaches the vehicle position with the passage of time.
  • the speed at which the display position of the section data (Sa to Sd) approaches the vehicle position is Long-distance section ⁇ Medium-distance section ⁇ Short-distance section In this order, In the middle-distance section, the display position becomes faster as it approaches the vehicle position.
  • FIGS. 25 to 27 an example of displaying the traveling section display data 70 as linear data is shown, but as described above with reference to FIGS. 21 to 23, the wristwatch type information terminal 50
  • the section data (Sa to Sd) may be color-coded for display.
  • FIG. 28 shows an example thereof.
  • the lower part of FIG. 28 shows an example of updating the display data with the passage of time t1, t2, t3.
  • the displayed data moves counterclockwise with the passage of time.
  • the speed at which the display position of the section data (Sa to Sd) approaches the vehicle position is Long-distance section ⁇ medium-distance section ⁇ short-distance section.
  • the display example described with reference to FIGS. 25 to 28 was a display example of only the traveling section display data 70. That is, Autonomous driving section Sa, Manual operation section Sb, Takeover section Sc from automatic operation to manual operation, Caution Travel section Sd, It was a display example of only the traveling section display data 70 including the position information of these sections.
  • the data processing unit further generates information useful to the user (driver) as additional information with respect to the traveling section display data 70.
  • FIG. 29 shows the following additional information display example.
  • Additional information a Low-speed detour road provision section when manual driving cannot be restored (general road parallel to the expressway, etc.)
  • Additional information b Sections where there is a risk of jumping out, sections where manual driving is required under caution
  • Additional information c Areas where manual driving return is prohibited (sections subject to penalties) (For example, there is a possibility of traffic congestion or road blockade due to lane reduction. Section, etc.)
  • Additional information d Sections where the section length may fluctuate significantly, such as congested sections
  • these additional information are displayed as a combination of a specific color area or icon and explanatory information as shown in FIG. 29.
  • the user can confirm detailed information on the traveling direction of the vehicle.
  • FIG. 30 it may be configured to display information such as signs provided on the road, gas stations, service areas, construction, and detour information.
  • FIG. 30 shows the following additional information display example. Additional information e1 to e5: Sign information, gas station information Additional information f: Detour position guidance information
  • the additional information e1 and the additional information f shown in FIG. 30 are, for example, detour information before entering the manual operation section, and can be used when it is possible to invade another automatic operation section via the detour. This is display information.
  • the arrival time information to each section (Sa to Sd) displayed in the traveling section display data 70 may be displayed.
  • the distance ratio information of each display section may be further displayed.
  • the short-distance section is 1: 1 and the long-distance section is 1:25.
  • the long-distance section is 1:25.
  • the actual section length of the predetermined unit length of the short-distance section is 1 km
  • the long-distance section It means that the actual section length of the same predetermined unit length is 25 km.
  • the actual section length of the same predetermined unit length is t ⁇ 1 km.
  • FIG. 32 shows the following additional information display example.
  • Additional information m MRM (Minimum Risk Machine) start point position (when the start of the manual operation return procedure cannot be detected, the timing to start emergency slowdown, stop, and evacuation)
  • Additional information n1 Notification point (Notification point of manual operation return request notification)
  • Additional information n2 Warning point (warning point for requesting return to manual operation)
  • Additional information p Remaining time to notification point
  • the user can confirm detailed information such as various notifications, warnings, and automatic driving control processing that will occur in the future.
  • the display position and display timing of the additional information may be changed based on the behavior information of the user (driver).
  • the display mode shown in FIG. 32 is used, and the user (driver) leaves the driver's seat.
  • the display mode is set as shown in FIG. 33.
  • FIG. 33 the same additional information as in FIG. 32 is displayed, but the display position and time information of each of the following information are displayed close to the current position and the current time.
  • FIG. 34 is a diagram showing an example of update processing with the passage of time of additional information. Specifically, an example of update processing with the passage of time (t1 to t3) of display data having the following additional information is shown. Additional information m :: MRM (Minimum Risk Machine) start point position (when the start of the manual operation return procedure cannot be detected, the timing to start emergency slowdown, stop, and evacuation) Additional information n1: Notification point (Notification point of manual operation return request notification) Additional information p: Remaining time to notification point Additional information e: Sign (sign indicating a detour) Additional information f: Detour position guidance information
  • Time t1 and time t2 are examples of display data in a state where the detour can be invaded. The following additional information is displayed in these display data. Additional information e: Sign (sign indicating a detour) Additional information f: Detour position guidance information
  • Time t3 is an example of display data at a time when it becomes impossible to enter the detour. The following additional information is not displayed in the display data at the time t3. To. Additional information e: Sign (sign indicating a detour) Additional information f: Detour position guidance information
  • the data processing unit executes display control to select and display only the information available to the user (driver) at each time point.
  • the display of the additional information is also executed in the same manner when the circular display is performed on a wristwatch or the like as shown in FIG. 35.
  • the information accompanying the progress is displayed by turning it counterclockwise, but in that case, the latest approach information is 3 o'clock. It is displayed by multiplying the quadrant from 0 o'clock to 0 o'clock, and the information immediately before the transfer of the user can be visually obtained by multiplying the first quadrant to the second quadrant.
  • the remaining time can be intuitively felt from the remaining rotation angles of the second hand and the like moving toward 0 o'clock and 12 o'clock, so the information presentation animation is shown in FIG. 35. It is also effective to present the information as a clockwise rotation.
  • a circular display such as an MRM limit point time arrival time display, a detourable limit point time arrival time display, a transfer notification point arrival display, etc. is displayed. When this is done, additional information is executed in the same manner.
  • Animation notification and warning processing example Next, regarding the notification and warning processing examples by animation, the data processing unit 11 in the configuration shown in FIG. 1 or the data processing unit in the automatic operation control unit 112 in the configuration shown in FIG. 8, for example, the detection unit 131 and the situation analysis unit 133.
  • the data processing units such as the planning unit 134 and the output control unit 105 not only notify the travel section display data 70, but also notify the user (driver) of the manual operation return request notification process and the remaining time until the manual operation starts. It also executes the process of generating and displaying display data using animation for processing and warning.
  • FIG. 36 shows an information terminal in which a user (driver) executes a secondary task. It is assumed that the user is executing various secondary tasks such as watching a video, creating a document, and playing a game by using the "secondary task execution screen area" shown in the figure of this terminal.
  • the animation information 80 for notifying the remaining time of the manual operation takeover point is displayed on the upper part of the terminal display unit under the control of the data processing unit.
  • the animation information 80 is animation information for notifying the user (driver) who is executing the secondary task of the remaining time until the manual driving takeover request notification or the remaining time until the manual driving takeover point.
  • Animation information 80 indicates a state in which coffee is contained in the cup.
  • the data processing unit 11 in the configuration shown in FIG. 1 or the data processing unit in the automatic operation control unit 112 shown in FIG. 8 updates the animation information 80 with the passage of time. A specific update will be described with reference to FIGS. 37 and 38 for a processing example.
  • the data processing unit executes display control for displaying the amount of coffee in the cup by gradually increasing with the passage of time. This is a display process for making the user (driver) aware that the remaining time to the manual operation takeover point is decreasing with the passage of time.
  • the data processing unit further increases the amount of coffee in the cup with the passage of time, causes the coffee to overflow from the cup, and executes the secondary task. Performs display control that fills the screen area with coffee. This is a display process for forcibly stopping the secondary task by the user (driver) and returning to the manual operation because the remaining time to the manual operation takeover point becomes extremely short with the passage of time. is there.
  • the traveling section display data and other display data are not limited to the above-mentioned display examples, and various display processes can be performed.
  • the data processing unit such as the detection unit 131, the situation analysis unit 133, the planning unit 134, and the output control unit 105.
  • FIG. 39 is an example of outputting display data to a smartphone or tablet terminal held by a user (driver).
  • a display example of the traveling section display data 70 when the smartphone or tablet terminal is viewed in the vertical direction is shown.
  • the central area of the terminal is the secondary task execution screen area used by the user. The user uses this area as various secondary task execution areas such as a document creation area or a moving image display area.
  • the traveling section display data 70 is displayed in the surrounding area of the secondary task execution screen area. With the lower left side of the terminal shown in the figure as the current location of the vehicle, the travel section information (Sa to Sd, etc.) of the short-distance section, the medium-distance section, and the long-distance section so as to go around the left end to the upper end to the right end to the lower end. ) Is displayed.
  • FIG. 39 shows an example of displaying the following two traveling section display data.
  • Travel section display data display example 1 is an example in which the display width of the travel section display data in the vertical and horizontal directions is uniformly set.
  • Travel section display data display example 2 is an example in which the display width of the travel section display data on the top, bottom, left, and right is not uniformly set, and the data width of the short-distance section on the left side is widened.
  • the configuration may be such that the notification point of the manual operation start request or the remaining time until the manual operation takeover point is displayed.
  • FIG. 40 shows a display example of the time (t1) and a display example of the time (t2) thereafter.
  • the remaining time 3min40sec is displayed.
  • the user can confirm this time and start preparing for manual operation.
  • risk information 81 (Trap-in Pit) is displayed as additional information.
  • This risk information 81 (Trap-in Pit) is the risk information when the manual operation takeover fails, and is display data for notifying the user that the user will be forced to park by entering the evacuation area when the manual operation takeover fails. is there.
  • the example shown in FIG. 41 is an example in which the manual operation takeover request messages 82a and 82b are displayed in the secondary task execution screen area.
  • the manual operation takeover request message 82 is displayed larger with the lapse of time.
  • the example shown in FIG. 42 is an example in which the hourglass is displayed as animations 83a and 83b that make it possible to visually grasp the remaining time to the notification point or the manual operation takeover point.
  • the sand of the hourglass falls down, and when the top becomes empty, the user can intuitively know that the remaining time is 0, which has the effect of promoting an early return to manual operation.
  • FIG. 43 is an example in which animations 84a and 84b imitating annoying mouse fireworks are displayed in the secondary task execution screen area. With the passage of time, fireworks spread widely over the work area on the screen and run around, setting the effect of causing the user to abandon the continuation of the secondary task. In addition to the display that induces abandonment of the secondary task shown as an example of these, setting a favorite custom marker to notify the notification, notification marker by the pick-up pet, prayer time of the unique culture rooted in the area of use and its culture, etc. Markers such as being chased by demons also have a psychological response-inducing effect, and are effective as a function to promote the early return of users.
  • an icon character service that the user can select via the network, and also has a healing effect, such as a cat footprint mark, a local specialty character, a shark tail fin, a police car or a police motorcycle character, and a demon mark. Any setting is effective as long as it has the effect of promoting the interruption of secondary tasks, such as a servant character who forcibly advises on taking over.
  • FIG. 44 is a diagram showing a hardware configuration example of the information processing device.
  • the CPU (Central Processing Unit) 501 functions as a data processing unit that executes various processes according to a program stored in the ROM (Read Only Memory) 502 or the storage unit 508. For example, the process according to the sequence described in the above-described embodiment is executed.
  • the RAM (Random Access Memory) 503 stores programs and data executed by the CPU 501. These CPU 501, ROM 502, and RAM 503 are connected to each other by a bus 504.
  • the CPU 501 is connected to the input / output interface 505 via the bus 504, and the input / output interface 505 acquires status data of various switches, a keyboard, a touch panel, a mouse, a microphone, a sensor, a camera, a GPS, an in-vehicle positioning device, and the like.
  • An input unit 506 including a unit and an output unit 507 including a display and a speaker are connected.
  • the input information from the sensor 521 is also input to the input unit 506.
  • the output unit 507 also outputs drive information for the drive unit 522 of the mobile device.
  • the CPU 501 inputs commands, status data, and the like input from the input unit 506, executes various processes, and outputs the process results to, for example, the output unit 507.
  • the storage unit 508 connected to the input / output interface 505 is composed of, for example, a hard disk or the like, and stores a program executed by the CPU 501 and various data.
  • the communication unit 509 functions as a transmission / reception unit for data communication via a network such as the Internet or a local area network, and communicates with an external device.
  • the drive 510 connected to the input / output interface 505 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and records or reads data.
  • a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • the technology disclosed in the present specification can have the following configuration. (1) It has a data processing unit that generates travel section display data that makes it possible to distinguish at least an automatically driving section and a manual driving section on the traveling route of the vehicle.
  • the data processing unit An information processing device that generates one travel section display data by concatenating a plurality of display data having different time axes according to the scheduled travel time zone of the vehicle.
  • Time linear display data is generated on the first time axis in which the time (t) and the display position (h) are proportionally related to the short-distance section where the vehicle's scheduled travel time zone is early.
  • the time linear display data is generated on the second time axis in which the time (t) and the display position (h) are proportional to each other in a long-distance section where the scheduled travel time zone of the vehicle is late.
  • the information processing apparatus wherein the display data of the long-distance section generates display data in which the distance per unit display length is longer than the display data of the short-distance section.
  • the data processing unit One traveling section display data in which a medium-distance section is set between the short-distance section and the long-distance section is generated.
  • the display data of the medium-distance section is display data having a time axis that sequentially changes at a predetermined ratio from the first time axis corresponding to the short-distance section to the second time axis corresponding to the long-distance section ( The information processing device according to 2).
  • the data processing unit The display width (W) of the medium-distance section between the short-distance section and the long-distance section is Display data in which the width of the short-distance section is the same as the width of the short-distance section at the connection portion with the short-distance section, and the display width is reduced as the distance progresses.
  • the information processing apparatus according to (4).
  • the data processing unit Described in any one of (1) to (5), which generates driving section display data including an automatic driving section Sa, a manual driving section Sb, a transfer section Sc from automatic driving to manual driving, and a caution driving section Sd.
  • Information processing device Described in any one of (1) to (5), which generates driving section display data including an automatic driving section Sa, a manual driving section Sb, a transfer section Sc from automatic driving to manual driving, and a caution driving section Sd.
  • the data processing unit The information processing apparatus according to any one of (1) to (6), which generates linear traveling section display data extending in one direction according to a vehicle's scheduled traveling time zone.
  • the data processing unit The information processing device according to any one of (1) to (6), which generates circular traveling section display data extending in a circumferential shape according to a vehicle's scheduled travel time zone.
  • the data processing unit The information processing device according to any one of (1) to (6), which generates travel section display data set to trace the peripheral area of the display unit.
  • the data processing unit The information processing device according to any one of (1) to (9), which generates display data in which additional information is added to the travel section display data.
  • the additional information is The information processing apparatus according to (10), which includes at least one of detour information, sign information, and arrival time information to each point.
  • the additional information is The information processing apparatus according to (10) or (11), which includes information indicating an MRM (Minimum Risk Machine) start point, which is a start point of a risk avoidance process.
  • MRM Minimum Risk Machine
  • the data processing unit is The information processing device according to any one of (1) to (12), which generates animation information capable of recognizing the manual operation return request notification or the remaining time until the manual operation section.
  • the animation information is The information processing device according to (13), which is an animation that changes so as to cover the secondary task execution screen area used by the user with the passage of time.
  • a mobile device that can switch between automatic operation and manual operation.
  • a driver information acquisition unit that acquires driver information of the driver of the mobile device, and An environmental information acquisition unit that acquires surrounding information of the mobile device, It has a data processing unit that generates travel section display data that makes it possible to distinguish at least the autonomous driving section and the manual driving section on the vehicle's travel route.
  • the data processing unit It is the traveling section display data that makes it possible to distinguish at least the automatically driving section and the manual driving section on the traveling route of the vehicle, and is one that concatenates a plurality of display data having different time axes according to the scheduled traveling time zone of the vehicle.
  • a mobile device that generates travel section display data.
  • Time linear display data is generated on the first time axis in which the time (t) and the display position (h) are proportionally related to the short-distance section where the vehicle's scheduled travel time zone is early.
  • the time linear display data is generated on the second time axis in which the time (t) and the display position (h) are proportional to each other in a long-distance section where the scheduled travel time zone of the vehicle is late.
  • the moving device wherein the display data of the long-distance section generates display data in which the distance per unit display length is longer than the display data of the short-distance section.
  • the data processing unit One traveling section display data in which a medium-distance section is set between the short-distance section and the long-distance section is generated.
  • the display data of the medium-distance section is display data having a time axis that sequentially changes at a predetermined ratio from the first time axis corresponding to the short-distance section to the second time axis corresponding to the long-distance section ( 16)
  • the moving device according to.
  • the data processing department It is the traveling section display data that makes it possible to distinguish at least the automatically driving section and the manual driving section on the traveling route of the vehicle, and is one that concatenates a plurality of display data having different time axes according to the scheduled traveling time zone of the vehicle.
  • Information processing device method for generating travel section display data
  • the mobile device is a mobile device capable of switching between automatic operation and manual operation.
  • a driver information acquisition step in which the driver information acquisition unit acquires the driver information of the driver of the mobile device
  • the environmental information acquisition step in which the environmental information acquisition unit acquires the surrounding information of the mobile device
  • the data processing department It is the traveling section display data that makes it possible to distinguish at least the automatically driving section and the manual driving section on the traveling route of the vehicle, and is one that concatenates a plurality of display data having different time axes according to the scheduled traveling time zone of the vehicle.
  • a program that executes information processing in an information processing device In the data processing department It is the traveling section display data that makes it possible to distinguish at least the automatically driving section and the manual driving section on the traveling route of the vehicle, and is one that concatenates a plurality of display data having different time axes according to the scheduled traveling time zone of the vehicle. A program that generates travel section display data.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • executing processing by software install the program that records the processing sequence in the memory in the computer built in the dedicated hardware and execute it, or execute the program on a general-purpose computer that can execute various processing. It can be installed and run.
  • the program can be pre-recorded on a recording medium.
  • LAN Local Area Network
  • the various processes described in the specification are not only executed in chronological order according to the description, but may also be executed in parallel or individually as required by the processing capacity of the device that executes the processes.
  • the system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • a user generates traveling section display data that makes it possible to distinguish at least an automatically driving section and a manually driving section on the traveling route of the vehicle.
  • the configuration presented to the person is realized. Specifically, for example, it has a data processing unit that generates travel section display data that makes it possible to distinguish at least an automatically driving section and a manually driving section on the traveling route of a vehicle.
  • the data processing unit generates time linear display data in which the time (t) and the display position (h) are proportional to each other for the short-distance section and the long-distance section.
  • the long-distance section generates display data in which the distance per unit display length is longer than that of the short-distance section.
  • the medium-distance section between the short-distance section and the long-distance section has a time axis that changes sequentially at a predetermined ratio from the first time axis corresponding to the short-distance section to the second time axis corresponding to the long-distance section.
  • the driver naturally becomes aware of risk avoidance and confirmation, and as a result, the vehicle user in the automatic driving mode can use it. It is expected that attention will be maintained and consciousness will be restored, which is necessary for returning to high manual driving depending on the driving conditions.
  • a configuration is realized in which at least an automatically driving section and a manually driving section on the traveling route of the vehicle can be identified, and the traveling section display data is generated and presented to the user (driver).
  • Acceleration / deceleration control unit 173 ... ⁇ Direction control unit, 501 ⁇ ⁇ CPU, 502 ⁇ ⁇ ROM, 503 ⁇ ⁇ RAM, 504 ⁇ ⁇ bus, 505 ⁇ ⁇ input / output interface, 506 ⁇ ⁇ input unit, 507 ⁇ ⁇ output unit, 508 ⁇ ⁇ storage unit, 509 ... Communication unit, 510 ... Drive, 511 ... Removable media, 521 ... Sensor, 522 ... Drive unit

Abstract

車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成してユーザー(運転者)に提示する構成を提供する。車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有する。データ処理部は、近距離区間と遠距離区間について、時間(t)と表示位置(h)を比例関係とした時間リニア表示データを生成する。遠距離区間は近距離区間より、単位表示長さあたりの距離を長くした表示データを生成する。近距離区間と遠距離区間の間の中距離区間は、近距離区間対応の第1の時間軸から、遠距離区間対応の第2の時間軸まで、所定比率で順次変化する時間軸を持つ表示データを生成する。

Description

情報処理装置、移動装置、および方法、並びにプログラム
 本開示は、情報処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、自動運転と手動運転の切り替え制御を行う車両において、様々な表示データの生成処理を行う情報処理装置、移動装置、および方法、並びにプログラムに関する。
 昨今、自動運転に関する技術開発が盛んに行われている。
 自動運転技術は、車両(自動車)に備えられた位置検出手段等の様々なセンサを用いて、道路上を自動走行可能とする技術であり、今後、急速に普及することが予測される。
 しかし、現状において自動運転は開発段階であり、100%の自動運転が可能となるまでには時間を要すると考えられ、しばらくは、自動運転と、運転者(ドライバ)による手動運転とを、適宜切り替えて走行することになると予測される。
 例えば、高速道路等、直線的で道路幅が十分な道路では、自動運転モードでの走行を行うが、高速道路から出て駐車場の好きな位置に車を止める場合や、道路幅の狭い山道等では手動運転モードに切り替えて運転者(ドライバ)の操作で走行を行うといったモード切り替えが必要となると予測される。
 車両が自動運転を実行している間は、運転者(ドライバ)は車両走行方向である前方に視線を向ける必要がなく、例えば、居眠りをしたり、テレビを見たり、本を読んだり、あるいは後ろ向きに座って後部座席の人と会話をするといった自由な行動が可能となる。
 自動運転と手動運転を切り替えて走行する車両において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者(ドライバ)に手動運転を開始させることが必要となる。
 運転者(ドライバ)に手動運転を開始させるためには、的確なタイミングで通知を行う必要がある。通知が不完全なまま手動運転モードに切り替えてしまうと、正常な手動運転を開始することができず、最悪の場合、事故を起こす可能性がある。
 運転の安全性を確保するためには、適格なタイミングで確実に運転者に対して手動運転復帰要請を行う必要がある。
 また、運転者に対して、手動運転区間が近づいていることを確実に認識させることも重要である。手動運転を開始するためには、所定の準備処理が必要であり、手動運転開始までに余裕をもって準備を行う必要があるからである。手動運転復帰までの時間が不十分な場合、事故が発生する可能性があり危険である。
 このような危険を回避するため、例えば、車両の緊急停止や減速、あるいは退避場所への移動走行を自動的に行うことも可能であるが、このような処理は渋滞の発生等の問題を引き起こす。
 例えば、特許文献1(特開2016-139204号公報)には、自車両の走行予定道路における複数の危険に対して、その危険度を表示する技術が開示されている。また、例えば、特許文献2(特開2016-090274号公報)には、自動運転中に運転者に手動運転を開始させる場合に、携帯端末に意識を集中させている運転者に対して、手動運転の開始をしなければならない状況にあることを携帯端末の画面に表示して知らせる技術が開示されている。
特開2016-139204号公報 特開2016-090274号公報
 特許文献1や特許文献2のように特定情報の通知を行う技術は知られている。しかし、自動運転車両の走行ルートの状態は、時事刻々変化する。具体的には自動運転可能区間と手動運転区間の設定等が変わる可能性がある。例えば事故の発生や工事によって区間設定が変更されることが想定される。従って最新の情報を、より早い段階で確実にユーザー(運転者)に知らせることが重要であるが、このような情報提供処理を可能とした構成について開示した従来技術はない。
 本開示は、例えば、上述の問題点に鑑みてなされたものであり、自動運転と手動運転への切り替えを行う車両のユーザー(運転者)に対して、走行ルート上の自動運転可能区間と手動運転区間の区間情報を含む様々な情報を提示することを可能とした情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有し、
 前記データ処理部は、
 車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する情報処理装置にある。
 さらに、本開示の第2の側面は、
 自動運転と手動運転の切り替えが可能な移動装置であり、
 前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
 前記移動装置の周囲情報を取得する環境情報取得部と、
 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有し、
 前記データ処理部は、
 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する移動装置にある。
 さらに、本開示の第3の側面は、
 情報処理装置において実行する情報処理方法であり、
 データ処理部が、
 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する報処理装置方法にある。
 さらに、本開示の第4の側面は、
 移動装置において実行する情報処理方法であり、
 前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
 運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
 環境情報取得部が、前記移動装置の周囲情報を取得する環境情報取得ステップと、
 データ処理部が、
 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する移動装置にある。
 さらに、本開示の第5の側面は、
 情報処理装置において情報処理を実行させるプログラムであり、
 データ処理部に、
 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成してユーザー(運転者)に提示する構成が実現される。
 具体的には、例えば、車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有する。データ処理部は、近距離区間と遠距離区間について、時間(t)と表示位置(h)を比例関係とした時間リニア表示データを生成する。遠距離区間は近距離区間より、単位表示長さあたりの距離を長くした表示データを生成する。近距離区間と遠距離区間の間の中距離区間は、近距離区間対応の第1の時間軸から、遠距離区間対応の第2の時間軸まで、所定比率で順次変化する時間軸を持つ表示データを生成する。
 本構成により、車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成してユーザー(運転者)に提示する構成が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の移動装置の一構成例について説明する図である。 本開示の移動装置の表示部に表示されるデータの一例について説明する図である。 本開示の移動装置の実行する処理について説明する図である。 本開示の移動装置の実行する処理について説明する図である。 本開示の移動装置における運転者の行動例について説明する図である。 運転者の保持する端末に対するデータ表示例について説明する図である。 運転者の保持する端末に対するデータ表示例について説明する図である。 本開示の移動装置の構成例について説明する図である。 本開示の移動装置の構成例について説明する図である。 本開示の移動装置のセンサ構成例について説明する図である。 本開示の移動装置の実行する自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を示す図である。 自動運転の動作シーケンスの一例について説明するフローチャートを示す図である。 運転者により目的地が設定されることで決定された自動運転可否区間が斑に設定され、または発生した走行ルートの一例を示す図である。 走行ルートにおける走行区間表示のための情報処理を説明するための図である。 最終的に表示される走行区間表示の一例を示す図である。 時間経過に伴う走行区間表示の変化例(スクロール例)を示す図である。 タブレット端末機器(以下単に「タブレット」と記す)の画面上に表示される走行ルートにおける走行区間表示の一例を示す図である。 運転者が実際にタブレットを用いて2次タスクを実行している状態の一例を示す図である。 第2区間に新たに注意走行区間Sdが発生し、点滅表示で運転者に警告している状態を示す図である。 タブレットの画面上に小ウインドウがポップアップ表示されている状態を示す図である。 本開示の腕時計型の情報端末の利用構成例について説明する図である。 本開示の腕時計型の情報端末の利用構成例について説明する図である。 本開示の腕時計型の情報端末の利用構成例について説明する図である。 複合・階層的な情報提供が復帰意識レベルの向上をもたらす神経伝達の概念を説明する図である。 走行区間表示データの詳細構成について説明する図である。 走行区間表示データの詳細構成について説明する図である。 走行区間表示データの時間経過に伴う更新例について説明する図である。 腕時計型端末における走行区間表示データの時間経過に伴う更新例について説明する図である。 走行区間表示データに対する付加情報の追加表示例について説明する図である。 走行区間表示データに対する付加情報の追加表示例について説明する図である。 走行区間表示データに対する付加情報の追加表示例について説明する図である。 走行区間表示データに対する付加情報の追加表示例について説明する図である。 走行区間表示データに対する付加情報の追加表示例について説明する図である。 走行区間表示データに対する付加情報の追加表示例について説明する図である。 腕時計型端末に表示した走行区間表示データに対する付加情報の追加表示例について説明する図である。 アニメーションを利用した表示データの一例について説明する図である。 アニメーションを利用した表示データの一例について説明する図である。 アニメーションを利用した表示データの一例について説明する図である。 スマホ等の端末における表示データの例について説明する図である。 スマホ等の端末における表示データの例について説明する図である。 スマホ等の端末における表示データの例について説明する図である。 スマホ等の端末における表示データの例について説明する図である。 スマホ等の端末における表示データの例について説明する図である。 情報処理装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の情報処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.移動装置と情報処理装置の構成と処理の概要について
 2.移動装置の具体的な構成と処理例について
 3.自動運転モードから手動運転モードへのモード切り替えシーケンスについて
 4.自動運転の動作シーケンス例について
 5.ユーザー(運転者)に対する提供情報や通知処理について
 5-1.走行区間表示データの詳細構成と更新処理について
 5-2.走行区間表示データに対する付加情報の表示例について
 5-3.アニメーションによる通知、警告処理例について
 5-4.その他の表示処理例について
 6.情報処理装置の構成例について
 7.本開示の構成のまとめ
  [1.移動装置と情報処理装置の構成と処理の概要について]
 まず、図1以下を参照して、移動装置と情報処理装置の構成と処理の概要について説明する。
 本開示の移動装置は、例えば、自動運転と手動運転を切り替えて走行することが可能な自動車である。
 このような自動車において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者(ドライバ)に手動運転を開始させることが必要となる。
 しかし、自動運転実行中に運転者が行う処理(2次タスク)は様々である。
 例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。
 これらの処理の違いにより、運転者の覚醒度(意識レベル)は異なるものとなる。
 例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。
 運転の安全性を確保するためには、運転者の覚醒度が高い状態、すなわちはっきりした意識のある状態で手動運転を開始させることが必要となる。
 このためには、自動運転実行中の運転者の覚醒度に応じて、自動運転から手動運転への切り替え要求を行う通知タイミングを変更することが必要である。
 例えば、自動運転実行中に運転者が前を向いて道路を見ているような場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
 このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前のタイミングに行えばよい。運転者は、すぐに安全な手動運転を開始することができるからである。
 しかし、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
 このような場合、手動運転への切り替え通知を手動運転が必要となる時間の直前のタイミングに行うと、運転者は、意識がはっきりしない状態で手動運転を開始せざる得ない。その結果、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で手動運転への切り替え通知を行うことが必要となる。
 本開示の移動装置、または移動装置に搭載可能な情報処理装置は、例えば、運転者の覚醒度に応じて手動運転への切り替え通知タイミングの制御を行う。
 図1以下を参照して本開示の移動装置と、移動装置に装着可能な情報処理装置の構成と処理について説明する。
 図1は、本開示の移動装置の一例である自動車10の一構成例を示す図である。
 図1に示す自動車10に本開示の情報処理装置が装着されている。
 図1に示す自動車10は、手動運転モードと、自動運転モードの2つの運転モードによる運転が可能な自動車である。
 手動運転モードは、運転者(ドライバ)20の操作、すなわちハンドル(ステアリング)操作や、アクセル、ブレーキ等の操作に基づく走行が行われる。
 一方、自動運転モードでは、運転者(ドライバ)20による操作が不要であり、例えば位置センサや、その他の周囲情報検出センサ等のセンサ情報に基づく運転が行われる。
 位置センサは、例えばGPS受信機等であり、周囲情報検出センサは、例えば、カメラ、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等である。
 なお、図1は、本開示の概要を説明する図であり主要な構成要素を概略的に示している。詳細構成については後段で説明する。
 図1に示すように、自動車10は、データ処理部11、運転者情報取得部12、環境情報取得部13、通信部14、通知部15を有する。
 運転者情報取得部12は、例えば、運転者の覚醒度を判定するための情報、運転者の操作情報等を取得する。具体的には、例えば、運転者の顔画像を撮影するカメラ、各操作部(ハンドル、アクセル、ブレーキ等)の操作情報取得部等によって構成される。
 環境情報取得部13は、自動車10の走行環境情報を取得する。例えば、自動車の前後左右の画像情報、GPSによる位置情報、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からの周囲の障害物情報等である。
 データ処理部11は、運転者情報取得部12の取得した運転者情報や、環境情報取得部13の取得した環境情報を入力し、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否か、さらに手動運転中の運転者が安全な運転を実行しているか否か等を示す安全性指標値を算出する。
 さらに、例えば、自動運転モードから手動運転モードへの切り替えの必要が発生した場合に、手動運転モードへの切り替えを行うように、通知部15を介して通知する処理を実行する。
 この通知処理のタイミングは、例えば運転者情報取得部12、環境情報取得部13を入力して算出した最適なタイミングとする。
 すなわち、運転者20が、安全な手動運転を開始できるようなタイミングとする。
 具体的には、運転者の覚醒度が高い場合は、手動運転開始時間の直前、例えば5秒前に通知を行い、運転者の覚醒度が低い場合は、余裕をもって手動運転開始時間の20秒前に行う等の処理を行う。具体的な通知に最適なタイミングの算出は後述する。
 通知部15は、この通知を行う表示部、音声出力部、あるいはハンドルやシートのバイブレータによって構成される、
 通知部15を構成する表示部に対する警告表示の例を図2に示す。
 図2に示すように、表示部30には、以下の各表示がなされる。
 運転モード情報=「自動運転中」、
 警告表示=「手動運転に切り替えてください」
 運転モード情報の表示領域には、自動運転モードの実行時は「自動運転中」の表示が行われ、手動運転モードの実行時は「手動運転中」の表示が行われる。
 警告表示情報の表示領域には、自動運転モードで自動運転を実行している間に、以下の表示を行う表示領域である。なお、本実施例では表示画面全体を用いているが、画面の一部表示でもよい。
 「手動運転に切り替えてください」
 なお、この例は説明を明文化した例であるが、このようなテキスト表示に限らず、例えばピクトグラムなどシンボルによる表示を行ってもよい。
 なお、図1に示すように、自動車10は通信部14を介してサーバ30と通信可能な構成を持つ。
 例えば、データ処理部11における通知出力の適正時間を算出する処理の一部、具体的には学習処理をサーバ30において行うことが可能である。
 この具体例については後述する。
 図3は、本開示の移動装置や情報処理装置が実行する処理の具体例を示す図である。
 図3には、自動運転モードで自動運転を実行している間に、手動運転への切り替え要求を行う通知の適正タイミングの設定例を示す図であり、以下の2つの例の通知処理例を示している。
 (a)自動運転実行中の運転者の覚醒度が高い場合の通知処理
 (b)自動運転実行中の運転者の覚醒度が低い場合の通知処理
 (a)の例は、自動運転実行中に運転者が前を向いて道路を見ている例である。この場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
 このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
 (b)の例は、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
 このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
 さらに、例えば宅配車両のように荷物室を有し、運転者が自動運転実行中に荷物室へ移動して作業を行うことが可能な車両では、手動運転への切り替え要求を行う通知タイミングは、例えば図4に示すように以下の3種類の場合によって異なる設定とすることが好ましい。
 (a)自動運転実行中の運転者の覚醒度が高い場合の通知処理
 (b)自動運転実行中の運転者の覚醒度が低い場合の通知処理
 (c)自動運転実行中の運転者が運転席から離れている場合の通知処理
 (a)の例は、自動運転実行中に運転者が前を向いて道路を見ている例である。この場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
 このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
 (b)の例は、運転者が自動運転実行中に居眠りをしているような場合の例であり、この場合、運転者の覚醒度は極めて低い状態にある。
 このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
 (c)の例は、運転者が自動運転実行中に運転席を離れて作業をしているような場合の例であり、このような場合、運転者は運転席に戻るまでに時間を要することになる。
 このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者が運転席に戻る前に手動運転区間に差し掛かってしまう可能性がある。従って、このように運転者が運転席を離れている場合には、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
 また、自動車10に乗車している運転者(ドライバ)20が、運転席を離れている場合には、運転席の通知部(表示部)15に先に図2を参照して説明したような表示を行っても運転者20は気づくことができない。
 これを解決するため、運転者(ドライバ)20が腕に装着した情報端末50、例えば図5に示すような腕時計型の情報端末50を介して通知、情報提供を行う。情報端末50は、図2を参照して説明したと同様の表示データの表示処理を行うとともに、さらに、自動車10が走行中の道路の区間(自動運転区間、手動運転区間)の接近情報等を表示する。さらに、アラーム出力、音声出力、バイブレーション機能を有し、様々な通知、警告を運転者20に知らせる。
 図5は、情報端末50の利用例を示す図である。自動車10に乗車している運転者(ドライバ)20は、自動車10が自動運転実行中に、図4(a)に示すように運転席にいる場合もあるが、図4(b)に示すように、運転席を離れ、荷物室で作業を行っている場合もある。しかし、運転者20は、常時、情報端末50を腕に装着しており、情報端末50に表示される表示情報や、出力される音声、アラーム、バイブレーション等に気づくことが可能となる。また、これら装着型情報端末50は車両の運転者情報取得部12と連動し、また応答確認手段として応答入力機能を備える。この構成により通知や警告の認知応答が可能となる。また、後述する早期手動運転復帰に対する拒否通知を車両システムへ発信することも可能となる。
 図6は、情報端末50の表示情報の一例を示す図である。図6に示す例は、先に図2を参照して説明した通知部(表示部)15の表示例と同様の表示例を示している。情報端末50に、以下の各表示がなされる。
 運転モード情報=「自動運転中」、
 警告表示=「手動運転に切り替えてください」
 運転者20は、どこにいてもこの表示を確認することが可能となる。
 さらに、図7に示すようなタブレット型の情報端末50を利用して通知、情報提供を行う構成としてもよい。
  [2.移動装置の具体的な構成と処理例について]
 次に、図8以下を参照して、本開示の移動装置の具体的な構成と処理例について説明する。
 図8は、移動装置100の構成例を示している。なお、以下、移動装置100が設けられている車両を他の車両と区別する場合、自車または自車両と称する。
 移動装置100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、および、自動運転制御部112を備える。
 入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、および、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、または、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、移動装置100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
 なお、以下、移動装置100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
 入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、および、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線もしくはその他の電波を利用したリモートコントロール装置、または、移動装置100の操作に対応したモバイル機器もしくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動装置100の各部に供給する。
 データ取得部102は、移動装置100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動装置100の各部に供給する。
 例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、および、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、もしくは、車輪の回転速度等を検出するためのセンサ等を備える。
 また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、および、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候または気象等を検出するための環境センサ、および、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
 例えば、図9は、自車の外部情報を検出するための各種のセンサの設置例を示している。撮像装置7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。
 フロントノーズに備えられる撮像装置7910および車室内のフロントガラスの上部に備えられる撮像装置7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像装置7912,7914は、主として車両7900の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像装置7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像装置7918は、主として先行車両または、歩行者、障害物、信号機、交通標識または車線等の検出に用いられる。また、今後自動運転においては車両の右左折の際により広域範囲にある右左折先道路の横断歩行者やさらには横断路接近物範囲まで拡張利用をしてもよい。
 なお、図9には、それぞれの撮像装置7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像装置7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像装置7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパまたはバックドアに設けられた撮像装置7916の撮像範囲を示す。例えば、撮像装置7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像、さらには車両周辺部を湾曲平面で囲う全周囲立体表示画像などが得られる。
 車両7900のフロント、リア、サイド、コーナおよび車室内のフロントガラスの上部に設けられるセンサ7920,7922,7924,7926,7928,7930は、例えば超音波センサまたはレーダであってよい。車両7900のフロントノーズ、リアバンパ、バックドアおよび車室内のフロントガラスの上部に設けられるセンサ7920,7926,7930は、例えばLiDARであってよい。これらのセンサ7920~7930は、主として先行車両、歩行者または障害物等の検出に用いられる。これら検出結果は、さらに前記俯瞰表示や全周囲立体表示の立体物表示改善に適用をしてもよい。
 図8に戻って各構成要素の説明を続ける。データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
 また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、および、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面またはステアリングホイール等に設けられ、座席に座っている搭乗者の着座状態またはステアリングホイールを握っている運転者の生体情報を検出する。生体信号としては心拍数、脈拍数、血流、呼吸、心身相関、視覚刺激、脳波、発汗状態、頭部姿勢挙動、眼、注視、瞬き、サッカード、マイクロサッカード、固視、ドリフト、凝視、虹彩の瞳孔反応など多様な可観測データが利用可能である。これら、可観測の運転状態を反映した生体活動可観測情報は、観測から推定される可観測評価値として集約し評価値のログと紐付けたられた復帰遅延時間特性から該当運転者の復帰遅延事案の固有特性として後述する安全性判別部155で復帰通知タイミングの算出に用いる。
 図10は、データ取得部102に含まれる車内の運転者の情報を得るための各種センサの例を示している。例えば、データ取得部102は、運転者の位置、姿勢を検出するための検出器として、ToFカメラ、ステレオカメラ、シート・ストレイン・ゲージ(Seat Strain Gauge)等を備える。また、データ取得部102は、運転者の生体活動可観測情報を得るための検出器として、顔認識器(Face(Head) Recognition)、ドライバ・アイ・トラッカー(Driver Eye Tracker)、ドライバー・ヘッド・トラッカー(Driver Head Tracker)等を備える。
 また、データ取得部102は、運転者の生体活動可観測情報を得るための検出器として、生体信号(Vital Signal)検出器を備えている。また、データ取得部102は、運転者認証(Driver Identification)部を備えている。なお、認証方式としては、パスワードや暗証番号などによる知識認証他、顔、指紋、瞳の虹彩、声紋などによる生体認証も考えらえる。
 通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、移動装置100の各部から供給されるデータを送信したり、受信したデータを移動装置100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
 例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、または、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(および、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、または、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
 さらに、例えば、通信部103は、基地局またはアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワークまたは事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバまたは制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者もしくは店舗の端末、または、MTC(Machine Type Communication)端末)との通信を行う。
 さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、および、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制または所要時間等の情報を取得する。なお、通信部を通して先導車両となり得る区間走行中前方走行車両とペアリングを行い、前方車搭載のデータ取得部より取得された情報を事前走行間情報として取得し、自車のデータ取得部102のデータと補完利用をしてもよく、特に先導車による隊列走行などで後続隊列のより安全性を確保する手段となる。
 車内機器104は、例えば、搭乗者が有するモバイル機器(タブレット、スマートフォンなど)もしくはウェアラブル機器、自車に搬入され、もしくは取り付けられる情報機器、および、任意の目的地までの経路探索を行うナビゲーション装置等を含む。なお、自動運転の普及でかならずしも乗員は着座固定位置に固定されないことを考慮すれば、将来的にはビデオ再生器やゲーム機器やその他車両設置から着脱利用が可能な機器に拡張利用してもよい。本実施例では、運転者の介在必要地点の情報呈示を該当する運転者に限定した例をして記述をしているが、情報提供はさらに隊列走行等で後続車への情報提供をしてもよいし、更には旅客輸送相乗りバスや長距離物流商用車の運行管理センターに常時情報を上げる事で、適宜遠隔での走行支援と組み合せ利用をしてもよい。
 出力制御部105は、自車の搭乗者または車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)および聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報および聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像またはパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音または警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
 出力部106は、自車の搭乗者または車外に対して、視覚情報または聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
 駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
 駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関または駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
 ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
 ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、ステアリングホイール、空調装置、および、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー、フォグランプ等)等を備える。
 記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイス等を備える。記憶部111は、移動装置100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、および、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
 自動運転制御部112は、自律走行または運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、または、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、および、動作制御部135を備える。
 検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、および、車両状態検出部143を備える。
 車外情報検出部141は、移動装置100の各部からのデータまたは信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、および、追跡処理、並びに、物体までの距離、相対速度の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。
 また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、および、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、および、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
 車外情報検出部141が取得する情報は、走行区間が重点的に自動運転の走行が可能な区間として常時更新されたローカルダイナミックマップ(LDM)がインフラより供給された区間であれば、主にインフラによる情報供給を受ける事が可能となり、または該当区間を先行走行する車両や車両群より区間侵入に先立ち事前に常に情報更新を受けて走行をすることがあってもよい。また、インフラより常時最新のローカルダイナミックマップの更新が行われていない場合など、取り分け隊列走行などでより安全な侵入区間直前での道路情報を得る目的で、区間侵入先導車両から得られる道路環境情報を補完的にさらに利用しても良い。自動運転が可能である区間であるかは多くの場合、これらインフラより提供される事前情報の有無により決まる。インフラより提供されるルート上の自動運転走行可否情報を構成する更新される新鮮なローカルダイナミックマップ(LDM)はいわゆる「情報」としてあたかも見えない軌道を提供していることに等しい。なお、便宜上車外情報検出部141は自車両に搭載した前提で図示をしているが、前走車が「情報」としてとらえた情報を利用する事で、走行時の事前予測性を更に高めても良い。
 車内情報検出部142は、移動装置100の各部からのデータまたは信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理および認識処理、運転者の状態の検出処理、搭乗者の検出処理、および、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向、眼球詳細挙動等が含まれる。
 さらに、自動運転において運転者は運転操舵作業から完全に離脱した利用が将来的に想定され、運転者は一時的な居眠りや他の作業に取り掛かり、運転復帰に必要な意識の覚醒復帰がどこまで進んでいるかシステムが把握する必要が出てくる。つまり、従来考えられていたドライバモニタリングシステムでは眠気などの意識低下を見る検出手段が主であったが、今後は運転者が運転操舵に全く介在していない状態となるため、システムは運転者の運転介在度合いを操舵機器の操舵安定性等から直接的に観測する手段がなくなり、運転者の正確な意識状態が未知の状態から、運転に必要は意識復帰推移を観測し、その正確な運転者の内部覚醒状態を把握した上で操舵の自動運転から手動運転への介入譲渡を進める必要がある。
 そこで、車内情報検出部142には主に大きな2段階の役割があり、一つ目の役割は自動運転中の運転者の状態のパッシブ監視であり、二つ目の役割はいざシステムより復帰の要請が出された以降、注意下運転の区間到達までに手動運転が可能なレベルまで、運転者の周辺認知、知覚、判断とさらには操舵機器の作動能力の検出判断である。制御として更に車両全体の故障自己診断を行い、その自動運転の一部機能故障で自動運転の機能低下が発生した場合も同様に運転者による早期手動運転への復帰をうながしても良い。ここでいうパッシブモニタリングとは、運転者に意識上の応答反応を求めない種類の検出手段をさし、物理的な電波や光等を機器から発信して応答信号を検出する物を除外するものではない。つまり、仮眠中など無意識下の運転者の状態モニタリングを指し、運転者の認知応答反応でない分類をパッシブ方式としている。電波や赤外線等を照射した反射や拡散信号を解析して評価するアクティブ応答デバイスを除外するものではない。反して、運転者に応答反応を求める意識的応答を求める物はアクティブとしている。
 検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、および、動作制御部135に供給する。なお、システムによる運転者へ運転復帰指示が出た後に運転者が的確な期限時間内に手動運転が達成できない事が判明し、自運転のまま減速制御を行って時間猶予をおこなっても引継ぎが間に合わないと判断された場合は、システムの緊急事態回避部171等に指示を出し、車両を退避の為に減速、退避・停車手順を開始する。つまり、初期状態として同じ間に合わない状況でも、車両を早期に減速させることで引継ぎ限界に到達する到達時間を稼ぎだすことができる。引継ぎ限界に到達する到達時間を稼ぎだすことで、システムによる事象対処に時間的余裕が発生し、安全確保のための対処が可能となる。ただし、後述する通りむやみな減速や徐行は渋滞誘発要因や追突リスクを上げるため適用は制限される。
 車両状態検出部143は、移動装置100の各部からのデータまたは信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無および内容、運転操作の状態、パワーシートの位置および傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、および、動作制御部135の緊急事態回避部171等に供給する。
 自己位置推定部132は、車外情報検出部141、および、状況分析部133の状況認識部153等の移動装置100の各部からのデータまたは信号に基づいて、自車の位置および姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。
 自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、および、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
 状況分析部133は、自車および周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、状況予測部154および安全性判別部155を備える。
 マップ解析部151は、自己位置推定部132および車外情報検出部141等の移動装置100の各部からのデータまたは信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、および、動作計画部163等に供給する。
 交通ルール認識部152は、自己位置推定部132、車外情報検出部141、および、マップ解析部151等の移動装置100の各部からのデータまたは信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置および状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
 状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、および、マップ解析部151等の移動装置100の各部からのデータまたは信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、および、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
 認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、自車の運動特性を決定付ける貨物積載量や貨物積載に伴う車体の重心移動、タイヤ圧、ブレーキ制動パッド摩耗状況に伴う制動距離移動、積載物制動に引き起こす貨物移動防止の許容最大減速制動、液体搭載物に伴うカーブ走行時の遠心緩和限界速度など車両特有、更には積載貨物特有条件とさらには路面の摩擦係数や道路カーブや勾配など、全く同じ道路環境であっても車両自体の特性、さらには積載物等によっても制御に求められる復帰開始タイミングは異なるため、それら多様な条件の収集を行い学習して制御を行う最適タイミングに反映する必要がある。車両の種類や積載物によって制御タイミングを決定する上で単純に自車両の異常の有無および内容等を観測モニタリングすれば良い内容ではない。運送輸送業などで、積載物固有の特性に応じて一定の安全性を確保する為に望ましい復帰の猶予時間の加算を決めるパラメータを予め固定値として設定をしてもよく、必ずしも全ての通知タイミング決定条件を自己累積学習より一律に定める方法をとらなくともよい。
 認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類および位置、周囲の動物体の種類、位置および動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成および路面の状態、並びに、周囲の天候、気温、湿度、および、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。車両を安全に走行させるという事は、その車両の固有の状態で搭載している積載量や搭載部の車台固定状態、重心の偏重状態、最大減速可能加速値、最大負荷可能遠心力、運転者の状態に応じて復帰応答遅延量などに応じて、対処が求められる制御開始ポイントが大きく異なってくる。
 状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132および状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
 状況予測部154は、マップ解析部151、交通ルール認識部152および状況認識部153等の移動装置100の各部からのデータまたは信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、および、運転者の状況等の予測処理を行う。
 予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、および、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、および、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動および体調等が含まれる。
 状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152および状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、および、動作計画部163等に供給する。
 安全性判別部155は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習し、その学習情報を状況認識部153等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。
 ルート計画部161は、マップ解析部151および状況予測部154等の移動装置100の各部からのデータまたは信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、および、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
 行動計画部162は、マップ解析部151および状況予測部154等の移動装置100の各部からのデータまたは信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、および、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する
 動作計画部163は、マップ解析部151および状況予測部154等の移動装置100の各部からのデータまたは信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、および、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172および方向制御部173等に供給する。
 動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、および、方向制御部173を備える。
 緊急事態回避部171は、車外情報検出部141、車内情報検出部142、および、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172および方向制御部173等に供給する。
 加減速制御部172は、動作計画部163または緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、または、急停車を実現するための駆動力発生装置または制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。なお、緊急事態が発生し得るケースは主に2つある。つまり、自動運転中の走行ルートで本来ならインフラより取得したローカルダイナミックマップ等で安全とされていた道路を自動運転中に突発的な理由で予想外の事故が発生し、運転者の緊急復帰が間に合わないケースと、自動運転から手動運転に運転者が的確に復帰することが困難になるケースがある。
 方向制御部173は、動作計画部163または緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163または緊急事態回避部171により計画された走行軌道または急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
  [3.自動運転モードから手動運転モードへのモード切り替えシーケンスについて]
 次に、自動運転モードから手動運転モードへの引継ぎシーケンスについて説明する。
 図11は、自動運転制御部112における自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を概略的に示している。
 ステップS1は、運転者が運転操舵から完全離脱の状態にある。この状態で、運転者は、例えば、仮眠、あるいはビデオ鑑賞、ゲームに集中、タブレット、スマートフォン等の視覚ツールを用いた作業などの2次タスクを実行できる。タブレット、スマートフォン等の視覚ツールを用いた作業は、例えば、運転席をずらした状態で、あるいは運転席とは別の席で行うことも考えられる。
 これら運転者の状態次第では、ルート上の手動運転復帰が求められる区間に接近した際に、運転者が復帰するまでの時間はその時々の作業内容により大きく変動する事が想定され、事象接近の直前の通知では復帰までに時間が不足したり、事象接近に対して余裕をみたあまりにも早めに通知をした場合、実際に復帰に必要なタイミングまでの時間が長く空き過ぎたりすることが発生する。その結果、的確なタイミングで通知が行われない状況が繰り返し起こると、運転者はシステムの通知タイミングに対するタイミングの信頼性が失われ、通知に対する意識が低下して、結果的に運転者の的確な対処がおろそかになる、その結果、引き継が上手く行われないリスクが高まると同時に、安心した2次タスク実行の阻害要因にもなる。そこで、運転者が通知に対する的確な運転復帰の対処を開始するには、通知タイミングの最適化をシステムが行う必要がある。
 ステップS2は、先に図2を参照して説明したような手動運転復帰要求通知のタイミングである。運転者に対して、振動などの動的なパプティックスや視覚的あるいは聴覚的に運転復帰が通知される。自動運転制御部112では、例えば、運転者の定常状態がモニタリングされて、通知を出すタイミングを把握され、適宜なタイミングで通知がなされる。つまり、前段のパッシブモニタリング期間で運転者の2次タスクの実行状態が常時パッシブにモニタリングされ、通知の最適タイミングの最適タイミングをシステムは算出する事ができ、ステップS1の期間のパッシブモニタリングを常時継続的に行って、復帰タイミングと復帰通知は、運転者の固有復帰特性に合わせ行うのが望ましい。
 つまり、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミング学習して、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求めた最適タイミングを運転者へ提示するのが望ましい。この場合、通知に対して運転者が一定時間の間に応答しなかった場合には、アラームの鳴動などによる警告がなされる。
 ステップS3では、運転者が、着座復帰したか確認される。ステップS4では、顔やサッケード等の眼球挙動解析により、運転者の内部覚醒度状態が確認される。ステップS5では、運転者の実操舵状況の安定度がモニタリングされる。そして、ステップS6では、自動運転から手動運転への引継ぎが完了した状態となる。
  [4.自動運転の動作シーケンス例について]
 次に、図12に示すフローチャートを参照して、自動運転の動作シーケンスの一例について説明する。
 図12に示すフローチャートは、移動装置の100を実行する自動運転の動作シーケンスを説明するフローチャートである。
 まず、ステップS11において、運転者認証が行われる。この運転者認証は、パスワードや暗証番号などによる知識認証、あるいは顔、指紋、瞳の虹彩、声紋などによる生体認証、さらには知識認証と生体認証が併用されて行われる。このように運転者認証が行われることで、複数の運転者が同一の車両を運転する場合であっても、各運転者に対応付けて通知タイミングを決定するための情報の蓄積行うことが可能となる。
 次に、ステップS12において、運転者により入力部101が操作されて、目的地が設定される。この場合、インスツルメンツパネルの表示に基づいて運転者の入力操作が行われる。
 なお、本実施例としては車両に乗車して旅程設定を想定した場合の事例を説明しているが、車両に乗車する前に事前にスマートフォンや自宅を出る前にパソコンより遠隔事前予約設定などを行ってもよく、さらにはスケジュール表に則って車のシステムが運転者の想定したスケジュールに沿ってプリプラニング設定を行い、道路環境のLDM情報、すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ(LDM)情報などを更新取得して乗車時やその前にでもコンシエルジュ的に実際の走行アドバイス表示などをさらに行ってもよい。
 次に、ステップS13において、走行ルート上の走行区間表示が開始される。この走行区間表示は、インスツルメンツパネルに表示される他、例えば、運転者が2次タスクを行うタブレット等にも作業ウインドウと並べて表示される。これにより、作業ウインドウで作業を行っている運転者は、走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で容易に認識可能となる。
 この走行区間表示では、前方予定と各地点への接近情報の提示がなされる。この走行区間表示においては、走行ルートの運転者介在必要区間および自動運転可能区間が、現在地点からの到達予測時間軸で表示される。そして、運転者介在必要区間には、手動運転区間、自動運転から手動運転への引継ぎ区間および自動運転からの注意走行区間が含まれる。この走行区間表示の詳細については、後述する。
 次に、ステップS14において、LDM更新情報の取得が開始される。このLDM更新情報の取得に伴って、走行区間表示の内容を最新の状態に変更可能となる。次に、ステップS15において、走行が開始される。次に、ステップS16において、自車の位置情報と取得LDM更新情報に基づいて、走行区間表示の表示が更新されていく。これにより走行区間表示は、走行に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。
 走行を伴い相対的に接近する前方の走行環境と該当自車両の引き継ぎに必要タイミング等の情報の提示手段は、スクロール手段に限定する必要ななく、その他方法としては差し迫る時間間隔が直感的、明示的手段で且つ誤認少なく何時運転へ復帰に取り掛かるべきか知る事が出来る手段が好ましい。例えば、砂時計を模した時間提示方法や、クロノグラフ形式の腕時計形態で引継ぎ残存時間を利用者装着機器へ直接提示する手段を介してもよい。
 次に、ステップS17において、運転者状態のモニタリングがされる。次に、ステップS18において、事象変化対応処理が行われる。この事象変化対応処理には、走行ルート中に既に存在している自動運転モードと手動運転モードとの切り替え地点あるいは注意走行区間が迫ってきた場合に対応するためのモード切り替え処理、走行ルート中にモード切り替え地点あるいは注意走行区間の運転者介在必要区間が新たに発生した場合に対応するための事象発生処理などが含まれる。以降、ステップS16からステップS18の処理が適宜繰り返される。
  「走行区間表示の詳細」
 図13は、運転者により目的地が設定されることで決定された走行ルートの一例を示している。この走行ルートには、自動運転可能区間Saと、手動運転区間Sbと、自動運転から手動運転への引継ぎ区間Scと、自動運転からの注意走行区間Sdが存在する。ここで、引継ぎ区間Scは手動運転区間Sbの直前に必ず存在し、運転者は手動運転への復帰体勢にあることが必要となる。また、注意走行区間Sdは、手動運転への復帰体勢にある運転者の注意監視下において自動運転のまま減速して走行が可能な区間である。なお、これら自動運転可能区間Sa、手動運転区間Sb、自動運転から手動運転への引継ぎ区間Sc、自動運転からの注意走行区間Sdは本開示技術の説明の為に便宜上の用いている区分であり、今後の自動運転の多様な運用に合わせて、より細分化をしてもよく、または簡素化した区分でもよい。また、それら区分は道路環境に対し一意に定義するものではなく、レーンに区切った運用の違い、該当の車両特性、道路状況、天候状況、車両の自己診断情報に基づく自律走行性能の一部機能低下等による車両自体の自動運転走行性能などの複合要因で決定する区間やレーンであり、本開示の図13に図示する地図上の固定区間のような一意に定義された区間として限定されるものではない。
 図示の例において、自動運転可能区間Saは緑色で示され、手動運転区間Sbは赤色で示され、引継ぎ区間Scおよび注意走行区間Sdは黄色で示されている。なお、便宜上、各色は別々の模様で表している。
 センターインフォーメーションディスプレイやタブレット等の表示デバイスにおける走行区間表示にあっては、上述したような走行ルートの各区間が、現在地点からの到達予測時間軸で表示される。図1に示す構成におけるデータ処理部11、あるいは図8に示す構成における自動運転制御部112内のデータ処理部、例えば検出部131や、状況分析部133や計画部134、出力制御部105等のデータ処理部は、走行ルート情報および交通情報に基づいて走行ルートにおける走行区間表示のための情報生成処理を実行する。この情報処理の結果として得られた表示データは、出力制御部105の制御の下で出力部106を構成する表示部に表示される。
 図14(a)は、走行ルートの各区間を現在地点からの移動距離軸で一定のスケールで表している。図14(b)は、各地点における平均的道路交通の流れ速度v(t)を表している。図14(c)は、移動距離軸で表されている各区間を、速度v(t)を用いて時間軸に変換したものである。これにより、走行ルートの各区間は、現在地点からの到達予測時間軸で表されるものとなる。つまり、走行ルートの物理的距離を該当区間毎の平均速度で除算した時間軸で表す事が出来る。
 この実施の形態においては、走行区間表示される全区間を、図14(d)に示すように3つの区間に分割し、各区間の時間軸を変化させている。すなわち、現在地点から第1の地点(時間t0、例えば10分程度)までの第1の区間は、時間リニア表示直近区間として、第1の時間軸で表示する。例えば、時間t0は、一般的な運転者が2次タスクを終了して運転復帰するまでに必要十分な時間に設定される。走行により接近する直近区間はあたかも一定速度で進む地図上に示すのと同等の視覚的直感効果が有るため、運転者は事象接近に伴う的確な運転復帰の準備を開始でき、ある程度正確に復帰を開始するポイントが感覚的に把握できるメリットがある。つまりこの区間の表示目的は運手者の的確に復帰ポイントの開始判断情報を利用者に提供することにある。
 また、第1の地点(時間t0)から第2の地点(時間t1、例えば1時間程度)までの第2の区間は、時間の逆数表示区間として、第1の時間軸からこの第1の時間軸に対して所定の比率で縮小された第2の時間軸まで順次変化した時間軸で表示する。この第2の区間の表示目的は、主に先の第1の区間と同等スケール倍率で表示をすると、狭い表示スペースに長期期間の表示が困難となるため、より長期期間の道路状況を狭い表示で運転者に正確に提供する工夫となる。こうすることで、運転者は走行に伴いある一定の先の区間で何処までの地点は運転介在が求められないで済むかを把握が容易に出来る様になり、2次タスクへの従事を計画的に行えるメリットがある。運転介在のメリハリが付き、また第三者とのやり取りに伴う2次タスクなどでは運転者の2次タスクからの解放プラニング等での重要な情報呈示の役割を果たす。
 ここで、図14(d)において、この第2の表示区間の設定方法について記述する。三角形の高さをh0としたとき、その先端からhだけ手前の地点の時間tは、以下の(1)式で求められる。
 t=t0*h0/h   ・・・(1)
 また、第2の地点(時間t1)における第2の時間軸は、第1の時間軸に対して、hs/h0の比率で縮小されたものとなる。例えば、hs=h0/8である場合、縮小率は、1/8ということになる。
 以上に示す第2の表示区間の表示は、車速が一定で走行している場合であれば、地図上の走行直線伸張表示区間を進行方向に斜め傾けた地図を見た表示、または道路平面前方を斜めみした状態に相当する。言い換えれば、この表示区間の視覚的効果が表示像高位置で遠近が直感的にわかるため、画面上に正確な位置表示の目盛等を表示しなくとも感覚的距離が把握容易にできる表示とも言える。そして遠方の区間は縮小されるが、走行で直ぐ到達する地点ではないため、大凡の予測は重要となるが、近傍点程厳密な到着時刻情報を運転者が感覚的に把握する必要ではないため、2次タスク実行計画をする上でも好適である。
 また、第2の地点(時間t1)から第3の地点(時間t2)までの第3の区間は、時間リニア表示遠方区間として、第2の時間軸(縮小率hs/h0)で表示する。このように3つの区間に分割して表示することで、運転者は、限られた表示スペースで、時間的に直近の区間情報の詳細に知ることができると共に、時間的により遠くまでの区間情報を知ることが可能となる。なお、第2区間の表示形態のままで遠方部を表示すると、人の視覚分解能、更にはシステムの表示分解能限界以下となり、2次タスクの計画判断に必要な情報が判別できなくなり、表示機能の意味が失われる。そこで、直感的に時間の区間感覚が十分把握でき、必要な介在区間、不必要区間区分が適切に表示される程度の段階で表示スケールの縮小を終え、それ以降の区間はまた一定スケールに戻した表示を行うのが最も効果的は表示となる。
 なお、車両制御システム100は、時間t0、t1、t3のデフォルト値を備えている。長距離運転と近距離運転とで時間t0、t1、t3の値を別にすることも考えられるので、デフォルト値は1つに限定されるものではなく、複数種類を備えていて、運転者(ユーザ)あるいはシステムが走行ルートに応じて選択的に用いるようにされてもよい。また、時間t0、t1、t3の値を、運転者(ユーザ)が任意に設定できるようにすることも考えられる。
 図15(a),(b)は、最終的に表示される走行区間表示の一例を示している。車両の走行予定時間帯に応じて一方向に延びる直線型の走行区間表示データである。なお、下部に示す矢印の各々は、図15(a),(b)に示す走行区間表示データにおける同一の車両走行時間(単位時間)に相当する長さを示している。第1の区間には、数の少ない長い矢印が対応付けられ、第3区間には多数の短い矢印が対応づけられている。これは、第1の区間は短時間で走行可能な短い距離であり、第3の区間は長時間走行可能な長い距離の区間であることを意味する。第2の区間は、車両に近づくほど矢印が長くなっており、第2区間の走行表示データは、車両に近づくほど走行時間の短い距離に変化するように表示されることを意味する。
 なお、図15(a)の場合には、第1の区間、第2の区間および第3の区間の全ての区間が第1の表示幅のままで表示されている。
 一方、図15(b)の場合には、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データとしている。
 すなわち、車両の走行予定時間帯が早い現在地点から第1の地点(時間t0)までの第1の区間は、第1の表示幅で表示され、第1の地点(時間t0)から第2の地点(時間t1)までの第2の区間は、第1の表示幅からこの第1の表示幅に対して狭い第2の表示幅まで順次変化した表示幅で表示され、車両の走行予定時間帯が遅い第2の地点(時間T1)から第3の地点(時間T2)までの第3の区間は、第2の表示幅で表示される。これにより、運転者は、第1の区間に対する第2の区間および第3の区間の時間軸の縮小の程度を視覚的に認識することが可能となる。つまり、図14での表示形態は進行方向の縮小率のみを配慮した表示であるが、さらに表示情報の進行方向に対する道路の表示幅を擬似的に遠近に合わせて表示幅を変える事で、道路や地図の進行に沿って無限方向に向かって見るのと同じ遠近効果が得られ、運転介在必要区間の分布が画面を一瞬みるだけより直感的に把握が容易となる。特に、第2の区間のみを反時計回りに90度回転して見ると、道路前方の表示幅が遠方ほど狭くなる。これは、運転者が車両前方の実際の道路を見た場合と同様の視覚的効果を持つ表示形式であり、実際の道路を見た場合と同じ距離感覚で表示データを見ることができる。従って、正確な位置メモリを目視判断しなくても、各地点までの到達実感が直感的に把握でき、時間配分が可能となる表示形態といえる。
 なお、例えば第3の区間のように縮小率hs/h0が小さな部分では、短い時間長の区間をそのままの時間長で表示すると、その区間が非常に細く表示され、運転者の認識が困難となることが予想される。そのため、運転者介在区間(手動運転区間、引き継ぎ区間、注意走行区間)が実際には一定時間長以下である場合であっても、一定時間長で表示するようにされる。この場合、例えば、引き継ぎ区間と手動運転区間が連続している場合、引き継ぎ区間の表示は省略されることもある。図15(a),(b)において、第3の区間の最初の手動運転区間Sbの表示は、そのような状態を示している。これにより、時間軸が大きく縮小されている第3の区間において、短い時間長の運転者介在必要区間を運転者が認識可能に表示することが可能となる。
 また、第3の区間のように縮小率hs/h0が小さな部分では、手動運転区間Sbが間欠的に短い周期で連続する場合、全体が繋がった手動運転区間Sbとして表示される。図15(a),(b)において、第3の区間の2番目の手動運転区間Sbの表示は、そのように繋がれて表示された状態を示している。このように表示された手動運転区間Sbは、実際には、図15(c)に示すように、手動運転区間Sbの他に、短い期間の引継ぎ区間Sdおよび自動運転可能区間Saが含まれている。なお、後述するように、タブレット等に走行区間表示がされている状態で当該地点が例えばダブルタッチされることで、詳細表示が可能とされる。
 上述の走行ルートにおける走行区間表示は、自車の位置情報と取得LDM更新情報に基づいて、更新されていく。これにより走行区間表示は、時間経過に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。図16(a)~(d)は、時間経過に伴う走行区間表示の変化例を示している。この例は、第2の区間が先細りに表示されている例を示しているが、全ての区間が同じ幅で表示される場合も同様である。
 この場合、第1の区間では、各区間の移動が早い。また、第2の区間では、第3の区間側から第1の区間側にいくほど、時間軸の縮小が小さくされているので、各区間の移動が早くなっていく。また、第3の区間では、時間軸の縮小が大きくなっているので、各区間の移動は遅い。
 図17(a),(b)は、タブレット182の画面上に表示される走行ルートにおける走行区間表示181の一例を示している。図17(a)は、タブレット182を縦長で使用する場合の例である。この場合、走行区間表示181は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット182で行われる2次タスクの実行画面である作業ウインドウと並列に表示される。図17(b)は、タブレット182を横長で使用する場合の例である。この場合も、走行区間表示181は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット182で行われる2次タスクの実行画面である作業ウインドウと並列に表示される。なお、図示の例では、タブレット182の画面上に走行区間表示181が折り曲げた状態で配置されているが、配置スペースが十分にとれる場合には直線的に配置することも考えられる。
 図18は、運転者が実際にタブレット182を用いて2次タスクを実行している状態の一例を示している。この例は、タブレット182は横長で使用されている。タブレット182の画面には、左辺から上辺に沿って折れ曲がった状態で走行区間表示181が表示されている。なお、この走行区間表示181を画面上に出すか否かを運転者(ユーザ)の操作で選択的に行うようにされてもよい。その場合、例えば、走行区間表示181が画面上に出ていない場合に、運転者介在必要区間が一定時間内に入ってきて、運転者に通知する場合には、自動的に、走行区間表示181が画面上に出てくるようにされてもよい。
 タブレット182の画面上に走行区間表示181が表示されている状態で、その表示区間中に新たに運転者介在必要区間が発生した場合、その新たに発生した運転者介在必要区間の表示が新たに発生する。この場合、この新たに発生した運転者介在必要区間は、他とは識別可能に、例えば一定時間の点滅表示が行われる。この点滅表示は、注意アラーム音を伴ってなされてもよい。ここで、新たに運転者介在必要区間が発生した場合には、注意走行区間や手動運転区間が新たに発生した場合の他、注意走行区間から手動運転区間に変更になった場合も含まれる。
 図19は、第2区間に新たに注意走行区間Sdが発生し、点滅表示で運転者に警告している状態を示している。なお、この場合、運転者がこの点滅表示されている注意走行区間Sdの表示箇所をタッチすることで、その点滅、つまり警告状態を停止することが可能とされてもよい。あるいは、運転者がこの点滅表示されている注意走行区間Sdの表示箇所をタッチすることで、小ウインドウがポップアップ表示され、承諾の画面タッチで、その点滅、つまり警告状態を停止することが可能とされてもよい。
 また、タブレット182の画面上に走行区間表示181が表示されている状態で、運転者(ユーザ)が任意の地点をダブルタッチして指定した場合、例えば、図20に示すように、小ウインドウがポップアップ表示され、その地点に関連した表示がなされる。
 さらに、図21に示すように、先に図5や図6を参照して説明した腕時計型の情報端末50に図14~図20を参照して説明したと同様の区間単位の色分け表示を行う構成としてもよい。
 図21に示す例は、運転者により目的地が設定されることで決定された走行ルートに従った道路の自動運転区間、手動運転区間等の各区間の情報を表示した例である。表示部の周囲の0~9の数値は、現在時間からの経過時間0~9分を示している。表示領域全体で、現在時間(0)から10分後までの自動車の走行予定の区間情報を示している。
 走行ルートには、自動運転区間Saと、手動運転区間Sbが設けられ、さらに、自動運転から手動運転への引継ぎ区間Scや、自動運転区間Sa内に設定される注意走行区間Sd等が存在する。車両の走行予定時間帯に応じて円周状に延びる円形型の走行区間表示データが表示される。
 図21に示す表示例は、情報端末50の表示部に、以下の3つの異なる表示領域が設定されている。
 (Sa)自動運転区間Sa(=緑色表示)
 (Sc)引き継ぎ運転区間Sc(=黄色表示)
 (Sb)手動運転区間Sb(=赤色表示)
 図21に示す表示例は、自動車のこれから10分間の走行予定を示している。すなわち、
 (Sa)自動運転区間Sa(=緑色表示)を、現時点から0~6分10秒後まで走行する予定であり、その後、
 (Sc)引き継ぎ運転区間Sc(=黄色表示)を、現時点から6分10秒後~8分40秒後まで走行する予定であり、さらに、その後、
 (Sb)手動運転区間Sb(=赤色表示)を、現時点から8分40秒後に走行する予定であることを示している。
 なお、情報端末50は、自動車10内のデータ処理部11が自動車10の走行速度、あるいは自動車10の走行ルートにおける車両の平均速度情報に基づいて算出した各区間の走行予定時間情報を、通信部を介して受信して、表示を行う。
 運転者20は、情報端末50の表示情報を見ることで、手動運転区間に侵入するまでの残り時間を確認することが可能となり、その時間に間に合うように荷物室21での作業を終えて、運転席に戻ることが可能となる。
 なお、図21に示す例では、運転者20は、情報端末50の表示に基づいて、今から約8分40秒後に手動運転区間に侵入することを把握することが可能であり、それまでに運転席に戻るように作業を進行させることができる。
 また、図21に示す情報端末50には、さらに矢印が表示される。この矢印は、手動運転復帰要求の通知、例えば、図5に示す表示への切り替え、あるいは、アラーム出力や、バイブレーション起動を行い、運転者20に警告を通知する時間に設定される。この通知タイミングは、例えば、移動装置(自動車10)側において、運転者の覚醒度、または位置の少なくともいずれかの情報に基づいて決定する。決定した通知タイミング情報は情報端末50に送信される。矢印による通知の時刻表示は一例に過ぎず、色区分やメシュ表示、点滅フラッシュ等で視覚注意誘引機能を持たせるなど、時間間隔を視覚的提示出来れば手段を矢印に限定する必要はない。なお、移動装置において実行する最適な通知タイミングの算出処理については後述する。
 情報端末50は、移動装置から受信した通知タイミングにおいて手動運転復帰要求通知を実行する。すなわち、情報端末50は、移動装置が決定した通知タイミングにおいて、先に図5を参照して説明した表示処理、あるいはアラーム出力、またはバイブレーション起動の少なくともいずれかの処理を実行する。なお、通知設定はユーザーによって変更や停止が可能である。
 なお、本実施例では、情報端末50の表示部を円形状の表示部として示しているが、これは一例であり、表示部の形状は円形に限らず、楕円型、矩形型等、様々な設定が可能である。
 図22は、時間経過に伴う情報端末の表示データの変化例を示す図である。図22には時間t1における情報端末50の表示情報と、その後の時間t2における情報端末50の表示情報の例を示している。
 時間t2は、時間t1の約4分後の表示データの例を示している。
 時間t2の表示データでは、手動運転区間Sb(=赤色表示)が現時点から約3分50秒後に走行する予定であることを示している。
 運転者20は、時間t2の時点で、情報端末50の表示に基づいて、手動運転区間Sb(=赤色表示)が近づいていることを把握し、急いで作業を終えて、運転席に戻る準備を開始することができる。
 なお、情報端末50にはアラーム出力機能や、バイブレーション機能を有しており、例えば、手動運転区間Sb(=赤色表示)までの残り時間が、予め規定した時間(例えば1分)になると、アラーム出力や、バイブレーション起動を行い、運転者20に警告を通知する。なおアラームやバイブレーションの起動時間は、ユーザーの設定によって変更や停止が可能である。
 なお、図21、図22を参照して説明した情報端末50は、表示データは時間経過に伴い半時計回りに回転する構成であるが、表示データの回転方向は、例えば図23に示すように時計回りの設定としてもよい。
  [5.ユーザー(運転者)に対する提供情報や通知処理について]
 次に、ユーザー(運転者)に対する提供情報や通知処理について詳細について説明する。
 以下、後段において、下記項目の各々について説明する。
 5-1.走行区間表示データの詳細構成と更新処理について
 5-2.走行区間表示データに対する付加情報の表示例について
 5-3.アニメーションによる通知、警告処理例について
 5-4.その他の表示処理例について
 まず、上記項目の説明の前に、ユーザー(運転者)に対する提供情報や通知処理の重要性について説明する。
 上述したように、自動運転が利用可能な自動運転可能区間では、運転者が運転操舵を行わず、運転操舵以外の2次タスクに従事することが可能となる。
 しかし、自動運転可能区間が終了し、手動運転区間へ侵入する場合、運転者は、車両が手動運転区間へ侵入する前に、2次タスクから手動運転操舵に正常に復帰する必要がある。
 運転者が、2次タスクから手動運転操舵に正常に復帰することが可能な状態であるかの判定は、例えば、車両の自動運転制御システムが行う。しかし、自動運転制御システムが運転者の状態を高精度に把握することが困難である場合も少なくない。
 運転者の正しい覚醒状態を把握できない状態で、運転者に手動運転へ復帰させることは危険を伴う。
 この様な状況下では車両の自動運転制御システムは、車両をMRM(Minimum Risk Maneuver)と呼ばれる事故回避を目的とした処理、具体的には、退避のための減速や停止等の退避行動を開始する。
 しかし、自動運転可能区間の終了のたびに、多くの車両がこのMRMの制御による減速や停止処理などを行うと、自動運転可能区間終了地点に多くの減速、停止車両が発生する。結果として、道路の渋滞が発生する。また、一車線道路などの通過車両の待機が狭い通りでは道路を完全に封鎖してしまう可能性もあり、社会的な大きな負のインパクトが発生する。
 このようなMRMの問題点に対する対策として、自動運転可能区間の終了地点手前に減速車両や停止車両を収容できる退避レーン等を設けておくという対策がある。しかし、このようなインフラ整備には用地確保など基盤整備に多額の費用を要し、また、すべての自動運転可能区間の終了地点近辺に退避所が設置できる用地があるとは限らない。
 なお、自動運転機能は、まだ開発段階であり、完全な自動運転が利用可能となるまでには、まだ時間を要する。それまでの期間は、運転者の監視下での自動運転と手動運転の頻繁な切り替えが行われることが予測される。このような段階では運転者の運転操舵からの離脱レベルは限定的である考えられる。
 しかし、このような状況、すなわち、頻繁な自動運転と手動運転の切り替えが行われることが想定される状況においても、手動運転区間への侵入前に、運転者が正常な手動運転が可能であることの確認が必要となる。引継ぎが困難と想定される場合には、早期断念、すなわち運転者に手動運転への復帰を断念する意思表示を行わせ、この意思表示に基づいて、車両の自動運転制御システムが、他の後続車両への妨害とならない退避行動をとることが求められる。
 将来的には、自動運転機能が進化し、自動運転可能区間も次第に長くなることが予測される。すなわち、自動運転の利用者である運転者は、自動運転機能を長期に安定して利用することが可能となる。しかし、このような場合、運転者は自動運転機能に対する慣れが発生し、自動から手動運転へ復帰する必要性をあまり感じなくなると予測される。
 つまり自動運転制御システムの利用に慣れてしまい、さらにシステムからの手動運転復帰要請が次第に減ると、自動運転利用時の運転者の覚醒度は低下し、手動運転への復帰に必要な注意レベルが徐々に低下していくことが想定される。また、手動運転を行うことなく自動運転のみの利用が数カ月や一年と長期に及んだ場合、手動運転への復帰を想定することさえ無くなる可能性がある。
 前述したように、運転者に手動運転復帰を要請する場合は通知や警告が行われるが、手動運転や、運転者の注意下での走行への移行を要しない場合に、不必要な通知をシステムが持続的に繰り返し行うと、システムの実行する通知が実際の行動判断に必要不可欠なものでないことが運転者に学習されてしまう可能性がある。このような学習がなされると、引継ぎ警報など、より高い刺激を受けるまで「通知」に対して反応をしなくなり、引継ぎ事象認知とその対処が遅れる可能性が発生する。
 従って、運転者にとって煩わしくなく、かつ注意を引き付けるという2つの側面のバランスを持つ通知処理を行うことが好ましい。
 自動運転実行中に運転者が2次タスクを開始した場合、その後、手動運転への引継ぎ地点に関する情報が一切ない場合には、運転者は、いつ手動運転復帰要請が出るか分からない状況となり、緊張、あるいはおどおどした心理状態で2次タスクを行う必要がある。しかし、その緊張状態やおどおどした心理も一時的であり、リスク感覚が薄れるに従い、運転者は、次第に2次タスクに没頭してしまう可能性がある。
 このような、無意味な緊張状態や、手動運転の引き継ぎ地点への近接領域での2次タスクへの没頭は好ましい状態とは言えない。
 このような事態を防止するため、自動運転制御システムは、手動運転引継ぎ関連情報を運転者に事前に提示し、手動運転引継ぎ地点への接近時までに運転者に手動運転開始の準備を行わせて、速やかな復帰手順を開始させることが人間工学的に好ましい。つまり、運転者は、少し未来の知り得る情報を取得しながら、2次タスクを行うことが好ましい。運転者は、2次タスク実行中も未来に対する予備情報を取得することで、手動運転復帰通知後にスムーズに手動運転へ復帰することが可能となる。
 人に限らず、進化の過程で生存に必要な行動判断を発達させた生命体の多くは、一つの最終的刺激で行動を開始できるようにするため、事前に思考的なスタンバイ状態をとる。最後に行動判断の神経発火を行い、行動を開始する。
 これら思考的なスタンバイ処理の多くは、意識しないまま実行されている。多くの生物は、周囲の音、におい、風向き、空の雲行き、寒さ、周囲の動物等の振る舞いなど多様な情報から警戒するべき対象を特定する感覚を研ぎ澄ませて、行動を行う。これと同じように、最終的な行動の判断を早めるためには、判断するための補完的な情報をより多元的に取得することが重要であり、特に視聴覚的な情報が有効となる。人は異なる情報毎に異なる記憶を利用して様々なリスクを判断し、最終的な行動判断を行う。さらに、人はリスク判定に利用する情報について確からしさを確認することが多く、この処理により見落としや対応遅れを下げる効果もある。
 人が未来予測を用いて行動判断を行う例として、例えば人が予言や占いに頼って行動判断を行う例がある。行動の判断はリスクバランスをとることが重要であり、判断に影響の高い要素の重み付けの心構えをして判断につなげることで、その時々にあった状況に対して速やかな正しい行動判断が可能となる。
 自動運転の導入に伴い、自動運転中に利用者が完全に2次タスクに集中して一切の未来予測的情報から遮断されてしまうと、運転者は手動運転に復帰する際、正しい行動判断基準をとりにくくなる。従って、いざ手動運転復帰の通知を受けても、正しい状況判断ができず、パニック障害をさえ起こしかねない。
 SAE(Society of Automotive Engineers)が定義する自動運転のレベル3では、運転者は常に手動運転復帰可能状態で待機することが求められている。しかし、実際に他の2次タスク作業に集中することなく、他方で運転もせずに、手動運転復帰への待機のためにのみハンドルに手をかざす緊張状態を長時間維持するのは拷問ともいえる。
 そこで、運転者に事前に継続的に情報を提供し、復帰必要タイミングを運転者自身が確認できるシステムを提供することが好ましい。例えば、自動運転可能区間から手動運転区間への切り替え地点などを予測可能な情報を適宜、提供し、その情報を受領しながら余裕をもって2次タスクに従事することが望ましい形態といえる。
 ただし、運転者の手動運転への復帰帰行動判断を手助けする情報として、単純に自動運転利用可能区間の終了地点や、運転者の注意下で自動運転利用ができる区間の終了地点までの猶予時間を画一的に表示しても、必ずしも運転者に十分な心理的準備を生じさせる対策として有効とは言えない。
 それは、人の行動判断の心理が多様なリスクバランスの結果であるためである。人は、多くの複合的要因各々の状況や、それらのリスクバランス刺激の積み重ね等の情報を用いて、最適な行動についての判断を行っている。この判断のために、詳細確認や初期情報に基づく再確認を行うこともある。リスクが近づくと、リスク回避のための判断をトリガとする多様なシナプス群がさらに敏感な待機状態に設定される。
 図24は、複合・階層的な情報提供が復帰意識レベルの向上をもたらす神経伝達の概念を説明する図である。
 言い換えると、運転者は、運転者個人の固有のリスク情報と、選択行動に伴う未来の予測結果とのバランスに基づいて、最適な行動についての判断を行っている。
 しかし、日常の様々な行動判断においては、このような多様な情報に基づく行動判断を意識的に行うことがないため、多様な情報が行動判断に寄与しているとの感覚はない。
 自動運転から手動運転に引き継ぐ際、運転者が良好な引継ぎを行うためには、実際の運転行動に着手を開始する前、その行動に関連する予測的情報がスムーズな引継ぎに重要な役割を果たす。
 例えば高速道路では、インターチェンジ(IC)でタイミングよく高速道路から降りなければ、次のICまで高速道路から出ることではきない。タイミングよく出口で降りられないと、不要な高速道路走行を行うことになり、遠回りをするリスクが発生する。
 このようなリスクを低下させるためには、出口直前ではなく、出口のしばらく手前から出口に出る最適な車線へ車両を移動し、出口手前の減速開始ポイントを、出口標識等で確認しながら出口にでる準備を整えることが好ましい。
 しかし、このような最適行動を行うために必要な事前情報が不足すると、実際には出口に出る行動判断が間に合わず、出口を出られずにそのまま高速道の走行を継続せざる得ないことになる。
 なお、過去に判断を誤り、タイミングよく出口から出られなかった経験がある経験者は、次回の高速道路利用時には、より早期に的確な判断を行うため、事前の出口標識を確認するなど、最適判断に必要となる情報の積み上げを行う。
 運転者が自動運転中の2次タスク実行中に、運転者が自ら、2次タスクを終了して手動運転に復帰しようとする判断を行わせるための情報として、事象発生タイミング、選択情報毎のリスク情報、その他行動に影響を及ぼす多々の情報等がある。
 これらの各情報は、階層的に個別の判断を促す加算的な神経刺激となり、その多様な神経刺激の総和として判断を司るニューロンの発火を起こす。そして最適な行動判断が実行される。
 人間工学的に見ると、一つの行動判断は多くの無意識下のリスクバランスの上で行われる。予見的な事前リスク情報が増えれば、それだけ多くの情報に基づく適切な行動判断が可能となる。また、リスクの重みづけも行動判断の重要な影響因子となる。
 人間の行動判断は、単純な時間軸に従った判断のみではなく、行動を起こして対処した場合や、行動を起こさず対処しなかった場合等、複数の行動選択時のリスクについての判断も無意識のうちに行われる。
 従って、運転者に対して、様々なリスクを提示するインタフェース、すなわちHMI(Human Machine Interface)を利用して情報を提供することが、運転者に適切な行動判断を行わせるために重要となる。
 しかし、これらの予測的判断情報は画一的な情報とせず、運転者個々に対応した情報とすることが理想的である。このためには、運転者の個人認証を行い、乗車車両の安全運航に必要な各個人の特性に合わせて、走行する道路区間毎に安全な手動運転復帰に戻るまでに要する時間に応じた復帰通知や警告ポイント、回避選択情報など各道路区間の予測走行速度に基づいて到達時間換算して、各運転者に提示する構成とすることが好ましい。
 このような情報提示を行うインタフェースとしてのHMIを利用することで、運転者に、自動運転中に実施可能な2次タスクを適切に判断することが可能となり、また、自動走行中の各ポイントにおけるリスク判定に必要となる情報を運転者に提供することが可能となる。
 運転者には、手動運転区間へ接近するに従い提供される情報が、行動判断に必要な警戒心理の準備情報として作用し、メリハリのある適切な引継ぎ対処を、運転者に行わせることが期待される。
 運転者に対する提供情報として重要となる情報の一つは、手動運転引継ぎ地点毎に求められる対処のリスク別選択肢情報である。運転者によって実行される対処次第で、システムは車両の緊急停車や、緊急退避動作を行わざる得ない場合がある。この場合、後続交通への通行妨害が発生する。
 また、運転者によって実行される対処次第で、システムは、予定ルートから逸脱した低速ルートへのルート変更や、休憩所への退避停車、罰則の課金など、状況に応じた多様なレベルの異なる状況が発生する。
 運転者は、運転者に提供される情報に基づいて様々なリスクを理解すれば、引継ぎの失敗をしないための正しい準備行動をとることができる。
 なお、準備行動は必ずしも肉体的な行動に限らず引継ぎに必要な意識の準備でもある。自動運転利用区間から手動運転区間への切り替え地点は、例えば、道路の状況や自車両の走行ダイナミックス特性等に応じて変更される場合がある。併せて、運転者に対する手動運転復帰要請通知のタイミングや、復帰時のリスクも変化する。従って、運転者は、それぞれの場合に応じた異なる判断基準に合わせて対処することが求められる。
 行動判断の意識準備に必要な情報として予測情報を取得する情報が重要である。ただし、例えばシステムが提供する道路情報等が信ぴょう性のない情報である場合、その予測情報は意味をなさなくなる。
 そこで、LDMや先導車両群から、区間毎に取得する進路先の道路や交通情報に基づくダイナミックな情報を適宜運転者に適した形で効率的に提供する必要がある。
 人は多くの感化器官により周囲の情報を得ている。しかし、それら全ての感覚器官から同時並行的に入力される全ての情報を重み付もせずに脳に送り込み処理しようとすればたちまち情報過多となり、神経による情報伝達もままならずにパニックを起こす。
 これを防ぐため、つまり情報過多で行動判断の遅延を防ぐ本能的機能として自己防衛的に情報の選択フィルタリングを行う機能を発達させている。
 従って、例えば、車両利用時にシステムからの提供情報の多くが信ぴょう性のない情報であると、これらの情報が行動リスクの判断材料として重要な情報であっても、それら提供情報は判断の混乱をもたらす不要な情報として分類されることになる。すなわち、フィルタリングによる棄却対象の情報となり、情報提供が意味をなさなくなる。
 そのため、運転者に提供する引継ぎ関連情報には、リスク行動判断に紐づけされた簡便で思考的な解釈を要しないシンボルベースの情報を付加するのが望ましい。
 また、引継ぎ行動の詳細は必要な判断が接近するに従い、より重要となる。従って、例えば、走行開始前の走行旅程を決めるプラニング段階で、全ての情報を提示しても、運転者は思考が追い付かず混乱してしまう。
 従って、情報提供は、走行中から数分~数十分程度の情報を、随時、提供する形態とするのが好ましい。その先の情報については、簡略化して提示する。例えば、圧縮スケールで各区間情報や引継ぎ重要度のサマリー情報のみを提示する。なお、必要に応じて運転者の入力に応じて一時的な拡大表示や詳細表示を行う構成としてもよい。
 また、表示情報として、自動運転可能区間や手動運転区間、さらに各区間の切り替え地点等を表示する場合、単に道路区間毎の道路平均交通速度で除算した到達時刻スケール各地点の表示をするのと合わせ、地図上のマイルストーンとなる指標情報も合わせて提示することが好ましい。このような表示処理により、運転者は記憶情報との相関を取り易くなり、運転者の意識の引継ぎ必要性の意識を高めるのに有効となる。特に、使い慣れた道路であれば、各地点で求められる引継ぎの重要度が道路の渋滞状況で可変しても、記憶情報を補完しあうことで、引継ぎ必要性時刻・ポイント・地点の意識レベルをより高く維持することになる。
 以上、述べたように、自動運転から手動運転に引継ぎが必要となる地点、すなわち自動運転利用可能区間の終了前に、運転者の引継ぎ準備意識を手動運転に必要なレベルにあらかじめ高めることが、引継ぎを高い確率で成功させるために必要となる。
 引継ぎを高い確率で成功させるためには、引継ぎ開始点に到達する前までに、効果的に運転者に手動運転開始準備を整わせておくことが必要である。このため、例えばHMI技術として行動リスク判断が可能な例えばシンボリック情報を到達時間軸に合わせ提供するといった手法が有効である。
 まとめると、運転者が自動運転モードで車両を利用し、その間に可能な2次タスクを実行する場合、運転者の復帰に対する意識を適切に生成し維持するための処理として以下の情報に基づく処理を行うことが有効となる。
 (情報1)運転者の復帰に要する固有状態(復帰時間、復帰通知の確認行動、実際の復帰挙動・行動履歴など)を自己学習して運転者固有の復帰遅延時間情報、
 (情報2)道路の区間毎の固有特性(引き継ぎ成功率期待値(RRR:Requested Recovery Rate)、カーブ等の危険度、回避選択肢と回避不可時ペナルティなど)と、車両固有特性に影響される復帰の適正地点情報、
 (情報3)復帰ができない場合の選択肢情報、
 これらの情報に基づいて、運転者に対する手動復帰通知タイミングを決定する。
 さらに、復帰通知に対して運転者が適切な手動運転への復帰行動を開始しない場合や、開始やその手順が遅れた場合、また、復帰品質の低下により、システムが予防的な減速や事故回避等の処理を行った場合には、運転者に対するペナルティを生成して記録する。
 また、自動運転利用区間の終了地点前に運転者がとり得る復帰判断行動に対する選択肢情報となるリスク関連付けが可能な複数階層の情報を提示する。この情報提示処理によって、運転者に復帰行動別リスク判断に必要な知識情報を与えることができる。すなわち、運転者に突然の引継ぎ通知を与えるのではなく、異なるリスクレベルの情報を常時提供する。
 また、運転者の復帰意識を早期に促すために上記の情報と合わせ、2次タスクを継続した際の作業リスクについての情報も提示する。2次タスクを継続すると、引継ぎ通知後の手動運転復帰品質に影響がある。このため、2次タスクを継続した際の作業リスクを意図的に付与する。例えば、運転者が、タブレット端末などの情報入力機器で行う2次タスクを強引に継続した場合、実行中の作業データに対する視覚的妨害や扱う情報の紛失を発生させる。このようなペナルティと結び付けた情報提供を行うことで、運転者による情報喪失を避けるための早期リスク判断が働き、復帰優先への意識改善習慣を次第に植え付けることが可能となる。
 このように手動運転への復帰遅延等、復帰品質を低下させる動作と、その影響で被るペナルティを直感的に結び付ける情報提示を行うことで、自動運転の利用者(運転者)は、直接的な手動運転復帰要請通知を受けない段階から、手動運転開始に関する情報を取得する意識を持つことができる。その結果、運転者は、手動運転引継ぎ要請の通知を受けた後に初めて、引継ぎ準備を始めるのではなく、事前予測された選択肢情報を元に通知に対する行動判断の優先情報を予め取得して、行動判断を行い、より早い段階で手動運転への引き継ぎ準備を開始できる。
 また、人が経験やその時点までの事前情報からリスクとなり得る情報に対し、注意が必要な事前情報の重度に応じてリスクの再確認をする。仮に事前に何も情報を捉えていなかった中で急に何かが現れると脳がとっさの判断が出来ずに、単純な反射的回避行動ととることになる。そこで、習慣としてこのような突然の情報入力とならないために、通常の生活行動として接近し得る情報を適宜定期的に再確認し、行動予測をしている。つまり、人が接近リスクに対する予測に必要な情報取得を行うかは、そのリスクからくる事前情報の必要性に応じて情報の再確認をする頻度や確認方法が依存する。走行する道路環境から得られるLDM等の情報そのものにリスク判断を左右する情報がある一方、さらに手動運転への引継ぎ対処が遅れた場合に2次タスク作業内容に対する疑似的なリスク付与としてのペナルティを与えることで、事前確認の必要性を仮想的に与えることが可能となる。このように、運転者に多重的なリスク情報を能動的に提供することで、運転者は、手動運転への復帰が必要な状況の接近に伴い、リスクの再確認を行うようになり、復帰遅れなどによる復帰品質低下が防止され、より安全な復帰が実現される。
 道路の状況や運転者の状態や復帰能力、車両のダイナミック挙動などを複合的に加味し、さらに運転者固有の復帰特性に応じた適用型のリスク行動判断情報を提供することで、運転者は適切なリスク判断を行い、適切な行動判断を行うことが可能となる。
 ミクロ的に見れば、予測情報として提供する事前情報や、ペナルティ情報は、運転者の脳内で行われる情報判断に際して、手動運転復帰行動の開始の閾値を下げる効果をもたらし、さらに必要な対処の準備を早期に整えさせる効果をもたらす。
 例えば手動運転開始までの残り時間等の予測が容易な事前情報を提供することで、運転者は、2次タスクを実行中も、手動運転復帰に対する意識レベルを高いまま維持することが可能となる。また、ペナルティ機能と組み合わせ利用することで利用者が注意をもって提供情報を確認する習慣も育つ。結果として、システム通知を受けなくとも自主的に状況把握を行うようになることが期待される。すなわち、運転者の注意思考ループが継続的に活性化され、見落としや引継ぎの対処遅れの予防が期待される。
 なお、本開示のHMI技術は、運転者に対して復帰に必要な引継ぎ地点に関連した選択肢の階層的な情報を提供する。なお、手動復帰通知後、運転者が適切に手動運転に復帰しない場合は、復帰品質の改善を促すペナルティが付与される。
 なお、このペナルティを有効に機能させるためには、通知に対する復帰品質をシステムが正しくとらえて、その復帰品質を定量的に評価することが必要である。
 この評価処理としては、例えば、運転者が運転者席に着座して運転可能な姿勢を有する場合は、運転者の覚醒状態から実際の手動運転を正常に操舵するまでの視線等の状態認識を行う。
 また、運転者の着座姿勢が、正常手動運転が可能な姿勢でない場合は、2次元カメラや3次元姿勢検出が可能な機器で正常な姿勢復帰や姿勢のトラッキングを検出して評価する。
 さらに、運転者が、着座から外れている場合であれば、着座から外れた状態からの復帰行動を同じく2次元カメラや3次元姿勢検出が可能なトラッキング機器で姿勢復帰の推移を検出し、予測される復帰までの時間計測と良好復帰に際しての遅延復帰を評価する。
 このように、運転者の状況に応じた態様で、復帰行動のトラッキンング情報を含めて観測し復帰品質の低下が発生しているかを評価する。なお、復帰品質を定量的評価するために復帰特性を運転者個人毎に認証し固有の復帰特性として学習し、この学習データを利用した評価処理を行う構成としてもよい。
 例えば個人単位の学習データと、イベント毎に発生する復帰行動の観測データとを対比し、観測データが、学習データに基づく予測より遅れているか否か等を判定して、個人の特性に応じた復帰品質を評価する。
 なお、自動運転利用者の2次タスク内容は、多様であり、一概に一意的な復帰推移の定義は困難であり、個人固有の学習データを用いて評価を行うことが好ましい。特に離席した際の運転者の復帰行動のトラッキング手法はある程度の柔軟性が求められる。
 手動運転復帰の遅れは、大きな影響を及ぼす。従って、システムは手動運転復帰要請通知を、復帰に要する予測時間を考慮して前もって行う。さらに、実際の復帰時間までの遅延時間も評価対象とする。
 運転者が、通知から速やかな復帰行動を取らず、例えば2次タスクを中断せず継続するなどして、復帰開始が遅れた場合、運転者は、ペナルティを最小化するために復帰行動の一部またはすべてを速やかに実行しようとすることが予測される。
 このような遅れに対するリカバリーのための慌てた行動は事故の原因となる。
 このような復帰行動の妥当性についても評価する必要がある。システムは、運転者の行動トラッキングを行う際、例えばToF(Time of Flight)センサなど、体の動作速度の3次元的観測が可能な観測機器で運転者の行動を観測する。この行動履歴を自己学習して、復帰行動の学習辞書を生成する。
 手動運転復帰通知後に、運転者が遅れて手動運転に復帰した際に慌てて行った行動と、通知後に速やかに落ち着いて行った行動を比較して復帰品質を定量化して記録する。
 運転者が運転席から離席した状態から手動運転へ復帰する場合の品質評価は、例えば、運転者が装着するベルトや時計型の機器を用いることが可能である。例えば、運転者の車両内位置を把握可能な車両内測位装置を持つ機器の取得情報を用いて運転者の車室内での移動情報を取得して評価する。
 また運転席の着座センサや、シートベルト装着やハンドルの握りを検出、さらにペダル類へのアクセスなど、復帰マイルストーンを復帰品質の検出ポイントにしてもよい。
 また、運転者の運転先から離れた位置の仮眠スペース等のベッドからの立ち上がり、運転席シート等からの立ち上がり、離席シートから立ち上がり、席の移動、歩行、体やシートの回転や横方向スライド、作業中断、足の手動運転モードへの配置変更の検出、運転者の運転情報提示機器への目視行動、規定された確認挙動の検出なども行動評価情報として利用可能である。
 なお、これら運転者の衝動復帰を行う際の履歴を復帰品質評価値に換算して扱う副次的メリットとして、利用者情報を単純な利用者の撮像画像データとして残すことが必ずしも必要でなくなり、プライバシーに関する記録制限を設けずに記録が可能となるため、不適切操舵行動などの運用やその管理が扱いやすくなる。
  [5-1.走行区間表示データの詳細構成と更新処理について]
 次に、走行区間表示データの詳細構成と更新処理について説明する。
 上述したように、自動運転が利用可能な自動運転可能区間では、運転者が運転操舵を行わず、運転操舵以外の2次タスクに従事することが可能となる。
 しかし、自動運転可能区間が終了し、手動運転区間へ侵入する場合、運転者は、2次タスクから手動運転操舵に正常に復帰する必要がある。
 運転者に対して、手動運転区間が近づいていることの通知は確実に実行されることが必要となる。
 例えば運転者が2次タスクを実行中のタブレット端末等の情報処理装置には、先に図14~図16を参照して説明したような走行区間表示データが表示される。すなわち、例えば、自動運転可能区間Saを緑色、手動運転区間Sbを赤色、引継ぎ区間Scおよび注意走行区間Sdを黄色等の色分け表示を持つ走行区間表示データが時間軸に沿って表示される。
 これらのデータ表示に必要なデータの取得や表示データ生成処理は、例えば図1に示す構成におけるデータ処理部11、あるいは図8に示す構成における自動運転制御部112内のデータ処理部、例えば検出部131や、状況分析部133や計画部134、出力制御部105等のデータ処理部において実行される。この表示データが、例えば通信部103を介してユーザーの利用するタブレット端末等に送信されて表示される。なお、表示データは、出力制御部105の制御の下で出力部106を構成する表示部にも表示可能である。
 走行区間表示データは、例えば、先に図14(d)や図15、図16を参照して説明したように、表示間を、図14(d)に示すように3つの区間に分割し、各区間の時間軸を変化させて表示される。すなわち、図25中央部に示すような走行区間表示データ70の表示がなされる。以下の表示例ではタブレットなどの運転者が直接操作する機器にフォーカスして説明をするが、車両のセンターコンソールパネルなど車両設置機器へ直接表示を行ってもよく、その場合は運転者の相対位置関係に基づいて表示の見やすさや傾斜を配慮して実際の表示を実施してもよい。
 具体的には以下のような表示処理が実行される。
 本文における表示例の狙いは、各地点への到達時刻の予告として情報提供である。各地点までの到達時間に沿った表示を行う場合、各地点への到達時刻はその経路に沿った走行速度で移動距離を除算して算出することで得られる。各地点への到達時刻は各道路区間の走行状況に依存して変化する車両群の流れが形成する走行速度から換算した値に置き換える必要がある。ただし、現在時間から予想到達予告時間を記すには内容が煩雑となるため、以下の処理の説明はその換算は割愛し、代わりに一定の定速速度で走行した場合に付いて到達時刻を移動する「距離」に比例等価と見なして表示処理に付いて詳述する。
 自車位置に近い近距離区間は、時間(t)と表示の位置(h)を比例関係で表示した時間リニア表示直近区間として、第1の時間軸で表示する。
 遠方の遠距離区間は、近距離区間と同様、時間(t)と表示の位置(h)を比例関係で表示した時間リニア表示遠方区間として、第2の時間軸で表示する。
 ただし、遠距離区間は、近距離区間より、単位表示長さあたりの時間が長い設定、すなわち、単位表示長さあたりの距離/通過時間が長い設定である。例えば近距離区間では1cmの表示長さが1kmを走行する時間を示すとき、遠距離区間では1cmの表示長さが5kmを走行する時間を示す等の設定である。
 第1の時間軸で表した区間は上空から俯瞰した等速走行時の走行距離で、第3の時間軸はより遠方からの俯瞰した上方から見た等速走行時の走行距離であるため第1時間軸表示に対して縮小され表示されることに相当する。
 第2時間軸表示区間は斜め情報から見た表示になるため、無限遠方に行くに従い表示が縮小し、直感的な遠近として距離間がその区間に対して把握が可能となる。
 近距離区間と遠距離区間の間の中距離区間は、時間の逆数表示区間として、近距離区間対応の第1の時間軸から、遠距離区間対応の第2の時間軸まで、所定比率で順次変化した時間軸で表示する。
 図25を参照して、図25に示す走行区間表示データ70の生成と更新処理の詳細について説明する。
 図25の右側には、横軸に現在時間から予想到達までの時間(t:min)、縦軸にディスプレイにおける走行区間表示データ80の表示位置(h:mm)を設定したグラフ(時間-表示位置対応グラフ)を示している。縦軸の表示位置(h:mm)は、中央に示す走行区間表示データ70に対応している。
 図25に示すように、走行区間表示データ70は、3つの区間、すなわち、
 近距離区間
 中距離区間
 遠距離区間
 これら3つの表示区間を持つ。
 近距離区間は、自車位置に近い区間であり、時間リニア表示直近区間として、第1の時間軸で表示する区間である。
 右側に示すグラフの現在地(O)から(P)までの区間が近距離区間に相当し、この区間では、時間リニア表示、すなわち、時間経過に比例して表示位置が決定される区間である。
 時間-表示位置対応グラフに示すように、この近距離区間では、表示位置hは、時間tに比例した設定である。すなわち、走行区間表示データ70内における各走行区間(Sa~Sd)の表示位置hは、以下の(式1)によって決定される。
 h=A×t・・・(式1)
 上記(式1)において、Aは係数であり、時間-表示位置対応グラフにおける区間OPの直線の傾きを決定する係数である。
 なお、この傾きAは、予め規定した値を用いる。
 さらに、近距離区間と中距離区間の分岐点Pと、中距離区間と遠距離区間の分岐点Qについては、予め規定する。
 例えば、近距離区間(O~P)は、現在時間(時間=0)0から、時間=(tref)までの期間の走行区間とする。車両がこの期間(t=0~tref)に走行可能な区間を近距離区間(h=0~href)として設定する。なお、車両は一定の速度で走行すると仮定して処理を行う。
 href=A×tref
 である。
 近距離区間と中距離区間の分岐点Pより先の中距離区間(P~Q)は、時間の逆数表示区間であり、近距離区間の所定の表示高さの示す距離を、PからQに向けて徐々に長くして表示する処理が行われる。この中間距離区間の表示は、直進する前方に広がる道路平面を見た状況、または地図上の直進道路であれば、その道路平面を斜め横から進行方向へ見た状況に相当し、無限点へ向けて距離が縮小していく表示に相当する。
 図25中央に示す走行区間表示データに示す2つの点線L1,L2は、近距離区間と中距離区間の分岐点Pから遠方に向けて集束するように引いたラインである。集束点を仮想無限遠点ノードIとする。
 仮想無限遠点ノードIの走行区間表示データ70の表示位置(表示高さ)hを、h=hとする。
 このとき、中距離区間(P~Q)の各区間(Sa~Sd)の表示位置hと、現在時間(t=0)からの経過時間tとの関係は、以下の(式2a)で示すことができる。
 h-h=-B×(1/t)・・・(式2a)
 なお、Bは、係数であり、図25に示すラインL1,L2の傾斜に応じた値である。ただし、近距離区間と中距離区間の分岐点Pにおいて、近距離区間(O~P)と中距離区間(P~Q)とがスムーズに連続して接続されるためには、係数Bと係数Aは、後述する条件式を満足する設定であることが必要である。
 中距離区間(P~Q)においては、図25右に示すグラフから理解されるように、時間-表示位置対応グラフのラインは、時間(t)の経過に伴って、表示位置(h)の変化が次第に小さくなるような曲線となる。
 この曲線の各位置における傾き、すなわち、(dh/dt)は、上記(式2a)に基づく時間tによる微分によって算出可能であり、以下の(式2b)によって示される。
 (dh/dt)=B×(1/t)・・・(式2b)
 なお、近距離区間と中距離区間の分岐点Pにおいて、近距離区間(O~P)と中距離区間(P~Q)とがスムーズに接続されるためには、
 上記(式1)によって示される近距離区間の時間-表示位置関係式(t-h関係式)、すなわち、
 h=A×t・・・(式1)
 この(式1)と、上記(式2a)によって示される中距離区間の時間-表示位置関係式(t-h関係式)、すなわち、
 h-h=-B×(1/t)・・・(式2a)
 これら2つの時間-表示位置関係式(t-h関係式)において、時間trefのタイミング、すなわち分岐点Pにおけるタイミングにおける位置hと傾きが一致することが必要となる。
 まず、分岐点Pにおける傾きについて検証する。
 上記(式1)によって示される近距離区間の傾き=Aと、
 上記(式2b)によって算出される傾き、
 (dh/dt)=B×(1/t)・・・(式2b)
 これらの2つの値は一致させることが必要である。
 近距離区間と中距離区間の分岐点Pの時間tは、
 t=trefであるので、
 傾き一致のための条件は、
 B×(1/tref=A・・・(条件式a)
 上記(条件式a)を満足することが必要となる。
 さらに、
 近距離区間と中距離区間の分岐点Pの表示位置hについても、近距離区間(O~P)の時間-表示位置関係式(t-h関係式)から算出される位置hと、中距離区間(P~Q)の時間-表示位置関係式(t-h関係式)から算出される位置hとが一致する必要がある。
 上記(式1)によって示される分岐点Pの時間trefにおける表示位置hは、
 h=A×tref
 である。
 一方、上記(式2a)によって示される分岐点Pの時間trefにおける表示位置hは、
 h=-B×(1/tref)+h
 となる。
 これらが一致するためには、
 A×tref=-B×(1/tref)+h・・・(条件式b)
 この(条件式b)を満足することが必要となる。
 これら2つの条件式a,bを満足すれば、近距離区間と中距離区間の分岐点Pにおいて、近距離区間(O~P)と中距離区間(P~Q)とがスムーズに接続される。係数A,Bは、この2つの条件式a,bを満足する値に設定する。
 なお、図25に示す中距離区間、すなわち傾斜表示区間は、仮想無限遠点ノードIの手前(Q)で終了させ、その後は遠距離区間(Q~)として、時間リニア表示、すなわち時間と表示位置が比例する関係の表示を行う。ただし、この遠距離区間(Q~)では図25に示すグラフから理解されるように、単位時間あたりの表示位置の増加が少ない設定となっている。
 すなわち、走行区間表示データ70の遠距離区間(Q~)では、より見時間表示領域に長い時間のデータが表示される、すなわちより長い距離に相当するデータが短い表示領域に表示される。
 遠距離区間(Q~)は、仮想無限遠点ノードIの表示位置(h)から所定位置(R)から開始される。
 Rは後述する条件式c,dを満足するような値に設定する。
 図25のグラフに示すように、遠距離区間(Q~)の開始位置(Q)の時間(tR/H)は、以下のように示すことができる。
 tR/H=(H/R)×tref
 なお、点Qにおいても、中距離区間(P~Q)と、遠距離区間(Q~)がスムーズに接続されるためには、点Qにおける中距離区間(P~Q)と、遠距離区間(Q~)の表示位置(h)と傾き(dh/dt)を一致させることが必要である。
 まず、遠距離区間(Q~)の傾き(dh/dt)は、中距離区間(P~Q)と遠距離区間(Q~)の分岐点Qの傾き(dh/dt)に設定することが必要である。
 中距離区間(P~Q)の傾き(dh/dtょは、上述した定義式(式2b)、すなわち、
 (dh/dt)=B×(1/t)・・・(式2b)
 この式2bによって算出される。
 この(式2b)に、分岐点Qの時間t、すなわち、
  tR/H=(H/R)×tref
 この時間tR/Hの値を代入する。
 (dh/dt)=B×(1/((H/R)×tref))・・・(式3a)
 遠距離区間(Q~)の傾き(dh/dt)は、上記(式3a)に従った傾きとする。
 なお、先に説明した(条件式a)、すなわち、
 B×(1/tref=A・・・(条件式a)
 この条件式aに基づいて、上記(式3a)を変換すると、
 遠距離区間(Q~)の傾き(dh/dt)は、以下の(式3b)として定義される。
 (dh/dt)=A×(H/R)・・・(式3b)
 なお、
 H=href=A×tref
 である。
 また、点Qにおける中距離区間(P~Q)と、遠距離区間(Q~)の表示位置(h)の一致を満たすためには、以下の(条件式c)を満たすことが必要となる。
 A×(R/H)×(t-(H/R)×tref)+A×tref×(2-(R/H))=A(R/H)×t+2×A×tref×(2-(R/H))・・・(条件式c)
 この条件式cを満足するように、Rを設定すれば、中距離区間(P~Q)と、遠距離区間(Q~)がスムーズに接続される。
 次に、図26を参照して、走行区間表示データ70の各区間の表示幅Wについて説明する。この表示幅は、近距離区間(O~P)と遠距離区間(Q~)は道路幅を上空から俯瞰した表示に相当し、中距離区間(P~Q)は該当道路の一定の幅の平行な道路幅が遠近により無限へ向かい一点に収束する事に相当する表記であり、表示の縦方角の縮小と合わせ、運転者の到達時刻を直感的に与える効果がある。
 まず、近距離区間(O~P)における走行区間表示データ70の表示幅Wは、以下の(式4)によって定義される幅Wとする。
 W=Wref・・・(式4)
 とする。この表示幅Wrefは、任意に設定可能である。
 近距離区間(O~P)と中距離区間(P~Q)の分岐点Pから中距離区間(P~Q)
内の表示幅Wは、遠方に行くほど狭くする設定とする。
 具体的には、中距離区間(P~Q)の表示幅Wは、以下の(式5)によって定義される幅Wとする。
 W=Wref×(tref/t)・・・(式5)
 なお、trefは、近距離区間(O~P)と中距離区間(P~Q)の分岐点Pに到達するまでの時間である。
 時間trefに対応する地点、すなわち、近距離区間(O~P)と中距離区間(P~Q)の分岐点Pにおける表示幅Wは、
 W=Wre
 である。その後、中距離区間(P~Q)では、時間経過とともに、表示幅Wは、上記(式5)に従って、徐々に小さくなる。
 中距離区間(P~Q)と遠距離区間(Q~)の分岐点Qに到達するまでの時間tは、先に説明したように、
 t=tR/H=(H/R)×tref
 である。
 この位置における表示幅は、上記(式5)に基づいて以下の式によって算出することができる。
 W=Wref×(tref/((H/R)×tref))
  =Wref×(R/H)
 上記式によって算出される表示幅Wは、遠距離区間(Q~)の表示幅WR/Hに相当する。すなわち、遠距離区間(Q~)の表示幅WR/Hは、以下の(式6)によって示される。
 WR/H=Wref×(R/H)・・・(式6)
 なお、上記(式6)と、先に説明した中距離区間の時間-表示位置関係式(t-h関係式)、すなわち、
 h-h=-B×(1/t)・・・(式2a)
 上記(式2a)と、中距離区間(P~Q)の表示幅W定義式(式5)、すなわち、
 W=Wref×(tref/t)・・・(式5)
 上記(式5)に基づいて、以下の関係式(式7)を導くことができる。
 W=Wref×(tref/t)
  =-(Wref×(tref/B)×(h-h)・・・(式7)
 上記(式7)から、以下のことが証明される。
 時間(t)と表示位置(h)を比例関係で表示した時間リニア表示区間である近距離区間(O~P)と遠距離区間(Q~)は、それぞれの表示幅、すなわち、
 近距離区間(O~P)の表示幅Wref
 遠距離区間(Q~)の表示幅WR/H
 これらの表示幅Wは、表示位置hに対して線形に縮小された関係で表示される。
 このような表示態様で走行区間表示データ70の表示を行うことで幅の遠近効果も重なり、ユーザ(運転者)は違和感なく走行に伴う各区間の接近を直感的に把握することが可能となる。
 次に、図27を参照して、走行区間表示データ70の時間経過に伴う更新処理例について説明する。
 図27には、走行区間表示データ70の時間経過に伴う表示区間の表示位置の変化を示している。
 時間t1~t5の5つの走行区間表示データ70は、t1以後の同一時間間隔で表示される5つのデータである。
 なお、理解しやすくするため、近距離区間、中距離区間、遠距離区間各々に1つのみの区間データを示している。
 近距離区間、中距離区間、遠距離区間各々に表示された区間データ(Sa~Sd)は、時間経過に伴い、車両側に近づくように更新される。なお、車両は定速走行している前提である。
 近距離区間は、時間リニア表示、すなわち、時間経過に比例して表示位置が決定される区間である。すなわち、近距離区間に表示された区間データ(Sa~Sd)の表示位置hは、先に図25を参照して説明したように、以下の(式1)によって決定される。
 h=A×t・・・(式1)
 従って、図に示す近距離区間の区間データ(Sa~Sd)の時間推移を示す点線ラインの傾き(dh/dt)は、
 (dh/dt)=A
 となる。
 遠距離区間も、時間リニア表示、すなわち、時間経過に比例して表示位置が決定される区間である。すなわち、先に図25を参照して説明したように、遠距離区間の区間データ(Sa~Sd)の時間推移を示す点線ラインの傾き(dh/dt)は、以下の(式3b)によって示される。
 (dh/dt)=A×(H/R)・・・(式3b)
 なお、近距離区間の傾きAは、遠距離区間の傾きA×(H/R)より大きいため、く、近距離区間の区間データ(Sa~Sd)は、遠距離区間の区間データ(Sa~Sd)より、早く自車位置に近づくように更新される。
 また、中距離区間は、時間リニア表示ではなく、傾き(dh/dt)は、先に説明した以下の(式2b)によって示される。
 (dh/dt)=B×(1/t)・・・(式2b)
 この中距離区間では、車両位置に近い領域ほど、より早く車両位置に近づくように更新される。従って、中距離区間の区間データ(Sa~Sd)は、時間経過に伴って表示位置が車両位置に近づくほど、表示長さが長くなる。
 区間データ(Sa~Sd)の表示位置が車両位置に近づく速度は、
 遠距離区間<中距離区間<近距離区間
 この順番であり、
 中距離区間では、その表示位置が車両位置に近づくほど速くなる。
 なお、図25~図27では、走行区間表示データ70を直線型のデータとして表示する例を示したが、先に図21~図23を参照して説明したように、腕時計型の情報端末50に区間データ(Sa~Sd)の色分け表示を行う構成としてもよい。
 図28は、その一例を示している。
 図28下部には、時間t1,t2,t3の時間経過に伴う表示データ更新例を示している。
 なお表示データは、時間経過に伴い、半時計回りに移動する。このような構成においても、区間データ(Sa~Sd)の表示位置が車両位置に近づく速度は、
 遠距離区間<中距離区間<近距離区間
 この順番となる。
  [5-2.走行区間表示データに対する付加情報の表示例について]
 次に、走行区間表示データに対する付加情報の表示例について説明する。
 図25~図28を参照して説明した表示例は、走行区間表示データ70のみの表示例であった。すなわち、
 自動運転可能区間Sa、
 手動運転区間Sb、
 自動運転から手動運転への引継ぎ区間Sc、
 注意走行区間Sd、
 これらの区間の位置情報を含む走行区間表示データ70のみの表示例であった。
 図1に示す構成におけるデータ処理部11、あるいは図8に示す構成における自動運転制御部112内のデータ処理部、例えば検出部131や、状況分析部133や計画部134、出力制御部105等のデータ処理部は、この走行区間表示データ70に対して、さらに、ユーザー(運転者)に有用な情報を付加情報として生成する。
 図29以下を参照して、付加情報の表示例の具体例について説明する。
 図29には、以下の付加情報表示例を示している。
 付加情報a:手動運転復帰不可時の低速迂回道路提供区間(高速道路と並行な一般道等)
 付加情報b:飛び出しリスクのある区間、注意下でのマニュアル走行が求められる区間
 付加情報c:手動運転復帰断念禁止領域(罰則対象区間)(例えば車線減少により、渋滞、道路封鎖の可能性がある区間等)
 付加情報d:渋滞区間など、区間長が大きく変動する可能性のある区間
 例えば、これらの付加情報を図29に示すような特定の色領域やアイコンと説明情報の組み合わせとして表示する。
 ユーザー(運転者)は、これらの情報により、車両の進行方向の詳細情報を確認することが可能となる。
 なお、アイコンのみを表示し、ユーザーがアイコンに対するタッチ処理やクリック処理を行った場合に説明を表示する設定としてもよい。
 さらに、図30に示すように、道路に備えられた標識やガソリンスタンド、サービスエリア、工事等の情報や、迂回路情報等を表示する構成としてもよい。図30には以下の付加情報表示例を示している。
 付加情報e1~e5:標識情報、ガソリンスタンド情報
 付加情報f:迂回路位置案内情報
 なお、図30に示す付加情報e1と付加情報fは、例えば手動運転区間に入る手前の迂回路情報であり、迂回路を経由して他の自動運転区間に侵入可能な場合等に利用可能な表示情報である。
 さらに、図31に示す付加情報gのように、走行区間表示データ70に表示された各区間(Sa~Sd)までの到達時間情報を表示してもよい。
 また、図31に示す付加情報hのように、各表示区間(近距離区間~遠距離区間)の距離比情報をさらに表示してもよい。
 図に示す例では、近距離区間が1:1に対して、遠距離区間が1:25であり、例えば、近距離区間の所定単位長の実区間長が1Kmである場合、遠距離区間の同じ所定単位長の実区間長は25Kmであることを意味する。
 中距離区間では、同じ所定単位長の実区間長はt×1Kmであることを意味する。
 さらに、図32に示すように、付加情報として様々なタイミング情報を追加表示してもよい。図32には以下の付加情報表示例を示している。
 付加情報m:MRM(Minimum Risk Maneuver)開始点位置(手動運転復帰手順の開始検出ができない場合、緊急徐行、停車、退避を開始するタイミング)
 付加情報n1:通知ポイント(手動運転復帰要請通知の通知ポイント)
 付加情報n2:警告ポイント(手動運転復帰要請の警告ポイント)
 付加情報p:通知ポイントまでの残り時間
 ユーザー(運転者)は、これらの付加情報に基づいて、これから発生する様々な通知や、警告、自動運転制御処理等の詳細情報を確認することができる。
 なお、これらの付加情報の表示は、ユーザー(運転者)の行動情報に基づいて、表示位置や表示タイミングを変更してもよい。
 例えば、ユーザー(運転者)が、運転席に着座して、すぐに手動運転に復帰できる状態の場合は、図32に示す表示態様とし、ユーザー(運転者)が、運転席からに離席している、あるいは睡眠中の場合等、すぐに手動運転に復帰できる状態でない場合は、図33に示すような表示態様とする。
 図33には、図32と同様の付加情報を表示しているが、以下の各情報の表示位置や時間情報を、現在位置や現在時間に近づけて表示している。
 付加情報n1:通知ポイント(手動運転復帰要請通知の通知ポイント)
 付加情報n2:警告ポイント(手動運転復帰要請の警告ポイント)
 付加情報p:通知ポイントまでの残り時間
 このような表示を行うことで、ユーザ(運転者)に対して緊急性が高い状態であることを把握させ、早期タイミングで手動運転復帰準備を開始させることが可能となる。
 図34は、付加情報の時間経過に伴う更新処理例を示す図である。
 具体的には、以下の付加情報を有する表示データの時間経過(t1~t3)に伴う更新処理例を示している。
 付加情報m::MRM(Minimum Risk Maneuver)開始点位置(手動運転復帰手順の開始検出ができない場合、緊急徐行、停車、退避を開始するタイミング)
 付加情報n1:通知ポイント(手動運転復帰要請通知の通知ポイント)
 付加情報p:通知ポイントまでの残り時間
 付加情報e:標識(迂回路を示す標識)
 付加情報f:迂回路位置案内情報
 時間t1と時間t2は、迂回路への侵入が可能な状態での表示データの例である。
 これらの表示データには、以下の付加情報が表示されている。
 付加情報e:標識(迂回路を示す標識)
 付加情報f:迂回路位置案内情報
 時間t3は、迂回路への侵入が不可能な状態となった時点の表示データの例である。
 この時間t3の表示データには、以下の付加情報は表示されない状態に更新される。る。
 付加情報e:標識(迂回路を示す標識)
 付加情報f:迂回路位置案内情報
 このように、データ処理部は、各時点でユーザ(運転者)が利用可能な情報のみ選択して表示する表示制御を実行する。
 なお、付加情報の表示は、図35に示すように腕時計等に円形型の表示を行う場合にも同様に実行される。
 なお、腕時計等に円形型の表示を行う場の表示形態で図28に示す例では進捗に伴う情報を反時計周りに回し表示する表示例としたが、その場合に直近の接近情報は3時から0時の象限が掛けて表示され、利用者の引継ぎ直前の情報をこの第一象限~第二象限に掛けて視覚的に得ることができる。
 一方、人間のアナログ時計の感覚的側面を考慮すると、0時・12時方角へ進む秒針等の残りの回転角度から残存時間を直感的に感じるため、情報の提示アニメーションを図35に示すように時計回りの回転として、情報を提示することも有効である。また、腕時計等の円形型表示形態でも同じく、MRM限界地点時刻到達時刻の表示、迂回可限界地点時刻到達時刻の表示、引継ぎ通知点の到達時の表示、などの腕時計等に円形型の表示を行う場合にも同様に付加情報が実行される。
  [5-3.アニメーションによる通知、警告処理例について]
 次に、アニメーションによる通知、警告処理例について
 図1に示す構成におけるデータ処理部11、あるいは図8に示す構成における自動運転制御部112内のデータ処理部、例えば検出部131や、状況分析部133や計画部134、出力制御部105等のデータ処理部は、走行区間表示データ70のみならず、さらに、ユーザー(運転者)に対する手動運転復帰要請通知処理や、手動運転開始までの残り時間を通知処理や警告のために、アニメーションを利用した表示データを生成して表示する処理も実行する。
 図36以下を参照してアニメーションを利用した表示データの一例について説明する。
 図36には、ユーザー(運転者)が2次タスクを実行する情報端末を示している。ユーザーは、この端末の図に示す「2次タスク実行画面領域」を利用して様々な2次タスク、例えば動画鑑賞、文書作成、ゲーム等の2次タスクを実行しているものとする。
 端末表示部の上部には、データ処理部の制御によって、手動運転引き継ぎ地点残り時間通知用アニメーション情報80が表示される。
 このアニメーション情報80は、手動運転引き継ぎ要請通知までの残り時間、または手動運転引き継ぎ地点までの残り時間を、2次タスク実行中のユーザー(運転者)に通知するためのアニメーション情報である。
 アニメーション情報80はカップにコーヒーが入った状態を示している。
 図1に示す構成におけるデータ処理部11、あるいは図8に示す自動運転制御部112内のデータ処理部は、このアニメーション情報  80を時間経過に伴い、更新する。
 具体的な更新は処理例について図37、図38を参照して説明する。
 図37~図38には、時間経過(t1~t8)に伴うアニメーション情報80の更新例を示している。
 図37の時間t1~t4の表示データに示すように、データ処理部は、時間経過に伴いカップのコーヒーの量を徐々に増加させて表示する表示制御を実行する。
 これは、時間経過に伴い、手動運転引き継ぎ地点までの残り時間が少なくなってきていることをユーザー(運転者)に気付かせるための表示処理である。
 さらに、図38の時間t5~t8の表示データに示すように、データ処理部は、時間経過に伴いカップのコーヒーの量をさらに増加させて、カップからコーヒーを溢れ出させて、2次タスク実行画面領域をコーヒーで満たすように表示する表示制御を実行する。
 これは、時間経過に伴い、手動運転引き継ぎ地点までの残り時間が極めて少なくなっており、ユーザー(運転者)に2次タスクを強制的に止めさせて、手動運転へ復帰させるための表示処理である。
 このような表示制御を行うことで、ユーザ(運転者)が2次タスクに夢中になっている場合でも、ユーザー(運転者)に2次タスクを強制的に止めさせて、手動運転へ復帰させることが可能となる。
  [5-4.その他の表示処理例について]
 次に、その他の表示処理例について説明する。
 走行区間表示データやその他の表示データは、上述した表示例に限らず、様々な表示処理が可能である。
 図1に示す構成におけるデータ処理部11、あるいは図8に示す自動運転制御部112内のデータ処理部、例えば検出部131、状況分析部133や計画部134、出力制御部105等のデータ処理部は、走行区間表示データやその他の表示データを生成して、車両内の表示部や、ユーザー(運転者)の保持する端末、例えばPC、タブレット端末、スマホ(スマートフォン)等の端末に対する表示データの生成を行う。
 図39以下を参照して、上述した表示データ以外の表示データの例について説明する。
 図39は、ユーザー(運転者)の保持するスマホや、タブレット端末に対する表示データの出力例である。
 スマホやタブレット端末を縦方向で見ている場合の走行区間表示データ70の表示例を示している。
 端末の中央部の領域は、ユーザーによって利用される2次タスク実行画面領域である。ユーザーは、この領域を、文書作成領域、あるいは動画表示領域等の様々な2次タスク実行領域として利用する。
 走行区間表示データ70は、2次タスク実行画面領域の周囲領域に表示する。
 図に示す端末の左側下部を車両の現在地として、左端部~上端部~右端部~下端部と、一周するように近距離区間、中距離区間、遠距離区間の走行区間情報(Sa~Sd等)を表示する。
 なお、図39には、以下の2つの走行区間表示データ表示例を示している。
 (a)走行区間表示データ表示例1
 (b)走行区間表示データ表示例2
 (a)走行区間表示データ表示例1は、上下左右の走行区間表示データの表示幅を一律に設定した例である。
 一方、(b)走行区間表示データ表示例2は、上下左右の走行区間表示データの表示幅を一律に設定せず、左サイドの近距離区間のデータ幅を広くした例である。
 さらに、図40に示すように、手動運転開始要請の通知ポイント、または手動運転引き継ぎ地点までの残り時間を表示する構成としてもよい。
 図40には、時間(t1)の表示例と、その後の時間(t2)の表示例を示している。
 時間(t1)では残り時間=3min40secの表示がなされている。ユーザ(運転者)は、この時間を確認して、手動運転の準備を開始することができる。
 時間(t2)の表示例では、残り時間=40secの表示がなされている。さらに、追加情報としてリスク情報81=(Trap-in Pit)が表示されている。
 このリスク情報81=(Trap-in Pit)は、手動運転引き継ぎ失敗時のリスク情報であり、手動運転引き継ぎ失敗時には、退避エリアに侵入して強制駐車されることをユーザーに知らせるための表示データである。
 図41に示す例は、2次タスク実行画面領域に手動運転引き継ぎ要請メッセージ82a,82bを表示した例である。
 手動運転引き継ぎ要請メッセージ82は、時間経過とともに、大きく表示される。
 また、ユーザーが2次タスク実行領域として利用している領域に落ち葉を降らせて、ユーザーの2次タスクを邪魔する設定としている。落ち葉の枚数は、時間経過とともに増加し、ユーザーの2次タスク継続を断念させる設定としている。
 図42に示す例は、通知ポイント、または手動運転引き継ぎ地点までの残り時間を視覚的に把握可能としたアニメーション83a,83bとして砂時計を表示した例である。
 時間経過に伴い砂時計の砂が下に落ち、上が空になった時点で残り時間=0であることをユーザーが直観的に知ることが可能となり、早期の手動運転復帰を促す効果がある。
 図43に示す例は、2次タスク実行画面領域に煩わしいネズミ花火を模したアニメーション84a,84bを表示した例である。時間経過に伴い花火が画面上の作業領域に大きく広がって走りまわり、ユーザーに2次タスクの継続を断念させる効果の設定としている。
 これらの例として図示をした2次タスク断念を誘発する表示以外にも、通知を知らせるお気に入りのカスタムマーカーの設定や迎えペットによる通知マーカーや利用地域やその文化に根差した特有な文化のお祈り時刻や鬼に追い掛けられる等のマーカー等も心理的な対応誘導効果があり、利用者の早期復帰を促す機能として有効である。
 さらに、利用者自身がネットワーク経由で選択できるアイコンキャラクタサービスにしてもよく、癒し効果と兼ねて、例えば猫の足跡マークや、地域名産のキャラクタ、サメの尾ひれ、パトカーや白バイキャラクタ、さらに鬼マークや引継ぎを強引にアドバイスする召使いキャラクタなど、2次タスク中断促進を促す効果があれば何を設定しても有効である。
  [6.情報処理装置の構成例について]
 上述した処理は、図8を参照して説明した移動装置の構成を適用して実行することが可能であるが、その処理の一部は、例えば移動装置に着脱可能な情報処理装置において実行することが可能である。
 図44を参照して、このような情報処理装置のハードウェア構成例について説明する。
 図44は、情報処理装置のハードウェア構成例を示す図である。
 CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
 RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
 CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、GPSや車両内測位装置等の状況データ取得部などよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部507が接続されている。
 なお、入力部506には、センサ521からの入力情報も入力される。
 また、出力部507は、移動装置の駆動部522に対する駆動情報も出力する。
 CPU501は、入力部506から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部507に出力する。
 入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
  [7.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有し、
 前記データ処理部は、
 車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する情報処理装置。
 (2) 前記データ処理部は、
 車両の走行予定時間帯が早い近距離区間について、時間(t)と表示位置(h)を比例関係とした第1時間軸で時間リニア表示データを生成し、
 車両の走行予定時間帯が遅い遠距離区間について、時間(t)と表示位置(h)を比例関係とした第2時間軸で時間リニア表示データを生成する構成であり、
 前記遠距離区間の表示データは、前記近距離区間の表示データより、単位表示長さあたりの距離を長くした表示データを生成する(1)に記載の情報処理装置。
 (3) 前記データ処理部は、
 前記近距離区間と、前記遠距離区間の間に中距離区間を設定した1つの走行区間表示データを生成し、
 前記中距離区間の表示データは、前記近距離区間対応の第1の時間軸から、前記遠距離区間対応の第2の時間軸まで、所定比率で順次変化する時間軸を持つ表示データである(2)に記載の情報処理装置。
 (4) 前記データ処理部は、
 車両の走行予定時間帯が早い近距離区間について、車両の走行予定時間帯が遅い遠距離区間より、表示幅(W)を広く設定した走行区間表示データを生成する(1)~(3)いずれかに記載の情報処理装置。
 (5) 前記データ処理部は、
 前記近距離区間と、前記遠距離区間の間の中距離区間の表示幅(W)を、
 前記近距離区間との接続部で前記近距離区間の幅と同一とし、遠方に進むに従って表示幅を減少させて、前記遠距離区間の接続部で前記遠距離区間の幅と同一とした表示データを生成する(4)に記載の情報処理装置。
 (6) 前記データ処理部は、
 自動運転可能区間Saと、手動運転区間Sbと、自動運転から手動運転への引継ぎ区間Scと、注意走行区間Sdを含む走行区間表示データを生成する(1)~(5)いずれかに記載の情報処理装置。
 (7) 前記データ処理部は、
 車両の走行予定時間帯に応じて一方向に延びる直線型の走行区間表示データを生成する(1)~(6)いずれかに記載の情報処理装置。
 (8) 前記データ処理部は、
 車両の走行予定時間帯に応じて円周状に延びる円形型の走行区間表示データを生成する(1)~(6)いずれかに記載の情報処理装置。
 (9) 前記データ処理部は、
 表示部周辺部領域を辿る設定の走行区間表示データを生成する(1)~(6)いずれかに記載の情報処理装置。
 (10) 前記データ処理部は、
 前記走行区間表示データに付加情報を追加した表示データを生成する(1)~(9)いずれかに記載の情報処理装置。
 (11) 前記付加情報は、
 迂回路情報、標識情報、各地点までの到達時間情報の少なくともいずれかを含む(10)に記載の情報処理装置。
 (12) 前記付加情報は、
 リスク回避処理の開始点であるMRM(Minimum Risk Maneyver)開始点を示す情報を含む(10)または(11)に記載の情報処理装置。
 (13) 前記データ処理部は、
 手動運転復帰要請通知、または手動運転区間までの残り時間を認識可能なアニメーション情報を生成する(1)~(12)いずれかに記載の情報処理装置。
 (14) 前記アニメーション情報は、
 時間経過に伴い、ユーザーの利用する2次タスク実行画面領域を覆い隠すように変化するアニメーションである(13)に記載の情報処理装置。
 (15) 自動運転と手動運転の切り替えが可能な移動装置であり、
 前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
 前記移動装置の周囲情報を取得する環境情報取得部と、
 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有し、
 前記データ処理部は、
 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する移動装置。
 (16) 前記データ処理部は、
 車両の走行予定時間帯が早い近距離区間について、時間(t)と表示位置(h)を比例関係とした第1時間軸で時間リニア表示データを生成し、
 車両の走行予定時間帯が遅い遠距離区間について、時間(t)と表示位置(h)を比例関係とした第2時間軸で時間リニア表示データを生成する構成であり、
 前記遠距離区間の表示データは、前記近距離区間の表示データより、単位表示長さあたりの距離を長くした表示データを生成する(15)に記載の移動装置。
 (17) 前記データ処理部は、
 前記近距離区間と、前記遠距離区間の間に中距離区間を設定した1つの走行区間表示データを生成し、
 前記中距離区間の表示データは、前記近距離区間対応の第1の時間軸から、前記遠距離区間対応の第2の時間軸まで、所定比率で順次変化する時間軸を持つ表示データである(16)に記載の移動装置。
 (18) 情報処理装置において実行する情報処理方法であり、
 データ処理部が、
 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する報処理装置方法。
 (19) 移動装置において実行する情報処理方法であり、
 前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
 運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
 環境情報取得部が、前記移動装置の周囲情報を取得する環境情報取得ステップと、
 データ処理部が、
 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する移動装置。
 (20) 情報処理装置において情報処理を実行させるプログラムであり、
 データ処理部に、
 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成させるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成してユーザー(運転者)に提示する構成が実現される。
 具体的には、例えば、車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有する。データ処理部は、近距離区間と遠距離区間について、時間(t)と表示位置(h)を比例関係とした時間リニア表示データを生成する。遠距離区間は近距離区間より、単位表示長さあたりの距離を長くした表示データを生成する。近距離区間と遠距離区間の間の中距離区間は、近距離区間対応の第1の時間軸から、遠距離区間対応の第2の時間軸まで、所定比率で順次変化する時間軸を持つ表示データを生成する。さらにそれら接近情報に合わせリスク要因となるペナルティを含む情報も適宜表示することで、リスク回避の注意や確認意識が自然と運転者に身に付き、結果的に自動運転モードでの車両利用者が走行状況の応じて高い手動運転復帰に必要な注意維持や意識回復が期待される。
 本構成により、車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成してユーザー(運転者)に提示する構成が実現される。
 10・・自動車,11・・データ処理部,12・・運転者情報取得部,13・・環境情報取得部,14・・通信部,15・・通知部,20・・運転者,30・・サーバ,50・・情報端末,70・・走行区間表示データ,80・・アニメーション情報,100・・移動装置,101・・入力部,102・・データ取得部,103・・通信部,104・・車内機器,105・・出力制御部,106・・出力部,107・・駆動系制御部,108・・駆動系システム,109・・ボディ系制御部,110・・ボディ系システム,111・・記憶部,112・・自動運転制御部,121・・通信ネットワーク,131・・検出部,132・・自己位置推定部,133・・状況分析部,134・・計画部,135・・動作制御部,141・・車外情報検出部,142・・車内情報検出部,143・・車両状態検出部,151・・マップ解析部,152・・交通ルール認識部,153・・状況認識部,154・・状況予測部,155・・安全性判別部,161・・ルート計画部,162・・行動計画部,163・・動作計画部,171・・緊急事態回避部,172・・加減速制御部,173・・方向制御部,501・・CPU,502・・ROM,503・・RAM,504・・バス,505・・入出力インタフェース,506・・入力部,507・・出力部,508・・記憶部,509・・通信部,510・・ドライブ,511・・リムーバブルメディア,521・・センサ,522・・駆動部

Claims (20)

  1.  車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有し、
     前記データ処理部は、
     車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する情報処理装置。
  2.  前記データ処理部は、
     車両の走行予定時間帯が早い近距離区間について、時間(t)と表示位置(h)を比例関係とした第1時間軸で時間リニア表示データを生成し、
     車両の走行予定時間帯が遅い遠距離区間について、時間(t)と表示位置(h)を比例関係とした第2時間軸で時間リニア表示データを生成する構成であり、
     前記遠距離区間の表示データは、前記近距離区間の表示データより、単位表示長さあたりの距離を長くした表示データを生成する請求項1に記載の情報処理装置。
  3.  前記データ処理部は、
     前記近距離区間と、前記遠距離区間の間に中距離区間を設定した1つの走行区間表示データを生成し、
     前記中距離区間の表示データは、前記近距離区間対応の第1の時間軸から、前記遠距離区間対応の第2の時間軸まで、所定比率で順次変化する時間軸を持つ表示データである請求項2に記載の情報処理装置。
  4.  前記データ処理部は、
     車両の走行予定時間帯が早い近距離区間について、車両の走行予定時間帯が遅い遠距離区間より、表示幅(W)を広く設定した走行区間表示データを生成する請求項1に記載の情報処理装置。
  5.  前記データ処理部は、
     前記近距離区間と、前記遠距離区間の間の中距離区間の表示幅(W)を、
     前記近距離区間との接続部で前記近距離区間の幅と同一とし、遠方に進むに従って表示幅を減少させて、前記遠距離区間の接続部で前記遠距離区間の幅と同一とした表示データを生成する請求項4に記載の情報処理装置。
  6.  前記データ処理部は、
     自動運転可能区間Saと、手動運転区間Sbと、自動運転から手動運転への引継ぎ区間Scと、注意走行区間Sdを含む走行区間表示データを生成する請求項1に記載の情報処理装置。
  7.  前記データ処理部は、
     車両の走行予定時間帯に応じて一方向に延びる直線型の走行区間表示データを生成する請求項1に記載の情報処理装置。
  8.  前記データ処理部は、
     車両の走行予定時間帯に応じて円周状に延びる円形型の走行区間表示データを生成する請求項1に記載の情報処理装置。
  9.  前記データ処理部は、
     表示部周辺部領域を辿る設定の走行区間表示データを生成する請求項1に記載の情報処理装置。
  10.  前記データ処理部は、
     前記走行区間表示データに付加情報を追加した表示データを生成する請求項1に記載の情報処理装置。
  11.  前記付加情報は、
     迂回路情報、標識情報、各地点までの到達時間情報の少なくともいずれかを含む請求項10に記載の情報処理装置。
  12.  前記付加情報は、
     リスク回避処理の開始点であるMRM(Minimum Risk Maneyver)開始点を示す情報を含む請求項10に記載の情報処理装置。
  13.  前記データ処理部は、
     手動運転復帰要請通知、または手動運転区間までの残り時間を認識可能なアニメーション情報を生成する請求項1に記載の情報処理装置。
  14.  前記アニメーション情報は、
     時間経過に伴い、ユーザーの利用する2次タスク実行画面領域を覆い隠すように変化するアニメーションである請求項13に記載の情報処理装置。
  15.  自動運転と手動運転の切り替えが可能な移動装置であり、
     前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
     前記移動装置の周囲情報を取得する環境情報取得部と、
     車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有し、
     前記データ処理部は、
     車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する移動装置。
  16.  前記データ処理部は、
     車両の走行予定時間帯が早い近距離区間について、時間(t)と表示位置(h)を比例関係とした第1時間軸で時間リニア表示データを生成し、
     車両の走行予定時間帯が遅い遠距離区間について、時間(t)と表示位置(h)を比例関係とした第2時間軸で時間リニア表示データを生成する構成であり、
     前記遠距離区間の表示データは、前記近距離区間の表示データより、単位表示長さあたりの距離を長くした表示データを生成する請求項15に記載の移動装置。
  17.  前記データ処理部は、
     前記近距離区間と、前記遠距離区間の間に中距離区間を設定した1つの走行区間表示データを生成し、
     前記中距離区間の表示データは、前記近距離区間対応の第1の時間軸から、前記遠距離区間対応の第2の時間軸まで、所定比率で順次変化する時間軸を持つ表示データである請求項16に記載の移動装置。
  18.  情報処理装置において実行する情報処理方法であり、
     データ処理部が、
     車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する報処理装置方法。
  19.  移動装置において実行する情報処理方法であり、
     前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
     運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
     環境情報取得部が、前記移動装置の周囲情報を取得する環境情報取得ステップと、
     データ処理部が、
     車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する移動装置。
  20.  情報処理装置において情報処理を実行させるプログラムであり、
     データ処理部に、
     車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成させるプログラム。
PCT/JP2020/009156 2019-04-18 2020-03-04 情報処理装置、移動装置、および方法、並びにプログラム WO2020213280A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20792159.4A EP3958235A4 (en) 2019-04-18 2020-03-04 INFORMATION PROCESSING DEVICE, MOBILE DEVICE, METHOD AND PROGRAM
KR1020217031636A KR20210151802A (ko) 2019-04-18 2020-03-04 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
CN202080027833.0A CN114072865A (zh) 2019-04-18 2020-03-04 信息处理装置、移动装置、方法和程序
JP2021514814A JP7431223B2 (ja) 2019-04-18 2020-03-04 情報処理装置、移動装置、および方法、並びにプログラム
US17/602,258 US20220161813A1 (en) 2019-04-18 2020-03-04 Information processing apparatus, moving apparatus, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-079644 2019-04-18
JP2019079644 2019-04-18

Publications (1)

Publication Number Publication Date
WO2020213280A1 true WO2020213280A1 (ja) 2020-10-22

Family

ID=72838277

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/009156 WO2020213280A1 (ja) 2019-04-18 2020-03-04 情報処理装置、移動装置、および方法、並びにプログラム

Country Status (6)

Country Link
US (1) US20220161813A1 (ja)
EP (1) EP3958235A4 (ja)
JP (1) JP7431223B2 (ja)
KR (1) KR20210151802A (ja)
CN (1) CN114072865A (ja)
WO (1) WO2020213280A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220139093A1 (en) * 2019-04-24 2022-05-05 Mitsubishi Electric Corporation Travel environment analysis apparatus, travel environment analysis system, and travel environment analysis method
JP7339899B2 (ja) * 2020-02-17 2023-09-06 本田技研工業株式会社 情報処理装置、車両、プログラム、及び情報処理方法
JP7414605B2 (ja) * 2020-03-23 2024-01-16 株式会社アイシン 運転支援システム、運転支援プログラム
JP7381414B2 (ja) * 2020-07-01 2023-11-15 トヨタ自動車株式会社 眠気兆候通知システム及び眠気兆候通知方法
DE102020214999A1 (de) * 2020-11-27 2022-06-02 Ford Global Technologies, Llc Verfahren und System zum Trainieren einer manuellen Übernahme einer Fahrzeugsteuerung, Fahrzeug, Computerprogramm und computerlesbarer Datenträger
CN112885357A (zh) * 2021-01-13 2021-06-01 上海英粤汽车科技有限公司 一种通过语音识别动物类别的方法
US20230025804A1 (en) * 2021-07-23 2023-01-26 GM Global Technology Operations LLC User interface for allocation of non-monitoring periods during automated control of a device
US20230036945A1 (en) * 2021-07-23 2023-02-02 GM Global Technology Operations LLC Allocation of non-monitoring periods during automated control of a device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016090274A (ja) 2014-10-30 2016-05-23 トヨタ自動車株式会社 警報装置、警報システム及び携帯端末
JP2016139204A (ja) 2015-01-26 2016-08-04 株式会社デンソー 危険度表示装置
US20160231743A1 (en) * 2013-10-01 2016-08-11 Volkswagen Ag Method for a driver assistance system of a vehicle
WO2017134733A1 (ja) * 2016-02-01 2017-08-10 三菱電機株式会社 車両情報表示制御装置および自動運転情報の表示方法
WO2018025414A1 (ja) * 2016-08-05 2018-02-08 三菱電機株式会社 操作権限管理装置および操作権限管理方法
WO2018100725A1 (ja) * 2016-12-02 2018-06-07 三菱電機株式会社 自動運転制御計画策定装置および自動運転制御計画の策定方法
JP2018538189A (ja) * 2015-10-16 2018-12-27 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH 運転者によって占有された自動車の自動誘導のための方法、および運転者に情報提供するための方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10141507C2 (de) * 2001-08-24 2003-06-18 Audi Ag Vorrichtung zur Projektion von Navigationsdaten
US7430473B2 (en) * 2004-10-01 2008-09-30 Bose Corporation Vehicle navigation display
EP3693203B1 (en) * 2014-12-10 2022-05-18 Ricoh Company, Ltd. Controller, display, method and carrier means for information provision
US9581460B1 (en) * 2016-03-29 2017-02-28 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method transitioning between driving states during navigation for highly automated vechicle
US10240943B2 (en) * 2016-06-17 2019-03-26 Here Global B.V. Method, apparatus and computer program product for a navigation user interface
JP6493923B2 (ja) * 2016-11-08 2019-04-03 本田技研工業株式会社 情報表示装置、情報表示方法、および情報表示プログラム
GB2563902B (en) * 2017-06-29 2020-02-26 Jaguar Land Rover Ltd Method and apparatus for use with vehicles having an autonomous driving mode
US10379197B2 (en) * 2017-08-08 2019-08-13 Ford Global Technologies, Llc Dongles for controlling vehicle drive assist systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160231743A1 (en) * 2013-10-01 2016-08-11 Volkswagen Ag Method for a driver assistance system of a vehicle
JP2016090274A (ja) 2014-10-30 2016-05-23 トヨタ自動車株式会社 警報装置、警報システム及び携帯端末
JP2016139204A (ja) 2015-01-26 2016-08-04 株式会社デンソー 危険度表示装置
JP2018538189A (ja) * 2015-10-16 2018-12-27 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH 運転者によって占有された自動車の自動誘導のための方法、および運転者に情報提供するための方法
WO2017134733A1 (ja) * 2016-02-01 2017-08-10 三菱電機株式会社 車両情報表示制御装置および自動運転情報の表示方法
WO2018025414A1 (ja) * 2016-08-05 2018-02-08 三菱電機株式会社 操作権限管理装置および操作権限管理方法
WO2018100725A1 (ja) * 2016-12-02 2018-06-07 三菱電機株式会社 自動運転制御計画策定装置および自動運転制御計画の策定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3958235A4

Also Published As

Publication number Publication date
EP3958235A4 (en) 2022-05-25
KR20210151802A (ko) 2021-12-14
JPWO2020213280A1 (ja) 2020-10-22
EP3958235A1 (en) 2022-02-23
US20220161813A1 (en) 2022-05-26
CN114072865A (zh) 2022-02-18
JP7431223B2 (ja) 2024-02-14

Similar Documents

Publication Publication Date Title
JP7352566B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2020213280A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7288911B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7155122B2 (ja) 車両制御装置及び車両制御方法
JP7080598B2 (ja) 車両制御装置および車両制御方法
JP7324716B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
KR102599937B1 (ko) 정보 처리 장치 및 정보 처리 방법
WO2019202881A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2019208015A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JPWO2019097944A1 (ja) 情報処理装置および情報処理方法
WO2021049219A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2019208014A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
WO2021131474A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JP7238193B2 (ja) 車両制御装置および車両制御方法
CN111315627B (zh) 信息处理装置和信息处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20792159

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021514814

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2020792159

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2020792159

Country of ref document: EP

Effective date: 20211118