WO2019082774A1 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法

Info

Publication number
WO2019082774A1
WO2019082774A1 PCT/JP2018/038740 JP2018038740W WO2019082774A1 WO 2019082774 A1 WO2019082774 A1 WO 2019082774A1 JP 2018038740 W JP2018038740 W JP 2018038740W WO 2019082774 A1 WO2019082774 A1 WO 2019082774A1
Authority
WO
WIPO (PCT)
Prior art keywords
section
driver
information
display
vehicle
Prior art date
Application number
PCT/JP2018/038740
Other languages
English (en)
French (fr)
Inventor
英史 大場
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN201880068449.8A priority Critical patent/CN111247394B/zh
Priority to KR1020207010645A priority patent/KR102599937B1/ko
Priority to JP2019551059A priority patent/JP7203035B2/ja
Priority to EP18869499.6A priority patent/EP3702732A4/en
Priority to US16/757,366 priority patent/US11524698B2/en
Publication of WO2019082774A1 publication Critical patent/WO2019082774A1/ja
Priority to US17/994,967 priority patent/US12122408B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Definitions

  • the present technology relates to an information processing apparatus and an information processing method, and more particularly to an information processing apparatus etc. that displays a travel route.
  • Patent Document 1 discloses a technique for displaying the degree of danger for a plurality of dangers on the planned road of the host vehicle. Also, for example, according to Patent Document 2, when causing the driver to start manual driving during automatic driving, the situation where manual driving must be started for the driver who is concentrating on the portable terminal A technique is disclosed that displays on the screen of a portable terminal to notify that it is in
  • level 3 driving of autonomous driving which is widely discussed here, without negative impact such as traffic congestion, even if society is simply introduced on a general road or an exclusive road section. That is, the environment where the vehicle can travel at Level 3 is maintained at 100% of its section at 26:00, and the driver needs to return reliably at the end point, and in addition, the driver is directly involved in the driving There is no responsibility for constant surveillance, and it is required to maintain the state under tension.
  • human engineering / psychological aspects there is a problem that long-term use is not realistic in the corresponding concept, and it is a big problem in the social introduction of autonomous driving in a wide area, and the solution is required It is done.
  • the purpose of the present technology is to appropriately adjust and appropriately control the section information of the travel route to the driver according to the driver's condition, the travel characteristics of the vehicle, the information of the road environment, etc.
  • the necessary necessary information in advance to the driver it is always provided before the approach of the sections requiring restoration of various road environments, and the section passing is realized with high probability seamlessly without stopping the vehicle. is there.
  • the sections that can be socially introduced are specified expressway sections, predetermined sections, etc. Has become extremely limited.
  • the concept of this technology is An information acquisition unit that constantly acquires traveling route information and traffic information related to the traveling route; Based on the travel route information and the traffic information described above, the driver intervention required section of the travel route, the travel characteristics of the host vehicle on the corresponding route, and the forecasted arrival time axis from the point currently traveling in the auto drivable section.
  • An information processing apparatus is provided with a display control unit that constantly displays updated on a display device so that it can be intuitively recognized.
  • traveling route information and traffic information related to the traveling route are acquired by the information processing unit. Furthermore, based on the travel route information and the traffic information by the display control unit according to the active determination state of the return delay characteristics of the specific driver in the specific vehicle in consideration of the travel characteristics at the corresponding time and weather of the own vehicle. Then, the driver intervention required section and the automatic drivable section of the traveling route are displayed on the display device on the predicted arrival time axis from the current point.
  • the display device may be a display device of a portable terminal, and may further include a communication unit that communicates with the portable terminal.
  • the main vehicles on the road are appropriate even if environmental changes occur from time to time.
  • the burden on road infrastructure due to the handing over failure will be small, and even if introducing an autonomous vehicle, it will not cause operational failure of social road infrastructure. It's over.
  • the operation failure of the infrastructure described here means that when there are many vehicles for which manual operation takeover can not be performed normally from automatic driving, emergency deceleration vehicles and stopped vehicles are frequently generated on road sections where the vehicle traffic bandwidth of road infrastructure is narrow. Then, the flow of the car is decelerated or interrupted in the corresponding road section, and normal refers to the inability to maintain the traffic volume in general.
  • the driver intervention required section includes a manual driving section, a handover section from automatic driving to manual driving, and a caution driving section from automatic driving. May be included.
  • the display control unit displays the automatically drivable section in the first color, displays the manual operation section in the second color, and displays the handover section and the caution travel section in the third color. It may be done.
  • the driver can visually view the manual operation section of the traveling route, the transition section from automatic operation to manual operation, the caution traveling section from automatic operation, and the automatic drivable section.
  • the display control unit displays the first section from the current point to the first point on the first time axis
  • the second section from the first point to the second point is Displaying on a time axis sequentially changed from a first time axis to a second time axis reduced at a predetermined ratio with respect to the first time axis, and a third point from a second point to a third point
  • the section 3 may be displayed on the second time axis.
  • the display control unit displays the first section with the first width, and the second section sequentially from the first width to the second width narrower than the first width.
  • the changed width may be displayed, and the third section may be displayed as the second width.
  • the third section even if the driving vehicle intervention necessary section is actually a predetermined time length or less, it may be displayed with the predetermined time length. As a result, in the third section in which the time axis is greatly reduced, it is possible for the driver to easily recognize the section in which the driving vehicle intervention is necessary for a short period of time.
  • the display control unit may be configured to further display information related to a designated point in each of the displayed sections. This enables the driver to designate an arbitrary point in each section and acquire information related to the point.
  • the display control unit may be configured to display the newly generated driving vehicle intervention required section distinguishably from the existing driving vehicle intervention required section.
  • the display is blinked or displayed in another color.
  • the display control unit may set the driver intervention required section as a highlighted state when the driver intervention required section is within a predetermined time range from the current point.
  • flickering display display in a different color, or illusion display such as waving display may be performed in which the moving speed appears faster than in reality.
  • the blinking display of the dynamic display has a function of stimulating the motion vision of a person, and is a method using a means effective for alerting.
  • the display control unit may be configured to display the display of each section in parallel with the work window.
  • the driver working on the work window can easily recognize the driver intervention necessary section of the traveling route and the automatic drivable section on the predicted arrival time axis from the current point.
  • the display device can execute multitasking, and may be a display as a sub-window in the case of a tablet terminal or a smartphone terminal, or a video player or A game terminal, a video conference call system, etc. may be used.
  • the driver intervention necessary section and the automatic drivable section of the traveling route are displayed on the display device on the predicted arrival time axis from the current point based on the traveling route information and the traffic information. Therefore, it is possible to appropriately provide the driver with information on the current travel section of the travel route.
  • these display update methods it is necessary for the driver to accurately grasp the section approach information and to be aware of it.
  • the driver's cognitive function may work as a light, where the information gets into the eyes but the filtering that excludes the content of the displayed information is excluded. .
  • the filtering effect of constantly displayed information by the driver is one of the causes for missing information, but it can be reduced or avoided by introducing an interactive confirmation response procedure with the driver.
  • the present technology it is possible to appropriately provide the driver with detailed and timely information of a section that requires driving intervention for a predetermined time of the planned traveling route. And as its indirect but important effect, a vehicle that travels in the automatic driving mode in the automatic driving passable section in a section where automatic driving can be performed, a section where manual driving is required, or under caution is accurate with high probability.
  • a vehicle that travels in the automatic driving mode in the automatic driving passable section in a section where automatic driving can be performed, a section where manual driving is required, or under caution is accurate with high probability
  • it is an infrastructure environment where the environment capable of autonomous driving is introduced to spots, and the introduction of an autonomous vehicle can be introduced without disturbing the normal use of road infrastructure. An effect is also expected.
  • the effects described in the present specification are merely examples and are not limited, and additional effects may be present.
  • FIG. 1 It is a figure which shows the example in which a milestone point etc. are further displayed in the state on which the driving
  • FIG. 1 shows a configuration example of a vehicle control system 100 as an embodiment.
  • the vehicle provided with the vehicle control system 100 is distinguished from other vehicles, it is referred to as the own vehicle or the own vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system 108, a body system control unit 109, and a body.
  • the system system 110, the storage unit 111, and the automatic driving control unit 112 are provided.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 are connected via the communication network 121.
  • the communication network 121 may be, for example, an on-vehicle communication network or bus conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become.
  • each part of the vehicle control system 100 may be directly connected without passing through the communication network 121.
  • each unit of the vehicle control system 100 performs communication via the communication network 121
  • the description of the communication network 121 is omitted.
  • the input unit 101 and the automatic driving control unit 112 communicate via the communication network 121, it is described that the input unit 101 and the automatic driving control unit 112 merely communicate.
  • the input unit 101 includes an apparatus used by a passenger for inputting various data and instructions.
  • the input unit 101 includes operation devices such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device or the like that can be input by a method other than manual operation by voice or gesture.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data, an instruction, and the like input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for acquiring data used for processing of the vehicle control system 100 and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the vehicle.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertia measurement device (IMU), an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, and an engine speed.
  • IMU inertia measurement device
  • a sensor or the like for detecting a motor rotational speed or a rotational speed of a wheel is provided.
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle.
  • the data acquisition unit 102 includes imaging devices such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather, weather, and the like, and an ambient information detection sensor for detecting an object around the vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor is made of, for example, an ultrasonic sensor, a radar, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), sonar or the like.
  • FIG. 2 shows an example of installation of various sensors for detecting external information of the vehicle.
  • the imaging devices 7910, 7912, 7914, 7916, 7918 are provided at, for example, at least one of the front nose of the vehicle 7900, a side mirror, a rear bumper, a back door, and an upper portion of a windshield of a vehicle cabin.
  • the imaging devices 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • the imaging device 7918 provided on the upper part of the windshield in the passenger compartment is mainly used to detect a leading vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • it may be extended to pedestrians crossing the left / right turning destination road which is in a wide range by turn at the time of turning of the vehicle, and further to crossing object approaching object ranges.
  • FIG. 2 shows an example of the imaging range of each of the imaging devices 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging device 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging devices 7912 and 7914 provided on the side mirrors
  • the imaging range d indicates The imaging range of imaging device 7916 provided in the rear bumper or the back door is shown.
  • a bird's-eye view of the vehicle 7900 as viewed from above, and an all-round three-dimensional display image surrounding the vehicle peripheral portion with a curved plane Is obtained.
  • the sensors 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, sides, corners of the vehicle 7900 and at the top of the windshield in the cabin can be, for example, ultrasonic sensors or radars.
  • the sensors 7920, 7926, 7930 provided on the front nose of the vehicle 7900, the rear bumper, the back door, and the top of the windshield of the vehicle cabin may be, for example, LiDAR.
  • These sensors 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian or an obstacle. These detection results may be further applied to the improvement of three-dimensional object display of the above-mentioned overhead display and all-round three-dimensional display.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle.
  • the data acquisition unit 102 includes a GNSS receiver or the like which receives a GNSS signal from a Global Navigation Satellite System (GNSS) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device for imaging the driver, a biological sensor for detecting biological information of the driver, a microphone for collecting sound in the vehicle interior, and the like.
  • the living body sensor is provided, for example, on a seat or a steering wheel, and detects a sitting state of a passenger sitting in a seat or a living body information of a driver holding the steering wheel.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices outside the vehicle, a server, a base station, etc., and transmits data supplied from each portion of the vehicle control system 100, and receives the received data. Supply to each part of 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can also support a plurality of types of communication protocols.
  • the communication unit 103 performs wireless communication with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like. Also, for example, the communication unit 103 may use a Universal Serial Bus (USB), a High-Definition Multimedia Interface (HDMI), or a Mobile High-definition (MHL) via a connection terminal (not shown) (and, if necessary, a cable). And wire communication with the in-vehicle device 104.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition
  • the communication unit 103 may communicate with a device (for example, an application server or control server) existing on an external network (for example, the Internet, a cloud network, or a carrier-specific network) via a base station or an access point. Communicate. Also, for example, using the P2P (Peer To Peer) technology, the communication unit 103 may use a terminal (for example, a terminal of a pedestrian or a store or an MTC (Machine Type Communication) terminal) existing in the vicinity of the own vehicle. Communicate. Further, for example, the communication unit 103 may perform vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication.
  • a device for example, an application server or control server
  • an external network for example, the Internet, a cloud network, or a carrier-specific network
  • MTC Machine Type Communication
  • V2X communication such as communication is performed.
  • the communication unit 103 includes a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from radio stations and the like installed on the road, and acquires information such as current position, traffic jam, traffic restriction, or required time. Do.
  • it performs pairing with the forward traveling vehicle during section travel which can be the leading vehicle through the communication unit, acquires information acquired from the data acquisition unit mounted on the forward vehicle as pre-travel information, and acquires the data acquisition unit 102 of the own vehicle. It may be used with data and complements, and it is a means to secure the safety of the following formation, especially in formation of a formation by leading vehicles.
  • the in-vehicle device 104 may be, for example, a mobile device (eg, a tablet or a smartphone) owned by the passenger or a wearable device, an information device carried in or attached to the vehicle, a navigation device for searching for a route to any destination including.
  • a mobile device eg, a tablet or a smartphone
  • an information device carried in or attached to the vehicle e.g., a navigation device for searching for a route to any destination including.
  • a navigation device for searching for a route to any destination including.
  • the output control unit 105 controls the output of various information to the passenger of the vehicle or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the generated output signal to the output unit 106.
  • the output control unit 105 combines image data captured by different imaging devices of the data acquisition unit 102 to generate an overhead image or a panoramic image, and an output signal including the generated image is generated.
  • the output unit 106 is supplied.
  • the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal
  • the output unit 106 includes a device capable of outputting visual information or auditory information to the passenger of the vehicle or the outside of the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, wearable devices such as a glasses-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 has visual information in the driver's field of vision, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function, in addition to a device having a normal display. It may be an apparatus for displaying.
  • the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. In addition, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies a control state of the drive system 108, and the like.
  • the drive system 108 includes various devices related to the drive system of the vehicle.
  • the drive system 108 includes a driving force generating device for generating driving force of an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering mechanism for adjusting a steering angle.
  • a braking system that generates a braking force an antilock brake system (ABS), an electronic stability control (ESC), an electric power steering apparatus, and the like are provided.
  • the body control unit 109 controls the body system 110 by generating various control signals and supplying the control signals to the body system 110.
  • the body system control unit 109 supplies a control signal to each unit other than the body system 110, as required, to notify the control state of the body system 110, and the like.
  • the body system 110 includes various devices of the body system mounted on the vehicle body.
  • the body system 110 may be a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, headlamps, back lamps, brake lamps, blinkers, fog lamps, etc.) Etc.
  • the storage unit 111 includes, for example, a read only memory (ROM), a random access memory (RAM), a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. .
  • the storage unit 111 stores various programs, data, and the like used by each unit of the vehicle control system 100.
  • the storage unit 111 is map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map that has a lower accuracy than a high-accuracy map and covers a wide area, and information around the vehicle.
  • map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map that has a lower accuracy than a high-accuracy map and covers a wide area, and information around the vehicle.
  • the autonomous driving control unit 112 performs control regarding autonomous driving such as autonomous traveling or driving assistance. Specifically, for example, the automatic driving control unit 112 can avoid collision or reduce impact of the vehicle, follow-up traveling based on the distance between vehicles, vehicle speed maintenance traveling, collision warning of the vehicle, lane departure warning of the vehicle, etc. Coordinated control is carried out to realize the functions of the Advanced Driver Assistance System (ADAS), including: Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of automatic driving or the like that travels autonomously without depending on the driver's operation.
  • the autonomous driving control unit 112 includes a detection unit 131, a self position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various types of information necessary for control of automatic driving.
  • the detection unit 131 includes an out-of-vehicle information detection unit 141, an in-vehicle information detection unit 142, and a vehicle state detection unit 143.
  • the outside-of-vehicle information detection unit 141 performs detection processing of information outside the vehicle based on data or signals from each unit of the vehicle control system 100.
  • the external information detection unit 141 performs detection processing of an object around the vehicle, recognition processing, tracking processing, and detection processing of the distance to the object.
  • the objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings and the like.
  • the outside-of-vehicle information detection unit 141 performs a process of detecting the environment around the vehicle.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition and the like.
  • the information outside the vehicle detection unit 141 indicates data indicating the result of the detection process as the self position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. Supply to the emergency situation avoidance unit 171 and the like.
  • the information acquired by the outside vehicle information detection unit 141 is mainly the information supply by the infrastructure if the local dynamic map constantly updated as a section where the traveling section can travel automatically with emphasis on the area is supplied from the infrastructure It may be possible to receive an update from a vehicle or a group of vehicles traveling ahead in the corresponding section in advance prior to the entry of the section. Also, if the local dynamic map is not always updated from the infrastructure, the road environment obtained from the section entry lead vehicle for the purpose of obtaining road information just before the intrusion section, which is safer in particular when traveling in a row, etc. The information may be further used complementarily. It is often determined by the presence or absence of prior information provided by these infrastructures whether the section is capable of autonomous driving. The information on autonomous driving on the route provided by the infrastructure is equivalent to providing an invisible track as so-called information.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
  • the in-vehicle information detection unit 142 performs a driver authentication process and a recognition process, a driver state detection process, a passenger detection process, an in-vehicle environment detection process, and the like.
  • the state of the driver to be detected includes, for example, physical condition, awakening degree, concentration degree, fatigue degree, gaze direction and the like.
  • the in-vehicle information detection unit 142 mainly has two major roles, the first role is passive monitoring of the driver's state during automatic driving, and the second role is recovery from the Hiza system After the request is issued, the driver's peripheral awareness, perception, judgment, and detection of the operating ability of the steering device are determined to a level at which manual driving is possible before reaching the caution driving section. Further, as a control, a failure self-diagnosis of the whole vehicle is further performed, and in the case where the function reduction of the automatic driving occurs due to a partial function failure of the automatic driving, the driver may similarly return to the early manual driving.
  • passive monitoring refers to a type of detection means that does not require the driver to have a conscious response, and excludes devices that emit physical radio waves, lights, etc. from devices and detect response signals. is not. In other words, it is a passive method that it is not a cognitive response reaction under consciousness such as during sleep.
  • the in-vehicle environment to be detected includes, for example, temperature, humidity, brightness, smell and the like.
  • the in-vehicle information detection unit 142 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133 and the operation control unit 135.
  • the driver can not achieve the manual operation within the appropriate time limit after the driver gives the driver an instruction to return to the operation by the system, and the transfer control is carried out even if the deceleration control is performed with the driver's own operation. If it is determined that it is not in time, an instruction is given to the emergency situation avoidance unit 171 or the like of the system, and the vehicle is started to decelerate, retreat and stop for evacuation.
  • the vehicle state detection unit 143 detects the state of the vehicle based on data or signals from each unit of the vehicle control system 100.
  • the state of the vehicle to be detected includes, for example, speed, acceleration, steering angle, presence / absence of abnormality and contents, state of driving operation, position and inclination of power seat, state of door lock, and other on-vehicle devices. Status etc. are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the self position estimation unit 132 estimates the position and attitude of the vehicle based on data or signals from each part of the vehicle control system 100 such as the external information detection unit 141 and the situation recognition unit 153 of the situation analysis unit 133. Do the processing. In addition, the self position estimation unit 132 generates a local map (hereinafter, referred to as a self position estimation map) used to estimate the self position, as necessary.
  • a self position estimation map a local map
  • the self-location estimation map is, for example, a high-accuracy map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133.
  • the self position estimation unit 132 stores the self position estimation map in the storage unit 111.
  • the situation analysis unit 133 performs analysis processing of the own vehicle and the surrounding situation.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, a situation prediction unit 154, and a learning unit 155.
  • the map analysis unit 151 uses various data or signals stored in the storage unit 111 while using data or signals from each part of the vehicle control system 100 such as the self position estimation unit 132 and the external information detection unit 141 as necessary. Perform analysis processing and construct a map that contains information necessary for automatic driving processing.
  • the map analysis unit 151 is configured of the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, and the like. Supply to
  • the traffic rule recognition unit 152 uses traffic rules around the vehicle based on data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition processing, for example, the position and state of signals around the host vehicle, the contents of traffic restrictions around the host vehicle, and the travelable lane are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 uses data or signals from each part of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, the in-vehicle information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on the recognition processing of the situation regarding the vehicle. For example, the situation recognition unit 153 performs recognition processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. In addition, the situation recognition unit 153 generates a local map (hereinafter referred to as a situation recognition map) used to recognize the situation around the host vehicle, as necessary.
  • the situation recognition map is, for example, an Occupancy Grid Map.
  • the status of the vehicle to be recognized includes, for example, the position, posture, movement (for example, speed, acceleration, movement direction, etc.) of the vehicle, and the cargo load and cargo loading that determine the motion characteristics of the vehicle.
  • the timings required for control differ depending on the characteristics of the vehicle itself under the same road environment, such as road surface friction coefficient, road curve and slope, etc., and load cargo specific conditions. Conditions must be collected, learned, and reflected in optimal timing for control. It is not a good idea to simply observe and monitor the presence or absence of an abnormality and the content of the vehicle itself.
  • the situation around the vehicle to be recognized includes, for example, the type and position of surrounding stationary objects, the type and position of surrounding moving objects, position and movement (eg, velocity, acceleration, movement direction, etc.) Configuration and road surface conditions, as well as ambient weather, temperature, humidity, brightness, etc. are included.
  • the state of the driver to be recognized includes, for example, physical condition, alertness level, concentration level, fatigue level, movement of eyes, driving operation and the like.
  • the situation recognition unit 153 supplies data indicating the result of the recognition process (including the situation recognition map as necessary) to the self position estimation unit 132, the situation prediction unit 154, and the like. In addition, the situation recognition unit 153 stores the situation recognition map in the storage unit 111.
  • the situation prediction unit 154 performs a prediction process of the situation regarding the own vehicle based on data or signals from each part of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver, and the like.
  • the situation of the subject vehicle to be predicted includes, for example, the behavior of the subject vehicle, the occurrence of an abnormality, the travelable distance, and the like.
  • the situation around the vehicle to be predicted includes, for example, the behavior of the moving object around the vehicle, the change in the signal state, and the change in the environment such as the weather.
  • the driver's condition to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 154 together with data from the traffic rule recognition unit 152 and the situation recognition unit 153, indicates data indicating the result of the prediction process, the route planning unit 161 of the planning unit 134, the action planning unit 162, and the operation planning unit 163. Supply to etc.
  • the learning unit 155 learns the optimum return timing according to the return action pattern of the driver, the vehicle characteristics, and the like, and provides the learning information to the situation recognition unit 153 and the like. As a result, for example, it is possible to present the driver with the statistically determined optimum timing required for the driver to return from the automatic driving to the manual driving normally at a predetermined fixed rate or more.
  • the route planning unit 161 plans a route to a destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the specified destination based on the global map. Also, for example, the route planning unit 161 changes the route as appropriate based on traffic jams, accidents, traffic restrictions, conditions such as construction, the physical condition of the driver, and the like. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action plan part 162 safely makes the route planned by the route planning part 161 within the planned time. Plan your vehicle's action to drive.
  • the action planning unit 162 performs planning of start, stop, traveling direction (for example, forward, backward, left turn, right turn, change of direction, etc.), travel lane, travel speed, overtaking, and the like.
  • the action plan unit 162 supplies data indicating the planned behavior of the host vehicle to the operation plan unit 163 or the like.
  • the action plan unit 163 is an action of the own vehicle for realizing the action planned by the action plan unit 162 based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan.
  • the operation plan unit 163 plans acceleration, deceleration, a traveling track, and the like.
  • the operation planning unit 163 supplies data indicating the planned operation of the host vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173 of the operation control unit 135.
  • the operation control unit 135 controls the operation of the vehicle.
  • the operation control unit 135 includes an emergency situation avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency situation avoidance unit 171 is based on the detection results of the external information detection unit 141, the in-vehicle information detection unit 142, and the vehicle state detection unit 143, collision, contact, entering a danger zone, driver's abnormality, vehicle Perform detection processing of an emergency such as an abnormality.
  • the emergency situation avoidance unit 171 detects the occurrence of an emergency situation, it plans the operation of the own vehicle for avoiding an emergency situation such as a sudden stop or a sudden turn.
  • the emergency situation avoidance unit 171 supplies data indicating the planned operation of the host vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171.
  • the acceleration / deceleration control unit 172 calculates a control target value of a driving force generator or a braking device for achieving planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107. There are two main cases in which an emergency can occur.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling track or the sharp turn planned by the operation plan unit 163 or the emergency situation avoidance unit 171, and performs control indicating the calculated control target value. The command is supplied to the drive system control unit 107.
  • FIG. 3 schematically shows an example of a manual handover sequence of automatic operation in the automatic operation control unit 112.
  • the driver may be in a state of complete departure from driving steering in the future. In this state, the driver can execute secondary tasks such as, for example, nap, watching a video, concentrating on a game, or using a visual tool such as a tablet or a smartphone. Work using a visual tool such as a tablet or a smartphone may be performed, for example, with the driver's seat shifted or at a different seat from the driver's seat.
  • the time until the driver recovers largely fluctuates depending on the work content at each time when approaching the section where the manual operation recovery is required on the route.
  • the time until the timing actually required for return may be too long .
  • the driver loses the reliability of the timing with respect to the notification timing of the system and the awareness for the notification decreases, resulting in the driver's accuracy.
  • the risk of failure to take over successfully increases, and it also becomes a disincentive for safe secondary task execution. Therefore, the system needs to optimize the notification timing in order for the driver to start handling the appropriate driving recovery for the notification.
  • step S2 at the timing of the return notification, the driver is notified of the return of driving visually or aurally.
  • the steady state of the driver is monitored to grasp the timing of issuing a notification, and notification is made at an appropriate timing.
  • the execution status of the driver's secondary task is constantly monitored passively in the passive monitoring period in the previous stage, the system can calculate the optimal timing of notification, and passive monitoring in step S1 is continuously performed. It is desirable that the optimal return timing and return notification method be performed in accordance with the driver's inherent return characteristic.
  • the optimal recovery timing is learned in accordance with the driver's recovery behavior pattern, vehicle characteristics, etc., and statistically calculated for the driver to recover from the automatic driving to the manual driving normally at a predetermined ratio or more. It is desirable to show the driver the optimal timing. In this case, if the driver does not respond to the notification for a certain period of time, a warning is issued by ringing an alarm or the like.
  • step S3 it is checked whether the driver has returned to the seat.
  • step S4 the driver's internal alertness state is confirmed by a saccade or the like.
  • step S5 the stability of the driver's actual steering condition is monitored. Then, in step S6, the transition from the automatic operation to the manual operation is completed.
  • FIG. 4 shows a more detailed example of a manual handover sequence of automatic operation.
  • the prediction of the return point is visually presented to a visual tool such as a tablet or a smartphone.
  • the display does not need to be limited to these visual tools, and a display form that falls within the field of view during secondary task execution of the driver leaving the vehicle, such as a center information display of a vehicle, is desirable.
  • forward schedule and approach information are presented, and the return point is displayed as it approaches the host vehicle as time passes.
  • step S12 the presentation content of the forward schedule and the approach information is appropriately changed by updating the LDM (Local Dynamic Map) or the like. Further, in this step S12, the driver's condition is regularly monitored.
  • step S13 the return point that has entered within a predetermined time from the current point is displayed in a blinking manner or in a highlighted manner such as a wave display, and the driver is notified of this. The notification is issued at this step S13 in accordance with the detection result periodically monitored at this stage, that is, the driver quickly executes according to the nap and the depth of departure from the driving by the secondary task. The return is adjusted in time.
  • step S14 if the driver is not responsive to the notification, an alarm for waking up is sounded.
  • step S15 if the driver's seat is not seated, the driver is notified to return visually or aurally.
  • step S16 if there is a return delay of seating, an alarm for an alarm is sounded.
  • step S17 for example, the driver's pointing gesture for forward confirmation is monitored as the return start.
  • step S18 the sitting posture is confirmed.
  • step S19 for example, in order to detect restoration of the driver's internal sense of state in the brain using a means such as detailed gaze analysis, the driver's internal alertness due to a sensory reflex such as a circade or fixation is determined. .
  • step S20 the driver is entrusted with the steering authority in turn, the steering is entrusted while observing the response steering state of the actual steering reaction, and the steering stability is monitored.
  • step S21 if it is estimated that normal return is not possible, it is determined that the emergency handover has failed, and the deceleration and gradual evacuation sequence is started.
  • the time transition of these returns depends on various factors such as the driver's age, experience, fatigue level, etc., so the return timing is determined according to the individual.
  • the driver When the driver is required to return to the manual operation from the automatic operation, it takes at least a certain time to be able to return to the manual operation almost certainly.
  • Most desirable is a configuration that performs optimal timing notification according to the vehicle characteristics, road characteristics, and even the individual's operation return characteristics, and the driver is relieved and the 2 o'clock task is displayed by displaying the approach situation of the takeover point in conjunction.
  • the user can realize alert recovery for each necessary section appropriately and use it It connects. In other words, it is released from unnecessary continuous attention tension.
  • the greatest effect of these procedures is the ability to balance tensions in the user with secondary tasks in the relaxed state.
  • the tension state is sustained, so that the nerve may become tired as a result and the risk of being distracted due to sleepiness etc. can be reduced, which has an effect on long-term sustainable operation.
  • a dummy event is generated on the way if the driver's tension recovery is desired along the way, and the driver
  • the return level evaluation of the operator and the driver's appropriate reaction evaluation may be performed according to the return degree to the dummy event, and the return degree evaluation value may be further recorded and saved.
  • step S31 the operation is started.
  • step S32 the driver operates the input unit 101 to set a destination. In this case, the driver's input operation is performed based on the display of the instrument panel.
  • a remote advance reservation setting is carried out from a personal computer before leaving a smartphone or a home etc.
  • the car system performs preplanning settings according to the schedule assumed by the driver according to the schedule table, and updates and acquires LDM information of the road environment, etc. when getting on or before the concierge
  • actual driving advice may be displayed.
  • step S33 display of a traveling section on the traveling route is started.
  • the travel section display is displayed not only on the instrument panel, but also on a tablet or the like where the driver performs a secondary task in parallel with the work window.
  • the driver working on the work window can easily recognize the driver intervention necessary section of the traveling route and the automatic drivable section on the predicted arrival time axis from the current point.
  • the traveling section display In this traveling section display, the forward schedule and the approach information to each point are presented.
  • the driver intervention required zone and the automatic drivable zone of the traveling route are displayed on the predicted arrival time axis from the current point.
  • the driver intervention required section includes a manual driving section, a handover section from automatic driving to manual driving, and a caution driving section from automatic driving. The details of the travel section display will be described later.
  • step S34 acquisition of LDM update information is started.
  • the content of the travel section display can be changed to the latest state.
  • traveling is started.
  • step ST36 the display of the traveling section display is updated based on the position information of the vehicle and the acquired LDM update information. As a result, the travel section display is scroll-displayed so that each section approaches the host vehicle as it travels.
  • step S37 the driver's condition is monitored. Then, in step S38, it is determined whether it is necessary to change the driver state. For example, it is necessary to quickly return the driver to the steering state when the section requiring the driver intervention is approaching while the driver is in the completely disengaged state from the driving steering in the section where automatic driving is possible at present. It becomes.
  • step S36 When it is not necessary to change the driver state, the process returns to the operation of step S36.
  • the driver is notified in step S39, and when the notification is not responsive, a warning (alarm) is generated.
  • the driver responds to the notification and the warning, the process returns to the operation of step S36.
  • the deceleration / deep retreat sequence is started, and the arrival time to the takeover point is delayed to generate a time postponement, and when the return can not still be expected, the vehicle is further evacuated to the road shoulder or evacuation point Stop.
  • Whether to delay arrival to the transfer point by slowing down slowdown depends on various factors such as the impact of occurrence of traffic congestion and shelter, the infrastructure factors such as traffic bottleneck section, and traffic volume at that time. Since a desirable state occurs, it is desirable to cope with the optimal control in road-vehicle coordination, but since the main focus is on the display format in this specification, vehicle control that affects the setting of the time axis will be detailed. It is not described.
  • FIG. 6 shows an example of a travel route determined by the driver setting a destination.
  • this traveling route there are an automatic drivable section Sa, a manual driving section Sb, a handover section Sc from automatic driving to manual driving, and a warning driving section Sd from automatic driving.
  • the transfer section Sc always exists immediately before the manual operation section Sb, and the driver needs to be in a posture to return to the manual operation.
  • the caution traveling section Sd is a section in which the vehicle can be decelerated to travel with automatic driving under the attention monitoring of the driver who is in a return posture to manual driving.
  • the autonomous driving possible section Sa is shown in green
  • the manual driving section Sb is shown in red
  • the handover section Sc and the caution traveling section Sd are shown in yellow.
  • each color is represented by a separate pattern.
  • each section of the travel route as described above is displayed on the predicted arrival time axis from the current point.
  • the autonomous driving control unit 112 performs information processing for displaying a traveling section in the traveling route based on the traveling route information and the traffic information.
  • FIG. 7 (a) represents each section of the traveling route on a constant scale along the movement distance axis from the current point.
  • FIG. 7 (b) shows the flow velocity v (t) of the average road traffic at each point.
  • FIG. 7 (c) is obtained by converting each section represented by the moving distance axis into a time axis using the velocity v (t).
  • each section of the traveling route is represented by the predicted arrival time axis from the current point. That is, it can be represented by a time axis obtained by dividing the physical distance of the traveling route by the average speed for each section.
  • the entire section displayed as the traveling section is divided into three sections as shown in FIG. 7 (d), and the time axis of each section is changed. That is, the first section from the current point to the first point (time t0, for example, about 10 minutes) is displayed on the first time axis as a time linear display immediate section.
  • time t0 is set to a time sufficient for a general driver to finish the secondary task and return to operation. Since the immediate section approaching by driving has the same visual intuition as if it is shown on a map advancing at a constant speed, the driver can start preparation for the appropriate driving return accompanying the approaching event, and return to a certain degree accurately There is an advantage that the point to start can be intuitively grasped. That is, the display purpose of this section is to provide the user with start judgment information of the accurate return point of the operator.
  • a second section from the first point (time t0) to the second point (time t1, for example, about 1 hour) is a reciprocal display section of time from the first time axis to the first time Display is made on the time axis sequentially changed up to the second time axis reduced at a predetermined ratio with respect to the axis. If the display purpose of this second section is mainly displayed with the same scale magnification as the first section above, it will be difficult to display the long term in a narrow display space, so the road condition in the long term will be narrowly displayed In order to provide the driver with accuracy.
  • the display of the second display section shown above is a case where the vehicle is traveling at a constant speed, a display obtained by viewing the map in which the traveling straight line extended display section on the map is inclined in the traveling direction or road surface forward Corresponds to a state in which In other words, since the visual effect of this display section is intuitively understood at the display image height position in perspective, it can be said that the display can be made easy to grasp the sensory distance without displaying the scale etc. of the accurate position display on the screen. . And although a section in the distance is reduced, it is not a point to reach immediately by driving, so an approximate prediction is important, but it is not necessary for the driver to sensuously grasp arrival time information as strict as near points. , It is suitable for making a secondary task execution plan.
  • the third section from the second point (time t1) to the third point (time t2) is displayed on the second time axis (reduction ratio hs / h0) as a time linear display distant section.
  • the driver can know details of the latest section information temporally in a limited display space, and section information up to temporally further It is possible to know
  • the distant part is displayed as it is in the display form of the second section, it becomes less than the human visual resolution and further the display resolution limit of the system, and it becomes impossible to distinguish the information necessary for determining the secondary task plan. The meaning is lost. Therefore, we can intuitively grasp the sense of the time zone sufficiently and finish the reduction of the display scale at the stage where the necessary intervening sections and unnecessary section sections are appropriately displayed, and the subsequent sections are returned to the fixed scale again The most effective way is to use a display.
  • the vehicle control system 100 is provided with the default value of time t0, t1, and t3.
  • the values of times t0, t1, and t3 can be considered separately for long-distance driving and short-distance driving, so the default value is not limited to one, and a plurality of types are provided.
  • the system may be selectively used depending on the travel route. It is also conceivable to allow the driver (user) to arbitrarily set the values of the times t0, t1 and t3.
  • FIGS. 8 (a) and 8 (b) show an example of the travel section display that is finally displayed. Note that the length of the arrow indicates whether or not the time axis is linear, and further, changes in the reduction rate of the time axis. In the case of FIG. 8A, all the sections of the first section, the second section and the third section are displayed with the first width.
  • the first section from the current point to the first point (time t0) is displayed with a first width
  • the first point (time t0) to the second point is displayed.
  • the second section up to the point (time t1) is displayed with a width sequentially changed from the first width to the second width narrower than the first width, and from the second point (time T1)
  • the third section up to the third point (time T2) is displayed with a second width.
  • the width of the road or the map can be changed by changing the transverse width to the traveling direction in a pseudo manner.
  • the same perspective effect as looking in an infinite direction along the progression is obtained, and the distribution of the necessary driving intervention section becomes easier to grasp intuitively by just looking at the screen for a moment.
  • the exact position memory is visually Even if it does not judge, it can be said that it is a display form in which the arrival feeling to each point can be intuitively grasped and time distribution is possible.
  • the display is performed with the predetermined time length.
  • the display of the handover section may be omitted.
  • the display of the first manual operation section Sb of the third section indicates such a state.
  • the manual operation section Sb when the manual operation section Sb is intermittently continued in a short cycle, it is displayed as a manual operation section Sb in which the whole is connected.
  • the display of the second manual operation section Sb of the third section indicates a state in which the display is performed in such a manner.
  • the manual operation section Sb displayed in this manner actually includes, in addition to the manual operation section Sb, a short-time handover section Sd and an automatic operation enable section Sa, as shown in FIG. 8C.
  • the detailed display can be performed by, for example, double-touching the point while the traveling section is displayed on the tablet or the like.
  • FIGS. 9 (a) to 9 (d) show examples of changes in the display of the traveling section with the passage of time.
  • this example shows an example in which the second section is displayed in a tapered manner, the same applies to the case where all the sections are displayed with the same width.
  • the movement of each section is quick. Further, in the second section, since the reduction of the time axis is made smaller as it goes from the third section side to the first section side, the movement of each section becomes faster. In addition, in the third section, since the reduction of the time axis is large, the movement of each section is slow.
  • FIGS. 10A and 10B show an example of the travel section display 200 in the travel route displayed on the screen of the tablet 300.
  • FIG. FIG. 10A shows an example in which the tablet 300 is used vertically.
  • the traveling zone display 200 is displayed in a state of being bent along the upper side from the left side, and is displayed in parallel with the work window which is an execution screen of the secondary task performed by the tablet 300.
  • FIG. 10B is an example of using the tablet 300 in landscape orientation.
  • the traveling zone display 200 is displayed in a state of being bent along the upper side from the left side, and is displayed in parallel with the work window which is the execution screen of the secondary task performed by the tablet 300.
  • the travel section display 200 is arranged in a bent state on the screen of the tablet 300. However, if sufficient arrangement space can be taken, it may be arranged linearly.
  • FIG. 11 shows an example of a state in which the driver actually performs the secondary task using the tablet 300.
  • the tablet 300 is used in landscape orientation.
  • the traveling section display 200 is displayed on the screen of the tablet 300 in a state of being bent along the upper side from the left side. Note that whether or not the traveling section display 200 is displayed on the screen may be selectively performed by the operation of the driver (user). In that case, for example, when the travel section display 200 does not appear on the screen, the travel section display 200 is automatically displayed when the driver intervention necessary section comes within a predetermined time and notifies the driver. May be displayed on the screen.
  • the newly generated driver intervention necessary section is newly displayed. Occur.
  • the newly generated driver intervention necessary section is blinked, for example, for a predetermined period of time, in a distinguishable manner. This blinking display may be accompanied by a warning alarm sound.
  • the driver intervention necessary section newly occurs the case where the caution driving section is changed to the manual driving section as well as the case where the caution driving section and the manual driving section newly occur is included.
  • FIG. 12 shows a state in which a caution travel section Sd is newly generated in the second section, and the driver is warned by flashing display.
  • the blinking that is, the warning state
  • the driver touches the blinking display area of the caution driving section Sd a small window is popped up and it is possible to stop the blinking, that is, the warning state by the screen touch of acceptance. It may be done.
  • the traveling section display 200 is displayed on the screen of the tablet 300, for example, as shown in FIG. It pops up and the display related to the point is made.
  • FIGS. 14 (a), (b), (c) and (d) show an example of information displayed in the small window.
  • FIG. 14 (a) is an example in which the road surface condition at that point, the weather, and what section it is, etc. are displayed in a small window in characters.
  • FIG. 14B shows an example in which a map at that point is displayed in a small window.
  • FIG. 14C shows an example in which the small window shows what section within a certain time including the point is.
  • FIG. 14D is an example in which the circuit is displayed.
  • these display examples are an example, Comprising: It is not limited to these. Further, all or some of these may be sequentially switched and displayed by the driver's operation.
  • this fixed time comes in the timing based on the time allowance required for the driver's return to driving and gives a notification as the start signal, and according to the driver's character or the driver In accordance with the current state of the vehicle, and further, depending on the load braking characteristic of the vehicle and the condition of the road, it is set such that the operation return can be sufficiently performed until the drive taking over section and the caution traveling section arrive.
  • the detailed notification point of these notifications may be learned by learning the driver's individual characteristic learning device's characteristic or the like with the driver's individual characteristic learning device and performing the optimum timing.
  • this specification does not describe in detail the configuration and learning method of the learner of the individual characteristic of the optimal return timing, the delay time when the driver correctly returns from the automatic driving to the manual driving at a certain rate after being notified It is a learning device that estimates from the observable state of driving.
  • the driver can easily recognize that the driver intervention necessary section has been within a certain time range from the current point.
  • the display scale is small in normal approach display and the approach feeling is hard to grasp due to the relation such as the display range of the screen, in order to make full use of the effect of the human eye's dynamic visual acuity It is possible to generate gradient change points on the display screen in this way, and to capture changes in the peripheral vision even when the driver is looking at another part of the screen in the secondary task. It is the biggest advantage of this method.
  • FIG. 15 shows that the waved display is applied to the transfer section Sc existing immediately before the manual operation section Sb as a state of highlighting.
  • FIG. 16 shows a display example for implementing the wave display. In this display example, by changing the section length of the transfer section Sc every ⁇ t, the display faster than the advancing speed and the operation of pulling back are repeated.
  • FIG. 17 shows another display example for implementing the wave display. In this display example, by changing the section position of the transfer section Sc every ⁇ t, the display faster than the traveling speed and the operation of pulling back are repeated.
  • traveling section display 200 is displayed on the screen of tablet 300, parallel to traveling section display 200, it also displays planned milestone points (Milestone Point), main route names, etc. It may be done. This milestone point is either recommended by the system or driver (user) setting.
  • FIG. 18 shows a display example of milestone points and the like.
  • the travel section display 200 displayed on the screen of the tablet 300
  • the work screen of the secondary task is displayed on the screen of the tablet 300.
  • the user can touch the map screen icon "M" to make an enlarged map of the point on the screen of the tablet 300 as shown in FIG. 19 (b). Is displayed.
  • the map display is an oblique 3D map as shown in FIG. 19C by rotating the tablet 300 along the horizontal line while the enlarged map of the point is displayed on the screen of the tablet 300 in this way. It will be in the state of display.
  • the oblique 3D display is not performed, and the overhead display as shown in FIG. 19 (b) is maintained.
  • the approach time is proportional to the display length, and the eyelid display can grasp the approach time intuitively.
  • the operation screen icon "T" is touched to return to the state shown in FIG.
  • the driver intervention necessary section of the travel route and the automatic drivable section are displayed on the predicted arrival time axis from the current point Displayed on a device (instruments panel, tablet, etc.). Therefore, the section information of the traveling route can always be properly provided to the driver, and the driver can execute the secondary task with sharp sharpness even if the traveling level section is mixed with multiple automatic driving levels. And, it becomes possible to execute the return smoothly and seamlessly without waiting stress (restoring return) (restoring), and it is possible to run and break long sections making full use of the advantages of the automatic operation mode. And as a whole, as a result of being able to effectively reduce the percentage of vehicles that fail to take over from automatic driving to manual driving, automatic driving has been widely introduced for major issues such as road traffic zone burden as social infrastructure. It is possible to minimize its negative impact.
  • Modified example> "Modification 1"
  • the system means a set of a plurality of components (apparatus, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the third party who remotely connects with the driver in the secondary task is when the driver drives It is not possible to directly grasp the situation as it is necessary to return to However, since it does not know when the driver needs to exit from the secondary task and return to driving, it is impossible for the remotely connected third party to know whether or not the situation to be interrupted with the exchange is imminent. There is a problem without it. Therefore, by providing the driver's return necessity timing information to the third party connected on the opposite side of the connection screen of the video conference in which the driver is engaged, the driver meets as a secondary task of the driving operation It becomes possible to make it known that it is performing. That is, it is desirable that the connection partner also grasp the situation of the driver's return timing, and even if the driver intervention return request information for a part of the other party or for a certain period of time is shared by communication. Good.
  • the request timing may not be appropriate for interrupting the secondary task.
  • the system is constantly observing the driver's condition such as sleep depth determination, etc., and a steady state observation obtained so that sleep is suitable for recovery to some extent.
  • the timing can be determined.
  • the notification timing that is optimal for the secondary task performed by the driver can always be calculated only from the vital observation information of the driver that the system can perform. Things are extremely difficult.
  • slip input system work to the tablet terminal device it is generally preferred for the slip input system work to the tablet terminal device to continuously carry out a series of input without interrupting the work from the viewpoint of work efficiency, and to proceed with the input work until the work is completed. Can be classified into the following types of secondary tasks.
  • the driver can not always control the degree of progress of the reproduced video or the game, so even if the secondary task is interrupted and the reproduction is resumed from the interrupted point later You can reduce the number of interruptions if you can see the continuation comfortably.
  • the driver himself or herself may take an interruption procedure for interrupting the secondary task and interrupting the secondary task for performing driving steering attention and actual steering return. At that time, it may be resumed from the interruption point, or may be interrupted by pre-scheduling the retroactive reproduction points.
  • the interruption reproduction method provides an interruption menu, for example, by single-touching the viewing and monitoring screen, and it is desirable to input by an intuitive and quick specification method, such as interruption reproduction method designation, retroactive point slider designation interruption.
  • retroactive reproduction from the interruption position may be used.
  • the advantage of these retrospective reproductions is that, unlike the continuous appreciation when the reproduction is resumed, there is an interruption of the appreciating knowledge up to that point, making it difficult to grasp the story even if it is continued.
  • the effect of this method of reproduction will be easily understood, for example, if it is not interesting to listen to a mangas prick and then to hear a drop after a while.
  • the disadvantage in interrupting the early operation and prioritizing the handover of the manual operation does not interrupt the operation of the secondary task. If it is lower than the disadvantage if the takeover is delayed.
  • the probability that the operation return delay will eventually occur increases, and in rare cases the result will be an emergency response in cases where take-over can not be made in time.
  • Running Evacuation Evacuation etc. does not work as psychology to avoid falling into the situation if the impact is not an intuitive disadvantage.
  • the application software of many personal computers and other information terminals which are widely spread at present are equipped with a function of storing and recovering the history of execution processing used for canceling and redoing the input.
  • those functions are intended to be used for the purpose of redoing input while engaged in input at the terminal, and are selective reflection of selective change contents during review work of documents worked by multiple persons. It is not a function intended to help resumption of input work when it is interrupted during unspecified arbitrary input work. Therefore, it causes the user to hesitate to interrupt the input work to the information terminal as a secondary task.
  • the task window 400 is usually provided with the user in order to concentrate on the secondary task and overlook the notification of return from automatic driving and to avoid complete withdrawal from driving attention.
  • the index presentation travelling area display 200
  • the handover notification determiner determines that the notification timing has come, as shown in FIG. 20A, the small icon of the notification is displayed in the work window 400 for visual stimulation guidance such as blinking.
  • the driver (secondary task executor) recognizes the notification and performs, for example, a touch or check on the corresponding icon, for example, the work screen is interrupted as shown in FIG. And the restart return point specification slider menu of the input work is displayed so that the user can freely set the optimum return point by rotating the slider.
  • the slider may be rotated clockwise, or may be horizontal linear display as shown in FIG. 21 (a) or vertical linear not shown. It may be a display.
  • a horizontal linear slider display form as shown in FIG. 21 (a) is assumed with a counter clockwise angle of 9 o'clock from 12 o'clock as the input retrogression point. Then, for example, a point about 2/3 in length is used as the current input point, and the left direction is used as the input retroactive point.
  • the final input information point is the current point, and the uninput point is not a point that can be originally resumed.
  • the work item on the menu it is possible to determine the optimum point for resuming work retroactively by executing the screen simulation simplified display when advancing to the planned input location on the input application tool and returning again. It becomes.
  • the system can not confirm the driver's response detection without notification that the certain time has passed or the driver's cognitive response to the notification has not been input, it is appropriate to issue a warning and prompt an early return.
  • the index presentation (traveling area display 200) up to the handover point arrival in the traveling direction is enlarged and displayed as in the traveling area display 200 ', and the secondary task execution window 400 is reduced.
  • the application input being executed as a secondary task may be forcibly terminated.
  • the driver under secondary task execution suspends the work by specifying the work resumption point according to the return request from the system, and then resumes the automatic operation as a flow, and resumes the work, as shown in FIG.
  • the slider menu (the point at the time of resumption with the input history on the resumption screen is specified with a slider menu) in which the input work points (CR execution points for data input (keyboard Carriage Return for confirmation) execution points and input form completion points) Slider) 500 may be presented.
  • the restart after the work is suspended does not necessarily have to be after the return to the automatic operation, and may be after the end of the itinerary, but the case of the corresponding case is omitted from the flowchart.
  • the slider may be slid with a double finger to flow out of the screen or closed with a close menu.
  • the user can intuitively grasp the input work point of the terminal work on a tablet etc. and the traveling environment, so the scrolling of the section approaching window accompanying the progress of the menu and the screen double touch or triple touch of the work recovery point
  • the synchronized recording with the task is further added to the recording device. You may save it.
  • the secondary task can not be continued from the ergonomic point of view. This can be avoided, and as a result, a driver who is executing a secondary task without stress can quickly return to driving, leading to the realization of the use of safer automatic driving.
  • the interrelationship before and after the input information becomes important. For example, when a plurality of related information are put in succession in a table etc., when selecting an item and inputting a series of information linked to the item If you interrupt the input of a bad state, depending on the memory at the time of resumption, it may take time to remember the point of interruption, or you may make an error.
  • the input screen change history up to the interruption of the input of the secondary task is an auxiliary function effective to remember the input resume point, and helps to improve the work efficiency.
  • recalculation processing can be omitted by locally storing the screen change as an image over the last few steps.
  • the above example is a flow viewed from the viewpoint of data input to an information terminal mainly as an information input application, but the operation flow is similar even in movie watching, sports watching and streaming watching of a news program. If you are watching a movie on television or watching a competition game such as soccer, temporarily save the airing broadcast locally, interrupt the playback display at the timing when manual operation return was once requested, and delay playback from the middle of the work by the driver Is effective. At that time, it is possible to reduce the need for cumbersome rewinding playback processing.
  • FIG. 23 and FIG. 24 show an example of the processing procedure of the system in the case where the handover notification determination is received.
  • step S51 the system starts the process by receiving the handover notification determination.
  • step S52 the system executes notification to the implementer of the secondary task. For example, in the case of secondary task execution using an information terminal, the small icon of the notification is blinked or the like in the work window 400 (see FIG. 20A).
  • step S53 the system detects a notification acknowledgment response of the implementer of the secondary task. For example, in the case of secondary task execution using an information terminal, when notification is made by blinking the small icon of the notification in the work window 400 as described above, for example, the touch operation by the implementer on the icon And so on.
  • step S54 the system also requests the secondary task implementer to interrupt the input operation of the secondary task, and gives notice of screen reduction / interruption.
  • step S55 the system determines whether a notification acknowledgment response has been detected.
  • the system calculates the remaining time of the handover postponement budget in step S56.
  • step S57 the system determines whether time out has occurred based on the remaining time calculated in step S56. If not, the system returns to step S53 and repeats the same process as described above.
  • step S57 the system executes warning using sound, vibration, an image or the like in step S58.
  • step S59 the system reduces the size of the work screen and magnifies and displays the handover point approach display (see FIG. 21B).
  • step S60 the system performs warning recognition and acceptance processing of the restart point specification of the secondary task. In this case, the system displays the restart point specification slider menu of the secondary task input work, and confirms that the two task performer accepts the restart point specification (work return point reservation by the slider etc.) (FIG. 20 (b)) 21 (a)).
  • step S61 the system determines whether or not a timeout has occurred. In this case, it is determined that a time-out has occurred when the handover delay is predicted in the handover delay time determination. If not, the system continues the process of step S60. On the other hand, when it is timed out, the system forcibly terminates the work of the secondary task in step S62. Then, in step S63, the system executes return delay penalty recording, restriction of work resumption point, restriction of reuse of the automatic operation mode, and the like.
  • step S55 the system displays the restart point specification slider menu of the secondary task input work in step S64, and the restart by the two task performer in step S65.
  • Acceptance confirmation of point specification is performed (see FIG. 20 (b) and FIG. 21 (a)).
  • step S65 the system proceeds to the process of step S66.
  • step S66 also after the process of step S63 described above.
  • step S66 the system saves the work history and resume point specification information of the secondary task.
  • step S67 the system makes the secondary task unexecutable during the manual operation recovery period.
  • step S68 the system acquires monitoring of LDM information, driver status, and vehicle self-diagnosis information necessary for determining whether to resume automatic driving. Then, in step S69, the system determines whether or not the secondary task has re-entered the executable section. When the secondary task has not been reentered into the executable section, the system continues the process of step S68. On the other hand, when the secondary task has re-entered the executable section, the system enters an automatic drivable section in step S70.
  • step S71 the system enables the returnable menu of the secondary task work of the terminal.
  • step S72 the system monitors secondary task recovery resume input.
  • step S73 the system determines whether or not the performer of the secondary task has selected a return menu. When there is no selection of the return menu, the system determines whether or not it is a timeout (resumption designated standby time timeout) in step S74. If not, the system returns to the process of step 71 and repeats the same process as described above.
  • step S74 when the driver does not restart the secondary task within a predetermined time, the transition of the terminal or the like to the standby mode, which is an energy saving mode, or interruption information to completely turn off the power is recorded.
  • the standby mode which is an energy saving mode, or interruption information to completely turn off the power.
  • step S73 the system executes the work resumption point designation by the slider menu or the like in step S75, the system performs the work resumption along the designation input in step S76. Let's do it. Thereafter, the system ends the series of processes in step S77. When the time-out occurs in step S74, the system immediately proceeds to step S77 and ends the series of processing.
  • Modification 4 Further, in the present specification, during the secondary task executed by the driver described in detail, the secondary task is interrupted based on the careful traveling along the driving route and the manual operation recovery request information to give priority to the manual operation recovery. In some cases, it may not always be a good time to interrupt the secondary task being executed at the timing when the driver is required to return. In particular, in the case of inputting a series of information, there may be a situation where it is necessary to rewrite all the input processing work up to that point if the work interruption is interrupted. In order to eliminate the waste of work as human psychology, there is a risk that it will not be possible to return in time although the input will be finished until the end.
  • an explicit menu may be additionally provided to facilitate return of the work designated point by the user on the secondary task execution application.
  • the user can intuitively grasp the input work point of the terminal work on a tablet etc. and the traveling environment, so the scrolling of the section approaching window accompanying the progress of the menu and the screen double touch or triple touch of the work recovery point
  • the playback function of the task in combination with the operation etc., not only the task of displaying the secondary task's execution task and the display update information is not only temporarily displayed to the driver but also synchronous recording with the task. You may save it.
  • Modification 5" In addition, in the case of travel support that received further remote support by wireless communication in operations such as row travel, the remote supporter controls the traveling speed of the support required point of the corresponding vehicle or vehicle group and performs planned distribution or support of control center Distribution planning may be carried out avoiding concentration, and furthermore, delivery companies etc. will use it for planning etc. to make a distribution plan of automatic delivery partners and hand delivery partners, etc. Furthermore, the use is extended to delivery remote support etc. Also good.
  • the embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present technology.
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices. Furthermore, in the case where a plurality of processes are included in one step, the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present technology can also be configured as follows.
  • an information acquisition unit that acquires traveling route information and traffic information related to the traveling route;
  • An information processing apparatus comprising: a display control unit configured to display a driver intervention necessary section and an automatic drivable section of the traveling route on a display device on a predicted arrival time axis from the current point based on the traveling route information and the traffic information.
  • the driver intervention necessary section includes a manual driving section, a handover section from automatic driving to manual driving, and a caution driving section from automatic driving.
  • the display control unit The automatic driving possible section is displayed in a first color, the manual driving section is displayed in a second color, and the handover section and the caution traveling section are displayed in a third color.
  • Information processing device is configured to display a driver intervention necessary section and an automatic drivable section of the traveling route on a display device on a predicted arrival time axis from the current point based on the traveling route information and the traffic information.
  • the display control unit The first section from the current point to the first point is displayed on a first time axis, The second interval from the first point to the second point is sequentially changed from the first time axis to the second time axis reduced at a predetermined ratio with respect to the first time axis. Display by time axis, The information processing apparatus according to any one of (1) to (3), wherein a third section from the second point to the third point is displayed on the second time axis.
  • the display control unit The first section is displayed with a first width, The second section is displayed with a width sequentially changed from the first width to a second width narrower than the first width, The information processing apparatus according to (4), wherein the third section is displayed with the second width.
  • the display control unit The information processing apparatus according to (4), wherein in the third section, even when the section requiring the driver's intervention is actually a fixed time length or less, the fixed section length is displayed. (7) The display control unit The information processing apparatus according to any one of (1) to (6), further displaying information related to a designated point in each of the displayed sections. (8) The display control unit The information processing apparatus according to any one of (1) to (7), wherein the newly generated drive necessary section is displayed distinguishably from the existing drive required section. (9) The display control unit When the driver intervention required section enters the range of a certain time from the current point, the driver intervention required section is highlighted. The information processing according to any one of (1) to (8). apparatus.
  • the display control unit The information processing apparatus according to any one of (1) to (9), wherein the display of each section is displayed in parallel with the work window.
  • the display device is a display device of a mobile terminal, The information processing apparatus according to any one of (1) to (10), further including: a communication unit that communicates with the mobile terminal.
  • (12) a step of the information acquisition unit acquiring traveling route information and traffic information related to the traveling route;
  • the display control unit has a step of displaying the driver intervention necessary section and the automatic drivable section of the traveling route on the display device on the predicted arrival time axis from the current point based on the traveling route information and the traffic information. Processing method.
  • vehicle control system 101 input unit 102: data acquisition unit 103: communication unit 104: in-vehicle device 105: output control unit 106: output unit 107: drive System control unit 108: Drive system 109: Body system control unit 110: Body system 111: Storage unit 112: Automatic operation control unit 121: Communication network 131: Detection Part 132 ⁇ Self-position estimation unit 133 ⁇ ⁇ ⁇ Situation analysis unit 134 ⁇ Planning unit 135 ⁇ ⁇ ⁇ Operation control unit 141 ⁇ ⁇ ⁇ Outside information detection unit 142 ⁇ ⁇ ⁇ ⁇ ⁇ information detection unit in the vehicle ⁇ ⁇ ⁇ vehicle State detection unit 151 ... Map analysis unit 152 ... Traffic rule recognition unit 153 ... Situation recognition unit 154 ... Situation prediction unit 161 ... Route planning unit 162 ... Action plan 163 ... motion planning section 171 ... emergency avoidance portion 172 ... acceleration and deceleration control section 173 ... direction control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)

Abstract

運転者に走行ルートの区間情報を適切に提供する。　走行ルート情報および走行ルートに係る交通情報を取得し、それらの情報に基づいて、走行ルートの運転者介在必要区間および自動運転可能区間を、現在地点からの到達予測時間軸でインスツルメンツパネルやタブレット等に表示する。例えば、運転者介在必要区間は、手動運転区間、自動運転から手動運転への引継ぎ区間および自動運転からの注意走行区間を含む。

Description

情報処理装置および情報処理方法
　本技術は、情報処理装置および情報処理方法に関し、特に、走行ルートに関する表示をする情報処理装置等に関する。
　近年、車両走行の安全性の向上やドライバの負荷軽減等を目的として、ドライバの操作によらず自動的に車両の走行の制御や支援を行うシステムの開発が進められている。自動運転中の車両で将来的には２次タスクの実行の許容が期待される。しかし、当面の道路インフラとしては運転者介在必要区間、いわゆる手動運転が求められる区間と自動運転可能区間が斑に入り混じった走行ルートとしての環境インフラ導入が進むと想定される。そのため、運転者が２次タスクの実行を良好に行うためには、当該運転者に走行ルート上の手動・自動などの区間情報を適切に提供することが必要となり、それら走行中の進行区間毎の最新情報は時々刻々と変わる状況変化に対応している必要がある。そしてこれら自動運転の区間終了地点は必ずしも固定されているとは限らない。
　例えば、特許文献１には、自車両の走行予定道路における複数の危険に対して、その危険度を表示する技術が開示されている。また、例えば、特許文献２には、自動運転中において運転者に手動運転を開始させる場合に、携帯端末に意識を集中させている運転者に対して、手動運転の開始をしなければならない状況にあることを携帯端末の画面に表示して知らせる技術が開示されている。
特開２０１６－１３９２０４号公報 特開２０１６－０９０２７４号公報
　現在自動運転を行うための車両周辺環境認識技術の成熟と道路走行環境の地図情報の発達などにより、車両の自動運転を実世界空間で利用する機運が高まっているが、実際には車両が走行し得るあらゆる連続区間で、一部地下鉄の様な自動運転が可能な閉じた閉鎖軌道完備環境空間を実現するのは難しく、実際にはあらゆる自動運転が可能な運転レベルの道路、更には一切の自動運転が許容されない道路などがランダムに連なった走行区間となるために、それら自動運転が可能な区間から運転者監視下または手動運転介在が必須などの区間で道路環境が構成されることが予想される。そしてそれら混在道路区間を走行する場合、運転者が区間を跨ぐ場合に求められる手動運転への復帰が的確に実施されないと、車両は走行を持続が出来ないことから緊急停車する必要が発生し、道路としての社会インフラの利用が阻害される大きな課題を包含している。さらには、自動運転の普及には社会全体で全ての区間で連続的に達成でき、環境維持が四六時中完備され走行が阻害されない環境を実現しない限り成り立たないという矛盾に直面している。
　そのため、完全自動運転として閉鎖環境のみ利用する概念や、自動運転から手動運転へ適切な引継ぎが出来ない場合には、車両を緊急停車させるなどの提案などがされているが、実際には道路インフラに緊急停車車両があふれでると道路環境で渋滞を誘発したり、更にはそれら緊急停車車両の増加で従来は無かった事故の誘発をしたりして、正常な社会活動の阻害をする問題があらたな課題とし発生し、結局は自動運転を広く普及させる手立てが見出されていない。
　例えばこんにち広く議論がされている自動運転のレベル３の運転をただ単純に一般道や例え専用道路区間で社会導入をしたとしても、社会的に渋滞などの負のインパクトなく成立させるためには、四六時中道路はレベル３で車両が走行できる環境がその区間１００％維持され、さらに運転者は確実に終了地点で復帰する必要があり、さらにはその間運転者は運転に直接携わる事もなく常に監視責任を負い、緊張した注意下での状態維持が求められる。つまり、人間の人間工学的・心理学側面を考慮すると該当の概念では長期利用が現実的ではないという課題があり、自動運転の広域の社会的導入には大きな課題であり、その解決策が求められている。
　本技術の目的は、これら課題に対処するため、運転者に走行ルートの区間情報を、運転者の状態、車両の走行特性、道路環境の情報などに応じて、制御を能動的に調整し適切な必要介在情報を運転者に適切に事前提供することで、多様な道路環境の復帰必要区間の接近前に常に提供し、車両を停車することなくシームレスに区間通過を高い確率で実現するものである。自動運転の導入には、これら区間を跨ぐ際に的確な運転者復帰技術が実現できていない課題が現在解決できていないため、社会的に導入が可能な区間は特定高速道路区間や既定区間などの極めて限定的となっている。
　本技術の概念は、
　走行ルート情報および上記走行ルートに係る交通情報を常時取得する情報取得部と、
　上記走行ルート情報および上記交通情報に基づいて、上記走行ルートの運転者介在必要区間、自車両の該当ルートでの走行特性、および自動運転可能区間を現在走行中の地点からの到達予測時間軸で直感的認知可能に、表示デバイスで常時更新表示する表示制御部を備える
　情報処理装置にある。
　本技術においては、情報処理部により、走行ルート情報およびこの走行ルートに係る交通情報が取得される。更には、自車両の該当時刻・天候等での走行特性を加味したその特定車両で特定運転者の復帰遅延特性の能動的判定状態に応じて表示制御部により、走行ルート情報および交通情報に基づいて、走行ルートの運転者介在必要区間および自動運転可能区間が、現在地点からの到達予測時間軸で表示デバイスに表示される。例えば、表示デバイスは携帯端末が持つ表示デバイスであり、携帯端末との間で通信をする通信部をさらに備える、ようにされてもよい。
　特許文献１や特許文献２のように特定通知を行う技術は知られているものの、自動運転の普及で想定される時々刻々と変わる走行ルートの環境条件変化や自車両の積載重量や制動能力、更には運転者の復帰特性と更には状態に応じて復帰遅延特性を加味した自動運転から手動運転への復帰の最適化通知を行うことはない為、その都度行われる通知は運転が実際に必要とするタイミングと異なるために通知に対する実際の復帰の必要性が次第に曖昧になる。従来、これら運転者に提供を想定していた既定通過ポイント毎の規定点通過での通知とは異なり、運転者に適切なタイミングと正確な時間感覚で運転者に運転介在復帰に必要な情報をより正確に提供する事で、通知が早すぎる事も無く、または遅すぎる事もない適正化がはかれ、結果的に道路走行中の主要な車両は環境変化等が時々刻々発生しても適切に自動運転から手動運転への引き継ぎは適切に行える様にする事で、引き継ぎ不具合による道路インフラへの負担が僅かとなり、自動運転車両を導入しても社会的道路インフラの運用破たんを誘発しないで済む。ここで述べるインフラの運用破たんとは、自動運転から手動運転引き継ぎが正常に行われない車両が多発する場合、道路インフラの車両通行の帯域幅が狭い道路区間では、緊急減速車両や停車車両が多発すると、該当する道路区間で車の流れが減速したり妨害され、正常は交通量を維持が出来なくなること全般をさす。
　例えば、ルート設定をして走行する場合、運転者に提示する地図上で、運転者介在必要区間には、手動運転区間、自動運転から手動運転への引継ぎ区間および自動運転からの注意走行区間を含む、ようにされてもよい。この場合、例えば、表示制御部は、自動運転可能区間を第１の色で表示し、手動運転区間を第２の色で表示し、引継ぎ区間および注意走行区間を第３の色で表示する、ようにされてもよい。これにより、運転者は、走行ルートの手動運転区間、自動運転から手動運転への引継ぎ区間、自動運転からの注意走行区間および自動運転可能区間を視覚的に見る事が出来る。しかしながら該当ルート区間を常に利用して各区間の平均通過速度などの感覚を得ていない場合、地図上に区間表示したのみでは運転介在復帰が必要なポイントに到達するまでの時間的な感覚は経験則に任され、引き継ぎ点までに何かできるか時間的余裕度を直感的に知る事が困難である。
　そのために、従来は自動運転の最大利点である２次タスクの作業中でも常に復帰地点の事を優先して意識におく必要があり、２次タスクの実行阻害となると同時に、結局のところ必要もない期間の注意継続を強いられることで結果的にいざ復帰に際して注意力アップが求められた際、その間の２次タスク活動で既に長期注意した緊張状態が続くと、知覚認知感覚が麻痺し、復帰に対する注意が曖昧となる。しかし、各現在地点から各引継ぎ地点までの到達予測時間が時間軸として直感的に常に更新表示される事で、安心した２次タスクの実行とタイムリーな通知と併用する事で復帰ポイントが常に適宜事前に分かり、容易に且つタイムリーに引き継ぎ点の認識が可能となる。
　また、例えば、表示制御部は、現在地点から第１の地点までの第１の区間は、第１の時間軸で表示し、この第１の地点から第２の地点までの第２の区間は、第１の時間軸からこの第１の時間軸に対して所定の比率で縮小された第２の時間軸まで順次変化した時間軸で表示し、第２の地点から第３の地点までの第３の区間は第２の時間軸で表示する、ようにされてもよい。これにより、運転者は、限られた表示スペースで、時間的に直近の区間情報を詳細に知ることができると共に、時間的により遠くまでの区間情報を知ることが可能となる。
　この場合、例えば、表示制御部は、第１の区間は、第１の幅で表示し、第２の区間は、第１の幅からこの第１の幅に対して狭い第２の幅まで順次変化した幅で表示し、第３の区間は、第２の幅で表示する、ようにされてもよい。これにより、運転者は、第１の区間に対する第２の区間および第３の区間の時間軸の縮小の程度を視覚的に且つ直感的に認識することが可能となる。
　また、この場合、例えば、第３の区間において、運転車介在必要区間が実際には一定時間長以下である場合であってもこの一定時間長で表示する、ようにされてもよい。これにより、時間軸が大きく縮小されている第３の区間において、短期間の運転車介在必要区間を運転者が容易に認識可能に表示することが可能となる。
　また、例えば、表示制御部は、表示された各区間において指定された地点に関連した情報をさらに表示する、ようにされてもよい。これにより、運転者は、各区間において任意の地点を指定し、その地点に関連した情報を取得することが可能となる。
　また、例えば、表示制御部は、新たに発生した運転車介在必要区間を既存の運転車介在必要区間と識別可能に表示する、ようにされてもよい。この場合、例えば、点滅表示されたり、あるいは別色で表示されたりする。これにより、運転者は、新たに発生した運転車介在必要区間を容易に認識可能となり、追加事象発生前に予定していた走行プラニングに対して対処や変更するべき予定を明示的に把握できる。
　また、例えば、表示制御部は、運転者介在必要区間が現在地点から一定時間の範囲内に入ったとき、この運転者介在必要区間を強調表示の状態とする、ようにされてもよい。この場合、例えば、点滅表示されたり、別色で表示されたり、あるいは移動速度が実際より早く見える錯覚表示、例えば波打ち表示がされたりする。これにより、運転者は、運転者介在必要区間が現在地点から一定時間の範囲内に入ったことを容易に認識可能となる。動的表示の点滅表示は、人の動体視力を刺激する作用があり、注意喚起に有効な手段を用いた方法である。
　また、例えば、表示制御部は、各区間の表示を作業ウインドウと並列に表示する、ようにされてもよい。これにより、作業ウインドウで作業を行っている運転者は、走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で容易に認識可能となる。同一の機器を用いて２次タスクをおこなう場合、マルチタスクが実行可能な表示装置であることが望ましく、タブレット端末やスマートフォン端末の場合でのサブウィンドウとしての表示であってもよく、ビデオ・プレイヤーやゲーム端末、テレビ電話会議システム等でもよい。
　このように本技術においては、走行ルート情報および交通情報に基づいて、走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で表示デバイスに表示するものである。そのため、運転者に走行ルートの当面走行する区間情報を適切に提供できる。これら表示更新方法は、運転者が区間接近情報を正確に把握し且つ意識をもって行う必要がある。しかし、他方では情報が常に視界に表示が更新表示されていると、運転者の認知機能は、光として情報は目に入り込むがその表示情報の内容に付いて意識除外するフィルタリングが働くこともある。運手者による常に表示される情報のフィルタリング効果は、情報を見逃す要因の一つとなるが、運転者とのインタラクティブ確認応答手順を導入する事で低減や回避できる。
　本技術によれば、運転者に予定走行ルートの一定時間の運転介在が必要な区間の詳細且つタイムリーな情報を適切に提供できる。そしてその間接的であるが重要な効果として、自動運転が可能な区間や手動運転が求められる区間や注意下なら自動運転通過可能区間で車両を自動運転モードで走行した車両が高確率で的確に運転者の運転介在復帰が実現される結果、自動運転の走行が可能な環境が斑に導入されたインフラ環境であって自動運転車両の導入が道路インフラの正常な利用を阻害することなく導入できる効果もさらには期待される。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
車両制御システムの構成例を示すブロック図である。 自車の外部情報を検出するための各種センサの設置例を示す図である。 自動運転制御部における自動運転の手動引継ぎシーケンスの一例を概略的に示す図である。 自動運転の手動引継ぎシーケンスのさらに詳細な例を示す図である。 車両制御システムを備える自動運転対象車両の動作概要を示すフローチャートである。 運転者により目的地が設定されることで決定された自動運転可否区間が斑に設定され、または発生した走行ルートの一例を示す図である。 走行ルートにおける走行区間表示のための情報処理を説明するための図である。 最終的に表示される走行区間表示の一例を示す図である。 時間経過に伴う走行区間表示の変化例（スクロール例）を示す図である。 タブレット端末機器（以下単に「タブレット」と記す）の画面上に表示される走行ルートにおける走行区間表示の一例を示す図である。 運転者が実際にタブレットを用いて２次タスクを実行している状態の一例を示す図である。 第２区間に新たに注意走行区間Ｓｄが発生し、点滅表示で運転者に警告している状態を示す図である。 タブレットの画面上に小ウインドウがポップアップ表示されている状態を示す図である。 小ウインドウに表示される情報の一例を示す図である。 タブレットの画面上に走行区間表示が表示されている状態で、運転者介在必要区間が現在地点から一定時間の範囲内に入ったときの強調表示（波打ち表示）を示す図である。 波打ち表示を実施する表示例を示す図である。 波打ち表示を実施する他の表示例を示す図である。 タブレットの画面上に走行区間表示が表示されている状態で、さらにマイルストーン・ポイント等の表示がされる例を示す図である。 タブレットの画面上に走行区間表示が表示されている状態で、さらに運転者（ユーザ）の選択操作に応じて２次タスクの作業画面と地図画面とを切換表示し得る例を説明するための図である。 端末に表示される引継ぎ通知や再開復帰点指定スライダーメニューの一例を示す図である。 端末に表示される再開復帰点指定スライダーメニューや２次タスク実施者の認知応答がない場合における２次タスク実行ウインドウの縮小化等の表示の一例を示す図である。 端末に表示される作業再開点を指定するスライダーメニューの表示の一例を示す図である。 引き継ぎ通知判定を受け取った場合におけるシステムの処理手順の一例を示すフローチャート（１/２）である。 引き継ぎ通知判定を受け取った場合におけるシステムの処理手順の一例を示すフローチャート（２/２）である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［自動運転制御システムの構成］
　図１は、実施の形態としての車両制御システム１００の構成例を示している。なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車または自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、および、自動運転制御部１１２を備える。
　入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、および、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、または、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、および、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線もしくはその他の電波を利用したリモートコントロール装置、または、車両制御システム１００の操作に対応したモバイル機器もしくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、および、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、もしくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、および、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候または気象等を検出するための環境センサ、および、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　例えば、図２は、自車の外部情報を検出するための各種のセンサの設置例を示している。撮像装置７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。
　フロントノーズに備えられる撮像装置７９１０および車室内のフロントガラスの上部に備えられる撮像装置７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像装置７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像装置７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像装置７９１８は、主として先行車両または、歩行者、障害物、信号機、交通標識または車線等の検出に用いられる。また、今後自動運転においては車両の右左折の際により広域範囲にある右左折先道路の横断歩行者やさらには横断路接近物範囲まで拡張利用をしてもよい。
　なお、図２には、それぞれの撮像装置７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像装置７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像装置７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパまたはバックドアに設けられた撮像装置７９１６の撮像範囲を示す。例えば、撮像装置７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像、さらには車両周辺部を湾曲平面で囲う全周囲立体表示画像などが得られる。
　車両７９００のフロント、リア、サイド、コーナおよび車室内のフロントガラスの上部に設けられるセンサ７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサまたはレーダであってよい。車両７９００のフロントノーズ、リアバンパ、バックドアおよび車室内のフロントガラスの上部に設けられるセンサ７９２０，７９２６，７９３０は、例えばＬｉＤＡＲであってよい。これらのセンサ７９２０～７９３０は、主として先行車両、歩行者または障害物等の検出に用いられる。これら検出結果は、さらに前記俯瞰表示や全周囲立体表示の立体物表示改善に適用をしてもよい。
　図１に戻って、また、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、および、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面またはステアリングホイール等に設けられ、座席に座っている搭乗者の着座状態またはステアリングホイールを握っている運転者の生体情報を検出する。生体信号としては心拍数、脈拍数、血流、呼吸、心身相関、視覚刺激、脳波、発汗状態、ドリフト、頭部姿勢挙動、眼、注視、瞬き、サッカード、マイクロサッカード、固視、凝視、虹彩の瞳孔反応など多様化可観測データが利用可能である。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、または、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（および、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、または、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局またはアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワークまたは事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバまたは制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者もしくは店舗の端末、または、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、および、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制または所要時間等の情報を取得する。なお、通信部を通して先導車両となり得る区間走行中前方走行車両とペアリングを行い、前方車搭載のデータ取得部より取得された情報を事前走行間情報として取得し、自車のデータ取得部１０２のデータと補完利用をしてもよく、特に先導車による隊列走行などで後続隊列のより安全性を確保する手段となる。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器（タブレット、スマートフォンなど）もしくはウェアラブル機器、自車に搬入され、もしくは取り付けられる情報機器、および、任意の目的地までの経路探索を行うナビゲーション装置等を含む。なお、自動運転の普及でかならずしも乗員は着座固定位置に固定されないことを考慮すれば、将来的にはビデオ再生器やゲーム機器やその他車両設置から着脱利用が可能な機器に拡張利用してもよい。本実施例では、運転者の介在必要地点の情報呈示を該当する運転者に限定した例をして記述をしているが、情報提供はさらに隊列走行等で後続車への情報提供をしてもよいし、更には旅客輸送相乗りバスや長距離物流商用車の運行管理センターに常時情報を上げる事で、適宜遠隔での走行支援と組み合せ利用をしてもよい。
　出力制御部１０５は、自車の搭乗者または車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）および聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報および聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像またはパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音または警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者または車外に対して、視覚情報または聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関または駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、および、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、および、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行または運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、または、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、および、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータまたは信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、および、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。
　また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、および、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車外情報検出部１４１が取得する情報は、走行区間が重点的に自動運転の走行が可能な区間として常時更新されたローカルダイナミックマップがインフラより供給された区間であれば、主にインフラによる情報供給を受ける事が可能となり、または該当区間を先行走行する車両や車両群より区間侵入に先立ち事前に常に更新を受けて走行をすることがあってもよい。また、インフラより常時最新のローカルダイナミックマップの更新が行われていないばあいなど、取り分け隊列走行などでより安全な侵入区間直前での道路情報を得る目的で、区間侵入先導車両から得られる道路環境情報を補完的にさらに利用しても良い。自動運転が可能である区間であるかは多くの場合、これらインフラより提供される事前情報の有無により決まる。インフラより提供されるルート上の自動運転走行可否情報はいわゆる情報として見えない軌道を提供していることに等しい。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータまたは信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理および認識処理、運転者の状態の検出処理、搭乗者の検出処理、および、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。
　さらに、自動運転において運転者は運転操舵作業から完全に離脱した利用が将来的に想定され、運転者は一時的な居眠りや他の作業に取り掛かり、運転復帰に必要な意識の覚醒復帰がどこまで進んでいるかシステムが把握する必要が出てくる。つまり、従来考えられていたドライバモニタリングシステムでは眠気などの意識低下を見る検出する手段が主であったが、今後は運転者が運転操舵に全く介在していない状態となるため、システムは運転者の運転介在度合いを観測する手段がなくなり、運転者の正確な意識状態が未知の状態から、運転に必要は意識復帰推移を観測し、その正確な運転者の内部覚醒を把握した上で操舵の自動運転から手動運転への介入譲渡を進める必要がある。
　そこで、車内情報検出部１４２には主に大きな２段階の役割があり、一つ目の役割は自動運転中の運転者の状態のパッシブ監視であり、二つ目の役割はいざシステムより復帰の要請が出された以降、注意下運転の区間到達までに手動運転が可能なレベルまで、運転者の周辺認知、知覚、判断とさらには操舵機器の作動能力の検出判断である。制御として更に車両全体の故障自己診断を行い、その自動運転の一部機能故障で自動運転の機能低下が発生した場合も同様に運転者による早期手動運転への復帰をうながしても良い。ここでいうパッシブモニタリングとは、運転者に意識上の応答反応を求めない種類の検出手段をさし、物理的な電波や光等を機器から発信して応答信号を検出する物を除外するものではない。つまり、仮眠中など意識下での認知応答反応でない事をパッシブ方式としている。
　検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５に供給する。なお、システムによる運転者へ運転復帰指示が出た後に運転者が的確な期限時間内に手動運転が達成できない事が判明し、自運転のまま減速制御を行って時間猶予をおこなっても引継ぎが間に合わないと判断された場合は、システムの緊急事態回避部１７１等に指示を出し、車両を退避の為に減速、退避・停車手順を開始する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータまたは信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無および内容、運転操作の状態、パワーシートの位置および傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、および、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータまたは信号に基づいて、自車の位置および姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。
　自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車および周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４および学習部１５５を備える。
　マップ解析部１５１は、自己位置推定部１３２および車外情報検出部１４１等の車両制御システム１００の各部からのデータまたは信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、および、マップ解析部１５１等の車両制御システム１００の各部からのデータまたは信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置および状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、および、マップ解析部１５１等の車両制御システム１００の各部からのデータまたは信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、および、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、自車の運動特性を決定付ける貨物積載量や貨物積載に伴う車体の重心移動、タイヤ圧、ブレーキ制動パッド摩耗状況に伴う制動距離移動、積載物制動に引き起こす貨物移動防止の許容最大減速制動、液体搭載物に伴うカーブ走行時の遠心緩和限界速度など車両特有、更には積載貨物特有条件とさらには路面の摩擦係数や道路カーブや勾配など、全く同じ道路環境での車両自体の特性、さらには積載物等によっても制御に求められるタイミングは異なるため、それら多様な条件の収集を行い学習して制御を行う最適タイミングに反映する必要がある。単純に自車両の異常の有無および内容等を観測モニタリングすれば良い内容ではない。
　認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類および位置、周囲の動物体の種類、位置および動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成および路面の状態、並びに、周囲の天候、気温、湿度、および、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。車両を安全に走行させるという事は、その車両の固有の状態で搭載している積載量や搭載部の車台固定状態、重心の偏重状態、最大減速可能加速値、最大負荷可能遠心力、運転者の状態に応じて復帰応答遅延量などに応じて、対処が求められる制御開始ポイントが大きく異なってくる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２および状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２および状況認識部１５３等の車両制御システム１００の各部からのデータまたは信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、および、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、および、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、および、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動および体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２および状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。
　学習部１５５は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習し、その学習情報を状況認識部１５３等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。
　ルート計画部１６１は、マップ解析部１５１および状況予測部１５４等の車両制御システム１００の各部からのデータまたは信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、および、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１および状況予測部１５４等の車両制御システム１００の各部からのデータまたは信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、および、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
　動作計画部１６３は、マップ解析部１５１および状況予測部１５４等の車両制御システム１００の各部からのデータまたは信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、および、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２および方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、および、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２および方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３または緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、または、急停車を実現するための駆動力発生装置または制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。なお、緊急事態が発生し得るケースは主に２つある。つまり、自動運転中の走行ルートで本来ならインフラより取得したローカルダイナミックマップ等で安全とされていた道路を自動運転中に突発的な理由で予想外の事故が発生し、緊急復帰が間に合わないケースと、自動運転から手動運転に運転者が的確に復帰することが困難になるケースがある。
　方向制御部１７３は、動作計画部１６３または緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３または緊急事態回避部１７１により計画された走行軌道または急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　「自動運転の手動引継ぎシーケンス」
　図３は、自動運転制御部１１２における自動運転の手動引継ぎシーケンスの一例を概略的に示している。ステップＳ１では、運転者は、運転操舵から完全離脱の状態にあることが将来的にはあり得る。この状態で、運転者は、例えば、仮眠、あるいはタビデオ鑑賞、ゲームに集中、タブレット、スマートフォン等の視覚ツールを用いた作業などの２次タスクを実行できる。タブレット、スマートフォン等の視覚ツールを用いた作業は、例えば、運転席をずらした状態で、あるいは運転席とは別の席で行うことも考えられる。
　これら運転者の状態次第では、ルート上の手動運転復帰が求められる区間に接近した際に、運転者が復帰するまでの時間はその時々の作業内容により大きく変動する事が想定され、事象接近の直前の通知では復帰までに時間が不足したり、事象接近に対して余裕をみたあまりにも早めに通知をした場合、実際に復帰に必要なタイミングまでの時間が長く空き過ぎたりすることが発生する。その結果、的確なタイミングで通知が行われない状況が繰り返し起こると、運転者はシステムの通知タイミングに対するタイミングの信頼性が失われ、通知に対する意識が低下して、結果的に運転者の的確な対処がおろそかになる、その結果、引き継が上手く行われないリスクが高まると同時に、安心した２次タスク実行の阻害要因にもなる。そこで、運転者が通知に対する的確な運転復帰の対処を開始するには、通知タイミングの最適化をシステムが行う必要がある。
　ステップＳ２では、復帰通知のタイミングとなり、運転者に対して、視覚的あるいは聴覚的に運転復帰が通知される。自動運転制御部１１２では、例えば、運転者の定常状態がモニタリングされて、通知を出すタイミングを把握され、適宜なタイミングで通知がなされる。つまり、前段のパッシブモニタリング期間で運転者の２次タスクの実行状態が常時パッシブにモニタリングされ、通知の最適タイミングをシステムは算出する事ができ、ステップＳ１の期間のパッシブモニタリングを常時継続的に行って最適復帰タイミングと復帰通知方法は、運転者の固有復帰特性に合わせ行うのが望ましい。
　つまり、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミング学習して、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求めた最適タイミングを運転者へ提示するのが望ましい。この場合、通知に対して運転者が一定時間の間に応答しなかった場合には、アラームの鳴動などによる警告がなされる。
　ステップＳ３では、運転者が、着座復帰したか確認される。ステップＳ４では、サッケード等により、運転者の内部覚醒度状態が確認される。ステップＳ５では、運転者の実操舵状況の安定度がモニタリングされる。そして、ステップＳ６では、自動運転から手動運転への引継ぎが完了した状態となる。
　図４は、自動運転の手動引継ぎシーケンスのさらに詳細な例を示している。ステップＳ１１では、タブレット、スマートフォン等の視覚ツールへ復帰ポイントの予測が視覚的に提示される。ただし、表示はこれら視覚ツールに限定をする必要はなく例えば車両のセンターインフォメーションディスプレイなど、運転から離脱運転者の２次タスク実行中の視野に入る表示形態が望ましいい。詳細は、後述するが、前方予定と接近情報の提示がなされ、復帰ポイントは時間経過とともに自車に迫ってくるように表示される。
　ステップＳ１２では、ＬＤＭ（Local Dynamic Map）の更新等によって前方予定と接近情報の提示内容が適宜変更される。また、このステップＳ１２では、運転者の状態が定期的にモニタリングされる。ステップＳ１３では、運転者に対して、現在地点から一定時間内に入った復帰ポイントが点滅表示、あるいは波打ち表示等の強調表示がされ、運転者に対して通知される。このステップＳ１３の通知発行するタイミングは、この前段で定期的モニタリングしていた検出結果に応じて、つまり運転者が仮眠や２次タスクによる運転からの離脱の深さに応じて早く実行する事で復帰が間に合うように調整される。
　ステップＳ１４では、運転者が通知に対して無反応であれば、目覚め用のアラームを鳴らすようにされる。ステップＳ１５では、運転席に不着座であれば、運転者に対して、視覚的あるいは聴覚的に復帰するように通知される。ステップＳ１６では、着座の復帰遅れがある場合、警報用のアラームが鳴動される。ステップＳ１７では、例えば、運転者が、前方確認の指差し合図が、復帰開始としてモニタリングされる。
　ステップＳ１８では、着座姿勢が確認される。ステップＳ１９では、例えば視線詳細解析等の手段を用いて運転者の脳内内部知覚状態の回復を検出するためにサーケードや固視と言った知覚反射等による運転者の内部覚醒度が判定される。ステップＳ２０では、運転者に運転操舵権限を順次委ね、その実操舵反応の応答操舵状況を観測しながら操舵を委ね、その操舵安定度がモニタリングされる。
　この安定度をモニタリング観測した結果、万が一運転者が期待される程度に主体的運転操舵復帰が検出されない場合は、まだ夢見状態の延長であったりするリスクをはらむ事を意味する。そこでステップＳ２１では、正常復帰不可能と見込まれたら、緊急引き継ぎが失敗したものとされ、減速徐行退避シーケンスが開始される。
　これら復帰に掛る時間的推移は、運転者の年齢や経験、疲労度など様々な要因で変わるため、個人に応じた復帰タイミングで定まる。運転者が自動運転から手動運転に復帰を求められた場合、ほぼ確実に手動運転に復帰出来るには少なくとも一定の時間を要する。車両特性や道路特性、更には個人の運転復帰特性に応じた最適タイミング通知を行う構成がもっとも望ましく、引き継ぎ点の接近状況が連動して表示される事で運転者は安心をして２時タスクを許容状況に応じて利用できる利便性を得ると同時に、緊張とリラックス状態の一方が交互に出現する事から人間工学的にみて利用者は適宜必要な区間毎に注意復帰が実現して利用に繋がる。言い換えれば、不必要な連続的注意緊張状態から解放される。
　これら手順の最大の効果は、利用者における緊張と緩和状態での２次タスクのバランスを取り得ることにある。結果的に緊張状態が持続する事で神経が疲れ結果的に途中から眠気などで注意散漫状態に推移するなどのリスクが低減でき、長期持続運用上の効果がある。なお、その効果を最大化するには、長距離に跨り運転者介在を要しない区間であっても、途中途中運転者の緊張復帰が望ましい場合は、途中でダミーイベントを発生し、運転者によるダミーイベントへの復帰度合いに応じて運手者の復帰レベル評価と運転者の適性反応評価を行い、その復帰度合い評価値の記録保存を更におこなっても良い。
　「自動運転対象車両の動作概要」
　図５のフローチャートは、上述の車両制御システム１００を備える自動運転対象車両の動作概要を示している。ステップＳ３１において、動作が開始される。次に、ステップＳ３２において、運転者により入力部１０１が操作されて、目的地が設定される。この場合、インスツルメンツパネルの表示に基づいて運転者の入力操作が行われる。
　なお、本実施例としては車両に乗車して旅程設定を想定した場合の事例を説明しているが、車両に乗車する前に事前にスマートフォンや自宅を出る前にパソコンより遠隔事前予約設定するなどを行ってもよく、更にはスケジュール表に則って車のシステムが運転者の想定したスケジュールに沿ってプリプラニング設定を行い、道路環境のＬＤＭ情報などを更新取得して乗車時やその前にコンシエルジュ的に実際の走行アドバイス表示などを行ってもよい。
　次に、ステップＳ３３において、走行ルート上の走行区間表示が開始される。この走行区間表示は、インスツルメンツパネルに表示される他、例えば、運転者が２次タスクを行うタブレット等にも作業ウインドウと並べて表示される。これにより、作業ウインドウで作業を行っている運転者は、走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で容易に認識可能となる。
　この走行区間表示では、前方予定と各地点への接近情報の提示がなされる。この走行区間表示においては、走行ルートの運転者介在必要区間および自動運転可能区間が、現在地点からの到達予測時間軸で表示される。そして、運転者介在必要区間には、手動運転区間、自動運転から手動運転への引継ぎ区間および自動運転からの注意走行区間が含まれる。この走行区間表示の詳細については、後述する。
　次に、ステップＳ３４において、ＬＤＭ更新情報の取得が開始される。このＬＤＭ更新情報の取得に伴って、走行区間表示の内容を最新の状態に変更可能となる。次に、ステップＳ３５において、走行が開始される。次に、ステップＳＴ３６において、自車の位置情報と取得ＬＤＭ更新情報に基づいて、走行区間表示の表示が更新されていく。これにより走行区間表示は、走行に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。
　次に、ステップＳ３７において、運転者状態のモニタリングがされる。そして、ステップＳ３８において、運転者状態の変更が必要か判断される。例えば、現在自動運転可能区間にあって運転者が運転操舵から完全離脱状態にある状態で、運転者介在必要区間が接近してきた場合には、運転者を運転操舵状態に早期に復帰させることが必要となる。
　運転者状態の変更が必要でないときは、ステップＳ３６の動作に戻る。一方、運転者状態の変更が必要であるときは、ステップＳ３９において、運転者に対して、通知し、さらにその通知に無反応であるときは、警告（アラーム）が発生される。この通知や警告に運転者が反応することで、ステップＳ３６の動作に戻る。
　なお、図５のフローチャートには表れていないが、例えば、運転者介在必要区間が迫ってきている段階で、運転者が運転操舵状態に設定猶予予定時間内に復帰することが不可能と見込まれる場合には、例えば、減速徐行退避シーケンスが開始され、引き継ぎ点への到達時間を遅らせて時間猶予を生成するとともに、それでも復帰が望めない際には車両は更に緊急で路肩や避難地点へ退避走行し停止される。減速徐行で引継ぎ地点到達を遅らせるかは、該当道路に許容される渋滞発生インパクトや退避所の有無や、交通ボトルネック区間であるかなどのインフラ要因や該当時点での交通量など様々な要因で望ましい状態が発生するため、路車間協調で最適な制御に応じた対応が望ましいが、本明細書にて表示形式に主眼をおいているため、時間軸の設定に影響する車両制御については詳細な記述はしていない。
　「走行区間表示の詳細」
　図６は、運転者により目的地が設定されることで決定された走行ルートの一例を示している。この走行ルートには、自動運転可能区間Ｓａと、手動運転区間Ｓｂと、自動運転から手動運転への引継ぎ区間Ｓｃと、自動運転からの注意走行区間Ｓｄが存在する。ここで、引継ぎ区間Ｓｃは手動運転区間Ｓｂの直前に必ず存在し、運転者は手動運転への復帰体勢にあることが必要となる。また、注意走行区間Ｓｄは、手動運転への復帰体勢にある運転者の注意監視下において自動運転のまま減速して走行が可能な区間である。
　図示の例において、自動運転可能区間Ｓａは緑色で示され、手動運転区間Ｓｂは赤色で示され、引継ぎ区間Ｓｃおよび注意走行区間Ｓｄは黄色で示されている。なお、便宜上、各色は別々の模様で表している。
　センターインフォーメーションディスプレイやタブレット等の表示デバイスにおける走行区間表示にあっては、上述したような走行ルートの各区間が、現在地点からの到達予測時間軸で表示される。自動運転制御部１１２は、走行ルート情報および交通情報に基づいて走行ルートにおける走行区間表示のための情報処理をする。
　図７（ａ）は、走行ルートの各区間を現在地点からの移動距離軸で一定のスケールで表している。図７（ｂ）は、各地点における平均的道路交通の流れ速度ｖ（ｔ）を表している。図７（ｃ）は、移動距離軸で表されている各区間を、速度ｖ（ｔ）を用いて時間軸に変換したものである。これにより、走行ルートの各区間は、現在地点からの到達予測時間軸で表されるものとなる。つまり、走行ルートの物理的距離を該当区間毎の平均速度で除算した時間軸で表す事が出来る。
　この実施の形態においては、走行区間表示される全区間を、図７（ｄ）に示すように３つの区間に分割し、各区間の時間軸を変化させている。すなわち、現在地点から第１の地点（時間ｔ０、例えば１０分程度）までの第１の区間は、時間リニア表示直近区間として、第１の時間軸で表示する。例えば、時間ｔ０は、一般的な運転者が２次タスクを終了して運転復帰するまでに必要十分な時間に設定される。走行により接近する直近区間はあたかも一定速度で進む地図上に示すのと同等の視覚的直感効果が有るため、運転者は事象接近に伴う的確な運転復帰の準備を開始でき、ある程度正確に復帰を開始するポイントが感覚的に把握できるメリットがある。つまりこの区間の表示目的は運手者の的確復帰ポイントの開始判断情報を利用者に提供することにある。
　また、第１の地点（時間ｔ０）から第２の地点（時間ｔ１、例えば１時間程度）までの第２の区間は、時間の逆数表示区間として、第１の時間軸からこの第１の時間軸に対して所定の比率で縮小された第２の時間軸まで順次変化した時間軸で表示する。この第２の区間の表示目的は、主に先の第１の区間と同等スケール倍率で表示をすると、狭い表示スペースに長期期間の表示が困難となるため、より長期期間の道路状況を狭い表示で運転者に正確に提供する工夫となる。こうすることで、運転者は走行に伴いある一定の先の区間で何処までの地点は運転介在が求められないで済むかを把握が容易に出来る様になり、２次タスクへの従事を計画的に行えるメリットがある。運転介在のメリハリが付き、また第三者とのやり取りに伴う２次タスクなどでは運転者の２次タスクからの解放プラニング等での重要な情報呈示の役割を果たす。
　ここで、図７（ｄ）において、この第２の表示区間の設定方法について記述する。三角形の高さをｈ０としたとき、その先端からｈだけ手前の地点の時間ｔは、以下の（１）式で求められる。
　ｔ＝ｔ０*ｈ０/ｈ　　　・・・（１）
　また、第２の地点（時間ｔ１）における第２の時間軸は、第１の時間軸に対して、ｈｓ/ｈ０の比率で縮小されたものとなる。例えば、ｈｓ＝ｈ０/８である場合、縮小率は、１/８ということになる。
　以上に示す第２の表示区間の表示は、車速が一定で走行している場合であれば、地図上の走行直線伸張表示区間を進行方向に斜め傾けた地図を見た表示、または道路平面前方を斜めみした状態に相当する。言い換えれば、この表示区間の視覚的効果が表示像高位置で遠近が直感的にわかるため、画面上に正確な位置表示の目盛等を表示しなくとも感覚的距離が把握容易にできる表示とも言える。そして遠方の区間は縮小されるが、走行で直ぐ到達する地点ではないため、大凡の予測は重要となるが、近傍点程厳密な到着時刻情報を運転者が感覚的に把握する必要ではないため、２次タスク実行計画をする上でも好適である。
　また、第２の地点（時間ｔ１）から第３の地点（時間ｔ２）までの第３の区間は、時間リニア表示遠方区間として、第２の時間軸（縮小率ｈｓ/ｈ０）で表示する。このように３つの区間に分割して表示することで、運転者は、限られた表示スペースで、時間的に直近の区間情報の詳細に知ることができると共に、時間的により遠くまでの区間情報を知ることが可能となる。なお、第２区間の表示形態のままで遠方部を表示すると、人の視覚分解能、更にはシステムの表示分解能限界以下となり、２次タスクの計画判断に必要な情報が判別できなくなり、表示機能の意味が失われる。そこで、直感的に時間の区間感覚が十分把握でき、必要な介在区間、不必要区間区分が適切に表示される程度の段階で表示スケールの縮小を終え、それ以降の区間はまた一定スケールに戻した表示を行うのが最も効果的は表示となる。
　なお、車両制御システム１００は、時間ｔ０、ｔ１、ｔ３のデフォルト値を備えている。長距離運転と近距離運転とで時間ｔ０、ｔ１、ｔ３の値を別にすることも考えられるので、デフォルト値は１つに限定されるものではなく、複数種類を備えていて、運転者（ユーザ）あるいはシステムが走行ルートに応じて選択的に用いるようにされてもよい。また、時間ｔ０、ｔ１、ｔ３の値を、運転者（ユーザ）が任意に設定できるようにすることも考えられる。
　図８（ａ），（ｂ）は、最終的に表示される走行区間表示の一例を示している。なお、矢印の長さにより、時間軸がリニアであるか否か、さらには時間軸の縮小率の変化が示されている。図８（ａ）の場合には、第１の区間、第２の区間および第３の区間の全ての区間が第１の幅のままで表示されている。
　一方、図８（ｂ）の場合には、現在地点から第１の地点（時間ｔ０）までの第１の区間は、第１の幅で表示され、第１の地点（時間ｔ０）から第２の地点（時間ｔ１）までの第２の区間は、第１の幅からこの第１の幅に対して狭い第２の幅まで順次変化した幅で表示され、第２の地点（時間Ｔ１）から第３の地点（時間Ｔ２）までの第３の区間は、第２の幅で表示される。これにより、運転者は、第１の区間に対する第２の区間および第３の区間の時間軸の縮小の程度を視覚的に認識することが可能となる。つまり、図７での表示形態は進行方向の縮小率のみを配慮した表示であるが、さらに表示情報の進行方向に対する横断横幅を擬似的に遠近に合わせて幅を変える事で、道路や地図の進行に沿って無限方向に向かって見るのと同じ遠近効果が得られ、運転介在必要区間の分布が画面を一瞬みるだけより直感的に把握が容易となる。特に、第２の区間のみを反時計代わりに回転して見た場合、あたかも一定速度で走行した場合の道路前方の道路幅と各該当地点の到達時間に匹敵するので、正確な位置メモリを目視判断しなくても、各地点までの到達実感が直感的に把握でき、時間配分が可能となる表示形態といえる。
　なお、例えば第３の区間のように縮小率ｈｓ/ｈ０が小さな部分では、短い時間長の区間をそのままの時間長で表示すると、その区間が非常に細く表示され、運転者の認識が困難となることが予想される。そのため、運転者介在区間（手動運転区間、引き継ぎ区間、注意走行区間）が実際には一定時間長以下である場合であっても、一定時間長で表示するようにされる。この場合、例えば、引き継ぎ区間と手動運転区間が連続している場合、引き継ぎ区間の表示は省略されることもある。図８（ａ），（ｂ）において、第３の区間の最初の手動運転区間Ｓｂの表示は、そのような状態を示している。これにより、時間軸が大きく縮小されている第３の区間において、短い時間長の運転車介在必要区間を運転者が認識可能に表示することが可能となる。
　また、第３の区間のように縮小率ｈｓ/ｈ０が小さな部分では、手動運転区間Ｓｂが間欠的に短い周期で連続する場合、全体が繋がった手動運転区間Ｓｂとして表示される。図８（ａ），（ｂ）において、第３の区間の２番目の手動運転区間Ｓｂの表示は、そのように繋がれて表示された状態を示している。このように表示された手動運転区間Ｓｂは、実際には、図８（ｃ）に示すように、手動運転区間Ｓｂの他に、短い期間の引継ぎ区間Ｓｄおよび自動運転可能区間Ｓａが含まれている。なお、後述するように、タブレット等に走行区間表示がされている状態で当該地点が例えばダブルタッチされることで、詳細表示が可能とされる。
　上述の走行ルートにおける走行区間表示は、自車の位置情報と取得ＬＤＭ更新情報に基づいて、更新されていく。これにより走行区間表示は、時間経過に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。図９（ａ）～（ｄ）は、時間経過に伴う走行区間表示の変化例を示している。この例は、第２の区間が先細りに表示されている例を示しているが、全ての区間が同じ幅で表示される場合も同様である。
　この場合、第１の区間では、各区間の移動が早い。また、第２の区間では、第３の区間側から第１の区間側にいくほど、時間軸の縮小が小さくされているので、各区間の移動が早くなっていく。また、第３の区間では、時間軸の縮小が大きくなっているので、各区間の移動は遅い。
　図１０（ａ），（ｂ）は、タブレット３００の画面上に表示される走行ルートにおける走行区間表示２００の一例を示している。図１０（ａ）は、タブレット３００を縦長で使用する場合の例である。この場合、走行区間表示２００は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット３００で行われる２次タスクの実行画面である作業ウインドウと並列に表示される。図１０（ｂ）は、タブレット３００を横長で使用する場合の例である。この場合も、走行区間表示２００は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット３００で行われる２次タスクの実行画面である作業ウインドウと並列に表示される。なお、図示の例では、タブレット３００の画面上に走行区間表示２００が折り曲げた状態で配置されているが、配置スペースが十分にとれる場合には直線的に配置することも考えられる。
　図１１は、運転者が実際にタブレット３００を用いて２次タスクを実行している状態の一例を示している。この例は、タブレット３００は横長で使用されている。タブレット３００の画面には、左辺から上辺に沿って折れ曲がった状態で走行区間表示２００が表示されている。なお、この走行区間表示２００を画面上に出すか否かを運転者（ユーザ）の操作で選択的に行うようにされてもよい。その場合、例えば、走行区間表示２００が画面上に出ていない場合に、運転者介在必要区間が一定時間内に入ってきて、運転者に通知する場合には、自動的に、走行区間表示２００が画面上に出てくるようにされてもよい。
　タブレット３００の画面上に走行区間表示２００が表示されている状態で、その表示区間中に新たに運転者介在必要区間が発生した場合、その新たに発生した運転者介在必要区間の表示が新たに発生する。この場合、この新たに発生した運転者介在必要区間は、他とは識別可能に、例えば一定時間の点滅表示が行われる。この点滅表示は、注意アラーム音を伴ってなされてもよい。ここで、新たに運転者介在必要区間が発生した場合には、注意走行区間や手動運転区間が新たに発生した場合の他、注意走行区間から手動運転区間に変更になった場合も含まれる。
　図１２は、第２区間に新たに注意走行区間Ｓｄが発生し、点滅表示で運転者に警告している状態を示している。なお、この場合、運転者がこの点滅表示されている注意走行区間Ｓｄの表示箇所をタッチすることで、その点滅、つまり警告状態を停止することが可能とされてもよい。あるいは、運転者がこの点滅表示されている注意走行区間Ｓｄの表示箇所をタッチすることで、小ウインドウがポップアップ表示され、承諾の画面タッチで、その点滅、つまり警告状態を停止することが可能とされてもよい。
　また、タブレット３００の画面上に走行区間表示２００が表示されている状態で、運転者（ユーザ）が任意の地点をダブルタッチして指定した場合、例えば、図１３に示すように、小ウインドウがポップアップ表示され、その地点に関連した表示がなされる。
　図１４（ａ），（ｂ），（ｃ），（ｄ）は、小ウインドウに表示される情報の一例を示している。図１４（ａ）は、小ウインドウにその地点における路面状況、天候、さらには如何なる区間であるか等が文字で表示される例である。図１４（ｂ）は、小ウインドウにその地点における地図が表示される例である。図１４（ｃ）は、小ウインドウにその地点を含む一定時間内が如何なる区間からなっているかが表示される例である。図１４（ｄ）は、う回路が表示される例である。なお、これらの表示例は一例であって、これらに限定されるものではない。また、これらの全てあるいはいくつかが運転者の操作で順次切り換え表示されてもよい。
　また、タブレット３００の画面上に走行区間表示２００が表示されている状態で、運転者介在必要区間が現在地点から一定時間の範囲内に入ったとき、この運転者介在必要区間が強調表示の状態とされ、運転者に注意喚起のための通知がなされる。運転者は、この通知に基づいて、運転復帰を速やかに行うことになる。なお、この一定時間は、運転者への運転復帰へ必要な時間的余裕度を元にタイミングが来てその開始合図としての通知を与えるものであり、運転者の性格に応じて、あるいは運転者の現在状態に応じて、さらには車両の積載制動特性等と道路の状況に応じて運転引継ぎ区間や注意走行区間が到来するまでに十分に運転復帰が可能なように、設定される。つまり、これら通知の詳細発報地点は運転者特定等の固有特性を運転者個人特性学習器にて学習し、その最適タインミングで行ってもよい。本明細書では最適復帰タイミングの個人特性の学習器の構成や学習方法に関して細述はしないが、運転者が通知を受けてから一定割合で自動運転から手動運転に正しく復帰する際の遅延時間を運転の可観測状態から推定する、学習機器である。
　強調表示の状態では、例えば、点滅表示されたり、別色で表示されたり、あるいは移動速度が実際より早く見える錯覚表示、例えば波打ち表示がされたりする。これにより、運転者は、運転者介在必要区間が現在地点から一定時間の範囲内に入ったことを容易に認識可能となる。画面の表示範囲等の関係から、通常接近表示では表示スケールが小さく、接近感が把握し辛いケースもあるが、人の目の動体視力の効果を最大限利用するには、接近箇所に早い輝度勾配の変化点をこの方法で表示画面上に生成する事ができ、運転者が２次タスクで画面の別の箇所を見て作業している場合でも、周辺視野の中で変化をとらえる事が本手法の最大の利点となる。
　図１５は、強調表示の状態として、手動運転区間Ｓｂの直前に存在する引継ぎ区間Ｓｃに波打ち表示が適用されることを示している。図１６は、波打ち表示を実施する表示例を示している。この表示例では、引継ぎ区間Ｓｃの区間長をΔｔ毎に変更することで、進行速度より早めた表示と引き戻す操作が繰り返される。また、図１７は、波打ち表示を実施する他の表示例を示している。この表示例では、引継ぎ区間Ｓｃの区間位置をΔｔ毎に変更することで、進行速度より早めた表示と引き戻す操作が繰り返される。
　また、タブレット３００の画面上に走行区間表示２００が表示されている状態で、さらに、走行区間表示２００と並行して、通過予定マイルストーン・ポイント（Milestone Point）や主要ルート名などを表示するようにされてもよい。このマイルストーン・ポイントは、システムによる推奨あるいは運転者（ユーザ）設定のいずれかとされる。図１８は、マイルストーン・ポイント等の表示例を示している。
　また、タブレット３００の画面上に走行区間表示２００が表示されている状態で、さらに、運転者（ユーザ）の選択操作に応じて、２次タスクの作業画面と地図画面とを切換表示が可能とされてもよい。図１９（ａ）は、タブレット３００の画面上に２次タスクの作業画面が表示されている。この状態で、走行区間表示２００の任意の地点をトリプルタッチした後にマップ画面アイコン「Ｍ」をタッチすることで、図１９（ｂ）に示すように、タブレット３００の画面上に当該地点の拡大マップが俯瞰表示された状態となる。
　また、このようにタブレット３００の画面上に当該地点の拡大マップが表示された状態で、タブレット３００を水平線に沿って回転させることで、図１９（ｃ）に示すように、マップ表示は斜め３Ｄ表示の状態とされる。なお、任意の地点が現在地点に対して直近の地点、例えば第１の区間内の地点である場合には、斜め３Ｄ表示はされず、図１９（ｂ）に示すような俯瞰表示が保たれる。俯瞰表示の場合接近時間が表示長さに比例し、俯瞰表示の方が接近時間を直感的に把握できるからである。タブレット３００の画面上に拡大マップが表示された状態で、作業画面アイコン「Ｔ」をタッチすることで、図１９（ａ）の状態に戻される。
　上述したように、図１に示す車両制御システム１００においては、走行ルート情報および交通情報に基づいて、走行ルートの運転者介在必要区間および自動運転可能区間が現在地点からの到達予測時間軸で表示デバイス（インスツルメンツパネル、タブレットなど）に表示される。そのため、運転者に、走行ルートの区間情報を常に適切に提供でき、運転者は複数の自動運転走行レベルが複雑に入り混じった斑な走行レベル区間であってもメリハリの利いた２次タスク実行と介在復帰を（復帰）待機ストレスがなくスムーズに且つシームレスに復帰の実行が可能となり、自動運転モードの利点を最大限に活用した長区間の走破が可能となる。そして、大局的に見ると、自動運転から手動運転の引き継ぎ失敗車両の割合を効果的に低減が出来る結果、社会インフラとしての道路の交通帯域負担と言う大きな課題に対し、自動運転を広く導入してのその負の影響を最小限に抑える事が可能となる。
　＜２．変形例＞
　「変形例１」
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　「変形例２」
　また、本明細書において、運転者が実行する２次タスクが例えば第三者を含むテレビ電話会議システムなどの場合、２次タスク中の運転者と遠隔接続する第三者は運転者が何時運転に復帰する必要があるか状況を直接は把握することは出来ない。しかし、それでは運転者がいつ２次タスクから抜けて運転に復帰する必要があるか分からないため、遠隔接続した第三者は把握出来ずに、やり取りと中断するべき状況が差し迫っているか知る事が出来ずに不具合がある。そこで、運転者が従事するテレビ会議の接続画面の反対側にいる接続相手の第三者に、運転者の復帰必要性タイミング情報を提供する事で、運転者が運転作業の２次タスクとして会議実行を行っている事を周知させことが可能となる。つまり、接続相手も運転者の復帰タイミングの状況把握をしておくことが望ましく、相手側への一部または一定の時間に跨る運転者介在復帰要求情報を通信によりシェアするようにさらに行ってもよい。
　そして、会議中でも、システムによる運転復帰要請を優先して取り組む事を可能とする為に、接続相手側へ通知、状況認知、会議継続拒否通知などの手段を取っても良い。システムによる復帰要請情報として必ず運転者と同等な情報を提示する必要はなく、音声による通知であったり、ＯＳＤ等でメッセージ表示をしたりしてもよい。更には運転者による自主的運転介在復帰が２次タスクを実行している事で遅延している場合、システムが強制的に中断を進めてもよく、さらには運転者による無理な２次タスク継続を避ける為に、システムによる復帰リクエストから運転者の復帰行動のログをトラッキング記録してもよい。つまり、自動運転中の車両運転者と遠隔接続して作業に加わった場合、該当する第三者は運転への運転者復帰を阻害する事は好ましくなく、阻害行動を起こした場合はその記録を残す事も必要となる。
　遠隔接続により２次タスクに加わった第三者が、自動運転から手動運転に運転者が復帰する必要があった場合、その状況が一時的なことであるか、またその状態が継続するか知る事で、行動制限を受けなくて済むため、利便性が高まる。そこで、自動運転車両による自動運転の運転者復帰必要性の予定表示は用途によっては更に遠隔第三者に遠隔通信で通知をしてもよい。
　本明細書において、細述した運転者が実行する２次タスク中に、走行ルートに沿った注意下での走行や手動運転に復帰して走行に移行する事をシステムより要求された場合、その要請タイミングが実行中の２次タスクの内容次第では、２次タスクの作業を中断するには適切ではないケースもある。
　例えば、２次タスクが深い眠りを含む仮眠である場合、その睡眠の深さ判定など、システムが運転者状態を常時継続観測して得られる定常ステータス観測により、ある程度は復帰に適した眠りの浅いタイミングを判定することが出来るケースもある。ただし、運転者が取り得る多様な種類の２次タスクでは、システムが行える運転者の生体観測情報等のみからでは、その運転者の実施する２次タスクに対して最適な通知タイミングを常に算出することは極めて難しい。
　２次タスクの種類によって、上述の睡眠の様に極端な操舵作業からの離脱とは異なるタイプの意識離脱がある。没入型のゲームもその様な２次タスクの好例と言える。勿論、その２次タスクとの関わり方次第では、運転復帰に必要な前方注意をしながら取り掛かる事は出来ても、同時に、関わり方次第、脳の思考活動次第では２次タスクにのめり込んで走行前方や引き継ぎ通知タイミングに対する注意が著しく低下する可能性がある作業でもある。ゲーム依存症の様に極端な嗜癖におよぶとシステムによる通知や警報に対し鈍感となり、適切な復帰が得られ難くなる恐れを伴う。
　また、類似した没入感を伴うタスクとして、スポーツのテレビ中継等による観戦がある。また、電話会議等で活発な討議を伴う期間は、その論議への参加状況次第では会議以外によるシステムによる復帰通知や警報に対し同じく鈍感となることも想定される。
　また、タブレット端末機器への伝票入力系の作業も、作業効率の視点で見ると作業を中断することなく一連の入力を連続して行いその作業が一段落するまで入力作業を進める事が一般には好まれる種類の２次タスクに分類できる。
　なお、より軽度の没入感のある作業として、例えば録画されたビデオ等の映画鑑賞や時事ニュースの録画視聴、これらいずれの２次タスクも、その作業はコンテンツ次第では２次タスクへの注意集中過多が深くなったり浅くなったりする。その時々の再生内容次第で周囲走行に関連する注意の割り当てが疎かになったり、十分な注意維持が出来たりする場合もある。
　しかし、一概に作業で運転注意からの離脱の深さと相関関係を取る事は困難である。そのため、システムによる運転者状態のパッシブ観測が行えたとしても、脳内の思考状況まで観測する事ができないために注意集中度合いの直接観測は出来ず、復帰通知や警報タイミングの最適化を図ることは困難である。
　この問題を克服するには、運転者のある程度の自主的作業中断に頼るしかないといえる。運転者による２次タスクの中断を容易にするには、２次タスクの中断を躊躇する要因低減を行う必要となる。
　上記に示す幾つかの例では、運転者自身が再生映像や試合の進行の度合いの制御は必ずしも出来ないため、如何に２次タスクを中断して、後にその中断箇所から再生再開をしても心地よくその続きを見られるかで中断の躊躇を低減できる。
　映画鑑賞やスポーツ中継観戦などでは視聴時の感情的（エモーショナル）テンションの上がったシーンから次の切り替わりシーンなど、区切りのよいシーンで鑑賞や観戦を一時中断し、それらポイントより再鑑賞や観戦ができると、途中中断による物足りなさや不快感を低減する事ができる。
　また、鑑賞を再開する事が可能となった時点で、中断ポイントまでのストーリの短縮要約を挿入して再開や、スポーツ中継観戦であれば中断の間のハイライトシーンを挿入して再開など、視聴者である運転者に穴埋め情報を提供する事で、２次タスク中断の際に起こる心残りの心理低減を図る事が可能である。
　これら２次タスクを中断しての運転操舵注意と実際の操舵復帰を行うための２次タスクの中断は、運転者自身により中断手続きを取っても良い。そしてその時に中断ポイントから再開をしても良いし、遡っての再生ポイントを事前予約して中断をしてもよい。中断再生方法は例えば鑑賞モニタリングスクリーンをシングルタッチする事で、中断メニューを提供し、中断再生方法指定、遡りポイントのスライダ指定中断など、直感的で速やかな指定が可能な方法での入力が望ましい。
　また、特に指定が無い場合は中断位置からの遡り再生であっても良い。これら遡り再生のメリットは、再生再開した際に継続鑑賞とは異なり、それまでの鑑賞知識の中断があるために、続きを見てもストーリ性の把握が困難となるためである。漫才の突っ込みを聞いて、暫くしてから落ちを聞いても面白くない事を例に取れば、本再生方法の効果は容易に理解されるであろう。
　より中断自由度の高い２次タスクとしてタブレット端末やパソコン等へのデータ入力の様な作業や読書と言った類の例をあげることができる。データ入力の場合、幾つかの関連する項目を確認しながら連動して表などへの情報の入力となると、区切りの悪い箇所で作業を中断すると、その途中までの作業が無駄になりかねない。また、近年あらゆる分野で多用されているインターネット経由の購入や公的手続入処理などその入力作業には一定の連続した作業が求められるものも多い。そのため、手続き入力作業が終えられない場合、途中中断してその再開のために元の入力開始地点まで遡らないとなると、入力作業中断をする事が躊躇される。
　上記例で示す通り、２次タスクへの没頭度合いや連続的入力の必要性などにも依存して、その２次タスクを中断した場合にそのタスクを初めからやり直しする必要がある種類の２次タスクであれば、ヒトの心理としては通知を受けてもその２次タスクの中断を遅らせ、作業を区切りの良いところまでやり終えようとする心理が働く事もある。
　利用者に２次タスクの中断を優先させ、早期の運転操舵作業へ復帰心理が働かせるには、早期作業を中断して手動運転の引き継ぎを優先した場合のデメリットが２次タスクを作業中断せずに継続して引き継ぎが遅れた場合のデメリットより低い場合である。ただし、作業中断せずに継続して引き継ぎが遅れた場合のデメリットのうち、最終的に運転復帰遅れが発生する確率が増し、また希にその結果で引継ぎが間に合わないケースでシステムが緊急対処の走行退避避難走行などしても、その影響が直感的なデメリットでない場合、その状況に陥る事を避ける心理が働かない。
　その対策として、作業中断して復帰が遅れた事をシステムが観測した場合に、利用者にペナルティを科す仕組みが有効となる。ただし、復帰手続きが遅れた場合のペナルティは必ずしも万能では無く、ヒトの行動心理としては直接的なペナルティを感じるまでは、その復帰の通知を優先的に守り、２次タスクを中断する心理が必ずしも働かない。
　特に緊急度の高い引き継ぎ要請の発生時や、引き継ぎが想定時間内に完了できない事でシステムによるリスク最小化（Minimum Risk Maneuver）のための緊急徐行や退避走行を行うと、後続車等の周辺走行車両へ急ブレーキや回避動作を強いる事で渋滞や追突事故などリスク増大要因となる。つまり、無条件に２次タスクを強行にやり続けシステムが実施する緊急事対応をよりどころにした運用では、渋滞や追突などの２次的副次被害をもたらす確率をはらみ、社会的な道路インフラの機能低下をもたらすといった弊害を隠し持つ。
　運転者による早期の２次タスクの無理な継続を避け、速やかな２次タスクの中断と引き継の開始を促す利用形態が望ましい。つまり早期引き継ぎのモティベーション（インセンシティブ）と要請を無視する違反に対してペナルティが発生すると、利用者の積極的な自主的、反射的な早期引き継ぎが習慣化する事が期待されると同時に、その際の煩わしさのデメリットを低減しておくことも合わせて必要となる。
　つまり、ヒトの自動運転利用行動の心理は、多くの走行環境でシステムによる自動運転操舵に依存しがちになる一方で、過剰依存に伴う引き継ぎ実施の怠慢を避けるべく、自主的復帰行動を促す仕組みが有効であり、利用時のメリットとデメリットのバランスが操作感覚に直感的に現れている事で、ヒトは優先的な中断作業を開始する。
　継続的な２次タスクの実行が想定される作業の例として、映画鑑賞、スポーツ観戦、ボードゲームや電子ゲーム、同乗者同士の会話、電話会議で議論途中、情報端末を用いたデータ入力、ネットバンキング作業、メール等のテキスティング、ブラウジング、ネットショッピングなどなど多様な作業が今後想定される。
　特に、これら２次タスクの中でも、ゲームの対戦途中、更にはスマートフォンやタブレットと言った情報端末でアプリケーションを用いて伝票の入力処理など一連の情報を入力する場合やネットショッピングなど、その作業の途中で作業中断をすると、それまでの入力処理作業が全て無駄に成り、結果として作業は一から入れ直し（やり直し）をしないといけない状況があり得る。
　人間の心理として作業の無駄をなくしたいため、最後まで入力を終えようとする心理が働くと作業の中断が後回しとなり、また少し遅れても間に合うであろうとの心理が更に働き、結局安全でスムーズな復帰が行えず、強いては間に合わなくなるという危険を伴う。つまり、運転者が一人の人間であり、ヒトの行動心理に沿ってその引継ぎ作業が行われる以上、その行動心理において作業を中断し早期復帰を優先する仕組みが必要となる。
　そこで、作業を中断し早期復帰を優先する仕組みが構築できると、利用者（運転者）による作業の継続を断念させることで、リスク低減する事が期待される。特に、２次タスクがタブレット等での情報入力であり、実行アプリ上でユーザーによる作業指定ポイント復帰を容易にする明示的メニューが準備されていれば、利用者は一時中断しても容易に中断ポイントから作業の再開が可能となる。
　なお、現在普及している多くのパソコンやその他情報端末のアプリケーションソフトウェアでは、入力の取り消しややり直しに用いる実行処理の履歴の保存やリカバー機能が装備されている。しかしながらそれらの機能は、その端末での入力に従事中に入力のやり直しを目的とした利用想定であり、また複数人で作業した書類の校閲作業中での選択的な変更内容の選択反映であり、不特定任意入力作業途中で中断した際の入力作業再開のために手助けする目的の機能ではない。そのため、利用者が２次タスクとして情報端末への入力作業の中断を躊躇する要因となる。
　利用者が入力作業を中断して運転タスクに優先的に復帰するには、その入力作業等の再開を手助けする補助的機能が望まれる。以下、その復帰を手助けする実施例をいくつかの用途に沿って示す。
　情報端末を利用した２次タスク実施の場合、利用者に２次タスクに没頭し過ぎて自動運転からの復帰通知を見落とし、運転注意からの完全離脱を避けるために、作業ウインドウ４００には通常、進捗に伴う引継ぎ点到着までの指標提示（走行区間表示２００）を常に行う。さらに、引き継ぎ通知判定器が通知タイミングと判定したら、図２０（ａ）に示すように、作業ウインドウ４００内に通知の小アイコンを点滅等の視覚刺激誘導をして表示する。
　運転者（２次タスク実施者）が通知を認知し、該当アイコンを例えばタッチ、レ点動作チェックなどを行った場合、例えば、図２０（ｂ）に示すように、作業画面を中断（一部妨害的に）し、入力作業の再開復帰点指定スライダーメニューを表示して、利用者が最適復帰点をスライダ回転する事で自由設定出来る様にする。この場合、スライダ表示は、図２０（ｂ）に示すように、回転型の時計回りでの回転表示でも良いし、図２１（ａ）に示すような水平のリニア表示、あるいは図示しない垂直のリニア表示であってもよい。
　図２０（ｂ）に示すような時計回り表示であれば、１２時方角より９時方角の反時計まわり方角を入力遡りポイントとし、図２１（ａ）に示すような水平のリニアなスライダ表示形態では、例えば長さ２/３程度の地点を現在入力点として左方向を入力遡りポイントとする。
　情報入力処理の場合、最終入力情報地点が現在地点となり、まだ未入力箇所は本来再開できる地点では無いために再開時に再開指定ポイントには指定出来ない。ただし、メニュー上で作業項目を進める事で、入力アプリツール上で予定入力箇所に進め、また戻す入力時の画面シミュレーション簡易表示を実行する事で、遡って作業再開するのに最適地点判断が可能となる。
　その理由が少し分かりにくいので、スポーツの走り高跳びジャンプに例えるなら、その際の飛び越えるべき距離を事前に見越せるなら、助走の距離をどのくらい確保しておくべきか判断が付くので、一旦中断して飛ぶのは後になるが、状況を事前に把握しておく事で、どこまで遡った地点で助走を再開すれば良いかの予測がつく。未来の入力箇所を先送り閲覧できるスライダデザインはその対策である。そのメリットは、残入力項目を確認する場合に役に立つ。
　通知に伴い、一定時刻経過移行や、通知に対する運転者の認知応答入力がされずに、システムが運転者の応答検出の確認を取れない場合、警告を発して早期復帰を促すのが妥当である。例えば、図２１（ｂ）に示すように、進行方向の引継ぎ点到着までの指標提示（走行区間表示２００）を走行区間表示２００´のように拡大表示し、２次タスク実行ウインドウ４００を縮小し、場合によっては２次タスクとして実行中のアプリ入力を強制的に終了しても良い。
　２次タスク実行中の運転者はシステムによる復帰要請に応じて作業再開ポイントを指定して一旦作業中断したあと、フローとして再度自動運転に復帰ができたとして、作業再開をした場合、図２２に示すように、入力作業点（データ入力に対するＣＲ（確定のキーボードCarriage Return）実行点や入力フォーム完了点）を時系列順に明示的に並べたスライダーメニュー（再開時画面における入力履歴付きの復帰箇所指定用スライダ）５００を呈示してもよい。なお、一旦作業を中断後の再開は、必ずしも自動運転に復帰後である必要はなく、旅程終了後であっても良いが、フロー図には該当ケースの事例は省略する。
　特に、特定再開ポイントを指定する必要が無ければスライダをダブルフィンガーでスライドして画面の外に流す処理やクローズメニューで閉じても良い。または数値入力してキャリッジリターンを打って複数点の内、作業再開をしたい箇所にスライド移動して該当箇所をダブルタッチや場所のレ点動作認識で再開場所を指定しても良い。
　これら再開ポイントの指定と動作とを合わせ、スライダ上で指定箇所を移動させることで、アプリ実行画面に入力画面をリプレイ再生する事も有効である。作業再開時にも入力リターンキー毎に区切られた作業進捗メニューをスライダ表示することで、入力者は容易に中断箇所とそれまでの入力経過を確認することができるため、中断地点を思い出し易いインタフェースとなる。
　特に、タブレット等での端末作業の入力作業点と走行環境の到達点は利用者により直感的に把握できるため、メニューで進行に伴う区間接近ウインドウのスクロールと作業回復地点の画面ダブルタッチやトリプルタッチ操作等で、タスクのプレイバック機能等を併用できるよう、２次タスクの実行タスクと表示更新情報を単純に一時的に運転者に表示するのみではなく、タスクとの同期記録をさらに記録装置に保存をしてもよい。
　このように運転者に運転復帰後に任意の作業点へ容易に作業復帰が可能な作業復帰点検索や復帰マーカの手段を提供する事で、人間工学的な視点で２次タスクの無理な続行を回避でき、結果的にストレスなく２次タスクを実行中の運転者は素早く運転復帰に取り掛かるため、より安全な自動運転の利用が実現できることに繋がる。
　特に入力作業は、入力情報の前後の相互関係が重要となり、例えば表などに複数の関連情報を連続して入れる場合、項目選択してその項目に連動した一連の情報を入力する場合、歯切れの悪い途中状態の入力を中断すると、再開時の記憶次第では中断箇所を思い出すのに時間を要したり、間違いを行なったりする恐れが出る。
　つまり、通常の連続使用を想定したアプリケーションインターフェスのままでは、入力作業の途中中断を行いその間に注意の異なる作業を行うと、作業復帰時に中断箇所に的確に戻り作業継続する際に弊害があった。作業中断点指定を行う専用メニューや入力箇所の明示的視覚化を行う事で、作業復帰時に入力時記憶を呼び覚まして容易な作業再開を可能とする。
　２次タスクの入力中断時までの入力画面変化履歴は、入力再開点を思い出す有効は補助機能であり、作業効率の改善に役立つ。特に履歴情報の閲覧効果が大きいが再演算が重い作業では、画面変化を最後の数段階にまたがり画像としてローカル保存する事で再演算処理を省略する事も出来る。
　上記の例は主に情報入力アプリケーションとして情報端末へデータ入力の視点で見たフローであるが、映画鑑賞、スポーツ観戦やニュース番組のストリーミング視聴でも類似の動作フローとなる。映画鑑賞やサッカーなどの競技試合のテレビ放映中の鑑賞であれば、放映放送の一時ローカル保存して、一旦手動運転復帰が求められたタイミングで再生表示を中断し、ドライバによる作業途中から遅延再生するなどは有効である。そのときに、煩わしい巻き戻したプレイバック処理の必要性を下げる事が可能となる。
　ただし、仮に没入感が深い参加型のゲーム等、特にＶＲ利用など極端な利用形態が行われた場合では、強制作業中断のみならず、前方走行情報を２次タスク画面に切り替えて見せるなど強制表示を合わせて行い、運転走行作業からの完全な意識離脱から早期注意復帰を施す事も有効となる。
　自動運転中の２次タスク作業を中断する事のメリットが安全の確保や引き継ぎ限界地点での確実でスムーズな引き継ぎのみしか短期的に感じ取れない場合、その必要性は直観的に感じられない。そのため、直感的な復帰開始の必要性を利用者に感じて行動を促すには段階的ペナルティ機能は有効であるが、アラームやハプティックスを用いた警報は煩わしく、刑罰のみでは必ずしも人の行動心理を改善ができない。しかし、デメリットを打ち消す上記の２次タスク中断時の再開復帰サポートをする仕組みを組み合せる事で、速やかな２次タスク中断の心理を育て、無理な２次タスク継続を習慣的に低減する事が可能となる。
　図２３、図２４のフローチャートは、引き継ぎ通知判定を受け取った場合におけるシステムの処理手順の一例を示している。
　システムは、ステップＳ５１において、引き継ぎ通知判定を受け取ることで処理を開始する。次に、システムは、ステップＳ５２において、２次タスクの実施者への通知実行をする。例えば、情報端末を利用した２次タスク実施の場合、作業ウインドウ４００内に通知の小アイコンを点滅等させる（図２０（ａ）参照）。
　次に、システムは、ステップＳ５３において、２次タスクの実施者の通知認知応答を検出する。例えば、情報端末を利用した２次タスク実施の場合であって、上述したように作業ウインドウ４００内に通知の小アイコンを点滅等させて通知した場合、例えば、そのアイコンへの実施者によるタッチ操作等を検出する。また、システムは、ステップＳ５４において、２次タスクの実施者に対して、２次タスクの入力作業の中断要請をし、画面縮小化・中断の予告をする。
　次に、システムは、ステップＳ５５において、通知認知応答が検出されたか否かを判別する。通知認知応答が検出されてないとき、システムは、ステップＳ５６において、引き継ぎ猶予バジェットの残存時間を算出する。そして、システムは、ステップＳ５７において、ステップＳ５６で算出された残存時間に基づいてタイムアウトか否かを判別する。タイムアウトでないとき、システムは、ステップＳ５３に戻り、上述したと同様の処理を繰り返す。
　一方、ステップＳ５７でタイムアウトであるとき、システムは、ステップＳ５８において、音や振動、画像等を用いた警告を実行する。次に、システムは、ステップＳ５９において、作業画面の縮小化と引継ぎ点接近表示の拡大強調表示をする（図２１（ｂ）参照）。次に、システムは、ステップＳ６０において、警告認知と２次タスクの再開点指定の受付処理をする。この場合、システムは、２次タスク入力作業の再開点指定スライダーメニューを表示し、２タスク実施者による再開点指定の受付確定（スライダー等による作業復帰点予約）をする（図２０（ｂ）、図２１（ａ）参照）。
　次に、システムは、ステップＳ６１において、タイムアウトか否かを判別する。この場合、引き継ぎ猶予時間判定で引継ぎ遅れが予測される時点でタイムアウトと判別される。タイムアウトでないとき、システムは、ステップＳ６０の処理を続ける。一方、タイムアウトでるとき、システムは、ステップＳ６２において、２次タスクの作業を強制終了する。そして、システムは、ステップＳ６３において、復帰遅延ペナルティ記録、作業再開点の制限、自動運転モードの再利用制限などを実行する。
　また、上述のステップＳ５５で通知認知応答が検出されたとき、システムは、ステップＳ６４において、２次タスク入力作業の再開点指定スライダーメニューを表示し、さらに、ステップＳ６５において、２タスク実施者による再開点指定の受付確定（スライダ等による作業復帰点予約）をする（図２０（ｂ）、図２１（ａ）参照）。そして、システムは、ステップＳ６５の処理の後、ステップＳ６６の処理に進む。システムは、上述のステップＳ６３の処理の後も、このステップＳ６６の処理に進む。
　ステップＳ６６において、システムは、２次タスクの作業履歴と再開点指定情報を保存する。次に、システムは、ステップＳ６７において、手動運転復帰期間であって、２次タスク実行不可とする。
　次に、システムは、ステップＳ６８において、自動運転再開可否判定に必要なＬＤＭ情報、運転者状態、車両自己診断情報のモニタリング取得をする。そして、システムは、ステップＳ６９において、２次タスクの実行可能区間への再進入済みか否かを判断する。２次タスクの実行可能区間への再進入済みでないとき、システムは、ステップＳ６８の処理を続ける。一方、２次タスクの実行可能区間への再進入済みであるとき、システムは、ステップＳ７０において、自動運転可能区間進入とする。
　次に、システムは、ステップＳ７１において、端末の２次タスク作業の復帰可能メニューを有効化する。次に、システムは、ステップＳ７２において、２次タスク復帰再開入力のモニタリングをする。そして、システムは、ステップＳ７３において、２次タスクの実施者による復帰メニューの選択があるか否かを判断する。復帰メニューの選択がないとき、システムは、ステップＳ７４において、タイムアウト（再開指定待機時間タイムアウト）であるか否かを判断する。タイムアウトでないとき、システムは、ステップ７１の処理に戻り、上述したと同様の処理を繰り返す。ステップＳ７４で行うタイムアウト判定は、運転者が一定の時間内に２次タスク再開を行わなかった場合、端末等の省エネモードであるスタンバイモードへの移行や電源を完全に落とす中断情報を記録して作業を閉じる休止モード等に匹敵るする作業の中断をする事で、長期作業中断を要する手動運転復帰で、それまでの作業内容が喪失を避ける手順としても良い。
　ステップＳ７３で復帰メニューの選択があったとき、システムは、ステップＳ７５において、スライダーメニュー等により作業再開点指定が実行されると、システムは、ステップＳ７６において、指定入力に沿った作業再開が行われるようにする。その後、システムは、ステップＳ７７において、一連の処理を終了する。なお、ステップＳ７４でタイムアウトであるとき、システムは、直ちにステップＳ７７に進み、一連の処理を終了する。
　「変形例４」
　また、本明細書において、細述した運転者が実行する２次タスク中に走行ルートに沿った注意下走行や手動運転復帰要求情報に基づいて２次タスクを中断して手動運転復帰を優先した場合、運転者は復帰が求められたタイミングで必ずしも、実行中の２次タスクを中断する良いタイミングとは言えないケースもあり得る。特に一連の情報を入力する場合に途中で作業中断するとそれまでの入力処理作業を全て一から入れ直しをしないといけない状況もあり得る。人間の心理として作業の無駄をなくしたいため、最後まで入力を終えようとするが復帰が間に合わなくなるという危険を伴う。そこで、利用者によるリスク低減策として、２次タスクの実行アプリ上でユーザーによる作業指定ポイント復帰を容易にする明示的メニューが更に補助的に提供されてもよい。特に、タブレット等での端末作業の入力作業点と走行環境の到達点は利用者により直感的に把握できるため、メニューで進行に伴う区間接近ウインドウのスクロールと作業回復地点の画面ダブルタッチやトリプルタッチ操作等で、タスクのプレイバック機能等を併用できるよう、２次タスクの実行タスクと表示更新情報の単純に一時的に運転者に表示するのみではなく、タスクとの同期記録をさらに記録装置に保存をしてもよい。このように運転者に運転復帰後に任意の作業転へ様に復帰可能な手段を提供する事で、人間工学的な視点で２次タスクの無理な続行を回避でき、結果的にストレスなく２次タスクを実行中の運転者は素早く運転復帰に取り掛かるため、より安全な自動運転の利用が実現できることに繋がる。
　「変形例５」
　また、隊列走行などの運用で無線通信による遠隔支援を更に受けた走行支援の場合、遠隔支援者が該当車両や車両群の支援必要ポイントを走行速度制御して計画的配分や、管制センターの支援集中を回避し分配プラニングを行っても良いし、更には宅配事業者などが自動配送相手と手配送相手の分配計画を立てるプラニングなどに利用するなど、更には配送遠隔支援などに利用を広げても良い。
　「変形例６」
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本技術は、以下のような構成を取ることもできる。
　（１）走行ルート情報および上記走行ルートに係る交通情報を取得する情報取得部と、
　上記走行ルート情報および上記交通情報に基づいて、上記走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で表示デバイスに表示する表示制御部を備える
　情報処理装置。
　（２）上記運転者介在必要区間には、手動運転区間、自動運転から手動運転への引継ぎ区間および自動運転からの注意走行区間を含む
　前記（１）に記載の情報処理装置。
　（３）上記表示制御部は、
　上記自動運転可能区間を第１の色で表示し、上記手動運転区間を第２の色で表示し、上記引継ぎ区間および上記注意走行区間を第３の色で表示する
　前記（２）に記載の情報処理装置。
　（４）上記表示制御部は、
　上記現在地点から第１の地点までの第１の区間は、第１の時間軸で表示し、
　上記第１の地点から第２の地点までの第２の区間は、上記第１の時間軸から該第１の時間軸に対して所定の比率で縮小された第２の時間軸まで順次変化した時間軸で表示し、
　上記第２の地点から第３の地点までの第３の区間は上記第２の時間軸で表示する
　前記（１）から（３）のいずれかに記載の情報処理装置。
　（５）上記表示制御部は、
　上記第１の区間は、第１の幅で表示し、
　上記第２の区間は、上記第１の幅から該第１の幅に対して狭い第２の幅まで順次変化した幅で表示し、
　上記第３の区間は、上記第２の幅で表示する
　前記（４）に記載の情報処理装置。
　（６）上記表示制御部は、
　上記第３の区間において、上記運転車介在必要区間が実際には一定時間長以下である場合であっても該一定期間長で表示する
　前記（４）に記載の情報処理装置。
　（７）上記表示制御部は、
　表示された各区間において指定された地点に関連した情報をさらに表示する
　前記（１）から（６）のいずれかに記載の情報処理装置。
　（８）上記表示制御部は、
　新たに発生した上記運転車介在必要区間を既存の上記運転車介在必要区間と識別可能に表示する
　前記（１）から（７）のいずれかに記載の情報処理装置。
　（９）上記表示制御部は、
　上記運転者介在必要区間が上記現在地点から一定時間の範囲内に入ったとき、該運転者介在必要区間を強調表示の状態とする
　前記（１）から（８）のいずれかに記載の情報処理装置。
　（１０）上記表示制御部は、
　上記各区間の表示を作業ウインドウと並列に表示する
　前記（１）から（９）のいずれかに記載の情報処理装置。
　（１１）上記表示デバイスは携帯端末が持つ表示デバイスであり、
　上記携帯端末との間で通信をする通信部をさらに備える
　前記（１）から（１０）のいずれかに記載の情報処理装置。
　（１２）情報取得部が、走行ルート情報および上記走行ルートに係る交通情報を取得するステップと、
　表示制御部が、上記走行ルート情報および上記交通情報に基づいて、上記走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で表示デバイスに表示するステップを有する
　情報処理方法。
　１００・・・車両制御システム
　１０１・・・入力部
　１０２・・・データ取得部
　１０３・・・通信部
　１０４・・・車内機器
　１０５・・・出力制御部
　１０６・・・出力部
　１０７・・・駆動系制御部
　１０８・・・駆動系システム
　１０９・・・ボディ系制御部
　１１０・・・ボディ系システム
　１１１・・・記憶部
　１１２・・・自動運転制御部
　１２１・・・通信ネットワーク
　１３１・・・検出部
　１３２・・・自己位置推定部
　１３３・・・状況分析部
　１３４・・・計画部
　１３５・・・動作制御部
　１４１・・・車外情報検出部
　１４２・・・車内情報検出部
　１４３・・・車両状態検出部
　１５１・・・マップ解析部
　１５２・・・交通ルール認識部
　１５３・・・状況認識部
　１５４・・・状況予測部
　１６１・・・ルート計画部
　１６２・・・行動計画部
　１６３・・・動作計画部
　１７１・・・緊急事態回避部
　１７２・・・加減速制御部
　１７３・・・方向制御部

Claims (12)

  1. 　走行ルート情報および上記走行ルートに係る交通情報を取得する情報取得部と、
    　上記走行ルート情報および上記交通情報に基づいて、上記走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で表示デバイスに表示する表示制御部を備える
    　情報処理装置。
  2. 　上記運転者介在必要区間には、手動運転区間、自動運転から手動運転への引継ぎ区間および自動運転からの注意走行区間を含む
    　請求項１に記載の情報処理装置。
  3. 　上記表示制御部は、
    　上記自動運転可能区間を第１の色で表示し、上記手動運転区間を第２の色で表示し、上記引継ぎ区間および上記注意走行区間を第３の色で表示する
    　請求項２に記載の情報処理装置。
  4. 　上記表示制御部は、
    　上記現在地点から第１の地点までの第１の区間は、第１の時間軸で表示し、
    　上記第１の地点から第２の地点までの第２の区間は、上記第１の時間軸から該第１の時間軸に対して所定の比率で縮小された第２の時間軸まで順次変化した時間軸で表示し、
    　上記第２の地点から第３の地点までの第３の区間は上記第２の時間軸で表示する
    　請求項１に記載の情報処理装置。
  5. 　上記表示制御部は、
    　上記第１の区間は、第１の幅で表示し、
    　上記第２の区間は、上記第１の幅から該第１の幅に対して狭い第２の幅まで順次変化した幅で表示し、
    　上記第３の区間は、上記第２の幅で表示する
    　請求項４に記載の情報処理装置。
  6. 　上記表示制御部は、
    　上記第３の区間において、上記運転車介在必要区間が実際には一定時間長以下である場合であっても該一定期間長で表示する
    　請求項４に記載の情報処理装置。
  7. 　上記表示制御部は、
    　表示された各区間において指定された地点に関連した情報をさらに表示する
    　請求項１に記載の情報処理装置。
  8. 　上記表示制御部は、
    　新たに発生した上記運転車介在必要区間を既存の上記運転車介在必要区間と識別可能に表示する
    　請求項１に記載の情報処理装置。
  9. 　上記表示制御部は、
    　上記運転者介在必要区間が上記現在地点から一定時間の範囲内に入ったとき、該運転者介在必要区間を強調表示の状態とする
    　請求項１に記載の情報処理装置。
  10. 　上記表示制御部は、
    　上記各区間の表示を作業ウインドウと並列に表示する
    　請求項１に記載の情報処理装置。
  11. 　上記表示デバイスは携帯端末が持つ表示デバイスであり、
    　上記携帯端末との間で通信をする通信部をさらに備える
    　請求項１に記載の情報処理装置。
  12. 　情報取得部が、走行ルート情報および上記走行ルートに係る交通情報を取得するステップと、
    　表示制御部が、上記走行ルート情報および上記交通情報に基づいて、上記走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で表示デバイスに表示するステップを有する
    　情報処理方法。
PCT/JP2018/038740 2017-10-24 2018-10-17 情報処理装置および情報処理方法 WO2019082774A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201880068449.8A CN111247394B (zh) 2017-10-24 2018-10-17 信息处理装置和信息处理方法
KR1020207010645A KR102599937B1 (ko) 2017-10-24 2018-10-17 정보 처리 장치 및 정보 처리 방법
JP2019551059A JP7203035B2 (ja) 2017-10-24 2018-10-17 情報処理装置および情報処理方法
EP18869499.6A EP3702732A4 (en) 2017-10-24 2018-10-17 INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
US16/757,366 US11524698B2 (en) 2017-10-24 2018-10-17 Information processing apparatus and information processing method
US17/994,967 US12122408B2 (en) 2017-10-24 2022-11-28 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-205671 2017-10-24
JP2017205671 2017-10-24

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/757,366 A-371-Of-International US11524698B2 (en) 2017-10-24 2018-10-17 Information processing apparatus and information processing method
US17/994,967 Continuation US12122408B2 (en) 2017-10-24 2022-11-28 Information processing apparatus and information processing method

Publications (1)

Publication Number Publication Date
WO2019082774A1 true WO2019082774A1 (ja) 2019-05-02

Family

ID=66246504

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038740 WO2019082774A1 (ja) 2017-10-24 2018-10-17 情報処理装置および情報処理方法

Country Status (6)

Country Link
US (1) US11524698B2 (ja)
EP (1) EP3702732A4 (ja)
JP (1) JP7203035B2 (ja)
KR (1) KR102599937B1 (ja)
CN (1) CN111247394B (ja)
WO (1) WO2019082774A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951545A (zh) * 2019-05-15 2020-11-17 本田技研工业株式会社 信息处理装置、车辆控制装置、信息处理方法及存储介质
WO2020246089A1 (ja) * 2019-06-07 2020-12-10 株式会社デンソー 情報提示制御装置
WO2021053366A1 (ja) * 2019-09-19 2021-03-25 日産自動車株式会社 ディスプレイ表示制御方法および装置
JP2021049872A (ja) * 2019-09-25 2021-04-01 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
WO2021131474A1 (ja) 2019-12-26 2021-07-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
US20210350144A1 (en) * 2020-05-11 2021-11-11 GIST(Gwangju Institute of Science and Technology) Mixed reality-based experience simulator
WO2021246236A1 (ja) * 2020-06-01 2021-12-09 ソニーグループ株式会社 情報処理装置、情報処理方法および記憶媒体
DE112020006551T5 (de) 2020-01-17 2022-11-17 Sony Semiconductor Solutions Corporation Datenverarbeitungsvorrichtung, datenverarbeitungssystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm
JP7479965B2 (ja) 2020-07-02 2024-05-09 日野自動車株式会社 車両制御装置及び車両制御方法
JP7484689B2 (ja) 2020-05-22 2024-05-16 株式会社デンソー 制御システム、制御装置および制御プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3084628B1 (fr) * 2018-07-31 2021-06-11 Renault Sas Procede de determination d'un type d'emplacement de stationnement
JP7207101B2 (ja) * 2019-03-29 2023-01-18 いすゞ自動車株式会社 輸送管理装置、輸送管理方法、および、輸送システム
CN111882112B (zh) * 2020-07-01 2024-05-10 北京嘀嘀无限科技发展有限公司 一种预测到达时间的方法和系统
CN112464749A (zh) * 2020-11-11 2021-03-09 鹏城实验室 一种基于规则与学习的交通场景异常目标检测方法
US20230036945A1 (en) * 2021-07-23 2023-02-02 GM Global Technology Operations LLC Allocation of non-monitoring periods during automated control of a device
US11919534B2 (en) * 2021-08-03 2024-03-05 Denso Corporation Driver state guide device and driver state guide method
CN114047868A (zh) * 2021-09-24 2022-02-15 北京车和家信息技术有限公司 播放界面的生成方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011075436A (ja) * 2009-09-30 2011-04-14 Pioneer Electronic Corp 情報表示装置及び情報表示用プログラム
JP2015141052A (ja) * 2014-01-27 2015-08-03 アイシン・エィ・ダブリュ株式会社 経路案内システム、経路案内方法及びコンピュータプログラム
JP2016064773A (ja) * 2014-09-25 2016-04-28 株式会社デンソー 車載システム、車両制御装置、および車両制御装置用のプログラム
JP2016090274A (ja) 2014-10-30 2016-05-23 トヨタ自動車株式会社 警報装置、警報システム及び携帯端末
JP2016139204A (ja) 2015-01-26 2016-08-04 株式会社デンソー 危険度表示装置
WO2017086079A1 (ja) * 2015-11-20 2017-05-26 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4255007B2 (ja) * 2003-04-11 2009-04-15 株式会社ザナヴィ・インフォマティクス ナビゲーション装置、およびその旅行時間算出方法
US8566348B2 (en) * 2010-05-24 2013-10-22 Intersect Ptp, Inc. Systems and methods for collaborative storytelling in a virtual space
JP2012035745A (ja) * 2010-08-06 2012-02-23 Toshiba Corp 表示装置、画像データ生成装置及び画像データ生成プログラム
US8560520B2 (en) * 2010-08-26 2013-10-15 Microsoft Corporation Information retrieval using time
DE102010063339A1 (de) * 2010-12-17 2012-06-21 Bayerische Motoren Werke Aktiengesellschaft Verarbeitung von Ereignissen in einem Fahrzeug
US20140278087A1 (en) * 2013-03-14 2014-09-18 Ford Global Technologies, Llc Method and Apparatus for Predicting Times of High Driver Demand
CN111016926B (zh) * 2014-12-12 2023-06-13 索尼公司 自动驾驶控制设备以及自动驾驶控制方法和程序
JP6288859B2 (ja) * 2015-07-07 2018-03-07 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム
US10976178B2 (en) * 2015-09-24 2021-04-13 Apple Inc. Systems and methods for generating an interactive user interface
US11087291B2 (en) * 2015-11-24 2021-08-10 Honda Motor Co., Ltd.. Action planning and execution support device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011075436A (ja) * 2009-09-30 2011-04-14 Pioneer Electronic Corp 情報表示装置及び情報表示用プログラム
JP2015141052A (ja) * 2014-01-27 2015-08-03 アイシン・エィ・ダブリュ株式会社 経路案内システム、経路案内方法及びコンピュータプログラム
JP2016064773A (ja) * 2014-09-25 2016-04-28 株式会社デンソー 車載システム、車両制御装置、および車両制御装置用のプログラム
JP2016090274A (ja) 2014-10-30 2016-05-23 トヨタ自動車株式会社 警報装置、警報システム及び携帯端末
JP2016139204A (ja) 2015-01-26 2016-08-04 株式会社デンソー 危険度表示装置
WO2017086079A1 (ja) * 2015-11-20 2017-05-26 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3702732A4

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951545B (zh) * 2019-05-15 2022-09-16 本田技研工业株式会社 信息处理装置、车辆控制装置、信息处理方法及存储介质
CN111951545A (zh) * 2019-05-15 2020-11-17 本田技研工业株式会社 信息处理装置、车辆控制装置、信息处理方法及存储介质
US11475767B2 (en) 2019-05-15 2022-10-18 Honda Motor Co., Ltd. Information-processing device, vehicle control device, information-processing method, and storage medium
WO2020246089A1 (ja) * 2019-06-07 2020-12-10 株式会社デンソー 情報提示制御装置
JP2020199840A (ja) * 2019-06-07 2020-12-17 株式会社デンソー 情報提示制御装置
JP7107281B2 (ja) 2019-06-07 2022-07-27 株式会社デンソー 情報提示制御装置
WO2021053366A1 (ja) * 2019-09-19 2021-03-25 日産自動車株式会社 ディスプレイ表示制御方法および装置
JPWO2021053366A1 (ja) * 2019-09-19 2021-03-25
US11874132B2 (en) 2019-09-19 2024-01-16 Nissan Motor Co., Ltd. Display control method and apparatus for display
JP7342960B2 (ja) 2019-09-19 2023-09-12 日産自動車株式会社 ディスプレイの表示制御方法および装置
US11511738B2 (en) 2019-09-25 2022-11-29 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and storage medium
JP7159137B2 (ja) 2019-09-25 2022-10-24 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2021049872A (ja) * 2019-09-25 2021-04-01 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
CN114930422A (zh) * 2019-12-26 2022-08-19 索尼半导体解决方案公司 信息处理设备、移动装置、信息处理系统、信息处理方法和程序
EP4083960A4 (en) * 2019-12-26 2023-02-01 Sony Semiconductor Solutions Corporation INFORMATION PROCESSING DEVICE, MOBILE DEVICE, INFORMATION PROCESSING SYSTEM, METHOD AND PROGRAM
WO2021131474A1 (ja) 2019-12-26 2021-07-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
CN114930422B (zh) * 2019-12-26 2024-09-03 索尼半导体解决方案公司 信息处理设备、移动装置、信息处理系统、信息处理方法和程序
DE112020006551T5 (de) 2020-01-17 2022-11-17 Sony Semiconductor Solutions Corporation Datenverarbeitungsvorrichtung, datenverarbeitungssystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm
US20210350144A1 (en) * 2020-05-11 2021-11-11 GIST(Gwangju Institute of Science and Technology) Mixed reality-based experience simulator
US11734934B2 (en) * 2020-05-11 2023-08-22 GIST(Gwangju Institute of Science and Technology) Mixed reality-based experience simulator
JP7484689B2 (ja) 2020-05-22 2024-05-16 株式会社デンソー 制御システム、制御装置および制御プログラム
WO2021246236A1 (ja) * 2020-06-01 2021-12-09 ソニーグループ株式会社 情報処理装置、情報処理方法および記憶媒体
JP7479965B2 (ja) 2020-07-02 2024-05-09 日野自動車株式会社 車両制御装置及び車両制御方法

Also Published As

Publication number Publication date
CN111247394B (zh) 2024-03-26
US20230092167A1 (en) 2023-03-23
JPWO2019082774A1 (ja) 2020-12-17
KR102599937B1 (ko) 2023-11-09
JP7203035B2 (ja) 2023-01-12
US11524698B2 (en) 2022-12-13
US20210188301A1 (en) 2021-06-24
EP3702732A1 (en) 2020-09-02
EP3702732A4 (en) 2020-12-30
CN111247394A (zh) 2020-06-05
KR20200075831A (ko) 2020-06-26

Similar Documents

Publication Publication Date Title
JP7203035B2 (ja) 情報処理装置および情報処理方法
JP7299840B2 (ja) 情報処理装置および情報処理方法
US11993293B2 (en) Information processing apparatus, moving apparatus, and method, and program
JP7288911B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US20230211810A1 (en) Information processing device, mobile device, information processing system, and method
JP7431223B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
KR20200113202A (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
EP4030326A1 (en) Information processing device, mobile device, information processing system, method, and program
WO2021131474A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
US12122408B2 (en) Information processing apparatus and information processing method
JP7238193B2 (ja) 車両制御装置および車両制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18869499

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019551059

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018869499

Country of ref document: EP

Effective date: 20200525