WO2022113584A1 - 情報処理装置、および情報処理システム、並びに情報処理方法 - Google Patents

情報処理装置、および情報処理システム、並びに情報処理方法 Download PDF

Info

Publication number
WO2022113584A1
WO2022113584A1 PCT/JP2021/038812 JP2021038812W WO2022113584A1 WO 2022113584 A1 WO2022113584 A1 WO 2022113584A1 JP 2021038812 W JP2021038812 W JP 2021038812W WO 2022113584 A1 WO2022113584 A1 WO 2022113584A1
Authority
WO
WIPO (PCT)
Prior art keywords
level
driver
activity
information processing
mobile device
Prior art date
Application number
PCT/JP2021/038812
Other languages
English (en)
French (fr)
Inventor
懿夫 唐
信一郎 津田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP21897562.1A priority Critical patent/EP4254384A1/en
Priority to CN202180077949.XA priority patent/CN116490911A/zh
Priority to US18/253,733 priority patent/US20230406336A1/en
Publication of WO2022113584A1 publication Critical patent/WO2022113584A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0013Planning or execution of driving tasks specially adapted for occupant comfort
    • B60W60/00136Planning or execution of driving tasks specially adapted for occupant comfort for intellectual activities, e.g. reading, gaming or working
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • B60K35/28
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Definitions

  • This disclosure relates to an information processing device, an information processing system, and an information processing method. More specifically, the present invention relates to an information processing device, an information processing system, and an information processing method that enable safe automatic driving by notifying the driver of activities permitted to the driver of a vehicle during automatic driving.
  • the autonomous driving technology is a technology that enables automatic driving on a road by using various sensors such as a position detecting means provided in a vehicle (automobile), and is expected to spread rapidly in the future.
  • C-V2X Celler-V2X
  • V2V vehicle-to-vehicle communication
  • V2I vehicle-infrastructure communication
  • ADAS Advanced Driver-Assistance Systems
  • V2V vehicle-to-vehicle communication
  • sensor fusion utilizing various sensors mounted on the vehicle
  • AI Artificial Intelligence
  • ML Machine Learning
  • DL Deep Learning
  • SAE The American Society of Automotive Engineers of Japan (SAE) defines six levels of automated driving, from level 0 (manual driving) to level 5 (fully automated driving). .. countries around the world, including Japan, have adopted this SAE automated driving level definition.
  • the automatic driving level 5 is fully automatic driving, and the driver (driver) does not need to perform any driving operation or monitoring operation, and can perform all activities. You can do whatever you like, such as taking a nap, reading a book, or playing a game.
  • automatic driving level 3 is defined as a level that requires the driver (driver) to constantly monitor and return to manual driving in an emergency, and can only perform activities while monitoring the front. For example, naps are not allowed.
  • autonomous driving is in the development stage, and it is thought that it will take some time before it becomes possible to perform 100% automated driving level 5 on all road sections, and for the time being, road sections and situations. It is predicted that the process of switching the automatic driving level according to the driving will be required. For example, on straight roads with sufficient road width, such as highways, driving at automatic driving levels 4 to 5 is permitted, but when exiting the highway and stopping the car at any position in the parking lot, It is predicted that on mountain roads with narrow roads, it will be necessary to switch to automatic driving levels 0 to 3 and switch levels such as driving under the supervision and operation of the driver.
  • Patent Document 1 Japanese Patent Laid-Open No. 2020-02923308
  • Patent Document 2 Japanese Patent Laid-Open No. 2019-018842
  • Patent Document 3 Japanese Patent Laid-Open No. 2019-185246. Issue
  • Patent Document 1 discloses a technique for changing an operation mode according to a traveling environment during traveling.
  • Patent Document 2 discloses a configuration for detecting a design defect of a driver assistance system.
  • Patent Document 3 describes how to deal with a failure of the automatic operation control device.
  • SAE Society of Automotive Engineers
  • level 0 manual driving
  • level 5 fully automated driving
  • the activities allowed for the driver differ greatly depending on the level of autonomous driving.
  • the automatic driving level 5 is fully automated driving, and the driver (driver) does not need to perform any driving operation or monitoring operation, and can perform all activities. You can do whatever you like, such as taking a nap, reading a book, or playing a game.
  • automatic driving level 3 is defined as a level that requires the driver (driver) to constantly monitor and return to manual driving in an emergency, and can only perform activities while monitoring the front. For example, naps are not allowed.
  • the driver In the conventional manual driving type vehicle, the driver is required to concentrate on the driving operation. Therefore, for the driver of a manually driven vehicle, the activity other than the driving operation is allowed, for example, conversation, and other activities are not allowed.
  • the present disclosure has been made in view of the above-mentioned problems, for example, and is an information processing device that enables safe automatic driving by notifying the driver of activities permitted to the driver of a vehicle during automatic driving. , And an information processing system, and an information processing method.
  • the first aspect of this disclosure is The information processing device has a control unit that acquires the automatic operation level of the automatic operation being executed by the mobile device and notifies the driver of the allowable activity of the driver according to the acquired automatic operation level.
  • the second aspect of the present disclosure is It is an information processing system that has a mobile device and an external device.
  • the moving device is The automatic operation level of the automatic operation being executed by the mobile device is acquired, and the automatic operation level is acquired.
  • the external device is The mobile device is provided with a list of allowable activities corresponding to the automatic driving level in which the automatic driving level and the allowable activity are associated with each other.
  • the moving device is It is in the information processing system that acquires the permissible activity corresponding to the automated driving level being executed by the mobile device and notifies the driver by referring to the permissible activity list corresponding to the automated driving level.
  • the third aspect of the present disclosure is It is an information processing method executed in an information processing device.
  • the control unit The information processing method is to acquire the automatic operation level of the automatic operation being executed by the mobile device and notify the driver of the allowable activity of the driver according to the acquired automatic operation level.
  • the fourth aspect of the present disclosure is It is a program that executes information processing in an information processing device.
  • the control unit Acquires the automatic operation level of the automatic operation that the mobile device is running, There is a program for notifying the driver of the allowable activity of the driver according to the acquired automatic driving level.
  • the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium provided in a computer-readable format to an information processing device or a computer system capable of executing various program codes.
  • a program can be provided by a storage medium or a communication medium provided in a computer-readable format to an information processing device or a computer system capable of executing various program codes.
  • system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to those in the same housing.
  • a configuration for notifying the driver of the allowable activity of the driver according to the automatic driving level is realized.
  • the automatic driving level of the automatic driving being executed by the mobile device is acquired, and the driver is notified of the allowable activity of the driver according to the acquired automatic driving level.
  • the control unit acquires an automated driving level compatible allowable activity list that associates the automated driving level with the allowable activity from an external server or a storage unit, and refers to the acquired automated driving level compatible allowable activity list to obtain the automated driving level. Acquires the allowable activity corresponding to and notifies the driver.
  • FIG. 1 is a diagram showing a configuration example of the information processing system of the present disclosure.
  • FIG. 1 shows a mobile device (automated driving vehicle) 10 traveling on a road, a roadside communication unit (RSU: Roadside Unit) 20, a base station 30, and a control device 50 as road infrastructure (road equipment).
  • RSU Roadside Unit
  • FIG. 1 shows a mobile device (automated driving vehicle) 10 traveling on a road, a roadside communication unit (RSU: Roadside Unit) 20, a base station 30, and a control device 50 as road infrastructure (road equipment).
  • RSU Roadside Unit
  • the control device 50 is, for example, a device constituting a core network, and is a communication between a mobile device (automated driving vehicle) 10 and a base station 30, or a mobile device (automated driving vehicle) 10 and a roadside communication unit (RSU) 20. Performs control and management necessary for communication between.
  • a mobile device automated driving vehicle
  • RSU roadside communication unit
  • the base station 30 or the roadside communication unit (RSU) 20 provides information related to traffic in the area to the mobile device (automated driving vehicle) 10.
  • the information related to traffic is all of the high-precision three-dimensional map information called a dynamic map, or some information constituting the dynamic map, for example, dynamic information, quasi-dynamic information, quasi-static information, and the like. Alternatively, it may be static information.
  • the roadside communication unit (RSU) 20 is installed in, for example, a traffic light, a street light, or the like.
  • the base station 30 or the roadside communication unit (RSU) 20 receives the V2X message transmitted from the mobile device (automated driving vehicle) 10.
  • the V2X message is referred to as, for example, a DENM (Decentrized Environmental Notification Message), a CAM (Cooperative Awareness Messages), or a BSM (Basic Safety Message).
  • the control device 50 utilizes the information included in the V2X message acquired from the plurality of mobile devices (automated driving vehicles) 10 to generate, for example, dynamic information or quasi-dynamic information constituting a dynamic map.
  • the base station 30 or the roadside communication unit (RSU) 20 is equipped with a camera module such as an image sensor to acquire surrounding image information.
  • the image information acquired by this camera module is provided to the mobile device (automated driving vehicle) 10 via V2X communication.
  • the base station 30 or the roadside communication unit (RSU) 20 inputs the image information acquired by the camera module into an AI (Artificial Intelligence), for example, a neural network model generated by machine learning or deep learning.
  • AI Artificial Intelligence
  • the dynamic information constituting the dynamic map, the quasi-dynamic information, or the V2X message such as DENM, CAM, BSM may be generated from the output obtained by the above.
  • the base station 30 or the roadside communication unit (RSU) 20 may execute the processing related to the AI by an external device such as a cloud server.
  • the mobile device (automated driving vehicle) 10 performs vehicle-to-vehicle communication with another mobile device (automated driving vehicle) 10 via V2X communication.
  • vehicle-to-vehicle communication in addition to V2X messages such as DENM, CAM, and BSM, information acquired by a sensor mounted on the mobile device (automated driving vehicle) 10, for example, speed, acceleration, angular velocity, position, information related to an image, etc. Is shared.
  • the mobile device (automated driving vehicle) 10 is an autonomous driving vehicle.
  • SAE Society of Automotive Engineers
  • level 0 manual driving
  • level 5 fully automated driving
  • the automatic operation level definition of SAE will be described with reference to FIG. SAE defines six levels of automatic operation from level 0 (manual operation) to level 5 (fully automatic operation) shown in FIG. 2 as the level of automatic operation.
  • the definition (operating state) of each automatic operation level is as follows.
  • Level 1 Autonomous driving system executes either accelerator and brake operation or steering wheel operation
  • Level 2 Autonomous driving system executes accelerator and brake operation and steering wheel operation
  • Level 3 Regulation conditions (for example, a predetermined highway section) Etc.), the automatic driving system executes all automatic driving. However, it is necessary for the driver (driver) to constantly monitor and return to manual operation in an emergency.
  • Level 4 Autonomous driving system executes all automatic driving under the specified conditions
  • Level 5 Automatic driving system without conditions Perform all automated driving
  • level 3 and level 4 are, for example, specified on the condition that the vehicle travels at a specific place. Specifically, for example, driving on a highway, an area with relatively low traffic volume such as a depopulated area, a university campus, an airport facility, or an area with a relatively simple driving environment is a condition. Is.
  • the mobile device (automated driving vehicle) 10 shown in FIG. 1 is a vehicle capable of switching at least a plurality of levels of the automatic driving level, which is the definition level of these SAEs.
  • level 0 (manual driving) to Level 5 fully automated driving) switchable vehicles, such vehicles.
  • the mobile device 10 is capable of communication between the mobile devices 10 and communication with the roadside communication unit (RSU: Roadside Unit) 20.
  • RSU Roadside Unit
  • the mobile device 10 and the roadside communication unit (RSU) 20 can communicate with the control device 50 via a communication network such as a base station 30.
  • a communication network such as a base station 30.
  • control device 50 is, for example, a device constituting the core network, and is a communication between the mobile device (automated driving vehicle) 10 and the base station 30, or a roadside communication with the mobile device (automated driving vehicle) 10. Controls and manages communication between units (RSUs) 20.
  • RSUs units
  • the control device 50 is, for example, from the mobile device 10, data indicating automatic operation level setting information and operation status, sensor detection information, control information of the power system, braking device, steering device, etc. mounted on the mobile device 10. Various data are acquired, and the movement of the moving device 10, that is, the management related to the running is performed.
  • the management related to traveling is management for automatic driving control in the driving support processing unit in the information processing device mounted on the mobile device 10.
  • the control device 50 may be an external device connected to a network function (NF; Network Function) constituting the core network via a service-based interface.
  • NF Network Function
  • the control device 50 further performs data processing such as machine learning (ML; Machine Learning) or deep learning (DL; Deep Learning), and as a result, generates a learning model such as a neural network model. For example, a learning model for each level of automated driving is generated and managed.
  • data processing such as machine learning (ML; Machine Learning) or deep learning (DL; Deep Learning)
  • ML machine learning
  • DL deep learning
  • a learning model such as a neural network model.
  • a learning model for each level of automated driving is generated and managed.
  • the control device 50 further provides map information to the mobile device 10.
  • the map information providing server may be configured to provide the map information to the mobile device 10 by using a map information providing server different from the control device 50.
  • the control device 50 and the map information providing server generate, for example, a so-called local dynamic map (LDM) that constantly updates the traveling map information of the road on which the vehicle travels at high density and provide the mobile device 10.
  • LDM local dynamic map
  • LDM local dynamic map
  • the LDM is, for example, high-definition three-dimensional map information.
  • the LDM is composed of a group of layered information of a plurality of types of layers.
  • LDM is composed of the following four types of information.
  • Type 1 static data
  • Type 2 quasi-static data
  • Type 3 quasi-dynamic data
  • Type 4 dynamic data
  • Type 1 static data is composed of data such as map information generated based on, for example, the Geographical Survey Institute map updated in the medium to long term.
  • Type 2 quasi-static data is composed of data such as buildings such as buildings, trees, signs, etc., which do not change significantly in the short term but change in the long term.
  • Type 3 quasi-dynamic data is composed of data that can change in a certain time unit, such as signals, traffic jams, and accidents.
  • Type 4 dynamic data is traffic information of cars, people, etc., and is composed of data that changes sequentially.
  • the control device 50 and the map information providing server transmit a local dynamic map (LDM) composed of these data to the mobile device 10.
  • the moving device 10 can analyze the LDM and use it for controlling automatic driving such as setting a traveling route, controlling a traveling speed, and controlling a lane.
  • the control device 50 and the map information providing server continuously execute the update process of the local dynamic map (LDM) based on the latest information, and each mobile device 10 acquires the latest information from the server when using the LDM. Can be used.
  • the sections where autonomous vehicles can automatically drive using LDM information are limited sections such as some sections of expressways, and there are many sections where manual driving by the driver is required. ,exist.
  • the current LDM may not be updated in a timely manner, and in such a case, the map information of the old LDM may be different from the current one. This disclosure enables a reliable response even in such a case.
  • FIG. 4 is a diagram showing a configuration example of the information processing system 70 of the present disclosure.
  • the information processing system 70 of the present disclosure includes mobile devices (automated driving vehicles) 10a and b, roadside communication units (RSU) 20a and b, and a control device 50. Further, it may have a map information providing server 50b. Each of these devices can communicate with each other via the communication network 40.
  • mobile devices automated driving vehicles
  • RSU roadside communication units
  • control device 50 Further, it may have a map information providing server 50b.
  • Each of these devices can communicate with each other via the communication network 40.
  • FIG. 4 shows two mobile devices (automated driving vehicles) 10a and b and two roadside communication units (RSU) 20a and b, but the mobile device (automated driving vehicle) 10 and the roadside communication unit. (RSU) 20 can exist in large numbers. Further, a plurality of control devices 50 and map information providing servers 50b can exist, and various other servers may also exist.
  • the communication network 40 is composed of, for example, a plurality of base stations and the like.
  • the mobile device (automated driving vehicle) 10 selects a nearby device from among a plurality of existing control devices 50 and map information providing server 50b, for example, based on position information.
  • the mobile device (automated driving vehicle) 10 is a vehicle capable of switching at least a plurality of levels of the automatic driving level, which is the SAE definition level.
  • the mobile device 10 is capable of communication between the mobile devices 10 and communication with the roadside communication unit (RSU: Roadside Unit) 20.
  • RSU Roadside Unit
  • V2V communication vehicle-to-vehicle communication
  • V2I communication vehicle-to-infrastructure communication
  • V2X communication includes vehicle-to-vehicle, vehicle-to-pedestrian (V2P), vehicle-to-network (V2N), vehicle-to-infrastructure equipment, vehicle-to-server communication, and the like.
  • the mobile device 10 is a vehicle capable of the above-mentioned V2X communication.
  • the mobile device 10 and the roadside communication unit (RSU) 20 can communicate with the control device 50 and the map information providing server 50b via a communication network 40 such as a base station 30.
  • a communication network 40 such as a base station 30.
  • the control device 50 has automatic operation level setting information and data indicating the operation status from the mobile device 10, sensor detection information, and control information of the power system, braking device, and steering device mounted on the mobile device 10. Various data such as, etc. are acquired, and the movement of the moving device 10, that is, the management related to the running is performed.
  • the management related to traveling is automatic driving control management in the driving support processing unit in the information processing device mounted on the mobile device 10.
  • the control device 50 further performs data processing such as machine learning (ML; Machine Learning) or deep learning (DL; Deep Learning) using the data acquired from the mobile device 10, and as a result, a neural network model or the like.
  • data processing such as machine learning (ML; Machine Learning) or deep learning (DL; Deep Learning) using the data acquired from the mobile device 10, and as a result, a neural network model or the like.
  • the control device 50 and the map information providing server 50b provide map information to the mobile device 10.
  • map information For example, a local dynamic map (LDM) having the configuration described with reference to FIG. 3 is generated and provided to the mobile device 10.
  • the moving device 10 can analyze the LDM and use it for controlling automatic driving such as setting a traveling route, controlling a traveling speed, and controlling a lane.
  • LDM local dynamic map
  • FIG. 5 is a diagram showing a configuration example of an information processing device 100 mounted on the mobile device 10 of the present disclosure.
  • the information processing apparatus 100 includes a communication unit 110, a control unit 120, a sensor unit 131, a storage unit 132, and an input / output unit 133.
  • the configuration shown in FIG. 5 is an example, and the hardware configuration is not limited to the configuration shown in FIG. 5, and various different configurations can be used. Further, the functions of the information processing apparatus 100 mounted on the mobile apparatus 10 may be distributed and implemented in a plurality of physically separated configurations.
  • the communication unit 110 has a reception unit 111 and a transmission unit 112.
  • the control unit 120 includes a data acquisition unit 121, an operation support processing unit 122, a determination unit 123, and a communication control unit 124.
  • the configuration shown in FIG. 5 is a partial configuration of the information processing device 100 mounted on the mobile device 10, and shows only the main configuration used for the processing disclosed in the present application.
  • the communication unit 110 communicates with an external device under the communication control unit 124 of the control unit 120. For example, it communicates with other external devices such as the mobile device 10, the base station 30, the roadside communication unit (RSU) 20, the control device 50, and the map information providing server 50b shown in FIG.
  • RSU roadside communication unit
  • the communication unit 110 supports one or a plurality of wireless communication access methods.
  • the communication unit 110 corresponds to both the LTE (Long Term Evolution) method and the 5G NR (New Radio) method.
  • the communication unit 110 may be configured to support various communication methods such as W-CDMA and CDMA2000 in addition to the LTE method and the 5G NR method.
  • the communication unit 110 has a reception unit 111, a transmission unit 112, and an antenna 113.
  • the communication unit 110 may have a plurality of reception units 111, transmission units 112, and antennas 113.
  • each unit of the communication unit 110 may be individually configured for each wireless access method.
  • the receiving unit 111 and the transmitting unit 112 may be individually configured by the LTE method and the 5G NR method.
  • the sensor unit 131 is composed of a plurality of different sensors.
  • the sensor detection information of the sensor unit 131 is acquired by the data acquisition unit 121 of the control unit 120, and is stored in the operation support processing unit 122 and the accessible storage unit 132 of the operation support processing unit 122. Further, the sensor detection information of the sensor unit 131 is provided to an external device, for example, the control device 50 via the communication unit 110 as needed.
  • FIG. 6 shows a detailed configuration example of the sensor unit 131.
  • the sensor unit 131 includes a position information sensor 151, a camera module (including an image sensor) 152, a LiDAR (Light Detection and Ranking), a Laser Imaging Detection and Ranger 153, a radar 154, a sensor 155, and the like. Consists of.
  • the position information sensor 151 is, for example, a GNSS (Global Navigation Satellite System) represented by GPS (Global Positioning System). In addition, it may be a sensor using a positioning technique using a signal transmitted / received via a communication unit 110 corresponding to an odometer (mileage meter), LTE, 4G, or 5G cellular system.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the camera module 152 is equipped with a plurality of image sensors, and acquires image information outside the moving device (vehicle) and image information inside the vehicle including the movement and facial expression of the driver.
  • the LiDAR 153 and the radar 154 detect various objects such as other vehicles and obstacles around the moving device, and acquire data necessary for measuring the distance to the detected object.
  • the sensor 155 is composed of an inertial measurement unit called an IMU (Inertial Measurement Unit), which is a unit that integrates, for example, an acceleration sensor, a rotation angle acceleration sensor, a gyro sensor, a magnetic field sensor, a pressure sensor, and a temperature sensor.
  • IMU Inertial Measurement Unit
  • the acquired information of these sensor units 131 is provided to the operation support processing unit 122 via the data acquisition unit 121 of the control unit 120, and is stored in the accessible storage unit 132 of the operation support processing unit 122. Will be done. Further, the acquired information of the sensor unit 131 is provided to an external device, for example, the control device 50 via the communication unit 110 as needed.
  • the storage unit 132 is a data-readable / writable storage device such as a DRAM, SRAM, flash memory, or hard disk.
  • the storage unit 132 functions as a storage means for the information processing device 100.
  • the input / output unit 133 is an interface for exchanging information with a user such as a driver.
  • the input / output unit 133 functions as an interface that can be operated by the driver, such as an operation key and a touch panel.
  • the input / output unit 133 may be configured as a display device such as a liquid crystal display (Liquid Crystal Display) or an organic EL display (Organic Electroluminescence Display). Further, the input / output unit 133 may be an audio device such as a speaker, a microphone, or a buzzer. Further, the input / output unit 133 may be a lighting device such as an LED (Light Emitting Diode) lamp.
  • the input / output unit 133 functions as an input / output means (input means, output means, operation means, or notification means) of the information processing apparatus 100.
  • the control unit 120 is a controller that controls each unit of the information processing device 100.
  • the control unit 120 has, for example, a processor such as a CPU, MPU, and GPU, and a memory such as RAM and ROM.
  • the processor of the control unit 120 executes various programs stored in the storage unit 132 with a memory such as a RAM as a work area, and executes various processes necessary for the information processing device 100.
  • the control unit 120 may be realized by an integrated circuit such as an ASIC or FPGA.
  • the CPU, MPU, GPU, ASIC, and FPGA can all be considered as controllers.
  • the control unit 120 includes a data acquisition unit 121, an operation support processing unit 122, a determination unit 123, and a communication control unit 124.
  • Each block (data acquisition unit 121 to communication control unit 124) constituting the control unit 120 is a functional block indicating the function of the control unit 120, respectively.
  • These functional blocks may be software blocks or hardware blocks.
  • the above-mentioned functional blocks may be one software module realized by software (including a microprogram), or may be one circuit block on a semiconductor chip (die). Further, each functional block may be one processor or one integrated circuit. The method of configuring the functional block is arbitrary.
  • the control unit 120 may be configured in a functional unit different from the above-mentioned functional block.
  • the information processing device 100 shown in FIG. 5 is a device mounted in the mobile device 10.
  • the driving support processing unit 122 of the control unit 120 includes an engine, an accelerator, a brake, a steering wheel (steering), a transmission, and the like. It controls each component of the vehicle and executes automatic driving control.
  • the data collection unit 121 acquires the sensor detection information of the sensor unit 131.
  • the sensor detection information collected by the data collection unit 121 is provided to the operation support processing unit 122 and stored in the accessible storage unit 132 of the operation support processing unit 122. Further, the sensor detection information of the sensor unit 131 is provided to an external device, for example, the control device 50 via the communication unit 110 as needed.
  • the driving support processing unit 122 controls each component of the vehicle such as the engine, accelerator, brake, steering wheel (steering), and transmission of the moving device 10, and executes automatic driving control.
  • the driving support processing unit 122 moves based on the output obtained by inputting the data collected by the data collecting unit 121 into an AI (Artificial Intelligence), for example, a neural network model generated by machine learning or deep learning.
  • AI Artificial Intelligence
  • Automatic operation control is performed by controlling the operation steering unit of the device 10. For example, automatic operation control by ADAS (Advanced Driver-Assistance Systems) or AD (Autonomous Driving) is executed.
  • the operation support processing unit 122 supplies control information such as acceleration and deceleration of the moving device 10 to the power system, and supplies control information such as deceleration and stop to the braking device, and xx [cm] left, yy [cm]. ] Performs processing such as supplying control information such as the right to the steering device (steering).
  • the neural network model (learning model) used by the driving support processing unit 122 for automatic driving control may be mounted on the driving support processing unit 122 in advance, or may be mounted on the base station 30 or the roadside communication unit (RSU). It may be acquired from an external control device 50 or another external server via 20 or the like, stored in the storage unit 132, and updated as appropriate.
  • the neural network model (learning model) used by the driving support processing unit 122 for automatic driving control may be one neural network model or may be composed of a plurality of neural network models. ..
  • the plurality of neural network models may be a neural network model prepared for each sensor as a so-called edge AI, or a neural network model prepared for each control of the control unit 120.
  • the information processing device 100 mounted on the mobile device 10 of the present embodiment detects the presence or absence of an abnormality in automatic operation or manual operation based on the information acquired via the data acquisition unit 121 or the communication unit 110 of the control unit 120. do. Further, when an abnormality is detected, appropriate measures are taken according to the situation of the detected abnormality, and processing for maintaining safe driving is executed.
  • the information processing device 100 mounted on the mobile device 10 of the present embodiment is allowed by the driver (driver) according to the level of the automatic operation being executed when the mobile device 10 is performing automatic operation. Notify the driver of acceptable activity, which is an action. For example, if the automatic driving level is level 2, it is possible to make a phone call, and if it is level 4, it is possible to read or take a nap.
  • the driver By notifying the driver of the permissible activity according to the automatic driving level, the driver (driver) can confirm the permissible activity and perform only the permissible activity. For example, when the automatic driving level is level 2, it is possible to prevent a situation in which an accident is caused by taking a nap, which is an unacceptable activity, and it is possible to perform safe automatic driving. Hereinafter, this specific process will be described.
  • the process according to the flow described below can be executed according to, for example, the program stored in the storage unit 132 of the information processing apparatus 100. For example, it is executed under the control of a data processing unit (control unit) having a CPU or the like having a program execution function.
  • a data processing unit control unit
  • CPU central processing unit
  • FIG. 7 the processing of each step of the flowchart shown in FIG. 7 will be sequentially described.
  • Step S101 First, in step S101, the control unit 120 of the information processing device 100 identifies the level of the automatic operation currently being executed by the mobile device 10.
  • This process is executed by the data collection unit 121, the communication unit 110, and the operation support processing unit 122 in the control unit 120 of the information processing device 100.
  • the data collected by the data collecting unit 121, the data acquired by the communication unit 110 from the outside, and the like are used for the automatic operation level specifying process.
  • the operation support processing unit 122 inputs the collected data of the data collection unit 121 and the data acquired from the outside by the communication unit 110, and based on these data, the mobile device 10 determines the level of the automatic operation currently being executed. Identify.
  • the data collection unit 121 collects the sensor detection information of the sensor unit 131.
  • the sensor unit 131 includes a position information sensor 151, a camera module 152, a LiDAR 153, a radar 154, and a sensor 155, as described above with reference to FIG.
  • the data collection unit 121 acquires the detection information of these various sensors of the sensor unit 131.
  • the information acquired by the data collection unit 121 includes, for example, self-position information, a camera-captured image, object distance information, and the like.
  • the information acquired by the data collection unit 121 is input to the operation support processing unit 122.
  • the communication unit 110 performs operation support processing of information acquired from other mobile devices, road infrastructure such as a base station 30 and a roadside communication unit (RSU) 20, and an external server such as a control device 50 and a map information providing server 50b. Input to unit 122.
  • road infrastructure such as a base station 30 and a roadside communication unit (RSU) 20
  • RSU roadside communication unit
  • an external server such as a control device 50 and a map information providing server 50b.
  • Input to unit 122 Input to unit 122.
  • the control device 50 holds the automatic operation management data of the mobile device 10
  • the information on the level of the automatic operation currently being executed by the mobile device 10 can be acquired from the control device 50. Further, the automatic driving allowance level information for each road section registered in the map information provided by the map information providing server 50b is acquired, and the level of the automatic driving currently being executed by the mobile device 10 is determined using this information. You may. Further, if the level information of the automatic operation currently being executed by the mobile device 10 is set or recorded in the storage unit 131 or the memory in the mobile device 10, this information may be acquired.
  • the driving support processing unit 122 can specify the level of automatic driving currently being executed by the mobile device 10 based on, for example, any of the above methods.
  • step S101 the operation support processing unit 122 inputs the collected data of the data collecting unit 121 and the data acquired from the outside by the communication unit 110, and based on these data, the mobile device 10 is currently performing. Identify the level of autonomous driving in progress.
  • Step S102 the control unit 120 of the information processing apparatus 100 has a list of activities (behaviors) allowed by the driver according to the automatic driving level as list data, that is, an allowable activity associated with the automatic driving level. Get the list.
  • the permissible activity list is a list of activity items allowed by the driver for each of the levels of automatic driving (levels 0 to 5) described above with reference to FIG. 2 as list data.
  • the operation support processing unit 122 of the control unit 120 of the information processing device 100 receives an allowable activity list from, for example, the control device 50 via the communication unit 110.
  • the allowable activity list associated with the automatic operation level can also be stored in the storage unit 131 in the information processing device 100 of the mobile device 10. In that case, the control unit of the information processing device 100 can be stored.
  • the driving support processing unit 122 of 120 acquires an allowable activity list from the storage unit 131.
  • FIG. 8 shows an example of an allowable activity list associated with the automatic driving level.
  • the permissible activity list consists of correspondence data between the automated driving level (0 to 5) and the activity allowed by the driver (driver) who is the user at each automated driving level (0 to 5). It is a list. As shown in FIG. 8, the activity allowed for the driver varies depending on the automated driving level (0-5).
  • the activities allowed for the driver are: (1) Meal, (2) Telephone, (3) Email confirmation, reply, (4) Reading, (5) Gameplay, (6) Videophone, (7) Nap.
  • the activities allowed for the driver are: (1) Meals, (2) Phone calls, (3) Email confirmations, replies, (4) Reading, (5) Gameplay, (6) Videophone, (7) Nap, (8) All other activities. ..
  • the permissible activity list is composed of data in which the automatic driving level and the activity permissible to the driver are associated with each other.
  • step S102 the control unit 120 of the information processing apparatus 100 acquires an allowable activity list associated with the automatic operation level as shown in FIG.
  • step S103 the control unit 120 of the information processing apparatus 100 allows the driver associated with the automated driving level currently being executed by the mobile device 10 from the automated driving level correspondence allowable activity list acquired in step S102. Select the activity to be done.
  • This process is executed by the operation support processing unit 122 in the control unit 120 of the information processing device 100.
  • step S104 the control unit 120 of the information processing apparatus 100 is associated with the activity allowed by the driver acquired from the allowable activity list in step S103, that is, the automatic operation level currently being executed by the mobile device 10.
  • the activity allowed by the driver is output to the input / output unit 133 of the mobile device 10.
  • a message explaining the activity allowed for the driver is output via the display unit and the voice output unit constituting the input / output unit 133.
  • both may be notified with a means of determining what the driver can do and what the driver cannot do.
  • FIG. 9 An example of an allowable activity notification corresponding to an automatic driving level using a display unit will be described with reference to FIG. 9. As shown in FIG. 9, a message including a list data of allowable activities corresponding to the automatic driving level is displayed on a display unit that can be observed by the driver (driver) of the mobile device.
  • the display information example shown in FIG. 9 is an example in which the following message is displayed. "Currently, the autonomous driving level is level 3. At level 3, the activities allowed for the driver are as follows. (1) Meals (2) Telephone (3) Email confirmation and reply (4) Reading (5) Gameplay
  • the driver who is the user sees the message displayed on the display unit, and the current automatic operation level of the mobile device 10 is level 3.
  • the activities allowed for the driver include (1) meal, (2) telephone, (3) email confirmation, reply, (4) reading, and (5) gameplay. You can see that there is activity.
  • the user can confirm the permissible activity corresponding to the automatic driving level 3 displayed on the display unit and act while trying to perform the action within the range of the displayed permissible activity.
  • notification processing of the allowable activity corresponding to the automatic operation level is not limited to the display processing for the display unit as shown in FIG. 9, and may be configured to notify by voice information, for example.
  • the processing sequence described with reference to the flowchart shown in FIG. 7 only notifies the allowable activity corresponding to the automated driving level, and does not perform analysis as to whether or not the driver confirms this notification. ..
  • the process described below is a process of analyzing the confirmation status of the driver for the notification of the allowable activity and performing an emergency response when the confirmation is not made.
  • the sequence of this processing will be described with reference to the flowchart shown in FIG.
  • the flowchart shown in FIG. 10 is a flow in which steps S121 to S122 are added after step S104 of the flowchart shown in FIG. 7 described above.
  • steps S121 to S122 are added after step S104 of the flowchart shown in FIG. 7 described above.
  • steps S121 to S122 are added after step S104 of the flowchart shown in FIG. 7 described above.
  • the processing of each step of the flowchart shown in FIG. 10 will be described.
  • Steps S101 to S104 The processes of steps S101 to S104 are the same as the processes described with reference to FIG. 7. These processes will be briefly described.
  • control unit 120 of the information processing device 100 first specifies the level of the automatic operation currently being executed by the mobile device 10 in step S101.
  • step S102 a list of activities (behaviors) allowed by the driver according to the automatic driving level as list data, that is, a list of allowable activities corresponding to the automatic driving level is acquired.
  • control unit 120 of the information processing apparatus 100 is allowed by the driver associated with the automated driving level currently being executed by the mobile device 10 from the automated driving level correspondence allowable activity list acquired in step S102 in step S103. Select an activity.
  • step S104 the control unit 120 of the information processing apparatus 100 is associated with the activity allowed by the driver acquired from the allowable activity list in step S103, that is, the automatic operation level currently being executed by the mobile device 10.
  • the activity allowed by the driver is output to the input / output unit 133 of the mobile device 10.
  • the processing up to this point is the same as the processing described with reference to FIG. 7.
  • Step S121 the control unit 120 of the information processing apparatus 100 determines whether or not the confirmation input from the driver is detected for the allowable activity corresponding to the automatic operation level notified to the driver in step S104.
  • FIG. 11 shows an example of a user interface that enables detection of confirmation input from this driver.
  • FIG. 11 shows display data in which a confirmation button 201 for user input is added to the display data similar to the allowable activity notification example corresponding to the automatic operation level described above with reference to FIG. 9.
  • the display unit is a touch panel, and when the user (driver) touches the confirmation button 201, a detection signal indicating that the confirmation has been made by the user is input to the control unit 120 of the information processing apparatus 100.
  • step S121 of the flow shown in FIG. 10 the presence or absence of this detection signal is determined.
  • the determination in step S121 is Yes. That is, it is determined that the driver has confirmed the allowable activity data corresponding to the automatic driving level displayed on the display unit, and the process is terminated.
  • step S121 determines whether the driver has not confirmed the allowable activity data corresponding to the automatic driving level displayed on the display unit. In this case, the process proceeds to step S122.
  • Step S122 If it is determined in the determination process of step S121 that the driver has not confirmed the allowable activity data corresponding to the automatic driving level displayed on the display unit, the process proceeds to step S122.
  • the control unit 120 of the information processing apparatus 100 executes the emergency response process in step S122.
  • Emergency response processing is, for example, (A) Emergency stop of mobile device 10 (B) Switch the moving device 10 to slow driving. (C) Alarm sound output, It is a process in which any one of these processes or a plurality of these processes is combined.
  • the operation support processing unit 122 of the control unit 120 performs an emergency stop of the mobile device 10 as an emergency response process. Output an alarm sound.
  • the sequence of this process will be described with reference to the flowchart shown in FIG.
  • the flowchart shown in FIG. 12 is a flow in which steps S141 to S143 are added after step S104 of the flowchart shown in FIG. 7 described above.
  • steps S141 to S143 are added after step S104 of the flowchart shown in FIG. 7 described above.
  • processing of each step of the flowchart shown in FIG. 12 will be described.
  • Steps S101 to S104 The processes of steps S101 to S104 are the same as the processes described with reference to FIG. 7. These processes will be briefly described.
  • control unit 120 of the information processing device 100 first specifies the level of the automatic operation currently being executed by the mobile device 10 in step S101.
  • step S102 a list of activities (behaviors) allowed by the driver according to the automatic driving level as list data, that is, a list of allowable activities corresponding to the automatic driving level is acquired.
  • control unit 120 of the information processing apparatus 100 is allowed by the driver associated with the automated driving level currently being executed by the mobile device 10 from the automated driving level correspondence allowable activity list acquired in step S102 in step S103. Select an activity.
  • step S104 the control unit 120 of the information processing apparatus 100 is associated with the activity allowed by the driver acquired from the allowable activity list in step S103, that is, the automatic operation level currently being executed by the mobile device 10.
  • the activity allowed by the driver is output to the input / output unit 133 of the mobile device 10.
  • the processing up to this point is the same as the processing described with reference to FIG. 7.
  • Step S141 the control unit 120 of the information processing apparatus 100 analyzes the behavior of the driver based on the sensor detection information.
  • FIG. 13 shows a configuration example of the sensor unit 131 in the case of performing this embodiment.
  • the sensor unit 131 shown in FIG. 13 has a configuration in which a driver monitoring sensor 156 is added to the sensor unit 131 described above with reference to FIG.
  • the driver monitoring sensor 156 is a sensor that acquires information for analyzing the behavior of the driver in the vehicle, and is composed of, for example, a camera, a microphone, a distance sensor, an odor sensor, and the like.
  • the data collection unit 121 of the control unit 120 inputs the acquired information of the driver monitoring sensor 156 and inputs it to the determination unit 123.
  • the determination unit 123 analyzes the acquired information of the driver monitoring sensor 156 and estimates the activity performed by the driver. This estimation may be made based on the output result obtained by inputting the acquired information of the driver monitoring sensor 156 into the neural network model generated by AI, for example, machine learning or deep learning.
  • Step S142 it is determined whether or not the activity of the driver estimated in step S141 is an allowable activity corresponding to the current automatic driving level.
  • This process is executed by the determination unit 123 of the control unit 120.
  • the determination unit 123 determines whether or not the estimated driver activity is an allowable activity corresponding to the current automated driving level.
  • step S143 If it is determined that the driver's activity is an acceptable activity corresponding to the current automation level, the process ends. On the other hand, if it is determined that the activity of the driver is not the allowable activity corresponding to the current automatic driving level, the process proceeds to step S143.
  • Step S143 If it is determined in the determination process of step S142 that the driver is executing an activity that is not an allowable activity corresponding to the current automatic driving level, the process proceeds to step S143.
  • the control unit 120 of the information processing apparatus 100 executes the emergency response process in step S143.
  • Emergency response processing is, for example, (A) Emergency stop of mobile device 10 (B) Switch the moving device 10 to slow driving. (C) Alarm sound output, It is a process in which any one of these processes or a plurality of these processes is combined.
  • the driving support processing unit 122 of the control unit 120 performs an emergency stop of the mobile device 10 as an emergency response process. Output an alarm sound.
  • the process according to the flow shown in FIG. 14 can be executed according to, for example, the program stored in the storage unit 132 of the information processing apparatus 100. For example, it is executed under the control of a data processing unit (control unit) having a CPU or the like having a program execution function.
  • a data processing unit control unit
  • CPU central processing unit
  • FIG. 14 the processing of each step of the flowchart shown in FIG. 14 will be sequentially described.
  • Step S201 First, in step S201, the control unit 120 of the information processing device 100 specifies the level of the automatic operation currently being executed by the mobile device 10.
  • This process is executed by the data collection unit 121, the communication unit 110, and the operation support processing unit 122 in the control unit 120 of the information processing device 100.
  • the data collected by the data collecting unit 121, the data acquired by the communication unit 110 from the outside, and the like are used for the automatic operation level specifying process.
  • the operation support processing unit 122 inputs the collected data of the data collection unit 121 and the data acquired from the outside by the communication unit 110, and based on these data, the mobile device 10 determines the level of the automatic operation currently being executed. Identify.
  • the data collection unit 121 collects the sensor detection information of the sensor unit 131.
  • the sensor unit 131 includes a position information sensor 151, a camera module 152, a LiDAR 153, a radar 154, and a sensor 155, as described above with reference to FIG.
  • the data collection unit 121 acquires the detection information of these various sensors of the sensor unit 131.
  • the information acquired by the data collection unit 121 includes, for example, self-position information, a camera-captured image, object distance information, and the like.
  • the information acquired by the data collection unit 121 is input to the operation support processing unit 122.
  • the communication unit 110 performs operation support processing of information acquired from other mobile devices, road infrastructure such as a base station 30 and a roadside communication unit (RSU) 20, and an external server such as a control device 50 and a map information providing server 50b. Input to unit 122.
  • road infrastructure such as a base station 30 and a roadside communication unit (RSU) 20
  • RSU roadside communication unit
  • an external server such as a control device 50 and a map information providing server 50b.
  • Input to unit 122 Input to unit 122.
  • the control device 50 holds the automatic operation management data of the mobile device 10
  • the information on the level of the automatic operation currently being executed by the mobile device 10 can be acquired from the control device 50.
  • the automatic driving allowance level information for each road section registered in the map information providing server 50b may be acquired, and this information may be used to determine the level of automatic driving currently being executed by the mobile device 10.
  • the level information of the automatic operation currently being executed by the mobile device 10 is set or recorded in the storage unit 131 or the memory in the mobile device 10, this information may be acquired.
  • the driving support processing unit 122 can specify the level of automatic driving currently being executed by the mobile device 10 based on, for example, any of the above methods.
  • step S201 the operation support processing unit 122 inputs the collected data of the data collecting unit 121 and the data acquired from the outside by the communication unit 110, and based on these data, the mobile device 10 is currently performing. Identify the level of autonomous driving in progress.
  • Step S202 the control unit 120 of the information processing apparatus 100 determines whether or not there is a transition (change) in the automatic operation level being executed by the mobile apparatus 10.
  • step S203 the determination unit 123 of the control unit 120 of the information processing apparatus 100 determines whether or not there is a transition (change) in the automatic operation level being executed by the mobile device 10.
  • the transition (change) of the automatic driving level occurs, for example, due to a change in the allowable automatic driving level set corresponding to the road section of the road on which the mobile device 10 is traveling.
  • the device 10 automatically changes from the automatic operation level 3 to the level 4.
  • the automatic operation level change process in the mobile device 10 is executed under the control of the operation support processing unit 122 of the control unit 120 of the information processing device 100 in the mobile device 10.
  • the operation support processing unit 122 performs automatic operation level change processing based on, for example, an instruction from the control device 50.
  • the automatic driving level is changed based on the allowable automatic driving level information for each road section recorded in the map information received from the map information providing server 50b.
  • step S202 If it is determined in step S202 that the determination unit 123 of the control unit 120 of the information processing apparatus 100 has detected the transition (change) of the automatic operation level of the mobile device 10, the process proceeds to step S203. On the other hand, if the determination unit 123 determines in step S202 that the transition (change) of the automatic operation level of the mobile device 10 is not detected, the process returns to step S201 and the process of step S201 is continued.
  • Step S203 If it is determined in step S202 that a transition (change) in the automatic driving level of the mobile device 10 has been detected, in step S203, an allowable activity list in which the automatic driving level and the activity allowed by the driver are associated with each other is acquired.
  • the permissible activity list is a table in which the automated driving level and the activity permissible for the driver are associated with each other.
  • This automatic operation level correspondence allowable activity list acquisition process is executed by the operation support processing unit 122 of the control unit 120 of the information processing apparatus 100.
  • the operation support processing unit 122 of the control unit 120 of the information processing apparatus 100 acquires an allowable activity list associated with the automatic operation level.
  • the allowable activity list is a table in which the activities allowed by the driver are associated with each level (levels 0 to 5) of the automatic driving described above with reference to FIG.
  • the operation support processing unit 122 of the control unit 120 of the information processing device 100 receives, for example, an automated operation level correspondence allowable activity list from the control device 50 via the communication unit 110. It is also possible to store the allowable activity list corresponding to the automatic operation level in the storage unit 131 in the information processing device 100 of the mobile device 10. In that case, the operation support of the control unit 120 of the information processing device 100 is possible.
  • the processing unit 122 acquires the automatic operation level correspondence allowable activity list from the storage unit 131.
  • step S203 the control unit 120 of the information processing apparatus 100 acquires an automated driving level-corresponding activity list in which the automated driving level and the activity allowed by the driver are associated with each other as shown in FIG.
  • step S204 the control unit 120 of the information processing apparatus 100 refers to the automatic operation level correspondence allowable activity list acquired in step S203, and before and after the transition of the automatic operation level of the mobile device 10 detected in step S202. Analyze the difference in allowed activity.
  • This processing is executed by the operation support processing unit 122 of the control unit 120 of the information processing apparatus 100.
  • the driving support processing unit 122 of the control unit 120 of the information processing apparatus 100 analyzes the difference between the permissible activity before the transition of the automatic operation level and the permissible activity after the transition. For example, when the automatic driving level before the transition is level 3 and the automatic driving level after the transition is level 4, the difference between the allowable activity corresponding to the automatic driving level 3 and the allowable activity corresponding to the automatic driving level 4 is analyzed. do.
  • step S205 the control unit 120 of the information processing apparatus 100 determines whether or not there is a difference in the allowable activity before and after the automatic operation level transition as the difference analysis result in step S204.
  • This processing is also executed by the operation support processing unit 122 of the control unit 120 of the information processing apparatus 100. If the operation support processing unit 122 of the control unit 120 of the information processing apparatus 100 determines in step S205 that there is a difference in the allowable activity before and after the automatic operation level transition, the process proceeds to step S206. On the other hand, if it is determined in step S205 that there is no difference in the allowable activity before and after the automatic operation level transition, the process ends.
  • Step S206 The process of step S206 is executed when it is determined in step S205 that there is a difference in the allowable activity before and after the automatic operation level transition.
  • This processing is executed by the operation support processing unit 122 of the control unit 120 of the information processing apparatus 100.
  • the operation support processing unit 122 of the control unit 120 of the information processing apparatus 100 determines in step S205 that there is a difference in the allowable activity before and after the automatic operation level transition, in step S206, after the automatic operation level transition (change).
  • the permissible activity that is, the permissible activity that clearly indicates the difference due to the change in the automatic operation level is output to the input / output unit 133 of the mobile device 10.
  • a message explaining the activity allowed for the driver is output via the display unit and the voice output unit constituting the input / output unit 133. It is preferable to notify the difference in the allowable activity before and after the automatic operation level transition so that it is easy to understand.
  • Level change processing that raises the automatic driving level that is, level change processing that reduces the proportion of human intervention in driving operations.
  • B Level change processing that lowers the automatic driving level, that is, level change processing that increases the proportion of human intervention in driving operations.
  • FIG. 15 is a diagram showing a processing example executed by the operation support processing unit 122 of the control unit 120 of the information processing apparatus 100 in steps S204 to S205 of the flow shown in FIG.
  • the driving support processing unit 122 refers to the automatic driving level corresponding allowable activity list acquired in step S203, and determines the difference in the allowable activity before and after the transition of the automatic driving level of the mobile device 10 detected in step S202. To analyze. The driving support processing unit 122 analyzes the difference between the permissible activity before the transition of the automatic driving level and the permissible activity after the transition.
  • FIG. 15 shows the allowable activity of the automatic driving level 3 and the allowable activity of the automatic driving level 4 recorded in the allowable activity list corresponding to the automatic driving level.
  • the allowable activity of the automatic driving level 3 recorded in the allowable activity list corresponding to the automatic driving level is (1) Meals (2) Telephone (3) Email confirmation and reply (4) Reading (5) Gameplay These five activities.
  • the allowable activity of automatic driving level 4 recorded in the allowable activity list corresponding to the automatic driving level is (1) Meals (2) Telephone (3) Email confirmation and reply (4) Reading (5) Gameplay (6) Videophone (7) Nap These seven activities.
  • the driving support processing unit 122 analyzes the difference between the permissible activity of the automatic driving level 3 and the permissible activity of the automatic driving level 4 in steps S204 to S205 of the flow shown in FIG.
  • the difference between the allowable activity of the automatic driving level 3 and the allowable activity of the automatic driving level 4 is the following activity newly added as the allowable activity of the automatic driving level 4. That is, (6) Videophone (7) Nap These two activities.
  • the driving support processing unit 122 determines that there is a difference in the allowable activity before and after the transition of the automatic driving level, determines Yes in the determination step of step S205 of the flow shown in FIG. 14, and proceeds to step S206.
  • step S206 the driving support processing unit 122 moves the allowable activity after the transition (change) of the automatic driving level, that is, the activity allowed by the driver associated with the automatic driving level currently being executed by the mobile device 10. Output to the display unit of the device 10.
  • the driving support processing unit 122 generates, for example, display data so that the difference between the allowable activities before and after the automatic driving level transition can be easily understood and displays it on the display unit.
  • FIG. 16 is a diagram showing an example of display data generated by the driving support processing unit 122 and displayed on the display unit.
  • the display data shown in FIG. 16 is an example of displaying the following message. "The automated driving level has been changed from level 3 to level 4. The following (6) and (7) have been added as level 4 driver permissible activities. (1) Meals (2) Telephone (3) Email confirmation and reply (4) Reading (5) Gameplay (6) Videophone (7) Nap "
  • the driving support processing unit 122 generates and outputs display data in which the difference between the allowable activities before and after the level transition is easy to understand.
  • the user can confirm the permissible activity corresponding to the automatic driving level 4 displayed on the display unit and act while trying to perform the action within the range of the displayed permissible activity.
  • notification processing of the allowable activity corresponding to the automatic operation level is not limited to the display processing for the display unit as shown in FIG. 16, and may be configured to notify by voice information, for example.
  • the example of the display data shown in FIG. 16 is an example, and may be configured to generate and output other different display data.
  • An example of generating and displaying display data different from the display data shown in FIG. 16 will be described with reference to FIGS. 17 and 18.
  • FIG. 17 is a diagram showing a processing example executed by the operation support processing unit 122 of the control unit 120 of the information processing apparatus 100 in steps S204 to S205 of the flow shown in FIG.
  • the driving support processing unit 122 refers to the allowable activity list associated with the automatic driving level acquired in step S203, and allows the mobile device 10 detected in step S202 before and after the transition of the automatic driving level. Analyze the difference in activity. The driving support processing unit 122 analyzes the difference between the permissible activity before the transition of the automatic driving level and the permissible activity after the transition.
  • FIG. 17 shows the allowable activity of the automatic driving level 3 and the allowable activity of the automatic driving level 4 recorded in the allowable activity list associated with the automatic driving level.
  • the activity (1) videophone, (2) nap
  • the activity that is not included in the allowable activity of automatic driving level 3 and corresponds to the difference newly added only to the allowable activity of automatic driving level 4 is performed. It is set as the head data of the allowable activity of the operation level 4.
  • the driving support processing unit 122 sets the difference data at the head, and in step S206 of the flow shown in FIG. 14, displays data so that the difference between the allowable activities before and after the automatic driving level transition can be easily understood. Generate and display on the display.
  • FIG. 18 is an example of display data generated by the driving support processing unit 122 and displayed on the display unit.
  • the display data shown in FIG. 18 is an example of displaying the following message. "The automated driving level has been changed from level 3 to level 4. The following (1) and (2) have been added as level 4 driver permissible activities. (1) Videophone (2) Nap (3) Meal (4) Telephone (5) Email confirmation and reply (6) Reading (7) Gameplay "
  • the newly added (1) videophone (2) nap is displayed in a position preceding the other activities (3) to (7), and further.
  • a different color output such as a red output, or a highlighting such as changing the size and displaying a large image is performed.
  • the driving support processing unit 122 generates and outputs display data in which the difference between the allowable activities before and after the level transition is easy to understand.
  • the user can confirm the permissible activity corresponding to the automatic driving level 4 displayed on the display unit and act while trying to perform the action within the range of the displayed permissible activity.
  • notification processing of the allowable activity corresponding to the automatic operation level is not limited to the display processing for the display unit as shown in FIG. 18, and may be configured to notify by voice information, for example.
  • This is an example of display data.
  • the new activities "videophone” and "nap” are examples, and may be other activities.
  • FIGS. 19 and 20 when the automatic operation level before the transition is level 4 and the automatic operation level after the transition is level 3, that is, when the automatic operation level is shifted to a lower level.
  • FIG. 19 is a diagram showing a processing example executed by the operation support processing unit 122 of the control unit 120 of the information processing apparatus 100 in steps S204 to S205 of the flow shown in FIG.
  • the driving support processing unit 122 refers to the allowable activity list associated with the automatic driving level acquired in step S203, and allows the mobile device 10 detected in step S202 before and after the transition of the automatic driving level. Analyze the difference in activity. The driving support processing unit 122 analyzes the difference between the permissible activity before the transition of the automatic driving level and the permissible activity after the transition.
  • FIG. 19 shows the allowable activity of the automatic operation level 4 before the transition of the automatic operation level and the allowable activity of the automatic operation level 3 after the transition.
  • the permissible activity of automatic driving level 3 after the transition does not include (6) videophone and (7) nap, which were included in the permissible activity of automatic driving level 4 before the transition, and these activities are different. Is extracted as.
  • step S206 of the flow shown in FIG. 14 the driving support processing unit 122 generates display data in which the difference data is easy to understand and displays it on the display unit.
  • FIG. 20 is an example of display data generated by the driving support processing unit 122 and displayed on the display unit.
  • the display data shown in FIG. 20 is an example of displaying the following message. "The automated driving level has been changed from level 4 to level 3. Due to the change from level 4 to level 3, the following activity (NG) has been removed from the driver tolerance activity. (1) Meals (2) Telephone (3) Email confirmation and reply (4) Reading (5) Gameplay (NG) Videophone (NG) Nap "
  • the driving support processing unit 122 generates and outputs display data in which the difference between the allowable activities before and after the level transition is easy to understand.
  • difference data for example, a different color output such as a red output, or a highlighting such as changing the size and displaying it in a large size is performed. That is, different visual features are added to the display of the difference data.
  • an example is shown in which an activity that is no longer allowed by the driver is set to (NG), but in addition to (NG), for example, a cross mark (X) is also displayed. do.
  • NG an activity that is no longer allowed by the driver
  • NG for example, a cross mark (X) is also displayed.
  • various notations are possible so that the driver can recognize the prohibited activity, such as a setting in which a mark composed of a red circle and a diagonal line, which is a mark generally indicating prohibition, is written together.
  • the driver who is the user, sees the display data on the display unit, and the automatic operation level of the mobile device 10 is leveled down from level 4 to level 3. Further, in the automatic driving level 3 after the transition, the types of activities allowed for the driver and the activities that are no longer allowed according to the level transition from level 4 to level 3. (NG) Videophone, (NG) Nap, You can see these prohibited activities.
  • the user can confirm the permissible activity corresponding to the automatic driving level 3 displayed on the display unit and act while trying to perform the action within the range of the displayed permissible activity.
  • notification processing of the allowable activity corresponding to the automatic operation level is not limited to the display processing for the display unit as shown in FIG. 20, and may be configured to notify by voice information, for example.
  • the processing sequence described with reference to the flowchart shown in FIG. 14 is a processing sequence for notifying the driver of the difference in allowable activity according to the change in the automatic driving level in an easy-to-understand manner when the automatic driving level changes. However, no analysis has been performed to determine if the driver has confirmed this notification.
  • the process described below is a process of analyzing the confirmation state of the driver for the difference notification of the allowable activity and performing an emergency response when the confirmation is not made.
  • the sequence of this process will be described with reference to the flowchart shown in FIG.
  • the flowchart shown in FIG. 21 is a flow in which steps S221 to S222 are added after step S206 of the flowchart shown in FIG. 14 described above.
  • steps S221 to S222 are added after step S206 of the flowchart shown in FIG. 14 described above.
  • the processing of each step of the flowchart shown in FIG. 21 will be described.
  • Steps S201 to S206 The processes of steps S201 to S206 are the same as the processes described with reference to FIG. These processes will be briefly described.
  • control unit 120 of the information processing device 100 first specifies the level of the automatic operation currently being executed by the mobile device 10 in step S201.
  • step S202 it is determined whether or not there is a transition (change) in the automatic operation level being executed by the mobile device 10. If it is determined in step S202 that the determination unit 123 of the control unit 120 of the information processing apparatus 100 has detected the transition (change) of the automatic operation level of the mobile device 10, the process proceeds to step S203. On the other hand, if the determination unit 123 determines in step S202 that the transition (change) of the automatic operation level of the mobile device 10 is not detected, the process returns to step S201 and the process of step S201 is continued.
  • step S203 If it is determined in step S202 that a transition (change) in the automatic driving level of the mobile device 10 has been detected, in step S203, an allowable activity list in which the automatic driving level and the activity allowed by the driver are associated with each other is acquired.
  • step S204 the control unit 120 of the information processing apparatus 100 refers to the allowable activity list acquired in step S203, and the difference between the allowable activities before and after the transition of the automatic operation level of the mobile device 10 detected in step S202. To analyze.
  • step S205 the control unit 120 of the information processing apparatus 100 determines whether or not there is a difference in the allowable activity before and after the automatic operation level transition as the difference analysis result in step S204.
  • step S206 If it is determined that there is a difference in the allowable activity before and after the automatic operation level transition, the process proceeds to step S206. On the other hand, if it is determined in step S205 that there is no difference in the allowable activity before and after the automatic operation level transition, the process ends.
  • step S206 is executed when it is determined in step S205 that there is a difference in the allowable activity before and after the automatic operation level transition.
  • This processing is executed by the operation support processing unit 122 of the control unit 120 of the information processing apparatus 100.
  • the operation support processing unit 122 of the control unit 120 of the information processing apparatus 100 determines in step S205 that there is a difference in the allowable activity before and after the automatic operation level transition, in step S206, after the automatic operation level transition (change).
  • the permissible activity that is, the permissible activity that clearly indicates the difference due to the change in the automatic operation level is output to the input / output unit 133 of the mobile device 10.
  • the processing up to this point is the same as the processing described with reference to FIG.
  • Step S221 the control unit 120 of the information processing apparatus 100 determines whether or not a confirmation input from the driver has been detected for the allowable activity that clearly indicates the difference due to the change in the automatic driving level notified to the driver in step S206. judge.
  • FIG. 22 shows an example of a user interface that enables detection of confirmation input from this driver.
  • FIG. 22 shows display data in which a confirmation button 201 for user input is added to the display data similar to the display data of the difference in allowable activity due to the change in the automatic driving level described above with reference to FIG. ing.
  • the display unit is a touch panel, and when the user (driver) touches the confirmation button 201, a detection signal indicating that the confirmation has been made by the user is input to the control unit 120 of the information processing apparatus 100.
  • step S221 of the flow shown in FIG. 21 the presence or absence of this detection signal is determined.
  • the determination in step S221 is Yes. That is, it is determined that the driver has confirmed the permissible activity that clearly indicates the difference due to the change in the automatic driving level displayed on the display unit, and the process is terminated.
  • step S221 determines whether the driver has not confirmed the permissible activity that clearly indicates the difference due to the change in the automatic driving level displayed on the display unit. In this case, the process proceeds to step S222.
  • Step S222 If it is determined in the determination process of step S221 that the driver has not confirmed the permissible activity that clearly indicates the difference due to the change in the automatic driving level displayed on the display unit, the process proceeds to step S222.
  • the control unit 120 of the information processing apparatus 100 executes the emergency response process in step S222.
  • Emergency response processing is, for example, (A) Emergency stop of mobile device 10 (B) Switch the moving device 10 to slow driving. (C) Alarm sound output, It is a process in which any one of these processes or a plurality of these processes is combined.
  • the operation support processing unit 122 of the control unit 120 has an emergency response process of the mobile device 10. It stops and outputs an alarm sound.
  • the sequence of this process will be described with reference to the flowchart shown in FIG.
  • the flowchart shown in FIG. 23 is a flow in which steps S241 to S243 are added after step S206 of the flowchart shown in FIG. 14 described above.
  • steps S241 to S243 are added after step S206 of the flowchart shown in FIG. 14 described above.
  • the processing of each step of the flowchart shown in FIG. 23 will be described.
  • Steps S201 to S206 The processes of steps S201 to S206 are the same as the processes described with reference to FIG. These processes will be briefly described.
  • control unit 120 of the information processing device 100 first specifies the level of the automatic operation currently being executed by the mobile device 10 in step S201.
  • step S202 it is determined whether or not there is a transition (change) in the automatic operation level being executed by the mobile device 10. If it is determined in step S202 that the determination unit 123 of the control unit 120 of the information processing apparatus 100 has detected the transition (change) of the automatic operation level of the mobile device 10, the process proceeds to step S203. On the other hand, if the determination unit 123 determines in step S202 that the transition (change) of the automatic operation level of the mobile device 10 is not detected, the process returns to step S201 and the process of step S201 is continued.
  • step S203 If it is determined in step S202 that a transition (change) in the automatic driving level of the mobile device 10 has been detected, in step S203, an allowable activity list in which the automatic driving level and the activity allowed by the driver are associated with each other is acquired.
  • step S204 the control unit 120 of the information processing apparatus 100 refers to the allowable activity list acquired in step S203, and the difference between the allowable activities before and after the transition of the automatic operation level of the mobile device 10 detected in step S202. To analyze.
  • step S205 the control unit 120 of the information processing apparatus 100 determines whether or not there is a difference in the allowable activity before and after the automatic operation level transition as the difference analysis result in step S204.
  • step S206 If it is determined that there is a difference in the allowable activity before and after the automatic operation level transition, the process proceeds to step S206. On the other hand, if it is determined in step S205 that there is no difference in the allowable activity before and after the automatic operation level transition, the process ends.
  • step S206 is executed when it is determined in step S205 that there is a difference in the allowable activity before and after the automatic operation level transition.
  • This processing is executed by the operation support processing unit 122 of the control unit 120 of the information processing apparatus 100.
  • the operation support processing unit 122 of the control unit 120 of the information processing apparatus 100 determines in step S205 that there is a difference in the allowable activity before and after the automatic operation level transition, in step S206, after the automatic operation level transition (change).
  • the permissible activity that is, the permissible activity that clearly indicates the difference due to the change in the automatic operation level is output to the input / output unit 133 of the mobile device 10.
  • the processing up to this point is the same as the processing described with reference to FIG.
  • Step S241 the control unit 120 of the information processing apparatus 100 analyzes the behavior of the driver based on the sensor detection information.
  • a sensor such as a camera that acquires information for analyzing the behavior of the driver in the vehicle is required.
  • the configuration of the sensor unit 131 in the case of performing this embodiment is the configuration described above with reference to FIG. That is, the sensor unit 131 has a configuration in which the driver monitoring sensor 156 is added to the sensor unit 131 described above with reference to FIG.
  • the driver monitoring sensor 156 is a sensor that acquires information for analyzing the behavior of the driver in the vehicle, and is composed of, for example, a camera, a microphone, an odor sensor, a distance sensor, and the like.
  • the data collection unit 121 of the control unit 120 inputs the acquired information of the driver monitoring sensor 156 and inputs it to the determination unit 123.
  • the determination unit 123 analyzes the acquired information of the driver monitoring sensor 156 and estimates the activity performed by the driver. This estimation may be made based on the output result obtained by inputting the acquired information of the driver monitoring sensor 156 into the neural network model generated by AI, for example, machine learning or deep learning.
  • Step S242 it is determined whether or not the activity of the driver estimated in step S241 is an allowable activity corresponding to the current automatic driving level.
  • This process is executed by the determination unit 123 of the control unit 120.
  • the determination unit 123 determines whether or not the estimated driver activity is an allowable activity corresponding to the current automated driving level.
  • step S243 If it is determined that the driver's activity is an acceptable activity corresponding to the current automation level, the process ends. On the other hand, if it is determined that the activity of the driver is not the allowable activity corresponding to the current automatic driving level, the process proceeds to step S243.
  • Step S243 If it is determined in the determination process of step S242 that the driver is executing an activity that is not an allowable activity corresponding to the current automatic driving level, the process proceeds to step S243.
  • the control unit 120 of the information processing apparatus 100 executes the emergency response process in step S243.
  • Emergency response processing is, for example, (A) Emergency stop of mobile device 10 (B) Switch the moving device 10 to slow driving. (C) Alarm sound output, It is a process in which any one of these processes or a plurality of these processes is combined.
  • the driving support processing unit 122 of the control unit 120 performs an emergency stop of the mobile device 10 as an emergency response process. Output an alarm sound.
  • all the allowable activities associated with each automatic driving level are recorded in the automatic driving level corresponding allowable activity list that associates the automatic driving level with the activity allowed by the driver. Has been done.
  • the permissible activity is (1) Meals (2) Telephone (3) Email confirmation and reply (4) Reading (5) Gameplay There are five activities.
  • the desired activity For example, display the desired activity based on the driver's preference.
  • the driver sets a desired action in advance, and when the activity permitted at a certain automatic driving level is displayed, only the activity belonging to the set action is displayed.
  • activities allowed for a driver when the autonomous driving level is automated driving level 3 include eating, calling, replying to emails, browsing books, and playing games.
  • the driver desires if the activity belonging to this driver's desired action is included in the activity permitted to the driver at the current level of autonomous driving. Show only the activities that belong to the action you want to do.
  • the automatic driving level is the automatic driving level 3
  • only “meal” is displayed as the activity allowed for the driver.
  • only “telephone, email reply” is displayed as the activity allowed for the driver when the automatic driving level is automatic driving level 3.
  • only “driver plays” is set as the desired action, only “game play” is displayed as the activity allowed for the driver when the automatic driving level is automatic driving level 3.
  • the priority When setting the desired action of the driver, the priority may be set.
  • the activities allowed for the driver may be displayed based on the priority of the desired action set.
  • the driver of the mobile device 10 points at the input unit of the input / output unit 133 of the information processing device 100, for example, the microphone. "I want to eat” Make such an utterance.
  • the driving support processing unit 122 of the control unit 120 of the information processing apparatus 100 executes voice recognition of the user's utterance and speech meaning analysis processing, and interprets that the user (driver) wants to eat.
  • the driving support processing unit 122 Based on this analysis result, the driving support processing unit 122 outputs a message indicating the current automatic driving level and whether or not a meal is possible at that level to the display unit.
  • FIG. 24 shows an example of display data generated by the driving support processing unit 122 and displayed on the display unit.
  • the display data shown in FIG. 24 is an example of displaying the following message. "Currently, the level of autonomous driving is level 3. At level 3, drivers are allowed to” eat “. "
  • the driver who is the user sees the display data on the display unit, and the automatic operation level of the mobile device 10 is level 3. Further, at the autonomous driving level 3, it can be confirmed that "meal" is an activity allowed for the driver.
  • the user can confirm that "meal” is included as an allowable activity corresponding to the automatic driving level 3 displayed on the display unit, and can start "meal” with peace of mind.
  • FIG. 25 is an example of display data generated by the driving support processing unit 122 and displayed on the display unit.
  • the display data shown in FIG. 25 is an example of displaying the following message. "Currently, the level of autonomous driving is level 2. At level 2, drivers are not allowed to” eat. ""
  • the driver who is the user sees the display data on the display unit, and the automatic operation level of the mobile device 10 is level 2. Further, at autonomous driving level 2, it can be confirmed that "meal" is not an activity allowed for the driver.
  • the user can confirm that "meal” is not included as the allowable activity corresponding to the automatic driving level 2 displayed on the display unit, and can stop eating "meal".
  • the driver of the mobile device 10 faces an input unit of the input / output unit 133 of the information processing device 100, for example, a microphone. "I want to contact someone" This is an example of display data when such an utterance is made.
  • the driving support processing unit 122 of the control unit 120 of the information processing device 100 executes voice recognition and utterance semantic analysis processing of the user's utterance, and interprets that the user (driver) wants to contact someone.
  • the driving support processing unit 122 Based on this analysis result, the driving support processing unit 122 outputs a message to the display unit indicating the current automatic driving level and whether or not "contact with someone" is possible at that level.
  • FIG. 26 shows an example of display data generated by the driving support processing unit 122 and displayed on the display unit.
  • the display data shown in FIG. 26 is an example of displaying the following message.
  • the autonomous driving level is level 3.
  • drivers are allowed to make” (1) phone calls, (2) email confirmations and replies.
  • the driver who is the user sees the display data on the display unit, and the automatic operation level of the mobile device 10 is level 3. Further, at the automatic driving level 3, it can be confirmed that "(1) telephone, (2) confirmation and reply of e-mail" are activities permitted by the driver.
  • the user confirms that "(1) telephone, (2) confirmation, reply to e-mail" is included as the allowable activity corresponding to the automatic driving level 3 displayed on the display unit, and the user can feel at ease by telephone or e-mail. Confirmation and reply can be started.
  • the driver of the mobile device 10 faces an input unit of the input / output unit 133 of the information processing device 100, for example, a microphone. "I want to play” This is an example of display data when such an utterance is made.
  • the driving support processing unit 122 of the control unit 120 of the information processing device 100 executes voice recognition and utterance meaning analysis processing of the user's utterance, and interprets that the user (driver) wants to play.
  • the driving support processing unit 122 Based on this analysis result, the driving support processing unit 122 outputs a message to the display unit indicating the current automatic driving level and whether or not "play" is possible at that level.
  • FIG. 27 shows an example of display data generated by the driving support processing unit 122 and displayed on the display unit.
  • the display data shown in FIG. 27 is an example of displaying the following message. "Currently, the autonomous driving level is level 3. At level 3, drivers are allowed to” gameplay “. "
  • the driver who is the user sees the display data on the display unit, and the automatic operation level of the mobile device 10 is level 3. Further, at the automatic driving level 3, it can be confirmed that "came play” is an activity allowed for the driver.
  • the user can confirm that "game play” is included as the allowable activity corresponding to the automatic driving level 3 displayed on the display unit, and can start the game with peace of mind.
  • the activity allowed for the driver differs depending on the duration of the automatic driving level.
  • the activities allowed for the driver include meals, telephone calls, replying to emails, reading books, game play, telephone meetings, and naps, but the duration of autonomous driving level 4 is short.
  • the activity is allowed by the driver, it may not be possible to actually perform it, or if it is performed, it may not be possible to drive safely.
  • the processing example described below solves such a problem, and is a processing example of selecting and notifying an allowable activity in consideration of the duration of the automatic operation level.
  • the automatic driving level is changed according to the traveling section. However, the same level may continue for a certain period of time, for example, about one hour. It should be noted that how long the same automatic operation level continues is calculated by the operation support processing unit 122 of the mobile device 10 from the outside or based on the acquired information.
  • the control device 50 that automatically manages the operation of the mobile device 10.
  • it is acquired from the control device 50 that automatically manages the operation of the mobile device 10.
  • it is possible to perform a process of calculating based on the map information provided by the map information providing server 50b and the speed information of the mobile device 10.
  • the driving support processing unit 122 of the mobile device 10 changes and notifies the driver of the allowable activity according to the same level duration of the automatic driving level acquired from the outside or calculated based on the acquired information.
  • the permissible activities for automated driving level 4 are as follows. (1) Meals (2) Telephone (3) Email confirmation and reply (4) Reading (5) Gameplay (6) Videophone (7) Nap These seven activities.
  • the traveling section of the mobile device 10 when the traveling section of the automatic driving level 4 is short and the driving is on a road that is immediately changed to the automatic driving level or the level 3, the automatic driving level 4 is automatically performed during the above seven activities. Activities for which the driving level is not allowed at level 3 will have to be stopped when the automatic driving level is changed to level 3.
  • the driving support processing unit 122 of the mobile device 10 calculates or acquires the duration of the automatic driving level, and drives the recommended activity and the non-recommended activity according to the calculated or acquired duration. Notify to.
  • the duration of one automatic operation level is calculated by the control unit 120, for example, based on the route information set for the destination input by the driver via the input / output unit 133 of the information processing device 100. ..
  • the duration is calculated assuming that the duration will continue for the duration after the automatic driving level is changed.
  • the driver can also select the activity to be actually performed from the allowable activities of the current automatic driving level and input it to the information processing apparatus 100. For example, the driver selects and inputs an activity to be executed from the displayed activities by using the touch panel type display constituting the input / output unit 133. Based on this selection information, the driving support processing unit 122 of the control unit 120 determines and notifies the driver, who is the user, whether or not the selection activity is permitted.
  • the driving support processing unit 122 may detect the activity selected by the driver based on the information acquired from the sensor unit 131 by the data collection unit 121.
  • the shooting information of a camera that shoots moving images including the driver is analyzed using AI (Artificial Intelligence), and the driver executes any activity such as eating, operating a smartphone, browsing a book, playing a game, or taking a nap. It is possible to analyze whether or not. It is also possible to detect that the driver is performing an activity such as a telephone call or a conference call by analyzing the information obtained from the speaker or microphone of the sensor unit 131 using AI.
  • AI Artificial Intelligence
  • the driving support processing unit 122 inputs sensor information acquired by the data acquisition unit into a neural network model trained by a method called machine learning, deep learning, or enhanced learning, for example. Identify the activity the driver is performing.
  • the driving support processing unit 122 analyzes the activity being executed by the driver, the driver is executing an activity that is not allowed at the automatic driving level after the level transition at the time of the transition of the automatic driving level. It is possible to give a warning. The warning can be notified by displaying a warning on the display unit or by voice. Further, if the driver does not complete the activity that is not allowed at the changed automatic driving level within the set period, the driving support processing unit 122 may execute an emergency process such as stopping the mobile device 10.
  • the driving support processing unit 122 notifies the driver of the recommended activity and the non-recommended activity selected according to the duration of the automatic driving level in consideration of the duration of the automatic driving level.
  • FIG. 28 is an example of data generated by the driving support processing unit 122 and displayed on the display unit when the driving support processing unit 122 determines that the automatic driving level 4 will continue for 2 hours from the present time.
  • the example shown in FIG. 28 corresponds to the automatic driving level 4 recorded in the allowable activity list associated with the automatic driving level because the duration of the current automatic driving level (level 4) is as long as about 2 hours. Shows all allowed activities.
  • the user can confirm the allowable activity corresponding to the automatic driving level 4 displayed on the display unit and act in an attempt to perform an action within the range of the displayed allowable activity.
  • the recommended activity selected according to the duration of the automatic driving level and the means for notifying the driver of the non-recommended activity are not limited to being displayed on the display unit, and may be notified by voice information.
  • FIG. 29 is an example of data generated by the driving support processing unit 122 and displayed on the display unit when the driving support processing unit 122 determines that the automatic driving level 4 will continue for one hour from the present time.
  • the allowable activities (1) to (6) are displayed as recommended activities, and the activity (NG) is displayed as non-recommended activities.
  • the non-recommended activity for the driver is shown by setting (NG), but in addition to (NG), for example, a cross mark (X) is also displayed.
  • NG setting
  • X cross mark
  • various notations are possible so that the driver can recognize the non-recommended activity, such as a setting in which a mark composed of a red circle and a diagonal line, which is a mark generally indicating prohibition, is written together.
  • the duration of the current automatic operation level (level 4) is about 1 hour.
  • Meals (2) Telephone (3) Email confirmation and reply (4) Reading (5) Gameplay (6) Videophone These six activities are notified as recommended acceptable activities.
  • the user confirms the allowable activity corresponding to the automatic driving level 4 displayed on the display unit and the activity that is not recommended, and selects (NG) from the displayed allowable activities (1) to (6) and (NG). It is possible to act while trying to perform actions within the range of activities (1) to (6) excluded.
  • the recommended activity selected according to the duration of the automatic driving level and the means for notifying the driver of the non-recommended activity are not limited to being displayed on the display unit, and may be notified by voice information.
  • FIG. 30 is an example of data generated by the driving support processing unit 122 and displayed on the display unit when the driving support processing unit 122 determines that the automatic operation level 4 will continue for 30 minutes from the present time.
  • the duration of the current automated driving level (level 4) is about 30 minutes.
  • (NG) is set for the non-recommended activity for the driver in FIG. 30, for example, a cross mark (X) is also displayed in addition to (NG) as in FIG. 29 described above. do.
  • various notations are possible so that the driver can recognize the non-recommended activity, such as a setting in which a mark composed of a red circle and a diagonal line, which is a mark generally indicating prohibition, is written together.
  • the user confirms the allowable activity corresponding to the automatic driving level 4 displayed on the display unit and the activity that is not recommended, and selects (NG) from the displayed allowable activities (2), (3) and (NG). It is possible to act in an attempt to perform actions within the range of activities (2) or (3) to be excluded.
  • the recommended activity selected according to the duration of the automatic driving level and the means for notifying the driver of the non-recommended activity are not limited to being displayed on the display unit, and may be notified by voice information.
  • FIG. 31 is a diagram showing an example of the hardware configuration of the information processing apparatus 100 of the present disclosure described with reference to FIG. 5 above. Hereinafter, each component of the hardware configuration shown in FIG. 31 will be described.
  • the CPU (Central Processing Unit) 301 functions as a data processing unit that executes various processes according to a program stored in the ROM (Read Only Memory) 302 or the storage unit 308. For example, the process according to the sequence described in the above-described embodiment is executed.
  • the RAM (Random Access Memory) 303 stores programs and data executed by the CPU 301. These CPU 301, ROM 302, and RAM 303 are connected to each other by a bus 304.
  • the CPU 301 is connected to the input / output interface 305 via the bus 304, and the input / output interface 305 is composed of various switches, a keyboard, a touch panel, a mouse, a microphone, a sensor, a camera, a status data acquisition unit such as GPS, and the like.
  • An output unit 307 including a unit 306, a display, a speaker, and the like is connected.
  • the input information from the sensor 321 is also input to the input unit 306.
  • the output unit 307 also outputs drive information for the drive unit 322 of the mobile device.
  • the CPU 301 inputs commands, status data, and the like input from the input unit 306, executes various processes, and outputs the process results to, for example, the output unit 307.
  • the storage unit 308 connected to the input / output interface 305 is composed of, for example, a hard disk or the like, and stores a program executed by the CPU 301 and various data.
  • the communication unit 309 functions as a transmission / reception unit for data communication via a network such as the Internet, a local area network, or a wide area network, and communicates with an external device.
  • a GPU Graphics Processing Unit
  • the GPU processes image information input from the camera. That is, the CPU or GPU can be used properly according to the input information to be handled and the data processing executed according to the program.
  • the drive 310 connected to the input / output interface 305 drives a removable media 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and records or reads data.
  • a removable media 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • An information processing device having a control unit that acquires an automatic operation level of automatic operation being executed by a mobile device and notifies the driver of the allowable activity of the driver according to the acquired automatic operation level.
  • the control unit is The information processing apparatus according to (1), which executes at least one of a process of displaying the allowable activity on the display unit and a process of outputting audio.
  • the control unit is Refer to the automated driving level compatible allowable activity list that associates the automated driving level with the allowable activity, acquire the allowable activity corresponding to the automated driving level being executed by the mobile device, and notify the driver (1). Or the information processing apparatus according to (2).
  • the control unit is An automated driving level compatible allowable activity list that associates the automated driving level with the allowable activity is acquired from an external server or a storage unit, and the mobile device is executing with reference to the acquired automated driving level compatible allowable activity list.
  • the information processing apparatus according to any one of (1) to (3), which acquires an allowable activity corresponding to an automatic driving level and notifies the driver.
  • the control unit is When the automatic operation level of the mobile device changes, The information processing apparatus according to any one of (1) to (4), which analyzes a difference in allowable activity according to a change in the automatic driving level, and if there is a difference, notifies the driver of the difference information.
  • the control unit is The information processing apparatus according to (5), which generates display data in which the difference information is highlighted and outputs the display data to the display unit.
  • the control unit is When the automatic operation level of the mobile device goes down, The information processing apparatus according to (5) or (6), which generates display data highlighting allowable activities deleted due to the level down of the automatic operation level and outputs the display data to the display unit.
  • the control unit is Analyzes whether there is an acknowledgment from the driver for the notified permissible activity and The information processing apparatus according to any one of (1) to (7), which executes emergency response processing when it is determined that there is no confirmation response.
  • the control unit is Estimate driver execution activity based on sensor detection information It is determined whether or not the estimated driver execution activity is the driver's allowable activity according to the automatic driving level of the mobile device.
  • the information processing device according to any one of (1) to (9), which executes emergency response processing when it is determined that the estimated driver execution activity is not the driver's permissible activity according to the automatic driving level of the mobile device.
  • the control unit is Based on information acquired from at least one of the mobile device's storage, sensors, external servers, base station devices, or roadside communication units, the mobile device identifies the level of autonomous driving it is running (1).
  • the information processing apparatus according to any one of.
  • the control unit is Described in any of (1) to (12) that specifies the automatic driving level being executed by the mobile device based on the automatic driving allowable level information for each road section registered in the map information acquired from the map information providing server. Information processing equipment.
  • the control unit is (1) to (13) any of the processes (1) to (13) for notifying the driver whether or not the action in response to the driver's request of the mobile device is an allowable activity corresponding to the automatic driving level being executed by the mobile device.
  • the control unit is The duration at which the automatic operation level of the mobile device becomes the same level is calculated or acquired, the non-recommended activity is determined according to the calculated or acquired duration, and the determined non-recommended activity is notified to the driver (1).
  • the information processing apparatus according to any one of (14).
  • the control unit is The driver is notified of the recommended activity and the non-recommended activity according to the calculated or acquired duration by calculating or acquiring the duration at which the automatic operation level of the mobile device becomes the same level (1) to (15). Information processing device described in Crab.
  • An information processing system having a mobile device and a control device.
  • the moving device is The automatic operation level of the automatic operation being executed by the mobile device is acquired, and the automatic operation level is acquired.
  • the control device is The mobile device is provided with a list of allowable activities corresponding to the automatic driving level in which the automatic driving level and the allowable activity are associated with each other.
  • the moving device is An information processing system that obtains the allowable activity corresponding to the automatic driving level being executed by the mobile device and notifies the driver by referring to the allowable activity list corresponding to the automatic driving level.
  • the moving device is The information processing system according to (17), wherein the automatic operation level of the automatic operation being executed by the mobile device is acquired from the control device.
  • the control unit An information processing method for acquiring the automatic driving level of automatic driving being executed by a mobile device and notifying the driver of the allowable activity of the driver according to the acquired automatic driving level.
  • a program that executes information processing in an information processing device In the control unit Acquires the automatic operation level of the automatic operation that the mobile device is running, A program that notifies the driver of the allowable activity of the driver according to the acquired automatic driving level.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program can be pre-recorded on a recording medium.
  • programs can be received via networks such as LAN (Local Area Network), the Internet, and WAN (Wide Area Network) including cellular, and installed on a built-in hard disk or other recording medium. ..
  • the various processes described in the specification are not only executed in chronological order according to the description, but may also be executed in parallel or individually as required by the processing capacity of the device that executes the processes.
  • the system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • a configuration for notifying the driver of the allowable activity of the driver according to the automatic driving level is realized.
  • the automatic driving level of the automatic driving being executed by the mobile device is acquired, and the driver is notified of the allowable activity of the driver according to the acquired automatic driving level.
  • the control unit acquires an automated driving level compatible allowable activity list that associates the automated driving level with the allowable activity from an external server or a storage unit, and refers to the acquired automated driving level compatible allowable activity list to obtain the automated driving level. Acquires the allowable activity corresponding to and notifies the driver.
  • the difference in the allowable activity according to the change in the automatic operation level is analyzed, and if there is a difference, the difference information is notified.
  • a configuration is realized in which the driver is notified of the allowable activity of the driver according to the automatic driving level.
  • Mobile device 20 Roadside communication unit (RSU) 30 Base station 40 Communication network 50 Control device 50b Map information providing server 70 Information processing system 100 Information processing device 110 Communication unit 111 Reception unit 112 Transmission unit 120 Control unit 121 Data collection unit 122 Operation support processing unit 123 Judgment unit 124 Communication control unit 131 Sensor unit 132 Storage unit 133 Information processing unit 151 Position information sensor 152 Camera module 153 LiDAR 154 Radar 155 Sensor 156 Driver Monitoring Sensor 201 Confirmation Button 301 CPU 302 ROM 303 RAM 304 Bus 305 Input / output interface 306 Input unit 307 Output unit 308 Storage unit 309 Communication unit 310 Drive 311 Removable media 321 Sensor 322 Drive unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

自動運転レベルに応じたドライバーの許容アクティビティをドライバーに通知する構成を実現する。移動装置が実行中の自動運転の自動運転レベルを取得し、取得した自動運転レベルに応じたドライバーの許容アクティビティをドライバーに通知する。制御部は、自動運転レベルと許容アクティビティとを対応付けた自動運転レベル対応許容アクティビティリストを外部サーバ、または記憶部から取得し、取得した自動運転レベル対応許容アクティビティリストを参照して、自動運転レベルに対応した許容アクティビティを取得してドライバーに通知する。また、移動装置の自動運転レベルが変化した場合、自動運転レベルの変化に応じた許容アクティビティの差分を解析し、差分がある場合は、差分情報を通知する。

Description

情報処理装置、および情報処理システム、並びに情報処理方法
 本開示は、情報処理装置、および情報処理システム、並びに情報処理方法に関する。さらに詳細には、自動運転中の車両のドライバーに許容されるアクティビティをドライバーに通知することで、安全な自動運転走行を可能とした情報処理装置、および情報処理システム、並びに情報処理方法に関する。
 近年、車には様々なセンサーが搭載され、運転を手助けする機能が導入されつつある。また、自動運転に関する技術開発も盛んに行われている。
 自動運転技術は、車両(自動車)に備えられた位置検出手段等の様々なセンサーを用いて、道路上を自動走行可能とする技術であり、今後、急速に普及することが予測される。
 例えば、電気・情報工学の学術団体であるIEEE(Institute of Electrical and Electronics Engineers)では、通信規格IEEE802.11pをベースにしたDSRC(Dedicated Short Range Communication)と呼ばれる車車間通信向けの通信システムを提案している。
 さらに、第3世代(3G)移動体通信システムの標準仕様の策定機関である3GPP(Third Generation Partnership Project)においてもリリース14(Rel.14)として、LTE(Long Term Evolution)のD2D(Device to Device)通信をベースにした通信規格であるCeller-V2X(C-V2X)の標準規格が策定された。
 Celler-V2X(C-V2X)は、車車間通信(V2V)や、車両とインフラストラクチャ間通信(V2I)等を含む通信規格である。
 また、車車間通信(V2V)や、車に搭載された様々なセンサーを活用したセンサーフュージョンによるADAS(Advanced Driver-Assistance Systems)と呼ばれる高度な安全運転システムの導入が始まりつつある。さらに、人工知能(AI:Artificial Intelligence)や、機械学習(ML:Machine Learning)、あるいは、深層学習(DL:Deep Learning)を活用した人間の操作を介在しない完全自動運転についても、開発が進められている。
 なお、米国の自動車技術会であるSAE(Society of Automotive Engineers)は、自動運転のレベルとしてレベル0(手動運転)~レベル5(完全自動運転)までの6段階の自動運転レベルを定義している。
 日本を含め世界各国では、このSAEの自動運転レベル定義を採用している。
 例えば世界各国の自動車メーカーは、各車両について自動運転レベル0~5のどのレベルの自動運転が可能であるかを明記することが多い。
 また、各国の交通規則においても、例えば高速道路の一部ではレベル3の自動運転を許容するといった規則を制定するなどの対応が行われている。
 例えば、自動運転レベル5は、完全自動運転であり、ドライバー(運転者)は、運転動作や監視動作を全く行う必要がなく、あらゆるアクティビティを行うことができる。例えば仮眠、読書、ゲームなど、好きなアクティビティを行うことができる。
 しかし、例えば自動運転レベル3は、ドライバー(運転者)が常時、監視し、緊急時には手動運転に復帰することが必要なレベルとして定義され、前方を監視しながらのアクティビティしかできない。例えば仮眠などは許容されない。
 現状において自動運転は開発段階であり、100%の自動運転である自動運転レベル5を全ての道路区間で行うことが可能となるまでには時間を要すると考えられ、しばらくは、道路区間や状況に応じて自動運転レベルを切り替えて走行する処理が必要になると予測される。
 例えば、高速道路等、直線的で道路幅が十分な道路では、自動運転レベル4~5での走行が許容されるが、高速道路から出て駐車場の好きな位置に車を止める場合や、道路幅の狭い山道等では自動運転レベル0~3に切り替えて運転者(ドライバー)の監視や操作下で走行するといったレベル切り替えが必要となると予測される。
 なお、自動運転技術について開示した従来技術として、例えば特許文献1(特開2020-029238号公報)や、特許文献2(特開2019-018842号公報)や、特許文献3(特開2019-185246号公報)等がある。
 特許文献1は、走行中の走行環境に応じて運転モードを変更する技術を開示している。特許文献2は、運転者支援システムの設計的な欠陥を検出するための構成を開示している。また特許文献3は、自動運転制御装置の故障時の対応について記載している。
 前述したように、米国の自動車技術会であるSAE(Society of Automotive Engineers)は、自動運転のレベルとしてレベル0(手動運転)~レベル5(完全自動運転)までの6段階の自動運転レベルを定義しており、現状では、道路区間や状況に応じて自動運転レベルを切り替えて走行する処理が必要になると予測される。
 これも前述したように、自動運転レベルに応じてドライバー(運転者)に許容されるアクティビティは大きく異なる。例えば、自動運転レベル5は、完全自動運転であり、ドライバー(運転者)は、運転動作や監視動作を全く行う必要がなく、あらゆるアクティビティを行うことができる。例えば仮眠、読書、ゲームなど、好きなアクティビティを行うことができる。
 しかし、例えば自動運転レベル3は、ドライバー(運転者)が常時、監視し、緊急時には手動運転に復帰することが必要なレベルとして定義され、前方を監視しながらのアクティビティしかできない。例えば仮眠などは許容されない。
 このようにドライバー(運転者)に許容されるアクティビティは、自動運転レベルに応じて大きく異なるが、各レベルに応じて許容されるアクティビティがどのようなものであるのかについて、ドライバー(運転者)が確認する手段がないという問題がある。
特開2020-029238号公報 特開2019-018842号公報 特開2019-185246号公報
 従来の手動運転型車両では、ドライバーは運転操作に集中することが要請される。従って、手動運転型車両のドライバーには、運転操作以外に許容されるアクティビティは、例えば会話程度であり、その他のアクティビティは許容されない。
 しかし、自動運転車両では、ドライバーは運転操作から開放されるため、ドライバーに許されるアクティビティが増えることが期待される。
 現時点では、ドライバーが全く運転操作に関与する必要のない完全自動運転(例えば、SAEが定義する自動運転レベル5)を実現する車両は実用化されていないが、自動運転レベル3等、様々なレベルの自動運転に対応した車両が登場している。
 全ての車両が自動運転レベル5に置き換わるまでには、様々なレベルの自動運転に対応した車両が公道上で共存する可能性が考えられる。この様々な自動運転レベルが混在して実用化される段階では、自動運転のレベル毎に許されるアクティビティは異なることが考えられる。つまり、自動運転レベルに応じて、ドライバーの許されるアクティビティと、許されないアクティビティを定義する必要がある。
 さらに、自動運転のレベルの切り替えが行われる場合、許容アクティビティと、非許容アクティビティも変化する。従って、自動運転のレベルの切り替えが行われる場合には、ドライバーに対しても、許容アクティビティの変更を通知し、運転における安全性を維持する必要がある。
 本開示は、例えば、上述の課題に鑑みてなされたものであり、自動運転中の車両のドライバーに許容されるアクティビティをドライバーに通知することで、安全な自動運転走行を可能とした情報処理装置、および情報処理システム、並びに情報処理方法を提供することを目的とする。
 本開示の第1の側面は、
 移動装置が実行中の自動運転の自動運転レベルを取得し、取得した自動運転レベルに応じたドライバーの許容アクティビティを、前記ドライバーに通知する制御部を有する情報処理装置にある。
 さらに、本開示の第2の側面は、
 移動装置と、外部装置を有する情報処理システムであり、
 前記移動装置は、
 前記移動装置が実行中の自動運転の自動運転レベルを取得し、
 前記外部装置は、
 自動運転レベルと許容アクティビティとを対応付けた自動運転レベル対応許容アクティビティリストを前記移動装置に提供し、
 前記移動装置は、
 前記自動運転レベル対応許容アクティビティリストを参照して、前記移動装置が実行中の自動運転レベルに対応した許容アクティビティを取得して、前記ドライバーに通知する情報処理システムにある。
 さらに、本開示の第3の側面は、
 情報処理装置において実行する情報処理方法であり、
 制御部が、
 移動装置が実行中の自動運転の自動運転レベルを取得し、取得した自動運転レベルに応じたドライバーの許容アクティビティを、前記ドライバーに通知する情報処理方法にある。
 さらに、本開示の第4の側面は、
 情報処理装置において情報処理を実行させるプログラムであり、
 制御部に、
 移動装置が実行中の自動運転の自動運転レベルを取得させ、
 取得した自動運転レベルに応じたドライバーの許容アクティビティを、前記ドライバーに通知させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、自動運転レベルに応じたドライバーの許容アクティビティをドライバーに通知する構成が実現される。
 具体的には、例えば、移動装置が実行中の自動運転の自動運転レベルを取得し、取得した自動運転レベルに応じたドライバーの許容アクティビティをドライバーに通知する。制御部は、自動運転レベルと許容アクティビティとを対応付けた自動運転レベル対応許容アクティビティリストを外部サーバ、または記憶部から取得し、取得した自動運転レベル対応許容アクティビティリストを参照して、自動運転レベルに対応した許容アクティビティを取得してドライバーに通知する。また、移動装置の自動運転レベルが変化した場合、自動運転レベルの変化に応じた許容アクティビティの差分を解析し、差分がある場合は、差分情報を通知する。
 本構成により、自動運転レベルに応じたドライバーの許容アクティビティをドライバーに通知する構成が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の情報処理システムの一構成例について説明する図である。 自動運転レベルについて説明する図である。 LDM(ローカルダイナミックマップ)について説明する図である。 本開示の情報処理システムの一構成例について説明する図である。 本開示の情報処理装置の一構成例について説明する図である。 本開示の情報処理装置の制御部内のセンサー部の構成例について説明する図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 自動運転レベルとユーザであるドライバー(運転者)に許容されるアクティビティとの対応データから構成される自動運転レベル対応許容アクティビティリストの例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置の制御部内のセンサー部の構成例について説明する図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置が実行する自動運転レベル対応許容アクティビティリストを利用した処理の一例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置が実行する自動運転レベル対応許容アクティビティリストを利用した処理の一例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置が実行する自動運転レベル対応許容アクティビティリストを利用した処理の一例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置が出力する表示データの一例について説明する図である。 本開示の情報処理装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の情報処理装置、および情報処理システム、並びに情報処理方法の詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.本開示の情報処理システムの構成例と処理の概要について
 2.本開示の移動装置内の情報処理装置の構成例について
 3.本開示の情報処理装置が実行する処理の基本シーケンスについて
 4.許容アクティビティの通知に対するドライバーの確認状態を解析し、確認がなされていない場合に緊急対応を行う処理シーケンスについて
 5.許容アクティビティの通知後のドライバーの行動を監視し、ドライバーが許容されないアクティビティを実行している場合に緊急対応を行う処理シーケンスについて
 6.自動運転レベルの遷移を検出して、許容アクティビティの変更通知を実行する処理シーケンスについて
 7.自動運転レベル遷移に伴う許容アクティビティの差分通知に対するドライバーの確認状態を解析し、確認がなされていない場合に緊急対応を行う処理シーケンスについて
 8.自動運転レベル遷移に伴う許容アクティビティの差分通知後のドライバーの行動を監視し、ドライバーが許容されないアクティビティを実行している場合に緊急対応を行う処理シーケンスについて
 9.本開示の情報処理装置が実行するその他の処理例について
 9-a.(処理例a)ユーザの要求に応じた許容アクティビティを選択して通知する処理例
 9-b.(処理例b)自動運転レベルの継続時間を考慮した許容アクティビティを選択して通知する処理例
 10.本開示の情報処理装置のハードウェア構成例について
 11.本開示の構成のまとめ
  [1.本開示の情報処理システムの構成例と処理の概要について]
 図1を参照して、本開示の情報処理システムの構成例と処理の概要について説明する。
 図1は、本開示の情報処理システムの一構成例を示す図である。
 図1には道路を走行する移動装置(自動運転車両)10と、道路インフラ(道路設備)としての路側通信ユニット(RSU:Roadside Unit)20、基地局30、および制御装置50を示している。
 制御装置50は、例えば、コアネットワークを構成する装置であり、移動装置(自動運転車両)10と基地局30間の通信、あるいは、移動装置(自動運転車両)10と路側通信ユニット(RSU)20間の通信に必要な制御と管理を行う。
 基地局30、あるいは、路側通信ユニット(RSU)20は、そのエリアにおける交通に係る情報を移動装置(自動運転車両)10に提供する。ここで、交通に係る情報は、ダイナミックマップと呼ばれる高精度3次元地図情報の全て、あるいは、ダイナミックマップを構成する一部の情報、例えば、動的情報、準動的情報、準静的情報、若しくは、静的情報であってもよい。路側通信ユニット(RSU)20は、例えば、信号機や街路灯等に設置される。
 また、基地局30、あるいは、路側通信ユニット(RSU)20は、移動装置(自動運転車両)10から送信されるV2Xメッセージを受信する。ここで、V2Xメッセージは、例えば、DENM(Decentralized Environmental Notification Message)やCAM(Cooperative Awareness Messages)、BSM(Basic Safety Message)と呼ばれるメッセージである。
 制御装置50は、複数の移動装置(自動運転車両)10から取得したV2Xメッセージに含まれる情報を活用して、例えば、ダイナミックマップを構成する動的情報、あるいは、準動的情報を生成する。
 また、基地局30、あるいは、路側通信ユニット(RSU)20は、イメージセンサー等のカメラモジュールを搭載して、周囲の画像情報を取得する。このカメラモジュールが取得した画像情報は、V2X通信を介して、移動装置(自動運転車両)10に提供される。
 さらに、基地局30、あるいは、路側通信ユニット(RSU)20は、カメラモジュールが取得した画像情報をAI(Artificial Intelligence)、例えば、機械学習、あるいは、深層学習によって生成されるニューラルネットワーク・モデルに入力して得られる出力からダイナミックマップを構成する動的情報、準動的情報、あるいは、DENM、CAM、BSM等のV2Xメッセージを生成するようにしてもよい。なお、基地局30、あるいは、路側通信ユニット(RSU)20は、このAIに係る処理をクラウドサーバー等の外部装置で実行するようにしてもよい。
 さらに、移動装置(自動運転車両)10は、V2X通信を介して、他の移動装置(自動運転車両)10との間で車車間通信を行う。この車車間通信では、DENMやCAM、BSM等のV2Xメッセージに加え、移動装置(自動運転車両)10が搭載するセンサーが取得した情報、例えば、速度、加速度、角速度、位置、画像に係る情報等が共有される。
 移動装置(自動運転車両)10は、自動運転車両である。
 なお、前述したように、米国の自動車技術会であるSAE(Society of Automotive Engineers)は、自動運転のレベルとしてレベル0(手動運転)~レベル5(完全自動運転)までの6段階の自動運転レベルを定義している。日本を含め世界各国の多くは、このSAEの自動運転レベル定義を採用している。
 図2を参照して、SAEの自動運転レベル定義について説明する。
 SAEは、自動運転のレベルとして図2に示すレベル0(手動運転)~レベル5(完全自動運転)までの6段階の自動運転レベルを定義している。
 各自動運転レベルの定義(運転状態)は以下の通りである。
 レベル0=ドライバー(運転者)が全ての運転操作を実行(=手動運転)
 レベル1=自動運転システムがアクセルとブレーキ操作、またはハンドル操作のいずれかを実行
 レベル2=自動運転システムがアクセルとブレーキ操作、およびハンドル操作を実行
 レベル3=規程条件下(例えば所定の高速道路区間等)で自動運転システムが全ての自動運転を実行。ただし、ドライバー(運転者)が常時、監視し、緊急時には手動運転に復帰することが必要
 レベル4=規程条件下で自動運転システムが全ての自動運転を実行
 レベル5=条件なしに自動運転システムが全ての自動運転を実行
 SAEでは、これら、レベル0(手動運転)~レベル5(完全自動運転)までの6段階の自動運転レベルを定義している。
 なお、レベル3やレベル4における規定条件とは、例えば特定場所での走行を条件とした規定である。具体的には、例えば高速道路、あるいは、過疎地などの比較的交通量が少なく見通しの良いエリアや大学構内、空港施設内など比較的走行環境が単純なエリアでの走行等を条件としたものである。
 図1に示す移動装置(自動運転車両)10は、これらSAEの定義レベルである自動運転レベルの少なくとも複数のレベルの切り替えが可能な車両である。例えばレベル0(手動運転)~レベル2(一部自動運転)の切り替え可能な車両、あるいはレベル0(手動運転)~レベル4(半自動運転)の切り替え可能な車両、あるいはレベル0(手動運転)~レベル5(完全自動運転)の切り替え可能な車両、このような車両である。
 図1に戻り、本開示の情報処理システムの構成についての説明を続ける。
 移動装置10は、移動装置10間での通信や、路側通信ユニット(RSU:Roadside Unit)20との通信が可能である。
 さらに、移動装置10や、路側通信ユニット(RSU)20は、基地局30等の通信ネットワークを介して制御装置50との通信が可能である。
 前述したように、制御装置50は、例えば、コアネットワークを構成する装置であり、移動装置(自動運転車両)10と基地局30間の通信、あるいは、移動装置(自動運転車両)10と路側通信ユニット(RSU)20間の通信に必要な制御と管理を行う。
 制御装置50は、例えば、移動装置10から、自動運転レベルの設定情報や運転状況を示すデータ、あるいはセンサー検出情報、移動装置10が搭載する動力システム、制動装置、舵取装置の制御情報等の様々なデータを取得し、移動装置10の移動、つまり、走行に係る管理を行う。なお走行に係る管理とは、移動装置10に搭載された情報処理装置内の運転支援処理部における自動運転制御に対する管理等である。ここで、制御装置50は、コアネットワークを構成するネットワーク機能(NF;Network Function)とサービスベースインタフェースを介して接続される外部装置であってもよい。
 制御装置50は、さらに、機械学習(ML;MachineLearning)、あるいは、深層学習(DL;Deep Learning)等のデータ処理を行い、その結果としてニューラルネットワーク・モデル等の学習モデルを生成する。例えば自動運転のレベル毎の学習モデルを生成、管理する。
 制御装置50は、さらに、移動装置10に対して地図情報を提供する。なお、制御装置50とは別の地図情報提供サーバを利用して、地図情報提供サーバから移動装置10に対して地図情報を提供する構成としてもよい。
 制御装置50や地図情報提供サーバは、例えば、車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ(LDM)を生成して、移動装置10に提供する。
 図3を参照して、ローカルダイナミックマップ(LDM)の概要について説明する。自動運転を行う際に必要となる情報の一つとして、ローカルダイナミックマップ(LDM)がある。ここで、LDMは、例えば、高精細な3次元地図情報である。
 図3に示すように、LDMは階層化された複数タイプのレイヤーの情報群で構成される。例えば、LDMは、以下の4つのタイプの情報によって構成される。
 タイプ1=静的データ
 タイプ2=準静的データ
 タイプ3=準動的データ
 タイプ4=動的データ
 タイプ1=静的データは、例えば中長期的に更新される国土地理院地図等を元に生成された地図情報等のデータによって構成される。
 タイプ2=準静的データは、例えばビル等の建築物、樹木、標識等、短期的に大きな変化はないが、長期的には変化が発生するデータ等によって構成される。
 タイプ3=準動的データは、信号、渋滞、事故等、ある一定の時間単位で変化し得るデータによって構成される。
 タイプ4=動的データは、車、人等の往来情報等であり、逐次変化するデータによって構成される。
 制御装置50や地図情報提供サーバは、これらのデータから構成されるローカルダイナミックマップ(LDM)を移動装置10に送信する。移動装置10はLDMを解析して、走行ルートの設定や、走行スピード、レーンの制御など、自動運転の制御に利用することができる。
 なお、制御装置50や地図情報提供サーバは、最新情報に基づくローカルダイナミックマップ(LDM)の更新処理を継続的に実行しており、各移動装置10は、LDM利用時に最新の情報をサーバから取得して利用することができる。
 しかし、現状においては、自動運転車両がLDM情報を利用して自動運転可能な区間は、高速道路の一部区間等、限られた区間であり、運転者による手動運転が求められる区間が、多数、存在する。また、現状のLDMはタイムリーな情報更新がなされない場合があり、このような場合には、古いLDMの地図情報が現状と異なってしまう可能性がある。本開示はこのような場合にも確実な対応を可能とする。
 図4を参照して、本開示の情報処理システムの全体構成例と各構成部について説明する。
 図4は、本開示の情報処理システム70の一構成例を示す図である。
 図4に示すように、本開示の情報処理システム70は、移動装置(自動運転車両)10a,b、路側通信ユニット(RSU)20a,b、制御装置50を有する。さらに、地図情報提供サーバ50bを有してもよい。
 これらの各装置は通信ネットワーク40を介して相互に通信可能である。
 なお、図4には2台の移動装置(自動運転車両)10a,b、2つの路側通信ユニット(RSU)20a,bを示しているが、移動装置(自動運転車両)10や、路側通信ユニット(RSU)20は多数、存在可能である。また制御装置50や地図情報提供サーバ50bも複数、存在可能であり、この他の様々なサーバも存在し得る。
 通信ネットワーク40は例えば複数の基地局等によって構成される。ここで、移動装置(自動運転車両)10は、例えば、位置情報に基づいて、複数存在する制御装置50や地図情報提供サーバ50bの中から近接する装置を選択する。
 移動装置(自動運転車両)10は、前述したように、SAE定義レベルである自動運転レベルの少なくとも複数のレベルの切り替えが可能な車両である。
 移動装置10は、移動装置10間での通信や、路側通信ユニット(RSU:Roadside Unit)20との通信が可能である。
 なお、車両間の通信は、V2V通信(車車間通信)と呼ばれる。また車両と路側通信ユニット(RSU)等のインフラ設備との通信は、V2I通信(車対インフラ通信)と呼ばれる。また、これらを総称してV2X通信と呼ぶ。V2X通信には、車両と車両、車両と歩行者(V2P)、車両とネットワーク(V2N)、車両とインフラ設備、車両とサーバとの通信等が含まれる。
 移動装置10は、上記のV2X通信が可能な車両である。
 移動装置10や、路側通信ユニット(RSU)20は、基地局30等の通信ネットワーク40を介して制御装置50や地図情報提供サーバ50bと通信を行うことが可能である。
 前述したように、制御装置50は、移動装置10から自動運転レベルの設定情報や運転状況を示すデータ、あるいはセンサー検出情報、移動装置10が搭載する動力システム、制動装置、舵取装置の制御情報等の様々なデータを取得し、移動装置10の移動、つまり、走行に係る管理を行う。なお走行に係る管理とは、移動装置10に搭載された情報処理装置内の運転支援処理部における自動運転制御管理等である。
 制御装置50は、さらに移動装置10から取得したデータを使って、機械学習(ML;MachineLearning)、あるいは、深層学習(DL;Deep Learning)等のデータ処理を行い、その結果としてニューラルネットワーク・モデル等の学習モデルを生成する。例えば自動運転のレベル毎の学習モデルを生成、管理する。
 制御装置50や地図情報提供サーバ50bは、移動装置10に対して地図情報を提供する。例えば図3を参照して説明した構成を有するローカルダイナミックマップ(LDM)を生成して、移動装置10に提供する。
 移動装置10はLDMを解析して、走行ルートの設定や、走行スピード、レーンの制御など、自動運転の制御に利用することができる。
  [2.本開示の移動装置内の情報処理装置の構成例について]
 次に本開示の移動装置に搭載される情報処理装置の構成例について説明する。
 図5は、本開示の移動装置10に搭載される情報処理装置100の構成例を示す図である。
 図5に示すように情報処理装置100は、通信部110、制御部120、センサー部131、記憶部132、入出力部133を有する。
 なお、図5に示す構成は一例であり、ハードウェア構成は図5に示す構成に限らず、様々な異なる構成とすることが可能である。また、移動装置10に搭載される情報処理装置100の機能は複数の物理的に分離された構成に分散して実装されてもよい。
 通信部110は受信部111、送信部112を有する。
 制御部120は、データ収集部121、運転支援処理部122、判定部123、通信制御部124を有する。
 なお、図5に示す構成は、移動装置10に搭載される情報処理装置100の一部構成であり、本願開示の処理に利用される主要構成のみを示している。
 通信部110は、制御部120の通信制御部124の下で、外部装置との通信を行う。例えば図4に示す他の移動装置10、基地局30、路側通信ユニット(RSU)20、制御装置50、地図情報提供サーバ50b等の外部装置との通信を行う。
 通信部110は1つ、または、複数の無線通信アクセス方式に対応する。例えば、通信部110は、LTE(Long Term Evolution)方式、および5G NR(New Radio)方式の双方の方式に対応する。さらに通信部110は、LTE方式や5G NR方式に加えて、W-CDMAやCDMA2000等の様々な通信方式に対応する構成としてもよい。
 通信部110は、受信部111、送信部112、およびアンテナ113を有する。なお、通信部110は、受信部111、送信部112、アンテナ113を複数、有する構成としてもよい。例えば、通信部110が複数の無線アクセス方式に対応する場合に、通信部110の各部は、無線アクセス方式ごとに個別に構成されうる。例えば、受信部111や送信部112は、LTE方式と5G NR方式とで個別に構成してもよい。
 センサー部131は、複数の異なるセンサーによって構成される。
 センサー部131のセンサー検出情報は、制御部120のデータ収集部121によって取得され、運転支援処理部122や、運転支援処理部122のアクセス可能な記憶部132に格納される。また、センサー部131のセンサー検出情報は、必要に応じて通信部110を介して外部装置、例えば制御装置50に提供される。
 センサー部131の詳細構成例を図6に示す。
 図6に示すように、センサー部131は、位置情報センサー151、カメラモジュール(イメージセンサーを含む)152、LiDAR(Light Detection and Ranging、またはLaser Imaging Detection and Ranging)153、レーダー154、およびセンサー155等によって構成される。
 位置情報センサー151は、例えばGPS(Global Positioning System)を代表とするGNSS(Global Navigation Satellite System)である。
 その他、オドメータ(走行距離計)、LTE、4G、あるいは、5Gのセルラーシステムに対応した通信部110を介して送受信される信号を使った測位技術を用いたセンサーであってもよい。
 カメラモジュール152は、複数のイメージセンサーを搭載し、移動装置(車両)外の画像情報や、ドライバーの動きや表情を含めた車内の画像情報を取得する。
 LiDAR153、および、レーダー154は、移動装置周囲の他車両や障害物等の様々なオブジェクトを検出し、検出オブジェクトまでの距離の計測に必要となるデータを取得する。
 センサー155は、例えば加速度センサー、回転角加速度センサー、ジャイロセンサー、磁界センサー、気圧センサー、温度センサー等を統合したユニットであるIMU(Inertial Measurement Unit)と呼ばれる慣性計測ユニットによって構成される。
 前述したように、これらのセンサー部131の取得情報は、制御部120のデータ収集部121を介して、運転支援処理部122に提供され、運転支援処理部122のアクセス可能な記憶部132に格納される。また、センサー部131の取得情報は、必要に応じて通信部110を介して外部装置、例えば制御装置50に提供される。
 記憶部132は、例えばDRAM、SRAM、フラッシュメモリ、ハードディスクなどのデータ読み書き可能な記憶装置である。記憶部132は、情報処理装置100の記憶手段として機能する。
 入出力部133は、例えばドライバー等のユーザと情報をやり取りするためのインタフェースである。例えば、入出力部133は、操作キー、タッチパネルなど、ドライバーが操作可能なインタフェースとして機能する。
 入出力部133は、液晶ディスプレイ(Liquid Crystal Display)、有機ELディスプレイ(Organic Electroluminescence Display)などの表示装置として構成してもよい。また、入出力部133は、スピーカ、マイク、ブザーなどの音響装置であってもよい。また、入出力部133は、LED(Light Emitting Diode)ランプなどの点灯装置であってもよい。入出力部133は、情報処理装置100の入出力手段(入力手段、出力手段、操作手段、または通知手段)として機能する。
 制御部120は、情報処理装置100の各部を制御するコントローラである。制御部120は、例えば、CPU、MPU、GPUなどのプロセッサやRAM,ROM等のメモリを有する。制御部120のプロセッサは、RAMなどのメモリを作業領域として、記憶部132に記憶されている各種プログラムを実行し、情報処理装置100において必要な様々な処理を実行する。
 なお、制御部120は、ASICやFPGAなどの集積回路により実現されてもよい。CPU、MPU、GPU、ASIC、およびFPGAは何れもコントローラとみなすことができる。
 制御部120は、図5に示すように、データ収集部121、運転支援処理部122、判定部123、通信制御部124を有する。
 制御部120を構成する各ブロック(データ収集部121~通信制御部124)はそれぞれ制御部120の機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。
 例えば、上述の機能ブロックが、それぞれ、ソフトウェア(マイクロプログラムを含む)で実現される1つのソフトウェアモジュールであってもよいし、半導体チップ(ダイ)上の1つの回路ブロックであってもよい。また、各機能ブロックがそれぞれ1つのプロセッサ、または1つの集積回路であってもよい。機能ブロックの構成方法は任意である。なお、制御部120は上述の機能ブロックとは異なる機能単位で構成されていてもよい。
 なお、図5に示す情報処理装置100は、移動装置10内に装着される装置であり、例えば制御部120の運転支援処理部122は、エンジン、アクセル、ブレーキ、ハンドル(ステアリング)、トランスミッション等、車両の各構成要素の制御を行い、自動運転制御を実行する。
 データ収集部121は、センサー部131のセンサー検出情報を取得する。データ収集部121で収集されたセンサー検出情報は、運転支援処理部122に提供され、運転支援処理部122のアクセス可能な記憶部132に格納される。また、センサー部131のセンサー検出情報は、必要に応じて通信部110を介して外部装置、例えば制御装置50に提供される。
 運転支援処理部122は、前述のように移動装置10のエンジン、アクセル、ブレーキ、ハンドル(ステアリング)、トランスミッション等、車両の各構成要素の制御を行い、自動運転制御を実行する。
 運転支援処理部122は、データ収集部121が収集するデータをAI(Artificial Intelligence)、例えば、機械学習、あるいは、深層学習によって生成されるニューラルネットワーク・モデルに入力して得られる出力に基づいて移動装置10の運転操舵部を制御して自動運転制御を行う。
 例えばADAS(Advanced Driver-Assistance Systems)や、AD(Autonomous Driving)による自動運転制御を実行する。
 運転支援処理部122は、例えば、移動装置10の加速、減速等の制御情報を動力システムに供給し、減速、停止等の制御情報を制動装置に供給し、xx[cm]左、yy[cm]右等の制御情報を舵取装置(ステアリング)に供給する処理等を行う。
 なお、運転支援処理部122が自動運転制御に利用するニューラルネットワーク・モデル(学習モデル)は、あらかじめ運転支援処理部122に実装されていてもよいし、基地局30、または路側通信ユニット(RSU)20等を介して、外部の制御装置50、あるいは、その他の外部サーバから取得して、記憶部132に格納し、適宜、更新するようにしてもよい。
 また、運転支援処理部122が自動運転制御に利用するニューラルネットワーク・モデル(学習モデル)は、1つのニューラルネットワーク・モデルであってもよいし、複数のニューラルネットワーク・モデルから構成されていてもよい。複数のニューラルネットワーク・モデルは、いわゆるエッジAIとして、センサー毎に用意されるニューラルネットワーク・モデルや、さらには、制御部120の各制御のために用意されるニューラルネットワーク・モデルであってもよい。
 本実施形態の移動装置10に装着された情報処理装置100は、制御部120のデータ収集部121や通信部110を介して取得した情報に基づいて、自動運転や手動運転の異常の有無を検出する。さらに、異常が検出された場合は、検出された異常の状況に応じた適切な対応を行い、安全運転を維持するための処理を実行する。
 さらに、本実施形態の移動装置10に装着された情報処理装置100は、移動装置10が自動運転を行っている場合、実行中の自動運転レベルに応じて、ドライバー(運転者)に許容される行動である許容アクティビティをドライバーに通知する。
 例えば、自動運転レベルが、レベル2の場合は電話が可能、レベル4の場合は読書や仮眠が可能であるといった、実行中の自動運転レベルに応じて許容されるアクティビティを通知する。
 このような自動運転レベルに応じた許容アクティビティをドライバーに通知することで、ドライバー(運転者)は許容されたアクティビティを確認し、許容されたアクティビティのみを行うことが可能となる。
 例えば自動運転レベルがレベル2の場合、許容されないアクティビティである仮眠を行って事故を起こしてしまうといった事態を防止でき、安全な自動運転走行を行うことが可能となる。
 以下、この具体的な処理について説明する。
  [3.本開示の情報処理装置が実行する処理の基本シーケンスについて]
 次に、本開示の情報処理装置が実行する処理の基本シーケンスについて説明する。
 図5を参照して説明した本開示の情報処理装置100、すなわち移動装置10に装着された情報処理装置100が実行する処理の基本シーケンスについて図7に示すフローチャートを参照して説明する。
 なお、以下において説明するフローに従った処理は、例えば情報処理装置100の記憶部132に格納されたプログラムに従って実行可能である。例えばプログラム実行機能を有するCPU等を有するデータ処理部(制御部)の制御の下で実行される。
 以下、図7に示すフローチャートの各ステップの処理について、順次、説明する。
  (ステップS101)
 情報処理装置100の制御部120は、まず、ステップS101において、移動装置10が、現在実行中の自動運転のレベルを特定する。
 この処理は、情報処理装置100の制御部120内のデータ収集部121や通信部110、運転支援処理部122において実行される。
 自動運転レベルの特定処理には、例えば、データ収集部121による収集データや、通信部110が外部から取得したデータ等が利用される。
 運転支援処理部122は、データ収集部121の収集データや、通信部110が外部から取得したデータを入力し、これらのデータに基づいて、移動装置10が、現在実行中の自動運転のレベルを特定する。
 データ収集部121は、センサー部131のセンサー検出情報を収集する。センサー部131は、先に図6を参照して説明したように、位置情報センサー151、カメラモジュール152、LiDAR153、レーダー154、およびセンサー155を有する。
 データ収集部121は、センサー部131のこれら様々なセンサーの検出情報を取得する。データ収集部121の取得する情報には、例えば自己位置情報、カメラ撮影画像、オブジェクト距離情報等が含まれる。
 これら、データ収集部121が取得した情報が、運転支援処理部122に入力される。
 また、通信部110は他の移動装置や、基地局30、路側通信ユニット(RSU)20等の路上インフラや、外部サーバ、例えば制御装置50、地図情報提供サーバ50bからの取得情報を運転支援処理部122に入力する。
 例えば、制御装置50が移動装置10の自動運転管理データを保持している場合、移動装置10が現在実行中の自動運転のレベルの情報を制御装置50から取得することができる。
 また、地図情報提供サーバ50bが提供する地図情報に登録された道路区間単位の自動運転許容レベル情報を取得して、この情報を用いて、移動装置10が現在実行中の自動運転のレベルを判定してもよい。
 また、移動装置10内の記憶部131やメモリに、移動装置10が現在実行中の自動運転のレベル情報が設定、あるいは記録されていれば、この情報を取得してもよい。
 運転支援処理部122は、例えば、上記いずれかの方法に基づいて、移動装置10が現在実行中の自動運転のレベルを特定することができる。
 上述のように、運転支援処理部122は、ステップS101において、データ収集部121の収集データや、通信部110が外部から取得したデータを入力し、これらのデータに基づいて、移動装置10が現在実行中の自動運転のレベルを特定する。
  (ステップS102)
 次に、情報処理装置100の制御部120は、ステップS102において、自動運転レベルに応じてドライバーに許容されるアクティビティ(行動)を一覧データとしたリスト、すなわち自動運転レベルに対応付けられた許容アクティビティリストを取得する。
 許容アクティビティリストは、先に図2を参照して説明した自動運転のレベル(レベル0~5)各々に対してドライバーに許容されるアクティビティの項目を一覧データとしたリストである。
 情報処理装置100の制御部120の運転支援処理部122は、通信部110を介して、例えば制御装置50から許容アクティビティリストを受信する。
 なお、自動運転レベルに対応付けられた許容アクティビティリストは、移動装置10の情報処理装置100内の記憶部131に格納しておくことも可能であり、その場合は、情報処理装置100の制御部120の運転支援処理部122は、記憶部131から許容アクティビティリストを取得する。
 図8に自動運転レベルに対応付けられた許容アクティビティリストの一例を示す。
 図8に示すように許容アクティビティリストは、自動運転レベル(0~5)と、各自動運転レベル(0~5)においてユーザであるドライバー(運転者)に許容されるアクティビティとの対応データからなるリストである。
 図8に示すように、ドライバーに許容されるアクティビティは、自動運転レベル(0~5)に応じて異なるものとなる。
 図8に示すリスト例では、自動運転レベル0(手動運転)、およびレベル1では、ドライバーに許容されるアクティビティはない。
 自動運転レベル2では、ドライバーに許容されるアクティビティは電話である。
 自動運転レベル3では、ドライバーに許容されるアクティビティは、
 (1)食事、(2)電話、(3)メールの確認、返信、(4)読書、(5)ゲームプレイである。
 自動運転レベル4では、ドライバーに許容されるアクティビティは、
 (1)食事、(2)電話、(3)メールの確認、返信、(4)読書、(5)ゲームプレイ、(6)テレビ電話、(7)仮眠である。
 自動運転レベル5では、ドライバーに許容されるアクティビティは、
 (1)食事、(2)電話、(3)メールの確認、返信、(4)読書、(5)ゲームプレイ、(6)テレビ電話、(7)仮眠、(8)その他全てのアクティビティである。
 許容アクティビティリストには、このように自動運転レベルとドライバーに許容されるアクティビティとを対応付けたデータによって構成される。
 情報処理装置100の制御部120は、ステップS102において、図8に示すような自動運転レベルに対応付けられた許容アクティビティリストを取得する。
  (ステップS103)
 次に、情報処理装置100の制御部120は、ステップS103において、ステップS102で取得した自動運転レベル対応許容アクティビティリストから、移動装置10が現在実行中の自動運転レベルに対応付けられたドライバーに許容されるアクティビティを選択する。
 この処理は、情報処理装置100の制御部120内の運転支援処理部122において実行される。
  (ステップS104)
 最後に、情報処理装置100の制御部120は、ステップS104において、ステップS103で許容アクティビティリストから取得したドライバーに許容されるアクティビティ、すなわち、移動装置10が現在実行中の自動運転レベルに対応付けられたドライバーに許容されるアクティビティを移動装置10の入出力部133に出力する。
 例えば入出力部133を構成する表示部や音声出力部を介して、ドライバーに許容されるアクティビティを説明するメッセージを出力する。
 なお、ドライバーのできないアクティビティを通知してもよい。もしくは、ドライバーのできるアクティビティと、ドライバーのできないアクティビティを判別する手段と共に両方を通知してもよい。
 図9を参照して、表示部を利用した自動運転レベル対応の許容アクティビティ通知例について説明する。
 図9に示すように、移動装置のドライバー(運転者)が観察可能な表示部に対して、自動運転レベル対応の許容アクティビティの一覧データを含むメッセージを表示する。
 図9に示す表示情報例は、以下のメッセージを表示した例である。
 「現在、自動運転レベルは、レベル3です。レベル3において、ドライバーに許容されるアクティビティは、以下の通りです。
 (1)食事
 (2)電話
 (3)メールの確認、返信
 (4)読書
 (5)ゲームプレイ
 ユーザであるドライバーは、表示部に表示されたメッセージを見て、現在の移動装置10の自動運転レベルがレベル3であること。さらに、現在の自動運転レベル3において、ドライバーに許容されるアクティビティとして、(1)食事、(2)電話、(3)メールの確認、返信、(4)読書、(5)ゲームプレイ、これらのアクティビティがあることを確認することができる。
 ユーザは、表示部に表示された自動運転レベル3対応の許容アクティビティを確認して、表示された許容アクティビティの範囲内の行動を行うように心がけて行動することが可能となる。
 なお、自動運転レベルに対応する許容アクティビティの通知処理は、図9に示すような表示部に対する表示処理に限らず、例えば音声情報で通知する構成としてもよい。
  [4.許容アクティビティの通知に対するドライバーの確認状態を解析し、確認がなされていない場合に緊急対応を行う処理シーケンスについて]
 次に、許容アクティビティの通知に対するドライバーの確認状態を解析し、確認がなされていない場合に緊急対応を行う処理シーケンスについて説明する。
 図7に示すフローチャートを参照して説明した処理シーケンスは、自動運転レベルに対応する許容アクティビティの通知を行うのみであり、この通知をドライバーが確認しているか否かについての解析は実行していない。
 以下に説明する処理は、許容アクティビティの通知に対するドライバーの確認状態を解析し、確認がなされていない場合に緊急対応を行う処理である。
 この処理のシーケンスについて、図10に示すフローチャートを参照して説明する。
 図10に示すフローチャートは、先に説明した図7に示すフローチャートのステップS104の後にステップS121~S122を追加したフローである。
 以下、図10に示すフローチャートの各ステップの処理について説明する。
  (ステップS101~S104)
 ステップS101~S104の処理は、図7を参照して説明した処理と同様の処理となる。
 これらの処理について簡単に説明する。
 まず、情報処理装置100の制御部120は、まず、ステップS101において、移動装置10が、現在実行中の自動運転のレベルを特定する。
 次に、ステップS102において、自動運転レベルに応じてドライバーに許容されるアクティビティ(行動)を一覧データとしたリスト、すなわち自動運転レベル対応許容アクティビティリストを取得する。
 さらに、情報処理装置100の制御部120は、ステップS103において、ステップS102で取得した自動運転レベル対応許容アクティビティリストから、移動装置10が現在実行中の自動運転レベルに対応付けられたドライバーに許容されるアクティビティを選択する。
 次に、情報処理装置100の制御部120は、ステップS104において、ステップS103で許容アクティビティリストから取得したドライバーに許容されるアクティビティ、すなわち、移動装置10が現在実行中の自動運転レベルに対応付けられたドライバーに許容されるアクティビティを移動装置10の入出力部133に出力する。
 ここまでの処理は、図7を参照して説明した処理と同様の処理となる。
  (ステップS121)
 次に、情報処理装置100の制御部120は、ステップS121において、ステップS104でドライバーに通知した自動運転レベル対応の許容アクティビティについて、ドライバーからの確認入力が検出されたか否かを判定する。
 このドライバーからの確認入力の検出を可能としたユーザインタフェースの例を図11に示す。
 図11には、先に図9を参照して説明した自動運転レベル対応の許容アクティビティ通知例と同様の表示データに、ユーザ入力用の確認ボタン201を追加した表示データを示している。
 表示部はタッチパネルであり、ユーザ(ドライバー)が確認ボタン201に触れると、ユーザによる確認がなされたことを示す検出信号が、情報処理装置100の制御部120に入力される。
 図10に示すフローのステップS121では、この検出信号の有無を判定する。
 ユーザ(ドライバー)が確認ボタン201に触れ、検出信号が情報処理装置100の制御部120に入力された場合は、ステップS121の判定はYesとなる。すなわち、ドライバーが、表示部に表示された自動運転レベル対応の許容アクティビティデータを確認したと判定し処理を終了する。
 一方、予め規定した時間、例えば10秒以内にユーザ(ドライバー)が確認ボタン201に触れることなく、検出信号が情報処理装置100の制御部120に入力されなかった場合は、ステップS121の判定はNoとなる。すなわち、ドライバーが、表示部に表示された自動運転レベル対応の許容アクティビティデータを確認していないと判定する。
 この場合は、ステップS122に進む。
  (ステップS122)
 ステップS121の判定処理において、ドライバーが、表示部に表示された自動運転レベル対応の許容アクティビティデータを確認していないと判定した場合は、ステップS122に進む。
 この場合、情報処理装置100の制御部120は、ステップS122において、緊急対応処理を実行する。
 緊急対応処理は、例えば、
 (a)移動装置10の緊急停止、
 (b)移動装置10を徐行運転に切り替える、
 (c)警報音の出力、
 これらの処理のいずれか、あるいは複数を組み合わせた処理である。
 例えば、表示部に表示された自動運転レベル対応の許容アクティビティデータを確認していないと判定した場合、制御部120の運転支援処理部122は、緊急対応処理として移動装置10の緊急停止を行うとともに警報音を出力する。
 このような緊急対応処理を実行することで、ドライバーが許容されないアクティビティを行っている状態のまま移動装置10が走行してしまう事態を避けることが可能となり、万が一の事故を未然に防止することができる。
  [5.許容アクティビティの通知後のドライバーの行動を監視し、ドライバーが許容されないアクティビティを実行している場合に緊急対応を行う処理シーケンスについて]
 次に、許容アクティビティの通知後のドライバーの行動を監視し、ドライバーが許容されないアクティビティを実行している場合に緊急対応を行う処理シーケンスについて説明する。
 この処理のシーケンスについて、図12に示すフローチャートを参照して説明する。
 図12に示すフローチャートは、先に説明した図7に示すフローチャートのステップS104の後にステップS141~S143を追加したフローである。
 以下、図12に示すフローチャートの各ステップの処理について説明する。
  (ステップS101~S104)
 ステップS101~S104の処理は、図7を参照して説明した処理と同様の処理となる。
 これらの処理について簡単に説明する。
 まず、情報処理装置100の制御部120は、まず、ステップS101において、移動装置10が、現在実行中の自動運転のレベルを特定する。
 次に、ステップS102において、自動運転レベルに応じてドライバーに許容されるアクティビティ(行動)を一覧データとしたリスト、すなわち自動運転レベル対応許容アクティビティリストを取得する。
 さらに、情報処理装置100の制御部120は、ステップS103において、ステップS102で取得した自動運転レベル対応許容アクティビティリストから、移動装置10が現在実行中の自動運転レベルに対応付けられたドライバーに許容されるアクティビティを選択する。
 次に、情報処理装置100の制御部120は、ステップS104において、ステップS103で許容アクティビティリストから取得したドライバーに許容されるアクティビティ、すなわち、移動装置10が現在実行中の自動運転レベルに対応付けられたドライバーに許容されるアクティビティを移動装置10の入出力部133に出力する。
 ここまでの処理は、図7を参照して説明した処理と同様の処理となる。
  (ステップS141)
 次に、情報処理装置100の制御部120は、ステップS141において、センサー検出情報に基づいて、ドライバーの行動を解析する。
 なお、本実施例の処理を行う場合、車内のドライバーの行動を解析するための情報を取得するカメラ等のセンサーが必要となる。
 本実施例を行う場合のセンサー部131の構成例を図13に示す。
 図13に示すセンサー部131は、先に図6を参照して説明したセンサー部131に、ドライバー監視センサー156を追加した構成である。
 ドライバー監視センサー156は、車内のドライバーの行動を解析するための情報を取得するセンサーであり、例えば、カメラ、マイク、距離センサー、臭気センサー等によって構成される。
 制御部120のデータ収集部121は、このドライバー監視センサー156の取得情報を入力して、判定部123に入力する。
 判定部123は、ドライバー監視センサー156の取得情報を解析し、ドライバーの行なっているアクティビティを推定する。この推定は、AI、例えば、機械学習、あるいは、深層学習によって生成されるニューラルネットワーク・モデルに、ドライバー監視センサー156の取得情報を入力することによって得られる出力結果に基づいて行われてもよい。
  (ステップS142)
 ステップS142では、ステップS141で推定したドライバーのアクティビティが、現在の自動運転レベルに対応する許容アクティビティであるか否かを判定する。
 この処理は、制御部120の判定部123が実行する。
 判定部123は、推定したドライバーのアクティビティが、現在の自動運転レベルに対応する許容アクティビティであるか否かを判定する。
 ドライバーのアクティビティが、現在の自動運転レベルに対応する許容アクティビティであると判定した場合は、処理を終了する。
 一方、ドライバーのアクティビティが、現在の自動運転レベルに対応する許容アクティビティでないと判定した場合は、ステップS143に進む。
  (ステップS143)
 ステップS142の判定処理において、ドライバーが現在の自動運転レベルに対応する許容アクティビティでないアクティビティを実行していると判定した場合は、ステップS143に進む。
 この場合、情報処理装置100の制御部120は、ステップS143において、緊急対応処理を実行する。
 緊急対応処理は、例えば、
 (a)移動装置10の緊急停止、
 (b)移動装置10を徐行運転に切り替える、
 (c)警報音の出力、
 これらの処理のいずれか、あるいは複数を組み合わせた処理である。
 例えば、ドライバーが現在の自動運転レベルに対応する許容アクティビティでないアクティビティを実行していると判定した場合、制御部120の運転支援処理部122は、緊急対応処理として移動装置10の緊急停止を行うとともに警報音を出力する。
 このような緊急対応処理を実行することで、ドライバーが許容されないアクティビティを行っている状態のまま移動装置10が走行してしまう事態を避けることが可能となり、万が一の事故を未然に防止することができる。
  [6.自動運転レベルの遷移を検出して、許容アクティビティの変更通知を実行する処理シーケンスについて]
 次に、本開示の情報処理装置が実行する処理例として、自動運転レベルの遷移を検出して、許容アクティビティの変更通知を実行する処理シーケンスについて説明する。
 図14に示すフローチャートを参照して説明する。
 図14に示すフローに従った処理は、例えば情報処理装置100の記憶部132に格納されたプログラムに従って実行可能である。例えばプログラム実行機能を有するCPU等を有するデータ処理部(制御部)の制御の下で実行される。
 以下、図14に示すフローチャートの各ステップの処理について、順次、説明する。
  (ステップS201)
 情報処理装置100の制御部120は、まず、ステップS201において、移動装置10が、現在実行中の自動運転のレベルを特定する。
 この処理は、情報処理装置100の制御部120内のデータ収集部121や通信部110、運転支援処理部122において実行される。
 自動運転レベルの特定処理には、例えば、データ収集部121による収集データや、通信部110が外部から取得したデータ等が利用される。
 運転支援処理部122は、データ収集部121の収集データや、通信部110が外部から取得したデータを入力し、これらのデータに基づいて、移動装置10が、現在実行中の自動運転のレベルを特定する。
 データ収集部121は、センサー部131のセンサー検出情報を収集する。センサー部131は、先に図6を参照して説明したように、位置情報センサー151、カメラモジュール152、LiDAR153、レーダー154、およびセンサー155を有する。
 データ収集部121は、センサー部131のこれら様々なセンサーの検出情報を取得する。データ収集部121の取得する情報には、例えば自己位置情報、カメラ撮影画像、オブジェクト距離情報等が含まれる。
 これら、データ収集部121が取得した情報が、運転支援処理部122に入力される。
 また、通信部110は他の移動装置や、基地局30、路側通信ユニット(RSU)20等の路上インフラや、外部サーバ、例えば制御装置50、地図情報提供サーバ50bからの取得情報を運転支援処理部122に入力する。
 例えば、制御装置50が移動装置10の自動運転管理データを保持している場合、移動装置10が現在実行中の自動運転のレベルの情報を制御装置50から取得することができる。
 また、地図情報提供サーバ50bに登録された道路区間単位の自動運転許容レベル情報を取得して、この情報を用いて、移動装置10が現在実行中の自動運転のレベルを判定してもよい。
 また、移動装置10内の記憶部131やメモリに、移動装置10が現在実行中の自動運転のレベル情報が設定、あるいは記録されていれば、この情報を取得してもよい。
 運転支援処理部122は、例えば、上記いずれかの方法に基づいて、移動装置10が現在実行中の自動運転のレベルを特定することができる。
 上述のように、運転支援処理部122は、ステップS201において、データ収集部121の収集データや、通信部110が外部から取得したデータを入力し、これらのデータに基づいて、移動装置10が現在実行中の自動運転のレベルを特定する。
  (ステップS202)
 次に、情報処理装置100の制御部120は、ステップS202において、移動装置10において実行中の自動運転レベルの遷移(変化)の有無を判定する。
 この処理は、情報処理装置100の制御部120の判定部123が実行する。
 情報処理装置100の制御部120の判定部123は、ステップS203において、移動装置10において実行中の自動運転レベルの遷移(変化)の有無を判定する。
 自動運転レベルの遷移(変化)は、例えば移動装置10が走行中の道路の道路区間に対応して設定された許容自動運転レベルの変化等によって発生する。
 例えば、移動装置10が走行中の道路の道路区間A~Bは、許容自動運転レベルがレベル3であり、次の道路区間B~Cが許容自動運転レベル=レベル4であるような場合、移動装置10は、自動的に自動運転レベルレベル3からレベル4に変更する。
 なお、移動装置10における自動運転レベルの変更処理は、移動装置10内の情報処理装置100の制御部120の運転支援処理部122の制御の下で実行される。
 運転支援処理部122は、例えば制御装置50からの指示に基づいて自動運転レベルの変更処理を行う。
 あるいは、地図情報提供サーバ50bから受信する地図情報に記録された道路区間単位の許容自動運転レベル情報に基づいて自動運転レベルの変更処理を行う。
 情報処理装置100の制御部120の判定部123が、ステップS202において、移動装置10の自動運転レベルの遷移(変化)を検出したと判定した場合、ステップS203に進む。
 一方、ステップS202において、判定部123が、移動装置10の自動運転レベルの遷移(変化)が検出されないと判定した場合は、ステップS201に戻り、ステップS201の処理を継続する。
  (ステップS203)
 ステップS202において、移動装置10の自動運転レベルの遷移(変化)を検出したと判定した場合、ステップS203において、自動運転レベルとドライバーに許容されるアクティビティとを対応付けた許容アクティビティリストを取得する。
 先に図8を参照して説明したように許容アクティビティリストは、自動運転レベルとドライバーに許容されるアクティビティとを対応付けたテーブルである。
 この自動運転レベル対応許容アクティビティリスト取得処理は、情報処理装置100の制御部120の運転支援処理部122が実行する。
 情報処理装置100の制御部120の運転支援処理部122は、ステップS203において、自動運転レベルに対応付けられた許容アクティビティリストを取得する。
 許容アクティビティリストは、先に図2を参照して説明した自動運転のレベル(レベル0~5)各々に対してドライバーに許容されるアクティビティを対応付けたテーブルである。
 情報処理装置100の制御部120の運転支援処理部122は、通信部110を介して、例えば制御装置50から自動運転レベル対応許容アクティビティリストを受信する。
 なお、自動運転レベル対応許容アクティビティリストは、移動装置10の情報処理装置100内の記憶部131に格納しておくことも可能であり、その場合は、情報処理装置100の制御部120の運転支援処理部122は、記憶部131から自動運転レベル対応許容アクティビティリストを取得する。
 情報処理装置100の制御部120は、ステップS203において、図8に示すような自動運転レベルとドライバーに許容されるアクティビティとを対応付けた自動運転レベル対応許容アクティビティリストを取得する。
  (ステップS204)
 次に、情報処理装置100の制御部120は、ステップS204において、ステップS203で取得した自動運転レベル対応許容アクティビティリストを参照して、ステップS202で検出した移動装置10の自動運転レベルの遷移前後の許容アクティビティの差分を解析する。
 この処理は、情報処理装置100の制御部120の運転支援処理部122が実行する。
 情報処理装置100の制御部120の運転支援処理部122は、自動運転レベルの遷移前の許容アクティビティと、遷移後の許容アクティビティとの差分を解析する。
 例えば、遷移前の自動運転レベルがレベル3で、遷移後の自動運転レベルがレベル4の場合、自動運転レベル3に対応する許容アクティビティと、自動運転レベル4に対応する許容アクティビティとの差分を解析する。
  (ステップ205)
 次に、情報処理装置100の制御部120は、ステップS205において、ステップS204における差分解析結果として、自動運転レベル遷移前後の許容アクティビティに差分が存在するか否かを判定する。
 この処理も、情報処理装置100の制御部120の運転支援処理部122が実行する。
 情報処理装置100の制御部120の運転支援処理部122は、ステップS205において、自動運転レベル遷移前後の許容アクティビティに差分が存在すると判定した場合は、ステップS206に進む。
 一方、ステップS205において、自動運転レベル遷移前後の許容アクティビティに差分が存在しないと判定した場合は、処理を終了する。
  (ステップS206)
 ステップS206の処理は、ステップS205において、自動運転レベル遷移前後の許容アクティビティに差分が存在すると判定した場合に実行する。
 この処理は、情報処理装置100の制御部120の運転支援処理部122が実行する。
 情報処理装置100の制御部120の運転支援処理部122は、ステップS205で自動運転レベル遷移前後の許容アクティビティに差分が存在すると判定した場合、ステップS206において、自動運転レベルの遷移(変更)後の許容アクティビティ、すなわち、自動運転レベル変化に伴う差分を明示した許容アクティビティを移動装置10の入出力部133に出力する。
 例えば入出力部133を構成する表示部や音声出力部を介して、ドライバーに許容されるアクティビティを説明するメッセージを出力する。
 なお、自動運転レベル遷移前後の許容アクティビティの差分を理解しやすいように通知することが好ましい。
 図15以下を参照して、表示部を利用した自動運転レベル対応の許容アクティビティ通知例について説明する。
 なお、自動運転レベルの変更処理としては、
 (a)自動運転レベルが上がるレベル変更処理、つまり、運転の操作に関して人の介在する割合が少なくなるレベル変更処理と、
 (b)自動運転レベルが下がるレベル変更処理、つまり、運転の操作に関して人の介在する割合が増えるレベル変更処理、
 これらの2つの異なる態様がある。
 以下では、
 (a)自動運転レベルが上がるレベル変更処理
 (b)自動運転レベルが下がるレベル変更処理
 これらの各場合に分けて、説明する。
 自動運転レベルが上がる場合に、新たに許されるアクティビティが増えるなら、少なくとも、新たに許されるアクティビティをドライバーに通知する必要がある。
 まず、図15、図16を参照して、遷移前の自動運転レベルがレベル3で、遷移後の自動運転レベルがレベル4の場合における運転支援処理部122の処理と、表示部の表示データの一例について説明する。
 図15は、図14に示すフローのステップS204~S205において、情報処理装置100の制御部120の運転支援処理部122が実行する処理例を示す図である。
 運転支援処理部122はステップS204~S205において、ステップS203で取得した自動運転レベル対応許容アクティビティリストを参照して、ステップS202で検出した移動装置10の自動運転レベルの遷移前後の許容アクティビティの差分を解析する。
 運転支援処理部122は、自動運転レベルの遷移前の許容アクティビティと、遷移後の許容アクティビティとの差分を解析する。
 図15には、自動運転レベル対応許容アクティビティリストに記録された自動運転レベル3の許容アクティビティと、自動運転レベル4の許容アクティビティを示している。
 図15に示すように、自動運転レベル対応許容アクティビティリストに記録された自動運転レベル3の許容アクティビティは、
 (1)食事
 (2)電話
 (3)メールの確認、返信
 (4)読書
 (5)ゲームプレイ
 これら5つのアクティビティである。
 一方、自動運転レベル対応許容アクティビティリストに記録された自動運転レベル4の許容アクティビティは、
 (1)食事
 (2)電話
 (3)メールの確認、返信
 (4)読書
 (5)ゲームプレイ
 (6)テレビ電話
 (7)仮眠
 これら7つのアクティビティである。
 運転支援処理部122は、図14に示すフローのステップS204~S205において、これら自動運転レベル3の許容アクティビティと、自動運転レベル4の許容アクティビティとの差分を解析する。
 図15に示すデータから理解されるように、自動運転レベル3の許容アクティビティと、自動運転レベル4の許容アクティビティとの差分は、自動運転レベル4の許容アクティビティとして新たに追加された以下のアクティビティ、すなわち、
 (6)テレビ電話
 (7)仮眠
 これら2つのアクティビティである。
 運転支援処理部122は、自動運転レベルの遷移前後における許容アクティビティに差分があると判断し、図14に示すフローのステップS205の判定ステップにおいて、Yesの判定を行い、ステップS206に進む。
 運転支援処理部122は、ステップS206において、自動運転レベルの遷移(変更)後の許容アクティビティ、すなわち、移動装置10が現在実行中の自動運転レベルに対応付けられたドライバーに許容されるアクティビティを移動装置10の表示部に出力する。
 運転支援処理部122は、例えば、自動運転レベル遷移前後の許容アクティビティの差分を理解しやすいような表示データを生成して表示部に表示する。
 図16は、運転支援処理部122が生成して表示部に表示する表示データの一例を示す図である。
 図16に示す表示データは、以下のメッセージを表示した例である。
 「自動運転レベルがレベル3からレベル4に変更されました。レベル4のドライバー許容アクティビティとして、以下の(6),(7)が追加されました。
 (1)食事
 (2)電話
 (3)メールの確認、返信
 (4)読書
 (5)ゲームプレイ
 (6)テレビ電話
 (7)仮眠」
 図16に示すように、新たに追加された
 (6)テレビ電話
 (7)仮眠
 これら2つのアクティビティを、他の(1)~(5)のアクティビティより目立つように、例えば赤色出力等の色違い出力、あるいは、サイズを変更して大きく表示する等の強調表示を行う。つまり、これら2つのアクティビティの表示に対して異なる視覚的特徴を付加する。
 運転支援処理部122は、例えば、この図16に示すように、レベル遷移前後の許容アクティビティの差分が理解しやすい表示データを生成して出力する。
 ユーザであるドライバーは、表示部の表示データを見て、移動装置10の自動運転レベルがレベル3からレベル4に遷移したこと。さらに、遷移後の自動運転レベル4において、ドライバーに許容されるアクティビティとして、レベル3時点で許容されていた(1)食事、(2)電話、(3)メールの確認、返信、(4)読書、(5)ゲームプレイ、これらのアクティビティに、さらに、(6)テレビ電話、(7)仮眠、これらの新規アクティビティが許容されたことを確認することができる。
 ユーザは、表示部に表示された自動運転レベル4対応の許容アクティビティを確認して、表示された許容アクティビティの範囲内の行動を行うように心がけて行動することが可能となる。
 なお、自動運転レベルに対応する許容アクティビティの通知処理は、図16に示すような表示部に対する表示処理に限らず、例えば音声情報で通知する構成としてもよい。
 なお、図16に示す表示データの例は、一例であり、この他の異なる表示データを生成して出力する構成としてもよい。
 図16に示す表示データと異なる表示データを生成して表示する例について、図17、図18を参照して説明する。
 図17、図18に示す例も、図15、図16と同様、遷移前の自動運転レベルがレベル3で、遷移後の自動運転レベルがレベル4の場合における運転支援処理部122の処理と、表示部の表示データの例である。
 図17は、図14に示すフローのステップS204~S205において、情報処理装置100の制御部120の運転支援処理部122が実行する処理例を示す図である。
 運転支援処理部122はステップS204~S205において、ステップS203で取得した自動運転レベルに対応付けられた許容アクティビティリストを参照して、ステップS202で検出した移動装置10の自動運転レベルの遷移前後の許容アクティビティの差分を解析する。
 運転支援処理部122は、自動運転レベルの遷移前の許容アクティビティと、遷移後の許容アクティビティとの差分を解析する。
 図17には、自動運転レベルに対応付けられた許容アクティビティリストに記録された自動運転レベル3の許容アクティビティと、自動運転レベル4の許容アクティビティを示しているが、先に図15を参照して説明した例と異なり、自動運転レベル3の許容アクティビティに含まれず、自動運転レベル4の許容アクティビティにのみ新たに追加された差分に相当するアクティビティ((1)テレビ電話、(2)仮眠)を、運転レベル4の許容アクティビティの先頭データに設定している。
 運転支援処理部122は、このように、差分データを先頭に設定した上で、図14に示すフローのステップS206において、自動運転レベル遷移前後の許容アクティビティの差分を理解しやすいような表示データを生成して表示部に表示する。
 図18が、運転支援処理部122が生成して表示部に表示する表示データ例である。
 図18に示す表示データは、以下のメッセージを表示した例である。
 「自動運転レベルがレベル3からレベル4に変更されました。レベル4のドライバー許容アクティビティとして、以下の(1),(2)が追加されました。
 (1)テレビ電話
 (2)仮眠
 (3)食事
 (4)電話
 (5)メールの確認、返信
 (6)読書
 (7)ゲームプレイ」
 図18に示すように、新たに追加された
 (1)テレビ電話
 (2)仮眠
 これら2つのアクティビティを、他の(3)~(7)のアクティビティに先行した位置に表示して、さらに、より目立つように、例えば赤色出力等の色違い出力、あるいは、サイズを変更して大きく表示する等の強調表示を行う。
 運転支援処理部122は、例えば、この図18に示すように、レベル遷移前後の許容アクティビティの差分が理解しやすい表示データを生成して出力する。
 ユーザであるドライバーは、表示部の表示データを見て、移動装置10の自動運転レベルがレベル3からレベル4に遷移したこと。さらに、遷移後の自動運転レベル4において、ドライバーに許容されるアクティビティとして、レベル3時点で許容されていたアクティビティの他、さらに、(1)テレビ電話、(2)仮眠、これらの新規アクティビティが許容されたことを確認することができる。
 ユーザは、表示部に表示された自動運転レベル4対応の許容アクティビティを確認して、表示された許容アクティビティの範囲内の行動を行うように心がけて行動することが可能となる。
 なお、自動運転レベルに対応する許容アクティビティの通知処理は、図18に示すような表示部に対する表示処理に限らず、例えば音声情報で通知する構成としてもよい。
 図15~図18を参照して説明した処理例は、遷移前の自動運転レベルがレベル3で、遷移後の自動運転レベルがレベル4の場合における運転支援処理部122の処理と、表示部の表示データの例である。また、新規アクティビティの「テレビ電話」と「仮眠」は一例であり、これ以外のアクティビティであってもよい。
 次に、図19、図20を参照して、遷移前の自動運転レベルがレベル4で、遷移後の自動運転レベルがレベル3となった場合、すなわち自動運転レベルを下位レベルに移行した場合における運転支援処理部122の処理と、表示部の表示データの例について説明する。
 図19は、図14に示すフローのステップS204~S205において、情報処理装置100の制御部120の運転支援処理部122が実行する処理例を示す図である。
 運転支援処理部122はステップS204~S205において、ステップS203で取得した自動運転レベルに対応付けられた許容アクティビティリストを参照して、ステップS202で検出した移動装置10の自動運転レベルの遷移前後の許容アクティビティの差分を解析する。
 運転支援処理部122は、自動運転レベルの遷移前の許容アクティビティと、遷移後の許容アクティビティとの差分を解析する。
 図19には、自動運転レベル遷移前の自動運転レベル4の許容アクティビティと、遷移後の自動運転レベル3の許容アクティビティを示している。
 遷移後の自動運転レベル3の許容アクティビティには、遷移前の自動運転レベル4の許容アクティビティに含まれていた(6)テレビ電話、(7)仮眠が含まれておらず、これらのアクティビティが差分として抽出される。
 運転支援処理部122は、図14に示すフローのステップS206において、この差分データを理解しやすくした表示データを生成して表示部に表示する。
 図20が、運転支援処理部122が生成して表示部に表示する表示データの一例である。
 図20に示す表示データは、以下のメッセージを表示した例である。
 「自動運転レベルがレベル4からレベル3に変更されました。レベル4からレベル3への変更に伴い、以下の項目(NG)のアクティビティが、ドライバー許容アクティビティから削除されました。
 (1)食事
 (2)電話
 (3)メールの確認、返信
 (4)読書
 (5)ゲームプレイ
 (NG)テレビ電話
 (NG)仮眠」
 図20に示すように、自動運転レベルのレベルダウンに伴い削除された許容アクティビティ、
 (NG)テレビ電話
 (NG)仮眠
 これら2つのアクティビティを、他の(1)~(5)のアクティビティとともに、表示して、現在の自動運転レベルでは許容されないことをユーザ(ドライバー)に通知する表示データとしている。
 運転支援処理部122は、例えば、この図20に示すように、レベル遷移前後の許容アクティビティの差分が理解しやすい表示データを生成して出力する。差分データについては、例えば赤色出力等の色違い出力、あるいは、サイズを変更して大きく表示する等の強調表示を行う。つまり、差分データの表示に対して異なる視覚的特徴を付加する。
 なお、図20に示す例では、ドライバーに許容されなくなったアクティビティを(NG)を設定して示す例を示したが、(NG)以外にも、例えば、バツ印(X)を併記して表示する。あるいは、一般的に禁止を示すマークである赤色の円と斜め線から構成されるマークを併記する設定等、禁止アクティビティをドライバーが認識できるような様々な表記が可能である。
 ユーザであるドライバーは、表示部の表示データを見て、移動装置10の自動運転レベルがレベル4からレベル3にレベルダウンしたこと。さらに、遷移後の自動運転レベル3において、ドライバーに許容されるアクティビティの種類と、レベル4からレベル3へのレベル遷移に応じて許容されなくなったアクティビティである、
 (NG)テレビ電話、
 (NG)仮眠、
 これらの禁止アクティビティを確認することができる。
 ユーザは、表示部に表示された自動運転レベル3対応の許容アクティビティを確認して、表示された許容アクティビティの範囲内の行動を行うように心がけて行動することが可能となる。
 なお、自動運転レベルに対応する許容アクティビティの通知処理は、図20に示すような表示部に対する表示処理に限らず、例えば音声情報で通知する構成としてもよい。
  [7.自動運転レベル遷移に伴う許容アクティビティの差分通知に対するドライバーの確認状態を解析し、確認がなされていない場合に緊急対応を行う処理シーケンスについて]
 次に、自動運転レベル遷移に伴う許容アクティビティの差分通知に対するドライバーの確認状態を解析し、確認がなされていない場合に緊急対応を行う処理シーケンスについて説明する。
 図14に示すフローチャートを参照して説明した処理シーケンスは、自動運転レベルが変化した場合、ドライバーに対して自動運転レベルの変更に応じた許容アクティビティの差分を分かりやすく通知する処理シーケンスである。
 しかし、この通知をドライバーが確認しているか否かについての解析は実行していない。
 以下に説明する処理は、許容アクティビティの差分通知に対するドライバーの確認状態を解析し、確認がなされていない場合に緊急対応を行う処理である。
 この処理のシーケンスについて、図21に示すフローチャートを参照して説明する。
 図21に示すフローチャートは、先に説明した図14に示すフローチャートのステップS206の後にステップS221~S222を追加したフローである。
 以下、図21に示すフローチャートの各ステップの処理について説明する。
  (ステップS201~S206)
 ステップS201~S206の処理は、図14を参照して説明した処理と同様の処理となる。
 これらの処理について簡単に説明する。
 まず、情報処理装置100の制御部120は、まず、ステップS201において、移動装置10が、現在実行中の自動運転のレベルを特定する。
 次に、ステップS202において、移動装置10において実行中の自動運転レベルの遷移(変化)の有無を判定する。
 情報処理装置100の制御部120の判定部123が、ステップS202において、移動装置10の自動運転レベルの遷移(変化)を検出したと判定した場合、ステップS203に進む。
 一方、ステップS202において、判定部123が、移動装置10の自動運転レベルの遷移(変化)が検出されないと判定した場合は、ステップS201に戻り、ステップS201の処理を継続する。
 ステップS202において、移動装置10の自動運転レベルの遷移(変化)を検出したと判定した場合、ステップS203において、自動運転レベルとドライバーに許容されるアクティビティとを対応付けた許容アクティビティリストを取得する。
 次に、情報処理装置100の制御部120は、ステップS204において、ステップS203で取得した許容アクティビティリストを参照して、ステップS202で検出した移動装置10の自動運転レベルの遷移前後の許容アクティビティの差分を解析する。
 次に、情報処理装置100の制御部120は、ステップS205において、ステップS204における差分解析結果として、自動運転レベル遷移前後の許容アクティビティに差分が存在するか否かを判定する。
 自動運転レベル遷移前後の許容アクティビティに差分が存在すると判定した場合は、ステップS206に進む。
 一方、ステップS205において、自動運転レベル遷移前後の許容アクティビティに差分が存在しないと判定した場合は、処理を終了する。
 ステップS206の処理は、ステップS205において、自動運転レベル遷移前後の許容アクティビティに差分が存在すると判定した場合に実行する。
 この処理は、情報処理装置100の制御部120の運転支援処理部122が実行する。
 情報処理装置100の制御部120の運転支援処理部122は、ステップS205で自動運転レベル遷移前後の許容アクティビティに差分が存在すると判定した場合、ステップS206において、自動運転レベルの遷移(変更)後の許容アクティビティ、すなわち、自動運転レベル変化に伴う差分を明示した許容アクティビティを移動装置10の入出力部133に出力する。
 ここまでの処理は、図14を参照して説明した処理と同様の処理となる。
  (ステップS221)
 次に、情報処理装置100の制御部120は、ステップS221において、ステップS206でドライバーに通知した自動運転レベル変化に伴う差分を明示した許容アクティビティについて、ドライバーからの確認入力が検出されたか否かを判定する。
 このドライバーからの確認入力の検出を可能としたユーザインタフェースの例を図22に示す。
 図22には、先に図16を参照して説明した自動運転レベルの変化に伴う許容アクティビティの差分の通知例と同様の表示データに、ユーザ入力用の確認ボタン201を追加した表示データを示している。
 表示部はタッチパネルであり、ユーザ(ドライバー)が確認ボタン201に触れると、ユーザによる確認がなされたことを示す検出信号が、情報処理装置100の制御部120に入力される。
 図21に示すフローのステップS221では、この検出信号の有無を判定する。
 ユーザ(ドライバー)が確認ボタン201に触れ、検出信号が情報処理装置100の制御部120に入力された場合は、ステップS221の判定はYesとなる。すなわち、ドライバーが、表示部に表示された自動運転レベル変化に伴う差分を明示した許容アクティビティを確認したと判定し処理を終了する。
 一方、予め規定した時間、例えば10秒以内にユーザ(ドライバー)が確認ボタン201に触れることなく、検出信号が情報処理装置100の制御部120に入力されなかった場合は、ステップS221の判定はNoとなる。すなわち、ドライバーが、表示部に表示された自動運転レベル変化に伴う差分を明示した許容アクティビティを確認していないと判定する。
 この場合は、ステップS222に進む。
  (ステップS222)
 ステップS221の判定処理において、ドライバーが、表示部に表示された自動運転レベル変化に伴う差分を明示した許容アクティビティを確認していないと判定した場合は、ステップS222に進む。
 この場合、情報処理装置100の制御部120は、ステップS222において、緊急対応処理を実行する。
 緊急対応処理は、例えば、
 (a)移動装置10の緊急停止、
 (b)移動装置10を徐行運転に切り替える、
 (c)警報音の出力、
 これらの処理のいずれか、あるいは複数を組み合わせた処理である。
 例えば、表示部に表示された自動運転レベル変化に伴う差分を明示した許容アクティビティを確認していないと判定した場合、制御部120の運転支援処理部122は、緊急対応処理として移動装置10の緊急停止を行うとともに警報音を出力する。
 このような緊急対応処理を実行することで、ドライバーが許容されないアクティビティを行っている状態のまま移動装置10が走行してしまう事態を避けることが可能となり、万が一の事故を未然に防止することができる。
  [8.自動運転レベル遷移に伴う許容アクティビティの差分通知後のドライバーの行動を監視し、ドライバーが許容されないアクティビティを実行している場合に緊急対応を行う処理シーケンスについて]
 次に、自動運転レベル遷移に伴う許容アクティビティの差分通知後のドライバーの行動を監視し、ドライバーが許容されないアクティビティを実行している場合に緊急対応を行う処理シーケンスについて説明する。
 この処理のシーケンスについて、図23に示すフローチャートを参照して説明する。
 図23に示すフローチャートは、先に説明した図14に示すフローチャートのステップS206の後にステップS241~S243を追加したフローである。
 以下、図23に示すフローチャートの各ステップの処理について説明する。
  (ステップS201~S206)
 ステップS201~S206の処理は、図14を参照して説明した処理と同様の処理となる。
 これらの処理について簡単に説明する。
 まず、情報処理装置100の制御部120は、まず、ステップS201において、移動装置10が、現在実行中の自動運転のレベルを特定する。
 次に、ステップS202において、移動装置10において実行中の自動運転レベルの遷移(変化)の有無を判定する。
 情報処理装置100の制御部120の判定部123が、ステップS202において、移動装置10の自動運転レベルの遷移(変化)を検出したと判定した場合、ステップS203に進む。
 一方、ステップS202において、判定部123が、移動装置10の自動運転レベルの遷移(変化)が検出されないと判定した場合は、ステップS201に戻り、ステップS201の処理を継続する。
 ステップS202において、移動装置10の自動運転レベルの遷移(変化)を検出したと判定した場合、ステップS203において、自動運転レベルとドライバーに許容されるアクティビティとを対応付けた許容アクティビティリストを取得する。
 次に、情報処理装置100の制御部120は、ステップS204において、ステップS203で取得した許容アクティビティリストを参照して、ステップS202で検出した移動装置10の自動運転レベルの遷移前後の許容アクティビティの差分を解析する。
 次に、情報処理装置100の制御部120は、ステップS205において、ステップS204における差分解析結果として、自動運転レベル遷移前後の許容アクティビティに差分が存在するか否かを判定する。
 自動運転レベル遷移前後の許容アクティビティに差分が存在すると判定した場合は、ステップS206に進む。
 一方、ステップS205において、自動運転レベル遷移前後の許容アクティビティに差分が存在しないと判定した場合は、処理を終了する。
 ステップS206の処理は、ステップS205において、自動運転レベル遷移前後の許容アクティビティに差分が存在すると判定した場合に実行する。
 この処理は、情報処理装置100の制御部120の運転支援処理部122が実行する。
 情報処理装置100の制御部120の運転支援処理部122は、ステップS205で自動運転レベル遷移前後の許容アクティビティに差分が存在すると判定した場合、ステップS206において、自動運転レベルの遷移(変更)後の許容アクティビティ、すなわち、自動運転レベル変化に伴う差分を明示した許容アクティビティを移動装置10の入出力部133に出力する。
 ここまでの処理は、図14を参照して説明した処理と同様の処理となる。
  (ステップS241)
 次に、情報処理装置100の制御部120は、ステップS241において、センサー検出情報に基づいて、ドライバーの行動を解析する。
 なお、本実施例の処理を行う場合、車内のドライバーの行動を解析するための情報を取得するカメラ等のセンサーが必要となる。
 本実施例を行う場合のセンサー部131の構成は、先に図13を参照して説明した構成となる。すなわち、センサー部131は、先に図6を参照して説明したセンサー部131に、ドライバー監視センサー156を追加した構成となる。
 ドライバー監視センサー156は、車内のドライバーの行動を解析するための情報を取得するセンサーであり、例えば、カメラ、マイク、臭気センサー、距離センサー等によって構成される。
 制御部120のデータ収集部121は、このドライバー監視センサー156の取得情報を入力して、判定部123に入力する。
 判定部123は、ドライバー監視センサー156の取得情報を解析し、ドライバーの行なっているアクティビティを推定する。この推定は、AI、例えば、機械学習、あるいは、深層学習によって生成されるニューラルネットワーク・モデルに、ドライバー監視センサー156の取得情報を入力することによって得られる出力結果に基づいて行われてもよい。
  (ステップS242)
 ステップS242では、ステップS241で推定したドライバーのアクティビティが、現在の自動運転レベルに対応する許容アクティビティであるか否かを判定する。
 この処理は、制御部120の判定部123が実行する。
 判定部123は、推定したドライバーのアクティビティが、現在の自動運転レベルに対応する許容アクティビティであるか否かを判定する。
 ドライバーのアクティビティが、現在の自動運転レベルに対応する許容アクティビティであると判定した場合は、処理を終了する。
 一方、ドライバーのアクティビティが、現在の自動運転レベルに対応する許容アクティビティでないと判定した場合は、ステップS243に進む。
  (ステップS243)
 ステップS242の判定処理において、ドライバーが現在の自動運転レベルに対応する許容アクティビティでないアクティビティを実行していると判定した場合は、ステップS243に進む。
 この場合、情報処理装置100の制御部120は、ステップS243において、緊急対応処理を実行する。
 緊急対応処理は、例えば、
 (a)移動装置10の緊急停止、
 (b)移動装置10を徐行運転に切り替える、
 (c)警報音の出力、
 これらの処理のいずれか、あるいは複数を組み合わせた処理である。
 例えば、ドライバーが現在の自動運転レベルに対応する許容アクティビティでないアクティビティを実行していると判定した場合、制御部120の運転支援処理部122は、緊急対応処理として移動装置10の緊急停止を行うとともに警報音を出力する。
 このような緊急対応処理を実行することで、ドライバーが許容されないアクティビティを行っている状態のまま移動装置10が走行してしまう事態を避けることが可能となり、万が一の事故を未然に防止することができる。
  [9.本開示の情報処理装置が実行するその他の処理例について]
 次に、本開示の情報処理装置が実行するその他の処理例について説明する。
 以下の2つの処理例について説明する。
 (処理例a)ユーザの要求に応じた許容アクティビティを選択して通知する処理例
 (処理例b)自動運転レベルの継続時間を考慮した許容アクティビティを選択して通知する処理例
  (9-a.(処理例a)ユーザの要求に応じた許容アクティビティを選択して通知する処理例)
 まず、(処理例a)として、ユーザの要求に応じた許容アクティビティを選択して通知する処理例について説明する。
 先に図8を参照して説明したように、自動運転レベルとドライバーに許容されるアクティビティを対応付けた自動運転レベル対応許容アクティビティリストには、各自動運転レベルに対応付けた許容アクティビティが全て記録されている。
 例えば、自動運転レベルがレベル3の場合の許容アクティビティは、
 (1)食事
 (2)電話
 (3)メールの確認、返信
 (4)読書
 (5)ゲームプレイ
 これら5つのアクティビティがある。
 しかし、ユーザであるドライバーが、これら5つのアクティビティの全てを行うことはほぼない。
 ドライバーが、これら5つの許容アクティビティ中の1つ、例えば、「食事」がしたいと思っている場合は、許容アクティビティとして「食事」が通知されれば十分であり、その他の許容アクティビティの情報は不要となる。
 例えば、ドライバーのプレファレンスに基づいて所望するアクティビティを表示させる。ドライバーは、あらかじめ所望するアクションを設定し、ある自動運転レベルにおいて許されるアクティビティが表示される際に、設定されたアクションに属するアクティビティのみを表示する。例えば、自動運転レベルが自動運転レベル3の場合のドライバーに許されるアクティビティには、食事、電話、メールの返信、本の閲覧、ゲームプレイが含まれている。
 ここで、ドライバーは事前に所望するアクションを設定することにより、このドライバーが所望するアクションに属するアクティビティが現在の自動運転のレベルにおいてドライバーに許されるアクティビティに含まれているのであれば、ドライバーが所望するアクションに属するアクティビティのみを表示する。
 例えば、所望するアクションとして、「ドライバーが食事をする」を設定すると、自動運転レベルが自動運転レベル3の場合には、ドライバーに許されるアクティビティとして、「食事」のみを表示する。あるいは、所望するアクションとして、「ドライバーが誰かと連絡する」を設定すると、自動運転レベルが自動運転レベル3の場合には、ドライバーに許されるアクティビティとして、「電話、メールの返信」のみを表示する。
 あるいは、所望するアクションとして、「ドライバーが遊ぶ」を設定すると、自動運転レベルが自動運転レベル3の場合には、ドライバーに許されるアクティビティとして、「ゲームプレイ」のみを表示する。
 なお、ドライバーの所望するアクションを設定する際、優先順位を設定してもよい。ドライバーに許されるアクティビティを表示する際には、その設定した所望するアクションの優先順位に基づいて、ドライバーに許されるアクティビティを表示するようにしてもよい。
 具体例について、図24以下を参照して説明する。移動装置10のドライバーが情報処理装置100の入出力部133の入力部、例えばマイクに向かって、
 「食事がしたい」
 このような発話を行う。
 情報処理装置100の制御部120の運転支援処理部122は、ユーザ発話の音声認識や発話意味解析処理を実行して、ユーザ(ドライバー)が食事をしたがっていると解釈する。
 運転支援処理部122は、この解析結果に基づいて、表示部に、現在の自動運転レベルとそのレベルにおいて食事が可能であるか否かを示すメッセージを出力する。
 図24に運転支援処理部122が生成して表示部に表示する表示データの一例を示す。
 図24に示す表示データは、以下のメッセージを表示した例である。
 「現在、自動運転レベルは、レベル3です。レベル3において、ドライバーは「食事」を行うことが許容されています。」
 運転支援処理部122は、例えば、この図24に示すように、ユーザの要求するアクティビティ(=食事)が許容されているか否かを示すメッセージを生成して出力する。
 ユーザであるドライバーは、表示部の表示データを見て、移動装置10の自動運転レベルがレベル3であること。さらに、自動運転レベル3において、「食事」は、ドライバーに許容されるアクティビティであること、これらを確認することができる。
 ユーザは、表示部に表示された自動運転レベル3対応の許容アクティビティとして、「食事」が含まれることを確認し、安心して、「食事」を開始することができる。
 なお、図24に示す例は、移動装置10の自動運転レベルがレベル3であっため、「食事」が許容されているが、例えば、移動装置10の自動運転レベルがレベル2以下の場合、「食事」は許容アクティビティとはならない。
 図25を参照して、この場合の表示データの例について説明する。
 図25は、運転支援処理部122が生成して表示部に表示する表示データの一例である。
 図25に示す表示データは、以下のメッセージを表示した例である。
 「現在、自動運転レベルは、レベル2です。レベル2において、ドライバーは「食事」を行うことが許容されていません。」
 運転支援処理部122は、例えば、この図25に示すように、ユーザの要求するアクティビティ(=食事)が許容されていないことを示すメッセージを生成して出力する。
 ユーザであるドライバーは、表示部の表示データを見て、移動装置10の自動運転レベルがレベル2であること。さらに、自動運転レベル2において、「食事」は、ドライバーに許容されるアクティビティでないこと、これらを確認することができる。
 ユーザは、表示部に表示された自動運転レベル2対応の許容アクティビティとして、「食事」が含まれていないことを確認し、「食事」を行うことを中止することができる。
 なお、ユーザの要求するアクティビティ(=食事)が許容されているか否かを通知する手段は、表示部に表示することに限定されず、音声情報による通知であってもよい。
 ドライバーの要求が「食事」以外の場合の表示データの例について、図26、図27を参照して説明する。
 図26に示す例は、移動装置10のドライバーが情報処理装置100の入出力部133の入力部、例えばマイクに向かって、
 「誰かと連絡したい」
 このような発話を行った場合の表示データの例である。
 情報処理装置100の制御部120の運転支援処理部122は、ユーザ発話の音声認識や発話意味解析処理を実行して、ユーザ(ドライバー)が誰かと連絡したがつていると解釈する。
 運転支援処理部122は、この解析結果に基づいて、表示部に、現在の自動運転レベルとそのレベルにおいて「誰かと連絡」が可能であるか否かを示すメッセージを出力する。
 図26に運転支援処理部122が生成して表示部に表示する表示データの一例を示す。
 図26に示す表示データは、以下のメッセージを表示した例である。
 「現在、自動運転レベルは、レベル3です。レベル3において、ドライバーは「(1)電話、(2)メールの確認、返信」を行うことが許容されています。」
 運転支援処理部122は、例えば、この図26に示すように、ユーザの要求するアクティビティ(=誰かと連絡)が許容されているか否かを示すメッセージを生成して出力する。
 ユーザであるドライバーは、表示部の表示データを見て、移動装置10の自動運転レベルがレベル3であること。さらに、自動運転レベル3において、「(1)電話、(2)メールの確認、返信」が、ドライバーに許容されるアクティビティであること、これらを確認することができる。
 ユーザは、表示部に表示された自動運転レベル3対応の許容アクティビティとして、「(1)電話、(2)メールの確認、返信」が含まれることを確認し、安心して、電話、またはメールの確認、返信を開始することができる。
 なお、ユーザの要求するアクティビティ(=誰かと連絡)が許容されているか否かを通知する手段は、表示部に表示することに限定されず、音声情報による通知であってもよい。
 図27に示す例は、移動装置10のドライバーが情報処理装置100の入出力部133の入力部、例えばマイクに向かって、
 「遊びたい」
 このような発話を行った場合の表示データの例である。
 情報処理装置100の制御部120の運転支援処理部122は、ユーザ発話の音声認識や発話意味解析処理を実行して、ユーザ(ドライバー)が遊びたがっていると解釈する。
 運転支援処理部122は、この解析結果に基づいて、表示部に、現在の自動運転レベルとそのレベルにおいて「遊び」が可能であるか否かを示すメッセージを出力する。
 図27に運転支援処理部122が生成して表示部に表示する表示データの一例を示す。
 図27に示す表示データは、以下のメッセージを表示した例である。
 「現在、自動運転レベルは、レベル3です。レベル3において、ドライバーは「ゲームプレイ」を行うことが許容されています。」
 運転支援処理部122は、例えば、この図26に示すように、ユーザの要求するアクティビティ(=遊び)が許容されているか否かを示すメッセージを生成して出力する。
 ユーザであるドライバーは、表示部の表示データを見て、移動装置10の自動運転レベルがレベル3であること。さらに、自動運転レベル3において、「ケームプレイ」が、ドライバーに許容されるアクティビティであること、これらを確認することができる。
 ユーザは、表示部に表示された自動運転レベル3対応の許容アクティビティとして、「ゲームプレイ」が含まれることを確認し、安心して、ゲームを開始することができる。
 なお、ユーザの要求するアクティビティ(=遊び)が許容されているか否かを通知する手段は、表示部に表示することに限定されず、音声情報による通知であってもよい。
  (9-b.(処理例b)自動運転レベルの継続時間を考慮した許容アクティビティを選択して通知する処理例)
 次に、(処理例b)として、自動運転レベルの継続時間を考慮した許容アクティビティを選択して通知する処理例について説明する。
 同じ自動運転レベルにおいてドライバーに許されるアクティビティであっても、自動運転レベルの持続時間によってドライバーに許されるアクティビティは異なると考えられる。例えば、自動運転レベル4の場合に、ドライバーに許されるアクティビティとして、食事、電話、メールの返信、本の閲覧、ゲームプレイ、電話会議、仮眠があるが、自動運転レベル4の持続時間が短い場合には、ドライバーに許されるアクティビティであっても実際には実行できない場合や、実行すると安全走行ができなくなる場合がある。
 以下に説明する処理例は、このような問題を解決するものであり、自動運転レベルの継続時間を考慮した許容アクティビティを選択して通知する処理例である。
 前述したように、移動装置10が走行中、自動運転レベルは走行区間に応じて変更される。しかし、ある程度の時間、例えば1時間程度は、同じレベルが継続する場合もある。
 なお、どの程度の時間、同じ自動運転レベルが継続するかについては、移動装置10の運転支援処理部122が外部から取得、あるいは取得情報に基づいて算出する。
 例えば、移動装置10の自動運転管理を行う制御装置50から取得する。あるいは、地図情報提供サーバ50bの提供する地図情報と、移動装置10の速度情報に基づいて算出する処理などが可能である。
 移動装置10の運転支援処理部122は、外部から取得、あるいは取得情報に基づいて算出した自動運転レベルの同一レベル継続時間に応じて、ドライバーに対する許容アクティビティを変更して通知する。
 これは、自動運転レベルが同じレベル、例えばレベル4であるとしても、このレベル4の継続時間によってドライバーのできるアクティビティが異なると考えられるためである。
 例えば、先に図8を参照して説明した自動運転レベルに対応付けられた許容アクティビティリストに記載されているように、
自動運転レベル4の場合の許容アクティビティは以下の通りである。
 (1)食事
 (2)電話
 (3)メールの確認、返信
 (4)読書
 (5)ゲームプレイ
 (6)テレビ電話
 (7)仮眠
 これら7つのアクティビティである。
 しかし、例えば移動装置10の走行区間中、自動運転レベル4の走行可能な区間が短く、すぐに自動運転レベルかレベル3に変更される道路を走行している場合、上記7つのアクティビティ中、自動運転レベルがレベル3で許容されないアクティビティについては、自動運転レベルがレベル3に変更された時点で中止せざる得ないことになる。
 移動装置10の運転支援処理部122は、このような問題を解決するため、自動運転レベルの継続時間を算出または取得し、算出または取得した継続時間に応じた推薦アクティビティと、非推薦アクティビティをドライバーに通知する。
 なお、ある1つの自動運転レベルの持続時間は、例えばドライバーが情報処理装置100の入出力部133を介して入力した目的地に対して設定される経路情報に基づいて、制御部120が算出する。
 また、例えば経路内で自動運転レベル3と自動運転レベル4等のレベル変更がある場合には、両方の自動運転レベルにおいて許されるアクティビティ、例えば、食事、電話、メールの返信、本の閲覧、ゲームプレイに関しては、自動運転レベルの変更後に渡って持続時間が継続するものとして持続時間が算出される。
 また、ドライバーは、現在の自動運転レベルの許容アクティビティの中から実際に行う予定のアクティビティを選択して、情報処理装置100に入力することも可能である。例えば、ドライバーが入出力部133を構成するタッチパネル式のディスプレイを利用して、表示されたアクティビティの中から実行予定のアクティビティを選択して入力する。制御部120の運転支援処理部122が、この選択情報に基づいて、ユーザであるドライバーに、選択アクティビティが許容されるか否かを判定して通知する。
 また、運転支援処理部122は、データ収集部121がセンサー部131から取得した情報に基づいて、ドライバーが選択しているアクティビティを検知するようにしてもよい。
 例えば、ドライバーを含む動画像を撮影するカメラの撮影情報をAI(Artificial Intelligence)を用いて解析し、ドライバーが食事、スマホの操作、本の閲覧、ゲームプレイ、仮眠といったアクティビティのいずれを実行しているかを解析することが可能である。また、センサー部131のスピーカやマイクから得られる情報を、AIを用いて解析することで、ドライバーが電話、電話会議といったアクティビティを実行していることを検知することも可能である。
 なお、運転支援処理部122は、例えば、機械学習、深層学習(ディープラーニング)、あるいは、強化学習と呼ばれる手法で学習させたニューラルネットワーク・モデルにデータ収集部が取得したセンサー情報を入力して、ドライバーの実行しているアクティビティを特定する。
 このように、運転支援処理部122がドライバーの実行しているアクティビティを解析することにより、自動運転レベルの遷移時に、ドライバーがレベル遷移後の自動運転レベルでは許されないアクティビティを実行している場合などに、警告を行うことが可能となる。なお、警告は、表示部への警告表示、若しくは、音声により通知することができる。さらに、設定された期間内にドライバーが変更後の自動運転レベルでは許されないアクティビティを終了しない場合には、運転支援処理部122は移動装置10を停止させる等の緊急処理を実行してもよい。
 図28以下を参照して、自動運転レベルの継続時間を考慮した許容アクティビティを選択して通知する処理例の具体例について説明する。
 運転支援処理部122は、自動運転レベルの継続時間を考慮して、自動運転レベルの継続時間に応じて選択した推薦アクティビティと、非推薦アクティビティをドライバーに通知する。
 図28は、運転支援処理部122が、現時点から2時間、自動運転レベル4が継続すると判断した場合に、運転支援処理部122が生成して表示部に表示するデータの一例である。
 図28に示す表示データは、以下の表示データである。
 「現在の自動運転レベルは、レベル4で、今後のレベル4の継続時間は、約2時間の予定です。レベル4、継続時間=2時間の条件の下、ドライバーに許容されるアクティビティは、以下の通りです。
 (1)食事
 (2)電話
 (3)メールの確認、返信
 (4)読書
 (5)ゲームプレイ
 (6)テレビ電話
 (7)仮眠」
 運転支援処理部122は、例えば、この図28に示すように、現在の自動運転レベル(レベル4)と、今後の同一レベル4の継続時間(約2時間)の情報を通知するとともに、レベル4、継続時間=2時間という条件下で、ユーザ(ドライバー)が実行するのに十分と考えられる許容アクティビティを選択して表示する。
 図28に示す例は、現在の自動運転レベル(レベル4)の継続時間が、約2時間と長いため、自動運転レベルに対応付けられた許容アクティビティリストに記録された自動運転レベル4に対応する許容アクティビティを全て表示している。
 ユーザであるドライバーは、表示部の表示データを見て、移動装置10の自動運転レベルがレベル4であり、今後2時間程度、レベル4での自動運転が行われること。さらに、自動運転レベル4において、ドライバーに許容されるアクティビティとして、(1)~(7)のアクティビティがあることを確認することができる。
 ユーザは、表示部に表示された自動運転レベル4対応の許容アクティビティを確認して、表示された許容アクティビティの範囲内の行動を行うように心がけて行動することが可能となる。
 なお、自動運転レベルの継続時間に応じて選択した推薦アクティビティと、非推薦アクティビティをドライバーに通知する手段は、表示部に表示することに限定されず、音声情報による通知であってもよい。
 次に、現在の自動運転レベル(レベル4)の継続時間が短い場合の表示データの例について説明する。
 図29は、運転支援処理部122が、現時点から1時間、自動運転レベル4が継続すると判断した場合に、運転支援処理部122が生成して表示部に表示するデータの一例である。
 図29に示す表示データは、以下の表示データである。
 「現在の自動運転レベルは、レベル4で、今後のレベル4の継続時間は、約1時間の予定です。レベル4、継続時間=1時間の条件の下、ドライバーに許容されるアクティビティは、以下の(1)~(6)です。(NG)は許容されますが、おすすめできません。
 (1)食事
 (2)電話
 (3)メールの確認、返信
 (4)読書
 (5)ゲームプレイ
 (6)テレビ電話
 (NG)仮眠」
 運転支援処理部122は、例えば、この図29に示すように、現在の自動運転レベル(レベル4)と、今後の同一レベル4の継続時間(約1時間)の情報を通知するとともに、レベル4、継続時間=1時間という条件下で、ユーザ(ドライバー)が実行するのに十分と考えられる許容アクティビティ(1)~(6)と、許容されるが、すすめられないアクティビティ(NG)を区別して表示する。
 すなわち、許容アクティビティ(1)~(6)を推薦アクティビティとして、アクティビティ(NG)を非推薦アクティビティとして表示する。
 なお、図29に示す例では、ドライバーに対する非推薦アクティビティを(NG)を設定して示す例を示したが、(NG)以外にも、例えば、バツ印(X)を併記して表示する。あるいは、一般的に禁止を示すマークである赤色の円と斜め線から構成されるマークを併記する設定等、非推薦アクティビティをドライバーが認識できるような様々な表記が可能である。
 図29に示す例は、現在の自動運転レベル(レベル4)の継続時間が、約1時間であり、
 (1)食事
 (2)電話
 (3)メールの確認、返信
 (4)読書
 (5)ゲームプレイ
 (6)テレビ電話
 これら6つのアクティビティは推薦される許容アクティビティとして通知する。
 一方、
 (NG)仮眠
 このアクティビティについては、許容されるが、すすめられないアクティビティ(NG)として、区別して表示する。
 ユーザであるドライバーは、表示部の表示データを見て、移動装置10の自動運転レベルがレベル4であり、今後1時間程度、レベル4での自動運転が行われること。さらに、自動運転レベル4において、ドライバーに許容されるアクティビティとして、(1)~(6),および(NG)のアクティビティがあること、(NG)仮眠については、許容されるが、すすめられないアクティビティであることを確認することができる。
 ユーザは、表示部に表示された自動運転レベル4対応の許容アクティビティや、すすめられないアクティビティを確認して、表示された許容アクティビティ(1)~(6)と(NG)から、(NG)を除く(1)~(6)のアクティビティの範囲内の行動を行うように心がけて行動することが可能となる。
 なお、自動運転レベルの継続時間に応じて選択した推薦アクティビティと、非推薦アクティビティをドライバーに通知する手段は、表示部に表示することに限定されず、音声情報による通知であってもよい。
 図30は、運転支援処理部122が、現時点から30分間、自動運転レベル4が継続すると判断した場合に、運転支援処理部122が生成して表示部に表示するデータの一例である。
 図30に示す表示データは、以下の表示データである。
 「現在の自動運転レベルは、レベル4で、今後のレベル4の継続時間は、約30分の予定です。レベル4、継続時間=30分の条件の下、ドライバーに許容されるアクティビティは、以下の(2)~(3)です。(NG)は許容されますが、おすすめできません。
 (NG)食事
 (2)電話
 (3)メールの確認、返信
 (NG)読書
 (NG)ゲームプレイ
 (NG)テレビ電話
 (NG)仮眠」
 運転支援処理部122は、例えば、この図30に示すように、現在の自動運転レベル(レベル4)と、今後の同一レベル4の継続時間(約30分)の情報を通知するとともに、レベル4、継続時間=30分という条件下で、ユーザ(ドライバー)が実行するのに十分と考えられる許容アクティビティ(2)~(3)を推薦アクティビティとし、許容されるが、すすめられないアクティビティ(NG)を非推薦アクティビティとして区別して表示する。
 図30に示す例は、現在の自動運転レベル(レベル4)の継続時間が、約30分であり、
 (2)電話
 (3)メールの確認、返信
 これら2つのアクティビティは推薦される許容アクティビティとして通知する。
 一方、
 (NG)食事
 (NG)読書
 (NG)ゲームプレイ
 (NG)テレビ電話
 (NG)仮眠
 これらのアクティビティについては、許容されるが、すすめられないアクティビティ(NG)として、区別して表示する。
 なお、図30においてもドライバーに対する非推薦アクティビティを(NG)を設定しているが、先に説明した図29と同様、(NG)以外にも、例えば、バツ印(X)を併記して表示する。あるいは、一般的に禁止を示すマークである赤色の円と斜め線から構成されるマークを併記する設定等、非推薦アクティビティをドライバーが認識できるような様々な表記が可能である。
 ユーザであるドライバーは、表示部の表示データを見て、移動装置10の自動運転レベルがレベル4であり、今後30分程度、レベル4での自動運転が行われること。さらに、自動運転レベル4において、ドライバーに許容されるアクティビティとして、(2),(3),(NG)のアクティビティがあること、(NG)のアクティビティについては、許容されるが、すすめられないアクティビティであることを確認することができる。
 ユーザは、表示部に表示された自動運転レベル4対応の許容アクティビティや、すすめられないアクティビティを確認して、表示された許容アクティビティ(2),(3)と(NG)から、(NG)を除く(2)または(3)のアクティビティの範囲内の行動を行うように心がけて行動することが可能となる。
 なお、自動運転レベルの継続時間に応じて選択した推薦アクティビティと、非推薦アクティビティをドライバーに通知する手段は、表示部に表示することに限定されず、音声情報による通知であってもよい。
  [10.本開示の情報処理装置のハードウェア構成例について]
 次に、本開示の情報処理装置の具体的なハードウェア構成例について、図31を参照して説明する。
 図31は、先に図5を参照して説明した本開示の情報処理装置100のハードウェア構成の一例を示す図である。
 以下、図31に示すハードウェア構成の各構成要素について説明する。
 CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
 CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサー、カメラ、GPS等の状況データ取得部などよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。
 なお、入力部306には、センサー321からの入力情報も入力される。
 また、出力部307は、移動装置の駆動部322に対する駆動情報も出力する。
 CPU301は、入力部306から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部307に出力する。
 入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワーク、ワイドエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 また、CPUに加えて、若しくは、代えて、GPU(Graphics Processing Unit)を備えてもよい。例えば、GPUはカメラから入力される画像情報を処理する。つまり、扱う入力情報やプログラムに従って実行されるデータ処理に応じて、CPU、若しくは、GPUを使い分けることができる。
 入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
  [11.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) 移動装置が実行中の自動運転の自動運転レベルを取得し、取得した自動運転レベルに応じたドライバーの許容アクティビティを、前記ドライバーに通知する制御部を有する情報処理装置。
 (2) 前記制御部は、
 前記許容アクティビティを表示部に表示する処理、または音声出力する処理の少なくともいずれかの処理を実行する(1)に記載の情報処理装置。
 (3) 前記制御部は、
 自動運転レベルと許容アクティビティとを対応付けた自動運転レベル対応許容アクティビティリストを参照して、移動装置が実行中の自動運転レベルに対応した許容アクティビティを取得して、前記ドライバーに通知する(1)または(2)に記載の情報処理装置。
 (4) 前記制御部は、
 自動運転レベルと許容アクティビティとを対応付けた自動運転レベル対応許容アクティビティリストを、外部サーバ、または記憶部から取得し、取得した自動運転レベル対応許容アクティビティリストを参照して、移動装置が実行中の自動運転レベルに対応した許容アクティビティを取得して、前記ドライバーに通知する(1)~(3)いずれかに記載の情報処理装置。
 (5) 前記制御部は、
 前記移動装置の自動運転レベルが変化した場合、
 自動運転レベルの変化に応じた許容アクティビティの差分を解析し、差分がある場合は、差分情報を前記ドライバーに通知する(1)~(4)いずれかに記載の情報処理装置。
 (6) 前記制御部は、
 前記差分情報を強調表示した表示データを生成して表示部に出力する(5)に記載の情報処理装置。
 (7) 前記制御部は、
 前記移動装置の自動運転レベルがレベルダウンした場合、
 自動運転レベルのレベルダウンに伴い削除された許容アクティビティを強調表示した表示データを生成して表示部に出力する(5)または(6)に記載の情報処理装置。
 (8) 前記制御部は、
 通知した許容アクティビティに対するドライバーからの確認応答の有無を解析し、
 確認応答が無いと判定した場合には緊急対応処理を実行する(1)~(7)いずれかに記載の情報処理装置。
 (9) 前記緊急対応処理は移動装置の停止処理である(8)に記載の情報処理装置。
 (10) 前記制御部は、
 センサー検出情報に基づいてドライバーの実行アクティビティを推定し、
 推定したドライバーの実行アクティビティが、移動装置の自動運転レベルに応じたドライバーの許容アクティビティであるか否かを判定し、
 推定したドライバーの実行アクティビティが、移動装置の自動運転レベルに応じたドライバーの許容アクティビティでないと判定した場合には緊急対応処理を実行する(1)~(9)いずれかに記載の情報処理装置。
 (11) 前記緊急対応処理は移動装置の停止処理である(10)に記載の情報処理装置。
 (12) 前記制御部は、
 前記移動装置の記憶部、またはセンサー、または外部サーバ、または基地局装置、または路側通信ユニットの少なくともいずれかから取得した情報に基づいて、前記移動装置が実行中の自動運転レベルを特定する(1)~(11)いずれかに記載の情報処理装置。
 (13) 前記制御部は、
 地図情報提供サーバから取得した地図情報に登録された道路区間単位の自動運転許容レベル情報に基づいて、前記移動装置が実行中の自動運転レベルを特定する(1)~(12)いずれかに記載の情報処理装置。
 (14) 前記制御部は、
 前記移動装置のドライバーの要求に応じた行動が、前記移動装置が実行中の自動運転レベル対応の許容アクティビティであるか否かを前記ドライバーに通知する処理を実行する(1)~(13)いずれかに記載の情報処理装置。
 (15) 前記制御部は、
 前記移動装置の自動運転レベルが同一レベルとなる継続時間を算出または取得し、算出または取得した継続時間に応じた非推薦アクティビティを決定し、決定した非推薦アクティビティを前記ドライバーに通知する(1)~(14)いずれかに記載の情報処理装置。
 (16) 前記制御部は、
 前記移動装置の自動運転レベルが同一レベルとなる継続時間を算出または取得し、算出または取得した継続時間に応じた推薦アクティビティと、非推薦アクティビティを前記ドライバーに通知する(1)~(15)いずれかに記載の情報処理装置。
 (17) 移動装置と、制御装置を有する情報処理システムであり、
 前記移動装置は、
 前記移動装置が実行中の自動運転の自動運転レベルを取得し、
 前記制御装置は、
 自動運転レベルと許容アクティビティとを対応付けた自動運転レベル対応許容アクティビティリストを前記移動装置に提供し、
 前記移動装置は、
 前記自動運転レベル対応許容アクティビティリストを参照して、前記移動装置が実行中の自動運転レベルに対応した許容アクティビティを取得して、前記ドライバーに通知する情報処理システム。
 (18) 前記移動装置は、
 前記移動装置が実行中の自動運転の自動運転レベルを、前記制御装置から取得する(17)に記載の情報処理システム。
 (19) 情報処理装置において実行する情報処理方法であり、
 制御部が、
 移動装置が実行中の自動運転の自動運転レベルを取得し、取得した自動運転レベルに応じたドライバーの許容アクティビティを、前記ドライバーに通知する情報処理方法。
 (20) 情報処理装置において情報処理を実行させるプログラムであり、
 制御部に、
 移動装置が実行中の自動運転の自動運転レベルを取得させ、
 取得した自動運転レベルに応じたドライバーの許容アクティビティを、前記ドライバーに通知させるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネット、セルラーを含むWAN(Wide Area Network)といったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、自動運転レベルに応じたドライバーの許容アクティビティをドライバーに通知する構成が実現される。
 具体的には、例えば、移動装置が実行中の自動運転の自動運転レベルを取得し、取得した自動運転レベルに応じたドライバーの許容アクティビティをドライバーに通知する。制御部は、自動運転レベルと許容アクティビティとを対応付けた自動運転レベル対応許容アクティビティリストを外部サーバ、または記憶部から取得し、取得した自動運転レベル対応許容アクティビティリストを参照して、自動運転レベルに対応した許容アクティビティを取得してドライバーに通知する。また、移動装置の自動運転レベルが変化した場合、自動運転レベルの変化に応じた許容アクティビティの差分を解析し、差分がある場合は、差分情報を通知する。
 本構成により、自動運転レベルに応じたドライバーの許容アクティビティをドライバーに通知する構成が実現される。
  10 移動装置
  20 路側通信ユニット(RSU)
  30 基地局
  40 通信ネットワーク
  50 制御装置
 50b 地図情報提供サーバ
  70 情報処理システム
 100 情報処理装置
 110 通信部
 111 受信部
 112 送信部
 120 制御部
 121 データ収集部
 122 運転支援処理部
 123 判定部
 124 通信制御部
 131 センサー部
 132 記憶部
 133 入出力部
 151 位置情報センサー
 152 カメラモジュール
 153 LiDAR
 154 レーダー
 155 センサー
 156 ドライバー監視センサー
 201 確認ボタン
 301 CPU
 302 ROM
 303 RAM
 304 バス
 305 入出力インタフェース
 306 入力部
 307 出力部
 308 記憶部
 309 通信部
 310 ドライブ
 311 リムーバブルメディア
 321 センサー
 322 駆動部

Claims (19)

  1.  移動装置が実行中の自動運転の自動運転レベルを取得し、取得した自動運転レベルに応じたドライバーの許容アクティビティを、前記ドライバーに通知する制御部を有する情報処理装置。
  2.  前記制御部は、
     前記許容アクティビティを表示部に表示する処理、または音声出力する処理の少なくともいずれかの処理を実行する請求項1に記載の情報処理装置。
  3.  前記制御部は、
     自動運転レベルと許容アクティビティとを対応付けた自動運転レベル対応許容アクティビティリストを参照して、移動装置が実行中の自動運転レベルに対応した許容アクティビティを取得して、前記ドライバーに通知する請求項1に記載の情報処理装置。
  4.  前記制御部は、
     自動運転レベルと許容アクティビティとを対応付けた自動運転レベル対応許容アクティビティリストを、外部サーバ、または記憶部から取得し、取得した自動運転レベル対応許容アクティビティリストを参照して、移動装置が実行中の自動運転レベルに対応した許容アクティビティを取得して、前記ドライバーに通知する請求項1に記載の情報処理装置。
  5.  前記制御部は、
     前記移動装置の自動運転レベルが変化した場合、
     自動運転レベルの変化に応じた許容アクティビティの差分を解析し、差分がある場合は、差分情報を前記ドライバーに通知する請求項1に記載の情報処理装置。
  6.  前記制御部は、
     前記差分情報を強調表示した表示データを生成して表示部に出力する請求項5に記載の情報処理装置。
  7.  前記制御部は、
     前記移動装置の自動運転レベルがレベルダウンした場合、
     自動運転レベルのレベルダウンに伴い削除された許容アクティビティを強調表示した表示データを生成して表示部に出力する請求項5に記載の情報処理装置。
  8.  前記制御部は、
     通知した許容アクティビティに対するドライバーからの確認応答の有無を解析し、
     確認応答が無いと判定した場合には緊急対応処理を実行する請求項1に記載の情報処理装置。
  9.  前記緊急対応処理は移動装置の停止処理である請求項8に記載の情報処理装置。
  10.  前記制御部は、
     センサー検出情報に基づいてドライバーの実行アクティビティを推定し、
     推定したドライバーの実行アクティビティが、移動装置の自動運転レベルに応じたドライバーの許容アクティビティであるか否かを判定し、
     推定したドライバーの実行アクティビティが、移動装置の自動運転レベルに応じたドライバーの許容アクティビティでないと判定した場合には緊急対応処理を実行する請求項1に記載の情報処理装置。
  11.  前記緊急対応処理は移動装置の停止処理である請求項10に記載の情報処理装置。
  12.  前記制御部は、
     前記移動装置の記憶部、またはセンサー、または外部サーバ、または基地局装置、または路側通信ユニットの少なくともいずれかから取得した情報に基づいて、前記移動装置が実行中の自動運転レベルを特定する請求項1に記載の情報処理装置。
  13.  前記制御部は、
     地図情報提供サーバから取得した地図情報に登録された道路区間単位の自動運転許容レベル情報に基づいて、前記移動装置が実行中の自動運転レベルを特定する請求項1に記載の情報処理装置。
  14.  前記制御部は、
     前記移動装置のドライバーの要求に応じた行動が、前記移動装置が実行中の自動運転レベル対応の許容アクティビティであるか否かを前記ドライバーに通知する処理を実行する請求項1に記載の情報処理装置。
  15.  前記制御部は、
     前記移動装置の自動運転レベルが同一レベルとなる継続時間を算出または取得し、算出または取得した継続時間に応じた非推薦アクティビティを決定し、決定した非推薦アクティビティを前記ドライバーに通知する請求項1に記載の情報処理装置。
  16.  前記制御部は、
     前記移動装置の自動運転レベルが同一レベルとなる継続時間を算出または取得し、算出または取得した継続時間に応じた推薦アクティビティと、非推薦アクティビティを前記ドライバーに通知する請求項1に記載の情報処理装置。
  17.  移動装置と、制御装置を有する情報処理システムであり、
     前記移動装置は、
     前記移動装置が実行中の自動運転の自動運転レベルを取得し、
     前記制御装置は、
     自動運転レベルと許容アクティビティとを対応付けた自動運転レベル対応許容アクティビティリストを前記移動装置に提供し、
     前記移動装置は、
     前記自動運転レベル対応許容アクティビティリストを参照して、前記移動装置が実行中の自動運転レベルに対応した許容アクティビティを取得して、前記ドライバーに通知する情報処理システム。
  18.  前記移動装置は、
     前記移動装置が実行中の自動運転の自動運転レベルを、前記制御装置から取得する請求項17に記載の情報処理システム。
  19.  情報処理装置において実行する情報処理方法であり、
     制御部が、
     移動装置が実行中の自動運転の自動運転レベルを取得し、取得した自動運転レベルに応じたドライバーの許容アクティビティを、前記ドライバーに通知する情報処理方法。
PCT/JP2021/038812 2020-11-27 2021-10-20 情報処理装置、および情報処理システム、並びに情報処理方法 WO2022113584A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21897562.1A EP4254384A1 (en) 2020-11-27 2021-10-20 Information processing device, information processing system, and information processing method
CN202180077949.XA CN116490911A (zh) 2020-11-27 2021-10-20 信息处理设备、信息处理系统和信息处理方法
US18/253,733 US20230406336A1 (en) 2020-11-27 2021-10-20 Information processing device, information processing system, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020196670 2020-11-27
JP2020-196670 2020-11-27

Publications (1)

Publication Number Publication Date
WO2022113584A1 true WO2022113584A1 (ja) 2022-06-02

Family

ID=81754238

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038812 WO2022113584A1 (ja) 2020-11-27 2021-10-20 情報処理装置、および情報処理システム、並びに情報処理方法

Country Status (4)

Country Link
US (1) US20230406336A1 (ja)
EP (1) EP4254384A1 (ja)
CN (1) CN116490911A (ja)
WO (1) WO2022113584A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115116249A (zh) * 2022-06-06 2022-09-27 苏州科技大学 一种自动驾驶车辆不同渗透率与道路通行能力的估计方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019018842A (ja) 2017-07-14 2019-02-07 シーシーシー インフォメーション サービシーズ インコーポレイテッド 運転者支援設計分析システム
JP2019145175A (ja) * 2015-03-24 2019-08-29 パイオニア株式会社 出力装置、地図情報記憶装置、自動運転制御装置、出力方法、プログラム及び記憶媒体
JP2019185246A (ja) 2018-04-05 2019-10-24 三菱電機株式会社 自動運転制御システム
JP2020029238A (ja) 2018-08-24 2020-02-27 株式会社Subaru 車両の走行制御システム
WO2020067009A1 (ja) * 2018-09-28 2020-04-02 株式会社Jvcケンウッド 業務支援システムおよび業務支援方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9588517B2 (en) * 2015-07-14 2017-03-07 Delphi Technologies, Inc. Automated vehicle control take-over alert timing based on infotainment activation
JP2017197011A (ja) * 2016-04-27 2017-11-02 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
EP3657465A4 (en) * 2017-07-21 2020-10-21 Sony Semiconductor Solutions Corporation VEHICLE CONTROL DEVICE AND VEHICLE CONTROL PROCEDURE

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019145175A (ja) * 2015-03-24 2019-08-29 パイオニア株式会社 出力装置、地図情報記憶装置、自動運転制御装置、出力方法、プログラム及び記憶媒体
JP2019018842A (ja) 2017-07-14 2019-02-07 シーシーシー インフォメーション サービシーズ インコーポレイテッド 運転者支援設計分析システム
JP2019185246A (ja) 2018-04-05 2019-10-24 三菱電機株式会社 自動運転制御システム
JP2020029238A (ja) 2018-08-24 2020-02-27 株式会社Subaru 車両の走行制御システム
WO2020067009A1 (ja) * 2018-09-28 2020-04-02 株式会社Jvcケンウッド 業務支援システムおよび業務支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4254384A1

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115116249A (zh) * 2022-06-06 2022-09-27 苏州科技大学 一种自动驾驶车辆不同渗透率与道路通行能力的估计方法

Also Published As

Publication number Publication date
EP4254384A1 (en) 2023-10-04
CN116490911A (zh) 2023-07-25
US20230406336A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
US11878713B2 (en) Driving assistance system and method
US10942516B2 (en) Vehicle path updates via remote vehicle control
US11493920B2 (en) Autonomous vehicle integrated user alert and environmental labeling
US20230139760A1 (en) Network-assisted scanning of a surrounding environment
CN112236648B (zh) 使用v2x补充信息增强导航体验
CN108459601A (zh) 自主车辆牵引
JP2020502632A (ja) 自律走行車の動的ルート決定
CN113724520B (zh) 车路协同信息处理方法、装置、电子设备以及存储介质
CN110710264A (zh) 通信控制装置、通信控制方法和计算机程序
RU2734738C2 (ru) Способ и система обнаружения транспортных средств, движущихся в направлении встречного движения
CN106530690A (zh) 一种行车预警系统及行车预警方法
US20230115708A1 (en) Automatic driving device and vehicle control method
CN113479195A (zh) 用于自动代客泊车的方法和用于执行所述方法的系统
US11932278B2 (en) Method and apparatus for computing an estimated time of arrival via a route based on a degraded state of a vehicle after an accident and/or malfunction
US11341847B1 (en) Method and apparatus for determining map improvements based on detected accidents
JP2020106980A (ja) 車両制御装置、車両制御方法及び車両制御システム
JPWO2020110915A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
WO2022113584A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
KR20100012578A (ko) 차량 정보 제공 방법 및 장치
WO2020039798A1 (ja) 情報提供装置、情報提供方法、情報提供システム、コンピュータプログラム、及びデータ構造
US20210158692A1 (en) Information processing device, information processing system, and computer readable recording medium
CN114537450A (zh) 车辆控制方法、装置、介质、芯片、电子设备及车辆
WO2022064877A1 (ja) 情報処理装置、情報処理システム、および方法、並びにプログラム
US20230398866A1 (en) Systems and methods for heads-up display
WO2022097376A1 (ja) 信号処理装置と信号処理方法とプログラムおよび車両制御システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21897562

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180077949.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021897562

Country of ref document: EP

Effective date: 20230627

NENP Non-entry into the national phase

Ref country code: JP